Rによるデータ前処理実習2022

岩嵜 航 (Watal M. Iwasaki, PhD)
東北大学 生命科学研究科 進化ゲノミクス分野 特任助教
(Graduate School of Life Sciences, Tohoku University)
  1. 入門1: 前処理とは。Rを使うメリット。Rの基本。
  2. 入門2: データ可視化の重要性と方法。
  3. データ構造の処理1: 抽出、集約など。
  4. データ構造の処理2: 結合、変形など。
  5. データ内容の処理: 数値、文字列、日時など。
  6. 実践: 現実の問題に対処してみる。
2022-10-08 東京医科歯科大学 M&Dタワー 情報検索室1
https://heavywatal.github.io/slides/tmd2022/

最終回のお品書き

  • 🔰 1週目の課題
    • 3–5人ずつの班に分かれ、画面共有しつつ討論
    • メインルームに戻り、各班代表が解答・感想を発表
  • 🔰 2週目の課題
    • 同様に。時間が無ければ討論省略。
  • パブリックデータで実演 + 質疑応答

🔰 1週目の課題

🔰 2週目の課題

🔰 3日目の課題1: 好きなデータをいじくり倒してみよう

実演: 目黒区オープンデータ

町丁別・年齢別・男女別人口… の最新CSVをダウンロード、読み込み

infile = "131105_population_20211001.csv"
raw_meguro = readr::read_csv(infile)
print(raw_meguro)
   都道府県コード又は市区町村コード 地域コード 都道府県名 市区町村名 調査年月日       地域名 総人口  男性  女性 0-4歳の男性 0-4歳の女性 5-9歳の男性 5-9歳の女性 10-14歳の男性 10-14歳の女性 15-19歳の男性 15-19歳の女性 20-24歳の男性 20-24歳の女性 25-29歳の男性 25-29歳の女性 30-34歳の男性 30-34歳の女性 35-39歳の男性 35-39歳の女性 40-44歳の男性 40-44歳の女性 45-49歳の男性 45-49歳の女性 50-54歳の男性 50-54歳の女性 55-59歳の男性 55-59歳の女性 60-64歳の男性 60-64歳の女性 65-69歳の男性 65-69歳の女性 70-74歳の男性 70-74歳の女性 75-79歳の男性 75-79歳の女性 80-84歳の男性 80-84歳の女性 85歳以上の男性 85歳以上の女性 不詳者の男性 不詳者の女性 世帯数  備考    KEY_CODE
                              <dbl>      <dbl>      <chr>      <chr>     <date>        <chr>  <dbl> <dbl> <dbl>       <dbl>       <dbl>       <dbl>       <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>         <dbl>          <dbl>          <dbl>        <dbl>        <dbl>  <dbl> <lgl>       <dbl>
 1                           131105        111     東京都     目黒区 2021-10-01   駒場一丁目   4095  2108  1987          69          59          76          68            76            66            68            52           167           129           226           173           221           136           172           149           184           144           177           185           146           144           111           110            74            91            76            95           110           118            57            94            48            62             50            112            0            0   2487    NA 13110001001
 2                           131105        112     東京都     目黒区 2021-10-01   駒場二丁目    556   270   286           5           7          10           5            10             9            18            14            18            17            26            25            18            16            21            16            18            16            19            23            19            23            16            15            18            16             7            12            16            22            13            16            10            11              8             23            0            0    332    NA 13110001002
 3                           131105        113     東京都     目黒区 2021-10-01   駒場三丁目    872   429   443          10          17          15          17            18            18            18            14            25            23            36            26            28            23            32            33            27            27            41            45            39            43            31            28            24            21            18            20            22            31            19            23            10            14             16             20            0            0    479    NA 13110001003
 4                           131105        114     東京都     目黒区 2021-10-01   駒場四丁目   1258   581   677          13          14          26          27            38            21            37            30            34            42            36            29            37            47            30            34            48            61            55            63            47            66            37            58            32            29            27            32            32            48            23            26            13            18             16             32            0            0    666    NA 13110001004
--                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  
85                           131105        364     東京都     目黒区 2021-10-01   八雲四丁目   2089   969  1120          30          34          47          44            56            54            44            44            51            44            64            57            43            60            52            66            70           104            98           110            88           101            84            82            49            56            43            56            60            65            37            50            21            38             32             55            0            0    991    NA 13110026004
86                           131105        365     東京都     目黒区 2021-10-01   八雲五丁目   2851  1370  1481          73          53          79          58            81            71            59            68            78            61            74            75            82            98            96           118           128           127           102           130           112           116           103           113            83            95            60            63            69            63            30            61            31            43             30             68            0            0   1343    NA 13110026005
87                           131105        371     東京都     目黒区 2021-10-01 東が丘一丁目   4476  2092  2384         105          79         112         102           118            99           111            92           104           142           116           138           125           155           150           176           179           203           187           195           173           194           148           174           112           129            94            90            98           119            69            82            45            73             46            142            0            0   2215    NA 13110027001
88                           131105        372     東京都     目黒区 2021-10-01 東が丘二丁目   3114  1360  1754          65          62          66          54            59            48            40            49            88           200           140           218           119           162           108           150            99           121           112           111            90           122            97           101            80            76            53            57            40            74            42            47            35            40             27             62            0            0   1796    NA 13110027002

実演: 目黒区オープンデータ

ggplotしたくなる形に変形。1行ずつ経過を確認しよう。

tidy_meguro = raw_meguro %>%
  select("地域名", matches("の.+性$")) %>%
  rename(place = 地域名) %>%
  mutate(place = str_remove(place, "\\S丁目")) %>%
  group_by(place) %>%
  summarize(across(everything(), sum)) %>%
  ungroup() %>%
  pivot_longer(!place, names_to = "category", values_to = "count") %>%
  separate(category, c("age", "sex"), sep = "の") %>%
  mutate(age = as.integer(str_extract(age, "^\\d+"))) %>%
  filter(!is.na(age)) %>%
  print()
    place   age   sex count
    <chr> <int> <chr> <dbl>
  1  三田     0  男性    92
  2  三田     0  女性    84
  3  三田     5  男性    98
  4  三田     5  女性    93
 --                        
969  鷹番    80  男性   113
970  鷹番    80  女性   182
971  鷹番    85  男性   126
972  鷹番    85  女性   276

実演: 目黒区オープンデータ

作図してみる

ggplot(tidy_meguro) +
  aes(age, count) +
  geom_col(aes(fill = sex)) +
  facet_wrap(vars(place), nrow = 3L) +
  theme_bw(base_family = "HiraginoSans-W3") # 日本語は鬼門

plot of chunk meguro_plot

実演: e-Stat 国勢調査2015 (宮城県)

文字コードが古い。列名が2行にまたがってる。数値の列に変な文字。

infile = "tblT000849C04.txt"
sjis = locale(encoding = "SJIS")
# readr::read_csv(infile, locale = sjis)
miyagi_L = readr::read_csv(infile, locale = sjis, col_select = seq(1, 7)) %>%
  dplyr::slice(-1)
miyagi_R = readr::read_csv(infile, locale = sjis, col_select = -seq(1, 7), skip = 1L, na = c("-", "X"), name_repair = "minimal")
raw_miyagi = bind_cols(miyagi_L, miyagi_R) %>% print()
        KEY_CODE HYOSYO       CITYNAME         NAME HTKSYORI HTKSAKI GASSAN 総数、年齢「不詳」含む  総数0〜4歳  総数5〜9歳  総数10〜14歳  総数15〜19歳  総数20〜24歳  総数25〜29歳  総数30〜34歳  総数35〜39歳  総数40〜44歳  総数45〜49歳  総数50〜54歳  総数55〜59歳  総数60〜64歳  総数65〜69歳  総数70〜74歳  総数15歳未満  総数15〜64歳  総数65歳以上  総数75歳以上 男の総数、年齢「不詳」含む  男0〜4歳  男5〜9歳  男10〜14歳  男15〜19歳  男20〜24歳  男25〜29歳  男30〜34歳  男35〜39歳  男40〜44歳  男45〜49歳  男50〜54歳  男55〜59歳  男60〜64歳  男65〜69歳  男70〜74歳  男15歳未満  男15〜64歳  男65歳以上  男75歳以上 女の総数、年齢「不詳」含む  女0〜4歳  女5〜9歳  女10〜14歳  女15〜19歳  女20〜24歳  女25〜29歳  女30〜34歳  女35〜39歳  女40〜44歳  女45〜49歳  女50〜54歳  女55〜59歳  女60〜64歳  女65〜69歳  女70〜74歳  女15歳未満  女15〜64歳  女65歳以上  女75歳以上
           <chr>  <dbl>          <chr>        <chr>    <dbl>   <chr>  <chr>                  <dbl>          <dbl>          <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>              <dbl>            <dbl>              <dbl>            <dbl>            <dbl>                      <dbl>        <dbl>        <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>          <dbl>            <dbl>          <dbl>          <dbl>                      <dbl>        <dbl>        <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>            <dbl>          <dbl>            <dbl>          <dbl>          <dbl>
   1       04101      1   仙台市青葉区         <NA>        0    <NA>   <NA>                 310183          11107          11396              11605              16730              25517              20314              19691              20935              23107              20324              18759              17648              18731              19288              14488            34108             201756            66000            32224                     150535         5691         5819             5997             8641            13205            10180             9578            10244            11460            10204             9424             8525             8999             9058             6607          17507           100460          27716          12051                     159648         5416         5577             5608             8089            12312            10134            10113            10691            11647            10120             9335             9123             9732            10230             7881          16601           101296          38284          20173
   2   041010010      2   仙台市青葉区       青葉町        0    <NA>   <NA>                    697             22             20                 21                 26                 50                 87                 58                 43                 41                 58                 30                 34                 49                 38                 30               63                476              145               77                        319           11            9                9               12               23               43               32               18               14               29               14               13               20               17               14             29              218             62             31                        378           11           11               12               14               27               44               26               25               27               29               16               21               29               21               16             34              258             83             46
   3   041010020      2   仙台市青葉区   あけぼの町        0    <NA>   <NA>                    798             22             18                 16                 35                 60                 77                 59                 61                 58                 47                 44                 33                 55                 50                 46               56                529              201              105                        394           15            8               11               19               26               39               26               36               35               25               16               18               27               29               22             34              267             88             37                        404            7           10                5               16               34               38               33               25               23               22               28               15               28               21               24             22              262            113             68
   4   041010030      2   仙台市青葉区       旭ケ丘        0    <NA>   <NA>                   8958            245            260                258                347                824                939                771                662                731                597                505                451                414                407                322              763               6241             1780             1051                       4239          139          131              139              174              335              439              357              316              361              308              251              236              198              197              142            409             2975            741            402                       4719          106          129              119              173              489              500              414              346              370              289              254              215              216              210              180            354             3266           1039            649
  --                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         
5880 04606004015      3 本吉郡南三陸町   歌津字石浜        0    <NA>   <NA>                    242              5              9                  7                  7                  8                  6                 11                 11                 15                 17                 26                 18                 26                 21                 18               21                145               76               37                        122            3            5                3                4                5                2                6                5                8               12               12                8               12               15                6             11               74             37             16                        120            2            4                4                3                3                4                5                6                7                5               14               10               14                6               12             10               71             39             21
5881 04606004016      3 本吉郡南三陸町 歌津字田の浦        0    <NA>   <NA>                    181              4              4                  4                 10                  8                 11                 13                  5                  4                 15                 13                 22                 17                  5                  8               12                118               51               38                         86            1            2                3                6                4                6                7                2                3                5                5               12               11                5                2              6               61             19             12                         95            3            2                1                4                4                5                6                3                1               10                8               10                6               NA                6              6               57             32             26
5882 04606004017      3 本吉郡南三陸町 歌津字草木沢        0    <NA>   <NA>                    466             14             17                 22                 18                 17                 25                 28                 16                 40                 29                 21                 33                 49                 39                 34               53                276              137               64                        246            6            7               10               12                6               14               18               12               21               16               12               18               22               26               17             23              151             72             29                        220            8           10               12                6               11               11               10                4               19               13                9               15               27               13               17             30              125             65             35
5883 04606004018      3 本吉郡南三陸町 歌津字伊里前        0    <NA>   <NA>                     NA             NA             NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA                 NA               NA                 NA               NA               NA                         NA           NA           NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA             NA               NA             NA             NA                         NA           NA           NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA               NA             NA               NA             NA             NA

実演: e-Stat 国勢調査2015 (宮城県)

まだ罠がたくさん: 列名の頭にスペース。全角数字。変な区分。

tidy_miyagi = raw_miyagi %>%
  dplyr::filter(HYOSYO == 1) %>%
  dplyr::select(CITYNAME, matches("[男女].+[歳上]$")) %>%
  tidyr::pivot_longer(!CITYNAME, names_to = "category", values_to = "count") %>%
  dplyr::mutate(category = str_trim(category)) %>%
  tidyr::separate(category, c("sex", "age"), 1) %>%
  dplyr::mutate(age = stringi::stri_trans_nfkc(age)) %>%
  tidyr::separate(age, c("lower", "upper"), "〜", fill = "right") %>%
  dplyr::mutate(lower = parse_number(lower), upper = parse_number(upper)) %>%
  dplyr::filter((upper - lower) < 5 | lower == 75) %>%
  dplyr::rename(age = lower) %>%
  print()
           CITYNAME   sex   age upper count
              <chr> <chr> <dbl> <dbl> <dbl>
   1   仙台市青葉区    男     0     4  5691
   2   仙台市青葉区    男     5     9  5819
   3   仙台市青葉区    男    10    14  5997
   4   仙台市青葉区    男    15    19  8641
  --                                       
1245 本吉郡南三陸町    女    60    64   519
1246 本吉郡南三陸町    女    65    69   442
1247 本吉郡南三陸町    女    70    74   381
1248 本吉郡南三陸町    女    75    NA  1487

実演: e-Stat 国勢調査2015 (宮城県)

ggplot(tidy_miyagi) +
  aes(age, count) +
  geom_col(aes(fill = sex)) +
  facet_wrap(vars(CITYNAME), ncol = 8L) +
  theme_minimal(base_family = "HiraginoSans-W3", base_size = 14)

plot of chunk estat_plot

Reference

R for Data Science — Hadley Wickham and Garrett Grolemund
https://r4ds.had.co.nz/, Paperback, 日本語版書籍

前処理大全 — 本橋智光
RユーザのためのRStudio[実践]入門 (宇宙船本) — 松村ら

Official documents:
tidyverse, ggplot2, dplyr, tidyr, stringr, readr
Older versions
Rにやらせて楽しよう — データの可視化と下ごしらえ」 岩嵜航 2018
「Rを用いたデータ解析の基礎と応用」石川由希 2019 名古屋大学
Rによるデータ前処理実習」 岩嵜航 2020 東京医科歯科大
Rを用いたデータ解析の基礎と応用」 石川由希 2022 名古屋大学
目次に戻る