📐 定義・数式 — Tidy data と尺度

Tidy data の定義は数学的に 「観測 $\times$ 変数」の長方形構造」。 SSDSE-B-2026 の整然形は：

変数の尺度水準は Stevens の階層：

SSDSE-B-2026 の Prefecture は 名義尺度、 「年齢階級」は 順序尺度、 「気温」は 間隔尺度、 「人口・出生数」は 比例尺度。 上位の尺度ほど許容される統計操作（差・比・平均）が多くなります。

🔬 数式を言葉で読み解く — 記号 → 意味

名義尺度に平均値を出すような尺度違反は、 データリテラシー違反の典型例です。 Tidy 化のときに「この列の尺度は？」を明示する習慣をつけましょう。

📚 1. データリテラシーとは

データを読み・使い・伝え・批判的に評価する力。 統計学・プログラミング・ドメイン知識の三角形の上に成り立つ。

• 読む：表・グラフ・統計量を正しく解釈する
• 使う：手元のデータから情報を抽出する
• 伝える：分析結果を相手に伝わる形で報告する
• 批判する：他人の主張の根拠データを評価する

🔄 2. PPDAC サイクル

統計教育の世界標準フレームワーク（Wild & Pfannkuch 1999）。

1. Problem（問題）：何が問題か、 何を明らかにしたいか
2. Plan（計画）：どんなデータをどう集めるか、 分析設計
3. Data（データ）：実際にデータを収集・整形
4. Analysis（分析）：可視化・統計・モデリング
5. Conclusion（結論）：結論・限界・次の問いへ

P → P → D → A → C → 再び P へと循環する。 1 サイクルで終わらない。

🏭 3. CRISP-DM（業界標準プロセス）

データマイニング・機械学習プロジェクトの業界横断的プロセスモデル。 IBM・Daimler 等が 1996 年に策定。

1. ビジネス理解 (Business Understanding)
2. データ理解 (Data Understanding)
3. データ準備 (Data Preparation)
4. モデリング (Modeling)
5. 評価 (Evaluation)
6. 展開 (Deployment)

各ステップ間に矢印が双方向にあり、 反復的な改善が前提。

PPDAC との対応

❓ 4. 良い「問い」の作り方

分析の質は問いの質で決まる。 SMART 基準を意識：

• Specific：具体的
• Measurable：計測可能
• Achievable：達成可能（既存データで答えられる）
• Relevant：関連性・意義あり
• Time-bound：時間範囲を明示

悪い問い vs 良い問い

3 種の問い

• 記述的：何が起きているか？（中央値・分布・相関）
• 予測的：将来何が起きるか？（回帰・分類）
• 因果的：なぜ起きるか？（DID・IV）

🔍 5. 探索的データ分析 (EDA)

John Tukey が 1977 年に提唱。 「データに何を語らせるか」を可視化と要約統計で探る。

EDA の標準フロー

1. データの形状を確認（行数・列数・型）
2. 欠損・重複・異常値をチェック
3. 各変数の分布を見る（ヒストグラム・箱ひげ）
4. 変数間の関係（相関・散布図）
5. 群間比較（カテゴリ別に集約）
6. 異常パターンに気づく

1
2
3
4
5
6
7

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
print(df.info())
print(df.describe(include='all'))
print(df.isnull().sum())
print(df.duplicated().sum())
df.hist(figsize=(15, 12)); plt.tight_layout(); plt.show()

ydata-profiling（pandas-profiling）

1
2

from ydata_profiling import ProfileReport
ProfileReport(df, title='SSDSE-B EDA').to_file('eda_report.html')

📏 6. 変数の尺度水準（Stevens 1946）

6.1 データ型との対応

• カテゴリ：pandas category dtype
• 整数：int64
• 浮動小数：float64
• 日時：datetime64
• 文字列：object

🧹 7. Tidy data（整然データ）

Hadley Wickham 2014 の定義：

1. 1 行が 1 観測
2. 1 列が 1 変数
3. 1 セルが 1 値
4. 1 テーブルが 1 種類の観測単位

縦持ち vs 横持ち

1
2
3
4
5
6

import pandas as pd
# 横持ち → 縦持ち
long = pd.melt(df, id_vars=['都道府県'], value_vars=['指標1','指標2'],
               var_name='指標', value_name='値')
# 縦持ち → 横持ち
wide = long.pivot(index='都道府県', columns='指標', values='値')

✨ 8. データ品質の確認

• 完全性：欠損の有無・割合
• 一貫性：同じ意味の値が同じ表現か（"東京"／"東京都"）
• 正確性：実際の値と一致するか
• 適時性：データが古すぎないか
• 関連性：問いに答えられるデータか
• 追跡可能性：出典が明示されているか

8.1 欠損のパターン

• MCAR（Missing Completely At Random）：完全ランダム欠損
• MAR（Missing At Random）：観測変数で説明できる欠損
• MNAR（Missing Not At Random）：欠損値自体に依存する欠損

1
2
3

import missingno as msno
msno.matrix(df)  # 欠損パターンの可視化
msno.heatmap(df)  # 欠損間の相関

⚠️ 9. データに潜むバイアス

• 選択バイアス：標本が母集団を代表していない
• 生存バイアス：失敗・退場したものが観測されない
• 回答バイアス：回答者が真実を答えない（社会的望ましさ）
• 確証バイアス：自分の仮説に合うデータだけ拾う
• パブリケーションバイアス：有意な結果のみ公表される
• シンプソンのパラドックス：集約と層別で関係が逆転
• エコロジカル誤謬：集団レベルの関係を個人レベルに適用

9.1 測定の歪み

• 測定機器の精度・校正
• 定義の変更（途中で集計方法が変わる）
• 境界の恣意性（カテゴリの切り方）
• 丸め誤差・打ち切り

🎨 10. 可視化リテラシー

「グラフは嘘をつく」基本パターン：

• 軸の切り方：原点を切ると差が誇張される
• 軸の対数化：指数的成長を線形に見せる
• カラーマップ：赤緑の組合せ（色覚多様性）
• 3D グラフ：奥行きで誇張・歪曲
• 選択的範囲：都合の良い期間だけ表示
• 面積の誤読：半径を 2 倍にすると面積は 4 倍
• 順番の操作：アルファベット順か値順かで印象が変わる

良い可視化の原則（Tufte）

• データ-インク比を最大化（飾り要素を最小化）
• 嘘の比（lie factor）を 1 に近づける
• 小倍数（small multiples）で比較
• 軸ラベル・凡例・出典を必ず明示

🎭 11. 「統計でうそをつく方法」

Darrell Huff の古典（1954）。 現代でも有効な批判的読解の視点：

• 標本が偏っている：「東京で 100 人」を「日本人 1 億人の代表」と扱う
• 平均と中央値の使い分け：所得の「平均」は外れ値で歪む
• パーセンテージの基底：「100% 増加」は元が小さければ意味薄い
• 相関と因果の混同
• 絶対値と相対値の使い分け
• 有効数字：3.7% を 3.71283% と書くのは虚偽の精度

🌐 12. オープンデータと公的統計

日本の代表的データソース：

• e-Stat（政府統計の総合窓口）
• SSDSE（教育用標準データセット）
• 気象庁データ、 RESAS、 統計ダッシュボード
• 国際：World Bank Open Data、 OECD、 UN Stats

12.1 再現可能性

• データの出典と日付を明記
• 前処理コードを公開
• 乱数 seed を固定
• 環境（Python・ライブラリのバージョン）を保存
• Jupyter Notebook + Git で履歴管理

⚠️ 13. リテラシーの落とし穴

🏋️ 14. 練習問題

1
2
3
4

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
print(df.dtypes)
# 都道府県：名義、 一人当たり県民所得：比例、 etc.

1
2
3
4

print('行数 x 列数:', df.shape)
print('欠損:'); print(df.isnull().sum())
print('重複:', df.duplicated().sum())
print(df.describe())

📝 15. レポートの構成例

1. 背景と問い：なぜこの分析が必要か
2. データの説明：出典・期間・サンプリング・尺度・欠損
3. EDA：分布・関連の概観
4. 方法：分析手法、 前処理、 仮定
5. 結果：図表 + 要約統計 + 信頼区間
6. 解釈：何を意味するか
7. 限界：データ・手法の限界
8. 結論と次の問い

🐍 16. ライブラリ早見表

📜 17. データリテラシーの歴史

• 1854：John Snow のコレラ地図 — データ可視化の古典
• 1858：Florence Nightingale の Rose Diagram — 衛生改革を主導
• 1946：Stevens の尺度水準論
• 1954：Huff "How to Lie with Statistics"
• 1977：Tukey の EDA
• 1983：Tufte "The Visual Display of Quantitative Information"
• 1996：CRISP-DM
• 1999：Wild & Pfannkuch の統計的思考（PPDAC）
• 2014：Wickham の Tidy data 論文
• 2017：日本の「文理融合」AI戦略、 MDASH 標準化
• 2020：OECD AI Principles・データ倫理が国際課題に

💼 18. 実務応用

• 意思決定：エビデンスに基づく経営・政策
• マーケティング：データドリブンな施策設計
• ジャーナリズム：データジャーナリズム（NYT、 朝日デジタル等）
• 教育：MDASH コア科目で必修化（応用基礎レベル）
• 市民活動：オープンデータでの社会課題分析
• 研究：再現可能な研究の前提

📖 19. ケーススタディ

19.1 John Snow のコレラ地図（1854）

ロンドンのコレラ流行で、 Snow はコレラ患者の自宅を地図にプロット。 Broad Street の給水ポンプ周辺に集中していることを発見し、 ポンプを使用停止 → 流行が収束。 データ可視化が公衆衛生を変えた歴史的事例。 「相関＝因果」と判断する前に、 地図というシンプルな可視化が決定的だった。

19.2 Florence Nightingale のローズダイアグラム（1858）

クリミア戦争の英軍兵士死亡原因を「戦闘」「予防可能な感染症」「その他」に色分けした円グラフで政府に提示。 戦闘より感染症で多く死んでいることを直感的に伝え、 衛生改革を実現。

19.3 シャレンジャー号事故（1986）

O-リング故障による爆発事故。 事前データに O-リング温度依存性が示されていたが、 「失敗例だけ」を見てパターンを認識できなかった（生存バイアスの逆）。 視覚化の重要性が再確認された事例。

19.4 シンプソンのパラドックス：UC バークレー入試（1973）

全体では「男性合格率＞女性合格率」だったが、 学部別に見るとほぼすべての学部で「女性合格率＞男性合格率」。 女性が「合格率が低い学部に多く出願」していたため、 全体集計で誤って見えた。 集約と層別で結果が逆転する典型例。

⚖️ 20. データ倫理の基本

• 個人情報保護：匿名化・仮名化・k-匿名性
• 差別・公平性：センシティブ属性に依存しない判定
• 透明性：データの取得・利用目的を明示
• 同意：オプトイン／オプトアウト
• 結果の影響評価：誰が得をし誰が損をするか

📚 21. 推奨入門書ガイド

• Huff, "How to Lie with Statistics"（統計でウソをつく方法）
• Tufte, "The Visual Display of Quantitative Information"（定量情報の視覚的表現）
• Wickham, "R for Data Science"（無料公開）
• Wild & Pfannkuch (1999) "Statistical thinking in empirical enquiry"
• 政府統計局「統計学習の指導のために」（小中高向け）
• MDASH モデルカリキュラム（リテラシー・応用基礎・エキスパート）

✅ 22. データリテラシー基本チェックリスト

• □ 問いを明確に書いたか？
• □ データの出典・取得日・期間を確認したか？
• □ 標本がどう選ばれたか説明できるか？
• □ 各変数の尺度水準を判定したか？
• □ 欠損・重複・外れ値を確認したか？
• □ 単位を確認したか？
• □ 1 変量の分布を可視化したか？
• □ 多変量の関連を可視化したか？
• □ 結果に交絡の可能性を議論したか？
• □ コード・データ・乱数 seed を保存したか？
• □ 限界と次の問いを書いたか？

📋 23. SSDSE-B 分析の実践テンプレート

新しい分析プロジェクトを始めるときのそのまま使えるコードテンプレート。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45

"""
分析タイトル：[ここに記入]
作成者：[氏名] / 作成日：[YYYY-MM-DD]
"""
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# ===== Step 1: データ読み込み =====
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
print(f'行数: {len(df)}, 列数: {df.shape[1]}')

# ===== Step 2: 構造の確認 =====
print(df.dtypes)
print(df.head())

# ===== Step 3: データ品質 =====
print('欠損:'); print(df.isnull().sum())
print('重複:', df.duplicated().sum())

# ===== Step 4: 記述統計 =====
print(df.describe())

# ===== Step 5: 単変量分布 =====
num = df.select_dtypes(include='number')
num.hist(figsize=(15, 12))
plt.tight_layout(); plt.show()

# ===== Step 6: 二変量関係 =====
corr = num.corr()
sns.heatmap(corr, annot=True, cmap='RdBu', center=0)
plt.show()

# ===== Step 7: 注目関係の散布図 =====
sns.scatterplot(data=df, x='一人当たり県民所得', y='持ち家比率')
plt.show()

# ===== Step 8: 結論メモ =====
"""
[手書きで結論を残す]
- 見つけたパターン:
- 限界:
- 次の問い:
"""

❓ 24. よくある質問

Q. 「ビッグデータならバイアスは消える」というのは本当？

A. 嘘です。 むしろ大量データほど系統的バイアスが目立ちにくくなり、 危険。 標本の集め方が重要。

Q. データを見ずに仮説を立てるべき？

A. 探索的分析（EDA）でデータの構造を見ることと、 確証的分析（CDA）で事前仮説を検証することは別物。 両方が必要。 同じデータで仮説生成と検証をすると過剰適合になる。

Q. 統計と機械学習の違いは？

A. 統計は推測・解釈、 機械学習は予測に重きを置く傾向。 現代は融合が進行中。

Q. 「データドリブン」の落とし穴は？

A. 計測しやすい指標だけで意思決定すると、 計測しにくい本質的価値を見落とす（Goodhart の法則）。

🎓 25. MDASH モデルカリキュラム対応

本ページは MDASH（数理・データサイエンス・AI モデルカリキュラム）のうち、 主にリテラシーレベルと応用基礎レベルの以下項目に対応：

リテラシーレベル

• 1-1 社会で起きている変化（DX・第4次産業革命）
• 1-2 社会で活用されているデータ
• 1-3 データ・AI の活用領域
• 1-4 データ・AI の活用のための技術
• 1-5 データ・AI の利活用のための知識
• 1-6 データ・AI 利活用の最新動向
• 2-1 データを読む
• 2-2 データを説明する
• 2-3 データを扱う
• 3-1 データ・AI を扱う上での留意事項
• 3-2 データを守る上での留意事項

応用基礎レベル

• DS基礎：データの観察・分析、 推論、 統計と機械学習
• AI基礎：AI 利活用、 機械学習基礎、 認識・予測・最適化
• DE基礎：データの加工・収集、 構造化データ

SSDSE-B との対応

本実習で SSDSE-B-2026 を用いるのは、 MDASH のリテラシー・応用基礎で要求される「公的統計を読み解く力」を、 47 都道府県という馴染みのある対象で実体験できるため。

📋 26. データ分析者向けチートシート

26.1 着手 5分の確認

• このデータは「誰が」「いつ」「何を目的に」集めたか？
• 1 行が何を表すか？
• 母集団は何で、 標本はどう選ばれたか？
• どの変数を「観測」、 どれを「処置」、 どれを「結果」と見るか？
• 欠損があるなら、 なぜ欠損したか？

26.2 分析中の確認

• 図や表に出てくる数値はすべて単位付きか？
• 係数の符号は事前期待と整合しているか？
• p値だけでなく効果量・CI を確認したか？
• 外れ値の影響は確認したか？
• 結果が「偶然」「交絡」「因果」のどれか考えたか？

26.3 報告前の確認

• 図表に 軸ラベル・凡例・出典・期間 が揃っているか？
• 結論は「データの範囲」内に留まっているか？
• 限界をはっきり書いたか？
• 再現可能なコード・データが残っているか？
• 読み手のレベルに合った言葉か？

🔗 関連用語

• PPDAC（個別）
• CRISP-DM（個別）
• EDA（個別）
• Tidy data（個別）
• 欠損値
• 1変量の可視化
• 2変量の可視化
• データエンジニアリング

🔖 キーワード索引（補強）

データリテラシーの中核概念を一覧で。

🧮 SSDSE-B-2026 で実値計算 — データリテラシー演習

「データを正しく見る」基本動作を SSDSE-B-2026 の都道府県データで実行します。

例1：要約統計量を一括で得る

1
2
3
4
5
6
7

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
print(df.describe().T)  # 全数値列の count / mean / std / min / 25% / 50% / 75% / max
print('---')
print(df.dtypes.value_counts())  # 各データ型の列数
print('欠損数:', df.isna().sum().sum())

例2：分布と外れ値の確認（IQR ルール）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
col = df.select_dtypes('number').columns[0]
q1, q3 = df[col].quantile([0.25, 0.75])
iqr = q3 - q1
lo, hi = q1 - 1.5*iqr, q3 + 1.5*iqr
outliers = df[(df[col] < lo) | (df[col] > hi)]
print(f'{col} の外れ値 (n={len(outliers)}):')
print(outliers[['都道府県', col]].to_string(index=False))

例3：層別集計（地域ブロック別）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)

block_map = {
    '北海道': '北海道', '青森県': '東北', '岩手県': '東北', '宮城県': '東北',
    '秋田県': '東北', '山形県': '東北', '福島県': '東北',
    '茨城県': '関東', '栃木県': '関東', '群馬県': '関東', '埼玉県': '関東',
    '千葉県': '関東', '東京都': '関東', '神奈川県': '関東',
}
df['ブロック'] = df['都道府県'].map(block_map).fillna('その他')
num_col = df.select_dtypes('number').columns[0]
print(df.groupby('ブロック')[num_col].agg(['mean', 'std', 'count']))

⚠️ データリテラシーの落とし穴（補強・各 100 文字以上）

🐍 Python 実装バリエーション（scipy / scikit-learn / pingouin）

1. scipy.stats — 記述統計と検定をワンライナーで

1
2
3
4
5
6
7
8

import pandas as pd
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
x = df.select_dtypes('number').iloc[:, 0].dropna()
print('歪度:', stats.skew(x))
print('尖度:', stats.kurtosis(x))
print('Shapiro-Wilk 正規性検定:', stats.shapiro(x))

2. scikit-learn — 標準化・欠損値処理

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

from sklearn.preprocessing import StandardScaler, RobustScaler
from sklearn.impute import SimpleImputer, KNNImputer
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
num_cols = df.select_dtypes('number').columns

# 1) 平均0・分散1 に標準化
scaler = StandardScaler()
X_std = scaler.fit_transform(df[num_cols])

# 2) 外れ値に頑健な標準化（中央値・IQR 基準）
robust = RobustScaler()
X_robust = robust.fit_transform(df[num_cols])

# 3) 欠損値の補完（KNN）
imp = KNNImputer(n_neighbors=5)
X_imp = imp.fit_transform(df[num_cols])
print('補完後の欠損数:', pd.DataFrame(X_imp).isna().sum().sum())

3. pandas — describe / quantile / value_counts

1
2
3
4
5
6
7
8
9

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
# 一括要約
summary = df.describe(percentiles=[.1, .25, .5, .75, .9]).T
print(summary)

# 列ごとの欠損率
print(df.isna().mean().sort_values(ascending=False).head())

4. pingouin — 統計量と効果量・正規性検定

1
2
3
4
5
6
7

import pingouin as pg
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
x = df.select_dtypes('number').iloc[:, 0].dropna()
# 多変量正規性 (Henze-Zirkler)
print(pg.normality(x))

5. matplotlib/seaborn — EDA 可視化セット

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
num_cols = df.select_dtypes('number').columns[:5]

fig, axes = plt.subplots(2, 3, figsize=(15, 8))
for ax, col in zip(axes.flat, num_cols):
    sns.histplot(df[col].dropna(), kde=True, ax=ax)
    ax.set_title(col, fontsize=10)
plt.tight_layout()
plt.savefig('eda_distributions.png', dpi=100)

🔗 関連用語ネットワーク（前提・並列・発展）

📚 前提となる用語（データリテラシーの土台）

• 平均・中央値・最頻値 — 中心傾向の3つの指標
• 分散・標準偏差 — ばらつきの定量化
• 分布の基礎 — 形・裾・歪度
• 母集団と標本 — 推測統計のスタート
• データ型（量的・質的） — 尺度水準を意識する

🔀 並列の概念（同じ階層のリテラシー領域）

• 1変量の可視化 — ヒストグラム・箱ひげ図
• 2変量の可視化 — 散布図・クロス集計
• 探索的データ解析（EDA） — Tukey の哲学
• データクレンジング — 欠損・重複・矛盾
• 可視化の倫理 — グラフのウソの防止

🚀 発展的トピック

• 仮説検定の論理 — リテラシー→推測統計
• 因果推論 — 観察データから因果へ
• ベイズ統計 — 主観確率と事後分布
• 再現性・事前登録 — 科学の信頼性
• データエンジニアリング — リテラシーの実装基盤

🔗 直近の隣人

• 相関係数
• 回帰直線
• 信頼区間
• p値

🌐 関連手法・派生

「データリテラシー」を構成する具体的な手法・概念。 SSDSE-B-2026 を題材に組み合わせると相互の関係が見えてきます。

📊 探索的データ分析の派生

• ヒストグラム / 箱ひげ図 — 単変量分布の確認手法
• 散布図 — 2 変量関係の基本可視化
• ヒートマップ — 多変量相関の俯瞰
• 欠損値処理 — リテラシーの第一歩

🧩 上位フレームワーク

• CRISP-DM — 業界標準データ分析プロセス
• PPDAC サイクル — 統計教育の標準モデル
• Tidy data — 整然データの 3 原則

⚠️ リテラシー欠如の対極

• データバイアス — 標本抽出・測定の偏り
• 疑似相関 — 第 3 変数による見せかけの関係
• シンプソンのパラドックス — 集計レベルで関係が逆転

📚 関連グループ教材

データリテラシーは「データ分析入門」グループの起点教材。 SSDSE-B-2026 を題材にした実装ハンズオンと組み合わせて学ぶことを推奨します。

• データ分析プロセス（PPDAC） — 問題定義から結論報告まで
• 探索的データ分析（EDA） — リテラシーの実技編
• 記述統計 — 平均・分散・分位点で「データを見る」
• データ可視化 — 図表でリテラシーを補強
• データ倫理 — プライバシー・公平性・透明性
• オープンデータ — 公的統計（SSDSE 等）の活用
• 📖 グループ教材インデックスへ戻る

同カテゴリの他用語（統計の基礎、 可視化、 倫理、 公的統計）と合わせて学ぶことで、 「データを扱える社会人」の土台が完成します。