🔖 キーワード索引

本ページは 欠損メカニズム（Missing Data Mechanism）を多角的に解説します。 上のチップは、 検索・関連語の手がかりです。

📍 文脈 — どこで使う概念か

欠損メカニズム（Missing Data Mechanism）は、 統計学・データサイエンスの 基礎理論です。 アンケート、 医療データ、 センサー測定値など 欠損のないデータはまずないのが現実。 ところが「とりあえず平均で埋める」「行ごと削除」といった素朴な対応は、 メカニズムによっては 結果を大きく歪めることが知られています。

🎨 直感で掴む — 具体例で理解する

3 つのメカニズムを具体例で：

例：健康診断データで 「肥満気味の人ほど体重欄を空欄」にすると、 これは MNAR。 単純に「他の人の体重平均」で埋めると、 全体の平均体重を 過小評価してしまいます。

📐 定義・数式

3 メカニズムの数学的定義（$Y$ = 観測したい値、 $M$ = 欠損指示子、 $X$ = 他の観測変数）：

🔬 記号・要素の読み解き

🧮 数値例・実値計算

例：所得アンケートで「年収 1000万以上の人ほど無回答」（MNAR）の場合：

MNAR では どの方法も完全な不偏推定にならない。 ベストエフォートとして選択モデルや感度分析が使われます。

🐍 Python 実装例

最小コードで動かしてみる例：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import pandas as pd
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
print('欠損率:', df.isnull().mean())

# 多重代入法（MICE） — MAR を仮定
imputer = IterativeImputer(max_iter=10, random_state=0)
df_filled = imputer.fit_transform(df.select_dtypes(include='number'))

⚠️ よくある落とし穴

🌐 関連手法・派生

• Listwise Deletion (CCA)：欠損行を削除。 MCAR 前提
• 単一補完：平均・中央値・モード
• 多重代入法 (MICE)：複数の補完値を生成して不確実性を保持
• KNN 補完：類似サンプルから値を補う
• 選択モデル (Heckman)：MNAR への一手段
• EM アルゴリズム：欠損データの最尤推定

🔗 関連用語

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 データ処理 — 前処理の必修テーマ

🔖 索引・このページの読み方

本ページは 欠損メカニズム（Missing Data Mechanism）を 12+ セクションで多角的に解説します。

📂 分野：データ処理 ／ 関連語：MCAR / MAR / MNAR / 多重代入法 / Heckman

💡 30秒で分かる結論（拡張）

• Rubin (1976) による欠損の 3 分類 — MCAR・MAR・MNAR
• メカニズムで 正当化される補完法 が決まる
• MCAR は理想／ MAR は MICE で復元可／ MNAR は最も困難
• 観測データのみから MAR と MNAR を判別する検定は 原理的に存在しない
• SSDSE 公的統計でも MAR 寄り欠損が多い

📍 文脈 — どこで使う概念か（詳説）

Rubin (1976) で定式化された統計理論。 「なぜ欠損したのか」によって、 削除・補完・モデル化のいずれが正当化されるかが決まります。

SSDSE-B（47都道府県統計）でも欠損は普通で、 MAR/MNAR の見極めが結論を左右します。 scikit-learn の Imputer 群、 R の mice、 SAS の PROC MI — どれもこの 3 分類が前提。

典型場面：(a) Methods 節で「12% 欠損を多重代入で対処」、 (b) 因果推論でサンプル選択バイアスを議論、 (c) 機械学習データパイプライン設計、 (d) アンケート設計時の必須設問判断。

🎨 直感で掴む（詳説）

「データが穴あきになる原因」を 3 つに分類します。

🎭 比喩 — アンケートの茶封筒

1000 通配って 200 通無回答のとき：

• MCAR：郵便事故でランダム紛失 → 残り 800 で不偏推定
• MAR：老人ホーム居住者が無回答（年齢で説明可） → MICE で復元
• MNAR：高所得者が拒否 → 外部情報なしには補正不能

仮定の強さ：MCAR ⊂ MAR ⊂ MNAR。 強い仮定ほど分析は楽だが、 現実は MNAR 寄り。

📐 数式・定義（詳説）

$Y$ = 観測したい変数、 $M$ = 欠損指示子、 $X$ = 補助変数。 各メカニズムは $P(M\mid Y,X)$ の依存性で定義：

MICE が正当化されるのは MAR まで。 MNAR では Heckman 選択モデルが必要。

尤度関数

完全データを $(Y, M)$ とすると、 $p(Y_{obs}, M \mid \theta, \psi) = \int p(Y \mid \theta) p(M \mid Y, \psi) dY_{mis}$。 MAR では $\psi$ を無視できる（ignorable）。

🔬 記号・要素の読み解き

$Y$ — 観測したい完全データ

$Y = (Y_{obs}, Y_{mis})$ と分解。

$M$ — 欠損指示子

$M_{ij}=1$ で欠損。

$X$ — 補助変数

MAR では「条件付ければ $Y$ と独立」。

$\theta$ — 推定対象

母平均、 回帰係数など。

$\psi$ — 欠損モデル係数

MNAR で同時推定が必要。

ignorable

MCAR・MAR は無視可、 MNAR は不可。

識別性

観測データのみで MAR/MNAR を統計検定不能。

Rubin's rules

多重代入を統合する公式。

🧮 数値例・実値計算

所得アンケート（真平均 650万、 高所得 MNAR）：

Rubin's rules で 3 個の補完統合

$\hat\theta_1=540, \hat\theta_2=555, \hat\theta_3=548$、 各分散 $U_k=900,950,920$。

$\bar\theta = 547.67$、 $\bar U = 923.3$、 $B = 56.3$、 $T = \bar U + (1+1/m)B = 998.4$、 $SE \approx 31.6$、 95% CI = $(485.7, 609.6)$

🐍 Python 実装（4+ サンプル）

① 欠損パターン可視化

1
2
3
4
5
6
7
8
9

import pandas as pd
import numpy as np
import missingno as msno
import matplotlib.pyplot as plt

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
print('欠損率:', df.isnull().mean().sort_values(ascending=False).head(10))
msno.matrix(df); plt.savefig('figures/missing_matrix.png', dpi=120)
msno.heatmap(df); plt.savefig('figures/missing_heatmap.png', dpi=120)

② 簡易 MCAR 検定

1
2
3
4
5
6
7

from sklearn.linear_model import LogisticRegression
num = df.select_dtypes(include='number')
miss_flag = num.isnull().astype(int)
for col in num.columns[num.isnull().any()][:5]:
    others = num.drop(columns=col).fillna(num.mean())
    lr = LogisticRegression(max_iter=500).fit(others, miss_flag[col])
    print(col, '説明力:', lr.score(others, miss_flag[col]))

③ 補完 3 種比較

1
2
3
4
5
6
7

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import SimpleImputer, KNNImputer, IterativeImputer
imp_mean = SimpleImputer(strategy='mean').fit_transform(num)
imp_knn  = KNNImputer(n_neighbors=5).fit_transform(num)
imp_mice = IterativeImputer(max_iter=10, random_state=0).fit_transform(num)
result = pd.DataFrame({'元':num.mean(),'平均':pd.DataFrame(imp_mean,columns=num.columns).mean(),'KNN':pd.DataFrame(imp_knn,columns=num.columns).mean(),'MICE':pd.DataFrame(imp_mice,columns=num.columns).mean()})
print(result.head(10))

④ 多重代入 m=20

1
2
3
4
5

import statsmodels.api as sm
from statsmodels.imputation.mice import MICE, MICEData
mice_data = MICEData(num)
mice = MICE('death_rate ~ aging_rate + medical_cost', sm.OLS, mice_data)
print(mice.fit(n_burnin=5, n_imputations=20).summary())

⑤ 欠損フラグを特徴量化

1
2
3

imp = SimpleImputer(strategy='median', add_indicator=True)
X = imp.fit_transform(num)
print('元の列数:', num.shape[1], '/ 補完後:', X.shape[1])

⚠️ よくある落とし穴（5+）

🌐 関連手法・派生

• Listwise Deletion (CCA)：MCAR でのみ不偏
• Pairwise Deletion：利用可能ペアのみ
• 単一補完（mean/median/mode）：分散縮小
• 回帰補完：他変数から予測
• 確率的回帰補完：予測+ノイズ
• KNN 補完：類似サンプルから借用
• MICE：m 個を Rubin's rules で統合
• EM：欠損データの尤度最大化
• Heckman：MNAR への 2 段階推定
• Pattern-Mixture：欠損パターン別モデル
• FIML：SEM での自然な扱い
• missForest：非線形補完
• GAIN, MIWAE：深層生成モデル

🔗 関連用語（前提・並列・発展、 各 4+ 件）

前提として知っておきたい用語（4+）

並列・同カテゴリの用語（4+）

発展・応用先（4+）

📚 関連グループ教材

• 📚 データエンジニアリング
• 📚 データ前処理
• 📚 クレンジング処理
• 📚 データ品質

📜 歴史・背景

Donald B. Rubin (1976) "Inference and Missing Data" で体系化。 それ以前は「削除か平均補完」が標準。 Rubin は MCAR/MAR/MNAR の 3 分類と ignorable 概念を導入。 1987 年の著書で多重代入法が確立。

2000 年代に Schafer・van Buuren が MICE を実装し、 R の mice パッケージで普及。 scikit-learn の IterativeImputer もこの系譜。 GAIN, MIWAE, MissForest など深層補完も活発。

主要文献：Rubin (1976) Biometrika; Little & Rubin (2019) 第 3 版; van Buuren (2018) Flexible Imputation; Heckman (1979) Econometrica; Schafer & Graham (2002) Psychological Methods。

🌍 ケーススタディ

SSDSE-B-2026 では一部指標（小規模県の専門医療、 離島部の通信指標）が欠損。 単純削除では 8 県が消え n=39 に。 MAR と見て多重代入すれば 47 県全部を活用可能。

MIMIC-III 集中治療データベース例：患者症状が重いほど検査値未記録 → 典型的 MNAR。 単純補完では推定が楽観的すぎる。 indicator 変数の追加や重症度モデルとの同時推定が必要。

論文記述例（コピペ用）

❓ FAQ

🎓 深掘り — 高度な論点

サンプル選択との関係

「欠損」の一般化が サンプル選択バイアス。 「観測される事例自体が母集団から偏る」現象。

教育的演習

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
# 学習用に分布パラメータで生成（本番では公的データを使用）
N = 200
np.random.seed(0)
income = np.random.lognormal(6.0, 0.7, N)
age    = np.random.normal(45, 12, N)

# (1) MCAR
y1 = income.copy(); y1[np.random.rand(N) < 0.3] = np.nan
# (2) MAR
prob = 1 / (1 + np.exp((age - 50)/5))
y2 = income.copy(); y2[np.random.rand(N) < prob] = np.nan
# (3) MNAR
prob3 = (income - income.min()) / (income.max() - income.min())
y3 = income.copy(); y3[np.random.rand(N) < prob3] = np.nan

print('真の平均:', income.mean())
print('MCAR後 :', np.nanmean(y1), '(不偏)')
print('MAR後  :', np.nanmean(y2), '(やや偏る)')
print('MNAR後 :', np.nanmean(y3), '(過小評価)')

補完前後で回帰係数を比較

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from sklearn.linear_model import LinearRegression
from sklearn.impute import SimpleImputer

X = np.column_stack([age, np.ones(N)])
y_full = income; y_obs = y2  # MAR シナリオ
mask = ~np.isnan(y_obs)

print('真の係数 :', LinearRegression().fit(X, y_full).coef_)
print('Listwise:', LinearRegression().fit(X[mask], y_obs[mask]).coef_)
y_mean = SimpleImputer(strategy='mean').fit_transform(y_obs.reshape(-1,1)).ravel()
print('平均補完 :', LinearRegression().fit(X, y_mean).coef_)
# 観察: Listwise は MAR でもバイアスあり / 平均補完は係数を 0 寄りに

理論的注意：observed-data likelihood

完全データの尤度は $p(Y, M\mid\theta,\psi) = p(Y\mid\theta) p(M\mid Y,\psi)$。 観測データの尤度は $\int p(Y\mid\theta) p(M\mid Y,\psi) dY_{mis}$。 MAR では $p(M\mid Y,\psi) = p(M\mid Y_{obs},\psi)$ なので $\psi$ が $\theta$ と分離可能 → 欠損モデルを無視できる。 MNAR ではこれが成立せず、 同時推定が必要。

主要 R パッケージ早見表

✅ 実務チェックリスト

• □ 「欠損メカニズム」が指す概念を 1 文で説明できるか
• □ 適用条件（前提・制約）を 3 つ以上挙げられるか
• □ 代表的な落とし穴を 5 つ以上避けられるか
• □ Python での実装イディオムを暗記しているか
• □ 関連手法との使い分け基準を持っているか
• □ レポートでの記述例を 1 段落書けるか
• □ 公的データ（SSDSE / e-Stat）で動作確認したか
• □ 同カテゴリの他用語との違いを説明できるか

🔄 標準ワークフロー — 「欠損メカニズム」を使う実務 5 ステップ

推奨ディレクトリ構成

project/
├── data/
│   ├── raw/        # 取得した生データ（git にコミットして再現性確保）
│   └── processed/  # 前処理後の中間ファイル
├── notebooks/      # 探索的分析の Jupyter
├── src/            # 本番コード（モジュール化）
│   ├── preprocess.py
│   ├── analyze.py  # ← 欠損メカニズム の実装
│   └── visualize.py
├── results/        # 出力（CSV, PNG, モデルファイル）
├── docs/           # レポート、 図表説明
├── requirements.txt
└── README.md       # 「目的・データ・手順・結論」を 1 枚で

⚖️ 同種ツール・手法の比較

「欠損メカニズム」と並んで現場で使われる代替・関連手段を整理。 「どれが正解」ではなく「状況に応じて使い分ける」のが実務。

⚡ パフォーマンス・スケーラビリティの目安

高速化テクニック 5 つ

• ベクトル化：for ループを numpy / pandas 関数に置き換え（10〜100 倍速）
• 適切な dtype：int64 → int32、 object → category で半減〜数倍速
• 必要列のみ読み込み：pd.read_csv(..., usecols=[...]) でメモリ削減
• チャンク処理：chunksize=10000 で逐次処理
• 並列化：joblib, dask, multiprocessing で CPU を使い切る

🧪 品質保証 — 再現性・正確性チェック

テストすべき項目

最小限のテストコード例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import pytest
import pandas as pd
from src.analyze import missing_mechanism_function  # 仮の関数名

def test_basic_output():
    df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
    result = missing_mechanism_function(df)
    assert result is not None
    assert len(result) > 0

def test_handles_missing():
    df = pd.DataFrame({'x': [1, 2, None, 4]})
    result = missing_mechanism_function(df)
    assert result.isnull().sum() == 0  # 仕様: NaN を除いて返す

def test_reproducible():
    df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
    r1 = missing_mechanism_function(df)
    r2 = missing_mechanism_function(df)
    pd.testing.assert_frame_equal(r1, r2)

📚 関連論文・教科書（学習ロードマップ）

公的データソース（欠損メカニズム の練習用）

• e-Stat（政府統計の総合窓口） — 各省庁の統計を一元アクセス。 SSDSE-B-2026 の出典でもある
• RESAS（地域経済分析システム） — 観光・人口・産業の地域別データ
• OECD.Stat — 国際比較データ。 GDP・教育・健康など
• World Bank Open Data — 開発指標・経済データ
• e-Gov 法令検索 — 統計法、 個人情報保護法など、 「欠損メカニズム」を扱う際の法的根拠
• 政府 CIO 「データカタログサイト」 — オープンデータの目録

📝 レポート・論文での記述テンプレート

Methods 節（コピペ可）

Results 節（コピペ可）

Discussion 節（コピペ可）