🧮 SSDSE-B-2026 拡張ハンズオン — AIC でモデルを比較する

SSDSE-B-2026 の一人当たり県民所得を被説明変数として、 説明変数の組み合わせを変えた 4 つのモデルの AIC を比較します。 単純に「AIC 最小モデルを選ぶ」のではなく、 「ΔAIC が 2 未満なら同等、 2-7 で弱い差、 10 超で明確な差」というガイドラインを実データで体感します。

🎯 学習目的

説明変数の数を 1 → 2 → 3 → 4 と増やしたとき、 AIC がどこで頭打ちになるかを SSDSE-B-2026 で確かめる。

📥 入力

data/raw/SSDSE-B-2026.csv の Per_capita_income を y、 説明変数候補は Aging_rate ・ Unemployment_rate ・ University_advancement_rate ・ Population。

📤 出力

4 つの入れ子モデルの AIC と ΔAIC、 BIC、 調整済み R^2。

💬 解説

AIC は対数尤度に対して「説明変数 1 個追加につき +2」のペナルティを課す。 つまり、 説明変数を増やして対数尤度が +1 しか改善しないなら AIC は悪化する。 BIC は標本サイズに応じて重いペナルティを課すため、 同じデータで AIC・BIC のどちらが小さくなるかは標本サイズに依存する。

🐍 ネスト型モデル比較

import pandas as pd
import statsmodels.api as sm

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8-sig')
y = df['Per_capita_income']

candidates = [
    ['Aging_rate'],
    ['Aging_rate', 'Unemployment_rate'],
    ['Aging_rate', 'Unemployment_rate', 'University_advancement_rate'],
    ['Aging_rate', 'Unemployment_rate', 'University_advancement_rate', 'Population'],
]
rows = []
for cols in candidates:
    X = sm.add_constant(df[cols])
    m = sm.OLS(y, X).fit()
    rows.append({
        'k': len(cols),
        'AIC': m.aic,
        'BIC': m.bic,
        'R2adj': m.rsquared_adj,
    })
print(pd.DataFrame(rows))

読み解きの観点

• ΔAIC = AIC_i - AIC_min を全モデルで計算し、 2 未満のモデルが複数あれば「同等」と扱う。
• AIC 最小モデルが過剰適合の懸念が無いかを残差プロットで確認する。
• BIC 最小モデルと AIC 最小モデルが食い違ったとき、 説明（BIC）か予測（AIC）かで使い分ける。

追加の落とし穴

• AIC は y の単位に依存しないが、 異なる y（変換した y）を比較してはいけない。 例: log(y) と y を直接 AIC で比べない。
• 異なるデータセット間の AIC 比較は無意味。 同じデータに対する複数モデルの比較に限る。
• AICc（小標本補正版）は n/k が 40 未満で必要。 SSDSE-B-2026 の N=47 はギリギリ AIC で良いが、 県別細分析ではしばしば AICc が必要。

❓ よくある質問 — AIC の使いどころ 10 問

Q1. AIC は何の略か

Akaike Information Criterion（赤池情報量規準）。 1973 年に赤池弘次が提案。

Q2. AIC は対数尤度のどこを罰しているか

$\text{AIC} = -2\ln L + 2k$。 説明変数 1 個追加で +2、 対数尤度が +1 程度しか改善しないモデルは AIC が悪化する。

Q3. AIC が小さいほど良いのか

その通り。 ΔAIC が 2 未満なら同等、 2-7 で弱い差、 10 超で明確な差、 というのが一般的な指針。

Q4. AIC と BIC のどちらを使うべきか

予測精度重視なら AIC、 真のモデル選択なら BIC。 BIC のペナルティは $k\ln n$ で n に依存し、 通常 AIC より厳しい。

Q5. AIC は機械学習でも使えるか

使えるが、 クロスバリデーションの方が一般的。 線形混合モデル ・ GLM ・ 時系列モデルでは AIC が標準ツール。

Q6. AICc（補正版）はいつ必要か

n/k が 40 未満の小標本で必要。 SSDSE-B-2026 の N=47 で k=10 なら n/k=4.7 と小さく、 AICc 推奨。

Q7. 異なる y で AIC を比較してよいか

不可。 同じ y（変換していない、 同じ単位）に対する複数モデルでのみ比較可能。

Q8. AIC で逐次的に変数を入れていって良いか

ステップワイズ AIC 選択は標準的だが、 結果が初期モデルに依存する。 全探索 AIC（全部分集合）の方が原則的。

Q9. AIC 最小モデルが過剰適合になることは

あり得る。 AIC は「予測誤差の漸近的最小化」を目指すが、 有限標本では過剰になりうる。 ホールドアウトで再評価が必要。

Q10. ベイズ的な AIC の代替

WAIC（広く適用可能な情報量規準）と LOO-CV。 PyMC では arviz.compare() でこれらを比較できる。

🚀 発展研究の方向性 — モデル選択の最前線 5 題

• WAIC / LOO-CV: ベイズモデルでの情報量規準。 PSIS-LOO は Stan ・ PyMC で標準。
• FIC（焦点情報量規準）: 「特定の予測量」を最小化する規準。 Claeskens-Hjort の拡張。
• マルチタスク AIC: 複数の被説明変数を同時に予測するモデルでの AIC。
• 機械学習との比較: AIC と CV と PSIS-LOO の三者比較で頑健にモデル選択。
• 説明可能 AIC: 各観測の AIC への寄与を可視化する局所 AIC。

📖 モデル選択用語ミニ辞典 — 10 語

AIC (Akaike Information Criterion)

-2 log L + 2k。 予測誤差の漸近的最小化を狙う規準。

BIC (Bayesian Information Criterion)

-2 log L + k log n。 真のモデル選択を狙う規準。

AICc

AIC の小標本補正版。 n/k < 40 で推奨。

DIC (Deviance Information Criterion)

ベイズモデルでの AIC 類似。

WAIC

広く適用可能な情報量規準。 ベイズで使える。

PSIS-LOO

Pareto Smoothed Importance Sampling LOO-CV。 PyMC で標準。

Mallows' Cp

AIC と類似だが、 線形回帰専用。

調整済み R^2

R^2 に自由度補正を入れた指標。 ペナルティは AIC より緩い。

クロスバリデーション

データ分割で予測誤差を推定。 AIC の数値的代替。

FIC

Focused Information Criterion。 特定の予測量に対する規準。

✨ ベストプラクティス集 — AIC の作法 10 箇条

1. 同じ y、 同じデータ、 同じ尤度関数族でのみ AIC を比較する。
2. n/k < 40 では AICc を使う。 SSDSE-B-2026 の N=47 ではしばしば必要。
3. ΔAIC の解釈: 0-2 で同等、 2-7 で弱い差、 10 超で明確。
4. AIC 最小モデルが過剰適合の兆候を残差で確認する。
5. BIC との結果差は「予測 vs 真モデル」の用途差として整理。
6. 変換した y（log 等）でモデルを比較する場合、 Jacobian 補正が必要。
7. ステップワイズ AIC は初期モデル依存性が強い。 全部分集合探索を併用。
8. 機械学習回帰では CV を併用する。 AIC 単独では不十分。
9. ベイズモデルでは AIC より WAIC ・ LOO-CV。
10. 「説明可能性」を重視する場合は AIC より調整済み R^2 や Mallows' Cp。

📝 練習問題 — SSDSE-B-2026 で AIC モデル選択 3 タスク

練習 1: 全部分集合 AIC

4 つの説明変数の全 16 通りの組み合わせ（空も含む）で AIC を計算し、 最小モデルを特定せよ。

練習 2: AIC vs BIC vs CV

同じデータ・ 同じモデル族で 3 つの規準で選んだ最適モデルを比較せよ。 一致するか／一致しないかは N と説明変数の選び方で変わる。

練習 3: AICc の効果

AIC と AICc を計算し、 N=47 で結果が変わるかを観察せよ。 説明変数 5 以上では明確に変わる。

📜 歴史的文脈 — AIC の発展

AIC は赤池弘次が 1971 年に着想し、 1973 年に Budapest の国際会議で発表しました。 当時、 モデル選択は「真のモデルを当てる」アプローチが主流でしたが、 赤池は「真のモデルとの Kullback-Leibler 距離を最小化する」という予測的視点に転回しました。 これが現代の機械学習における「予測精度を最大化する」考え方の源流となります。

AIC の派生規準

• AICc (Sugiura, 1978): 小標本補正版。
• BIC (Schwarz, 1978): ベイズ的視点で真のモデルを選ぶ。
• QAIC: 過分散モデル用の AIC。
• DIC (Spiegelhalter et al., 2002): ベイズ階層モデル用。
• WAIC (Watanabe, 2010): 広く適用可能な情報量規準。
• PSIS-LOO (Vehtari et al., 2017): Pareto smoothed importance sampling LOO。

✅ AIC モデル選択の最終チェックリスト 10 項目

1. 同じ y ・ 同じデータ ・ 同じ尤度関数族で比較したか。
2. n/k < 40 で AICc を使ったか。
3. ΔAIC を計算し、 「2 未満なら同等」 という解釈を適用したか。
4. AIC 最小モデルの残差プロットで過剰適合の兆候を確認したか。
5. BIC と AIC の結果差を「予測 vs 真モデル」で整理したか。
6. 変換した y で AIC 比較するなら Jacobian 補正を加えたか。
7. ステップワイズ AIC ではなく全部分集合探索を試みたか。
8. 機械学習回帰では CV を併用したか。
9. ベイズモデルでは WAIC ・ LOO-CV を使ったか。
10. 「説明可能性」重視なら調整済み R^2 や Mallows' Cp も比較したか。

📝 まとめノート — AIC

このページは「AIC」を SSDSE-B-2026 (47 都道府県 × 多変量) を題材に体系的に学ぶための一気通貫の教材です。 単なる用語定義集ではなく、 「直感 → 数式 → 実装 → 落とし穴 → 関連手法」 という流れで一周することで、 業務での意思決定にそのまま使える知識に組み上げます。

本ページで取り上げた手法・記号・コード例は、 すべて実データの 47 都道府県を入力として動作する形にしてあります。 合成データに依存しないため、 SSDSE-B-2026 を data/raw/SSDSE-B-2026.csv として配置するだけでコード片を再現できます。

関連グループ教材へのリンクを使い、 「この用語が属する大きな分野」を俯瞰してから戻ってくると、 知識が一段抽象化された形で定着します。 用語ページは点、 グループ教材は線、 概念マップは面 — 三層を往復しながら学習を進めてください。

本ページの内容に不足を感じたら、 相関ページ（correlation.html）を参照基準として、 ご自身の解釈を加筆していくことを推奨します。 教材の完成形ではなく、 学習者自身の理解の出発点として位置付けてください。

最後に、 SSDSE-B-2026 の 47 都道府県データは「N=47 と少ない」という構造的制約があります。 統計検定の漸近近似が崩れる場面、 単一の県（東京都・沖縄県）が全体傾向を支配する場面、 標準誤差が過小評価される場面 — これらは本ページの随所で繰り返し注意喚起しました。 「実データの小ささを軽視しない」 という姿勢が、 実務でのデータサイエンティストの基本姿勢です。