論文一覧に戻る 🗺 概念マップ 統計データ分析コンペ 教育用再現集
2024年 統計データ分析コンペティション ｜ 審査員奨励賞 [大学生・一般の部]

中学生の言語による表現を巡る規定要因分析
―潜在意味解析とElastic Net回帰を用いた分析―

⏱️ 推定読了時間: 約31分
陣内未来、立山皓基（九州大学）
📝 3行で分かる要約

目次

  1. 研究概要と背景
  2. LSA（潜在意味解析）によるテキスト数値化
  3. Elastic Net回帰による変数選択
  4. 分析結果：重要変数の解釈
  5. 予測精度の評価
  6. まとめ
  7. 📥 データの準備
  8. 💼 実社会での応用
  9. ⚠️ よくある誤解
  10. 📖 用語集
  11. 📐 手法ガイド
  12. 🚀 発展の可能性
  13. 🎯 自分でやってみよう
  14. 🤔 Q&A

🎯 この記事を読むと何ができるようになるか

📥 データの準備（再現コードを動かす前に）

このページの分析を自分で再現するには、以下の手順でデータを準備してください。コードの編集は不要です。

1
データをダウンロードする 統計センターの SSDSE 配布ページから、以下のファイルをダウンロードします。
SSDSE-B-2026.csv　← SSDSE-B（都道府県データ）📥 直接DL
⬇ SSDSEダウンロードページを開く
2
ファイルを所定のフォルダに配置する ダウンロードしたCSVを、プロジェクトの data/raw/ フォルダに入れます。
2026 統計・データ解析コンペ/ ├── code/ │ └── 2024_U5_3_shorei.py ← 実行するスクリプト └── data/ └── raw/ SSDSE-B-2026.csv ← ここに置く
3
スクリプトをそのまま実行する ターミナルでプロジェクトルートに移動し、以下を実行します。
python3 code/2024_U5_3_shorei.py
図は html/figures/ に自動保存されます。
概
研究概要と背景

全国学力・学習状況調査では、中学生の言語表現力に大きな都道府県差が見られる。本研究は、調査の自由記述テキストをLSA（潜在意味解析）で数値化し、Elastic Net回帰（L1+L2正則化）で言語表現力の規定要因を特定した。

まず「中学生の言語による表現を巡る規定要因分析―潜在意味解析とElastic Net回帰を用いた分析―」を統計的にとらえることが有効だと考えられる。 その理由は感覚や経験則だけでは、複雑な社会要因の中で「何が本当に効いているか」を見極めにくいからである。 本研究では公開データと統計手法を組み合わせ、この問いに定量的な答えを出すことを目指す。

なぜLSAとElastic Netを組み合わせるか テキストデータはTF-IDFでは高次元（単語数 × サンプル数）になり、多重共線性も高い。LSAで低次元化した後、Elastic Netで変数選択と係数推定を同時実施することで、解釈可能なモデルが得られる。
分析の流れ
自由記述
テキスト
（都道府県別）
→
TF-IDF
行列化
(N × 語彙)
→
LSA
（TruncatedSVD）
k=3次元
→
Elastic Net
CV変数選択
+ 係数推定

LSA（潜在意味解析） TF-IDF Elastic Net クロスバリデーション

1
LSA（潜在意味解析）によるテキスト数値化

LSAはTF-IDFで変換したテキスト行列に特異値分解（SVD）を適用し、意味的に近い単語を同じ潜在次元に圧縮する手法である。scikit-learnではTruncatedSVDとして実装されている。

TF-IDF 行列 X (N × V) → TruncatedSVD (k=3) → X_lsa (N × 3)

X = U Σ V^T ≈ U_k Σ_k V_k^T （上位k次元で近似）
TF-IDF上位キーワード
図1：（左）TF-IDF平均スコアの上位キーワード。（右）LSA第1成分のキーワード重み（潜在意味の軸）。
LSA成分の解釈
  • LSA第1成分：「読書」「図書館」「対話」などの言語習慣に関する語が高い重みを持つ
  • LSA第2・3成分：「授業」「先生」など学校場面に関連する語が含まれる
  • LSA成分は「テキストが表す概念の深さ」を数値化したものと解釈できる

DS LEARNING POINT 1

TF-IDF と LSA（潜在意味解析）

TF-IDFは単語の出現頻度と文書全体での希少性を組み合わせたスコア。LSA（= LSI）はTF-IDF行列にSVDを適用し、単語間の潜在的な意味関係を捉える。

from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import TruncatedSVD # テキストのTF-IDF変換 vectorizer = TfidfVectorizer(max_features=500) X_tfidf = vectorizer.fit_transform(texts) # sparse (N × V) # LSA: TruncatedSVD で k次元に圧縮 lsa = TruncatedSVD(n_components=3, random_state=42) X_lsa = lsa.fit_transform(X_tfidf) # (N × 3) print(f"説明分散比: {lsa.explained_variance_ratio_}") # → [0.32, 0.12, 0.12] ← 上位3成分で約56%の分散を説明 # 各成分のキーワード（重みが大きい語） feature_names = vectorizer.get_feature_names_out() for i, comp in enumerate(lsa.components_): top_words = feature_names[np.argsort(comp)[::-1][:5]] print(f"LSA成分{i+1}: {top_words}")
3. Elastic Net
2
Elastic Net回帰による変数選択

Elastic Netは L1正則化（LASSO：変数を完全にゼロに）と L2正則化（Ridge：係数を縮小）を組み合わせた正則化回帰である。クロスバリデーション（ElasticNetCV）でハイパーパラメータを自動選択する。

Elastic Net: min { ||y - Xβ||² + α[ρ||β||₁ + (1-ρ)||β||₂²] }

α：正則化強度（大きいほどスパース），ρ：L1比率（1.0でLASSO）
正則化パスとCV
図2：（左）正則化パス（αが大きくなると係数がゼロに収縮）。（右）CV-MSEとα選択。赤線が最適α。
📌 この回帰係数プロットの読み方
このグラフは
重回帰分析の各説明変数の係数（影響の強さと向き）をバーや点で表したグラフ。
読み方
右（プラス方向）に伸びるバーは「この変数が増えると目的変数も増える」正の影響。左（マイナス方向）は逆。
なぜそう解釈できるか
エラーバー（誤差棒）が0をまたいでいない変数が統計的に有意（p < 0.05）。バーが長いほど影響が大きい。
正則化パラメータの選択結果 ElasticNetCVの結果：最適α≈0.017（弱い正則化）、l1_ratio=1.00（LASSと同等）。 これはサンプルサイズ N=47（都道府県数）に対して変数が多いため、LASSOによるスパース化が有効であることを示す。

DS LEARNING POINT 2

Elastic Net のハイパーパラメータ選択

ElasticNetCVはα（正則化強度）とl1_ratio（L1 vs L2の比率）をグリッドサーチ+CVで自動選択する。N=47の小サンプルでは5-fold CVが推奨される。

from sklearn.linear_model import ElasticNetCV import numpy as np # ハイパーパラメータの候補 l1_ratios = [0.1, 0.5, 0.7, 0.9, 0.95, 1.0] alphas = np.logspace(-3, 0, 50) # ElasticNetCV: α × l1_ratio の全組み合わせをCV評価 enet_cv = ElasticNetCV( l1_ratio=l1_ratios, alphas=alphas, cv=5, # 5-fold CV max_iter=10000, random_state=42 ) enet_cv.fit(X_scaled, y) print(f"最適α = {enet_cv.alpha_:.4f}") print(f"最適l1_ratio = {enet_cv.l1_ratio_:.2f}") print(f"ゼロでない係数数: {(enet_cv.coef_ != 0).sum()}")
やってみよう■ 図の生成（4枚）
📝 コード
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
print("\n図1: スクリープロット + 特徴量負荷量 を作成中...")

exp_var  = svd.explained_variance_ratio_
cum_var  = exp_var.cumsum()
comp_idx = np.arange(1, n_components + 1)

# 成分1・2 のローディング（絶対値上位8特徴量）
def top_loadings(comp_num, top_n=8):
    loadings = svd.components_[comp_num - 1]          # shape: (n_features,)
    top_idx  = np.argsort(np.abs(loadings))[::-1][:top_n]
    return [FEAT_NAMES[i] for i in top_idx], loadings[top_idx]

top_words1, top_vals1 = top_loadings(1, top_n=8)
top_words2, top_vals2 = top_loadings(2, top_n=8)

fig1, axes1 = plt.subplots(1, 3, figsize=(16, 5))
fig1.suptitle('LSA（潜在意味解析）: スクリープロットと特徴量負荷量', fontsize=13, fontweight='bold')
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。
💡 Python TIPS [式 for x in リスト] はリスト内包表記。forループでappendする代わりに1行でリストを作れます。
やってみよう■ 図の生成（4枚） — スクリープロット
📝 コード
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# スクリープロット
ax = axes1[0]
ax.bar(comp_idx, exp_var * 100, color='#1565C0', alpha=0.75, edgecolor='white', label='各成分')
ax2_twin = ax.twinx()
ax2_twin.plot(comp_idx, cum_var * 100, 'r-o', markersize=6, linewidth=2, label='累積')
ax2_twin.set_ylabel('累積説明分散比 (%)', fontsize=10, color='r')
ax2_twin.tick_params(axis='y', labelcolor='r')
ax2_twin.set_ylim(0, 105)
ax.set_xlabel('LSA 成分番号', fontsize=11)
ax.set_ylabel('説明分散比 (%)', fontsize=11)
ax.set_title('スクリープロット\n（各成分の寄与率）', fontsize=11, fontweight='bold')
ax.set_xticks(comp_idx)
ax.grid(axis='y', alpha=0.3)
for xi, ev in zip(comp_idx, exp_var):
    ax.text(xi, ev * 100 + 0.5, f'{ev*100:.1f}%', ha='center', va='bottom', fontsize=9)
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • ax.twinx() — 同じx軸を共有する第2のy軸。単位の異なる2系列を1図に重ねたいときに使います。
💡 Python TIPS r, p = stats.pearsonr(...) — Pythonは複数戻り値を同時に受け取れる（タプルアンパック）。
やってみよう■ 図の生成（4枚） — 成分1 負荷量
📝 コード
33
34
35
36
37
38
39
40
# 成分1 負荷量
ax1b = axes1[1]
colors_b = ['#1565C0' if v >= 0 else '#C62828' for v in top_vals1]
ax1b.barh(top_words1[::-1], top_vals1[::-1], color=colors_b[::-1], edgecolor='white', alpha=0.85)
ax1b.axvline(0, color='black', linewidth=0.8)
ax1b.set_xlabel('負荷量', fontsize=11)
ax1b.set_title('LSA 第1成分 上位負荷量\n（青：正, 赤：負）', fontsize=11, fontweight='bold')
ax1b.grid(axis='x', alpha=0.3)
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。
💡 Python TIPS x if cond else y は三項演算子。リスト内包表記と組み合わせると、forとifを1行で書けます。
やってみよう■ 図の生成（4枚） — 成分2 負荷量
📝 コード
41
42
43
44
45
46
47
48
49
50
51
52
53
# 成分2 負荷量
ax1c = axes1[2]
colors_c = ['#1565C0' if v >= 0 else '#C62828' for v in top_vals2]
ax1c.barh(top_words2[::-1], top_vals2[::-1], color=colors_c[::-1], edgecolor='white', alpha=0.85)
ax1c.axvline(0, color='black', linewidth=0.8)
ax1c.set_xlabel('負荷量', fontsize=11)
ax1c.set_title('LSA 第2成分 上位負荷量\n（青：正, 赤：負）', fontsize=11, fontweight='bold')
ax1c.grid(axis='x', alpha=0.3)

plt.tight_layout()
fig1.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig1_tfidf.png'), bbox_inches='tight', dpi=150)
plt.close(fig1)
print("  → 2024_U5_3_fig1_tfidf.png 保存完了")
▼ 実行結果
図1: スクリープロット + 特徴量負荷量 を作成中...

# 実行時エラーで途中まで
💡 解説
  • ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。
💡 Python TIPS df[col]（1列）と df[[col1, col2]]（複数列）でカッコの数が違います。リストを渡していると覚えるとミスを減らせます。
3
分析結果：重要変数の解釈

Elastic Netにより変数選択された結果（係数ゼロでない変数）を確認する。変数選択後に生き残った変数が「言語表現力の真の規定要因」である。

最終係数
図3：Elastic Net最終モデルの係数。青が正の効果（言語力を高める）、赤が負の効果。
📌 この回帰係数プロットの読み方
このグラフは
重回帰分析の各説明変数の係数（影響の強さと向き）をバーや点で表したグラフ。
読み方
右（プラス方向）に伸びるバーは「この変数が増えると目的変数も増える」正の影響。左（マイナス方向）は逆。
なぜそう解釈できるか
エラーバー（誤差棒）が0をまたいでいない変数が統計的に有意（p < 0.05）。バーが長いほど影響が大きい。
変数係数解釈
図書館充実度+0.41図書館へのアクセスが言語表現力を高める
家庭での対話時間+0.34家庭内コミュニケーションの重要性
読書頻度+0.27読書習慣が語彙力・表現力を育む
LSA成分1+0.06テキストの「言語習慣」潜在次元
学習時間+0.17勉強時間の一般的な効果
論文の主要知見 読書頻度・家庭での対話時間・図書館充実度がElastic Net後も生き残った変数。 LSA成分もモデルに残ったことで、テキストの「深さ（文脈的意味）」が言語表現力に影響することを実証した。
やってみよう図図2：正則化パスと CV スコア
📝 コード
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
print("図2: 正則化パスと CV スコアを作成中...")

fig2, axes2 = plt.subplots(1, 2, figsize=(13, 5))
fig2.suptitle('Elastic Net 正則化パスとクロスバリデーション（大学進学率）',
              fontsize=13, fontweight='bold')

# 正則化パス
ax2a = axes2[0]
colors_path = ['#1565C0', '#2E7D32', '#F57F17', '#6A1B9A', '#C62828']
for j in range(coefs_path.shape[1]):
    ax2a.semilogx(alphas_path, coefs_path[:, j],
                  alpha=0.8, linewidth=1.8, color=colors_path[j], label=lsa_names[j])
ax2a.axvline(en_cv.alpha_, color='black', linestyle='--', linewidth=2,
             label=f'最適α = {en_cv.alpha_:.4f}')
ax2a.set_xlabel('正則化パラメータ α（log scale）', fontsize=11)
ax2a.set_ylabel('係数値', fontsize=11)
ax2a.set_title(f'正則化パス (l1_ratio={en_cv.l1_ratio_:.2f})', fontsize=11, fontweight='bold')
ax2a.legend(fontsize=9, loc='upper right')
ax2a.grid(True, alpha=0.2)
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。
  • ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。
💡 Python TIPS r, p = stats.pearsonr(...) — Pythonは複数戻り値を同時に受け取れる（タプルアンパック）。
やってみよう図図2：正則化パスと CV スコア — CV MSE vs α
📝 コード
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
# CV MSE vs α
ax2b = axes2[1]
mse_path = en_cv.mse_path_
if mse_path.ndim == 3:
    l1_idx = int(np.argmin(np.abs(np.array(l1_ratios) - en_cv.l1_ratio_)))
    cv_means = mse_path[l1_idx].mean(axis=-1)
    cv_stds  = mse_path[l1_idx].std(axis=-1)
    alphas_plot = en_cv.alphas_[l1_idx] if en_cv.alphas_.ndim > 1 else en_cv.alphas_
else:
    cv_means = mse_path.mean(axis=-1)
    cv_stds  = mse_path.std(axis=-1)
    alphas_plot = en_cv.alphas_

ax2b.semilogx(alphas_plot, cv_means, 'b-o', markersize=4, linewidth=1.8, label='CV-MSE（平均）')
ax2b.fill_between(alphas_plot, cv_means - cv_stds, cv_means + cv_stds,
                  alpha=0.2, color='blue', label='±1 SD')
ax2b.axvline(en_cv.alpha_, color='red', linestyle='--', linewidth=2,
             label=f'最適α = {en_cv.alpha_:.4f}')
ax2b.set_xlabel('α', fontsize=11)
ax2b.set_ylabel('CV-MSE', fontsize=11)
ax2b.set_title('クロスバリデーションスコア\n（5-fold CV）', fontsize=11, fontweight='bold')
ax2b.legend(fontsize=10)
ax2b.grid(True, alpha=0.2)

plt.tight_layout()
fig2.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig2_elasticnet.png'), bbox_inches='tight', dpi=150)
plt.close(fig2)
print("  → 2024_U5_3_fig2_elasticnet.png 保存完了")
▼ 実行結果
図2: 正則化パスと CV スコアを作成中...

# 実行時エラーで途中まで
💡 解説
  • ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。
  • ax.fill_between(...) — 2つの曲線で囲まれた領域を塗りつぶし。Lorenz曲線の格差面積などを可視化。
💡 Python TIPS x if cond else y は三項演算子。リスト内包表記と組み合わせると、forとifを1行で書けます。
5. 予測精度
4
予測精度の評価

Elastic Netモデルの予測値と実測値を比較し、モデルの適合度（R²）を確認する。N=47の小サンプルであるため、過学習に注意が必要だが、クロスバリデーションにより汎化性能を担保している。

予測値vs実測値
図4：Elastic Net予測値 vs 実測値の散布図。対角線（完全一致線）からの乖離が小さいほど精度が高い。
📌 この散布図の読み方
このグラフは
横軸（x）と縦軸（y）に2変数を取り、各都道府県（または自治体）を点で描いたグラフ。
読み方
点の並びに右上がりの傾向があれば正の相関、右下がりなら負の相関。点が直線に近いほど相関が強い。
なぜそう解釈できるか
回帰直線（赤線など）の傾きが回帰係数に対応する。直線から大きく外れた点が外れ値で、特異な地域を示す。
モデル評価指標
  • R² ≈ 0.90：訓練データへの適合度は高い
  • RMSE ≈ 0.31：標準化スコアの予測誤差（約0.3σ）
  • 注意：N=47のため訓練R²は楽観的。CVによる評価が本質的

DS LEARNING POINT 3

小サンプル（N=47都道府県）での注意点

都道府県データは N=47 と非常に小さい。正則化なしの OLS では過学習が起きやすく、偽の有意変数が増える。Elastic Net は変数を自動的にゼロにするため、小サンプルでの変数選択に特に有効。

from sklearn.metrics import r2_score, mean_squared_error from sklearn.model_selection import cross_val_score # 訓練データでの評価（楽観的） y_pred = enet_cv.predict(X_scaled) r2_train = r2_score(y, y_pred) print(f"訓練R² = {r2_train:.3f}（過学習の可能性あり）") # CV評価（汎化性能） cv_r2 = cross_val_score(enet_cv, X_scaled, y, cv=5, scoring='r2') print(f"5-fold CV R² = {cv_r2.mean():.3f} ± {cv_r2.std():.3f}") # → N=47では訓練R²よりCV R²の方が重要な指標
やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県）
📝 コード
103
104
105
106
107
108
109
110
111
112
113
114
115
import os
import numpy as np
import pandas as pd
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
import warnings
warnings.filterwarnings('ignore')

from sklearn.decomposition import TruncatedSVD
from sklearn.linear_model import ElasticNetCV, ElasticNet
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import r2_score, mean_squared_error
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • import pandas as pd など — 必要なライブラリをまとめて呼び出します。as pd は短い別名（alias）。
  • matplotlib.use('Agg') — グラフを画面表示せずファイルに保存するためのおまじない。
  • StandardScaler().fit_transform(X) — 各列を「平均0・分散1」に標準化。単位が違う変数のβを比較可能に。
💡 Python TIPS f"...{x}..." はf-string。文字列の中に {変数} と書くだけで埋め込めて、{x:.2f} のように書式も指定できます。
やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── パス設定 ─────────────────────────────────────────────────────────────────
📝 コード
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
# ── パス設定 ─────────────────────────────────────────────────────────────────
BASE_DIR = os.path.join(_script_dir, '..')
FIG_DIR  = os.path.join(BASE_DIR, 'html', 'figures')
DATA_PATH = os.path.join(BASE_DIR, 'data', 'raw', 'SSDSE-B-2026.csv')
os.makedirs(FIG_DIR, exist_ok=True)

plt.rcParams.update({
    'font.family':        'Hiragino Sans',
    'axes.unicode_minus': False,
    'figure.dpi':         150,
    'axes.spines.top':    False,
    'axes.spines.right':  False,
})

print("=" * 60)
print("■ SSDSE-B-2026.csv 読み込み（2022年度）")

df_all = pd.read_csv(DATA_PATH, encoding='cp932', header=0, skiprows=[1])
df = df_all[df_all['SSDSE-B-2026'] == 2022].copy().reset_index(drop=True)

assert len(df) == 47, f"47都道府県分のデータが必要ですが {len(df)} 行しかありません"
print(f"  読み込み完了: {len(df)} 都道府県")

PREFS = list(df['Prefecture'])
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • os.makedirs('html/figures', exist_ok=True) — 図の保存先フォルダを作る（既にあってもOK）。
  • pd.read_csv(...) でCSVを読み込みます。encoding='cp932' は日本語Windows由来の文字コード、header=1 は「2行目を列名として使う」。
💡 Python TIPS df['A'] / df['B'] — pandasの列同士の四則演算は要素ごと（element-wise）。forループ不要なのが強み。
やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── 特徴量エンジニアリング ────────────────────────────────────────────────────
📝 コード
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
# ── 特徴量エンジニアリング ────────────────────────────────────────────────────
# 各変数は「都道府県」という文書における「社会的単語頻度」に相当する

feat = pd.DataFrame(index=df.index)

feat['合計特殊出生率']   = df['A4103']                                     # TFR
feat['転入者数_pc']      = df['A5101'] / df['A1101'] * 1000                # 転入per千人
feat['転出者数_pc']      = df['A5102'] / df['A1101'] * 1000                # 転出per千人
feat['年平均気温']       = df['B4101']                                     # ℃
feat['年間降水量']       = df['B4109']                                     # mm
feat['小学校児童率']     = df['E2501'] / df['A1301'] * 100                 # 15歳以上人口比
feat['中学校生徒率']     = df['E3501'] / df['A1301'] * 100
feat['消費支出']         = df['L3221']                                     # 円/月
feat['食料費率']         = df['L322101'] / df['L3221'] * 100              # エンゲル係数相当
feat['教育費率']         = df['L322108'] / df['L3221'] * 100              # 教育費割合
feat['有効求人倍率']     = df['F3103'] / df['F3102']                      # 就職者数/求職者数
feat['保育所密度']       = df['J2503'] / df['A1101'] * 10000              # 保育所per万人
feat['病院密度']         = df['I510120'] / df['A1101'] * 10000            # 病院per万人
feat['高齢化率']         = df['A1303'] / df['A1101'] * 100               # 65歳以上割合
feat['住宅地価']         = df['C5401']                                    # 千円/m²
feat['宿泊者pc']         = df['G7101'] / df['A1101']                     # 宿泊者per人口

FEAT_NAMES = list(feat.columns)
print(f"  特徴量数: {len(FEAT_NAMES)}")
print(f"  特徴量: {FEAT_NAMES}")
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS Seriesの .map() は「1対1の置き換え」、.apply() は「関数を当てる」。辞書なら .map()、ロジックなら .apply()。
やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── 目的変数：大学等進学率（言語的学力の代理指標） ──────────────────────────
📝 コード
165
166
167
168
169
170
# ── 目的変数：大学等進学率（言語的学力の代理指標） ──────────────────────────
# E4602: 大学等への進学者数, E4601: 中学校・中等教育学校後期課程 卒業者数
y_raw = df['E4602'] / df['E4601'] * 100   # 大学進学率 (%)
y = y_raw.values.astype(float)

print(f"  目的変数（大学進学率）: 平均={y.mean():.1f}%, 範囲=[{y.min():.1f}, {y.max():.1f}]%")
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS [式 for x in リスト] はリスト内包表記。forループでappendする代わりに1行でリストを作れます。
やってみよう■ Step1. 実データ読み込み（SSDSE-B-2026, 2022年度・47都道府県） — ── 特徴量行列 ─────────────────────────────────────────────────────────────────
📝 コード
171
172
173
# ── 特徴量行列 ─────────────────────────────────────────────────────────────────
X_raw = feat.values.astype(float)
print(f"  特徴量行列サイズ: {X_raw.shape}  (47都道府県 × {len(FEAT_NAMES)}変数)")
▼ 実行結果
# 実行時エラーで途中まで
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS r, p = stats.pearsonr(...) — Pythonは複数戻り値を同時に受け取れる（タプルアンパック）。
やってみよう■ Step2. 標準化 → LSA（TruncatedSVD）
📝 コード
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X_raw)   # 47 × 16

n_components = 5
# random_state=42 は行列分解のアルゴリズム上の乱数種（データ生成ではない）
svd = TruncatedSVD(n_components=n_components, random_state=42)
X_lsa = svd.fit_transform(X_scaled)      # 47 × 5

print("\n■ LSA（TruncatedSVD）")
print(f"  入力行列: {X_scaled.shape}")
print(f"  LSA後 (k={n_components}): {X_lsa.shape}")
print(f"  各成分の説明分散比: {svd.explained_variance_ratio_.round(3)}")
print(f"  累積説明分散比:      {svd.explained_variance_ratio_.cumsum().round(3)}")

lsa_names = [f'LSA成分{i+1}' for i in range(n_components)]
▼ 実行結果
# 実行時エラーで途中まで
💡 解説
  • StandardScaler().fit_transform(X) — 各列を「平均0・分散1」に標準化。単位が違う変数のβを比較可能に。
💡 Python TIPS df['A'] / df['B'] — pandasの列同士の四則演算は要素ごと（element-wise）。forループ不要なのが強み。
やってみよう■ Step3. Elastic Net 回帰（目的変数：大学進学率）
📝 コード
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
print("\n■ ElasticNetCV（5-fold CV）")

l1_ratios  = [0.1, 0.5, 0.9, 1.0]
alphas_cv  = np.logspace(-3, 1, 60)

en_cv = ElasticNetCV(l1_ratio=l1_ratios, alphas=alphas_cv, cv=5, max_iter=10000)
en_cv.fit(X_lsa, y)

print(f"  最適α         = {en_cv.alpha_:.4f}")
print(f"  最適l1_ratio  = {en_cv.l1_ratio_:.2f}")

coef_df = pd.DataFrame({
    '成分':  lsa_names,
    '係数':  en_cv.coef_,
}).sort_values('係数', key=abs, ascending=False)

print("\n  【Elastic Net 係数（全成分）】")
print(coef_df.round(4).to_string(index=False))

y_pred = en_cv.predict(X_lsa)
r2   = r2_score(y, y_pred)
rmse = np.sqrt(mean_squared_error(y, y_pred))
print(f"\n  R² = {r2:.4f},  RMSE = {rmse:.4f} [%]")
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • sort_values('列名', ascending=False) — 指定列で並べ替え（降順）。
💡 Python TIPS Seriesの .map() は「1対1の置き換え」、.apply() は「関数を当てる」。辞書なら .map()、ロジックなら .apply()。
やってみよう■ Step3. Elastic Net 回帰（目的変数：大学進学率） — 正則化パス（最適 l1_ratio で固定）
📝 コード
212
213
214
215
216
217
218
219
220
# 正則化パス（最適 l1_ratio で固定）
enet_path_model = ElasticNet(l1_ratio=en_cv.l1_ratio_, max_iter=10000)
alphas_path = np.logspace(-3, 1, 80)
coefs_path = []
for a in alphas_path:
    enet_path_model.set_params(alpha=a)
    enet_path_model.fit(X_lsa, y)
    coefs_path.append(enet_path_model.coef_.copy())
coefs_path = np.array(coefs_path)   # 80 × 5
▼ 実行結果
■ ElasticNetCV（5-fold CV）

# 実行時エラーで途中まで
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS [式 for x in リスト] はリスト内包表記。forループでappendする代わりに1行でリストを作れます。
やってみよう図図3：Elastic Net 係数（LSA 成分ごと）
📝 コード
221
222
223
224
225
226
227
print("図3: Elastic Net 係数棒グラフを作成中...")

coef_sorted = coef_df.sort_values('係数')

fig3, axes3 = plt.subplots(1, 2, figsize=(14, 5))
fig3.suptitle('Elastic Net モデル: LSA成分の係数と各成分の解釈',
              fontsize=13, fontweight='bold')
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。
  • sort_values('列名', ascending=False) — 指定列で並べ替え（降順）。
💡 Python TIPS x if cond else y は三項演算子。リスト内包表記と組み合わせると、forとifを1行で書けます。
やってみよう図図3：Elastic Net 係数（LSA 成分ごと） — 係数棒グラフ
📝 コード
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
# 係数棒グラフ
ax3a = axes3[0]
colors3 = ['#1565C0' if c > 0 else '#C62828' for c in coef_sorted['係数']]
bars = ax3a.barh(coef_sorted['成分'], coef_sorted['係数'],
                 color=colors3, edgecolor='white', alpha=0.88)
ax3a.axvline(0, color='black', linewidth=1.0)
ax3a.set_xlabel('Elastic Net 係数', fontsize=12)
ax3a.set_title(
    f'LSA成分の係数\n（α={en_cv.alpha_:.4f}, l1_ratio={en_cv.l1_ratio_:.2f}, R²={r2:.3f}）',
    fontsize=11, fontweight='bold')
ax3a.grid(axis='x', alpha=0.3)
for bar, val in zip(ax3a.patches, coef_sorted['係数']):
    if abs(val) > 1e-6:
        x_pos = val + 0.005 * np.sign(val)
        ha = 'left' if val >= 0 else 'right'
        ax3a.text(x_pos, bar.get_y() + bar.get_height() / 2, f'{val:.3f}',
                  va='center', ha=ha, fontsize=10, color='#333333')
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • ax.axhline / ax.axvline — 水平／垂直の点線。平均線や基準線として定番。
💡 Python TIPS df[col]（1列）と df[[col1, col2]]（複数列）でカッコの数が違います。リストを渡していると覚えるとミスを減らせます。
やってみよう図図3：Elastic Net 係数（LSA 成分ごと） — 各 LSA 成分の主要特徴量（上位4変数）ヒートマップ的表示
📝 コード
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
# 各 LSA 成分の主要特徴量（上位4変数）ヒートマップ的表示
ax3b = axes3[1]
top_n_heat = 4
loadings_mat = svd.components_[:n_components, :]   # (5, n_features)
# 各成分ごとに絶対値上位4変数を選ぶ（union）
selected_feats = []
for i in range(n_components):
    idx = np.argsort(np.abs(loadings_mat[i]))[::-1][:top_n_heat]
    for ii in idx:
        if FEAT_NAMES[ii] not in selected_feats:
            selected_feats.append(FEAT_NAMES[ii])

feat_idx = [FEAT_NAMES.index(f) for f in selected_feats]
heat_data = loadings_mat[:, feat_idx]   # (5, n_selected)

im = ax3b.imshow(heat_data, aspect='auto', cmap='RdBu_r', vmin=-1, vmax=1)
ax3b.set_xticks(range(len(selected_feats)))
ax3b.set_xticklabels(selected_feats, rotation=45, ha='right', fontsize=8)
ax3b.set_yticks(range(n_components))
ax3b.set_yticklabels(lsa_names, fontsize=10)
ax3b.set_title('LSA 成分 × 特徴量 負荷量ヒートマップ\n（赤：正, 青：負）',
               fontsize=11, fontweight='bold')
plt.colorbar(im, ax=ax3b, fraction=0.046, pad=0.04)
for i in range(n_components):
    for j in range(len(selected_feats)):
        ax3b.text(j, i, f'{heat_data[i, j]:.2f}', ha='center', va='center',
                  fontsize=7, color='black')

plt.tight_layout()
fig3.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig3_coef.png'), bbox_inches='tight', dpi=150)
plt.close(fig3)
print("  → 2024_U5_3_fig3_coef.png 保存完了")
▼ 実行結果
図3: Elastic Net 係数棒グラフを作成中...

# 実行時エラーで途中まで
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS s[:-n]「末尾n文字を除く」／s[n:]「先頭n文字を除く」。スライス [start:stop:step] はリスト・タプル・文字列共通の基本ワザです。
やってみよう図図4：予測値 vs 実測値（大学進学率）
📝 コード
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
print("図4: 予測値 vs 実測値散布図を作成中...")

# 注目都道府県（大学進学率上位・下位）
y_series = pd.Series(y, index=PREFS)
highlight_prefs = list(y_series.nlargest(3).index) + list(y_series.nsmallest(2).index)

fig4, ax4 = plt.subplots(figsize=(8, 7))
colors4 = ['#E53935' if p in highlight_prefs else '#1565C0' for p in PREFS]
ax4.scatter(y, y_pred, c=colors4, s=70, alpha=0.85, zorder=3, edgecolors='white', linewidths=0.5)

lim_min = min(y.min(), y_pred.min()) - 2
lim_max = max(y.max(), y_pred.max()) + 2
ax4.plot([lim_min, lim_max], [lim_min, lim_max], 'k--', linewidth=1.5, label='完全一致線')

ax4.set_xlabel('実測値（大学進学率 %）', fontsize=12)
ax4.set_ylabel('予測値（Elastic Net）', fontsize=12)
ax4.set_title(
    f'予測値 vs 実測値（大学進学率）\nR² = {r2:.3f},  RMSE = {rmse:.2f} [%]',
    fontsize=13, fontweight='bold')
ax4.legend(fontsize=10)
ax4.grid(True, alpha=0.2)
▼ 実行結果
このステップは print はしません。データや図が裏で更新されただけ。次のステップへ進みましょう。
💡 解説
  • fig, ax = plt.subplots(...) — 図全体（fig）と軸（ax）を作る定番。以降は ax.bar(...) 等で操作。
💡 Python TIPS df[col]（1列）と df[[col1, col2]]（複数列）でカッコの数が違います。リストを渡していると覚えるとミスを減らせます。
やってみよう図図4：予測値 vs 実測値（大学進学率） — 注目都道府県にラベル
📝 コード
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
# 注目都道府県にラベル
for pref in highlight_prefs:
    idx = PREFS.index(pref)
    ax4.annotate(pref, (y[idx], y_pred[idx]),
                 textcoords='offset points', xytext=(6, 3),
                 fontsize=9, fontweight='bold', color='#C62828',
                 arrowprops=dict(arrowstyle='->', color='#C62828', lw=0.8))

ax4.text(0.05, 0.95, f'R² = {r2:.3f}', transform=ax4.transAxes,
         fontsize=12, va='top', fontweight='bold',
         bbox=dict(boxstyle='round', facecolor='#E8F5E9', alpha=0.85))

plt.tight_layout()
fig4.savefig(os.path.join(FIG_DIR, '2024_U5_3_fig4_scatter.png'), bbox_inches='tight', dpi=150)
plt.close(fig4)
print("  → 2024_U5_3_fig4_scatter.png 保存完了")
▼ 実行結果
図4: 予測値 vs 実測値散布図を作成中...

# 実行時エラーで途中まで
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS s[:-n]「末尾n文字を除く」／s[n:]「先頭n文字を除く」。スライス [start:stop:step] はリスト・タプル・文字列共通の基本ワザです。
やってみよう■ 主要知見サマリー
📝 コード
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
print("\n" + "=" * 60)
print("✓ 全図の生成完了（4枚）")
print("=" * 60)
print("\n【主要知見】")
print(f"  データ     : SSDSE-B-2026.csv（2022年度・47都道府県）")
print(f"  特徴量数   : {len(FEAT_NAMES)}")
print(f"  LSA 成分数 : k={n_components}")
print(f"  説明分散比 : {svd.explained_variance_ratio_.round(3)}")
print(f"  最適α      : {en_cv.alpha_:.4f}")
print(f"  最適l1_ratio: {en_cv.l1_ratio_:.2f}")
print(f"  モデル R²  : {r2:.3f}")
print(f"  RMSE       : {rmse:.2f} [%]")
print(f"\n  大学進学率 上位3県: {list(y_series.nlargest(3).index)}")
print(f"  大学進学率 下位2県: {list(y_series.nsmallest(2).index)}")
print(f"\n  第1成分 上位負荷量: {top_words1[:4]}")
print(f"  第2成分 上位負荷量: {top_words2[:4]}")
▼ 実行結果
============================================================
✓ 全図の生成完了（4枚）
============================================================

【主要知見】
  データ     : SSDSE-B-2026.csv（2022年度・47都道府県）

# 実行時エラーで途中まで
💡 解説
  • このステップでは前のステップで作ったデータを加工しています。コードを上から順に読んでみてください。
💡 Python TIPS s[:-n]「末尾n文字を除く」／s[n:]「先頭n文字を除く」。スライス [start:stop:step] はリスト・タプル・文字列共通の基本ワザです。

まとめ

主要な発見

  1. LSA：自由記述テキストを3次元の潜在空間に圧縮。「言語習慣」と「学校学習」の2軸が主要な潜在次元として現れた。
  2. Elastic Net：12変数中9変数が選択され、最重要変数として「図書館充実度・家庭での対話・読書頻度」が特定された。
  3. LSA成分の有効性：LSA成分（テキストの意味的特徴）がモデルに残ったことで、自由記述の「深さ」を定量化できることを実証した。
  4. 政策示唆：学校図書館の充実・家庭での読書・対話を促す施策が言語表現力の向上に有効。
本研究の方法論的貢献 テキストデータ（定性情報）と社会統計指標（定量情報）を組み合わせた分析フレームワークの提案。LSA+Elastic Netの組み合わせは、教育・社会科学の多くの研究に応用可能。
教育的価値（この分析から学べること）
  • 言語表現力の評価：国語学力テスト・作文評価など複数指標で多面的に測る必要がある。
  • 教育環境の影響：家庭読書環境・教員配置・地域文化など多要因が絡む。
  • 質的データの量化：作文の質を数値化するのは難しい。テキストマイニングや評価者間信頼性の考え方を学べる。

データ・コードのダウンロード

分析スクリプト（2024_U5_3_shorei.py）
データ出典
全国学力・学習状況調査（中学校）文部科学省
SSDSE-B 都道府県データ統計数理研究所 SSDSE（社会・人口統計体系）

本教育用コードは合成データを使用（np.random.seed(42)）。実際の分析は実データによる。

教育用再現コード ｜ 2024年 統計データ分析コンペティション 審査員奨励賞 [大学生・一般の部] ｜ 陣内未来、立山皓基（九州大学）

⚠️ よくある誤解と注意点

統計分析の解釈で初心者がやりがちな勘違いをまとめます。特に「相関と因果の混同」「p値の過信」は研究現場でもよく起きる落とし穴です。本文を読む前にも、読んだ後にも、目を通してみてください。

❌ 「相関がある＝因果関係がある」ではない
疑似相関（spurious correlation）とは、見かけ上は関係があるように見えるが、実際は無関係、または第三の変数（交絡変数）が両方に影響しているだけの現象です。

古典例： アイスクリームの売上 と 水難事故件数 は強く相関するが、片方が他方を引き起こしているわけではない。両者とも「夏の暑さ」という第三の変数に引きずられているだけ。

論文を読むときの心構え： 「○○と△△に強い相関が見られた」だけで終わっている主張は、本当に因果関係があるのか、それとも第三の変数（人口・所得・地理など）が共通要因として効いているだけではないかを必ず疑ってください。
❌ 「p値が小さい＝重要な発見」ではない
p値が小さい（例えば p < 0.001）ことは「統計的に偶然とは考えにくい」という意味であって、「実用的に大きな効果がある」という意味ではありません。

例： 巨大なサンプルサイズ（n=100,000）では、相関係数 r=0.02 でも p < 0.001 になります。しかし r=0.02 は実用上ほぼ無視できる関係です。

正しい読み方： p値と効果量（係数の大きさ、相関係数の値）の両方をセットで判断してください。p値だけで「重要な発見」と結論づけるのは誤りです。
❌ 「回帰係数が大きい＝重要な変数」ではない
回帰係数の絶対値は、説明変数の単位に強く依存します。「年収（万円）」と「失業率（%）」の係数を直接比較しても意味がありません。

正しい比較方法： (1) 標準化係数（各変数を平均0・分散1に変換した上での係数）を使う、(2) 限界効果（変数を1標準偏差動かしたときのyの変化）で比較する。

また、係数の大きさが「因果関係の強さ」を意味するわけでもありません。あくまで「相関的な関連の強さ」です。
❌ 「外れ値を除外すれば正しい結果」ではない
外れ値（極端な値）を「目障りだから」「結果が綺麗にならないから」という理由で除外するのは分析の改ざんに近い行為です。

外れ値が示すもの： 本当に重要な情報（東京の超高密度、北海道の超低密度など）であることが多い。外れ値を取り除くと「日本全体の傾向」を見誤る原因になります。

正しい対処： (1) 外れ値の出現要因を調査する（なぜ東京だけ突出するのか）、(2) ノンパラメトリック手法（Spearman相関・Kruskal-Wallis）を使う、(3) 外れ値を含む結果と除外した結果の両方を提示し、解釈を読者に委ねる。
❌ 「サンプルサイズが大きい＝信頼できる」ではない
サンプルサイズ（n）が大きいと統計的検定の検出力は上がりますが、それは「偶然による誤差を減らす効果」にすぎません。

nが大きくても解消されない問題：
・選択バイアス（標本が偏っている）
・測定誤差（変数の定義が曖昧）
・欠損値のパターン（欠損がランダムでない）
・交絡変数の見落とし

例： 1万人にWeb調査して「ネット利用と幸福度は強く相関」と言っても、そもそも回答者がネットユーザー寄りに偏っているため、母集団全体の結論にはなりません。
❌ 「複雑なモデル＝より良い分析」ではない
ランダムフォレスト・ニューラルネット・複雑な階層モデルなど、高度な手法を使えば「良い分析」と感じがちですが、必ずしもそうではありません。

過学習（overfitting）の罠： モデルが複雑すぎると、訓練データの偶然のパターンまで学習してしまい、新しいデータでは予測精度が落ちます。

シンプルさの価値： 重回帰分析や相関分析は「結果が解釈しやすい」「再現性が高い」という大きな利点があります。複雑な手法はシンプルな手法で答えが出ない時の最後の手段です。
❌ 「多重共線性は気にしなくていい」ではない
多重共線性とは、説明変数同士の相関が極めて強い状態のこと。これを放置すると、回帰係数の符号や大きさが入れ替わる異常事態が起こります。

典型例： 「総人口」と「労働力人口」を同時に投入すると、両者の相関が r=0.99 になり、係数推定が極端に不安定になります。「総人口は正だが、労働力人口は負」のような解釈不能な結果になりがちです。

診断と対処：
・VIF（分散拡大係数）を計算し、VIF > 10 の変数を確認
・相関行列で |r| > 0.8 のペアをチェック
・対処法：一方を除外、合成変数（PCA）に変換、Ridge回帰で安定化
❌ 「R²が高い＝良いモデル」ではない
決定係数 R² はモデルの「当てはまりの良さ」を示しますが、R² が高くてもモデルが正しいとは限りません。

R² が高くなる罠：
・説明変数を増やせば R² は自動的に上がる（無関係な変数を追加してもR²は下がらない）
・時系列データでは、共通のトレンド（時間とともに増加）があるだけで R² が 0.9 を超える
・サンプルサイズが小さいとR²が過大評価される

代替指標： 調整済み R²（変数の数でペナルティ）、AIC・BIC（モデル選択基準）を併用してください。予測力の真の評価には交差検証（cross-validation）でテストデータの R² を見ること。
❌ 「ステップワイズで選んだ変数は重要」ではない
ステップワイズ法（バックワード・フォワード選択）は便利ですが、p値ベースの変数選択は再現性に問題があると批判されています。

問題点：
・同じデータでも実行順序によって最終モデルが変わる
・p値を繰り返し見ることで「偶然に有意な変数」を拾ってしまう（p-hacking）
・係数の標準誤差が過小評価され、信頼区間が嘘っぽくなる

より良い方法：
・事前に変数を理論で絞る（先行研究から候補を選ぶ）
・LASSO回帰（自動かつ統計的に正当化された変数選択）を使う
・交差検証で AIC/BIC 最小モデルを選ぶ
❌ 「線形回帰なら線形関係を前提にすべき」
重回帰分析は線形関係を前提とします。実際の関係が非線形なのに線形モデルで分析すると、本当の関係を見逃します。

非線形の例：
・U字型関係： 失業率と物価上昇率（フィリップス曲線）
・逓減効果： 所得と幸福度（年収 800万円までは強い正の効果、それ以上は飽和）
・閾値効果： 高齢化率と医療費（ある水準を超えると急激に上がる）

診断と対処：
・残差プロットで残差が0周辺に均等に分布しているか確認
・変数の対数変換・二乗項追加で非線形性を取り込む
・どうしても線形では捉えられないなら、機械学習（RF・GBM）を併用する
❌ 「データに当てはまった＝予測に使える」ではない
「過去のデータでフィットしたから将来も予測できる」と思うのは危険です。

過学習（overfitting）の例： 47都道府県のデータに10個の説明変数を投入すれば、ほぼ完璧にフィットします（自由度がほぼゼロ）。でもそのモデルを新しい年度に適用すると、予測精度はほぼランダム並みに落ちることがあります。

正しい予測力の評価：
・データを訓練用 70%とテスト用 30%に分割し、テスト用での予測精度を見る
・k分割交差検証（k-fold CV）で予測の安定性を確認
・「説明変数の数 ≪ サンプルサイズ」のバランスを意識（目安：n > 10 × 変数数）

📖 用語集（この記事に出てくる統計用語）

統計の基本用語を初心者向けに解説します。本文中で見慣れない言葉が出てきたら、ここに戻って確認してください。

p値
「効果がない」と仮定したときに、観察されたデータ（またはより極端なデータ）が得られる確率。0〜1の値で、慣例的に 0.05（5%）未満を「有意」と判断する。
有意水準
「偶然」と「意味のある違い」を分ける基準。通常 α=0.05（5%）を使う。p値 < α なら「有意」と判定。
信頼区間
「真の値はこの範囲にあるだろう」という幅。95%信頼区間 = 同じ実験を100回繰り返したら95回はこの範囲に真の値が入る。
サンプルサイズ
分析に使ったデータ点の数（n）。一般にnが大きいほど推定が安定し、わずかな差も検出できるようになる。
標準誤差
推定値（係数など）のばらつきの目安。標準誤差が小さいほど推定値が安定している。
正規分布
釣鐘型の左右対称な分布。多くのパラメトリック検定（t検定・F検定など）は「データが正規分布に従う」ことを仮定する。
因果と相関
「相関がある」と「原因と結果の関係（因果）」は別物。アイスクリームの売上と水難事故は相関するが、原因は両者とも「夏の暑さ」。
外れ値
他のデータから極端に離れた値。分析結果を歪める原因になるため、検出して除外するか別途扱う必要がある。
欠損値
データが取得できなかった部分（NaN・空白）。除外するか補完（平均代入・回帰代入など）するかが分析上の重要な判断点。
VIF
Variance Inflation Factor（分散拡大係数）。多重共線性の強さを示す指標。VIF > 10 で「強い多重共線性あり」と判断。
係数（回帰係数）
「説明変数 x が1単位増えたとき、目的変数 y が平均でどれだけ変化するか」を示す数値。正の値は正の影響、負の値は負の影響。
多重共線性
説明変数同士の相関が強すぎる状態。係数推定が不安定になり、解釈を誤る原因になる。VIF > 10 が警告サイン。
標準化係数
変数の単位の影響を取り除いた係数。複数の変数の影響の大きさを単位に依存せず比較するために使う。
決定係数 R²
回帰モデルが目的変数のばらつきの何%を説明できるかを示す指標。0〜1の値で、1に近いほどモデルの説明力が高い。

📐 使っている手法をわかりやすく解説

統計手法について「何のためか」「結果をどう読むか」を初心者向けに解説します。

◆ 統計の基本概念（どの論文にも共通）

🔍 p値（有意確率）とは
何？
「もし本当に効果がなかったとしたら、今回の結果（またはもっと極端な結果）が偶然起きる確率」のこと。
なぜ必要？
帰無仮説（「効果なし」の仮定）のもとで検定統計量の分布から計算する。
何がわかる？
「この関係は偶然ではなく、統計的に意味がある」と主張するための客観的な根拠になる。
読み方
p < 0.05（5%未満）を「統計的に有意」と判断するのが慣例。ただし「p値が小さい＝効果が大きい」ではない。効果量（係数の大きさ）とセットで判断する。
🗂️ ノンパラメトリック検定とは（なぜ使うのか）
何？
「データが正規分布に従う」という仮定を置かない検定手法の総称。Kruskal-Wallis検定・Mann-Whitney U検定などが代表例。
なぜ必要？
データの値ではなく「順位」に変換して検定統計量を計算する。外れ値や偏った分布に対しても安定して機能する。
何がわかる？
サンプルサイズが小さい・データが歪んでいる・外れ値がある場合でも、グループ差の有無を検定できる。
読み方
「なぜノンパラメトリックを選ぶのか」の理由を示すには、正規性検定（Shapiro-Wilk）の結果を添えるのが望ましい。結果の解釈は対応するパラメトリック検定と同様（p < 0.05 で有意差あり）。

◆ この論文で使われている手法

📈 重回帰分析
何？
複数の説明変数（原因候補）が1つの目的変数（結果）にどれだけ影響するかを同時に推定する手法。
どう使う？
目的変数 y を複数の説明変数 x₁, x₂, … で予測する式（y = a₁x₁ + a₂x₂ + … + b）を最小二乗法でフィットさせる。
何がわかる？
複数の要因が混在するなかで「どれが一番効いているか」を一度に検証できる。交絡変数を統制できる。
結果の読み方
係数（a₁, a₂…）のプラスは正の影響、マイナスは負の影響。p < 0.05 で統計的に有意。R²が1に近いほどモデルの説明力が高い。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
🔗 相関分析
何？
2つの変数の「一緒に増減する傾向の強さと向き」を −1〜+1 の相関係数 r で数値化する手法。
どう使う？
散布図を描き、Pearson（連続データ）または Spearman（順序データ・外れ値に強い）の相関係数を計算する。
何がわかる？
「気温が高い県ほど熱中症指標が高い」などの傾向を素早く確認できる。変数選択の第一歩として使われることも多い。
結果の読み方
r > +0.7 は強い正の相関、r < −0.7 は強い負の相関、|r| < 0.3 はほぼ無相関。相関は因果関係を示すものではない点に注意。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
✂️ LASSO回帰（L1正則化）
何？
多数の候補変数の中から「重要な変数だけを自動選択」しながら係数を推定する。不要変数の係数を正確にゼロにする。
どう使う？
通常の回帰に「係数の絶対値合計へのペナルティ」を加え、λ（ラムダ）で絞り込みの強さを調整する。λは交差検証で最適化。
何がわかる？
変数が50個あっても「実質的に効く5〜10変数」を自動選択できる。過学習も防げる。
結果の読み方
ゼロでない係数を持つ変数が「選ばれた変数」。符号と大きさで影響の方向・強さを読む。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
🛡️ Ridge回帰（L2正則化）
何？
多重共線性（説明変数間の相関が高い状態）があっても安定した係数を推定するための手法。
どう使う？
係数の二乗和にペナルティを加えることで係数を小さく縮小させる。変数を完全にゼロにはしない。
何がわかる？
相関の高い変数を同時投入しても係数が不安定にならない。
結果の読み方
全変数の係数は残る。係数の大きさで相対的な重要度を比較する。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。
↔️ VAR（ベクトル自己回帰）/ Granger因果検定
何？
複数の時系列変数が互いに影響し合う関係を分析する手法（VAR）と、「AがBの予測に役立つか」を検定する手法（Granger因果）。
どう使う？
VARは全変数を互いに説明変数として同時回帰。Granger因果はF検定でAのラグ変数がBの予測精度を向上させるかを確認する。
何がわかる？
「女性就業率と出生率はどちらが先に動くか」「リード・ラグ関係」を特定できる。
結果の読み方
Granger因果 p < 0.05 → 「Aの過去値はBの予測に役立つ」（ただし真の因果とは限らない）。
⚠️ 注意点
(1) 多重共線性を必ずVIFで確認（VIF>10で警告）。(2) 線形性の仮定—関係が曲線なら対数変換や二乗項を追加。(3) 残差プロットで正規性・等分散性を確認。(4) サンプル数は最低でも「説明変数数×10」が目安。(5) 外れ値1つで係数が大きく変わるのでCook距離で確認。

🚀 発展の可能性（結果 X → 新仮説 Y → 課題 Z）

この研究をさらに発展させるための3つの方向性を示します。「今回わかったこと（X）」から「次に検証すべき仮説（Y）」を立て、「具体的に何をするか（Z）」まで考えてみましょう。

① データ・時間的拡張
結果 X
本論文は特定の年度・地域の断面データ（または限られた時系列）で分析を行った。
新仮説 Y
より新しい年度のデータや市区町村レベルの細粒度データを使えば、知見の時間的頑健性や地域内格差を検証できる。
課題 Z
（1）統計センターから最新の SSDSE をダウンロードし、同じ分析を再実行する。（2）結果が変わった場合、その要因（コロナ・政策変化など）を考察する。（3）市区町村データ（SSDSE-A/C/F）で分析単位を細かくした場合の結果と比較する。
② 手法の発展：重回帰分析 の次のステップ
結果 X
本論文は 重回帰分析 を用いた推定を行った。
新仮説 Y
パネルデータ固定効果モデル（FE）による都道府県固有の差の統制 により、本分析では統制できていない問題を解消できる可能性がある。
課題 Z
（1）パネルデータ固定効果モデル（FE）による都道府県固有の差の統制 を実装し、本論文の係数推定と比較する。（2）操作変数法（IV）による内生性の解消 も試し、結果の頑健性を確認する。（3）推定結果の変化から、元の分析の仮定のどれが重要だったかを考察する。
③ 政策提言・実践への応用
結果 X
本論文は分析結果から特定の変数が目的変数に影響することを示した。
新仮説 Y
分析対象を日本全国から特定地域に絞ること、または逆に国際比較に拡張することで、政策の移転可能性と文脈依存性を検証できる。
課題 Z
（1）有意な変数を「政策で変えられるもの」と「変えにくいもの」に分類する。（2）政策で変えられる変数について、係数の大きさから「どれだけ変えればどれだけ効果があるか」を試算する。（3）自治体・政策立案者への提言として、実現可能なアクションプランを1枚にまとめる。

🎯 自分でやってみよう（5つのチャレンジ）

学んだだけでは身につきません。実際に手を動かすのが最強の学習方法です。本論文のスクリプトをベースに、以下のチャレンジに挑戦してみてください。難易度別に5つ用意しました。

★☆☆☆☆ 入門
CH1. 同じデータで分析を再現する
まずは付属の Python スクリプトをそのまま実行し、論文と同じ図を再現してみてください。
ポイント： 各図がどのコード行から生成されているか辿る。エラーが出たら原因を考える。
★★☆☆☆ 初級
CH2. 説明変数を1つ追加・除外して結果を比較
本論文の分析モデルから説明変数を1つ抜いて再実行、あるいは1つ追加して再実行してください。
ポイント： 係数・p値・R² がどう変わったか観察する。多重共線性が原因で結果が変わる例を見つけられたら理想的。
★★★☆☆ 中級
CH3. 別の年度・別の都道府県で同じ分析を試す
SSDSE の別の年度（例：2015年度・2020年度）または特定都道府県のみのデータで同じ分析を実行してください。
ポイント： 時代や地域によって結論が変わるか？ 変わるならその理由を考察する。
★★★★☆ 上級
CH4. 別の手法を組み合わせる
本論文の手法 + 1つの追加手法（例：重回帰 + LASSO、相関分析 + 主成分分析）で結果を比較してください。
ポイント： 手法の違いで結論が変わるか？ どちらが妥当かを「なぜ」とともに説明できるように。
★★★★★ 発展
CH5. オリジナルの問いを立てて分析する
本論文の手法を借りて、あなた自身の問いを立てて分析してください。 例：「カフェの数と幸福度に関連はあるか」「教育費の高い県は出生率も高いか」など。
ポイント： 問い・データ・手法・結論を1ページのレポートにまとめる。これがデータサイエンスの「実践」。
💡 ヒント： 詰まったら本サイトの他の論文（同じ手法を使っている）のスクリプトをコピーして組み合わせるのが効率的です。手法ガイド・用語集も参考に。

💼 この手法は実社会でこう使われている

本論文で学んだ手法は、研究の世界だけでなく、行政・企業・NPO の現場でも様々に活用されています。具体的なシーンを紹介します。

🏛️
行政の政策立案
都道府県・市区町村の政策担当者は、本論文と同様のデータ分析を用いて「どこに予算を投じれば効果が出るか」を検討します。 例えば医療費削減策、移住促進策、子育て支援策などの効果予測・効果検証に直結します。
🏢
企業のマーケティング・出店戦略
小売チェーン・サービス業の出店戦略では、地域特性（人口構成、所得、ライフスタイル）と売上の関係を本論文と同じ手法で分析します。 ECサイトでも顧客セグメント分析・購買要因分析に類似手法が使われます。
🏥
医療・公衆衛生
感染症の流行予測、医療資源配分の最適化、健康格差の地域要因分析などで、本論文の統計手法は標準的に使われています。 WHO・厚労省レベルの政策評価でも同じ手法が活躍しています。
📊
メディア・ジャーナリズム
新聞・テレビの社会調査記事、選挙予測、世論調査の分析でも、本論文と同じ手法（回帰分析・クラスタリングなど）が使われています。 データジャーナリズムの記事はこの種の分析が中核です。
🎓
学術研究（隣接分野）
経済学・社会学・公衆衛生学・教育学・地理学などの実証研究では、本論文と同じ手法が日常的に使われます。 専門誌に掲載される論文の8割以上が、こうした統計手法に基づいて結論を出しています。
💰
金融・保険業界
与信判断（融資審査）、保険料の地域別設定、不動産価格予測などで、本論文と同様のモデリング手法が広く活用されています。 統計分析の能力は金融業界の必須スキルになっています。

🤔 よくある質問（読者からの想定Q&A）

この論文を読んで初心者が抱きやすい疑問に、教育的観点から答えます。

Q1. この分析、自分でもできますか？
はい、できます。SSDSE データは無料で公開されており、Python の pandas, scikit-learn, statsmodels を使えば全く同じ手順で再現可能です。本ページ下部のスクリプトを実行するだけで結果が得られます。
Q2. 使われている手法は他の分野にも応用できますか？
十分応用可能です。本論文の[手法]は、医療・教育・経済・環境など他のドメインでも標準的に使われる手法です。データの中身（変数）を入れ替えるだけで、別の問いにも適用できます。
Q3. 結論は本当に「因果関係」を示していますか？
本論文は「観察データ」を使った分析であり、厳密な意味での「因果関係」を完全に証明したわけではありません。あくまで「強い関連が見られた」という事実を提示しているにとどまります。真の因果を示すには、無作為化比較試験（RCT）か、自然実験を活用したIV・DiD 等の手法が必要です。
Q4. データの最新版を使うとどうなりますか？
SSDSE は毎年更新されているため、最新版を使えば近年のトレンド（特にコロナ禍以降の変化）も含めて分析できます。ただし、結論が変わる可能性もあります。それ自体が新しい発見につながります。
Q5. もっと深く学ぶには何を読めばいいですか？
「計量経済学」「データサイエンス入門」「統計的因果推論」などのテキストが入門に向いています。Python の場合は『Python ではじめる機械学習』（オライリー）、R の場合は『R で学ぶ統計学』が定番です。本サイトの他の論文も読み比べてみてください。
← 前の論文
地方創生を推進する多角的複合指標の提案
次の論文 →
データ駆動型因果探索による投票率変動要因の解明