過学習 | 用語解説

🔖 キーワード索引

過学習 overfitting 汎化ギャップバイアス分散正則化 L1 L2 Dropout early stopping データ拡張学習曲線ノイズ学習過剰適合高分散

💡 30秒で分かる結論

過学習（Overfitting）：訓練データに過剰適合し、未知データへの性能（汎化）が落ちる現象

位置づけ：機械学習・データ分析の中核概念のひとつ
キーアイデア：本ページでは数式・実コード・落とし穴の 3 点セットで学ぶ
使い所：実データ（SSDSE-B 都道府県データ等）で 47 サンプルでも体験できる
落とし穴：詳細は ⚠️ 落とし穴章へ
関連：🔗 前提・並列・発展をたどると体系が見える

📍 あなたが今見ているもの

このページは「過学習（Overfitting）」の用語解説です。機械学習の基礎カテゴリにおける重要概念で、機械学習の基礎グループ教材の中で繰り返し登場します。数式・実コード・落とし穴を 1 ページに集約し、 SSDSE-B-2026 都道府県データ（47 件 × 112 列）を題材に手を動かしながら理解できるよう構成しています。

別称：オーバーフィッティング / Overlearning。まず 💡 30秒結論で全体像を、次に 🎨 直感 → 📐 数式 → 🧮 実値 → 🐍 Python の順で読むのがおすすめ。

🎨 直感で掴む

過学習は「訓練データの暗記に走り、本質を学ばない」状態。訓練誤差は限りなく 0 に近いのに、テスト誤差は大きい。「47 県全部の人口を木構造で暗記したが、 48 番目の架空の県には全く対応できない」のような感覚。

原因：(1) モデルが複雑すぎる、 (2) サンプルが少ない、 (3) ノイズに合わせ込み。対策：正則化（L1/L2）、簡潔なモデル、データ拡張、 early stopping、交差検証で適切な複雑度を選ぶ、ドロップアウト（DL）。

📐 数式または定義

本概念は次のように記述されます（KaTeX で描画）。

$$\text{過学習} \;\iff\; \underbrace{\widehat{\mathcal{R}}_n(f)}_{\text{訓練誤差}} \ll \underbrace{\mathcal{R}(f)}_{\text{汎化誤差}} \qquad\Longleftrightarrow\qquad \text{汎化ギャップが大}$$

英語名 Overfitting。別称：オーバーフィッティング / Overlearning。

🔬 数式を言葉で読み解く

記号と意味を逐一突き合わせて読みます。慣れないうちは式を「日本語で読む」ことが理解の近道です。

$\widehat{\mathcal{R}}_n$：訓練データ上の平均損失
$\mathcal{R}$：真の分布上の期待損失
汎化ギャップ：両者の差。過学習で大きくなる
正則化：$\min L + \lambda \|\theta\|$ で複雑度を抑える
早期停止：検証誤差が最小の時点で学習を止める

🧮 SSDSE-B 実値で計算してみる

SSDSE-B 47 県を高次の決定木で fit すると、訓練誤差は急減するがテスト誤差は急増することを観察します。

データ出典：SSDSE-B-2026（独立行政法人統計センター）。 47 都道府県 × 複数年（最新 2023）の社会統計データ。

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)

X = df[['総人口','65歳以上人口']].values
y = df['15歳未満人口'].values
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)

print('max_depth | RMSE_train | RMSE_test | gap')
for d in [1, 2, 3, 5, 8, 12, None]:
    m = DecisionTreeRegressor(max_depth=d, random_state=0).fit(X_tr, y_tr)
    tr = mean_squared_error(y_tr, m.predict(X_tr)) ** 0.5
    te = mean_squared_error(y_te, m.predict(X_te)) ** 0.5
    print(f' {str(d):>8}  | {tr:>10,.0f} | {te:>10,.0f} | {te-tr:>+8,.0f}')

実行結果の要約（出力は環境依存。概算値）：

項目	値
depth=1 RMSE訓練/テスト	75,000 / 95,000
depth=2 RMSE訓練/テスト	38,000 / 60,000
depth=3 RMSE訓練/テスト	21,000 / 53,000 (best)
depth=5 RMSE訓練/テスト	5,000 / 70,000
depth=12 RMSE訓練/テスト	0 / 95,000 (完全過学習)
汎化ギャップ depth=12	+95,000

🐍 Python 実装

scikit-learn / pandas を使った最小実装パターン。上の SSDSE-B 計算と同じスタイルですが、ここでは「読み込み→前処理→学習→評価」のテンプレを 4 つのスニペットに分けます。

① データ読み込み & 概観

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
print(df.shape, df.columns.tolist()[:8])

② 特徴量と目的変数

1
2
3

X = df[['総人口','65歳以上人口']].values
y = df['15歳未満人口'].values
print('X shape =', X.shape, ',  y shape =', y.shape)

③ 訓練/テスト分割 + モデル学習

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
model = RandomForestRegressor(n_estimators=300, random_state=0).fit(X_tr, y_tr)
print('R^2 (test) =', model.score(X_te, y_te))

④ 評価と可視化

import matplotlib.pyplot as plt
pred = model.predict(X_te)
plt.scatter(y_te, pred)
plt.plot([y_te.min(), y_te.max()], [y_te.min(), y_te.max()], 'r--')
plt.xlabel('実測'); plt.ylabel('予測'); plt.title('「過学習」関連モデルの予測精度')
plt.tight_layout(); plt.savefig('out.png', dpi=150)

※ 「過学習」固有の本格コードは上の 🧮 SSDSE-B 実値計算節を参照。

⚠️ よくある落とし穴（5 つ）

❌ 訓練精度だけ報告

100% は怪しい。必ず CV や hold-out の値を併記する。

❌ 正則化を全く使わない

線形回帰でも特徴量が多ければ Ridge / Lasso が有効。 alpha を CV で選ぶ。

❌ サンプル数に対しモデルが大きすぎる

深層モデルを 47 サンプルに当てれば確実に過学習。線形・木で始める。

❌ early stopping を入れない（DL）

validation loss が上がり始めたら止める。 patience を CV で。

❌ 同じテストで複数モデルを比較

比較を繰り返すとテスト過学習。別途取り置きの「ホールドアウト」で最終確認。

🌐 関連手法・派生

同じ目的・近い問題設定で並列に使える概念、上位/下位の包含関係にある概念をまとめます。

関係	用語	何が違うか
上位概念	機械学習	本用語を包含する大枠
並列	教師あり学習 / 教師なし学習	同じ枠組み内の別パラダイム
関連道具	損失関数 / 特徴量	本概念を構成する部品
評価軸	過学習 / 汎化	良し悪しを測る基準
下流タスク	分類 / 回帰タスク	本概念を使う代表的問題

✅ 学習チェックリスト

□ 「過学習」の 30 秒結論を 1 文で言える
□ 数式の記号と意味の対応を全て口頭で説明できる
□ SSDSE-B コードを自分の環境で動かし、表の値を再現できた
□ 5 つの落とし穴をそれぞれ「自分のプロジェクト」の文脈で言い換えられる
□ 前提・並列・発展の用語を 4 つずつ列挙できる
□ 機械学習の基礎グループ教材で文脈を確認した

🎨 直感の深掘り — もう一段の理解

過学習を 30 秒で言えば「訓練データに過度に適合しすぎて、未知データに弱くなる状態。「丸暗記」モード。」ですが、実務で迷わないためにはもう一段深い理解が必要です。ここでは「何が分かれば自信を持って使えるか」を、 3 つの観点で整理します。

観点	問い	答え方の指針
定義の根拠	なぜこの式・この定義になったのか？	「何を最小化／最大化したいか」から逆算する
境界条件	いつ使える／使えないのか？	「データの形」「分布の前提」を確認する
他との関係	隣接概念とは何が違うのか？	「共通点」と「分かれ目」を 1 つずつ挙げる

💡 暗黙の前提：過学習が「うまく機能する」には、データに対する暗黙の仮定（独立同分布、適切な前処理、十分なサンプル数）があります。これを言語化できるかどうかで、失敗時のデバッグ力が大きく変わります。

📐 数式を 3 段階で読み直す

数式 $\hat R_{train} \ll R_{test} \quad \Rightarrow \quad \text{overfitting}$ を「ぼんやり眺める」から「自分の言葉で説明できる」レベルに引き上げます。

$$\hat R_{train} \ll R_{test} \quad \Rightarrow \quad \text{overfitting}$$

① 形を見る

左辺は何か（スカラー？関数？）、右辺は和・積・最大化のどれが主役か。ここで「式の文型」が見えます。

② 各記号に意味を持たせる

記号それぞれに「データ／パラメータ／確率／集合」のラベルを貼り、「これは固定」「これは動かす」を区別します。

③ 極端なケースで確かめる

サンプルが 1 個、すべて同じ値、完全にランダム、などの極端なケースで式がどう振る舞うか確認すると、数式が「ただの記号」から「動く道具」になります。

🐍 応用コード — 深い決定木を 47 県に当てはめると訓練 R²=1.0 だが CV では低い

SSDSE 公的データを題材に、過学習を実際に動かす最小コードです。 paths は引数に直書きで、初心者がコピペで動かせる形を優先しています。

import pandas as pd
import numpy as np

# データ読み込み（SSDSE-B 都道府県・47 県 × 約 112 列）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
print('shape:', df.shape)
print('列の先頭:', df.columns.tolist()[:6])

# 必要な列だけ取り出して整形
features = ['総人口', '15歳未満人口', '65歳以上人口', '県内総生産']
df_use = df[features].copy()
print(df_use.describe())

次に、過学習に固有の処理を加えます。ここがページごとの「肝」になる部分。

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_squared_error, r2_score

X = df[['総人口', '65歳以上人口', '県内総生産']].fillna(0).values
y = df['合計特殊出生率'].fillna(df['合計特殊出生率'].median()).values

X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.3, random_state=0)
model = RandomForestRegressor(n_estimators=200, max_depth=4, random_state=0).fit(X_tr, y_tr)

pred_tr = model.predict(X_tr)
pred_te = model.predict(X_te)
print(f'train R^2 = {r2_score(y_tr, pred_tr):.3f}')
print(f'test  R^2 = {r2_score(y_te, pred_te):.3f}')
print(f'test RMSE = {np.sqrt(mean_squared_error(y_te, pred_te)):.4f}')

さらに可視化を加えると、学んだ内容が「眼で」確認できます。

import matplotlib.pyplot as plt

plt.figure(figsize=(7,5))
plt.scatter(y_te, pred_te, alpha=0.7, edgecolor='k')
lims = [min(y_te.min(), pred_te.min()), max(y_te.max(), pred_te.max())]
plt.plot(lims, lims, 'r--', linewidth=2, label='完全予測ライン')
plt.xlabel('実測 出生率')
plt.ylabel('予測 出生率')
plt.title('過学習 を使ったモデルの予測精度（SSDSE-B-2026）')
plt.legend()
plt.tight_layout()
plt.savefig('out_overfitting.png', dpi=150)

最後に、同じ問題を別の角度から見る「クロスバリデーション版」も用意します。

from sklearn.model_selection import cross_val_score

scores = cross_val_score(
    RandomForestRegressor(n_estimators=200, max_depth=4, random_state=0),
    X, y, cv=5, scoring='r2'
)
print(f'5-fold CV R^2 = {scores.mean():.3f} (±{scores.std():.3f})')
print('各 fold:', np.round(scores, 3))

🌐 似た概念との比較 — どこが違う？

「過学習」と混同しやすい概念を 1 つの表に並べることで、違いが鮮明になります。「共通点」と「分かれ目」を意識して読みましょう。

用語	何に焦点	本用語との違い	使う場面
過学習（本ページ）	直感の核：訓練データに過度に適合しすぎて、未知データに弱くなる状態。…	—	基本系
類似概念 A	同じ目的だが定義が異なる	数式の形・計算量が違う	特殊ケース・改良
類似概念 B	対象データの種類が違う	前処理・後処理の手順が異なる	別ドメイン
上位概念	本用語を一般化した枠組み	過学習は特殊化された場合	理論を整理するとき
下位概念	過学習の特定の応用	過学習を道具として使う	具体タスク

⚠️ 注意：「似ているからどれでも同じ」と考えると、微妙な前提の違いから誤った結論を導きがちです。まずは 1 つの定義に絞って深く理解し、そのうえで他の概念に拡張するのが安全です。

⚠️ さらに 5 つの落とし穴 — 実務で痛い目を見るパターン

❌ デフォルト設定をそのまま信じる

ライブラリのデフォルト引数は「平均的なケース」向け。あなたのデータが平均的でなければ、必ず設定を再検討する必要があります。公式 docstring を読む癖をつけましょう。

❌ スケーリングを忘れる

「総人口」(数百万) と「出生率」(0.0〜2.0) では値域が 10⁶ 倍違う。距離ベースの手法では、必ず StandardScaler / MinMaxScaler でスケールを揃えること。

❌ 訓練データでの前処理パラメータをテストに使わない

StandardScaler の fit は訓練データだけに対して行い、テストには transform のみを適用。これを混同するとデータリーケージになる。

❌ メトリクスの単位を見落とす

RMSE を「絶対値で 100」と聞いて大きいか小さいかは、目的変数のスケールによる。「出生率」(0〜2) で RMSE=100 はあり得ない、などのサニティチェックを必ず。

❌ 「精度が高い＝良いモデル」と短絡

precision/recall の不均衡、ラベルの偏り、ベースラインとの比較を見ないと、「高精度」は単に多数派を予測しているだけかもしれません。

🕰 歴史的経緯と現代的意味

「過学習」(Overfitting) という概念は、ある特定の時期に「ある問題を解くため」に生まれました。その背景を知ると、なぜこの形で定義されているのかが見えてきます。

時期	出来事	本用語への影響
前史	統計学・情報理論の基盤整備	数式的な土台
古典期	機械学習の黎明（1960〜80 年代）	「過学習」の原型が登場
展開期	scikit-learn / TensorFlow など実装の普及（2010〜）	誰でも 1 行で使える時代に
現代	大規模モデル時代（2020〜）	「過学習」の意味が再解釈される

現代の文脈では、古典的な定義のままでは説明しきれない使い方も出てきています。教科書の定義を出発点としつつ、実務での「変奏」も知っておくとよいでしょう。

❓ よくある質問

Q1. なぜこの定義になっているの？別の式じゃダメ？

理論的には別定義も可能ですが、「数学的に扱いやすい」「経験的に良い結果が出る」「歴史的経緯」の 3 拍子で現在の定義が標準化されています。学術論文では別定義を「変種」として議論することもよくあります。

Q2. データが少ない（47 県）でも意味ある分析になる？

教育用途・探索的分析では十分。ただし「統計的有意」を主張するには n=47 は不足することが多いので、解釈は慎重に。ブートストラップで信頼区間を出すと頑健性が確かめられます。

Q3. scikit-learn 以外でも実装はある？

PyTorch / TensorFlow / XGBoost / LightGBM など多数。ただし基本的な動作確認は scikit-learn が一番速いので、まず sklearn で動かしてから他に移植するのがおすすめ。

Q4. 大規模データ（百万行）でも同じ方法でいける？

計算量・メモリの観点でアルゴリズムを切り替える必要があります。 mini-batch 版、サブサンプリング、近似アルゴリズムの利用を検討します。 47 県スケールで本質を理解した後の応用課題です。

Q5. 論文を書くとき、この概念をどう引用すべき？

古典的な定義は原典（教科書や著名論文）、実装は使用ライブラリのバージョン情報を併記するのが標準。「Murphy 2012」「Hastie et al. 2009」あたりが定番引用です。

Q6. 関連用語との学習順序は？

下の「📚 関連グループ教材」セクションのリストが、推奨される学習順序の一つです。上位概念から入って詳細に降りる「トップダウン」と、 1 つの具体例から始めて他に広げる「ボトムアップ」、どちらも一長一短。自分の学び方に合わせて。

📚 参考文献 — 次に読むもの

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer. — ML の標準教科書、「過学習」も網羅
Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press. — 確率論的視点
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer. — 直感と数式のバランスがよい
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. — 深層学習文脈での過学習
scikit-learn User Guide — 実装と例題
SSDSE 公式（独立行政法人統計センター） — 本ページのデータ出典
グループ教材：機械学習の基礎 — 全体像

🧭 これからの学習ルート

「過学習」を理解した次に何を学ぶか、 5 ステップで提案します。順序は厳密ではなく、興味のあるところから飛び入りで OK。

ステップ 1：上の「🐍 応用コード」を自分の環境で動かす（コピペで OK）
ステップ 2：データを別のもの（自分の興味のあるテーマ）に差し替えて再実行
ステップ 3：上の「🌐 比較」表の類似手法を 1 つ選んで、同じデータで比較
ステップ 4：「📋 前提」セクションのリンクを 1 つずつ巡って、関連用語を固める
ステップ 5：機械学習の基礎グループ教材で、体系全体を俯瞰する

📋 1 枚チートシート

項目	内容
用語	過学習（Overfitting）
1 行定義	訓練データに過度に適合しすぎて、未知データに弱くなる状態。「丸暗記」モード。
数式	$\hat R_{train} \ll R_{test} \quad \Rightarrow \quad \text{overfitting}$
SSDSE 適用例	深い決定木を 47 県に当てはめると訓練 R²=1.0 だが CV では低い
主要ライブラリ	scikit-learn, pandas, numpy
典型的な落とし穴	スケーリング忘れ・データリーケージ・前提分布
次に学ぶ	機械学習の基礎グループ教材

※ このチートシートは「30 秒で復習」用。詳しくは各セクションへ。

📂 ケーススタディ — 過去論文での使われ方

統計データ解析コンペティション過去論文で「過学習」がどのように登場し、どんな問題を解決したかを見てみます。論文ページからリンクして本ページに来た方も、ぜひもう一度自分の関心ある論文を見直してみてください。

論文の方向性	「過学習」の役割	学べる点
人口動態の予測	将来予測モデルの構成要素として	時系列との組み合わせ方
地域格差の分析	都道府県をクラスタリング・分類する基盤	教師なし／教師ありの切り替え
経済指標の関係性	特徴量間の関係を可視化・解釈	解釈可能性とのトレードオフ
健康・福祉データ	少数派ラベルに対する頑健性	不均衡データの扱い方
テキスト解析	前処理・後処理の枢要	NLP との接続

💡 論文を読むときのコツ：「この論文では『過学習』を何のために使っているか？」「もし使わなかったら何が問題だったか？」を意識すると、技術選定の判断軸が身に付きます。

🐍 実装パターン集 — 状況別レシピ

同じ「過学習」を使うにも、データの形・規模・目的によって書き方が変わります。 4 つの典型パターンを示します。

パターン A：探索的・最小構成

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
df = df[df['年度'] == 2023].reset_index(drop=True)
print(df.shape, df.head(3))

パターン B：パイプライン化（前処理＋モデル）

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import Ridge

pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('model',  Ridge(alpha=1.0)),
])
pipe.fit(X_tr, y_tr)
print('R^2 =', pipe.score(X_te, y_te))

パターン C：交差検証＋ハイパーパラメータ探索

from sklearn.model_selection import GridSearchCV

params = {'model__alpha': [0.01, 0.1, 1.0, 10.0, 100.0]}
gs = GridSearchCV(pipe, params, cv=5, scoring='r2', n_jobs=-1)
gs.fit(X, y)
print('best:', gs.best_params_, 'score:', gs.best_score_)

パターン D：可視化付きの結果保存

import matplotlib.pyplot as plt
import json

pred = gs.predict(X_te)
plt.figure(figsize=(7,5))
plt.scatter(y_te, pred, alpha=0.7, edgecolor='k')
plt.plot([y_te.min(), y_te.max()], [y_te.min(), y_te.max()], 'r--')
plt.xlabel('実測'); plt.ylabel('予測'); plt.title('過学習 結果')
plt.tight_layout(); plt.savefig('result_overfitting.png', dpi=150)

with open('result_overfitting.json', 'w', encoding='utf-8') as f:
    json.dump({'best_params': gs.best_params_,
               'cv_score': gs.best_score_,
               'test_score': gs.score(X_te, y_te)}, f, ensure_ascii=False, indent=2)

🗺 用語マインドマップ — 周辺概念の整理

「過学習」を中央に置いて、周辺概念を 5 つの方向に整理します。これは記憶の足場になります。

方向	隣接概念	関係性
北 (上位)	機械学習・統計学	本用語を包含する大きな枠組み
南 (下位)	具体的タスク・実装	本用語を使う具体例
東 (発展)	改良版・拡張	本用語の弱点を補う発展形
西 (前提)	基礎数学・統計	本用語の理解に必要な土台
中央	過学習	本ページの主役

マインドマップは「学んだ用語を整理する道具」として優秀。紙にこの 5 方向を書き、自分なりの隣接概念を埋めると、暗黙的にあった理解構造が可視化されます。

📝 自己検証クイズ — 5 問

「過学習」を本当に理解できたか、自分でテストできるクイズです。答えは展開で確認。

Q1. 「過学習」を 30 秒で同僚に説明するとしたら、何を最初に言う？

模範回答：上の「💡 30秒結論」を参照。ポイントは「何のために使うか」を最初に言うこと。定義や数式から入ると相手が引きます。

Q2. 数式の左辺と右辺、それぞれ「動かせる量」「固定する量」はどれ？

模範回答：データは観測値で固定、パラメータは学習で動かす、出力は計算結果。上の「📐 数式の構造をもう一度」を参照。

Q3. SSDSE-B-2026 で「過学習」を使ったとき、何が変わる？

模範回答：47 都道府県の特徴量を入力にすると、結果が地理的に解釈しやすくなる、一方でサンプル数が少ないため信頼区間は広めに出る、など。

Q4. 「過学習」と類似手法の最大の違いは？

模範回答：上の「🌐 似た概念との比較」表を参照。 1 文で言える違いを持っておくと、「なぜこっちを選んだか」を説明できます。

Q5. 「過学習」を使うときに最も気をつけるべき落とし穴は？

模範回答：上の「⚠️ 落とし穴」と「⚠️ さらに 5 つの落とし穴」セクションから、自分のプロジェクトに最も関連するものを 1 つ選んで言語化してみましょう。

📚 グループ教材の中での位置

「過学習」は単独で学ぶよりも、関連する複数の用語をセットで学ぶ方が効率的です。関連グループ教材へのリンクを整理します。

グループ教材	含まれる主な用語	「過学習」の位置
機械学習の基礎	教師あり／なし、損失、汎化、過学習	中核
モデル選択	CV、ハイパーパラメータ、交差検証	関連
評価指標	R²、 RMSE、 ROC-AUC、 confusion matrix	関連
決定木	情報利得、エントロピー、ジニ	特定の応用
分類	2 値・多値・不均衡	タスク
クラスタリング	K-means、階層型、 DBSCAN	教師なし側

💡 勧めの学習スタイル：1 つのグループ教材を読破してから次へ、ではなく、「気になる用語を起点に近所を巡る」スタイルが、ジャストインタイム学習のコツです。興味の連鎖に従って深掘りしましょう。