📚 章構成

🎨 直感で掴む — 正則化のたとえ話

テスト前夜、 過去問の答えを「丸暗記」した学生は本番で初見問題に弱い。 これが過学習。 正則化は「丸暗記禁止＝係数を大きくしすぎない罰則」を課して、 浅く広く本質をつかむ学習を強制する塾講師のような役割。 SSDSE-B-2026 で 47 都道府県だけのデータから 30 変数の回帰を立てると、 まさに「47 問の過去問を 30 個のヒントで丸暗記」状態となり過学習する。 Ridge は「全項目に薄く罰金」、 Lasso は「不要科目をきっぱり切り捨て」、 Elastic Net は両者の折衷案。

🔬 数式を言葉で読み解く

• $\sum_i (y_i - \mathbf{x}_i^\top \boldsymbol{\beta})^2$: 通常の最小二乗誤差（データへのあてはまり）
• $\lambda$: 正則化の強度（ラムダ、 ≥0）。 大きいほど罰則が強い → 係数が 0 に寄る
• $\|\boldsymbol{\beta}\|_2^2 = \sum_j \beta_j^2$: L2 ノルムの二乗。 全係数の二乗和を罰する（Ridge）
• $\|\boldsymbol{\beta}\|_1 = \sum_j |\beta_j|$: L1 ノルム。 絶対値和を罰する（Lasso）。 角があるため一部の $\beta_j$ がピッタリ 0 に
• $\arg\min$: 「最小化する $\boldsymbol{\beta}$ を求める」演算子。 損失＋罰則の合計を最も小さくする係数を返す

🌐 関連手法・派生

• Ridge回帰 — L2 罰則、 多重共線性に強い、 全係数を縮小
• Lasso回帰 — L1 罰則、 自動変数選択、 スパース解
• Elastic Net — L1＋L2 のハイブリッド、 相関群の選択に強い
• Dropout — ニューラルネット用、 学習中にランダムにノード無効化
• Early Stopping — 検証誤差が悪化し始めた時点で学習打ち切り
• Weight Decay — Optimizer 側で L2 を実装、 Adam では L2 とは厳密には異なる
• Group Lasso — 変数のグループ単位で 0/非0 を決める拡張
• Bayesian Regression — 正則化は事前分布の MAP 推定と等価

🤔 1. なぜ正則化が必要か

サンプル数 $n$ に対してパラメータ数 $p$ が大きいとき、 訓練データを完全に当てはめるモデルが無数に存在し、 未知データへの汎化が悪化する。 これが過学習。

• 多項式回帰で高次に上げると訓練誤差は 0 に近づくが、 テスト誤差は爆発
• 多重共線性下で OLS の係数推定値は分散が膨大に
• SSDSE-B（n=47）で 30 個の説明変数を入れると、 ほぼ確実に過学習

正則化は「係数の大きさそのものに罰則を課す」ことで、 これを防ぐ。

バイアス・分散トレードオフ

正則化はバイアスを少し増やし、 分散を大きく減らす操作。 結果として MSE が下がる λ が存在する。

$$\mathbb{E}[(y-\hat{f})^2] = \underbrace{(\mathbb{E}[\hat{f}]-f)^2}_{\text{バイアス}^2} + \underbrace{\mathbb{V}[\hat{f}]}_{\text{分散}} + \sigma^2$$

📐 2. L1ノルムとL2ノルム

係数ベクトル $\boldsymbol{\beta} = (\beta_1, \dots, \beta_p)^\top$ に対し：

$$\|\boldsymbol{\beta}\|_1 = \sum_{j=1}^{p} |\beta_j|, \qquad \|\boldsymbol{\beta}\|_2^2 = \sum_{j=1}^{p} \beta_j^2$$

記号読み：$\|\cdot\|_1$ は「L1ノルム」、 $\|\cdot\|_2^2$ は「L2ノルムの二乗」。 $\boldsymbol{\beta}$ は「ベータ・太字」と読む。

幾何的な違い — なぜLassoは「ピン留め」するのか

L1 ノルムの等高線は菱形（角がある）、 L2 は円。 損失関数の等高線と制約領域の交点が解となるが、 菱形では「角の点」で交わりやすく、 角の点では一部の座標が 0 になる ＝ 自動特徴選択。

🟢 3. Ridge回帰（L2正則化）

$$\hat{\boldsymbol{\beta}}_{\text{ridge}} = \arg\min_{\boldsymbol{\beta}} \left\{\sum_{i=1}^{n} (y_i - \mathbf{x}_i^\top \boldsymbol{\beta})^2 + \lambda \|\boldsymbol{\beta}\|_2^2 \right\}$$

記号読み：$\hat{\boldsymbol{\beta}}_{\text{ridge}}$ は「ベータ・ハット・リッジ」、 Ridge推定量。 $\lambda$ は「ラムダ」、 正則化の強さ（大きいほど係数を 0 に押し寄せる）。

解析解

$$\hat{\boldsymbol{\beta}}_{\text{ridge}} = (\mathbf{X}^\top \mathbf{X} + \lambda \mathbf{I})^{-1} \mathbf{X}^\top \mathbf{y}$$

$\mathbf{X}^\top \mathbf{X}$ が特異でも $\lambda > 0$ なら必ず正則。 多重共線性に対する強い武器。

3.1 実値で計算

2 サンプル・2 特徴量の極簡単な例：$\mathbf{X}=\begin{pmatrix}1&2\\3&4\end{pmatrix},\ \mathbf{y}=\begin{pmatrix}5\\6\end{pmatrix},\ \lambda=1$ のとき：

• $\mathbf{X}^\top\mathbf{X} = \begin{pmatrix}10&14\\14&20\end{pmatrix}$
• $\mathbf{X}^\top\mathbf{X}+\mathbf{I} = \begin{pmatrix}11&14\\14&21\end{pmatrix}$
• $(\cdot)^{-1} = \frac{1}{11\cdot21-14^2}\begin{pmatrix}21&-14\\-14&11\end{pmatrix} = \frac{1}{35}\begin{pmatrix}21&-14\\-14&11\end{pmatrix}$
• $\mathbf{X}^\top\mathbf{y} = \begin{pmatrix}23\\34\end{pmatrix}$ から $\hat{\boldsymbol{\beta}}_{\text{ridge}} \approx (-0.79, 1.49)^\top$

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import pandas as pd
from sklearn.linear_model import Ridge
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率', '人口密度', '就業率']]
y = df['持ち家比率']

model = Pipeline([
    ('scale', StandardScaler()),
    ('ridge', Ridge(alpha=1.0)),
])
model.fit(X, y)
print('係数:', dict(zip(X.columns, model.named_steps['ridge'].coef_)))

🔴 4. Lasso回帰（L1正則化）

$$\hat{\boldsymbol{\beta}}_{\text{lasso}} = \arg\min_{\boldsymbol{\beta}} \left\{\sum_{i=1}^{n}(y_i - \mathbf{x}_i^\top \boldsymbol{\beta})^2 + \lambda \|\boldsymbol{\beta}\|_1 \right\}$$

L1 罰則の角のせいで、 $\lambda$ を大きくすると一部の係数がピッタリ 0 になる。 これが Lasso の変数選択効果。

4.1 正則化パス

$\lambda$ を 0 から ∞ まで動かしながら、 係数がどう変化するかを描いた図を正則化パスと呼ぶ。 どの変数がどの順に 0 に落ちるかが見える。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import Lasso
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率', '人口密度', '就業率']]
y = df['持ち家比率']
X = StandardScaler().fit_transform(X)

alphas = np.logspace(-3, 2, 100)
coefs = []
for a in alphas:
    m = Lasso(alpha=a, max_iter=10000).fit(X, y)
    coefs.append(m.coef_)

coefs = np.array(coefs)
plt.figure(figsize=(10, 5))
for j in range(coefs.shape[1]):
    plt.plot(alphas, coefs[:, j], label=f'beta_{j+1}')
plt.xscale('log')
plt.xlabel('λ (alpha)')
plt.ylabel('係数')
plt.title('Lasso の正則化パス')
plt.legend()
plt.tight_layout()
plt.show()

🟣 5. Elastic Net

L1 と L2 を線形結合：

$$\hat{\boldsymbol{\beta}}_{\text{EN}} = \arg\min_{\boldsymbol{\beta}} \left\{\text{RSS} + \lambda \big(\alpha \|\boldsymbol{\beta}\|_1 + (1-\alpha)\|\boldsymbol{\beta}\|_2^2 \big) \right\}$$

$\alpha=1$ で Lasso、 $\alpha=0$ で Ridge。 中間ではグループ選択（相関の高い変数を「一緒に残す/落とす」）ができる。

1
2
3
4

from sklearn.linear_model import ElasticNetCV
en = ElasticNetCV(l1_ratio=[0.1, 0.5, 0.9, 1.0], cv=5, max_iter=10000)
en.fit(X, y)
print('best alpha:', en.alpha_, 'best l1_ratio:', en.l1_ratio_)

🧠 6. ベイズ的解釈 — 正則化＝事前分布のMAP推定

• Ridge：係数にガウス事前 $\beta_j \sim N(0, \tau^2)$ を仮定した MAP 推定
• Lasso：係数にラプラス事前 $\beta_j \sim \mathrm{Laplace}(0, b)$ を仮定した MAP 推定
• 「過去の知見：係数は通常 0 に近い」を事前分布として注入したと解釈できる

$$\hat{\boldsymbol{\beta}}_{\text{MAP}} = \arg\max_{\boldsymbol{\beta}} \big[\log p(\mathbf{y}|\boldsymbol{\beta}) + \log p(\boldsymbol{\beta})\big]$$

🎯 7. 正則化の強さ λ の選び方

7.1 交差検証で選ぶ（基本）

1
2
3
4
5
6

from sklearn.linear_model import RidgeCV, LassoCV
ridge = RidgeCV(alphas=[0.01, 0.1, 1, 10, 100], cv=5).fit(X, y)
print('best alpha:', ridge.alpha_)

lasso = LassoCV(alphas=None, cv=5, max_iter=10000).fit(X, y)
print('best alpha:', lasso.alpha_)

7.2 1-SEルール

最小 CV 誤差から「1 標準誤差以内」で最も強い正則化（最も単純）を選ぶ。 解釈性重視のときに使う。

7.3 標準化を忘れない

L1/L2 ペナルティは係数のスケールに依存。 必ず StandardScaler でスケーリングする。

🧪 8. 深層学習における正則化

8.1 Weight Decay（L2 と等価）

$$\boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \eta(\nabla L + \lambda \boldsymbol{\theta})$$

SGD では L2 正則化と等価だが、 Adam では AdamW として分離した方が良い。

8.2 Dropout

学習時に各ニューロンを確率 $p$ でランダムに 0 化する。 アンサンブル平均効果で過学習を抑える。

1
2
3
4
5
6

import torch.nn as nn
model = nn.Sequential(
    nn.Linear(20, 64), nn.ReLU(), nn.Dropout(0.3),
    nn.Linear(64, 32), nn.ReLU(), nn.Dropout(0.3),
    nn.Linear(32, 1),
)

8.3 Early Stopping

検証損失が改善しなくなった時点で学習を打ち切り、 最良時点の重みを使う。 暗黙的な正則化。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

best_loss = float('inf')
patience, wait = 10, 0
for epoch in range(200):
    train_one_epoch()
    val_loss = evaluate()
    if val_loss  best_loss:
        best_loss = val_loss
        wait = 0
        save_checkpoint()
    else:
        wait += 1
        if wait >= patience:
            print(f'Early stop at epoch {epoch}')
            break

8.4 データ拡張

訓練データを拡張（画像なら回転・反転、 テキストなら同義語置換）して実効サンプル数を増やす。 効果的な暗黙的正則化。

8.5 BatchNorm / LayerNorm

各層の活性化を正規化することで学習を安定化。 副次的に正則化効果も持つ。

📊 9. 正則化手法の比較

⚠️ 10. よくある落とし穴

🏋️ 11. 練習問題（SSDSE-B-2026）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import pandas as pd
from sklearn.linear_model import LinearRegression, Ridge, Lasso, ElasticNet
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
num = df.select_dtypes(include='number')
X = num.drop(columns=['持ち家比率'])
y = num['持ち家比率']

models = {
    'OLS':  LinearRegression(),
    'Ridge':Ridge(alpha=10.0),
    'Lasso':Lasso(alpha=0.1, max_iter=10000),
    'EN':   ElasticNet(alpha=0.1, l1_ratio=0.5, max_iter=10000),
}
for name, m in models.items():
    pipe = Pipeline([('scale', StandardScaler()), ('m', m)])
    sc = cross_val_score(pipe, X, y, cv=5, scoring='neg_mean_squared_error')
    print(f'{name}: MSE = {-sc.mean():.2f}')

1
2
3
4
5
6
7

from sklearn.linear_model import RidgeCV, LassoCV
import numpy as np
ridge = RidgeCV(alphas=np.logspace(-3, 3, 50)).fit(X, y)
lasso = LassoCV(alphas=np.logspace(-3, 3, 50), cv=5, max_iter=10000).fit(X, y)
print('Ridge best α:', ridge.alpha_)
print('Lasso best α:', lasso.alpha_)
print('Lasso 非ゼロ係数:', (lasso.coef_ != 0).sum(), '/', len(lasso.coef_))

📝 12. 報告フォーマット

❌ NG例

「Lasso を使ったら良い結果が出ました。」

✅ OK例

「20変数の入力に対し、 標準化後 LassoCV（5-fold, α grid = logspace(-3,3,50)）で α = 0.12 を選択。 12 変数の係数が 0 となり、 残った 8 変数で MSE = 1.83 を達成（OLS = 2.71、 +33% 改善）。 残った変数は 1-SE ルールでも同一であり、 安定した選択と判断した。」

🐍 13. ライブラリ早見表

📜 14. 正則化の歴史

• 1943：Tikhonov regularization の原型（数学的逆問題）
• 1970：Hoerl & Kennard が Ridge回帰 を統計に導入
• 1996：Tibshirani の Lasso（Journal of the Royal Statistical Society）
• 2005：Zou & Hastie の Elastic Net
• 2006：Hastie/Tibshirani/Friedman 「The Elements of Statistical Learning」改訂版で標準化
• 2012：Hinton の Dropout（AlexNet で広く知られる）
• 2014：Srivastava らが Dropout 論文化
• 2017：Loshchilov らが AdamW（Weight Decay 分離）

💼 15. 実務応用例

• マーケティング：高次元の購買特徴（数千変数）から有効変数を Lasso で絞り込む
• 遺伝統計：数万の SNP から疾患関連遺伝子を Lasso で同定
• 計量経済学：多重共線性のある経済変数で Ridge を使う
• 深層学習：Dropout / WD / Early Stop / データ拡張は事実上の標準
• 勾配ブースティング：early_stopping_rounds で過学習を抑える
• 公共政策評価：因子数が観測数より多い設定での効果推定

🔗 関連用語

• 過学習 — 正則化が解決する問題
• 交差検証 — λ 選定の標準
• 線形回帰 — Ridge/Lasso のベース
• ロジスティック回帰 — penalty 引数で正則化
• 機械学習の基礎 — 学習・汎化・損失
• アンサンブル学習 — Early Stopping の文脈
• 評価指標 — CV 誤差の意味