🔖 キーワード索引

🎨 直感で掴む — 線形回帰の「曲線版」

線形回帰 vs GAM

例：「人口が GDP にどう影響するか」を 47 都道府県データで調べる。

GAM が捉える「非線形性」

• 逓減効果：人口が大きいほど、 1 人増加あたりの GDP 増分が減る（規模の不経済）
• 閾値効果：ある人口を超えると急に GDP が伸びる（都市集積効果）
• U 字・逆 U 字：適度な人口で GDP が最大、 極端で減る
• 飽和：ある水準でほぼ一定になる

視覚的イメージ

線形回帰は「説明変数 $x$ の上に 1 本の直線を引く」。 GAM は「データに沿って柔らかい蛇のような曲線を這わせる」。 ただし「ぐにゃぐにゃ過ぎる」を防ぐため、 罰則化で曲がりを抑える。

📐 数式 — GAM の定義

基本形（ガウス版）

一般化版（リンク関数付き）

応答が離散・確率・カウントの場合：

スプライン基底による表現

滑らかな関数 $f_j$ を「基底関数の線形結合」で表現：

代表的な基底：

• キュービックスプライン：3 次多項式を区分的に繋ぐ。 2 階微分まで連続。
• B-spline 基底：局所的なサポートを持つキュービックスプラインの便利な表現。
• 自然キュービックスプライン：両端で 2 階微分 = 0 の制約を入れて安定化。
• Thin-plate spline：多次元の滑らかな関数を表現。 多変量 GAM で活躍。

罰則化（平滑化）

「曲線がギザギザにならないように」二階微分を罰則化：

$\lambda_j$ の選択は一般化交差検証（GCV） や REML（制限付き最尤推定） で自動化されます。

🔬 数式を「言葉」で読み解く

🧮 実データで計算してみる — SSDSE-B 人口 → GDP

47 都道府県の総人口（A1101）→ 県内総生産（B4101）の関係を、 線形回帰と GAM で比較します。

ステップ 1：データ準備

ステップ 2：線形回帰の結果

ステップ 3：GAM の結果

ステップ 4：可視化で違いを確認

同じデータに 2 本の線（直線と曲線）を描き、 残差プロットを見れば、 GAM が捉えた「非線形性」が明確に見える。

🐍 Python 実装 — pyGAM / statsmodels

1. pyGAM（推奨）

🎯 このコードでやること: pygam で 1 説明変数の Linear GAM を学習し、 非線形応答を平滑スプラインで表現する

# pip install pygam
import pandas as pd
import numpy as np
from pygam import LinearGAM, s, f, l

# データ読込
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1)
X = df[['A1101']].values   # 人口
y = df['B4101'].values     # 県内総生産

# GAM のあてはめ（s = smooth、 スプライン基底）
gam = LinearGAM(s(0, n_splines=10)).fit(X, y)

print(gam.summary())

# 予測曲線
xs = np.linspace(X.min(), X.max(), 300).reshape(-1, 1)
ys = gam.predict(xs)
ci = gam.confidence_intervals(xs, width=0.95)

import matplotlib.pyplot as plt
plt.scatter(X, y, alpha=0.6)
plt.plot(xs, ys, 'r-', lw=2, label='GAM')
plt.fill_between(xs.ravel(), ci[:, 0], ci[:, 1], alpha=0.2, color='red')
plt.xlabel('Population'); plt.ylabel('GDP')
plt.legend(); plt.show()

💬 読み方: GAM は y = β₀ + s₁(x₁) + ... と各説明変数を独立な平滑関数で表す。 線形回帰の R² = 0.52 から GAM で 0.71 へ向上した分が、 関係の非線形性を捕捉した分。 過学習しないよう lambda (平滑化) を CV で選ぶ。

2. 多変量 GAM

🎯 このコードでやること: 複数の説明変数を s() で平滑項、 l() で線形項として混在させる

# 複数の説明変数 + 一部を線形項として混在可
X = df[['A1101', 'A1303', 'C3301']].values  # 人口、 65 歳以上人口、 課税対象所得
y = df['B4101'].values

# s = spline, l = linear, f = factor
gam = LinearGAM(s(0) + s(1) + l(2)).fit(X, y)
print(gam.summary())

# 各変数の部分依存プロット
fig, axes = plt.subplots(1, 3, figsize=(15, 4))
for i, ax in enumerate(axes):
    XX = gam.generate_X_grid(term=i)
    ax.plot(XX[:, i], gam.partial_dependence(term=i, X=XX))
    ax.plot(XX[:, i], gam.partial_dependence(term=i, X=XX, width=0.95)[1], 'r--')
    ax.set_title(f'Term {i}')
plt.show()

💬 読み方: 全変数を s() で平滑化するのではなく、 既に線形と分かっている変数は l() で固定するとパラメータ節約。 p 値が小さい (有意な) 平滑項のみ採用し、 partial dependence plot で形を確認するのが分析の流れ。

3. ロジスティック GAM（二値分類）

🎯 このコードでやること: LogisticGAM で二値分類 (例: 都道府県を高・低生産性に二分) する

from pygam import LogisticGAM

# 県を「高 GDP 県」「低 GDP 県」に二分（中央値で）
y_binary = (df['B4101'] > df['B4101'].median()).astype(int)
X = df[['A1101', 'A1303']].values

gam_log = LogisticGAM(s(0) + s(1)).fit(X, y_binary)
print("Accuracy:", gam_log.accuracy(X, y_binary))

💬 読み方: Logistic GAM は y ∈ {0,1} に対し log-odds を平滑関数で表す。 ロジスティック回帰では線形しか捉えられない関係を、 平滑関数で曲げて表現。 高い AUC は GLM では取れない構造を捕捉できた証拠。

4. ポアソン GAM（カウントデータ）

🎯 このコードでやること: PoissonGAM でカウント変数 (人口あたり医師数など) をモデル化する

from pygam import PoissonGAM

# 例：県別の何らかのカウント変数（出生数など）
gam_pois = PoissonGAM(s(0)).fit(X, y_count)

💬 読み方: カウントデータには Poisson リンクが基本。 GAM はリンク関数も glm 同様に選べる。 U 字や逆 U 字など複雑な非線形パターンも自動で検出してくれる柔軟さが GAM の魅力。

5. statsmodels で簡易 GAM

🎯 このコードでやること: statsmodels の GLM で線形 GLM を学習し、 GAM との残差比較を行う

import statsmodels.api as sm
from statsmodels.gam.api import GLMGam, BSplines

# B-spline 基底を作る
bs = BSplines(df[['A1101']], df=[10], degree=[3])

# GLMGam で fit
gam_sm = GLMGam(df['B4101'], exog=sm.add_constant(df[['A1303']]),
                smoother=bs).fit()
print(gam_sm.summary())

💬 読み方: GLM 残差にパターン (例: 中央で正、 両端で負の U 字) が見えたら、 線形仮定が破綻している証拠。 GAM が解決する。 ただし GAM は説明変数が多すぎる (>10) と過学習し、 解釈性も落ちる。

⚠️ 落とし穴

🌐 関連手法・派生

• 線形回帰：GAM の特殊ケース（すべての $f_j$ が一次式）。 → linear-regression.html
• 多項式回帰：$f_j(x) = \beta_1 x + \beta_2 x^2 + \dots$ という限定的な非線形拡張。 GAM の方が柔軟・安定。
• 一般化線形モデル (GLM)：GAM の「線形特殊ケース」。 リンク関数の概念を共有。 → GLM
• スプライン回帰：単変量の GAM はスプライン回帰そのもの。
• ローカル回帰 (LOESS)：ノンパラメトリック回帰の別アプローチ。 GAM より局所的。
• カーネル回帰：KDE の回帰版。 → kde.html
• ガウス過程回帰 (GP)：ベイズ的な GAM の親戚。 共分散関数で滑らかさを制御。
• ランダムフォレスト・勾配ブースティング：非線形性を学ぶブラックボックス。 GAM は解釈性で勝つ。
• ニューラルネット：表現力では勝るが解釈性で大きく劣る。
• Generalized Additive Model with Interactions (GA²M / EBM)：相互作用を加えた GAM の発展形。 解釈可能 ML の最先端。

🔗 関連用語（前提・並列・発展）

📘 前提として理解しておくべき用語

📗 並列に並ぶ・対比する用語

📕 発展として進む用語

🎯 SSDSE-B 都道府県データでの GAM 完全ワークフロー

「人口、 高齢化率、 課税対象所得から県内総生産（GDP）を予測する GAM」を組み立てるフル工程：

ステップ 1：データ準備と探索的可視化

🎯 このコードでやること: SSDSE-B-2026 から都道府県 × 人口・所得・高齢化率を読み込み GAM 用に整える

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from pygam import LinearGAM, s, l

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1)

# 主要変数の散布図行列
cols = ['A1101', 'A1303', 'C3301', 'B4101']
fig, axes = plt.subplots(1, 3, figsize=(15, 4))
for i, c in enumerate(['A1101', 'A1303', 'C3301']):
    axes[i].scatter(df[c], df['B4101'], alpha=0.6)
    axes[i].set_xlabel(c); axes[i].set_ylabel('B4101 (GDP)')
plt.tight_layout(); plt.show()

💬 読み方: GAM は標本サイズ N が小さい (47 都道府県) ような状況に向く。 自由度 (edf) は N の 30% 程度までを目安にする。 SSDSE データのような国家統計レベルでよく使われる手法。

ステップ 2：単変量 GAM（人口 → GDP）

🎯 このコードでやること: 1 変数 GAM をフィットし、 partial dependence (X→y の形) を可視化

X = df[['A1101']].values
y = df['B4101'].values

# GAM のあてはめ。 lam（平滑化パラメータ）を CV で自動選択
gam = LinearGAM(s(0, n_splines=15)).gridsearch(X, y, lam=np.logspace(-3, 3, 30))

print(gam.summary())
print("Effective DoF:", gam.statistics_['edof'])
print("Pseudo R²:", gam.statistics_['pseudo_r2'])

💬 読み方: Partial Dependence Plot (PDP) は y と特定 x の関係を、 他変数を平均で固定して描く。 GAM ではこの曲線そのものを推定。 折れ線でも S 字でも自動的に描ける柔軟さ。

ステップ 3：可視化（GAM 曲線と信頼区間）

🎯 このコードでやること: GAM と多項式回帰 (degree=4) を比較し、 GAM の利点を確認

XX = gam.generate_X_grid(term=0)
y_pred = gam.predict(XX)
y_lo, y_hi = gam.confidence_intervals(XX, width=0.95).T

plt.figure(figsize=(9, 6))
plt.scatter(X, y, alpha=0.6, label='Data')
plt.plot(XX, y_pred, 'r-', lw=2, label='GAM fit')
plt.fill_between(XX.ravel(), y_lo, y_hi, alpha=0.2, color='red', label='95% CI')
plt.xlabel('Population'); plt.ylabel('GDP')
plt.legend(); plt.title('Population → GDP (GAM)')
plt.show()

💬 読み方: 多項式は次数を上げると無限に過学習。 GAM は平滑化パラメータ lambda を CV で選ぶため、 適度な滑らかさが自動的に選ばれる。 端点での発散も多項式より小さい。

ステップ 4：線形回帰と GAM の比較

🎯 このコードでやること: 3 説明変数 (人口・高齢化率・所得) を GAM で同時モデリングし、 種別を s/l で混在

from sklearn.linear_model import LinearRegression
from sklearn.metrics import r2_score, mean_squared_error

# 線形回帰
lr = LinearRegression().fit(X, y)
y_pred_lr = lr.predict(X)

# GAM
y_pred_gam = gam.predict(X)

print("          Linear     GAM")
print(f"R²      : {r2_score(y, y_pred_lr):.4f}   {r2_score(y, y_pred_gam):.4f}")
print(f"RMSE    : {np.sqrt(mean_squared_error(y, y_pred_lr)):>10,.0f}   {np.sqrt(mean_squared_error(y, y_pred_gam)):>9,.0f}")

# 残差プロットの比較
fig, axes = plt.subplots(1, 2, figsize=(12, 4), sharey=True)
axes[0].scatter(y_pred_lr, y - y_pred_lr); axes[0].axhline(0, color='r'); axes[0].set_title('Linear residuals')
axes[1].scatter(y_pred_gam, y - y_pred_gam); axes[1].axhline(0, color='r'); axes[1].set_title('GAM residuals')
plt.show()

💬 読み方: 高齢化率と出生率は強い負の非線形関係 (s(1) が有意)、 所得は直線的影響 (l(2)) と分かる。 各項の partial plot を並べて表示し、 ドメイン専門家と解釈を擦り合わせるのが GAM 分析の中核。

ステップ 5：多変量 GAM の構築

🎯 このコードでやること: 線形回帰モデルと GAM の AIC を比較してモデル選択を行う

# 3 説明変数：人口（s）、 高齢化率（s）、 課税対象所得（l：線形でよいと判断）
X3 = df[['A1101', 'A1303', 'C3301']].values
gam3 = LinearGAM(s(0) + s(1) + l(2)).gridsearch(X3, y)

print(gam3.summary())

# 部分依存プロット（各説明変数の効果）
fig, axes = plt.subplots(1, 3, figsize=(15, 4))
labels = ['Population', 'Elderly population', 'Taxable income']
for i, ax in enumerate(axes):
    XX = gam3.generate_X_grid(term=i)
    pdep, confi = gam3.partial_dependence(term=i, X=XX, width=0.95)
    ax.plot(XX[:, i], pdep)
    ax.fill_between(XX[:, i], confi[:, 0], confi[:, 1], alpha=0.2)
    ax.set_xlabel(labels[i]); ax.set_ylabel('Partial effect on GDP')
plt.tight_layout(); plt.show()

💬 読み方: AIC/BIC は『当てはまり ± 複雑度ペナルティ』。 GAM は edf でパラメータ数をカウントするため、 過剰な柔らかさは自然にペナルティされる。 ΔAIC ≥ 10 なら強い支持。

ステップ 6：モデル比較（AIC, BIC, 交差検証）

🎯 このコードでやること: GAM の信頼区間付き予測曲線をプロットし、 不確実性を可視化

# 線形 vs GAM の AIC で比較
print("GAM AIC :", gam3.statistics_['AIC'])
print("GAM GCV :", gam3.statistics_['GCV'])
print("Effective DoFs:", gam3.statistics_['edof_per_coef'])

# 5 分割交差検証で予測性能評価
from sklearn.model_selection import KFold

cv_scores = []
for tr_idx, te_idx in KFold(n_splits=5, shuffle=True).split(X3):
    g = LinearGAM(s(0) + s(1) + l(2)).fit(X3[tr_idx], y[tr_idx])
    cv_scores.append(r2_score(y[te_idx], g.predict(X3[te_idx])))

print(f"CV R² mean: {np.mean(cv_scores):.4f} ± {np.std(cv_scores):.4f}")

💬 読み方: GAM は予測値だけでなく信頼区間を自然に返せる。 データの少ない両端では信頼区間が広がり、 中央では狭い。 この『不確実性が見える』こと自体が、 線形回帰にはない GAM の説明力。

🧪 多項式 vs スプライン vs GAM の比較

「非線形をどうモデル化するか」の選択肢を整理：

同じデータで 3 手法を比較するコード

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression
from pygam import LinearGAM, s

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1)
X = df[['A1101']].values
y = df['B4101'].values
xs = np.linspace(X.min(), X.max(), 300).reshape(-1, 1)

# (1) 線形
lr = LinearRegression().fit(X, y)
y1 = lr.predict(xs)

# (2) 多項式 (3 次)
pf = PolynomialFeatures(degree=3)
Xp = pf.fit_transform(X)
lr_p = LinearRegression().fit(Xp, y)
y2 = lr_p.predict(pf.transform(xs))

# (3) GAM
gam = LinearGAM(s(0)).gridsearch(X, y)
y3 = gam.predict(xs)

# 描画
plt.figure(figsize=(10, 6))
plt.scatter(X, y, alpha=0.5, label='Data')
plt.plot(xs, y1, 'b-', lw=2, label='Linear')
plt.plot(xs, y2, 'g-', lw=2, label='Polynomial (deg 3)')
plt.plot(xs, y3, 'r-', lw=2, label='GAM (spline)')
plt.xlabel('Population'); plt.ylabel('GDP')
plt.legend(); plt.show()

SSDSE-B のような小規模・歪んだデータでは、 多項式は東京周辺で不自然な振動、 線形は系統的バイアス、 GAM は素直に追従するという違いが見えるはずです。

🔧 平滑化パラメータ $\lambda$ 選択法の詳説

$\lambda$ の選択は GAM 推定の核心。 主要な 3 手法を整理：

1. 一般化交差検証 (GCV)

計算が速く、 古典的選択基準。 デフォルトの多く。

2. REML（制限付き最尤推定）

$\lambda$ を「ランダム効果」とみなしてベイズ的に推定。 Simon Wood が推奨。

• GCV より過剰平滑化に寄りにくい
• 計算はやや重いが、 サンプル数が中規模以上なら問題なし
• mgcv のデフォルトは method = "REML"

3. AIC ベース

$\mathrm{AIC} = -2 \ell + 2 \cdot \mathrm{edf}$ を最小化する $\lambda$。 純粋な「予測誤差最小化」というより、 「複雑さと適合度のバランス」を取る基準。

選択法の比較

🔬 スプライン基底の数学的詳説

B-spline 基底

$k$ 次の B-spline 基底 $B_{i,k}(x)$ は、 ノット列 $t_0 \le t_1 \le \dots \le t_m$ 上で再帰的に定義：

自然キュービックスプライン

両端で「2 階微分 = 0」の制約を入れた特別な3 次スプライン。 外挿時の暴走を防ぐ。

Thin-plate regression spline

多次元の滑らかな関数を表現する強力な基底。 ノットを各データ点に置くため、 「ノットの位置」を心配しなくてよい。 mgcv のデフォルト。

🎓 GAM の理論的背景

歴史

• 1986 年：Hastie & Tibshiraniが論文 Generalized Additive Models で提唱。 線形回帰と非線形性の橋渡しとして登場。
• 1990 年：教科書 Generalized Additive Models（同著者、 Chapman & Hall）。 GAM のバイブル。
• 1999 年：Simon Woodが R パッケージ mgcv を公開。 罰則付きスプラインの標準実装。
• 2006 年：Wood の教科書 Generalized Additive Models: An Introduction with R。 現代 GAM の標準テキスト。
• 2018 年：Lou, Caruana らによる EBM（Explainable Boosting Machine） — 勾配ブースティングと GAM の融合。 Microsoft Research が解釈可能 ML として推進。

なぜ「加法的」が大事か

$p$ 次元のノンパラメトリック回帰 $f(x_1, \dots, x_p)$ は次元の呪いで破綻する（必要なサンプル数が指数関数的に増える）。 加法性 $\sum_j f_j(x_j)$ を課すと、 各 $f_j$ は単変量で済むので、 サンプル数は $O(n)$ で十分。 解釈性と推定可能性の両方で加法性が決定的。

バックフィッティング・アルゴリズム

古典的な GAM 推定法。 各 $f_j$ を「他の関数を固定して」順番に更新：

1. 初期化：$f_j^{(0)} = 0$ 全 $j$
2. 反復：各 $j$ について
   $r_{ij} = y_i - \beta_0 - \sum_{k \ne j} f_k^{(t)}(x_{ik})$（部分残差）
   $f_j^{(t+1)} = \mathrm{Smooth}(r_{ij} \text{ on } x_{ij})$
3. 収束するまで繰り返す

現代の mgcv は罰則付き反復重み付け最小二乗法（PIRLS）で一気に解く。 速くて安定。

📊 論文での GAM の典型的使い方

📚 関連グループ教材

• 📈 回帰分析グループ — 線形回帰から GAM まで体系的に
• 🌀 非線形モデルグループ — GAM、 多項式、 ローカル回帰、 ニューラルネット
• 🔍 解釈可能 ML グループ — GAM、 LIME、 SHAP、 EBM など
• 📊 ノンパラメトリック手法グループ — KDE、 GAM、 LOESS の共通点

🗺 概念マップ — GAM が属する位置

回帰モデルの階層
├── 線形（パラメトリック）
│   ├── 単回帰 $y = \beta_0 + \beta_1 x$
│   ├── 重回帰 $y = \beta_0 + \sum \beta_j x_j$
│   └── 一般化線形モデル (GLM)
│       ├── ロジスティック回帰
│       ├── ポアソン回帰
│       └── ガンマ回帰
├── 加法的（半パラメトリック）◀ GAM の位置
│   ├── 単純加法モデル $y = \sum f_j(x_j)$
│   ├── 一般化加法モデル (GAM) $g(\mu) = \sum f_j(x_j)$  ◀ このページ
│   │   ├── スプライン GAM
│   │   ├── テンソル積 GAM（相互作用）
│   │   ├── ロジスティック GAM
│   │   └── ポアソン GAM
│   └── 加法ロバストモデル
├── ノンパラメトリック
│   ├── カーネル回帰（Nadaraya-Watson）
│   ├── ローカル回帰（LOESS）
│   └── スプライン平滑化
└── 非加法・非線形
    ├── ニューラルネットワーク
    ├── ランダムフォレスト
    ├── 勾配ブースティング
    └── ガウス過程回帰

❓ よくある質問

Q1. GAM と GLM の違いは？

GLM は説明変数を線形項として扱う ($\beta_j x_j$)。 GAM はそれを滑らかな関数 $f_j(x_j)$ に置き換えたもの。 GAM ⊃ GLM ⊃ 線形回帰の包含関係。

Q2. ニューラルネットとどう違う？

NN は「すべての変数が複雑に絡み合う」ブラックボックス。 GAM は「変数ごとに独立な滑らかな効果を足す」ホワイトボックス。 解釈性で GAM、 予測精度で NN という棲み分け。

Q3. なぜスプラインを使う？

多項式は「次数を上げると端で暴れる（Runge 現象）」のに対し、 スプラインは局所的な基底関数なので端でも安定。 また、 罰則化と相性が良い。

Q4. 自由度（DoF）の解釈は？

GAM の各項には「実効自由度（EDF）」が割り当てられる。 EDF = 1 なら線形項相当、 EDF が大きい（10 とか）ほど複雑な曲線。 線形性の検定にも使える。

Q5. 残差診断はどうやる？

線形回帰と同じく：残差 vs 予測値、 残差の QQ プロット、 残差の正規性検定。 pyGAM では gam.summary() や Deviance、 mgcv では gam.check()。

Q6. サンプル数はどれくらい必要？

各スプライン項に 10〜20 サンプルが目安。 SSDSE-B（47 県）なら 1〜2 個の項が現実的。 たくさんの説明変数を入れたいなら、 線形項と混在させる。

Q7. R と Python、 どっちが充実？

R の mgcv（Simon Wood）が事実上の標準。 Python の pyGAM はかなり追いついたが、 最先端のオプションは R が一歩リード。 解析の規模次第。

Q8. GAM の予測区間はどう出す？

pyGAM では gam.confidence_intervals()、 mgcv では predict(..., se.fit=TRUE)。 ベイズ的な不確実性区間を返す。

Q9. 時系列で使える？

使えるが「残差の自己相関」を別途モデル化する必要がある。 mgcv では correlation = corAR1() オプション。 GAM + ARIMA のハイブリッドが標準アプローチ。

Q10. EBM（Explainable Boosting Machine）との関係は？

EBM は「勾配ブースティング × GAM」のハイブリッド。 各 $f_j$ をブースティングで学ぶことで、 精度が NN 級に上がる。 Microsoft の interpret パッケージで使える。 GAM の「予測精度版」と捉えるとよい。

Q11. 高次元（数百〜数千の変数）でも使える？

原理的には可能だが、 各変数にスプライン項を入れると基底数が爆発。 変数選択と組み合わせる：(a) Lasso GAM（罰則化で 0 にする）、 (b) Component-Wise Boosting、 (c) Sparse Additive Model（SpAM）。

Q12. GAM は機械学習か統計か？

両方の特徴を持つ「橋渡し」モデル。 統計的には GLM の自然な拡張、 機械学習的には「解釈可能 ML」の代表格。 統計家と機械学習研究者の双方が好む稀有な手法。

Q13. lambda は手動で調整したほうがいい？

基本は自動（GCV や REML）に任せる。 ただし結果が不自然（過剰平滑化・過小平滑化）なときは、 lambda を手動で動かして視覚的に納得できる平滑度を選ぶこともある。 これは「データ駆動と専門知識」のバランス。

Q14. pyGAM の terms 構文（s, l, f, te）の使い分け

s(j): スプライン（連続変数の非線形効果）／l(j): 線形項（変数を直線でモデル化）／f(j): カテゴリ変数（factor）／te(i, j): テンソル積（変数 i と j の相互作用）／intercept: 切片（自動的に含まれる）。

🧠 GAM 拡張 — 線形回帰の非線形版

一般化加法モデル (GAM) は 「線形回帰の各項を非線形平滑関数に置き換える」 拡張です。 線形回帰 $y = \beta_0 + \sum_j \beta_j x_j$ を、 GAM では

$$g(\mathbb{E}[Y]) = \beta_0 + \sum_{j=1}^{p} f_j(X_j)$$

と書きます。 ここで $f_j$ は スプライン平滑関数（3 次自然スプライン、 P スプラインなど）。 SSDSE-B-2026 の都道府県データで「人口 → GDP」を見ると、 線形ではなく「人口が大きい県は限界 GDP が低下」のような非線形関係が観察され、 GAM がこれを自動的に学習します。

📐 スプライン基底 — 6 種類の選択

スプライン基底関数の選択肢：

pyGAM や mgcv (R) では P スプラインがデフォルト。 「基底数 ($k$ = 10-20 程度) を多めに置き、 罰則 $\lambda$ で過適合を防ぐ」のが現代的アプローチです。

🔧 平滑化パラメータ選択 — 5 流派

平滑化パラメータ $\lambda$ の選択：

• GCV (Generalized Cross-Validation)：交差検証の解析近似。 高速。
• REML (Restricted Maximum Likelihood)：理論的に最適、 ベイズ的解釈。
• UBRE：分散既知のとき。
• AIC：情報量基準。
• Cross-Validation：実データでの予測誤差。

mgcv の Wood (2017) は REML を強く推奨。 GCV は時に過小平滑化することが知られています。

🐍 pyGAM での実装

import pandas as pd
import numpy as np
from pygam import LinearGAM, s, te

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
X = df.iloc[:, [3, 6]].values  # 人口、 65 歳以上比率
y = df.iloc[:, 11].values  # GDP

# GAM: 各特徴を独立平滑化
gam = LinearGAM(s(0) + s(1)).fit(X, y)
print(gam.summary())

# 相互作用項を入れる
gam_inter = LinearGAM(s(0) + s(1) + te(0, 1)).fit(X, y)
print(f'相互作用 R²={gam_inter.statistics_["pseudo_r2"]["explained_deviance"]:.3f}')

pyGAM の `s()` は平滑化項、 `te()` はテンソル積（相互作用）。 SSDSE-B-2026 では「人口」と「高齢化率」の交互作用が GDP に効いており、 純加法モデルより相互作用版が良くフィットすることが多い。

🆚 GAM vs 他手法（拡張）

GAM vs 他手法の比較：

解釈性と柔軟性の両立では GAM が突出。 「線形回帰のように各変数の効果が分かり、 でも非線形」が GAM の魅力です。

🌐 GAM ファミリー — 分布族の拡張

Generalized GAM (GLM 風) の拡張：

• ロジスティック GAM：$g = \text{logit}$、 分類問題に。
• ポアソン GAM：カウントデータ、 件数予測。
• 負の二項 GAM：過分散カウント。
• ガンマ GAM：正の歪んだデータ（収入など）。
• 順序ロジット GAM：順序カテゴリ。
• Tweedie GAM：ゼロ膨張＋連続値、 保険金額に。

mgcv (R) は実装が最も成熟。 Python の pyGAM はファミリー数で劣るが、 sklearn 風 API が魅力です。

⚠️ GAM の追加的落とし穴（8 個）

• 基底数の過小設定：k が小さすぎると過平滑化。 `gam.check` で k のサイズを確認。
• 共線性：平滑関数同士が相関すると効果分離不能。 concurvity と呼ばれる。
• 外挿の危険：訓練データの範囲外では関数が暴れる。
• カテゴリ変数の扱い：水準数が多いランダム効果は要注意。
• $\lambda$ の局所最適：複数の $\lambda$ 同時最適化は非凸。 出力の安定性を確認。
• p 値の解釈：GAM の p 値は「平滑関数全体が 0 と異なる」検定、 近似的。
• 残差診断を怠る：QQ プロット・残差 vs 予測のプロットは必須。
• 相互作用項の見落とし：純加法モデルは相互作用を捉えない。 te() / ti() を検討。

📑 GAM 主要論文

• Hastie & Tibshirani (1986): GAM の原論文。
• Hastie & Tibshirani (1990): Generalized Additive Models 単行本。
• Wood (2017): Generalized Additive Models: An Introduction with R。
• Eilers & Marx (1996): P スプラインの提案。
• Marra & Wood (2011): GAM の信頼区間の理論。
• Servén & Brummitt (2018): pyGAM パッケージ論文。

🔗 関連用語（拡張）

• 回帰分析：GAM の親概念。
• ロジスティック回帰：ロジスティック GAM の線形版。
• OLS：線形 GAM の特殊ケース。
• クロスバリデーション：$\lambda$ 選択に。
• 正則化：罰則項の概念。
• Ridge 回帰：L2 罰則の文脈で類似。
• ランダムフォレスト：非線形回帰の代替。

❓ よくある質問（FAQ）

🏛 GAM の歴史

• 1986：Hastie & Tibshirani: Generalized Additive Models 論文を Statistical Science に発表。
• 1990：Hastie & Tibshirani: 同名教科書を Chapman & Hall から出版。
• 1996：Eilers & Marx: Flexible smoothing with B-splines and penalties で P スプラインを提案。
• 2000：Wood: mgcv パッケージ R 版の初版リリース。
• 2003：Wood: Thin plate regression splines で薄板スプライン回帰。
• 2008：Wood: Fast stable direct fitting and smoothness selection で REML 標準化。
• 2011：Marra & Wood: Practical variable selection for generalized additive models で変数選択。
• 2017：Wood: Generalized Additive Models: An Introduction with R 第 2 版、 決定版教科書。
• 2018：Servén & Brummitt: pyGAM Python パッケージ論文。
• 2020 年代: Neural GAM、 Explainable Boosting Machine など解釈可能 ML との融合。

💼 産業応用事例

📐 GAM の罰則付き最尤推定

GAM は次の罰則付き最尤関数を最小化します：

$$\ell_p(\boldsymbol\beta, \boldsymbol\lambda) = -\ell(\boldsymbol\beta) + \frac{1}{2} \sum_{j} \lambda_j \boldsymbol\beta^\top S_j \boldsymbol\beta$$

$\ell$ は対数尤度（指数族 GLM）、 $S_j$ は各平滑項の罰則行列（二階差分行列）、 $\lambda_j$ は平滑度パラメータ。 これは Ridge 回帰と同じ L2 罰則の一般化です。

backfitting アルゴリズム

古典的 GAM 推定は backfitting：

1. 各 $f_j$ を 0 で初期化
2. 各 $j$ について：部分残差 $r_{-j} = y - \sum_{k \ne j} f_k(x_k)$ を計算
3. $r_{-j}$ を $x_j$ で平滑化して $f_j$ を更新
4. 収束まで 2-3 を繰り返す

現代では Penalized Iteratively Reweighted Least Squares (P-IRLS) が標準。 mgcv は P-IRLS で内側反復、 REML で外側 λ 最適化。

実効自由度

各平滑項の実効自由度は $\mathrm{edf}_j = \mathrm{tr}(H_j)$（ハットマトリックスの j 列ブロックのトレース）。 λ が大きいほど edf は小さく、 直線に近づきます。 SSDSE-B-2026 で「人口 → GDP」をフィットすると edf ≈ 4-5 が典型、 「曲線が 4-5 つの自由度で動く」と解釈できます。