📚 このページの章構成

🌲 1. 決定木 (Decision Tree)

1.1 直観

「もし所得が 500万円以上なら → 持ち家率高い、 そうでなければ次の質問へ…」のように、 yes/no で枝分かれする木構造で予測する。 ノード（条件）から葉（予測値）まで辿れば判断根拠が明確で、 業務でそのまま使える説明力がある。

1.2 分割の評価指標

あるノード $t$ の不純度を最小化するように分岐を作る。

ジニ不純度

$$\mathrm{Gini}(t) \;=\; 1 - \sum_{k=1}^{K} p_k^2$$

記号読み：$p_k$ は「ピー・サブ・ケー」、 ノード $t$ におけるクラス $k$ の割合。 すべてのサンプルが同一クラスなら $\mathrm{Gini}=0$。

情報エントロピー

$$H(t) \;=\; -\sum_{k=1}^{K} p_k \log_2 p_k$$

記号読み：$H$ は「エイチ」、 確率分布の不確実性。 等確率に近いほど大きく、 偏るほど小さい。

情報利得

分割で減ったエントロピー：

$$\mathrm{IG}(t, a) \;=\; H(t) - \sum_{v} \frac{|t_v|}{|t|} H(t_v)$$

記号読み：$\mathrm{IG}$ は「アイ・ジー」、 属性 $a$ で分割したときの情報利得。 大きいほど良い分岐。

1.3 実値で計算

10サンプル（正例 6・負例 4）のノードを「年齢 < 30」で分けたら、 左ノード（5件中正例 4・負例 1）、 右ノード（5件中正例 2・負例 3）になったとする。

• 親 Gini: $1 - (0.6^2 + 0.4^2) = 0.48$
• 左 Gini: $1 - (0.8^2 + 0.2^2) = 0.32$
• 右 Gini: $1 - (0.4^2 + 0.6^2) = 0.48$
• 加重平均: $(5/10)\cdot0.32 + (5/10)\cdot0.48 = 0.40$
• ジニ減少: $0.48 - 0.40 = 0.08$（この分岐は有効）

1.4 剪定 (Pruning)

木を深く育てるほど訓練データに過学習する。 事前剪定（max_depth、 min_samples_leaf 等の制約）と事後剪定（Cost-Complexity Pruning, ccp_alpha）の 2 系統がある。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
from sklearn.tree import DecisionTreeClassifier, plot_tree
import matplotlib.pyplot as plt

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df['持家率高い'] = (df['持ち家比率'] >= df['持ち家比率'].median()).astype(int)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率']]
y = df['持家率高い']

clf = DecisionTreeClassifier(max_depth=3, criterion='gini', random_state=42)
clf.fit(X, y)

plt.figure(figsize=(14, 6))
plot_tree(clf, feature_names=X.columns, class_names=['低', '高'],
          filled=True, rounded=True)
plt.show()

🎯 2. アンサンブル学習の発想

1本の弱い木より「ばらつきの違う多数の木の多数決」の方が、 ノイズに強く正確になる、 という洞察。

主な戦略

👜 3. バギング (Bagging = Bootstrap AGGregatING)

訓練データから復元抽出で多数のサブセットを作り、 それぞれで弱学習器を訓練し、 予測を平均（回帰）または多数決（分類）する。

3.1 数式

$M$ 個のブートストラップサンプル $D_1, \dots, D_M$ から得た予測器 $\hat{f}_m$ で：

$$\hat{f}_{\text{bag}}(x) \;=\; \frac{1}{M}\sum_{m=1}^{M}\hat{f}_m(x)$$

記号読み：$\hat{f}_{\text{bag}}$ は「エフ・バッグのハット」、 バギング全体の予測。 個々の $\hat{f}_m$ より分散が小さい。

3.2 OOB誤差 (Out-of-Bag Error)

復元抽出で取られなかった約 37% のサンプルを検証データとして使える。 別途 CV しなくても汎化誤差を推定できる。

1
2
3
4

from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=300, oob_score=True, random_state=42)
rf.fit(X_train, y_train)
print('OOB Accuracy:', rf.oob_score_)

🌳 4. Random Forest

バギング ＋ 各分岐で特徴量もランダムサンプリング。 木同士の相関が下がり、 平均化効果がさらに高まる。

4.1 主要ハイパーパラメータ

• n_estimators：木の本数。 多いほど安定（100〜1000）
• max_depth：木の深さ上限（過学習防止）
• max_features：各分岐で使う特徴量数。 分類は $\sqrt{p}$、 回帰は $p/3$ が標準
• min_samples_leaf：葉ノード最小サンプル数（過学習防止）
• class_weight='balanced'：不均衡クラス対応

4.2 特徴量重要度

分岐に使った特徴量が平均でどれだけ不純度を下げたかで重要度を算出（mean decrease in impurity）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
import matplotlib.pyplot as plt
from sklearn.ensemble import RandomForestRegressor

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率', '人口密度', '就業率']]
y = df['持ち家比率']

rf = RandomForestRegressor(n_estimators=500, max_depth=8, random_state=42, n_jobs=-1)
rf.fit(X, y)

importance = pd.Series(rf.feature_importances_, index=X.columns).sort_values()
importance.plot(kind='barh', color='#43A047')
plt.title('特徴量重要度（RF）')
plt.xlabel('Importance')
plt.tight_layout()
plt.show()

注意：MDI バイアス

カテゴリ数の多い・連続変数の特徴量ほど重要度が大きく出る傾向（MDI バイアス）。 より信頼性の高い順列重要度（Permutation Importance）や SHAP を併用するのが実務標準。

🚀 5. ブースティング (Boosting)

弱学習器を直列に並べ、 前の学習器の誤りを次が補正するように学習を進める。

5.1 AdaBoost (Adaptive Boosting, 1995)

誤分類したサンプルの重みを大きくし、 次の弱学習器がそれを優先的に学ぶ。

$$\alpha_m = \frac{1}{2}\log\frac{1-\epsilon_m}{\epsilon_m}, \quad w_i \leftarrow w_i \exp(\alpha_m \cdot \mathbb{1}[y_i \ne \hat{y}_i])$$

記号読み：$\alpha_m$ は「アルファ・サブ・エム」、 第 $m$ 弱学習器の重み。 誤分類率 $\epsilon_m$ が小さい学習器ほど大きな影響を持つ。

5.2 勾配ブースティング (Gradient Boosting Machine)

損失関数 $L$ の負の勾配（残差に相当）に新しい木をフィットさせていく。

$$F_m(x) = F_{m-1}(x) + \nu \cdot h_m(x), \quad h_m \approx -\left.\frac{\partial L(y, F)}{\partial F}\right|_{F=F_{m-1}}$$

記号読み：$F_m$ は「エフ・サブ・エム」、 $m$ 段目までの合計予測。 $\nu$ は「ニュー」と読み、 学習率（0.01〜0.1）。 $h_m$ は新たに加える弱木。

1
2
3
4
5
6

from sklearn.ensemble import GradientBoostingClassifier
gbm = GradientBoostingClassifier(
    n_estimators=500, learning_rate=0.05, max_depth=3, random_state=42
)
gbm.fit(X_train, y_train)
print('Test acc:', gbm.score(X_test, y_test))

⚡ 6. XGBoost / LightGBM / CatBoost

6.1 XGBoost (eXtreme Gradient Boosting, 2014)

• 勾配ブースティングに正則化項（葉の数・重みの L2）を導入
• 欠損値の自動扱い・ヒストグラム法での高速化
• Kaggle 黎明期のスタンダードを築いた

6.2 LightGBM (2017)

• Leaf-wise（最良の葉を優先成長）で高精度
• カテゴリ変数を内部処理でそのまま扱える
• GOSS（Gradient-based One-Side Sampling）と EFB（Exclusive Feature Bundling）で超高速
• テーブルデータでは現在の主力

6.3 CatBoost (2018)

• カテゴリ変数を Target Encoding で内部処理（Ordered TS で漏れ防止）
• Ordered Boosting で過学習に強い
• ハイパーパラメータ既定値で良いスコアが出やすい

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import lightgbm as lgb
from sklearn.metrics import accuracy_score

train = lgb.Dataset(X_train, label=y_train)
val   = lgb.Dataset(X_val,   label=y_val, reference=train)

params = dict(
    objective='binary',
    learning_rate=0.05,
    num_leaves=31,
    feature_fraction=0.9,
    bagging_fraction=0.8,
    bagging_freq=5,
    verbose=-1,
)
model = lgb.train(params, train, num_boost_round=1000,
                  valid_sets=[val],
                  callbacks=[lgb.early_stopping(50)])
pred = (model.predict(X_test) >= 0.5).astype(int)
print('LGB Accuracy:', accuracy_score(y_test, pred))

6.4 三者比較

🥞 7. スタッキング (Stacking)

複数の異質モデル（RF・LGB・ロジスティック等）の予測を、 さらに別のメタモデル（ロジスティック等）が統合する 2 段構成。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.ensemble import StackingClassifier, RandomForestClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC

base = [
    ('rf',  RandomForestClassifier(n_estimators=300, random_state=42)),
    ('svm', SVC(probability=True, random_state=42)),
]
stack = StackingClassifier(
    estimators=base,
    final_estimator=LogisticRegression(max_iter=1000),
    cv=5, n_jobs=-1,
)
stack.fit(X_train, y_train)
print(stack.score(X_test, y_test))

🔍 8. SHAP — モデルを説明する標準ツール

ツリー系モデルの予測寄与をサンプル単位で分解する。 「なぜこの個体は『高い』と予測されたのか」が分かる。

1
2
3
4

import shap
explainer = shap.TreeExplainer(model)
shap_values = explainer.shap_values(X_test)
shap.summary_plot(shap_values, X_test)

📊 9. 手法横断比較

⚠️ 10. よくある落とし穴

⚠️ 詳説：落とし穴 10 連発（各 100 文字以上の詳細解説）

🐍 Python 実装バリエーション（scikit-learn / xgboost / lightgbm / catboost）

同じ「持ち家比率の二値分類」を 4 つのライブラリで実装する例。 API の違いと共通点が分かります。

A. scikit-learn の HistGradientBoosting（依存なし・最速ベースライン）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
import lightgbm as lgb

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df['y'] = (df['持ち家比率'] >= df['持ち家比率'].median()).astype(int)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率', '人口密度']]
y = df['y']

for name, model in [
    ('Tree', DecisionTreeClassifier(max_depth=5, random_state=42)),
    ('RF',   RandomForestClassifier(n_estimators=500, random_state=42)),
    ('LGB',  lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05, verbose=-1)),
]:
    sc = cross_val_score(model, X, y, cv=5, scoring='accuracy')
    print(f'{name}: {sc.mean():.3f} ± {sc.std():.3f}')

1
2
3
4
5
6
7
8
9

from sklearn.inspection import permutation_importance
rf.fit(X, y)
perm = permutation_importance(rf, X, y, n_repeats=30, random_state=42, n_jobs=-1)
import pandas as pd
result = pd.DataFrame({
    'MDI':  rf.feature_importances_,
    'Perm': perm.importances_mean,
}, index=X.columns).sort_values('Perm', ascending=False)
print(result)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import lightgbm as lgb
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split

X_tr, X_va, y_tr, y_va = train_test_split(X, y, test_size=0.3, random_state=42, stratify=y)
model = lgb.LGBMClassifier(n_estimators=1000, learning_rate=0.05, verbose=-1)
model.fit(X_tr, y_tr, eval_set=[(X_tr, y_tr), (X_va, y_va)],
          eval_metric='binary_logloss',
          callbacks=[lgb.early_stopping(50), lgb.log_evaluation(0)])
lgb.plot_metric(model)
plt.show()

📝 12. 報告フォーマット

❌ NG例

「Random Forest を使った結果、 accuracy 0.85 でした。」

✅ OK例

「LightGBM（n_estimators=500, learning_rate=0.05, early_stopping_rounds=50）で 5-fold Stratified CV を行い、 macro-F1 = 0.78 ± 0.03 を得た。 ベースラインのロジスティック回帰（0.71）に対し +0.07。 特徴量重要度（Permutation）では『一人当たり県民所得』が最も寄与し、 SHAP 値による個別解釈でも同じ傾向を確認した。」

🐍 13. ライブラリ早見表

📜 14. ツリー系・アンサンブル法の歴史

• 1963：Morgan & Sonquist が AID — 決定木の原型
• 1984：Breiman らが CART（Classification And Regression Trees）
• 1986：Quinlan の ID3
• 1993：Quinlan の C4.5
• 1996：Breiman の Bagging
• 1997：Freund & Schapire の AdaBoost（ゲーデル賞2003）
• 2001：Breiman の Random Forest
• 2001：Friedman の 勾配ブースティング
• 2014：Chen & Guestrin の XGBoost
• 2017：Microsoft が LightGBM、 Kaggle で猛威
• 2018：Yandex が CatBoost、 カテゴリ処理を内製化

💼 15. 実務応用例

• 金融：信用スコアリング・不正検知（FICO・PayPalがGBMを採用）
• EC・広告：CTR予測、 商品レコメンド、 検索ランキング（LightGBMはLambdaMARTで標準）
• 製造業：不良検知、 予兆保全、 品質予測
• 医療：罹患リスク予測、 退院後再入院予測
• 保険：損害額予測、 ロスレシオ推定
• HR：離職予測、 採用スクリーニング
• 公共政策：地域指標から各種比率を予測（SSDSE-Bの想定用途）

⚠️ 重要な注意点（誤解を避ける）

「特徴量重要度」「SHAP」は予測への寄与であり、 因果効果ではない。

• Random Forest や XGBoost の feature_importances_、 SHAP 値は「モデルがその特徴量をどれくらい予測に使ったか」を示すだけです。
• 「この特徴量を介入すれば結果が変わる」という因果効果は示しません。
• 因果効果を推定したい場合は、 パネル・因果推論（RCT, DID, IV, RDD 等）を使う必要があります。
• また MDI（mean decrease in impurity）型の重要度はカテゴリ数が多い変数を過大評価するバイアスがあります。 Permutation Importance や SHAP を併用してください。

🔗 関連用語

• 分類モデル基礎 — ロジスティック・k-NN・SVM・LDA・NB
• 機械学習の基礎 — 学習・汎化・損失
• 評価指標 — Accuracy・F1・ROC-AUC・PR-AUC
• 過学習 — バイアス・分散トレードオフ
• 交差検証 — k-fold CV・Stratified CV
• 線形回帰 — 回帰のベースライン
• 相関分析 — 特徴選択の前段

📘 前提となる用語（先に押さえるべき 4 つ以上）

• 機械学習の基礎 — 教師あり学習・損失・最適化の概念がないとブースティングの「勾配で学習」の意味が掴めません。
• 過学習と正則化 — 決定木の剪定・GBM の reg_lambda はすべて正則化の言葉で語られます。
• 交差検証 — RandomForest の OOB、 GBM の early stopping は両方 CV 的発想の応用です。
• 評価指標 — 分類・回帰・順位（ランキング）で使う指標が違うため、 目的関数選択にも直結します。
• 相関分析 — 特徴量選択・多重共線性の影響を事前確認するため。

⚖️ 並列で比較したい用語（同じ層で並ぶ手法）

• ロジスティック回帰 — 解釈性で勝つ線形ベースライン。
• SVM — 高次元小サンプルで強い非ツリーモデル。
• ニューラルネット — 大規模・非構造化データで強み。
• ナイーブベイズ — テキスト分類等の高速ベースライン。
• k 近傍法 — 局所的に「似た例の答え」を借りる古典手法。

🚀 発展で学ぶべき用語（次に進むべき 4 つ以上）

• SHAP 値・解釈手法 — ツリー系の標準解釈ツール。
• Optuna / ベイズ最適化 — ハイパラ探索を効率化する。
• スタッキング・ブレンディング — 複数モデルを統合する上位手法。
• 時系列モデリング — TimeSeriesSplit と組み合わせた GBM が実務標準。
• 因果推論 — 予測モデルでは答えられない介入問いを扱う。
• 異常検知（Isolation Forest） — ツリーアンサンブルの教師なし応用。