🗂️ 章俯瞰 — 機械学習の全体像

機械学習は「データからパターンを学習する」技術。 古典統計と異なり、 「予測精度」を最優先し、 大量のデータと計算資源を使うのが特徴。 タスクの種類で大きく 3 つに分類されます。

🎯 教師あり学習（Supervised Learning）

入力 $\boldsymbol{x}$ と正解ラベル $y$ のペアから、 $\boldsymbol{x} \to y$ の写像を学ぶ。 機械学習の最も基本的かつ実用的なパラダイム。

データセット $\mathcal{D} = \{(\boldsymbol{x}_i, y_i)\}_{i=1}^N$ から、 損失 $L(y, f(\boldsymbol{x}))$ を最小化するモデル $f$ を学ぶ：

$$ \hat{f} = \arg\min_f \frac{1}{N}\sum_{i=1}^N L(y_i, f(\boldsymbol{x}_i)) + \lambda \Omega(f) $$

$\Omega(f)$ は正則化項（次節）。 教師ありの「種類」は y の型で決まります：

🔍 教師なし学習（Unsupervised Learning）

ラベルなしのデータ $\boldsymbol{x}_i$ から、 「データの構造」を発見する。 「何を予測するか」が明示されない探索的タスク。

• クラスタリング：データを似た者同士のグループに（clustering、 k-means、 Ward法）
• 次元削減：高次元データを低次元で表現（PCA、 因子分析、 t-SNE、 UMAP）
• 密度推定：データの確率密度を推定（KDE、 ガウス混合モデル）
• 異常検知：通常パターンから外れるデータを発見（Isolation Forest、 One-Class SVM）
• アソシエーション分析：「A を買う人は B も買う」のルール発見
• 自己教師あり学習：ラベルなしデータから擬似ラベルを作って学習（BERT、 SimCLR）

🎮 強化学習（Reinforcement Learning）

エージェントが環境と相互作用して、 累積報酬を最大化する方策を学ぶ。 ゲーム AI、 ロボット制御、 推薦システムなどで活躍。

• エージェント：行動主体
• 環境：エージェントが相互作用する対象
• 状態 $s$：環境の現在の状態
• 行動 $a$：エージェントの選択
• 報酬 $r$：行動に対する即時フィードバック
• 方策 $\pi(a|s)$：状態から行動を決める戦略
• 価値関数 $V(s)$、 $Q(s,a)$：将来期待報酬の見積もり

代表アルゴリズム：Q学習、 SARSA、 DQN、 Policy Gradient、 PPO、 Actor-Critic。 多腕バンディット問題（UCB、 Thompson Sampling）は強化学習の最も基本的な定式化。

📂 train / validation / test の3分割

機械学習の最重要規律。 データを 3 つに分けて、 役割を明確にします：

⚠️ テストデータでハイパラ調整するのは禁忌（データリーク）。 テストデータは「公開モデルの最終評価のために 1 回だけ触る」。 何度も使うと「テストにフィットしたモデル」になり、 真の汎化性能が分からなくなる。

k-fold 交差検証は、 train/validation を k 回ローテーションして安定したハイパラ調整を行う手法（詳細は 評価指標 #cv）。

1
2
3
4
5
6
7
8
9

from sklearn.model_selection import train_test_split

# 80% train+valid, 20% test
X_temp, X_test, y_temp, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

# 上の 80% を 75% train, 25% valid に分割（全体の 60/20/20 になる）
X_train, X_valid, y_train, y_valid = train_test_split(X_temp, y_temp, test_size=0.25, random_state=42, stratify=y_temp)

print(f'train={{len(X_train)}}, valid={{len(X_valid)}}, test={{len(X_test)}}')

⚠️ 過学習（Overfitting）と汎化（Generalization）

機械学習の中核問題。 訓練データだけで完璧に予測できても、 未知データで失敗するモデルは無価値。

• 過学習（overfitting）：訓練データに過剰適合し、 未知データで性能低下
• 未学習（underfitting）：訓練データすら捉えきれていない
• 汎化（generalization）：未知データで良い性能を出す能力

原因：(1) モデルが複雑すぎる、 (2) 訓練データが少なすぎる、 (3) ノイズに過剰適合、 (4) 特徴量が多すぎる（次元の呪い）。

対策

• 正則化：L1 / L2 / Elastic Net（係数を縮小）
• データ拡張：訓練データを人工的に増やす
• Early Stopping：検証誤差が増え始めたら学習停止
• Dropout：訓練時にノードをランダムに無効化（深層学習）
• アンサンブル：複数モデルの平均でばらつきを抑える
• クロスバリデーション：複数分割で汎化性能を推定
• シンプルなモデル：「Occam の剃刀」

診断方法

⚖️ バイアス-バリアンス分解

予測誤差は数学的に 3 成分に分解できます：

$$ \mathbb{E}[(y - \hat{f}(\boldsymbol{x}))^2] = \underbrace{(\mathbb{E}[\hat{f}] - f)^2}_{\text{Bias}^2} + \underbrace{\mathrm{Var}(\hat{f})}_{\text{Variance}} + \underbrace{\sigma^2_\varepsilon}_{\text{Noise}} $$

• バイアス：モデルの「想定」と真の関係のズレ。 シンプルすぎるモデルで大
• バリアンス：訓練データの違いによる予測の揺らぎ。 複雑なモデルで大
• ノイズ（既約誤差）：データ自体の不確実性。 削減不可能

これがいわゆるバイアス-バリアンスのトレードオフ。 モデルを複雑にすれば バイアス↓ だが バリアンス↑。 シンプルにすれば バイアス↑ だが バリアンス↓。 最適は両者の和が最小になる点。

💔 損失関数（Loss Function）

「予測 $\hat{y}$ と正解 $y$ のズレ」を測る関数。 機械学習は損失を最小化する最適化問題として定式化されます。

勾配降下法で損失を最小化します。 学習率 $\eta$、 勾配 $\nabla L$ で：$\boldsymbol{\theta} \leftarrow \boldsymbol{\theta} - \eta \nabla L$。

🔧 ハイパーパラメータ（Hyperparameter）

モデル学習前に決める「設定値」。 学習中に最適化されるパラメータ（重み $\boldsymbol{w}$ など）と区別。 例：

• 線形回帰：正則化係数 $\lambda$
• k-NN：近傍数 $k$
• SVM：カーネル種類、 C、 γ
• 決定木：木の深さ、 葉の最小サンプル数
• RF / XGBoost：木の数、 学習率、 最大深さ
• NN：層数、 ユニット数、 学習率、 バッチサイズ、 エポック数

ハイパラ探索手法：

• Grid Search：全組合せを試す（次元が多いと爆発）
• Random Search：ランダム抽出。 大次元で効率的
• Bayesian Optimization：ガウス過程で探索効率化（Optuna、 Hyperopt）
• Hyperband / BOHB：早期停止と組み合わせて高速化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

from sklearn.model_selection import GridSearchCV, RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {{
    'n_estimators': [100, 200, 500],
    'max_depth': [3, 5, 10, None],
    'min_samples_split': [2, 5, 10]
}}

gs = GridSearchCV(RandomForestClassifier(), param_grid, cv=5, scoring='f1', n_jobs=-1)
gs.fit(X_train, y_train)
print(gs.best_params_, gs.best_score_)

# Optuna でベイズ最適化
import optuna
def objective(trial):
    params = {{
        'n_estimators': trial.suggest_int('n_estimators', 50, 500),
        'max_depth': trial.suggest_int('max_depth', 2, 32),
    }}
    return cross_val_score(RandomForestClassifier(**params), X, y, cv=5).mean()

study = optuna.create_study(direction='maximize')
study.optimize(objective, n_trials=100)

🌳 機械学習プロジェクトの流れ

1. 問題定義：何を予測するか、 ビジネス価値は？ 教師あり/なし/強化のどれか？
2. データ収集：信頼できるソース、 サイズ、 ラベル付け
3. 探索的データ解析（EDA）：分布・欠損・外れ値・相関を可視化
4. 前処理：欠損補完、 標準化、 カテゴリ変数のエンコード、 特徴量エンジニアリング
5. train/valid/test 分割：データリークに注意
6. ベースラインモデル：シンプルな手法から（線形回帰、 RF）
7. モデル選択：複数手法を CV で比較
8. ハイパラチューニング：検証データで最適化
9. 最終評価：テストデータで 1 回だけ
10. デプロイ・モニタリング：本番運用、 データドリフト監視、 再学習

🛡️ 正則化（Regularization）

過学習を防ぐ最も基本的な手法。 損失関数に「モデルの複雑さペナルティ」を加える：

$$ L_{\text{total}} = L_{\text{data}} + \lambda \Omega(\boldsymbol{w}) $$

• L1（LASSO）：$\Omega = \sum |w_j|$、 係数を 0 にする（特徴選択）
• L2（Ridge）：$\Omega = \sum w_j^2$、 係数を 0 に近づける
• Elastic Net：L1 + L2 のハイブリッド
• Dropout（深層学習）：訓練時にニューロンをランダム無効化
• Early Stopping：検証誤差が悪化したら停止
• データ拡張：訓練データを増やすことで実質的な正則化

詳細は regularization グループ、 Ridge、 LASSO。

🚧 よくある誤解

📝 練習問題

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.cluster import KMeans
from sklearn.model_selection import cross_val_score

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
# 前処理...
X = df[['L322101','L322108','L322102']].values   # 家計3項目
X_std = StandardScaler().fit_transform(X)

# 教師あり：東日本/西日本 を予測
# y = ...
# scores = cross_val_score(LogisticRegression(), X_std, y, cv=5, scoring='f1')

# 教師なし：47県を3クラスタに
km = KMeans(n_clusters=3, random_state=42, n_init=10).fit(X_std)
print(km.labels_)

📋 報告フォーマット

• 学習タイプとタスクを明示
• データ分割比とサイズ
• ハイパラ探索の方法と評価指標
• CV 平均 ± 標準偏差
• テスト結果は最後に 1 回
• 過学習・バイアス・バリアンスの考察

🌐 ML プロジェクトのライフサイクル

研究や PoC を超えて本番運用まで考えると、 ライフサイクルは長くなります。

1. 問題定義：ビジネス価値 → 機械学習で解けるか
2. データ収集：信頼性、 量、 偏り、 ラベル
3. 探索・前処理：EDA、 欠損、 外れ値、 特徴量
4. モデル開発：ベースライン → 比較 → チューニング
5. 評価：CV、 ホールドアウト、 ビジネス指標
6. デプロイ：本番環境へモデル配置（API、 バッチ）
7. モニタリング：性能低下・ データドリフトを監視
8. 再学習：新データで定期的に更新

これら全体を回す技術が MLOps。

📜 機械学習の歴史

• 1950年代：パーセプトロン（Rosenblatt）、 統計的学習理論の萌芽
• 1980年代：誤差逆伝播法（Rumelhart）、 多層パーセプトロンの再評価
• 1990年代：SVM（Vapnik）、 決定木の発展
• 2000年代：アンサンブル学習（バギング・ブースティング）、 ランダムフォレスト
• 2012年：AlexNet が ImageNet で圧勝、 深層学習ブーム開始
• 2017年：Transformer 発表、 NLP に革命
• 2020年〜：GPT-3、 基盤モデル、 生成AI の時代

🧮 SSDSE-B 実値計算例：47都道府県の「教師あり/教師なし」比較

SSDSE-B-2026（47都道府県、 2023年）から、 家計消費3項目（魚介・肉・野菜）を使い、 教師あり分類（東日本/西日本）と教師なしクラスタリング（3群）を実行して比較します。 ここでは scikit-learn の標準API でパイプラインを組みます。

📊 ステップ1：データ準備

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

import pandas as pd
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
# 2023年のみ抽出
df23 = df[df['年度']==2023].copy()
X = df23[['L322101', 'L322102', 'L322108']].values
X_std = StandardScaler().fit_transform(X)
# 西日本(関西以西)を1、東日本を0としてラベル化（仮の例）
west = ['京都府','大阪府','兵庫県','奈良県','和歌山県','鳥取県','島根県','岡山県','広島県','山口県','徳島県','香川県','愛媛県','高知県','福岡県','佐賀県','長崎県','熊本県','大分県','宮崎県','鹿児島県','沖縄県']
y = df23['都道府県'].isin(west).astype(int).values
print(X_std.shape, y.sum())  # (47,3) 22

📊 ステップ2：教師あり分類（Logistic + 交差検証）

SSDSE-B 47県の家計消費（魚介・肉・野菜）から「西日本かどうか」を予測した場合、 5-fold CV の F1 はおよそ 0.62〜0.70 程度。 47サンプルと小さいため標準偏差が大きく出ます。 過学習を防ぐため LogisticRegression(C=1.0) のような弱い正則化が安全です。

📊 ステップ3：教師なしクラスタリング（KMeans + シルエット）

3クラスタに分けると、 都市圏グループ（東京・大阪等）、 北海道・東北グループ、 西日本郊外グループの3群が抽出されることが多い。 シルエット係数（sklearn.metrics.silhouette_score）が 0.3 を超えれば、 ある程度クラスタが分離できていると判断できる。

📊 ステップ4：教師あり vs 教師なしの結果比較

💡 得られる洞察：47県という小データの場合、 教師ありは小サンプルゆえに過学習しやすく、 むしろ教師なしクラスタリングのほうが「県の食文化の構造」を素直に表現することが多い。 これはまさにML設計の核心。

⚠️ ML 初学者が陥る7大落とし穴（深掘り版）

🐍 Python 実装バリエーション

同じ「教師あり 2値分類」でも、 ライブラリと API スタイルによって書き方が大きく変わります。 ここでは scikit-learn / xgboost / lightgbm / pytorch の4種類の最小コードを示します。

① scikit-learn (Pipeline + GridSearchCV)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV

pipe = Pipeline([('sc', StandardScaler()),
                 ('clf', LogisticRegression(max_iter=1000))])
grid = GridSearchCV(pipe, {'clf__C': [0.01, 0.1, 1, 10]},
                    cv=5, scoring='f1')
grid.fit(X_train, y_train)
print(grid.best_params_, grid.best_score_)

② XGBoost (early stopping + DMatrix)

1
2
3
4
5
6
7

import xgboost as xgb
model = xgb.XGBClassifier(n_estimators=500, max_depth=4,
    learning_rate=0.05, eval_metric='logloss',
    early_stopping_rounds=20)
model.fit(X_train, y_train,
          eval_set=[(X_valid, y_valid)], verbose=False)
print(model.best_iteration, model.best_score)

③ LightGBM (カテゴリ特徴を直接扱える)

1
2
3
4
5

import lightgbm as lgb
model = lgb.LGBMClassifier(n_estimators=500, learning_rate=0.05)
model.fit(X_train, y_train, categorical_feature=['region'],
          eval_set=[(X_valid, y_valid)])
print(model.feature_importances_)

④ scipy.stats — 仮説検定との橋渡し

MLの予測結果を、 統計検定で「ベースラインより有意に良いか」確かめたい場面では scipy.stats が活躍。

1
2
3
4
5

from scipy import stats
# 2つのモデルの CV スコア（5回ずつ）を Wilcoxon 検定で比較
scores_a = [0.82, 0.85, 0.83, 0.84, 0.86]
scores_b = [0.78, 0.80, 0.79, 0.81, 0.80]
print(stats.wilcoxon(scores_a, scores_b))

⑤ PyTorch — 深層学習の最小例

テーブルデータでも、 特徴量が多くなったら PyTorch でカスタムNNを書く価値があります。

1
2
3
4
5
6
7
8
9

import torch, torch.nn as nn
class MLP(nn.Module):
    def __init__(self, d):
        super().__init__()
        self.net = nn.Sequential(nn.Linear(d, 64), nn.ReLU(),
                                 nn.Dropout(0.3),
                                 nn.Linear(64, 1))
    def forward(self, x): return self.net(x).squeeze(-1)
model = MLP(d=10)

🔗 関連用語

📚 前提（4個以上）

• 代表値：データの中心を捉える基礎
• ばらつき：分散・標準偏差はバリアンスの数学的基盤
• 標本・中心極限定理：訓練/テスト分割の理論的根拠
• 仮説検定：モデル間比較で必要
• 相関：特徴量選択・多重共線性の出発点
• 確率分布：ベイズ的解釈の前提

🔀 並列（4個以上）

• 評価指標：accuracy/F1/AUC など
• 正則化：L1/L2/Elastic Net
• 交差検証：汎化評価の標準手法
• バイアス・バリアンス：誤差分解の中核
• 特徴量エンジニアリング：精度に直結

🚀 発展（4個以上）

• 分類モデル：Logistic, SVM, k-NN
• 決定木・アンサンブル：RF, GBM, XGBoost, LightGBM
• ニューラルネットワーク：MLP, CNN, RNN
• 深層学習：Transformer, BERT
• 生成AI：GPT, Diffusion, LLM
• 因果推論：予測 vs 介入の違い