📖 もっと詳しく

残差（residual）は、 「実測値 $y_i$ - モデル予測値 $\hat{y}_i$」の差。 モデルが捉えきれなかった「説明できないズレ」です。 回帰分析の診断の中核で、 これを見ずに結果を信じてはいけません。

OLSの4つの仮定（残差で診断）：

1. 平均0：残差の平均が0（OLSは自動で満たす）
2. 等分散：残差のばらつきが x の値によらず一定
3. 独立：残差同士に自己相関がない
4. 正規分布：残差が（近似的に）正規分布

残差プロットの読み方：

• ランダムな雲：仮定OK、 モデル妥当
• ファネル状（左狭く右広い）：異分散の徴候 → 加重最小二乗 or ロバスト SE
• 曲線パターン：線形性の違反 → 多項式項を追加 or GAM
• 周期性：自己相関の徴候 → 時系列モデル
• 外れ値：1点だけ大きく離れる → 影響度分析（Cook距離など）

Q-Qプロット：残差が正規分布に従うかを視覚的に確認。 点が直線上にあれば正規性OK、 大きく逸脱するなら非正規。

Python：fitted = model.fittedvalues; residuals = model.resid。 散布図と Q-Qプロット（statsmodels.graphics.gofplots.qqplot）を必ず描く習慣を。

👁️ 直感 — 残差は「モデルが説明できなかった部分」

残差 e_i = y_i - ŷ_i は、 観測値とモデル予測値の差。 モデルで捉えきれなかったランダムな変動を表します。

残差分析の目的

• OLS の仮定が成立しているかチェック
• 外れ値・影響力のある観測値の発見
• モデル誤指定の発見（非線形性、 不等分散）
• モデル改善のヒントを得る

📐 残差の種類

📊 4つの主要な残差プロット

1. 残差 vs 予測値：パターンがあれば線形性 or 等分散性違反
2. QQプロット：残差が直線に乗れば正規分布
3. Scale-Location：√|残差| vs 予測値、 等分散性確認
4. 残差 vs Leverage：影響力のある観測値発見

🎯 影響力のある観測値

少数の極端な観測値が回帰結果を大きく動かすことがあります。 主要な指標：

• Leverage（てこ値, h_ii）：X空間での「影響力」。 平均 (p+1)/n より大きいと注意
• Cook's distance：その観測値を除いた時の回帰係数変化を統合した指標。 4/n を超えると要注意
• DFFITS：個別予測値への影響
• DFBETAS：各係数への影響

🐍 Python での残差分析

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

import statsmodels.api as sm
import matplotlib.pyplot as plt
from scipy import stats

X = sm.add_constant(x)
model = sm.OLS(y, X).fit()

# 残差を取得
residuals = model.resid
fitted = model.fittedvalues
std_resid = model.get_influence().resid_studentized_internal

# 残差プロット
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
axes[0, 0].scatter(fitted, residuals)
axes[0, 0].axhline(0, color='red')
axes[0, 0].set_title('Residuals vs Fitted')

stats.probplot(residuals, plot=axes[0, 1])
axes[0, 1].set_title('Normal Q-Q')

# Cook's distance
inf = model.get_influence()
cook = inf.cooks_distance[0]
axes[1, 0].stem(cook)
axes[1, 0].axhline(4/len(x), color='red')
axes[1, 0].set_title("Cook's Distance")

🚧 落とし穴と注意点

• サンプルサイズを確認（小標本では結果が不安定）
• 仮定の検証（正規性、 独立性、 等分散性）
• 外れ値の影響を散布図で確認
• 多重比較問題（複数検定時は補正を）
• p値だけで判断しない、 効果量と信頼区間を併記
• 因果関係を主張するには別の根拠が必要

🔬 「残差」を深く理解する

残差の重要な性質

• OLS では Σe_i = 0（残差の合計はゼロ）
• 残差と説明変数は無相関
• 残差と予測値は無相関
• 残差は「ノイズ」と「モデル誤指定」の混合

残差を見る習慣

「回帰した、 R² も高い」で満足せず、 必ず残差プロットを描く。 多くの研究者は残差分析を省略し、 重大なモデル誤指定を見逃しています。

📝 練習問題 — 理解度チェック

1. この用語の基本定義を、 自分の言葉で説明できますか？
2. この手法が使われる典型的なシナリオを3つ挙げられますか？
3. この手法の前提条件・仮定を確認できますか？
4. 結果を解釈する際の注意点は何ですか？
5. 類似手法との違いを説明できますか？
6. Python（または他言語）で実装できますか？
7. SSDSE データで応用例を作成できますか？

🔗 さらに学ぶための関連用語

このトピックの理解を深めるには、 以下の関連概念も合わせて学習することをお勧めします。 概念マップから直接ジャンプできます：

• 基礎：平均、 分散、 標準偏差、 相関係数
• 推測：信頼区間、 p値、 標準誤差、 有意水準
• 関連手法：他の検定・回帰モデル
• 応用：機械学習での実装

📚 参考文献・さらなる学習

古典的教科書

• Casella & Berger "Statistical Inference"
• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression and Multilevel/Hierarchical Models"

実践書

• VanderPlas "Python Data Science Handbook"
• McKinney "Python for Data Analysis"
• James, Witten, Hastie & Tibshirani "An Introduction to Statistical Learning"

オンラインリソース

• scikit-learn 公式ドキュメント
• statsmodels 公式ドキュメント
• scipy.stats リファレンス
• SSDSE データ（統計データ活用コンペティション）

💼 実務応用ガイド

データサイエンスプロジェクトでの位置づけ

1. 探索的分析（EDA）：基本統計量・可視化でデータを理解
2. 前処理：標準化・正規化・欠損値処理
3. モデリング：回帰・分類・クラスタリング
4. 評価：CV、 指標計算、 統計的検定
5. 解釈・報告：効果量・信頼区間・可視化

業界別ユースケース

• マーケティング：顧客セグメンテーション、 ROI 分析、 A/Bテスト
• 金融：ポートフォリオ最適化、 リスク評価、 信用スコアリング
• 医療：臨床試験、 疫学研究、 診断モデル
• 製造：品質管理、 予測保全、 工程最適化
• 公共政策：社会統計、 政策効果分析、 計画立案

📖 完全ガイド — 統計学習の参照表

分析の流れ — 8ステップ

1. 問題定義：何を知りたいのか、 目的を明確に
2. データ収集：信頼できるソースから（SSDSEなど公的データ）
3. データクリーニング：欠損値、 外れ値、 入力ミスの確認
4. 探索的分析（EDA）：要約統計量、 ヒストグラム、 散布図
5. 変数変換：標準化、 対数変換、 カテゴリのエンコード
6. モデリング：適切な手法を選び、 学習
7. 評価：CV、 指標、 統計的検定
8. 解釈・報告：効果量、 信頼区間、 可視化

統計手法の選び方マトリクス

サンプル数別の手法ガイド

Python 主要ライブラリ早見表

よくある質問（FAQ）

• Q: 正規分布じゃないデータをどう扱う？
  A: 対数変換、 Box-Cox 変換、 ノンパラ検定、 ブートストラップ
• Q: 外れ値を除くべき？
  A: ドメイン知識で判断。 機械的に除くより、 ロバスト手法を検討
• Q: サンプルサイズはいくつあれば十分？
  A: 効果量と検出力から事前計算（power analysis）
• Q: p < 0.05 で「効果あり」と結論していい？
  A: 効果量と信頼区間も併記。 多重比較補正も
• Q: 相関があれば因果がある？
  A: ない。 RCT、 IV、 DiD などの因果推論手法が必要

📓 用語のまとめ — 30秒で理解

このページで扱った概念を、 学習効率のためにまとめます。 これを毎日見ることで、 統計の基礎が体に染み込みます。

必ず押さえるべき記号

💡 統計学・データサイエンスは「記号の意味を理解する」ことが最初の壁。 各記号が何を表すか、 公式の中での役割を覚えてしまえば、 後はパターンの組合せで様々な手法が理解できます。

🌐 データサイエンス全体像での位置づけ

データサイエンスのワークフロー

1. ビジネス理解：何を解決したいか
2. データ理解：どんなデータがあるか
3. データ準備：前処理、 特徴量エンジニアリング
4. モデリング：手法選択、 学習
5. 評価：性能、 解釈性、 ビジネス価値
6. 展開：実装、 運用、 監視

(CRISP-DM プロセスより)

主要分野のマッピング

キャリアパス

• データアナリスト：記述統計、 可視化、 BI
• データサイエンティスト：機械学習、 統計モデリング
• 機械学習エンジニア：モデル実装、 デプロイ、 MLOps
• 統計学者・計量経済学者：因果推論、 統計的検定
• 研究者：新しい手法開発

💎 良いデータ分析のための10のコツ

1. 必ず可視化から始める：散布図、 ヒストグラム、 箱ひげ図
2. 外れ値を意識する：除く前にドメイン的に理解
3. 仮定を確認する：正規性、 独立性、 等分散性
4. サンプルサイズに見合う複雑性：n=10 で深層学習はしない
5. 効果量も併記する：p値だけでは不十分
6. 信頼区間で不確実性を示す：点推定だけでは誤解の元
7. 多重比較を補正する：探索的解析でも誠実に
8. ホールドアウト or CV で評価する：訓練データの精度は意味がない
9. 解釈可能性も重視する：ブラックボックスより white-box
10. 再現可能なコードを書く：random_seed、 バージョン管理

🔗 用語間の関係 — 統計概念のネットワーク

記述統計の基本セット

これらは互いに深く関連します：

• 平均：データの重心 → 偏差の合計はゼロ
• 分散：偏差の二乗の平均 → 平均からの広がり
• 標準偏差：分散の平方根 → 元の単位
• 共分散：2変数の偏差の積の平均 → 一緒に動くか
• 相関係数：共分散を標準偏差で割ったもの → 単位なし

推測統計の基本セット

• 標準誤差：推定値のばらつき = σ/√n
• 信頼区間：x̄ ± z × SE
• p値：H₀ のもとでの確率
• 有意水準 α：許容する第一種誤り率
• 検出力 1-β：差を見つける確率
• 効果量：差の大きさ（標準化済み）

回帰モデルファミリー

• 単回帰：1変数 → 1変数の予測
• 重回帰：多変数 → 1変数
• Ridge：L2正則化付き重回帰
• LASSO：L1正則化（変数選択付き）
• Elastic Net：L1+L2の組合せ
• ロジスティック回帰：分類用
• ポアソン回帰：カウントデータ用

クラスタリング・次元削減ファミリー

• k-means：分割クラスタリング
• 階層クラスタリング：ツリー構造
• Ward法：分散最小化の階層クラスタリング
• DBSCAN：密度ベース
• PCA：線形次元削減
• 因子分析：潜在因子モデル
• t-SNE, UMAP：非線形次元削減

検定ファミリー

• t検定：1〜2 群の平均比較
• F検定（ANOVA）：3群以上の平均比較
• χ²検定：カテゴリ変数の独立性
• Mann-Whitney U：t検定のノンパラ版
• Kruskal-Wallis：ANOVAのノンパラ版
• Wilcoxon：対応のあるt検定のノンパラ版

🗺️ 概念マップ — 3つの視点で体系を理解する

残差 がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 関連・回帰 › 回帰 › 残差

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心の概念から放射状に、 前提・兄弟・発展形・応用先などの関係性を矢印で結びます。 横の繋がりを見るのに最適。 ノードをドラッグ、 ホイールでズーム、 クリックで遷移。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「残差」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「残差」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 ジャストインタイム学習のヒント：3つの視点を行き来することで、 概念を多角的に理解できます。 包含マップやツリーマップはズーム/ドリルダウンで大分類から細部まで探索できます。

🔖 キーワード索引（拡張）

残差・残差診断の重要語をクイックアクセス：

🧮 SSDSE-B 実値計算 — 賃金回帰の残差を 4 プロットで診断

47都道府県の現金給与総額を「製造品出荷額（log）」「人口集中度（log）」で説明する OLS を当てはめ、 残差診断 4 プロット（残差 vs フィット、 Q-Q、 scale-location、 leverage-Cook）を作る。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import statsmodels.api as sm
import statsmodels.formula.api as smf
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
df.columns = [c.strip() for c in df.columns]
df['log_mfg'] = np.log(df['製造品出荷額等'])
df['log_pop'] = np.log(df['総人口'])

res = smf.ols('現金給与総額 ~ log_mfg + log_pop', data=df).fit()
print(res.summary())

infl  = res.get_influence()
sresid = infl.resid_studentized_internal
fitted = res.fittedvalues
leverage = infl.hat_matrix_diag
cooks  = infl.cooks_distance[0]

fig, axes = plt.subplots(2, 2, figsize=(11, 9))
# (1) Residuals vs Fitted
axes[0,0].scatter(fitted, res.resid)
axes[0,0].axhline(0, ls='--', color='red')
axes[0,0].set_xlabel('Fitted'); axes[0,0].set_ylabel('Residual')
axes[0,0].set_title('Residuals vs Fitted')
# (2) Normal Q-Q
sm.qqplot(sresid, line='45', fit=True, ax=axes[0,1])
axes[0,1].set_title('Normal Q-Q')
# (3) Scale-Location
axes[1,0].scatter(fitted, np.sqrt(np.abs(sresid)))
axes[1,0].set_xlabel('Fitted'); axes[1,0].set_ylabel('√|standardized residual|')
axes[1,0].set_title('Scale-Location')
# (4) Residuals vs Leverage
axes[1,1].scatter(leverage, sresid)
for i, (h, r, c) in enumerate(zip(leverage, sresid, cooks)):
    if c > 4/len(df):
        axes[1,1].annotate(df.iloc[i]['都道府県'], (h, r), fontsize=8)
axes[1,1].set_xlabel('Leverage'); axes[1,1].set_ylabel('Std. residual')
axes[1,1].set_title('Residuals vs Leverage')
plt.tight_layout(); plt.savefig('residual_diag.png', dpi=140)

典型的な観察例： Residual vs Fitted で東京・神奈川が右上に飛び出し、 Q-Q プロットの右裾も外れる。 Cook 距離も東京・神奈川が突出（> 4/n）。 つまり「賃金水準が高い大都市」は通常の OLS の仮定（等分散・線形）から外れており、 ロバスト回帰や層別モデルで補強する必要がある。

統計的な異常診断テスト

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from statsmodels.stats.diagnostic import (
    het_breuschpagan, het_white, acorr_ljungbox)
from statsmodels.stats.stattools import durbin_watson

# 正規性
print('Shapiro:', stats.shapiro(res.resid))
# 不均一分散
bp = het_breuschpagan(res.resid, res.model.exog)
print(f'Breusch-Pagan : LM={bp[0]:.2f}, p={bp[1]:.4f}')
white = het_white(res.resid, res.model.exog)
print(f'White        : LM={white[0]:.2f}, p={white[1]:.4f}')
# 自己相関（時系列ならば）
print('Durbin-Watson :', durbin_watson(res.resid))

⚠️ 残差診断の落とし穴 — 6 つの典型ミス

🐍 Python 実装バリエーション — statsmodels / scipy / sklearn

1. statsmodels の influence プロット（一発）

1
2
3
4

import statsmodels.api as sm
import statsmodels.formula.api as smf
res = smf.ols('y ~ x1 + x2', data=df).fit()
fig = sm.graphics.influence_plot(res, criterion='cooks')

2. 4 プロット診断を一括（plot_diagnostics）

1
2
3
4
5
6

# 時系列モデル（ARIMA 等）には組込みの plot_diagnostics があるが、
# 線形回帰は自作する必要がある（上の SSDSE 計算例を参照）
from statsmodels.graphics.regressionplots import (
    plot_leverage_resid2, plot_partregress_grid)
fig = plt.figure(figsize=(11, 8))
plot_partregress_grid(res, fig=fig)   # 部分回帰プロット

3. scipy.stats の正規性検定セット

1
2
3
4
5
6
7

from scipy import stats
print('Shapiro-Wilk    :', stats.shapiro(res.resid))
print('Anderson-Darling:', stats.anderson(res.resid, dist='norm'))
print("D'Agostino K²   :", stats.normaltest(res.resid))
print('Jarque-Bera     :', stats.jarque_bera(res.resid))
print('Skewness        :', stats.skew(res.resid))
print('Kurtosis        :', stats.kurtosis(res.resid))

4. sklearn で OOF 予測誤差を診断

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_predict, KFold

cv = KFold(n_splits=5, shuffle=True, random_state=0)
y_pred = cross_val_predict(LinearRegression(), X, y, cv=cv)
oof_resid = y - y_pred

fig, ax = plt.subplots(1, 2, figsize=(11, 4.5))
ax[0].scatter(y_pred, oof_resid); ax[0].axhline(0, ls='--', color='red')
ax[0].set_title('OOF Residuals')
sm.qqplot(oof_resid, line='45', fit=True, ax=ax[1])

5. ロバスト回帰で残差を改善（HuberRegressor / RANSAC）

1
2
3
4
5

from sklearn.linear_model import HuberRegressor, RANSACRegressor
huber = HuberRegressor().fit(X, y)
ransac = RANSACRegressor(random_state=0).fit(X, y)
# 外れ値判定マスク（RANSAC のみ）
inliers = ransac.inlier_mask_

🔗 関連用語（拡張ネットワーク）

📚 前提となる用語

• 線形回帰
• 最小二乗法 OLS
• 誤差項とその仮定
• 正規性
• 等分散性

🔀 並列に学ぶ用語

• てこ比 leverage
• Cook の距離
• 影響度測度（DFBETAS / DFFITS）
• Q-Q プロット
• 部分回帰プロット

🚀 発展先の用語

• ロバスト回帰（Huber / RANSAC / quantile）
• 一般化最小二乗 GLS
• HAC 標準誤差（Newey-West）
• 変数変換（Box-Cox / Yeo-Johnson）
• GAM（一般化加法モデル）

🧰 ツール・周辺概念

• Durbin-Watson 統計量
• Breusch-Pagan 検定
• White 検定
• Ljung-Box 検定