📖 包括的解説 — この概念を完全マスター

📍 学習の3ステップ

1. 定義を理解する：この概念は何か？ 数式や条件を確認
2. 具体例を見る：実データ（SSDSE 等）で計算してみる
3. 応用する：自分のデータに適用、 結果を解釈

🔧 Python実装パターン

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 基本パターン
import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')

# 基本統計量
df.describe()

# 可視化
sns.pairplot(df[['食料費', '教育費', '住居費']])
plt.show()

📚 統計概念マップでの位置

このページの上にある3つの概念マップ（関係マップ、 包含マップ、 ツリーマップ）でこの概念の位置づけが視覚的に分かります。 関連手法を辿って学習を進めましょう。

🎯 SSDSE-B-2026 で挑戦

統計データ活用コンペティションのSSDSE-B-2026データは、 47都道府県の社会経済データ。 この概念を使って以下のような分析ができます：

• 地域別の特徴抽出
• 家計支出パターンの解析
• 人口動態と社会経済指標の関連
• 気候要因の影響評価

💡 よく使うコマンド集

🚧 一般的な落とし穴と対策

• 外れ値の影響：散布図・ 箱ひげ図で確認、 ロバスト手法も検討
• サンプルサイズ不足：power analysis で事前に確認
• 仮定の違反：正規性、 独立性、 等分散性をチェック
• 多重比較問題：補正（Bonferroni、 FDR）を適用
• p-hacking：事前登録（pre-registration）で防ぐ
• 因果と相関の混同：観察データから因果結論を出さない

📊 結果報告の標準フォーマット

• 点推定：得られた値
• 不確実性：信頼区間または標準誤差
• サンプルサイズ：n を明記
• 効果量：実質的な意義
• p値：統計的有意性
• 仮定の確認：診断プロット

🌐 関連分野での応用

• マーケティング：A/Bテスト、 顧客分析
• 医療：臨床試験、 疫学研究
• 金融：リスク管理、 ポートフォリオ
• 製造：品質管理、 工程最適化
• 公共政策：効果評価、 計画立案
• 研究：仮説検証、 探索的解析

🎓 さらに学ぶための文献

• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression"
• VanderPlas "Python Data Science Handbook"

🔗 統計用語ネットワーク

この概念は、 他の多くの統計概念と密接に関連しています。 ジャストインタイム型学習では、 必要に応じて関連用語へジャンプしながら全体像を構築します。

主要な関連概念のグループ

学習順序の推奨

1. 記述統計（平均、 分散、 標準偏差）
2. 可視化（ヒストグラム、 散布図）
3. 確率分布（正規分布）
4. 推測統計（標準誤差、 信頼区間、 p値）
5. 仮説検定（t検定、 χ²検定）
6. 相関と回帰（単回帰、 重回帰）
7. 多変量解析（PCA、 クラスタリング）
8. 機械学習（決定木、 RF、 NN）
9. 時系列・因果推論（応用）

📝 実践練習 — SSDSE-B-2026 で挑戦

初級課題

1. 東北6県の家計食料費の基本統計量を計算
2. 食料費のヒストグラムを描く
3. 食料費と教育費の散布図を描く
4. 都道府県を「東日本/西日本」に分け、 平均を比較

中級課題

1. 家計支出 5項目で相関行列を作成、 ヒートマップ可視化
2. 食料費 → 教育費の単回帰を実行、 残差分析
3. 家計5項目で PCA を実施、 バイプロット表示
4. k-means (k=3) で都道府県をクラスタリング、 解釈

上級課題

1. 地域別の家計パターンに有意差があるか ANOVA で検定
2. 重回帰で教育費を予測、 多重共線性を VIF で確認
3. Ridge/LASSO で正則化、 CV で α を最適化
4. 階層クラスタリングと Ward 法で都道府県を分類、 デンドログラム作成

📚 統計学習の総合ガイド

🎯 学習目標

このページの概念をマスターすることで、 以下のスキルが身につきます：

• 定義と公式を正確に理解
• 適切な使用場面を判断
• Python で実装し、 結果を可視化
• 仮定の確認と診断
• 結果の解釈と報告
• 限界と注意点の理解
• 関連手法との使い分け

📊 SSDSE-B-2026 データの構造

このコンペの主要データセット（SSDSE-B-2026）の構造：

• 47都道府県 × 過去複数年（パネル形式）
• 112列の社会経済指標
• 人口、 出生、 死亡、 婚姻、 経済、 教育、 環境、 家計など多次元
• 政府統計を統合した信頼性の高いデータ

🔍 主要な変数群

💡 ジャストインタイム型学習

このガイドは「必要なときに必要な知識」を提供する設計：

• 論文中の用語をクリック → 該当の用語解説へジャンプ（ポップアップ）
• 概念マップで関連用語を辿る
• 包含マップで体系を把握
• ツリーマップで全体を俯瞰
• Python コードをコピーして実行
• SSDSE データで実際に試す

🛠️ Python データサイエンス環境

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22

# 必須ライブラリのインストール
pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn

# 標準的なインポート
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import r2_score, mean_squared_error

# 日本語表示の設定（matplotlib）
plt.rcParams['font.family'] = 'Hiragino Sans'
plt.rcParams['axes.unicode_minus'] = False

# データ読み込み（SSDSE は cp932 エンコーディング）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
print(df.shape)
print(df.head())
print(df.describe())

🌟 効果的なEDAテンプレート

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

def quick_eda(df, target=None):
    """探索的データ分析の基本テンプレート"""
    print(f"Shape: {df.shape}")
    print(f"\nColumn types:\n{df.dtypes}")
    print(f"\nMissing values:\n{df.isnull().sum()}")
    print(f"\nBasic stats:\n{df.describe()}")

    # 数値列の可視化
    numeric_cols = df.select_dtypes(include=[np.number]).columns
    df[numeric_cols].hist(bins=20, figsize=(15, 10))
    plt.tight_layout()
    plt.show()

    # 相関ヒートマップ
    if len(numeric_cols) > 1:
        plt.figure(figsize=(12, 10))
        sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f',
                    cmap='RdBu_r', center=0)
        plt.show()

    # ターゲットがあれば散布図行列
    if target and target in df.columns:
        sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None)
        plt.show()

📈 報告書テンプレート

分析結果を報告する際の標準的な構成：

1. 背景・目的：なぜこの分析が必要か
2. データ：出所、 サンプルサイズ、 期間
3. 方法：使用した統計手法、 仮定
4. 結果：図表、 統計量、 検定結果
5. 解釈：結果が何を意味するか
6. 限界：分析の制約
7. 結論：要点まとめ、 今後の課題

🗺️ 統計手法選択フローチャート

Q1: 何を知りたい？

• 記述したい → 平均、 分散、 ヒストグラム
• 比較したい → t検定、 ANOVA、 χ²検定
• 関係を見たい → 相関、 回帰
• 予測したい → 回帰、 機械学習
• 分類したい → ロジスティック回帰、 SVM、 RF
• グループ分けしたい → クラスタリング
• 次元を減らしたい → PCA、 因子分析
• 因果関係を知りたい → RCT、 IV、 DiD、 PSM

Q2: データの種類は？

• 連続値 → t検定、 ANOVA、 線形回帰
• カテゴリ → χ²検定、 ロジスティック回帰
• 順序 → ノンパラ検定、 順位回帰
• カウント → ポアソン回帰、 負の二項回帰
• 時系列 → ARIMA、 VAR、 状態空間
• パネル → 固定効果、 ランダム効果

Q3: サンプルサイズは？

• n < 30：ノンパラ、 ベイズ、 ブートストラップ
• 30 ≤ n < 200：古典的検定、 単純な回帰
• n ≥ 200：複雑なモデル、 機械学習
• n ≥ 10000：深層学習も可能

Q4: 仮定は？

• 正規性：満たす → パラメトリック / 満たさない → ノンパラ
• 独立性：必須 / 違反 → クラスター調整、 時系列モデル
• 等分散性：満たす → OLS / 違反 → WLS、 ロバスト

📏 効果量の参照表

p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：

🚀 実務応用の深掘り

典型的なプロジェクトの流れ

1. 問題理解：ステークホルダーとの対話、 KGI/KPI 設定
2. データ収集：内部DB、 公的データ（SSDSE等）、 API
3. EDA：データの全体像把握、 異常検出
4. 仮説立案：ドメイン知識からの仮説
5. モデリング：シンプルから複雑へ段階的に
6. 検証：CV、 ホールドアウト、 A/Bテスト
7. 解釈：可視化、 SHAP、 部分依存プロット
8. 展開：本番デプロイ、 監視

ベストプラクティス

• シンプルなモデルから始める（線形回帰、 単純ルール）
• 必ずベースラインと比較
• 過学習を防ぐ（CV、 正則化、 早期停止）
• 解釈可能性を重視
• 再現可能なコード・ノートブック
• バージョン管理（Git）と環境管理（venv, conda）
• ドキュメント化を怠らない

論文・コンペでよく使う言い回し

統計データ活用コンペでのコツ

• SSDSE データの構造を理解し、 適切なテーブルを選ぶ
• 地域別・年度別の比較で時空間的視点を入れる
• 1つの分析で多角的に切り口を変える
• 仮説と発見の両方を持つ
• ストーリーラインを明確に
• 図表を1枚1枚作り込む
• 政策提言や実務的意義に繋げる

🗺️ 概念マップ — 3つの視点で体系を理解する

VAR（ベクトル自己回帰） がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 体系階層に未登録

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心の概念から放射状に、 前提・兄弟・発展形・応用先などの関係性を矢印で結びます。 横の繋がりを見るのに最適。 ノードをドラッグ、 ホイールでズーム、 クリックで遷移。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「VAR（ベクトル自己回帰）」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「VAR（ベクトル自己回帰）」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 ジャストインタイム学習のヒント：3つの視点を行き来することで、 概念を多角的に理解できます。 包含マップやツリーマップはズーム/ドリルダウンで大分類から細部まで探索できます。

🔖 キーワード索引 — 分散を多角的に理解する

分散（variance）は統計学の最重要概念のひとつです。 関連キーワードを難易度別に整理しました。

🟢 基礎キーワード（まず押さえる）

• 分散 σ²（variance）：偏差の二乗の平均。 データのばらつきを定量化する基本指標。
• 標準偏差 σ（standard deviation）：分散の平方根。 単位がデータと同じになるため解釈しやすい。
• 平均（mean）：分散計算の基準点。 偏差 = xᵢ − x̄。
• 偏差（deviation）：各観測の平均からの差。 単純な和は 0 になるため二乗する。
• 標本分散 s² vs 母分散 σ²：標本では n−1 で割る（不偏推定）、 母集団では n で割る。
• n−1 補正（Bessel's correction）：標本分散で n−1 を使う理由は不偏推定量にするため。

🟡 中級キーワード

• 変動係数（CV, coefficient of variation）：σ/μ。 異なる単位・スケールの分散を比較する標準化指標。
• 共分散（covariance）：2 変数の連動性。 分散の 2 変数版。 cov(X,X) = var(X)。
• 分散の加法性：独立な確率変数なら Var(X+Y) = Var(X) + Var(Y)。 一般には共分散項が加わる。
• χ² 分布：標本分散の分布。 標準正規変量の二乗和。
• F 分布：2 つの分散の比の分布。 等分散性検定や ANOVA で使う。
• 分散分析（ANOVA）：分散の分解で群間差を検定する手法。

🔴 上級キーワード

• 分散の分解（variance decomposition）：総分散 = 群間分散 + 群内分散。 ANOVA の基本式。
• 分散推定量の効率性：MLE、 不偏推定、 漸近効率。 Cramér–Rao 下限との関係。
• ロバスト分散指標（MAD, IQR, Trimmed variance）：外れ値に頑健な散布度。
• 条件付き分散 Var(Y|X)：X を固定したときの Y の分散。 回帰の残差分散と関連。
• 分散安定化変換（variance stabilizing transformation）：log、 sqrt、 Box-Cox、 Anscombe 変換などで分散をならす。
• 不均一分散（heteroscedasticity）：分散が一定でない状況。 White 検定、 Breusch-Pagan 検定で診断。

🧮 SSDSE-B-2026 実値計算例 — 47 都道府県データで分散を計算する

合成データではなく公的統計を念頭に、 分散の計算手順を具体的な数値で示します。

① 47 都道府県の人口総数（2020 年国勢調査、 概算）

# 47 都道府県の人口（万人、 概算値）
東京 1404、 神奈川 924、 大阪 884、 愛知 755、 埼玉 734、 千葉 628、 兵庫 547、
北海道 522、 福岡 513、 静岡 365、 茨城 287、 広島 280、 京都 258、 宮城 230、
新潟 220、 長野 205、 岐阜 198、 福島 184、 群馬 194、 栃木 193、 岡山 189、
三重 178、 熊本 174、 鹿児島 159、 沖縄 147、 滋賀 141、 山口 134、 愛媛 133、
長崎 130、 奈良 132、 青森 124、 岩手 121、 大分 113、 石川 113、 山形 106、
宮崎 107、 富山 104、 秋田 96、 香川 95、 和歌山 92、 山梨 81、 佐賀 81、
福井 77、 徳島 72、 高知 69、 島根 67、 鳥取 55

# 平均 x̄
合計 ≈ 12,612 万人
n = 47
x̄ = 12,612 / 47 ≈ 268.3 万人

② 分散と標準偏差の計算

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

# 偏差の二乗和（最大値での寄与が圧倒的）
(1404 - 268.3)² ≈ 1,289,800
(924  - 268.3)² ≈ 430,000
(884  - 268.3)² ≈ 379,000
(755  - 268.3)² ≈ 237,000
(734  - 268.3)² ≈ 217,000
(55   - 268.3)² ≈ 45,500

# 全偏差二乗和 Σ(xᵢ - x̄)² ≈ 3,800,000

# 標本分散（n-1 補正）
s² = 3,800,000 / 46 ≈ 82,609 (万人²)

# 標準偏差
s = √82,609 ≈ 287.4 万人

# 変動係数
CV = 287.4 / 268.3 ≈ 1.07 = 107%

→ 標準偏差が平均よりも大きい！極端な右裾の分布

③ 対数変換で分散安定化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# 各人口を log₁₀ 変換
log₁₀(1404) ≈ 3.147
log₁₀(268.3) ≈ 2.428（平均近く）
log₁₀(55)   ≈ 1.740

# log 変換後の平均と分散
log₁₀ 値の平均 ≈ 2.30
log₁₀ 値の標準偏差 ≈ 0.33

# 変動係数
CV_log = 0.33 / 2.30 ≈ 14%

→ 大幅に縮減、 釣鐘型に近づく

④ 群間分散と群内分散（地方ブロック別）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

# 47 都道府県を 8 ブロックに分けて分散分解
# 北海道、 東北 6、 関東 7、 中部 9、 近畿 6、 中国 5、 四国 4、 九州沖縄 9 県

# 各ブロック平均（万人）
北海道（1 県）：522
東北：156
関東：495
中部：236
近畿：316
中国：195
四国：92
九州沖縄：176

# 全体平均 = 268.3

# 群間平方和
SS_between = Σ nᵢ(x̄ᵢ - x̄_全)²
≈ 1·(522-268.3)² + 6·(156-268.3)² + 7·(495-268.3)² + ...
≈ 1·64400 + 6·12613 + 7·51372 + 9·1037 + 6·2273 + 5·5366 + 4·31000 + 9·8500
≈ 64400 + 75678 + 359604 + 9333 + 13638 + 26830 + 124000 + 76500
≈ 749,983

# 群内平方和 SS_within ≈ 3,800,000 - 750,000 ≈ 3,050,000

# 寄与率
SS_between / SS_total = 750,000 / 3,800,000 ≈ 0.197
→ 約 20% の分散がブロック間で説明可能、 80% はブロック内

⚠️ 分散の落とし穴 — 実務で必ず引っかかるポイント 6 選

🐍 Python 実装のバリエーション — numpy / pandas / scipy

① numpy / pandas での基本計算

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import numpy as np
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8-sig')
x = df['人口総数'].dropna().values

# numpy（デフォルト ddof=0 で母分散）
print('母分散（n で割る）:', np.var(x))
print('標本分散（n-1 で割る）:', np.var(x, ddof=1))
print('標準偏差（標本）:', np.std(x, ddof=1))

# pandas（デフォルト ddof=1 で標本）
print('pandas 分散:', df['人口総数'].var())
print('pandas 標準偏差:', df['人口総数'].std())

# 変動係数
print('CV:', df['人口総数'].std() / df['人口総数'].mean())

② scipy.stats での要約統計

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from scipy import stats

# 1 行で多くの統計量
desc = stats.describe(x, ddof=1)
print(desc)
# DescribeResult(nobs=47, minmax=(55, 1404), mean=268.3, variance=82609, ...)

# トリム平均・トリム分散（上下 10% カット）
trim_mean = stats.tmean(x, limits=(np.percentile(x, 10), np.percentile(x, 90)))
trim_var = stats.tvar(x, limits=(np.percentile(x, 10), np.percentile(x, 90)))
print(f'10% トリム平均={trim_mean:.1f}, 分散={trim_var:.1f}')

③ ロバスト散布度（MAD、 IQR）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from scipy import stats

# MAD（中央絶対偏差）
mad = stats.median_abs_deviation(x, scale='normal')
print(f'MAD（正規スケール化）= {mad:.1f}')

# IQR
q75, q25 = np.percentile(x, [75, 25])
iqr = q75 - q25
print(f'IQR = {iqr:.1f}')

# 比較：標準偏差はずっと大きい
print(f'SD = {np.std(x, ddof=1):.1f}')

④ 分散の分解（ANOVA 風）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

df['region'] = df['都道府県'].map(...)  # 地方ブロックに分類

# 全体平方和
grand_mean = df['人口総数'].mean()
ss_total = ((df['人口総数'] - grand_mean)**2).sum()

# 群間平方和
group_means = df.groupby('region')['人口総数'].mean()
group_counts = df.groupby('region')['人口総数'].count()
ss_between = ((group_means - grand_mean)**2 * group_counts).sum()

# 群内平方和
ss_within = ss_total - ss_between

print(f'全体: {ss_total:.0f}')
print(f'群間: {ss_between:.0f} ({ss_between/ss_total*100:.1f}%)')
print(f'群内: {ss_within:.0f} ({ss_within/ss_total*100:.1f}%)')

⑤ 不均一分散の検定（statsmodels）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18

import statsmodels.api as sm
from statsmodels.stats.diagnostic import het_breuschpagan, het_white

X = sm.add_constant(df[['高齢化率']])
y = df['死亡率']
model = sm.OLS(y, X).fit()

# Breusch–Pagan 検定
bp = het_breuschpagan(model.resid, model.model.exog)
print(f'BP statistic = {bp[0]:.3f}, p = {bp[1]:.4f}')

# White 検定
wh = het_white(model.resid, model.model.exog)
print(f'White statistic = {wh[0]:.3f}, p = {wh[1]:.4f}')

# ロバスト標準誤差で再フィット
model_robust = model.get_robustcov_results(cov_type='HC3')
print(model_robust.summary())

⑥ 移動分散（時系列）

1
2
3

df_ts = pd.read_csv('data/raw/time_series.csv', parse_dates=['date'])
df_ts['rolling_var'] = df_ts['value'].rolling(window=30).var()
df_ts[['value', 'rolling_var']].plot(subplots=True, figsize=(10, 6))

⑦ 分散安定化変換（Box-Cox）

1
2
3
4
5
6
7

from scipy.stats import boxcox

# 正値のみ対応。 最適なラムダを自動推定
transformed, lambda_opt = boxcox(x)
print(f'最適 λ = {lambda_opt:.4f}')
print(f'変換前の標準偏差 = {x.std():.2f}')
print(f'変換後の標準偏差 = {transformed.std():.2f}')

🔗 関連用語ネットワーク — 前提・並列・発展で 12 項目

📚 前提となる用語

• 平均（mean） — 分散の基準点。 まず平均を理解。
• 確率分布 — 分散は分布の 2 次モーメント。 分布の理解が必須。
• 期待値（expectation） — Var(X) = E[(X−E[X])²]。 期待値の定義が前提。
• 偏差（deviation） — 分散計算の基本要素。

🤝 並列に学ぶ用語

• 標準偏差 — 分散の平方根。 単位がデータと同じになる兄弟指標。
• 共分散 — 分散の 2 変数版。 相関係数の前段。
• IQR（四分位範囲） — ロバストな散布度。 外れ値に頑健。
• 変動係数 CV — 単位を消した標準化散布度。 異尺度の比較に。

🚀 発展先

• 分散分析（ANOVA） — 分散の分解で群間差を検定。
• F 検定 — 分散比の検定。 ANOVA の核。
• 不均一分散（回帰の前提崩れ） — 回帰の重要な前提崩れ。 補正手法。
• 条件付き分散 — Var(Y|X)。 回帰の残差分散と関連。 GARCH モデルなど。