👁️ 直感 — ヒートマップは「値を色で表現する2次元マトリクス」

ヒートマップは、 行列の各値を色の濃淡で可視化する手法。 大量の数値を一目で把握できる強力なツール。

主要な用途

• 相関行列の可視化：最も頻出。 変数間の相関構造が一目で
• 2Dヒストグラム：x-y空間でのデータ密度
• 欠損パターン：データの欠損箇所を可視化
• 遺伝子発現：行=遺伝子、 列=サンプル、 色=発現量
• カレンダーヒートマップ：日付別の数値

🎨 カラーマップ（colormap）の選び方

⚠️ 避けるべき：rainbow / jet — 色覚多様性で誤読されやすい。 推奨：viridis 系（color-blind 安全 + 知覚均等）。

🐍 Python でのヒートマップ

seaborn（最も使いやすい）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import seaborn as sns
import matplotlib.pyplot as plt

# 相関行列ヒートマップ
corr = df.corr()
sns.heatmap(corr, annot=True, fmt='.2f', cmap='RdBu_r',
            vmin=-1, vmax=1, center=0, square=True,
            cbar_kws={'label': 'r'})

# クラスター付き（行と列を類似度で並び替え）
sns.clustermap(corr, cmap='RdBu_r', vmin=-1, vmax=1, center=0)

# マスクで対角・上三角を隠す
import numpy as np
mask = np.triu(np.ones_like(corr, dtype=bool))
sns.heatmap(corr, mask=mask, annot=True, cmap='RdBu_r')

matplotlib（基本）

1
2
3
4

plt.imshow(matrix, cmap='viridis', aspect='auto')
plt.colorbar(label='値')
plt.xticks(range(len(labels)), labels, rotation=45)
plt.yticks(range(len(labels)), labels)

plotly（インタラクティブ）

1
2
3
4

import plotly.express as px
fig = px.imshow(corr, color_continuous_scale='RdBu_r',
                zmin=-1, zmax=1, text_auto='.2f')
fig.show()  # マウスホバーで値が見える

📚 ヒートマップの読み方 — 3ステップ

1. 全体傾向：色の偏りで「変数群の関係性」を把握
2. 個別セル：annotation で数値を確認。 |r| > 0.7 が強い相関の目安
3. クラスタ構造：clustermap で似た変数群を発見

🚧 落とし穴と注意点

• サンプルサイズを確認（小標本では結果が不安定）
• 仮定の検証（正規性、 独立性、 等分散性）
• 外れ値の影響を散布図で確認
• 多重比較問題（複数検定時は補正を）
• p値だけで判断しない、 効果量と信頼区間を併記
• 因果関係を主張するには別の根拠が必要

🔬 「ヒートマップ」を深く理解する

ヒートマップの歴史

Loua（1873）が社会統計を可視化したのが起源。 1957 年に Sneath が遺伝学で本格採用。 1999 年に Eisen らが遺伝子発現データの可視化として現代的形式を確立。

クラスタリングとの組合せ

クラスターマップ（seaborn.clustermap）は、 行・列を階層クラスタリングで並び替えてからヒートマップ化。 似た変数群が隣接して表示され、 構造が一目でわかる。 遺伝子発現解析の標準ツール。

カレンダーヒートマップ

日付別の数値を「カレンダーグリッド」で可視化。 GitHub の contribution graph、 売上の曜日効果、 アクセス時間帯分析などに有効。 calmap や plotly で実装可能。

📝 練習問題 — 理解度チェック

1. この用語の基本定義を、 自分の言葉で説明できますか？
2. この手法が使われる典型的なシナリオを3つ挙げられますか？
3. この手法の前提条件・仮定を確認できますか？
4. 結果を解釈する際の注意点は何ですか？
5. 類似手法との違いを説明できますか？
6. Python（または他言語）で実装できますか？
7. SSDSE データで応用例を作成できますか？

🔗 さらに学ぶための関連用語

このトピックの理解を深めるには、 以下の関連概念も合わせて学習することをお勧めします。 概念マップから直接ジャンプできます：

• 基礎：平均、 分散、 標準偏差、 相関係数
• 推測：信頼区間、 p値、 標準誤差、 有意水準
• 関連手法：他の検定・回帰モデル
• 応用：機械学習での実装

📚 参考文献・さらなる学習

古典的教科書

• Casella & Berger "Statistical Inference"
• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression and Multilevel/Hierarchical Models"

実践書

• VanderPlas "Python Data Science Handbook"
• McKinney "Python for Data Analysis"
• James, Witten, Hastie & Tibshirani "An Introduction to Statistical Learning"

オンラインリソース

• scikit-learn 公式ドキュメント
• statsmodels 公式ドキュメント
• scipy.stats リファレンス
• SSDSE データ（統計データ活用コンペティション）

💼 実務応用ガイド

データサイエンスプロジェクトでの位置づけ

1. 探索的分析（EDA）：基本統計量・可視化でデータを理解
2. 前処理：標準化・正規化・欠損値処理
3. モデリング：回帰・分類・クラスタリング
4. 評価：CV、 指標計算、 統計的検定
5. 解釈・報告：効果量・信頼区間・可視化

業界別ユースケース

• マーケティング：顧客セグメンテーション、 ROI 分析、 A/Bテスト
• 金融：ポートフォリオ最適化、 リスク評価、 信用スコアリング
• 医療：臨床試験、 疫学研究、 診断モデル
• 製造：品質管理、 予測保全、 工程最適化
• 公共政策：社会統計、 政策効果分析、 計画立案

📖 完全ガイド — 統計学習の参照表

分析の流れ — 8ステップ

1. 問題定義：何を知りたいのか、 目的を明確に
2. データ収集：信頼できるソースから（SSDSEなど公的データ）
3. データクリーニング：欠損値、 外れ値、 入力ミスの確認
4. 探索的分析（EDA）：要約統計量、 ヒストグラム、 散布図
5. 変数変換：標準化、 対数変換、 カテゴリのエンコード
6. モデリング：適切な手法を選び、 学習
7. 評価：CV、 指標、 統計的検定
8. 解釈・報告：効果量、 信頼区間、 可視化

統計手法の選び方マトリクス

サンプル数別の手法ガイド

Python 主要ライブラリ早見表

よくある質問（FAQ）

• Q: 正規分布じゃないデータをどう扱う？
  A: 対数変換、 Box-Cox 変換、 ノンパラ検定、 ブートストラップ
• Q: 外れ値を除くべき？
  A: ドメイン知識で判断。 機械的に除くより、 ロバスト手法を検討
• Q: サンプルサイズはいくつあれば十分？
  A: 効果量と検出力から事前計算（power analysis）
• Q: p < 0.05 で「効果あり」と結論していい？
  A: 効果量と信頼区間も併記。 多重比較補正も
• Q: 相関があれば因果がある？
  A: ない。 RCT、 IV、 DiD などの因果推論手法が必要

📓 用語のまとめ — 30秒で理解

このページで扱った概念を、 学習効率のためにまとめます。 これを毎日見ることで、 統計の基礎が体に染み込みます。

必ず押さえるべき記号

💡 統計学・データサイエンスは「記号の意味を理解する」ことが最初の壁。 各記号が何を表すか、 公式の中での役割を覚えてしまえば、 後はパターンの組合せで様々な手法が理解できます。

🎯 包括的視点 — この用語をマスターするために

学習ロードマップ

1. 定義と数式を確実に押さえる
2. SSDSE データで自分で計算してみる
3. Python で実装してみる（手書き → ライブラリ）
4. 結果を可視化する
5. 仮定の確認・診断プロットを描く
6. 論文・実務での応用例を読む
7. 限界と注意点を理解する
8. 関連手法との違いを説明できる

SSDSE-B-2026 で挑戦できる課題

• 47都道府県データで実装
• 東日本 vs 西日本のグループ比較
• 都市規模別の傾向
• 家計支出パターンの解析
• 地域別の経済指標の関連性

関連用語・概念リスト

典型的な解釈ミス

• 統計的有意性と実質的意義の混同
• 相関と因果の混同
• サンプルサイズの過小評価
• 外れ値の機械的除去
• 仮定確認の省略
• 多重比較問題の無視

論文・レポート執筆のポイント

1. 方法：使用した手法を厳密に記述
2. 仮定：満たされていることの確認
3. 結果：点推定 + 不確実性（CI、 SE）
4. 効果量：実質的な大きさを示す
5. 限界：分析の制約を明示
6. 再現性：データとコードを公開

📖 包括的解説 — この概念を完全マスター

📍 学習の3ステップ

1. 定義を理解する：この概念は何か？ 数式や条件を確認
2. 具体例を見る：実データ（SSDSE 等）で計算してみる
3. 応用する：自分のデータに適用、 結果を解釈

🔧 Python実装パターン

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 基本パターン
import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

# データ読み込み
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')

# 基本統計量
df.describe()

# 可視化
sns.pairplot(df[['食料費', '教育費', '住居費']])
plt.show()

📚 統計概念マップでの位置

このページの上にある3つの概念マップ（関係マップ、 包含マップ、 ツリーマップ）でこの概念の位置づけが視覚的に分かります。 関連手法を辿って学習を進めましょう。

🎯 SSDSE-B-2026 で挑戦

統計データ活用コンペティションのSSDSE-B-2026データは、 47都道府県の社会経済データ。 この概念を使って以下のような分析ができます：

• 地域別の特徴抽出
• 家計支出パターンの解析
• 人口動態と社会経済指標の関連
• 気候要因の影響評価

💡 よく使うコマンド集

🚧 一般的な落とし穴と対策

• 外れ値の影響：散布図・ 箱ひげ図で確認、 ロバスト手法も検討
• サンプルサイズ不足：power analysis で事前に確認
• 仮定の違反：正規性、 独立性、 等分散性をチェック
• 多重比較問題：補正（Bonferroni、 FDR）を適用
• p-hacking：事前登録（pre-registration）で防ぐ
• 因果と相関の混同：観察データから因果結論を出さない

📊 結果報告の標準フォーマット

• 点推定：得られた値
• 不確実性：信頼区間または標準誤差
• サンプルサイズ：n を明記
• 効果量：実質的な意義
• p値：統計的有意性
• 仮定の確認：診断プロット

🌐 関連分野での応用

• マーケティング：A/Bテスト、 顧客分析
• 医療：臨床試験、 疫学研究
• 金融：リスク管理、 ポートフォリオ
• 製造：品質管理、 工程最適化
• 公共政策：効果評価、 計画立案
• 研究：仮説検証、 探索的解析

🎓 さらに学ぶための文献

• Wasserman "All of Statistics"
• Hastie, Tibshirani & Friedman "The Elements of Statistical Learning"
• Gelman & Hill "Data Analysis Using Regression"
• VanderPlas "Python Data Science Handbook"

🔗 統計用語ネットワーク

この概念は、 他の多くの統計概念と密接に関連しています。 ジャストインタイム型学習では、 必要に応じて関連用語へジャンプしながら全体像を構築します。

主要な関連概念のグループ

学習順序の推奨

1. 記述統計（平均、 分散、 標準偏差）
2. 可視化（ヒストグラム、 散布図）
3. 確率分布（正規分布）
4. 推測統計（標準誤差、 信頼区間、 p値）
5. 仮説検定（t検定、 χ²検定）
6. 相関と回帰（単回帰、 重回帰）
7. 多変量解析（PCA、 クラスタリング）
8. 機械学習（決定木、 RF、 NN）
9. 時系列・因果推論（応用）

📝 実践練習 — SSDSE-B-2026 で挑戦

初級課題

1. 東北6県の家計食料費の基本統計量を計算
2. 食料費のヒストグラムを描く
3. 食料費と教育費の散布図を描く
4. 都道府県を「東日本/西日本」に分け、 平均を比較

中級課題

1. 家計支出 5項目で相関行列を作成、 ヒートマップ可視化
2. 食料費 → 教育費の単回帰を実行、 残差分析
3. 家計5項目で PCA を実施、 バイプロット表示
4. k-means (k=3) で都道府県をクラスタリング、 解釈

上級課題

1. 地域別の家計パターンに有意差があるか ANOVA で検定
2. 重回帰で教育費を予測、 多重共線性を VIF で確認
3. Ridge/LASSO で正則化、 CV で α を最適化
4. 階層クラスタリングと Ward 法で都道府県を分類、 デンドログラム作成

🗺️ 概念マップ — 3つの視点で体系を理解する

ヒートマップ がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。

📍 体系階層のパス

🌐 統計・データサイエンス › 記述統計 › 可視化 › ヒートマップ

① 🔗 関係マップ — 「他の手法とどう繋がっているか」

中心の概念から放射状に、 前提・兄弟・発展形・応用先などの関係性を矢印で結びます。 横の繋がりを見るのに最適。 ノードをドラッグ、 ホイールでズーム、 クリックで遷移。

② ⭕ 包含マップ — 「どのカテゴリに含まれているか」

大きな円が小さな円を包含する Circle Packing 図。 「ヒートマップ」は緑色でハイライト。

• カテゴリ円をクリック：その内部にズームイン
• 白背景クリック：1階層戻る
• 用語円をクリック：詳細ページへ遷移
• マウスホバー：階層パス表示

③ 🌳 ツリーマップ — 「面積で見るボリューム比較」

長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「ヒートマップ」は緑色でハイライト。

• カテゴリ矩形をクリック：その内部にドリルダウン
• パンくず（上のリンク）クリック：その階層に戻る
• 用語矩形をクリック：詳細ページへ遷移
• マウスホバー：階層パスと値を表示

🎯 3つのマップの使い分け

💡 ジャストインタイム学習のヒント：3つの視点を行き来することで、 概念を多角的に理解できます。 包含マップやツリーマップはズーム/ドリルダウンで大分類から細部まで探索できます。

🧮 SSDSE-B を使ったヒートマップの実例

SSDSE-B（2020年）の主要6指標（医師数、 人口、 高齢化率、 出生率、 完全失業率、 県民所得）の相関行列をヒートマップで可視化します。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2023.csv', encoding='shift_jis', header=[0,1])
df.columns = ['_'.join(c).strip() for c in df.columns]
d2020 = df[df['年度_Year'] == 2020]

cols = ['医師数_人口10万対', '総人口_Total population', '高齢化率',
        '合計特殊出生率', '完全失業率', '1人当たり県民所得']
sub = d2020[cols].dropna()
corr = sub.corr()
print(corr.round(2))

1
2
3
4
5
6
7
8
9

import seaborn as sns
import matplotlib.pyplot as plt
fig, ax = plt.subplots(figsize=(8, 6))
sns.heatmap(corr, annot=True, fmt='.2f', cmap='RdBu_r',
            center=0, vmin=-1, vmax=1, square=True,
            cbar_kws={'label': 'Pearson r'})
plt.title('SSDSE-B 2020 主要指標の相関')
plt.tight_layout()
plt.savefig('figures/ssdse_heatmap.png', dpi=150)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

from sklearn.preprocessing import StandardScaler
import numpy as np
X = StandardScaler().fit_transform(sub)
heat_df = pd.DataFrame(X, index=d2020['都道府県_Prefecture'].values[:len(sub)], columns=cols)

# 階層クラスタリングで都道府県順を並び替え
g = sns.clustermap(heat_df, cmap='RdBu_r', center=0, vmin=-3, vmax=3,
                   figsize=(8, 14), row_cluster=True, col_cluster=False,
                   cbar_kws={'label': 'z-score'})
plt.savefig('figures/ssdse_clustermap.png', dpi=150)

🐍 実装バリエーション — seaborn / matplotlib / plotly / scikit-learn

(A) seaborn — 最も簡単・推奨

1
2
3

import seaborn as sns
sns.heatmap(corr, annot=True, cmap='coolwarm', center=0, mask=np.triu(np.ones_like(corr, dtype=bool)))
# mask で上三角を非表示 → 重複情報を削除

(B) matplotlib pcolormesh — 細かいカスタム

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import matplotlib.pyplot as plt
import numpy as np
fig, ax = plt.subplots(figsize=(8, 6))
im = ax.pcolormesh(corr.values, cmap='RdBu_r', vmin=-1, vmax=1)
ax.set_xticks(np.arange(len(cols))+0.5); ax.set_xticklabels(cols, rotation=45, ha='right')
ax.set_yticks(np.arange(len(cols))+0.5); ax.set_yticklabels(cols)
plt.colorbar(im)
# 各セルに値を表示
for i in range(len(cols)):
    for j in range(len(cols)):
        ax.text(j+0.5, i+0.5, f'{corr.iloc[i,j]:.2f}', ha='center', va='center')

(C) plotly — インタラクティブ

1
2
3
4
5

import plotly.express as px
fig = px.imshow(corr, text_auto='.2f', color_continuous_scale='RdBu_r',
                zmin=-1, zmax=1, aspect='auto')
fig.update_layout(title='SSDSE-B 相関ヒートマップ')
fig.show()  # ホバーで詳細表示、 ズーム可能

(D) scikit-learn の混同行列ヒートマップ

1
2
3
4

from sklearn.metrics import ConfusionMatrixDisplay, confusion_matrix
cm = confusion_matrix(y_true, y_pred)
disp = ConfusionMatrixDisplay(cm, display_labels=['neg', 'pos'])
disp.plot(cmap='Blues', values_format='d')

(E) scipy 階層クラスタリング + ヒートマップ

1
2
3
4
5
6
7

from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
from scipy.spatial.distance import pdist
# 都道府県を Ward 法でクラスタリング
Z = linkage(X, method='ward')
order = dendrogram(Z, no_plot=True)['leaves']
ordered = heat_df.iloc[order]
sns.heatmap(ordered, cmap='RdBu_r', center=0)

⚠️ 追加の落とし穴 — ヒートマップ作成の実務

🔗 関連用語（拡張マップ）

📚 前提となる用語（4個以上）

🔀 並列・関連可視化（4個以上）

🚀 発展・応用先（4個以上）