🗂️ 章俯瞰 — 5つのばらつき指標

📐 分散（Variance, $\sigma^2$）

分散は、 データの散らばり具合を1つの数字で表す最も基本的な指標。 各データから平均までの距離（偏差）の2乗を平均したもの。 平均が「重心」だったのに対し、 分散は「重心からどれだけ離れているか」を測ります。

母分散の定義は

$$ \sigma^2 = \mathbb{E}[(X - \mu)^2] = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^2 $$

記号：$\sigma^2$ は「シグマの二乗」（母分散）、 $\mu$ は「ミュー」（母平均）、 $\mathbb{E}[\cdot]$ は「期待値」、 $(x_i - \mu)^2$ は「偏差の2乗」。

なぜ2乗するのか

偏差 $(x_i - \mu)$ を素朴に足すと、 正の偏差と負の偏差が打ち消し合って必ずゼロになります（これが「平均は重心」の意味）。 2乗すれば全て非負になり「散らばりの大きさ」を測れます。

🧮 SSDSE 実値で計算 — 東北6県の食料費

平均 $\bar{x} = 80.824$、 $n = 6$。 標本分散（÷n）= $40.4382/6 = \mathbf{6.7397}$ (千円²)、 不偏分散（÷(n-1)）= $40.4382/5 = \mathbf{8.0876}$ (千円²)。

🎲 ÷n か ÷(n-1) か — Bessel 補正

「÷n」だと標本分散は母分散を過小評価します（$\mathbb{E}[s_n^2] = \frac{n-1}{n}\sigma^2$）。 そこで $\frac{n}{n-1}$ を掛けて補正したものが不偏分散：

$$ s^2 = \frac{1}{n - 1} \sum_{i=1}^{n} (x_i - \bar{x})^2 $$

直感的説明：n 個のデータから $\bar{x}$ を計算した時点で、 偏差の合計がゼロになるという「1つの制約」が生じる。 残りの自由な情報は n − 1 個 → これが自由度。

🔢 ベクトル表記

$\boldsymbol{x} \in \mathbb{R}^n$ について、 中心化ベクトル $\tilde{\boldsymbol{x}} = \boldsymbol{x} - \bar{x}\mathbf{1}$ を使うと：

$$ s_n^2 = \frac{1}{n} \|\tilde{\boldsymbol{x}}\|^2 = \frac{1}{n} \tilde{\boldsymbol{x}}^\top \tilde{\boldsymbol{x}} $$

「中心化ベクトルのノルムの2乗 ÷ n」。 標準偏差はそのノルムを $\sqrt{n}$ で割ったもの。 多次元行列 $X \in \mathbb{R}^{n \times d}$ なら列ごとの分散ベクトル $\boldsymbol{s}^2 \in \mathbb{R}^d$、 これが共分散行列の対角成分に。

🐍 Python で確認

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import numpy as np
import pandas as pd

x = np.array([78.124, 78.984, 81.997, 83.835, 84.105, 80.700])

# 標本分散（÷n）と不偏分散（÷(n-1)）
print(np.var(x))             # 標本分散 (NumPy デフォルト)
print(np.var(x, ddof=1))     # 不偏分散

# Pandas（÷(n-1) がデフォルト）
s = pd.Series(x)
print(s.var())               # 不偏
print(s.var(ddof=0))         # 標本

# 行列の列ごと分散
X = np.array([[1, 10], [3, 30], [5, 50], [7, 70], [9, 90]])
print(np.var(X, axis=0, ddof=1))   # [10.0, 1000.0]

# ベクトル表記での確認
mean = x.mean()
print(np.linalg.norm(x - mean) ** 2 / len(x))   # 標本分散と一致

📐 分散の重要な性質

• 定数の足し算：$\mathrm{Var}(X + c) = \mathrm{Var}(X)$（平行移動では変わらない）
• 定数倍：$\mathrm{Var}(aX) = a^2 \mathrm{Var}(X)$（2倍すると4倍に）
• 独立な変数の和：$\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y)$
• 一般の場合：$\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\mathrm{Cov}(X,Y)$
• 標本平均の分散：$\mathrm{Var}(\bar{X}) = \sigma^2 / n$（サンプル増で減る）

📏 標準偏差（Standard Deviation, $\sigma$）

標準偏差は分散の平方根。 分散は単位が「元の単位の2乗」（食料費なら千円²）で解釈しにくいので、 平方根を取って元の単位に戻したものです。

$$ \sigma = \sqrt{\sigma^2} = \sqrt{\frac{1}{N} \sum (x_i - \mu)^2} $$

東北6県の食料費の例では、 標本標準偏差 $s_n = \sqrt{6.7397} ≈ 2.596$ 千円、 不偏標準偏差 $s = \sqrt{8.0876} ≈ 2.844$ 千円。 「東北6県の食料費は平均 80.8 千円から平均的に ±2.8 千円ずれる」と解釈できます。

📊 68-95-99.7 ルール — 正規分布での意味

データが正規分布に従うとき、 標準偏差で「データが含まれる範囲」を予測できます：

• $\mu \pm 1\sigma$ — 約 68% のデータが含まれる
• $\mu \pm 2\sigma$ — 約 95%（厳密には $\pm 1.96\sigma$）
• $\mu \pm 3\sigma$ — 約 99.7%（外側は外れ値候補）

これは「品質管理」「異常検知」「信頼区間」の基礎。 シックスシグマ品質管理の $\pm 6\sigma$ は 99.9999998% カバレッジを意味します。

🎯 標準化（z-score）— 単位を消す

異なる単位の変数を比較するには、 「平均からのズレを標準偏差で割る」標準化：

$$ z = \frac{x - \mu}{\sigma} $$

$z$ は無次元で「平均から何標準偏差離れているか」。 偏差値はこれを変形した $T = 50 + 10z$。

🐍 Python で標準化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import numpy as np
from sklearn.preprocessing import StandardScaler

x = np.array([78.124, 78.984, 81.997, 83.835, 84.105, 80.700])
print(np.std(x))             # 標本SD: 2.59
print(np.std(x, ddof=1))     # 不偏SD: 2.84

# z-score 標準化
z = (x - x.mean()) / x.std(ddof=1)
print(z)                     # 平均 0, SD 1

# sklearn の StandardScaler（機械学習で多用）
X = np.array([[1, 10], [3, 30], [5, 50]])
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
print(X_scaled.mean(axis=0))  # ≈ 0
print(X_scaled.std(axis=0))   # ≈ 1

🔗 共分散（Covariance, $\sigma_{xy}$）

共分散は「2つの変数が一緒に動くか」を測る指標。 分散の2変数版とも言えます。 平均からの偏差を 2変数で掛け合わせたものの平均。

$$ \sigma_{xy} = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = \frac{1}{N} \sum (x_i - \mu_X)(y_i - \mu_Y) $$

幾何学的意味 — 4象限の積

散布図上で平均 $(\bar{x}, \bar{y})$ を原点として4象限に分けると：

• 第1象限（両方+）→ $(+)(+) = $ 正
• 第3象限（両方-）→ $(-)(-) = $ 正（負×負=正）
• 第2・4象限（一方+、 一方-）→ 負

これらを全部足して n で割ると共分散。 第1・第3象限に多ければ正の共分散、 第2・第4 に多ければ負。

🧮 SSDSE 実値で計算 — 東北6県の食料費 × 教育費

不偏共分散 $s_{xy} = 15.7168 / (6 - 1) = \mathbf{3.1434}$。 正の値なので「食料費が高い県は教育費も高い」傾向。

🔢 ベクトル表記と共分散行列

2つの中心化ベクトル $\tilde{\boldsymbol{x}}, \tilde{\boldsymbol{y}}$ について：

$$ s_{xy} = \frac{1}{n-1} \tilde{\boldsymbol{x}}^\top \tilde{\boldsymbol{y}} $$

$d$ 変数のデータ行列 $X \in \mathbb{R}^{n \times d}$ について、 中心化行列 $\tilde{X}$ から共分散行列：

$$ \Sigma = \frac{1}{n-1} \tilde{X}^\top \tilde{X} \in \mathbb{R}^{d \times d} $$

$d \times d$ の対称・半正定値行列。 対角は各変数の分散、 非対角がペアの共分散。 これを固有値分解すればPCA になります。

⚠️ 共分散の問題点と相関への展開

共分散は単位に依存するため、 大小比較が困難です。 同じデータでも単位を変えれば共分散が変わってしまいます：

これを解消するため、 標準偏差で正規化したのが 相関係数：$r = \sigma_{xy} / (\sigma_x \sigma_y)$。 $r \in [-1, +1]$ で単位フリー。

🐍 Python で共分散

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import numpy as np
import pandas as pd

x = np.array([78.124, 78.984, 81.997, 83.835, 84.105, 80.700])
y = np.array([8.5, 9.2, 10.1, 11.0, 10.8, 9.5])

# NumPy の cov（デフォルトは不偏、 ddof=1）
print(np.cov(x, y))           # 2x2 共分散行列
print(np.cov(x, y)[0, 1])     # x と y の共分散

# Pandas
df = pd.DataFrame({'x': x, 'y': y})
print(df.cov())
print(df['x'].cov(df['y']))

# 多変数の共分散行列
X = np.random.randn(100, 5)
Sigma = np.cov(X, rowvar=False)
print(Sigma.shape)            # (5, 5)
diag = np.diag(Sigma)         # 各列の分散

📏 範囲（Range）

範囲は最も単純なばらつき指標：$\mathrm{Range} = \max(x) - \min(x)$。 「データの広がる幅」。

長所：計算が極めて簡単、 直感的。
短所：外れ値に最も弱い（1点で値が変わる）、 中央のデータ分布の情報を失う。

実務では「最低・最高」を併記して提示するか、 四分位範囲（IQR）に置き換えることが多い。

🛡️ MAD（中央絶対偏差）

標準偏差は平均と分散をベースとするため外れ値に弱い。 そのロバスト版がMAD（Median Absolute Deviation）：

$$ \mathrm{MAD} = \mathrm{median}(|x_i - \mathrm{median}(x)|) $$

「中央値からの絶対距離の中央値」。 平均と標準偏差が外れ値で歪むのに対し、 MAD は50% 崩壊点（半分のデータが壊れても影響なし）。

正規分布での換算

正規分布の場合、 $\sigma \approx 1.4826 \times \mathrm{MAD}$。 つまり MAD を 1.4826 倍すれば「ロバストな標準偏差」になります。

1
2
3
4
5
6
7
8
9

from scipy import stats
import numpy as np

# 外れ値を含むデータ
data = np.array([1, 2, 3, 4, 5, 6, 7, 100])

print(np.std(data, ddof=1))                              # 33.8（外れ値で歪む）
print(stats.median_abs_deviation(data))                  # 2.5（ロバスト）
print(stats.median_abs_deviation(data, scale='normal'))  # 3.7（正規分布換算）

🌳 使い分け — どの指標を選ぶか

分布の形・状況での選び方

🤖 機械学習でのばらつき指標

• バイアス-バリアンス分解：予測誤差 = $\text{Bias}^2 + \text{Variance} + \sigma^2_\varepsilon$。 過学習はバリアンス大、 過小学習はバイアス大
• PCA：共分散行列の固有値分解。 「分散を最大化する方向」を主成分軸に
• Batch Normalization：各層出力の平均と分散で標準化、 深層学習の必須技術
• Variance Threshold：分散がほぼゼロの特徴量を除外する前処理
• StandardScaler / RobustScaler：平均・SD（または中央値・IQR）で標準化
• 分散分析（ANOVA）：全分散を「群間分散 + 群内分散」に分解
• マハラノビス距離：$\Sigma^{-1}$ を使った多変量距離、 異常検知の基本
• ポートフォリオ理論：共分散行列でリスク最小化（Markowitz）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

from sklearn.preprocessing import StandardScaler, RobustScaler
from sklearn.feature_selection import VarianceThreshold
from sklearn.decomposition import PCA

# 標準化（学習用）
scaler = StandardScaler()
X_train_std = scaler.fit_transform(X_train)
X_test_std = scaler.transform(X_test)   # 訓練でfit、 テストはtransform

# ロバスト版（外れ値に強い）
scaler = RobustScaler()  # 中央値と IQR ベース

# 分散ほぼゼロの特徴量を除外
selector = VarianceThreshold(threshold=0.01)
X_filtered = selector.fit_transform(X)

# PCA（共分散行列を分解）
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X_std)
print(pca.explained_variance_ratio_)   # 主成分の寄与率

🚧 よくある誤解 — チェックリスト

📝 練習問題 — 理解度チェック

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932')
data = df.iloc[1:].copy()
data['年度'] = data['SSDSE-B-2026']
df23 = data[data['年度'] == '2023']
cols = ['L322101', 'L322108', 'L322102']  # 食料・教育・住居
X = df23[cols].apply(pd.to_numeric, errors='coerce').dropna() / 1000

# 共分散行列
print(np.cov(X.values, rowvar=False))

# PCA の前に標準化（必須）
X_std = StandardScaler().fit_transform(X)

📋 報告フォーマット

ばらつき指標を報告するときは、 必ず代表値（平均または中央値）とセットで示します。 単に「分散 = X」では意味を成しません。

• 代表値（平均または中央値） + ばらつき指標を併記
• SD / SE / IQR / MAD のうちどれを示しているか明示
• サンプルサイズ $n$ を必ず記す
• 分布の形（対称・歪み）にも触れる

🔗 関連用語

📚 前提

• 代表値（平均・中央値・最頻値）
• 尺度水準

🔀 並列

• 四分位・IQR
• ヒストグラム・箱ひげ図

🚀 発展

• 標準化
• 正規分布
• 相関係数（共分散を正規化）
• PCA（共分散行列の固有値分解）
• 信頼区間

🔖 キーワード索引 — 拡張版

散らばり（dispersion）に関連する用語を、 計算量・スケール・代表値との関係 別に整理しました。

🧮 SSDSE-B による散らばり指標 — 実値計算例

SSDSE-B から「47都道府県の平均所得（万円）」を取り出して、 各種の散らばり指標を計算します。

① データの概要

平均所得の最小値：約 240（沖縄県）、 最大値：約 540（東京都）、 中央値：約 295

② 各指標の値（イメージ値）

💡 SD と IQR が大きく異なるのは、 東京都が外れ値として SD を引っ張っているためです。 外れ値の影響を避けたい場合は IQR や MAD を使います。

⚠️ 散らばり指標の落とし穴 — 拡張版（実務で本当に困る5＋件）

1. 自由度の混乱（n vs n−1）：分散の分母を n とすると母集団の分散（最尤推定量）、 n−1 とすると不偏推定量になる。 numpy.var はデフォルト ddof=0（n割り）、 pandas .var() はデフォルト ddof=1（n−1割り）。 同じデータでも値が異なる原因になるため、 ddof を必ず明示することが事故防止の基本。
2. 外れ値による分散の爆発：分散・標準偏差は二乗を含むため、 1個の極端な値で値が大きく膨らむ。 例えば所得分布の上位1%を含めるかどうかで SD が 2 倍以上変わることも珍しくない。 外れ値の検討なしに SD を報告するのは危険で、 IQR や MAD など robust な指標を併用する。
3. 単位の異なる変数間で SD を直接比較：身長（cm）と体重（kg）の SD を比べても意味がない。 比較したい場合は 変動係数 CV = SD / 平均 のような無次元化指標を使うか、 標準化（z変換）してから比較する。 単位を意識しない比較は誤った結論を生む典型例。
4. 非対称分布での平均±SD の誤解：「平均±SD」が68%区間を示すのは正規分布の場合のみ。 所得分布や待機時間のように右に裾が長い分布で平均±SD を使うと、 平均−SD が負になり「マイナスの所得」を含むという奇妙な記述になる。 中央値と四分位数（boxplot）を使うか、 対数変換を検討する。
5. 少標本でのIQR・範囲の不安定さ：n=10 程度の小標本では、 IQR や範囲は標本ごとに大きく変動する。 信頼区間とセットで報告するか、 ブートストラップで再標本化する。 単一の値で「ばらつきはこれだけ」と断定しない姿勢が重要。
6. 分散と相関の混同：分散は単一変数のばらつき、 共分散・相関は2変数の連動の度合い。 「分散が大きい＝相関がある」とは言えない。 別の概念として整理して使い分ける。
7. 離散値・カテゴリ変数への適用：性別や血液型などの名義尺度に分散を計算しても意味がない。 多様性の尺度としては エントロピー や ジニ不純度 を使う。

🐍 Python 実装バリエーション — numpy / scipy / pandas / statsmodels

① numpy（基本、 軽量）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import numpy as np
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2024.csv', encoding='shift_jis', skiprows=1)
x = df['平均所得'].to_numpy()

print('範囲   :', x.max() - x.min())
print('分散   (ddof=0):', np.var(x, ddof=0))   # 母分散
print('分散   (ddof=1):', np.var(x, ddof=1))   # 標本分散
print('標準偏差(ddof=1):', np.std(x, ddof=1))
print('CV     :', np.std(x, ddof=1) / np.mean(x))

② pandas（DataFrame向け、 describe()で一括）

1
2
3
4
5
6
7
8
9

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2024.csv', encoding='shift_jis', skiprows=1)
print(df[['人口', '平均所得', '完全失業率']].describe())  # mean, std, min, 25%, 50%, 75%, max

# IQR
q1 = df['平均所得'].quantile(0.25)
q3 = df['平均所得'].quantile(0.75)
print('IQR:', q3 - q1)

③ scipy.stats（IQR、 トリム分散、 ロバスト指標）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from scipy import stats
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2024.csv', encoding='shift_jis', skiprows=1)
x = df['平均所得']

print('IQR     :', stats.iqr(x))
print('MAD     :', stats.median_abs_deviation(x))
print('歪度    :', stats.skew(x))
print('尖度    :', stats.kurtosis(x))
print('5%トリム平均:', stats.trim_mean(x, 0.05))
print('20%trimVar:', stats.tvar(x, limits=(x.quantile(0.1), x.quantile(0.9))))

④ statsmodels（記述統計まとめ）

1
2
3
4
5
6
7
8
9

import statsmodels.api as sm
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2024.csv', encoding='shift_jis', skiprows=1)
desc = sm.stats.DescrStatsW(df['平均所得'])
print('mean:', desc.mean)
print('std :', desc.std)
print('var :', desc.var)
print('95% CI:', desc.tconfint_mean())

⑤ 可視化（boxplot / violin）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2024.csv', encoding='shift_jis', skiprows=1)
fig, ax = plt.subplots(1, 2, figsize=(10, 4))
sns.boxplot(y=df['平均所得'], ax=ax[0])
sns.violinplot(y=df['平均所得'], ax=ax[1])
plt.tight_layout()
plt.show()

🔗 関連用語ネットワーク — 前提・並列・発展（各4個以上）

🔻 前提となる用語

• 平均 — 分散・標準偏差の計算で「中心」として引かれる代表値。
• 中央値 — IQR や MAD の基準となる代表値。
• ヒストグラム — 散らばりを目で確認する基本ツール。
• 期待値 E[X] — 理論的な平均概念。 分散の定義 Var(X)=E[(X−E[X])²] に必須。
• 確率変数 — ばらつきを論じる対象としての数学的枠組み。

🔺 並列の用語

• 標準偏差 — 分散の平方根。 単位が元データと同じで解釈しやすい。
• 範囲（Range） — 最大−最小。 計算が最も簡単だが外れ値に極端に弱い。
• 四分位範囲（IQR） — Q3−Q1。 外れ値の影響を受けない頑健な指標。
• 平均絶対偏差（MAD） — 中央値からの絶対偏差の中央値。 最も頑健。
• 変動係数（CV） — SD/平均。 単位なし。 異なる変数間で比較可能。

🔼 発展的な用語

• 標準化 — 平均と標準偏差を使って平均0・分散1に変換。
• 分散分析（ANOVA） — 群間分散と群内分散の比から効果を検出。
• 共分散・相関 — 2変数の連動した散らばりを測る。
• 主成分分析（PCA） — 共分散行列の固有値分解で分散最大の軸を発見。
• 信頼区間 — 標準誤差（SD/√n）を使って母平均の区間推定。