🔖 キーワード索引

🎨 直感で掴む — 「ズレの中央値」

標準偏差は「平均からのズレの二乗」を平均して、 最後に平方根を取ります。 MAD はその「平均」を 「中央値」 に、 「二乗」を 「絶対値」 に置き換えただけ。

「平均」「二乗」「平均」と計 3 回外れ値の影響を受けるのが標準偏差。 「中央値」「絶対値」「中央値」と3 回とも頑健なのが MAD。 これが MAD の強さの源泉です。

SSDSE-B でのイメージ

47 都道府県の県内総生産（B4101）を考えます。 多くの県が 1〜10 兆円の範囲に集まる中で、 東京は 100 兆円を超える「超外れ値」。 標準偏差は東京 1 県の存在で大きく膨らみますが、 MAD は東京がどれだけ大きかろうと中央値からの順位でしか効かないので影響を受けません。

📐 数式 — MAD の定義

$n$ 個の観測 $x_1, x_2, \dots, x_n$ に対して：

標準偏差との一致性補正

$x$ が正規分布 $N(\mu, \sigma^2)$ に従うとき、 MAD と $\sigma$ の関係：

つまり「正規分布なら MAD を 1.4826 倍すれば $\sigma$ になる」。 多くのライブラリで、 MAD 計算時にこの係数を掛けてくれます。 これを正規化 MAD（NMAD）と呼ぶことも。

MAD 標準化（Modified z-score）

🔬 数式を「言葉」で読み解く

中央値 → 絶対値 → 中央値、 と三段階すべてが頑健な計算なので、 MAD は外れ値に対して極めて強いのです。

🧮 実データで計算してみる — SSDSE-B 県内総生産

SSDSE-B-2026 の B4101（県内総生産）47 県の MAD を手計算で追います。

ステップ 1：中央値 $\tilde{x}$ を求める

47 県の GDP をソートすると、 真ん中（24 番目）の県は奈良県の約 3.9 兆円付近。 正確には：

ステップ 2：各県のズレ $|x_i - \tilde{x}|$ を計算

ステップ 3：絶対偏差の中央値を取る

ステップ 4：標準偏差と比べてみる

解釈：標準偏差 22 兆円 vs MAD 由来の擬似 $\sigma$ 約 1.94 兆円 — 10 倍以上の差！ 「都道府県 GDP の典型的なばらつきは何兆円か」と聞かれたら、 標準偏差は東京 1 県の影響を全面に押し出して 22 兆円と答え、 MAD は外れ値を排除して 1〜2 兆円と答えます。 どちらが「正しい」かは目的次第ですが、 「典型的な県の姿」を知りたいなら MAD が圧倒的に妥当。

🐍 Python 実装

1. scipy.stats — 標準的な実装

import pandas as pd
import numpy as np
from scipy.stats import median_abs_deviation

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1)
gdp = df['B4101'].values

# 生の MAD（スケール補正なし）
mad_raw = median_abs_deviation(gdp)
print(f"MAD (raw)         = {mad_raw:,.0f}")

# 正規分布補正された MAD（σ の頑健推定）
mad_normal = median_abs_deviation(gdp, scale='normal')
print(f"MAD (normalized)  = {mad_normal:,.0f}")

# 比較用：通常の標準偏差
sd = gdp.std(ddof=1)
print(f"Standard deviation = {sd:,.0f}")

# 中央値
median_val = np.median(gdp)
print(f"Median = {median_val:,.0f}")
print(f"Mean   = {gdp.mean():,.0f}")

2. statsmodels — ロバスト統計の決定版

from statsmodels import robust

mad = robust.mad(gdp)        # デフォルトで正規化される
mad_raw = robust.mad(gdp, c=1.0)  # 生の MAD

print(f"robust.mad() = {mad:,.0f}  (= 1.4826 × raw)")

3. 標準偏差 vs MAD — 外れ値の影響を比較

# 東京を除いた場合、 どれだけ動くか？
gdp_excl_tokyo = gdp[df['Prefecture'] != 'Tokyo']

print("          With Tokyo  Without Tokyo  Change")
print(f"Mean    : {gdp.mean():>10,.0f}  {gdp_excl_tokyo.mean():>11,.0f}  {100*(gdp_excl_tokyo.mean()/gdp.mean()-1):+.1f}%")
print(f"SD      : {gdp.std():>10,.0f}  {gdp_excl_tokyo.std():>11,.0f}  {100*(gdp_excl_tokyo.std()/gdp.std()-1):+.1f}%")
print(f"Median  : {np.median(gdp):>10,.0f}  {np.median(gdp_excl_tokyo):>11,.0f}")
print(f"MAD     : {median_abs_deviation(gdp):>10,.0f}  {median_abs_deviation(gdp_excl_tokyo):>11,.0f}")

# 期待される結果：
# Mean / SD は東京を抜くと大きく変動（数十%）
# Median / MAD は東京を抜いてもほぼ変わらない（数%以内）

4. MAD ベースの外れ値判定

# Modified z-score で外れ値を検出
def modified_z_score(x):
    median = np.median(x)
    mad = median_abs_deviation(x)
    return 0.6745 * (x - median) / mad

mz = modified_z_score(gdp)
df['mod_z'] = mz
outliers = df[np.abs(mz) > 3.5]
print("Outlier prefectures (|Modified z| > 3.5):")
print(outliers[['Prefecture', 'B4101', 'mod_z']])

# 通常の z 値と比較
z = (gdp - gdp.mean()) / gdp.std()
print("\nClassical outliers (|z| > 3):")
print(df[np.abs(z) > 3][['Prefecture', 'B4101']])

5. 自分で書く（教育目的）

import numpy as np

def my_mad(x, normalize=True):
    """中央絶対偏差を計算する素朴な実装"""
    x = np.asarray(x)
    median = np.median(x)
    mad = np.median(np.abs(x - median))
    if normalize:
        mad *= 1.4826
    return mad

print(my_mad(gdp))

⚠️ 落とし穴

🌐 関連手法・派生

• 四分位範囲（IQR）：第 3 四分位点 − 第 1 四分位点。 MAD と並ぶロバストばらつきの指標。 → 箱ひげ図
• Sn 推定量・Qn 推定量：Rousseeuw & Croux（1993）が提案したペアワイズ距離ベースのロバスト推定量。 MAD より効率が高い。
• トリム平均・ウィンザー平均：端の値を切り落とすロバスト平均。 MAD は「ばらつきの頑健化」、 これらは「中心の頑健化」。
• M 推定量・MM 推定量：MAD を初期値として使うことが多いロバスト回帰。 → ロバスト統計
• Huber 推定量：平均と中央値の中間的な性質を持つ。 MAD は分散版の中央値。
• 標準偏差：MAD の非頑健対応物。 → standard-deviation.html
• 分散：標準偏差の二乗。 → variance.html
• 歪度・尖度：分布の形状指標。 MAD は形状ではなく広がりを測る。

🔗 関連用語（前提・並列・発展）

📘 前提として理解しておくべき用語

📗 並列に並ぶ・対比する用語

📕 発展として進む用語

🧪 ロバスト統計での位置づけ

MAD は「ロバスト統計」と呼ばれる分野の基本ツールです。 ロバスト統計の哲学は次の通り：

「データの中に少数の異常（外れ値・記入ミス・極端なケース）が混じっていても、 結果が大崩れしないような統計量を使おう。」

崩壊点（Breakdown Point）の比較

「データの何パーセントが汚染されたら統計量が壊れるか」を表す指標：

MAD は理論的に最高の崩壊点（50%）を持つ統計量で、 「データの半数が偽物でも壊れない」のが強み。 これより高い崩壊点は数学的に不可能です。

影響関数（Influence Function）の比較

「1 つの外れ値が統計量にどれだけ影響するか」を表す関数：

• 標準偏差：影響関数は外れ値の値に対して無限大に発散。 1 つの極端値で SD が任意の大きさになる。
• MAD：影響関数は外れ値の値によらず有界（bounded）。 どんなに大きな外れ値でも、 MAD への影響は一定の上限内。

これが「MAD は外れ値に強い」を厳密に定式化したものです。

🔬 シミュレーション：標準偏差 vs MAD の頑健性

「外れ値の比率を変えたとき、 標準偏差と MAD がどう動くか」をシミュレーションで確認します。

import numpy as np
import pandas as pd
from scipy.stats import median_abs_deviation
import matplotlib.pyplot as plt

# 47 県の GDP をベースに、 何県を「外れ値（×10 倍）」に汚染するか
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1)
base = df['B4101'].values.copy()

contam_rates = np.arange(0, 25, 1)  # 0%〜50% の汚染
sd_list, mad_list = [], []

for k in contam_rates:
    arr = base.copy()
    # 小さい順に k 個を 10 倍にしてみる
    idx = np.argsort(arr)[:k]
    arr[idx] *= 10
    sd_list.append(arr.std())
    mad_list.append(median_abs_deviation(arr, scale='normal'))

fig, ax = plt.subplots(figsize=(9, 5))
ax.plot(contam_rates, sd_list, 'r-o', label='SD')
ax.plot(contam_rates, mad_list, 'g-s', label='MAD (×1.4826)')
ax.set_xlabel('# contaminated prefectures')
ax.set_ylabel('Spread estimate')
ax.legend()
ax.set_title('Robustness of SD vs MAD under contamination')
plt.tight_layout(); plt.show()

予想される結果

• SD：汚染 1 県でも大きく変化。 単調増加で、 24 県を汚染すると元の何倍にもなる。
• MAD：23 県（49%）まで汚染してもほぼ動かない。 24 県（51%）汚染で初めて影響が出始める（これが「崩壊点 50%」の実証）。

これが「MAD は最大 50% の汚染に耐える」の数値的証明。 実データでこの実験を行うことで、 ロバスト統計の威力を体感できます。

📜 MAD の歴史的背景

• 1816 年：Gaussが「平均絶対偏差」を提案。 ただし当時は標準偏差（後の発明）と平均絶対偏差が混在。
• 1948 年：Hampelが「中央絶対偏差（MAD）」を整理。 ロバスト統計の前史。
• 1964 年：Huberが「ロバスト統計」を体系化。 MAD は M 推定の初期値・スケール推定として標準化。
• 1981 年：Hampel, Ronchetti, Rousseeuw, Stahelの教科書 Robust Statistics: The Approach Based on Influence Functions。 MAD の理論的位置づけが確立。
• 1993 年：Iglewicz & Hoaglinが Modified z-score を提案。 「$|M_i| > 3.5$ で外れ値」が標準的判定基準に。
• 1993 年：Rousseeuw & Crouxが Sn・Qn 推定量を提案。 MAD より効率の高いロバストスケール推定量。
• 2000 年以降：機械学習・データクリーニングの文脈で MAD が再評価。 大規模データのリアルタイム異常検知でも標準ツール。

🆚 MAD の競合：他の頑健スケール推定量

「外れ値に強いばらつき指標」は MAD だけではありません。 主要な競合を一覧します：

使い分けの指針

• MAD：教育・記述・素早い計算。 デフォルト選択。
• Sn, Qn：効率が必要で、 ペアワイズ計算（$O(n^2)$）を許容できるとき。
• Trimmed SD：「外れ値の比率が事前に分かっている」ケース。
• τ-推定量：研究レベルで効率最大化が必要なとき。 統計学の研究分野でよく使う。

SSDSE-B のような小規模データ（$n = 47$）では、 計算コストの差はほぼないため Sn / Qn を使うのもおすすめ。 ただし解釈の単純さでは MAD が圧勝。

🧮 1.4826 という数字はどこから来たか

「MAD を $\sigma$ に変換するには 1.4826 を掛ければよい」 — このマジックナンバーの正体を導出します。

導出

標準正規分布 $X \sim N(0, 1)$ について：

1. 中央値 $\mathrm{median}(X) = 0$（対称なので明らか）
2. $|X|$ の中央値は何か？ ⇒ $P(|X| \le m) = 0.5$ となる $m$ を求める
3. $P(-m \le X \le m) = 0.5$ より、 $P(X \le m) - P(X \le -m) = 0.5$
4. 対称性より $P(X \le m) - (1 - P(X \le m)) = 0.5 \Rightarrow P(X \le m) = 0.75$
5. つまり $m = \Phi^{-1}(0.75) = 0.6745$

よって標準正規では MAD = 0.6745。 一般の $N(\mu, \sigma^2)$ では：

他の分布での補正係数

教訓：1.4826 は 「正規分布の場合」に限定された数字。 他の分布では別の補正係数を使うか、 MAD そのものを報告する方が誤解を生まない。

🎯 SSDSE-B 都道府県データでの MAD 完全ワークフロー

「47 都道府県の県内総生産（GDP）の分布を、 ロバスト統計で要約する」フル工程：

ステップ 1：データ読み込みと基本統計

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy.stats import median_abs_deviation

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=1)
gdp = df['B4101'].values

# 基本統計
print(f"n        = {len(gdp)}")
print(f"Mean     = {gdp.mean():,.0f}")
print(f"Median   = {np.median(gdp):,.0f}")
print(f"SD       = {gdp.std(ddof=1):,.0f}")
print(f"MAD (raw)= {median_abs_deviation(gdp):,.0f}")
print(f"MAD×1.48 = {median_abs_deviation(gdp, scale='normal'):,.0f}")
print(f"IQR      = {np.percentile(gdp, 75) - np.percentile(gdp, 25):,.0f}")

ステップ 2：標準偏差 vs MAD の感受性テスト

# 「東京を取り除いたとき」「東京を 10 倍にしたとき」を比較
gdp_no_tokyo = gdp[df['Code'] != 13]
gdp_tokyo10 = gdp.copy()
gdp_tokyo10[df['Code'] == 13] *= 10

print("           SD            MAD")
print(f"Original :  {gdp.std():>10,.0f}   {median_abs_deviation(gdp):>10,.0f}")
print(f"−Tokyo   :  {gdp_no_tokyo.std():>10,.0f}   {median_abs_deviation(gdp_no_tokyo):>10,.0f}")
print(f"Tokyo×10 :  {gdp_tokyo10.std():>10,.0f}   {median_abs_deviation(gdp_tokyo10):>10,.0f}")

# 結果：SD は東京 1 県だけで数倍動く、 MAD は不変

ステップ 3：可視化で確認

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 左：分布全体（東京込み）
axes[0].hist(gdp, bins=20, color='steelblue', edgecolor='white')
axes[0].axvline(gdp.mean(), color='red', lw=2, label=f'Mean = {gdp.mean()/1e6:.1f}T')
axes[0].axvline(np.median(gdp), color='green', lw=2, label=f'Median = {np.median(gdp)/1e6:.1f}T')
axes[0].legend(); axes[0].set_title('GDP (with Tokyo)')

# 右：±MAD と ±SD の比較
axes[1].scatter(range(47), sorted(gdp), color='gray', alpha=0.6)
mid = np.median(gdp); mad = median_abs_deviation(gdp, scale='normal'); sd = gdp.std()
axes[1].axhspan(mid - 2*mad, mid + 2*mad, alpha=0.2, color='green', label='±2 MAD-σ')
axes[1].axhspan(gdp.mean() - 2*sd, gdp.mean() + 2*sd, alpha=0.2, color='red', label='±2 SD')
axes[1].legend(); axes[1].set_title('SD vs MAD intervals')
plt.tight_layout(); plt.show()

ステップ 4：MAD ベースの標準化（外れ値検出）

# Modified z-score で外れ値検出
median = np.median(gdp)
mad = median_abs_deviation(gdp)
df['mod_z'] = 0.6745 * (gdp - median) / mad

# |M| > 3.5 のものを外れ値として表示
outliers = df[np.abs(df['mod_z']) > 3.5].sort_values('mod_z', ascending=False)
print("Outlier prefectures by MAD:")
print(outliers[['Prefecture', 'B4101', 'mod_z']])

ステップ 5：複数変数を MAD で標準化

# 主要 4 変数を MAD ベースで標準化（スケール統一）
cols = ['A1101', 'A1303', 'B4101', 'C3301']  # 人口・65歳以上人口・GDP・課税対象所得
df_scaled = df[cols].copy()

for c in cols:
    med = df[c].median()
    mad = median_abs_deviation(df[c])
    df_scaled[c] = 0.6745 * (df[c] - med) / mad

# Modified z 値が大きい県をピックアップ
df_scaled['max_abs_z'] = df_scaled[cols].abs().max(axis=1)
df_scaled['Prefecture'] = df['Prefecture']
print(df_scaled.sort_values('max_abs_z', ascending=False).head(10))

📚 関連グループ教材

• 📦 基礎統計グループ — 中央値・MAD は「ロバストな要約統計量」の柱
• 🛡 ロバスト手法グループ — MAD、 トリム平均、 M 推定量を体系的に整理
• 🔬 データ品質グループ — 外れ値検出・データクリーニングの基本
• 📊 記述統計グループ — 平均・中央値・SD・MAD を並べて分布を要約

🗺 概念マップ — MAD が属する位置

ばらつきの指標
├── 非頑健（平均・二乗ベース）
│   ├── 分散（$\sigma^2$）
│   ├── 標準偏差（$\sigma$）
│   └── 変動係数（$CV = \sigma/\mu$）
├── 頑健（中央値・絶対値・分位点ベース）◀ ロバスト統計
│   ├── 中央絶対偏差（MAD）◀ このページ
│   │   ├── 生の MAD
│   │   ├── 1.4826 × MAD（σ 推定）
│   │   └── Modified z-score（外れ値検出）
│   ├── 四分位範囲（IQR）
│   ├── 平均絶対偏差（MeanAD、 別概念）
│   ├── Sn 推定量・Qn 推定量
│   └── トリム標準偏差
└── 応用
    ├── 外れ値検出（Modified z > 3.5）
    ├── ロバスト回帰の初期値
    ├── KDE の頑健バンド幅
    └── 異常検知・データクリーニング

🎓 論文での MAD の典型的使い方

❓ よくある質問

Q1. 「MAD」と「Mean Absolute Deviation」はどちらが普通？

統計実務では Median Absolute Deviation（中央絶対偏差） が圧倒的に主流。 統計入門書では「Mean Absolute Deviation（平均絶対偏差）」が出ることもあるが、 ロバスト性で劣るので実用ではあまり使われない。

Q2. 1.4826 はどこから出る？

標準正規分布 $N(0,1)$ で、 中央値からの絶対偏差の中央値（理論値）は約 0.6745。 これは標準正規の上 4 分の 1 点（75 パーセンタイル）と一致する。 1.4826 = 1/0.6745 で、 これを掛けると正規分布のとき MAD ≈ $\sigma$。

Q3. データ数が偶数のとき、 中央値はどうする？

慣例的に「中央 2 つの平均」を取る。 例えば 47 県なら奇数なので問題ないが、 46 県データなら 23 番目と 24 番目の平均が中央値。 MAD の計算でも同じ処理。

Q4. MAD は加法性を持つ？

持ちません。 分散には $\mathrm{Var}(X+Y) = \mathrm{Var}(X) + \mathrm{Var}(Y) + 2\,\mathrm{Cov}(X,Y)$ という美しい性質があるが、 MAD には同様の関係はない。 これがロバスト統計が「数学的に扱いにくい」と言われる理由の一つ。

Q5. MAD の信頼区間は？

ブートストラップで計算するのが標準：データから $B = 1000$ 回再標本化し、 各回の MAD を計算、 その分布から信頼区間を取る。 解析的な公式もあるが、 実用ではブートストラップで十分。

Q6. 多変量データの MAD は？

素朴には「マハラノビス距離のロバスト版」として、 MCD（Minimum Covariance Determinant）推定量を使う。 各変数の MAD を独立に取ることもあるが、 相関を無視するため一般的でない。

Q7. 標準偏差より MAD を使うべきタイミングは？

(1) データに外れ値が混じる可能性、 (2) 分布が正規から大きく外れる（歪み・裾の重さ）、 (3) データクリーニング段階、 (4) ロバスト回帰のスケール推定。 「典型的な値の周りのばらつき」を知りたいときは MAD。

Q8. R では？

R では mad(x) 関数が組み込み。 デフォルトで 1.4826 倍されている。 生の MAD が欲しければ mad(x, constant=1)。

Q9. MAD と Median Absolute Error（MAE）はどう違う？

名前が紛らわしいですが別概念。 MAE（平均絶対誤差）は予測モデルの評価指標で $\frac{1}{n}\sum|y_i - \hat{y}_i|$。 MAD（中央絶対偏差）は単一変数のばらつき指標。 「絶対値の平均」と「絶対偏差の中央値」で大きく違う。

Q10. MAD と分位偏差は？

分位偏差（QD）は $(Q_3 - Q_1)/2$、 つまり IQR の半分。 MAD と並ぶロバストばらつき指標だが、 MAD のほうが理論的に扱いやすく標準的。 IQR / 1.349 ≈ $\sigma$ という近似もある（正規分布前提）。

Q11. 「rolling MAD」とは？

時系列で「直近 $w$ 期の MAD」を窓スライドで計算するもの。 pandas なら series.rolling(window=20).apply(lambda x: np.median(np.abs(x - np.median(x))))。 異常検知でよく使う。

Q12. MAD を負の値に対しても定義できる？

はい、 普通に定義できる。 中央値からの絶対偏差なので、 元の値の符号は関係ない。 例：気温データ（−10〜+35℃）でも問題なく計算可能。

🧠 MAD の核心 — 二重中央値の威力

MAD (Median Absolute Deviation) は 「中央値からの絶対偏差の中央値」。 標準偏差 (SD) が「平均からの二乗偏差の平方根」であるのに対し、 MAD は二重に「中央値」を使うことで 外れ値の影響を完全に有界化します。

$$\mathrm{MAD} = \mathrm{median}_i\!\left(|x_i - \mathrm{median}_j(x_j)|\right)$$

正規分布では $\mathrm{MAD} \approx 0.6745 \sigma$、 つまり $\hat\sigma_{\text{MAD}} = 1.4826 \cdot \mathrm{MAD}$ で SD と同等のスケールに変換できます。 SSDSE-B-2026 の県内総生産を見ると、 SD は東京の影響で大きく出ますが、 MAD は中央値ベースなので「典型県のばらつき」を反映します。

📊 分散指標 — 6 種類の比較

Sn と Qn (Rousseeuw & Croux, 1993) は MAD より高効率ですが、 計算量と複雑性で MAD が事実上の標準です。 scikit-learn や scipy には MAD のみ実装されています。

🎯 Modified z-score による外れ値検出

Modified z-score による外れ値検出：

$$M_i = \frac{0.6745 (x_i - \mathrm{median}(x))}{\mathrm{MAD}}$$

Iglewicz & Hoaglin (1993) は $|M_i| > 3.5$ を外れ値の閾値として提案。 SSDSE-B-2026 の県内総生産で計算すると、 東京・大阪・愛知が $|M_i| > 3.5$ で検出されます。 これは通常の $|z_i| > 3$ ルール（SD ベース）では検出されないこともあります（masking 効果）。

import pandas as pd
import numpy as np
from scipy import stats

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
gdp = df.iloc[:, 11].values

med = np.median(gdp)
mad = stats.median_abs_deviation(gdp)
M = 0.6745 * (gdp - med) / mad

outliers = np.where(np.abs(M) > 3.5)[0]
print(f'外れ値: {df.iloc[outliers, 1].tolist()}')
print(f'σ̂_MAD = {1.4826 * mad:,.0f}')
print(f'σ̂_SD  = {gdp.std(ddof=1):,.0f}')

🎓 Masking 効果 — なぜ SD では足りないか

Masking 効果（外れ値が自身を隠す現象）の数学：

SD = $\sqrt{\sum(x-\bar x)^2/(n-1)}$ は外れ値自身を計算に含めるので、 「外れ値があると SD が大きくなり、 すると外れ値が z スコア的に普通に見える」。 これが masking。 MAD は外れ値の影響を有界に抑えるので、 SD ベースで隠れた外れ値も検出できます。

SSDSE-B-2026 では、 もし「東京は外れ値か？」を SD ベースで判定すると、 東京の存在が SD を吊り上げるため、 通常の閾値（3σ）に収まることがあります。 一方 MAD ベースなら、 東京は明確に外れ値として識別されます。

🔬 シミュレーション — SD vs MAD の頑健性

MAD のシミュレーション実験：

import numpy as np
from scipy import stats

# SSDSE-B 風の合成（教育目的）— 実際は SSDSE-B を直接使う
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=1)
data = df.iloc[:, 3].values

# 1) 元データの SD / MAD
sd_orig = data.std(ddof=1)
mad_orig = 1.4826 * stats.median_abs_deviation(data)
print(f'元: SD={sd_orig:,.0f}, MAD={mad_orig:,.0f}')

# 2) 1 値を 10 倍にして外れ値を作る
data2 = data.copy()
data2[0] = data[0] * 10
sd2 = data2.std(ddof=1)
mad2 = 1.4826 * stats.median_abs_deviation(data2)
print(f'汚染: SD={sd2:,.0f} ({sd2/sd_orig:.1f}倍), MAD={mad2:,.0f} ({mad2/mad_orig:.1f}倍)')

典型結果：1 個の外れ値で SD は 2-3 倍に膨張、 MAD はほぼ不変。 これが MAD のロバスト性の実証です。

🌐 多変量 MAD への拡張

多変量への拡張：

• 多変量 MAD：各次元独立に MAD を計算（最も単純）。
• MCD ベース距離：Minimum Covariance Determinant を使うロバスト Mahalanobis 距離。
• OGK 共分散：直交化 GK 推定量、 高速ロバスト共分散。
• S 推定量：M 推定の多変量版。
• Stahel-Donoho：最も古い多変量ロバスト位置推定量。

⚠️ MAD の追加的落とし穴（8 個）

• 定数 1.4826 を忘れる：SD 換算には必須。 これがないと「正規時 σ の 0.67 倍」と一致しない。
• 歪んだ分布での適用：MAD は対称分布前提。 歪んだデータでは別途処理。
• 離散データでの異常：整数値データでは MAD = 0 になることがある。 補正項が必要。
• 小標本での精度：$n < 10$ では MAD が不安定。 ブートストラップで SE を測る。
• 多変量での次元独立計算：相関構造を無視するので、 高次元では MCD などを使う。
• 効率の損失：正規時の効率 37% は無視できない。 大標本でカバー可能だが、 小標本では SD のほうが平均推定の SE 計算に良い。
• $|M_i| > 3.5$ の閾値依存：データ量・分野により調整必要。
• scipy のバージョン差：`scipy.stats.median_abs_deviation` は 1.5 以降、 古い `median_absolute_deviation` は非推奨。

📑 MAD 関連の主要文献

• Hampel (1974): MAD のロバスト性質を解析。
• Iglewicz & Hoaglin (1993): Modified z-score の提案。
• Rousseeuw & Croux (1993): Sn・Qn 推定量、 MAD の改良。
• Maronna et al. (2019): Robust Statistics: Theory and Methods 教科書。
• Huber (1981): Robust Statistics 古典書。

🔗 関連用語（拡張）

• 中央値：MAD の構成要素。
• ロバスト統計：MAD を含む大枠。
• 外れ値：MAD の主な応用先。
• 標準化：Modified z-score 概念。
• 分位点：MAD は中央値の応用。
• 四分位：IQR は MAD の親戚。
• 外れ値処理：MAD ベース検出の応用。
• データクレンジング：MAD を含む前処理。

❓ よくある質問（FAQ）

🏛 MAD の歴史

• 1816：Gauss: 誤差論で中央値の頑健性に言及（明示的に MAD は提案せず）。
• 1882：Edgeworth: 「絶対偏差の中央値」概念を統計学に導入。
• 1974：Hampel: The Influence Curve and Its Role in Robust Estimation で MAD の影響関数を解析。
• 1981：Huber: Robust Statistics 教科書で MAD の地位を確立。
• 1993：Iglewicz & Hoaglin: How to Detect and Handle Outliers で Modified z-score を体系化。
• 1993：Rousseeuw & Croux: Alternatives to the Median Absolute Deviation で Sn・Qn の代替案。
• 2010 年代: 機械学習で MAD ベースの外れ値検出が標準化（sklearn.preprocessing.RobustScaler）。

💼 産業応用事例

📐 MAD の理論的性質

正規分布での性質

$X \sim \mathcal{N}(\mu, \sigma^2)$ のとき、 $|X - \mu|$ は半正規分布（folded normal）に従い、 その中央値は $\sigma \Phi^{-1}(0.75) = 0.6745\sigma$。 これが「$\mathrm{MAD} \to 0.6745 \sigma$ in probability」の根拠です。

漸近分散

$$\sqrt{n}(\hat{\mathrm{MAD}} - 0.6745\sigma) \xrightarrow{d} \mathcal{N}(0, \sigma^2 V)$$

ここで $V \approx 0.367$（正規時）。 つまり SD の漸近分散 $\sigma^2/2$ と比較して、 MAD の効率は $0.5 / 0.367 \times 0.6745^2 \approx 0.37 = 37\%$ になります。

破壊点

MAD の破壊点は 50%。 つまりデータの 50% を任意の値に変えても MAD は有界。 これは中央値の破壊点と一致します。

影響関数

$$\mathrm{IF}(x; \mathrm{MAD}, F) = \frac{\mathrm{sign}(|x - \mu| - \mathrm{MAD})}{4f(\mu + \mathrm{MAD})}$$

影響関数は有界で階段状。 「外れ値の影響は中央値の半分」というロバスト性を持ちます。

離散データでの修正

整数値データでは MAD = 0 が頻発します。 対策として：

• jitter 追加：$x_i + \epsilon_i$ ($\epsilon$ は小さなノイズ)
• Sn 推定量：$1.1926 \cdot \mathrm{median}_i(\mathrm{median}_j|x_i - x_j|)$ で代替
• IQR 切替：$\mathrm{MAD} = 0$ なら $\mathrm{IQR}/1.349$ を使う