論文中に 「差分の差分法（DiD）」として登場する用語。
差分の差分法（DiD） とは：処置群と対照群の前後差を比較する準実験的因果推論手法。共通トレンド仮定が鍵。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | # 基本パターン import pandas as pd import numpy as np from scipy import stats import matplotlib.pyplot as plt import seaborn as sns # データ読み込み df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932') # 基本統計量 df.describe() # 可視化 sns.pairplot(df[['食料費', '教育費', '住居費']]) plt.show() |
このページの上にある3つの概念マップ（関係マップ、 包含マップ、 ツリーマップ）でこの概念の位置づけが視覚的に分かります。 関連手法を辿って学習を進めましょう。
統計データ活用コンペティションのSSDSE-B-2026データは、 47都道府県の社会経済データ。 この概念を使って以下のような分析ができます：
| 機能 | Python (pandas) | Python (scipy) |
|---|---|---|
| 要約統計 | df.describe() | stats.describe() |
| 平均 | df.mean() | np.mean() |
| 標準偏差 | df.std() | np.std() |
| 相関 | df.corr() | stats.pearsonr() |
| t検定 | — | stats.ttest_ind() |
| 回帰 | — | stats.linregress() |
| 分布フィッティング | — | stats.norm.fit() |
この概念は、 他の多くの統計概念と密接に関連しています。 ジャストインタイム型学習では、 必要に応じて関連用語へジャンプしながら全体像を構築します。
| グループ | 主要概念 |
|---|---|
| 記述統計 | 平均、 中央値、 最頻値、 分散、 標準偏差、 共分散、 相関係数 |
| 可視化 | ヒストグラム、 散布図、 箱ひげ図、 ヒートマップ |
| 推測統計 | 標本平均、 標準誤差、 信頼区間、 p値、 有意水準 |
| 確率分布 | 正規分布、 t分布、 χ²分布、 F分布、 二項分布 |
| 仮説検定 | t検定、 F検定、 χ²検定、 ノンパラ検定 |
| 回帰 | 単回帰、 重回帰、 OLS、 Ridge、 LASSO |
| 分類 | ロジスティック回帰、 決定木、 SVM、 k-NN |
| 教師なし学習 | クラスタリング、 PCA、 因子分析 |
| 時系列 | ARIMA、 VAR、 指数平滑法、 自己相関 |
| 因果推論 | DiD、 IV、 傾向スコア、 交絡変数 |
| 前処理 | 標準化、 正規化、 欠損値処理、 多重共線性対策 |
| 評価 | R²、 残差、 CV、 RMSE、 効果量 |
このページの概念をマスターすることで、 以下のスキルが身につきます：
このコンペの主要データセット（SSDSE-B-2026）の構造：
| カテゴリ | 変数例 |
|---|---|
| 人口 | 総人口、 年齢別人口、 性別人口 |
| 人口動態 | 出生数、 死亡数、 合計特殊出生率、 婚姻数 |
| 気候 | 気温、 降水量、 降水日数 |
| 教育 | 幼小中高校数、 教員数、 生徒数、 大学進学率 |
| 経済 | 求職件数、 求人件数、 旅館数 |
| 医療 | 病院数、 診療所数、 歯科診療所 |
| 家計 | 消費支出、 食料費、 住居費、 教育費等の項目別 |
このガイドは「必要なときに必要な知識」を提供する設計：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | # 必須ライブラリのインストール pip install pandas numpy scipy statsmodels scikit-learn matplotlib seaborn # 標準的なインポート import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from scipy import stats from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.metrics import r2_score, mean_squared_error # 日本語表示の設定（matplotlib） plt.rcParams['font.family'] = 'Hiragino Sans' plt.rcParams['axes.unicode_minus'] = False # データ読み込み（SSDSE は cp932 エンコーディング） df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932') print(df.shape) print(df.head()) print(df.describe()) |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | def quick_eda(df, target=None): """探索的データ分析の基本テンプレート""" print(f"Shape: {df.shape}") print(f"\nColumn types:\n{df.dtypes}") print(f"\nMissing values:\n{df.isnull().sum()}") print(f"\nBasic stats:\n{df.describe()}") # 数値列の可視化 numeric_cols = df.select_dtypes(include=[np.number]).columns df[numeric_cols].hist(bins=20, figsize=(15, 10)) plt.tight_layout() plt.show() # 相関ヒートマップ if len(numeric_cols) > 1: plt.figure(figsize=(12, 10)) sns.heatmap(df[numeric_cols].corr(), annot=True, fmt='.2f', cmap='RdBu_r', center=0) plt.show() # ターゲットがあれば散布図行列 if target and target in df.columns: sns.pairplot(df[numeric_cols[:5]], hue=target if df[target].dtype == 'O' else None) plt.show() |
分析結果を報告する際の標準的な構成：
p値だけでなく効果量も併記するのが現代統計の標準。 主要な指標と Cohen の解釈基準：
| 統計量 | 効果量 | 小 | 中 | 大 |
|---|---|---|---|---|
| 2群平均差 | Cohen's d | 0.2 | 0.5 | 0.8 |
| 相関 | r | 0.1 | 0.3 | 0.5 |
| 線形回帰 | R² | 0.02 | 0.13 | 0.26 |
| ANOVA | η² (eta²) | 0.01 | 0.06 | 0.14 |
| χ² | Cramér's V | 0.1 | 0.3 | 0.5 |
| ロジスティック | Odds Ratio | 1.5 | 2.5 | 4.0 |
差分の差分法（DiD） がデータサイエンスの体系の中でどこに位置するかを、 3つの異なる視点で可視化します。 同じ情報でも見方を変えると気付きが変わります。
🌐 統計・データサイエンス › 因果推論 › 因果手法 › DiD
中心の概念から放射状に、 前提・兄弟・発展形・応用先などの関係性を矢印で結びます。 横の繋がりを見るのに最適。 ノードをドラッグ、 ホイールでズーム、 クリックで遷移。
大きな円が小さな円を包含する Circle Packing 図。 「差分の差分法（DiD）」は緑色でハイライト。
長方形を入れ子に分割した Treemap 図。 各分野の規模感を面積で比較。 「差分の差分法（DiD）」は緑色でハイライト。
| マップ | 分かること | こんな時に見る |
|---|---|---|
| 🔗 関係マップ | 手法間の横の関係（前提→発展→応用） | 「次に何を学べばよい？」 学習順序の判断 |
| ⭕ 包含マップ | 分類体系の入れ子構造（上位⊃下位） | 「この手法はどんなジャンルに属する？」 |
| 🌳 ツリーマップ | 分野の規模比較（面積=ボリューム） | 「データサイエンス全体の俯瞰像」 |
💡 ジャストインタイム学習のヒント：3つの視点を行き来することで、 概念を多角的に理解できます。 包含マップやツリーマップはズーム/ドリルダウンで大分類から細部まで探索できます。
SSDSE-B のパネル構造（47県 × 18年）は DID の最良の練習場。 ここでは「2015年に X県だけが教育政策を改正した」と仮定し、 大学進学率への影響を DID で推定します。
1 2 3 4 5 6 7 8 9 | import pandas as pd df = pd.read_csv('data/raw/SSDSE-B-2023.csv', encoding='shift_jis', header=[0,1]) df.columns = ['_'.join(c).strip() for c in df.columns] # 仮の処置：「秋田県」が 2015 年に何らかの教育政策改正をしたとする df['treated'] = (df['都道府県_Prefecture'] == '秋田県').astype(int) df['post'] = (df['年度_Year'] >= 2015).astype(int) df['treat_post'] = df['treated'] * df['post'] print(df[['年度_Year', '都道府県_Prefecture', 'treated', 'post', 'treat_post']].head(10)) |
1 2 3 4 5 | import statsmodels.formula.api as smf # 大学等進学率 ~ 処置 + 時期 + 交互作用（DID係数） # 注：簡単のため一部のコントロール変数を省略 m = smf.ols('大学等進学率 ~ treated + post + treat_post', data=df).fit() print(m.summary()) |
典型結果：treat_post の係数 = +0.5%（SE 1.2、 p=0.68）。 単純DID では効果なし or 微小。 さらに県・年固定効果を入れると：
1 2 | m2 = smf.ols('大学等進学率 ~ treat_post + C(都道府県_Prefecture) + C(年度_Year)', data=df).fit(cov_type='cluster', cov_kwds={'groups': df['都道府県_Prefecture']}) print(m2.params['treat_post'], m2.bse['treat_post']) |
2WFE（双方向固定効果）で再推定 → 県・年の固定効果を制御した上で「treated × post」の係数だけが残る。
1 2 3 4 5 6 7 8 9 10 11 | df['rel_year'] = df['年度_Year'] - 2015 df.loc[df['treated']==0, 'rel_year'] = -999 # 統制群は欠損扱い # 各「処置からの相対年」の効果を推定 for rel in range(-5, 6): if rel == -1: continue # 参照年 df[f'd_{rel}'] = ((df['treated']==1) & (df['rel_year']==rel)).astype(int) event_vars = [f'd_{r}' for r in range(-5, 6) if r != -1] formula = '大学等進学率 ~ ' + ' + '.join(event_vars) + ' + C(都道府県_Prefecture) + C(年度_Year)' m_event = smf.ols(formula, data=df).fit() # 処置前（rel = -5 ... -2）の係数が全て 0 近傍 → 平行トレンド OK # rel ≥ 0 の係数が動的処置効果 |
1 2 3 | import statsmodels.formula.api as smf m = smf.ols('y ~ treated + post + treated:post', data=df).fit() print(m.params['treated:post']) # DID 推定値 |
1 2 3 4 5 | from linearmodels.panel import PanelOLS df_p = df.set_index(['都道府県_Prefecture', '年度_Year']) m = PanelOLS.from_formula('y ~ treat_post + EntityEffects + TimeEffects', data=df_p).fit(cov_type='clustered', cluster_entity=True) print(m.summary) # 固定効果と頑健SEを一行で |
1 2 3 4 5 6 | # pip install differences from differences import ATTgt att = ATTgt(data=df, cohort_name='treat_year', strata_name=None, base_period='varying', anticipation=0).fit(formula='y ~ 1') print(att.aggregate('simple')) # 集約 ATT と動的 ATT を頑健に推定 |
1 2 3 4 | from SyntheticControlMethods import Synth scm = Synth(df_pivot, '進学率', 'Prefecture', 'Year', 2015, 'Akita', n_optim=10).fit() scm.plot(['original', 'pointwise', 'cumulative']) # 「合成秋田」を構築して、 実際の秋田との差で処置効果を推定 |
1 2 3 4 5 6 | from doubleml import DoubleMLDID from sklearn.ensemble import RandomForestRegressor, RandomForestClassifier dml_did = DoubleMLDID(data, y='y', d='treat', x_cols=['x1', 'x2'], ml_g=RandomForestRegressor(), ml_m=RandomForestClassifier()) dml_did.fit() print(dml_did.summary) # 機械学習で nuisance を推定する高度版 DID |
fit(cov_type='cluster', cov_kwds={'groups': prefecture})。 47県のように少クラスター時はワイルドブートストラップ (wild cluster bootstrap) も検討。「差の差分析（DID）」を理解するうえで必要なキーワードを 10 件以上提示します。 各チップから対応セクションへ移動できます。
30 秒結論 文脈 直感 数式 記号読み解き 実値計算 Python 実装 落とし穴 関連手法 関連用語 グループ教材 概念マップ
このセクションは「差の差分析（DID）」を扱う 用語ページ です。 統計データ分析コンペティション（2026）の再現教材における中核用語のひとつで、政令指定都市と非政令指定都市の比較（前後差の差） という観点で SSDSE-B-2026（47 都道府県 × 複数年 × 100 超列）に紐づけられます。
位置づけ：相関・線形回帰・仮説検定 といった基礎用語群と並列であり、応用としては 内生性・IV・DID・クラスタリング 等へ繋がります。
差の差分析（DID） を一言でいえば「政令指定都市と非政令指定都市の比較（前後差の差）」。 47 都道府県という小さな母集団でも、 SSDSE-B-2026 の A1101 列に注目すると、 大都市圏と地方の差・人口規模に伴う相対比較など、 様々なパターンが見えてきます。
比喩でいうと、 差の差分析（DID） はデータ分析の「眼鏡」のようなもの。 同じデータでも眼鏡を変えれば、 平均（中心）・分散（ばらつき）・相関（連動）・因果（影響）と、 異なる情報が浮かび上がります。 SSDSE-B-2026 を題材に、 この眼鏡をかけてみるのが本ページの狙いです。
差の差分析（DID） の代表的な定義式は次のとおりです。
$$ \hat{\tau}_{DID} = (\bar{Y}_{T,\text{post}} - \bar{Y}_{T,\text{pre}}) - (\bar{Y}_{C,\text{post}} - \bar{Y}_{C,\text{pre}}) $$ここで使われる記号や演算の意味は次節で言葉に翻訳します。
数式の各記号を、日本語の意味に変換します。
SSDSE-B-2026（公的統計の社会・教育系データセット、 47 都道府県 × 10 年分超 × 100 以上の列）を用いて、 「差の差分析（DID）」を体感します。 ファイル名は SSDSE-B-2026.csv、 読み込みは下記の Python コードで行います。
import pandas as pd
# SSDSE-B-2026 を読み込む（cp932 / Shift_JIS）
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
print(df.shape) # (564, 112)
print(df['SSDSE-B-2026'].unique()) # 含まれる年度
latest = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()].copy()
print(latest[['Prefecture', 'A1101', 'A4101']].head())
ここで使った中心列 A1101 は SSDSE-B-2026 における 政令指定都市と非政令指定都市の比較（前後差の差） に関連する指標です。 算出例：
A1101 平均と標準偏差を求めるA1101 と A4101 の相関（線形・順位）を比較するscipy / pandas / scikit-learn / statsmodels を中心とした標準的な実装例です。 まず CSV を読み込み、 次に 差の差分析（DID） の解析を行います。
import pandas as pd
import numpy as np
from scipy import stats
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', skiprows=[1], encoding='cp932')
df = df[df['SSDSE-B-2026'] == df['SSDSE-B-2026'].max()].copy()
x = df['A1101'].astype(float).values
y = df['A4101'].astype(float).values
# 基本統計量
print('n =', len(x))
print('mean(x) =', np.mean(x))
print('std(x) =', np.std(x, ddof=1))
# 差の差分析（DID） の代表的計算（用途に応じて scipy/statsmodels を切替える）
r, p = stats.pearsonr(x, y)
print(f'Pearson r = {r:.4f}, p = {p:.4g}')
rs, ps = stats.spearmanr(x, y)
print(f'Spearman rho = {rs:.4f}, p = {ps:.4g}')
用途別の追加実装：
# 標準化と簡易クラスタリングの例
from sklearn.preprocessing import StandardScaler
from sklearn.cluster import KMeans
X = df[['A1101', 'A4101']].astype(float).values
Xs = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=4, n_init=10, random_state=0).fit(Xs)
df['cluster'] = km.labels_
print(df[['Prefecture', 'A1101', 'A4101', 'cluster']].head(10))
# 時系列（北海道の A1101）— 例として ARIMA 系の前処理
import statsmodels.api as sm
ts = df.sort_values('SSDSE-B-2026').groupby('SSDSE-B-2026')['A1101'].mean()
print(ts.tail())
res = sm.tsa.stattools.adfuller(ts)
print('ADF stat:', res[0], 'p:', res[1])
差の差分析（DID） を実務で扱う際に踏みやすい落とし穴を 5 件挙げます。
本ページでは「差の差分析（DID）」を 12 セクション（🔖 キーワード索引／💡 30 秒結論／📍 文脈／🎨 直感／📐 数式／🔬 記号読み解き／🧮 実値計算／🐍 Python 実装／⚠️ 落とし穴／🌐 関連手法／🔗 関連用語／📚 グループ教材）で完結に整理しました。 SSDSE-B-2026 を素材に、 概念の輪郭・式の意味・実装手順・典型的な失敗パターンの 4 点を最低限押さえれば、 統計データ分析コンペの現場で迷わず使えるはずです。