別名・略称:ワンホット
One-Hot エンコーディング(One-Hot Encoding):カテゴリを複数の0/1変数に展開する手法
is_A, is_B, is_O, is_AB の 4 列に。pd.get_dummies(df)、 sklearn なら OneHotEncoder。drop_first=True)。元データ:
| ID | 血液型 |
|---|---|
| 1 | A |
| 2 | O |
| 3 | B |
One-Hot 変換後:
| ID | is_A | is_B | is_O | is_AB |
|---|---|---|---|---|
| 1 | 1 | 0 | 0 | 0 |
| 2 | 0 | 0 | 1 | 0 |
| 3 | 0 | 1 | 0 | 0 |
drop_first=True が標準。SSDSE データの「都道府県」列(47 カテゴリ)を One-Hot 化:
カーディナリティが高いと列数が爆発するので、 場合により Target Encoding 等を検討。
SSDSE-B-2026(47 都道府県・2023 年データ)を題材にした最小コード:
🎯 このコードでやること: SSDSE-B-2026 の都道府県カテゴリ列に pandas.get_dummies() で One-Hot Encoding を施す
1 2 3 4 5 6 7 8 9 10 11 | import pandas as pd from sklearn.preprocessing import OneHotEncoder df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1) # pandas の get_dummies で簡単に df_encoded = pd.get_dummies(df, columns=['都道府県'], drop_first=True) # sklearn の OneHotEncoder(パイプライン向け) enc = OneHotEncoder(drop='first', sparse_output=False) X = enc.fit_transform(df[['都道府県']]) |
💬 読み方: 47 都道府県を One-Hot 化すると 46 列 (drop_first で基準カテゴリ「北海道」を 0,0,...,0 で表現)。 drop_first しないと多重共線性が発生する『ダミー変数の罠』に陥る。 線形回帰では必ず drop_first=True を指定する。
drop_first=True。handle_unknown='ignore'。One-Hot Encoding は、 名義尺度のカテゴリ変数を機械学習モデルが扱える数値ベクトルに変換する最も基本的な手法。 N カテゴリを N 個(または N-1 個)の 0/1 ダミー変数に展開します。
| 行 | Prefecture | pref_北海道 | pref_東京都 | pref_沖縄県 |
|---|---|---|---|---|
| 1 | 北海道 | 1 | 0 | 0 |
| 13 | 東京都 | 0 | 1 | 0 |
| 47 | 沖縄県 | 0 | 0 | 1 |
🎯 このコードでやること: sklearn の OneHotEncoder で訓練/テストで同じ列構造を保証する
1 2 3 4 5 6 7 | # pandas.get_dummies の基本
import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
# 都道府県を 47 列のダミー変数に
dummies = pd.get_dummies(df['Prefecture'], prefix='pref')
print('shape:', dummies.shape)
print(dummies.iloc[:3, :5]) |
💬 読み方: sklearn 推奨は OneHotEncoder.fit(train) → transform(test)。 pandas.get_dummies は train/test で列が変わるリスクあり。 ColumnTransformer + Pipeline と組み合わせて学習・推論の前処理を完全に固定する。
🎯 このコードでやること: 高カーディナリティ列 (郵便番号 etc.) でメモリ爆発を回避する sparse + min_frequency
1 2 3 4 5 6 7 | # sklearn の OneHotEncoder(sparse 出力可)
from sklearn.preprocessing import OneHotEncoder
import numpy as np
ohe = OneHotEncoder(sparse_output=False)
X = ohe.fit_transform(df[['Prefecture']])
print('shape:', X.shape, ' 不要メモリ削減: sparse=True で可')
print('categories:', ohe.categories_[0][:5]) |
💬 読み方: カーディナリティ 100 を超える列は必ず sparse matrix で扱う。 min_frequency や Target Encoding (関連用語) も併用すると次元爆発を抑えられる。 GBDT (LightGBM 等) は内部で別の方法でカテゴリを扱うので One-Hot 不要。
🎯 このコードでやること: ColumnTransformer で数値列はそのまま、 カテゴリ列だけ One-Hot に流す混在処理
1 2 3 4 5 6 7 8 | # 数値特徴量と結合 → 回帰モデルへ
import pandas as pd, numpy as np
from sklearn.linear_model import LinearRegression
df['高齢化率'] = df['A1301'] / df['A1101'] * 100
feat = pd.concat([df[['A1101']], dummies2], axis=1)
y = df['高齢化率']
model = LinearRegression().fit(feat, y)
print('係数本数:', len(model.coef_)) |
💬 読み方: 実務では数値・カテゴリ混在が普通。 ColumnTransformer で「列ごとに違う前処理」を 1 つの Estimator に組み込み、 Pipeline 化することでリーク防止と再現性を確保。 sklearn ベストプラクティス。
| カテゴリ | ラベルEnc | One-Hot | 適用場面 |
|---|---|---|---|
| 北海道 | 1 | [1,0,0,…] | 線形回帰 |
| 東京都 | 13 | [0,…,1,…] | ロジスティック |
| 沖縄県 | 47 | […,1] | SVM |
| 未知 | -1 | [0,0,0,…] | 運用時 |
| 欠損 | NaN | drop | 前処理 |
🎯 このコードでやること: 高次元疎行列のメモリ削減 : sparse 化 + float32 ダウンキャスト
1 2 3 4 5 6 7 8 9 10 | from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder, StandardScaler
import pandas as pd
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
ct = ColumnTransformer([
('cat', OneHotEncoder(handle_unknown='ignore'), ['Prefecture']),
('num', StandardScaler(), ['A1101']),
])
X = ct.fit_transform(df)
print(X.shape) |
💬 読み方: One-Hot は 0/1 だけなので float32 で完全に表現可。 GBDT 等は float32 で動くため精度落ちもない。 巨大データの前処理では sparse + float32 + min_frequency の 3 点セットでメモリ事故を防ぐ。
🎯 このコードでやること: One-Hot された行列からカテゴリ名に逆変換する (inverse_transform)
1 2 3 4 5 | from sklearn.preprocessing import OneHotEncoder
import numpy as np
ohe = OneHotEncoder(sparse_output=True, dtype=np.float32)
X = ohe.fit_transform(df[['Prefecture']])
print('non-zero:', X.nnz, ' / shape:', X.shape) |
💬 読み方: 推論結果を人間に見せる時は逆変換が必須。 sklearn の OneHotEncoder は categories_ を保持しているので fit 済みエンコーダで inverse_transform を呼ぶ。 自前実装すると訓練・推論で齟齬が起きやすい。
🎯 このコードでやること: One-Hot 後の列名を model.feature_importances_ と紐付けて重要度を解釈する
1 2 3 4 | ohe2 = OneHotEncoder(sparse_output=False).fit(df[['Prefecture']]) X = ohe2.transform(df[['Prefecture']]) rec = ohe2.inverse_transform(X[:3]) print(rec) |
💬 読み方: One-Hot 化したカテゴリの個別ダミー (都道府県_東京 など) も feature importance に出る。 get_feature_names_out() で元の列名 + カテゴリ値を再構成し、 Top-K を可視化して説明性を担保する。
「ダミー変数」概念は計量経済学で 1960 年代から定着。 Suits 1957 の論文で体系化。
scikit-learn は 2007 年初期から OneHotEncoder を実装。 sparse 出力でメモリ効率を確保。
近年は埋め込みベクトル(categorical embedding)が深層学習で主流に。 高基数カテゴリでは one-hot より優位な場合が多い。
この One-Hot Encoding ページで出てくる主要キーワードを一覧します。チップをクリックすると該当箇所へジャンプできます。
あなたは、特徴量エンジニアリング の入口で「One-Hot Encoding(One-Hot Encoding)」という用語に出会ったところです。 この用語は カテゴリ変数を「該当する列だけ 1、ほかは 0」のベクトルに変換する手法。回帰や機械学習に不可欠。
本ページでは、まず数式や形式的定義よりも、実データ(SSDSE-B-2026, 47 都道府県)で具体的な値を見ます。 そのあと、数式 → 計算 → Python 実装 → 落とし穴 → 関連用語、という順で「使える知識」に組み立てていきます。
One-Hot Encoding の本質は、ひとことで言うと「カテゴリ変数を「該当する列だけ 1、ほかは 0」のベクトルに変換する手法。回帰や機械学習に不可欠。」です。 数式に踏み込む前に、まずイメージで掴みましょう。
ヒント:直感が掴めたら、次の「数式または定義」セクションで形式化を確認してください。 形式化と直感がつながれば、One-Hot Encoding はもう武器です。
One-Hot Encoding を一般化して書くと、観測ペア $(x_1, y_1), \dots, (x_n, y_n)$(ここでは $n = 47$ 都道府県)に対して、次の関係を仮定します。
$$ \boxed{\quad y = f(x_1, x_2, \dots, x_p; \theta) + \varepsilon \quad} $$ここで $\theta$ は推定したいパラメータ、$\varepsilon$ はモデルでは説明しきれない誤差項。 One-Hot Encoding の流派ごとに、$f$ の形(線形・ロジスティック・木)、$\varepsilon$ の分布(正規・二項・ポアソン)が変わります。
| 記号 | 意味 | SSDSE-B での例 |
|---|---|---|
| $x$ | 説明変数 | Prefecture(47 都道府県名) |
| $y$ | 目的変数 | 死亡率・出生率など |
| $n$ | 標本数 | 47(都道府県数) |
| $\theta$ | パラメータ | 傾き・切片など |
| $\varepsilon$ | 誤差項 | モデルで説明しきれない残り |
上の式 $y = f(x; \theta) + \varepsilon$ を「数学者の声」ではなく、「現場の声」で読み直してみます。
合言葉:「定義は短い、解釈は長い」。One-Hot Encoding はたった 1 行の式ですが、それを 47 都道府県データに当てると、5 種類のチェックリスト(線形性・独立性・等分散・正規性・外れ値)が芋づる式に出てきます。
数式が読めたら、すぐに 実データ(SSDSE-B-2026, 47 都道府県, 2023 年度)で計算しましょう。 抽象を 47 行の表に落とすと、急に理解できることがあります。
# One-Hot Encoding の代表値を SSDSE-B-2026 で確認
col = 'Prefecture'
s = df2023[col].astype(float)
print('n :', len(s)) # 47
print('mean :', round(s.mean(), 2))
print('median :', round(s.median(), 2))
print('std :', round(s.std(), 2))
print('min / max :', s.min(), '/', s.max())
print('Top 3 prefs :')
print(df2023.nlargest(3, col)[['Prefecture', col]])
結果を見ると、47 都道府県のうち上位 3 県が突出しているか、なだらかに分布しているか、すぐ分かります。 この「分布の形」が見えると、One-Hot Encoding を語る土台ができたことになります。
Python の実装は「読む → 集計 → 描く → 報告」を一直線に書きます。長いコードよりも、各ステップが分離していることが大事です。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# SSDSE-B-2026 を読み込み(47 都道府県名)
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])
# 2023 年度(最新)だけ抽出
df2023 = df[df['SSDSE-B-2026'] == 2023].copy()
print(df2023.shape) # (47, ...)
print(df2023[['Prefecture', 'Prefecture']].head())
# One-Hot Encoding を 47 都道府県でビジュアル化
fig, ax = plt.subplots(figsize=(9, 6))
df2023.sort_values(col, ascending=False).plot.bar(
x='Prefecture', y=col, ax=ax, color='#00897B', legend=False)
ax.set_title('47 都道府県名(SSDSE-B-2026, 2023)')
ax.set_ylabel(col)
ax.set_xlabel('都道府県')
plt.xticks(rotation=90)
plt.tight_layout()
plt.savefig('figures/one-hot-encoding.html_r18_bar.png', dpi=120)
plt.show()
レポート文例:「SSDSE-B-2026(2023 年度, n=47)に基づいて One-Hot Encoding を確認したところ、平均は X、標準偏差は Y、上位 3 県は東京・神奈川・大阪であった。 SSDSE-B-2026 の都道府県名(Prefecture 列)はまさにカテゴリ変数で、回帰モデルに投入する前に One-Hot Encoding が必要になります。」
合言葉:レポート提出前に「ゼロ起点で 1 枚描き直す」「外れ値を 1 県外して再計算」「逆方向の因果を 1 行で否定する」を必ずやる。
本ページに登場した Python コードはすべて以下のテンプレートで読み解けます:
覚え方:「Read → Roll up → Render → Read it back」。 最後の「Read it back」は、出力された数字や図を口に出して 1 度言うこと。 これで One-Hot Encoding の現場運用は十分に回ります。
使います。前処理(特徴量 → 入力ベクトル)、評価(指標の可視化)、解釈(係数の可視化)など、機械学習のあらゆる工程で One-Hot Encoding は登場します。
記述統計や 1 変量・2 変量の可視化には十分。ただし複数の説明変数を同時に検討するときは、自由度が枯れます。bootstrap や情報量規準(AIC/BIC)で補強しましょう。
独立行政法人統計センター(NSTAC)「SSDSE」サイトから無料でダウンロードできます。本ページの実装はすべて data/raw/SSDSE-B-2026.csv を前提にしています。
SSDSE は教育目的での利用が許諾されています(出典明示、改変記録)。論文公開時は出典欄に「総務省統計局, SSDSE-B-2026」を必ず書きましょう。
① ヒストグラム 1 枚を描く → ② 平均・中央値・標準偏差を読み上げる → ③ 上位 3 県・下位 3 県を暗記する → ④ 2 変量の相関を 1 つ確認する → ⑤ レポート 1 行にまとめる。これを 47 都道府県データで 3 回回せば、用語の地形が掴めます。
本リポジトリの 論文一覧 から「特徴量エンジニアリング」カテゴリの論文を見ると、One-Hot Encoding を実際に使った再現コードが付いています。
「目的 → データ → One-Hot Encoding の選択理由 → 結果(図 + 数値)→ 解釈 → 限界(n=47, 単年)→ 次の一手」の順が王道です。
用語は単独では覚えづらいので、前提・並列・発展の 3 方向で 16 件並べます。
勧め方:1 日 1 リンク。クリックして読んだら、One-Hot Encoding のページに戻り、「One-Hot Encoding とこの用語はどう違う?」を 1 行書く。
合言葉:5 STEP のうちどれか 1 段でも飛ばすと、結論が「数字だけ」になり、読者の腑に落ちなくなります。 One-Hot Encoding は「数字 + 物語」のセットで完成です。
np.random.seed で作って「再現実験しました」と書く(教育用途では SSDSE-B-2026 を使うのが必須)iloc[:, 5] のように位置で参照し、SSDSE のバージョン違いで壊れるコードを書くx1, x2, x3 のように匿名化し、読者が意味を追えないコードにするOne-Hot Encoding は、19 世紀末〜 20 世紀初頭の統計学黎明期から発達してきました。特徴量エンジニアリング の中核として、Galton、Pearson、Fisher、Yule などが基礎を築き、現代では SSDSE のような公的データを使った教育素材で広く扱われています。
One-Hot Encoding は、観測ペア $(x_i, y_i)_{i=1}^{n}$ から条件付き期待値 $E[y \mid x]$ または分布 $P(y \mid x)$ を推定する道具です。 線形・非線形・パラメトリック・ノンパラメトリックという 4 つの軸の中で、One-Hot Encoding は「特徴量エンジニアリング」という棚に並んでいます。
df.dropna() の前に必ず欠損率を df.isna().mean() で測る。One-Hot Encoding は 記述統計・データサイエンス・機械学習 の交差点に位置します。 どの分野から入っても、いずれは One-Hot Encoding を通ります。
同じテーマで使い回せる narration を 5 つ並べておきます。コピペして「コード解説」欄に貼ってください。
One-Hot Encoding を学ぶときに使う SSDSE-B-2026 は、47 都道府県 × 約 110 列 × 複数年度のパネルデータです。 本ページでは「2023 年度の 47 行」を主に使います。 以下に、よく登場する代表的なカラムを示します。
| SSDSE コード | 日本語名 | 単位 | One-Hot Encoding での主な使い方 |
|---|---|---|---|
| Code | 地域コード | — | JOIN キー |
| Prefecture | 都道府県名 | — | カテゴリ軸・ラベル |
| A1101 | 総人口 | 人 | 説明変数(規模) |
| A1303 | 65 歳以上人口 | 人 | 高齢化率の分子 |
| A4101 | 出生数 | 人 | 人口動態の説明変数 |
| A4200 | 死亡率 | ‰ | 目的変数の代表 |
| B4101 | 年平均気温 | ℃ | 気候系の説明変数 |
| L3221 | 消費支出 | 円 | 家計の目的変数 |
使い方のコツ:列名はすべて A1101 のような英数記号です。SSDSE のコードブックで日本語ラベルを確認しながら使ってください。
本ページの例では Prefecture(47 都道府県名)を中心に使っています。
解説は最小限。コードは 10 行以内。これで One-Hot Encoding の最短ルートが手に入ります。
import pandas as pddf = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', skiprows=[1])df = df[df['SSDSE-B-2026'] == 2023]col = 'Prefecture'print(df[['Prefecture', col]].sort_values(col, ascending=False).head())import matplotlib.pyplot as pltdf.plot.hist(y=col, bins=20)plt.title('47 都道府県名(SSDSE-B-2026, 2023)')plt.savefig('figures/one-hot-encoding.html_r18_hist.png', dpi=120)plt.show()注意:10 行で動かせる、というだけで、これがゴールではありません。 One-Hot Encoding の本当の難しさは「描いた図をどう解釈するか」「報告にどう落とすか」にあります。
One-Hot Encoding の結果を、ゼミ・卒論・社内会議で報告するときの定型文を 3 つ用意しました。 最初は丸ごとコピー、慣れたら差し替えて使ってください。
「本研究では、SSDSE-B-2026(n=47, 2023 年度)を用いて One-Hot Encoding を確認した。 主たる説明変数は Prefecture(47 都道府県名)であり、47 都道府県を対象とした分布の確認、相関の評価、One-Hot Encoding を用いた分析を実施した。 分析の結果、上位 3 県・下位 3 県の特徴と、SSDSE-B-2026 の都道府県名(Prefecture 列)はまさにカテゴリ変数で、回帰モデルに投入する前に One-Hot Encoding が必要になります。」
「47 都道府県名 を 47 都道府県で比較したところ、東京・神奈川・大阪など大都市圏が突出していることが分かった。 One-Hot Encoding を用いた分析から、地域差は単に人口規模の違いだけでは説明できず、複数要因の組み合わせで生じていると示唆された。 今後の打ち手は、上位県のベストプラクティスを参考にしつつ、下位県への支援策を検討することである。」
「皆さん、One-Hot Encoding はひとことで言うと『カテゴリ変数を「該当する列だけ 1、ほかは 0」のベクトルに変換する手法。回帰や機械学習に不可欠。』です。 今回は SSDSE-B-2026(総務省統計局, 47 都道府県, 2023 年度)を使って、実際の数字でこの考え方を確かめました。 皆さん自身でも、別の指標(人口、出生率、家計支出など)に置き換えて同じ手順を試してみてください。」
同じ用語でも、見る立場によって意味が変わります。3 つの視点を切り替えて、用語の輪郭を立体的に掴みましょう。
統計学者にとって One-Hot Encoding は「データから母集団を推定する道具」です。 確率モデル・尤度・不偏性・効率性・一致性などの数学的性質に注目し、漸近理論で性能保証を行います。 47 都道府県データは「小標本(n=47)」と分類され、bootstrap や情報量規準による補強が必要になります。
データサイエンティストにとって One-Hot Encoding は「ビジネス課題を数字で答えるパイプラインの 1 部品」です。 モデルの理論的性質より、運用性・解釈性・更新コストを重視します。 SSDSE のような公的データを用いるときは「データの出典・更新頻度・ライセンス」を最優先で確認します。
教育の現場では One-Hot Encoding は「初学者が躓きやすいポイント」を含む単元です。 抽象的な数式よりも、具体的な 47 都道府県データで手を動かし、図を描き、結果を口頭で説明できるようになることが目標になります。 本ページの並び(直感 → 数式 → 計算 → Python → 落とし穴)は、まさにこの教育的アプローチに沿っています。
視点切り替えの効果:1 つの用語を 3 通りに眺めると、自分が今どの立場で議論しているか自覚できます。 論文を読むときは ①、現場で使うときは ②、人に教えるときは ③ ── と意識的に切り替えてください。
One-Hot Encoding と似た用語を、使い分けの観点から並べます。違いを言語化できれば、迷いが減ります。
| 用語 | 目的 | 入力 | 出力 | 強み | 弱み |
|---|---|---|---|---|---|
| One-Hot Encoding | カテゴリ変数を「該当する列だけ 1、ほかは 0」のベクトルに変換する手法。回帰や機械学習に不可欠。 | 47 都道府県 × 約 110 変数 | 図 + 表 + 200 字レポート | 直感的、再現容易 | 小標本(n=47)の制約 |
| 相関係数 | 2 変量の同調を 1 数で要約 | x, y の 47 ペア | r ∈ [−1, +1] | シンプル | 非線形は捉えられない |
| 線形回帰 | 条件付き期待値の線形近似 | 説明変数群 | 回帰係数・予測値 | 解釈容易 | 非線形には弱い |
| ロジスティック回帰 | 2 値分類 | 説明変数群 | 確率 + 係数 | 分類問題の標準 | 線形決定境界 |
| ランダムフォレスト | 非線形分類・回帰 | 大量変数 | 予測 + 重要度 | 非線形対応 | 解釈やや難 |
One-Hot Encoding は 特徴量エンジニアリング の中で「カテゴリ変数を「該当する列だけ 1、ほかは 0」のベクトルに変換する手法。回帰や機械学習に不可欠。」を担う基本道具です。特徴量エンジニアリング の他のトピックは、この基本の応用または並列の道具にあたります。
使えます。SSDSE-A(市区町村)、SSDSE-C(年次推移)、SSDSE-D・E(個票)など、One-Hot Encoding の手順はそのまま適用できます。粒度(県・市・個人)に応じて n が変わるので、結果の信頼性も変わります。
SSDSE は年に 1 度更新されます。One-Hot Encoding のコード自体は変更不要ですが、結果(数値・図)は最新年度のものに置き換えてレポートしましょう。出典欄に「SSDSE-B-2027(仮)」と書き換えるのを忘れずに。
できます。ピボット → グラフ → 関数 で代表値や相関は出ます。ただし、再現性・履歴管理・自動化の面で Python に劣ります。学習用には Python を強く勧めます。
進めます。One-Hot Encoding は機械学習の「特徴量設計」と「結果解釈」の両端で必須です。AI と聞くと深層学習を連想しがちですが、SSDSE のような表形式データでは線形モデル + One-Hot Encoding の組み合わせで十分実用になります。
3 つ確認します:①ファイルパス(data/raw/SSDSE-B-2026.csv)が合っているか、②エンコーディングが cp932 か、③ヘッダ 2 行目の日本語ラベルを skiprows で飛ばしたか。これで 9 割解決します。
figures/ ディレクトリが存在しない可能性があります。import os; os.makedirs('figures', exist_ok=True) を先頭に追加してください。
本ページの 12 セクションを順に読み進めるのが最短です。特に「直感 → 数式 → 計算 → Python」の 4 段が腑に落ちれば、用語の 80 % は理解できたとみなせます。
このカードを印刷し、SSDSE-B-2026 で 1 回手を動かせば、用語の「使える形」が定着します。 One-Hot Encoding はあくまで「カテゴリ変数を「該当する列だけ 1、ほかは 0」のベクトルに変換する手法。回帰や機械学習に不可欠。」というシンプルな考え方の道具ですので、迷ったらこの 1 行に戻ってください。