📚 章構成

🎯 1. クラスタリングとは

正解ラベルがないデータを、 何らかの「類似性」に基づきグループに分ける手法群。 教師なし学習の中核。

主な用途

• 顧客セグメンテーション：購買パターンで顧客を分類
• 市場調査：商品・地域をクラスタ化
• 異常検知：クラスタから外れる点を異常と判定
• 画像分割：ピクセルをクラスタ化
• 遺伝子発現：遺伝子の機能群推定
• 探索的データ分析：データの自然な構造を見つける

本ページの方針

クラスタリングは「解釈」が結果のすべて。 同じデータでも手法・距離・K で結果が変わる。 単一手法に頼らず、 複数手法・複数 K で結果を見比べる方針で進めます。

📏 2. 距離と前処理

主な距離

• ユークリッド距離：$d = \sqrt{\sum_j (x_j - y_j)^2}$。 連続変数の標準
• マンハッタン距離：$d = \sum_j |x_j - y_j|$。 外れ値に頑健
• コサイン距離：$1 - \cos\theta$。 文書ベクトル等の向き比較
• マハラノビス距離：共分散を考慮した距離
• 編集距離：文字列・系列の比較

2.1 標準化を必ず行う

距離はスケールに敏感。 SSDSE-B では「県民所得（数百万）」と「世帯人員（数）」が同じ重みになるよう、 必ず標準化。

1
2

from sklearn.preprocessing import StandardScaler
X_scaled = StandardScaler().fit_transform(X)

2.2 次元の呪い

高次元では「すべての点が等距離」に近づき、 距離ベースのクラスタリングが破綻する。 100 次元以上では PCA や UMAP で次元削減してから。

🎯 3. k-means クラスタリング

3.1 アルゴリズム

1. K 個の重心 $\boldsymbol{\mu}_1, \dots, \boldsymbol{\mu}_K$ をランダム初期化
2. 各点を最近傍の重心に割り当てる
3. 各クラスタの重心を平均で更新
4. 変化がなくなるまで 2-3 を反復

3.2 目的関数

$$J = \sum_{k=1}^{K} \sum_{\mathbf{x} \in C_k} \|\mathbf{x} - \boldsymbol{\mu}_k\|^2 \quad (\text{= WCSS, 群内平方和})$$

$J$ を反復で減少させる。 局所最適に陥るため複数 seed で試す（n_init='auto' が既定）。

3.3 K-means++

2007 年 Arthur & Vassilvitskii。 初期重心を「離れた点」を優先して選ぶ改良。 sklearn の既定（init='k-means++'）。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import pandas as pd
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率', '人口密度', '就業率']]
X_scaled = StandardScaler().fit_transform(X)

kmeans = KMeans(n_clusters=4, n_init=10, random_state=42)
df['cluster'] = kmeans.fit_predict(X_scaled)
print(df.groupby('cluster')['都道府県'].apply(list))

🔢 4. K の選び方

4.1 エルボー法

K vs WCSS（慣性）をプロットし、 「肘」となる K を選ぶ。 主観的。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

import matplotlib.pyplot as plt
inertias = []
for k in range(2, 11):
    km = KMeans(n_clusters=k, n_init=10, random_state=42).fit(X_scaled)
    inertias.append(km.inertia_)
plt.plot(range(2, 11), inertias, 'o-')
plt.xlabel('K')
plt.ylabel('WCSS (慣性)')
plt.title('エルボー法')
plt.show()

4.2 シルエット係数

$$s_i = \frac{b_i - a_i}{\max(a_i, b_i)} \in [-1, 1]$$

$a_i$＝同クラスタ内の平均距離、 $b_i$＝最近隣クラスタ平均距離。 全データの平均が大きい K が良い。

1
2
3
4
5

from sklearn.metrics import silhouette_score
for k in range(2, 11):
    km = KMeans(n_clusters=k, n_init=10, random_state=42).fit(X_scaled)
    s = silhouette_score(X_scaled, km.labels_)
    print(f'K={k}: silhouette = {s:.3f}')

4.3 BIC / AIC（GMM）

GMM では BIC・AIC で K を選べる。 後述。

🌲 5. 階層クラスタリング

「凝集型」(bottom-up) と「分割型」(top-down) があるが、 実務は凝集型。

5.1 凝集型アルゴリズム

1. 各点を 1 クラスタとして開始
2. 最も近い 2 クラスタを統合
3. 1 クラスタになるまで反復

5.2 リンケージ（クラスタ間距離）

• 単連結 (single)：最近隣ペア。 鎖状クラスタを作りやすい
• 完全連結 (complete)：最遠ペア。 球形クラスタ
• 平均連結 (average)：平均距離。 中庸
• ウォード法 (ward)：分散最小化。 最もよく使われる

5.3 デンドログラム

クラスタの統合過程を樹形図に。 横線の高さで「どこで切るか」＝ K を決められる。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

from scipy.cluster.hierarchy import dendrogram, linkage, fcluster
import matplotlib.pyplot as plt

Z = linkage(X_scaled, method='ward')
plt.figure(figsize=(14, 6))
dendrogram(Z, labels=df['都道府県'].values, leaf_rotation=90)
plt.title('Ward法デンドログラム')
plt.tight_layout()
plt.show()

# 4 クラスタに切る
df['cluster_h'] = fcluster(Z, t=4, criterion='maxclust')

🌀 6. DBSCAN（密度ベース）

密度の高い領域をクラスタ、 低密度の点を「ノイズ」として扱う。 K の事前指定不要。 任意形状を捉える。

6.1 パラメータ

• eps：近傍半径
• min_samples：コア点の最小近傍数

6.2 点の分類

• コア点：半径 eps 内に min_samples 以上を持つ点
• 境界点：コア点の eps 内にあるが自身は非コア
• ノイズ点：どのコア点からも eps 内にない

1
2
3
4
5

from sklearn.cluster import DBSCAN
db = DBSCAN(eps=0.5, min_samples=3).fit(X_scaled)
df['cluster_db'] = db.labels_  # -1 はノイズ
print('クラスタ数:', len(set(db.labels_)) - (1 if -1 in db.labels_ else 0))
print('ノイズ件数:', (db.labels_ == -1).sum())

6.3 eps の選び方

k-distance plot：各点の k 番目に近い点までの距離を昇順プロット。 急に立ち上がる「肘」を eps に。

📊 7. GMM（混合ガウスモデル）

各クラスタが多変量正規分布に従うと仮定。 ソフトクラスタリング（所属確率）。

$$p(\mathbf{x}) = \sum_{k=1}^{K} \pi_k \mathcal{N}(\mathbf{x} | \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k)$$

記号読み：$\pi_k$ は「パイ・サブ・ケー」混合比、 $\boldsymbol{\Sigma}_k$ はクラスタ $k$ の共分散行列。

7.1 EM アルゴリズム

1. E ステップ：各点の所属確率（responsibility）を計算
2. M ステップ：所属確率に基づき $\pi_k, \boldsymbol{\mu}_k, \boldsymbol{\Sigma}_k$ を更新
3. 対数尤度の変化が小さくなるまで反復

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

from sklearn.mixture import GaussianMixture

# BIC で K を選ぶ
bics = []
for k in range(2, 11):
    gmm = GaussianMixture(n_components=k, covariance_type='full', random_state=42)
    gmm.fit(X_scaled)
    bics.append(gmm.bic(X_scaled))
import matplotlib.pyplot as plt
plt.plot(range(2, 11), bics, 'o-')
plt.xlabel('K'); plt.ylabel('BIC')
plt.show()

# 最良 K で学習
gmm = GaussianMixture(n_components=4, random_state=42).fit(X_scaled)
df['cluster_gmm'] = gmm.predict(X_scaled)
df[['proba_0','proba_1','proba_2','proba_3']] = gmm.predict_proba(X_scaled)

7.2 共分散の型

• full：各クラスタが独自共分散。 最も柔軟だが過学習しやすい
• tied：共通の共分散。 LDA に近い
• diag：対角のみ。 軸に揃ったクラスタ
• spherical：等方。 k-means に近い

📏 8. クラスタリング評価

8.1 内部評価（正解ラベルなし）

• シルエット係数：[-1, 1]。 大きいほど良い
• Davies–Bouldin Index：小さいほど良い
• Calinski–Harabasz Index：大きいほど良い

8.2 外部評価（正解ラベルあり）

• ARI (Adjusted Rand Index)：[-1, 1]、 1 が完全一致、 0 が偶然
• NMI (Normalized Mutual Information)：[0, 1]
• Fowlkes–Mallows Index：精度・再現率の幾何平均

1
2
3
4
5
6

from sklearn.metrics import silhouette_score, davies_bouldin_score, calinski_harabasz_score
for name, labels in [('kmeans', kmeans.labels_), ('gmm', gmm.predict(X_scaled))]:
    sil = silhouette_score(X_scaled, labels)
    db = davies_bouldin_score(X_scaled, labels)
    ch = calinski_harabasz_score(X_scaled, labels)
    print(f'{name}: sil={sil:.3f}, DB={db:.3f}, CH={ch:.1f}')

📊 9. 手法比較

⚠️ 10. よくある落とし穴

🏋️ 11. 練習問題（SSDSE-B-2026）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

import pandas as pd
from sklearn.cluster import KMeans
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
X = df[['一人当たり県民所得', '世帯人員', '高齢化率', '人口密度', '就業率']]
X_scaled = StandardScaler().fit_transform(X)
km = KMeans(n_clusters=4, n_init=10, random_state=42)
df['cluster'] = km.fit_predict(X_scaled)
print(df.groupby('cluster')[X.columns].mean().round(1))
print(df.groupby('cluster')['都道府県'].apply(lambda s: ', '.join(s)))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
sils, inertias = [], []
for k in range(2, 11):
    km = KMeans(n_clusters=k, n_init=10, random_state=42).fit(X_scaled)
    sils.append(silhouette_score(X_scaled, km.labels_))
    inertias.append(km.inertia_)
fig, axes = plt.subplots(1, 2, figsize=(12, 4))
axes[0].plot(range(2,11), inertias, 'o-'); axes[0].set_title('Elbow')
axes[1].plot(range(2,11), sils, 'o-'); axes[1].set_title('Silhouette')
plt.show()

1
2
3
4
5

from scipy.cluster.hierarchy import linkage, fcluster
from sklearn.metrics import adjusted_rand_score
Z = linkage(X_scaled, method='ward')
labels_h = fcluster(Z, t=4, criterion='maxclust')
print('ARI(km, hier) =', adjusted_rand_score(km.labels_, labels_h))

📝 12. 報告フォーマット

❌ NG例

「k-means で 4 グループに分かれました。」

✅ OK例

「47 都道府県を 5 次元（所得・世帯人員・高齢化率・人口密度・就業率、 標準化済み）で k-means クラスタリング。 K=2〜10 のシルエット係数と Ward 法 BIC から K=4 を選択。 シルエット = 0.42（中程度）。 各クラスタを特徴量プロファイルから「大都市圏」「成長地方」「高齢過疎」「観光・農村」と命名。 Ward 法との ARI = 0.71（高い一致）。 再現性のため random_state=42, n_init=10 を明記。」

🐍 13. ライブラリ早見表

📜 14. クラスタリングの歴史

• 1957：Steinhaus が連続版 k-means を提案
• 1967：MacQueen の "k-means" 論文
• 1963：Ward の階層クラスタリング
• 1977：Dempster らの EM アルゴリズム
• 1996：Ester らの DBSCAN（KDD'96 で時のテスト・オブ・タイム賞 2014）
• 2007：k-means++ で初期化が改善
• 2013：HDBSCAN（密度ベース階層）
• 2018：UMAP + クラスタリングが標準化

💼 15. 実務応用

• マーケティング：顧客セグメンテーション、 RFM 分析
• EC：商品クラスタ、 ユーザーグループでレコメンド改善
• 製造業：センサー異常検知（DBSCAN でノイズ＝異常）
• 医療：患者サブタイプ発見、 疾患群同定
• 生物学：遺伝子発現クラスタ、 進化系統樹
• テキスト分析：文書クラスタ、 トピック抽出
• 地理：都道府県・地域のグルーピング（SSDSE-B 想定）

🔗 関連用語

• 次元削減 — PCA・UMAP との組み合わせ
• 機械学習の基礎
• 評価指標
• k-means（個別ページ）
• デンドログラム（個別ページ）
• PCA — クラスタリング前の次元削減
• 距離尺度

🔖 キーワード索引（拡張）

クラスタリング手法・距離・評価指標：

🧮 SSDSE-B 実値計算 — 47都道府県を 4 クラスターに分ける

SSDSE-B-2026 の経済・人口・社会指標（標準化後 8 変数）を k-means、 Ward 階層、 GMM で分け、 シルエットで比較する。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN
from sklearn.mixture import GaussianMixture
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import (silhouette_score, calinski_harabasz_score,
                              davies_bouldin_score)

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='cp932', header=1)
df.columns = [c.strip() for c in df.columns]

feats = ['総人口', '65歳以上人口', '製造品出荷額等',
         '小売業年間商品販売額', '現金給与総額',
         '一般病院数', '完全失業率', '出生率']
X = StandardScaler().fit_transform(df[feats].astype(float))

methods = {
    'KMeans(k=4)'        : KMeans(n_clusters=4, n_init=20, random_state=0),
    'KMeans(k=5)'        : KMeans(n_clusters=5, n_init=20, random_state=0),
    'Agglo Ward(k=4)'    : AgglomerativeClustering(n_clusters=4, linkage='ward'),
    'GaussianMixture(k=4)': GaussianMixture(n_components=4, random_state=0),
}
for name, m in methods.items():
    labels = m.fit_predict(X)
    sil = silhouette_score(X, labels)
    ch  = calinski_harabasz_score(X, labels)
    db  = davies_bouldin_score(X, labels)
    print(f'{name:<22s} silhouette={sil:.3f}  CH={ch:6.1f}  DB={db:.3f}')

典型的な観察例： k=4 でシルエット ≈ 0.32、 k=5 で 0.28。 k=4 がやや優位だが「東京・神奈川」「大阪・愛知」「地方中核（北海道・福岡など）」「その他地方」という直感的グループに分かれる。 GMM だと「東京」が単独クラスタになることがあり、 解釈は手法依存。 評価指標は 1 つに頼らず、 シルエット・CH・DB の 3 つを並列で見る。

エルボー法 + シルエットで k を決める

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

ks = range(2, 11)
inertia, sils = [], []
for k in ks:
    km = KMeans(n_clusters=k, n_init=20, random_state=0).fit(X)
    inertia.append(km.inertia_)
    sils.append(silhouette_score(X, km.labels_))

fig, ax = plt.subplots(1, 2, figsize=(11, 4.5))
ax[0].plot(ks, inertia, 'o-'); ax[0].set_title('Elbow（SSE）')
ax[1].plot(ks, sils, 's-', color='orange'); ax[1].set_title('Silhouette')
for a in ax: a.set_xlabel('k'); a.grid(alpha=.3)
plt.tight_layout(); plt.savefig('elbow_silhouette.png', dpi=140)

Ward 法のデンドログラム

1
2
3
4
5
6
7
8
9

from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
Z = linkage(X, method='ward')
fig, ax = plt.subplots(figsize=(13, 5))
dendrogram(Z, labels=df['都道府県'].tolist(), leaf_font_size=8, ax=ax)
ax.axhline(8, ls='--', color='red')   # k=4 になる切り高さ
plt.tight_layout(); plt.savefig('dendrogram.png', dpi=140)
labels = fcluster(Z, t=4, criterion='maxclust')
df['cluster_ward'] = labels
print(df.groupby('cluster_ward')['都道府県'].apply(list))

⚠️ クラスタリングの落とし穴 — 6 つの典型ミス

🐍 Python 実装バリエーション — sklearn / scipy / hdbscan

1. sklearn.cluster — 5 大手法を一気に比較

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

from sklearn.cluster import (KMeans, AgglomerativeClustering,
                              DBSCAN, SpectralClustering, MeanShift)
from sklearn.mixture import GaussianMixture

models = {
    'KMeans'         : KMeans(n_clusters=4, n_init=20, random_state=0),
    'Agglo (ward)'   : AgglomerativeClustering(n_clusters=4, linkage='ward'),
    'Agglo (average)': AgglomerativeClustering(n_clusters=4, linkage='average'),
    'DBSCAN'         : DBSCAN(eps=1.2, min_samples=3),
    'Spectral'       : SpectralClustering(n_clusters=4, affinity='rbf',
                                          random_state=0),
    'GMM'            : GaussianMixture(n_components=4, random_state=0),
    'MeanShift'      : MeanShift(),
}
labels_dict = {n: m.fit_predict(X) for n, m in models.items()}

2. scipy.cluster.hierarchy — Ward 法の linkage / dendrogram

1
2
3
4
5
6
7

from scipy.cluster.hierarchy import linkage, dendrogram, fcluster
from scipy.spatial.distance import pdist
D = pdist(X, metric='euclidean')
Z_ward     = linkage(D, method='ward')
Z_complete = linkage(D, method='complete')
Z_average  = linkage(D, method='average')
labels = fcluster(Z_ward, t=4, criterion='maxclust')

3. hdbscan — 密度ベース・k 不要

1
2
3
4
5
6

import hdbscan
clusterer = hdbscan.HDBSCAN(min_cluster_size=4, min_samples=2)
labels = clusterer.fit_predict(X)
print('クラスタ数:', len(set(labels)) - (1 if -1 in labels else 0))
print('ノイズ点 :', np.sum(labels == -1))
print('安定性  :', clusterer.cluster_persistence_)

4. 評価指標を一括計算

1
2
3
4
5
6
7
8

from sklearn.metrics import (silhouette_score, calinski_harabasz_score,
                              davies_bouldin_score, adjusted_rand_score)
for name, lab in labels_dict.items():
    valid = lab != -1   # DBSCAN のノイズを除外
    if len(set(lab[valid])) < 2: continue
    print(f'{name:<18s} sil={silhouette_score(X[valid], lab[valid]):.3f}  '
          f'CH={calinski_harabasz_score(X[valid], lab[valid]):.1f}  '
          f'DB={davies_bouldin_score(X[valid], lab[valid]):.3f}')

5. UMAP/t-SNE で可視化

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

from sklearn.decomposition import PCA
from sklearn.manifold import TSNE
import umap

emb_pca  = PCA(n_components=2).fit_transform(X)
emb_tsne = TSNE(n_components=2, perplexity=8, random_state=0).fit_transform(X)
emb_umap = umap.UMAP(n_neighbors=8, random_state=0).fit_transform(X)

fig, axes = plt.subplots(1, 3, figsize=(15, 4.5))
for ax, emb, t in zip(axes, [emb_pca, emb_tsne, emb_umap],
                      ['PCA','t-SNE','UMAP']):
    ax.scatter(emb[:,0], emb[:,1], c=labels_dict['KMeans'], cmap='Set2', s=50)
    ax.set_title(t)

🔗 関連用語（拡張ネットワーク）

📚 前提となる用語

• 距離尺度（ユークリッド / マンハッタン / コサイン）
• 標準化
• 主成分分析（PCA）
• 教師なし学習
• 類似度・非類似度

🔀 並列に学ぶ用語

• k-means（詳細）
• 階層クラスタリング（詳細）
• DBSCAN / HDBSCAN
• 混合ガウスモデル GMM
• スペクトラルクラスタリング

🚀 発展先の用語

• アフィニティ伝播
• 自己組織化マップ（SOM）
• 深層クラスタリング
• クラスタ評価指標
• Hopkins 統計量（クラスタ性検定）

🧰 ツール・周辺概念

• UMAP / t-SNE — 次元削減 + 可視化
• シルエット係数
• エルボー法
• Gap 統計量

🎨 直感で掴む — クラスタリングを 47 都道府県で実感

クラスタリングは「似た者同士をテーブルに集める」操作です。 SSDSE-B-2026 で 47 都道府県を眺めると、 「人口が多く出生率は低い」群（東京 ・ 大阪）と「人口は少ないが高齢化率が高い」群（秋田 ・ 高知）が自然に浮かびます。 k-means はこの「テーブル分け」を距離だけで自動化するシンプルな比喩です。

📐 数式 — k-means 目的関数

$$ J = \sum_{k=1}^{K} \sum_{x_i \in C_k} \| x_i - \mu_k \|^2 $$

🔬 数式を言葉で読み解く

• $K$: クラスタ数（事前指定。SSDSE-B-2026 47 都道府県では $K=4$ など）
• $C_k$: 第 $k$ クラスタに属する都道府県の集合
• $\mu_k$: 第 $k$ クラスタの重心ベクトル（例: 平均人口・平均高齢化率）
• $\| x_i - \mu_k \|^2$: 都道府県ベクトルと重心の二乗距離。これを最小化すると「群が締まる」

🌐 関連手法・派生

• k-means — 重心型の代表
• 階層クラスタリング / デンドログラム — 階層型
• DBSCAN / GMM — 密度・確率分布型
• スペクトラルクラスタリング / SOM — グラフ・トポロジー型
• Deep Clustering — 表現学習との結合
• クラスタ評価 / シルエット / Hopkins