🎨 直感で掴む — 同じ 2 点でも測り方で「遠さ」が違う

2 次元平面に 2 つの点 A=(1, 1)、 B=(4, 5) があるとき、 「A と B の距離」は何でしょう？答えは 「どの距離関数で測るか」によって違います。

「碁盤目の街」アナロジー

マンハッタン島の街路は碁盤目で、 タクシーは縦か横にしか進めません。 (1,1) から (4,5) へ行くには、 横に 3 ブロック + 縦に 4 ブロック = 7 ブロック。 これが マンハッタン距離（L1 距離、 タクシー距離）。

鳥なら最短直線 $\sqrt{3^2+4^2}=5$ で飛べる。 これが ユークリッド距離（L2 距離）。

チェスのキングは斜めも 1 手で動けるので、 「8 マス先まで」を測るなら max(縦, 横)。 これが チェビシェフ距離（L∞ 距離）。

距離関数の「ボール」を描いてみると形が違う

原点からの距離が 1 となる点の集合（単位ボール）を描くと、 距離関数の性格が一目で分かります：

• ユークリッド：完全な円
• マンハッタン：菱形（45 度回転した正方形）
• チェビシェフ：正方形
• L_p ノルム（一般）：p が大きくなるほど正方形に近づく

「向き vs 大きさ」のコサイン距離

コサイン距離は 「ベクトルの向き」だけ を見ます。 (1, 1) と (10, 10) は方向が完全に同じなのでコサイン距離 = 0（最大限類似）、 ユークリッド距離は大きく離れる。 テキスト分類や推薦のように「文書の長さ」より「単語の比率」が重要な場面 でコサインが活躍します。

📐 数式 — 主要な距離・類似度の定義

2 つの $n$ 次元ベクトル $\mathbf{x} = (x_1, \dots, x_n)$, $\mathbf{y} = (y_1, \dots, y_n)$ について：

🔬 数式を「言葉」で読み解く

ユークリッド距離：「直線距離」を一般化

マンハッタン距離：「絶対値の和」のシンプルさ

コサイン類似度：「向きの一致度」

マハラノビス距離：「相関を考慮した距離」

🧮 SSDSE 実データで「東京と最近傍／最遠県」を求める

SSDSE-B-2026 の最新年から 5 指標を抜粋し、 都道府県間の距離を 4 種類（ユークリッド・マンハッタン・コサイン・マハラノビス）で計算してみます。

STEP 1：標準化（必須！）

「人口（万人）」と「進学率（％）」は桁が違いすぎるので、 そのまま距離を取ると人口だけで決まってしまいます。 各指標を Z 標準化：

STEP 2：東京と各県の距離を計算

解釈の差異：ユークリッド・マンハッタン・マハラノビスはほぼ同じ順位を返す。 一方、 コサイン距離は「ベクトルの向き」だけを見るので、 沖縄（小規模・低所得＋若年比率）と東京の差を強調する。 用途に応じて選ぶこと。

🐍 Python 実装 — SSDSE-B で多種距離行列を作る

① 基本：scipy.spatial.distance

import pandas as pd
import numpy as np
from scipy.spatial.distance import pdist, squareform
from sklearn.preprocessing import StandardScaler

# データ読込
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df = df[df['年度'] == df['年度'].max()].copy()
df = df.set_index('都道府県')
features = df.select_dtypes(include=[np.number]).dropna(axis=1)

# 標準化
X = StandardScaler().fit_transform(features)

# 距離計算（pdist は上三角の condensed form を返す）
d_euc = squareform(pdist(X, metric='euclidean'))
d_man = squareform(pdist(X, metric='cityblock'))
d_cos = squareform(pdist(X, metric='cosine'))
d_che = squareform(pdist(X, metric='chebyshev'))
d_mah = squareform(pdist(X, metric='mahalanobis'))  # 内部で逆共分散を推定

# DataFrame 化
prefs = features.index
euc_df = pd.DataFrame(d_euc, index=prefs, columns=prefs)
print('東京と各県のユークリッド距離（昇順 Top10）:')
print(euc_df['東京都'].sort_values().head(10))

② sklearn での pairwise 距離

from sklearn.metrics.pairwise import euclidean_distances, manhattan_distances, cosine_distances

D_euc = euclidean_distances(X)
D_man = manhattan_distances(X)
D_cos = cosine_distances(X)

# 東京（インデックス 13 番目を想定）の最近傍 5 県
i_tokyo = list(prefs).index('東京都')
nearest = np.argsort(D_euc[i_tokyo])[1:6]  # 自分自身を除く
print('東京の最近傍:', [prefs[j] for j in nearest])

farthest = np.argsort(D_euc[i_tokyo])[-5:]
print('東京の最遠県:', [prefs[j] for j in farthest])

③ マハラノビス距離（共分散行列を明示的に）

from scipy.spatial.distance import mahalanobis

# 共分散と逆行列
cov = np.cov(X.T)
inv_cov = np.linalg.pinv(cov)  # 特異性対策で擬似逆行列

# 47×47 のマハラノビス距離行列
n = X.shape[0]
D_mah = np.zeros((n, n))
for i in range(n):
    for j in range(n):
        D_mah[i, j] = mahalanobis(X[i], X[j], inv_cov)

mah_df = pd.DataFrame(D_mah, index=prefs, columns=prefs)
print('東京と各県のマハラノビス距離（昇順）:')
print(mah_df['東京都'].sort_values().head(10))

④ ハミング距離（カテゴリデータ用）

# 数値をビン分割してカテゴリ化、 ハミング距離で類似度を測る
from sklearn.preprocessing import KBinsDiscretizer

discretizer = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='quantile')
X_cat = discretizer.fit_transform(features).astype(int)

D_ham = squareform(pdist(X_cat, metric='hamming'))
ham_df = pd.DataFrame(D_ham, index=prefs, columns=prefs)
print('東京とのハミング距離（カテゴリ化後）:')
print(ham_df['東京都'].sort_values().head(10))

⑤ 距離行列のヒートマップ可視化

import matplotlib.pyplot as plt
import seaborn as sns
import japanize_matplotlib

fig, axes = plt.subplots(1, 2, figsize=(20, 9))
sns.heatmap(euc_df, ax=axes[0], cmap='viridis', xticklabels=False)
axes[0].set_title('ユークリッド距離行列（47×47）')
sns.heatmap(d_cos_df := pd.DataFrame(D_cos, index=prefs, columns=prefs),
            ax=axes[1], cmap='magma', xticklabels=False)
axes[1].set_title('コサイン距離行列')
plt.tight_layout()
plt.show()

⚠️ 距離・類似度の 5 つの落とし穴

🌐 関連手法・派生

距離関数の全体マップ

距離をベースにする主要なアルゴリズム

• k-NN（k-最近傍法） — クエリ点に近い k 点で分類・回帰
• k-means クラスタリング — クラスタ中心とのユークリッド距離で割当
• 階層的クラスタリング — 距離行列をボトムアップにマージ
• DBSCAN — ε-近傍密度ベース、 距離関数を任意選択可
• スペクトラルクラスタリング — 類似度グラフのラプラシアン固有ベクトル
• 異常検知 — マハラノビス距離による多変量外れ値判定
• 推薦システム — ユーザー・アイテム間のコサイン類似度

🧩 距離関数の選び方フローチャート

「結局どれを使えばいいの？」に答える実用ガイド：

🗺 距離空間の数学的位置づけ — 公理と性質

「距離」と呼ぶには 4 つの公理 を満たす必要があります（距離関数 $d: X \times X \to \mathbb{R}_{\ge 0}$）：

公理を満たすもの／満たさないもの

• 完全な距離：ユークリッド、 マンハッタン、 チェビシェフ、 マハラノビス、 ハミング、 レーベンシュタイン
• 「擬距離（pseudometric）」：同一性以外を満たす。 例：「絶対値の差」
• 「ダイバージェンス」：対称性・三角不等式を満たさない。 KL ダイバージェンスは $D_{KL}(P\|Q) \ne D_{KL}(Q\|P)$。 「距離」とは呼ばない
• コサイン距離：三角不等式を満たさない（注意！）。 ただし「角度距離」 $\arccos(\cos)$ なら満たす

距離空間 → 計量空間 → ヒルベルト空間の階層

数学的には、 距離空間（metric space）の特殊例として：

• 計量空間＝距離公理を満たす集合 $X$
• ノルム空間＝計量空間 + 線形構造（ベクトル空間）。 距離 $d(x, y) = \|x - y\|$
• 内積空間＝ノルム空間 + 内積。 内積から $\|x\| = \sqrt{\langle x, x\rangle}$ が誘導
• ヒルベルト空間＝完備な内積空間。 機械学習でカーネル法の理論的基盤

🎓 距離学習（Metric Learning）— 「良い距離」をデータから学ぶ

古典的距離（ユークリッド等）は 「全次元を平等に扱う」 ため、 タスクに関係ない次元のノイズに弱い。 たとえば顔認証で 背景の色 は顔の同一性と無関係なのに、 そのまま距離計算すると誤判定の原因になる。 距離学習はこれを克服します。

代表的手法

距離学習は 深層学習時代の標準的アプローチです。 「データから良い類似度関数を学ぶ」発想が、 古典的距離関数の選択問題を一段抽象化しました。

🔗 関連用語（前提・並列・発展）

📥 前提

🔁 並列

🚀 発展・応用

🧮 SSDSE 47 都道府県の「完全距離行列」パイプライン

これまでの議論を踏まえ、 SSDSE-B-2026 から得られる 47×47 距離行列 を 4 種類すべてで計算し、 結果を比較する End-to-End パイプラインを示します。

完全実装

import pandas as pd
import numpy as np
from scipy.spatial.distance import pdist, squareform
from sklearn.preprocessing import StandardScaler, RobustScaler
import matplotlib.pyplot as plt
import seaborn as sns
import japanize_matplotlib

# === 1. データ取得・前処理 ===
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df = df[df['年度'] == df['年度'].max()].copy()
df = df.set_index('都道府県')
features = df.select_dtypes(include=[np.number]).dropna(axis=1)
print(f'データ形状: {features.shape}')  # (47, ~100)

# === 2. 通常標準化 + ロバスト標準化 ===
X_std = StandardScaler().fit_transform(features)
X_rob = RobustScaler().fit_transform(features)  # 中央値・IQR ベース

# === 3. 4 種類の距離行列 ===
prefs = list(features.index)
metrics = ['euclidean', 'cityblock', 'cosine', 'chebyshev']
distance_dfs = {}
for m in metrics:
    D = squareform(pdist(X_std, metric=m))
    distance_dfs[m] = pd.DataFrame(D, index=prefs, columns=prefs)

# === 4. 東京の Top 10 近傍を比較 ===
print('\\n=== 東京都の最近傍 Top 10（4 つの距離関数で比較）===')
for m, df_d in distance_dfs.items():
    top10 = df_d['東京都'].sort_values().head(11).iloc[1:]  # 自分自身を除く
    print(f'\\n[{m}]')
    print(top10.round(3))

# === 5. マハラノビス距離（共分散から）===
cov = np.cov(X_std.T)
inv_cov = np.linalg.pinv(cov)

D_mah = np.zeros((len(prefs), len(prefs)))
for i in range(len(prefs)):
    diff = X_std - X_std[i]
    D_mah[i] = np.sqrt(np.sum((diff @ inv_cov) * diff, axis=1))

mah_df = pd.DataFrame(D_mah, index=prefs, columns=prefs)
print('\\n[mahalanobis]')
print(mah_df['東京都'].sort_values().head(11).iloc[1:].round(3))

# === 6. 距離行列の相関を見る（手法選択の参考）===
print('\\n=== 4 距離関数の上三角ベクトル間の相関 ===')
def upper_tri(D):
    return D.values[np.triu_indices_from(D.values, k=1)]

methods = list(distance_dfs.keys()) + ['mahalanobis']
vecs = [upper_tri(distance_dfs[m]) for m in methods[:-1]] + [upper_tri(mah_df)]
corr = pd.DataFrame(np.corrcoef(vecs), index=methods, columns=methods)
print(corr.round(3))

# === 7. ヒートマップ可視化 ===
fig, axes = plt.subplots(2, 3, figsize=(22, 14))
for ax, m in zip(axes.ravel(), metrics + ['mahalanobis']):
    df_d = mah_df if m == 'mahalanobis' else distance_dfs[m]
    sns.heatmap(df_d, ax=ax, cmap='viridis', xticklabels=False, yticklabels=False)
    ax.set_title(f'{m} 距離行列')
axes[1, 2].axis('off')
plt.tight_layout()
plt.savefig('distance_matrices.png', dpi=120)
plt.show()

典型的な結果（解釈つき）

4 距離関数の相関係数（典型値）

解釈：ユークリッドとマンハッタンは r ≈ 0.97 とほぼ同等。 コサインは他の距離と r ≈ 0.7〜0.8 でやや異なる順位を返す。 マハラノビスは独自性が最も強く、 共分散構造の取り込みが効いている。

💡 確率分布間の距離 — 情報理論からの 5 つ

2 つの確率分布 $P, Q$ の「違い」を測る指標は機械学習で頻出します（生成モデル、 ベイズ、 強化学習）。

① KL ダイバージェンス（Kullback-Leibler）

② JS ダイバージェンス（Jensen-Shannon）

③ Wasserstein 距離（Earth Mover's Distance）

④ Total Variation 距離

⑤ Hellinger 距離

使い分け早見表

🕸 グラフ距離・編集距離 — 構造データ用の距離

レーベンシュタイン距離（編集距離）

文字列 $s_1, s_2$ について、 一方を他方に変換するのに必要な 挿入・削除・置換の最小回数：

応用：スペルチェック、 文字列検索、 DNA 配列アライメント、 OCR 誤り訂正、 重複検出（fuzzy matching）。

Jaro-Winkler 距離

レーベンシュタインの改良版。 「先頭が一致するほどボーナス」 という人名・住所マッチングに特化した重み付け：

• $[0, 1]$ の範囲（1 で完全一致）
• 名寄せ・氏名突合で米国国勢調査局が採用
• Python: jellyfish.jaro_winkler_similarity("Smith", "Smithe")

グラフ最短経路距離

2 ノード間の エッジ数（重みなし）または重み和（重み付き）。 Dijkstra 法、 BFS、 Floyd-Warshall で計算：

• BFS：重みなしグラフで $O(V + E)$
• Dijkstra：非負重みで $O((V + E) \log V)$（優先キュー使用）
• Floyd-Warshall：全ペア最短経路、 $O(V^3)$

応用：SNS の「友達の友達」、 地図ナビ、 知識グラフ。

DTW（Dynamic Time Warping）

2 つの時系列 $x = (x_1, \dots, x_n)$, $y = (y_1, \dots, y_m)$ の「形の類似度」。 時間軸の伸縮を吸収しつつ最小コスト整合を見つける：

DTW[i,j] = |x_i - y_j| + min(DTW[i-1,j], DTW[i,j-1], DTW[i-1,j-1])
  

応用：音声認識（話速差を吸収）、 ジェスチャー認識、 株価パターン分析、 心電図比較。 標準ライブラリ tslearn で実装可能。

🔬 「高次元の呪い」を実験で目撃する

「高次元では距離が意味を失う」と教科書は言う。 これは本当か？SSDSE データを使って実証してみます。

実験設計

1. SSDSE-B-2026 から d 個の指標を選び（d = 2, 5, 10, 20, 50, 100）、 47 県の距離行列を作る
2. 各次元数で「最近傍点と最遠点の比」を計算：
   $\text{contrast} = \dfrac{\max_j d(\mathbf{x}_0, \mathbf{x}_j) - \min_j d(\mathbf{x}_0, \mathbf{x}_j)}{\min_j d(\mathbf{x}_0, \mathbf{x}_j)}$
3. contrast が 1 に近づくほど「最近傍と最遠点の区別が消えた」状態

実装

import pandas as pd
import numpy as np
from scipy.spatial.distance import pdist, squareform
from sklearn.preprocessing import StandardScaler

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df = df[df['年度'] == df['年度'].max()].copy()
df = df.set_index('都道府県')
features_all = df.select_dtypes(include=[np.number]).dropna(axis=1)

dims = [2, 5, 10, 20, 50, 100, features_all.shape[1]]
results = []

for d in dims:
    if d > features_all.shape[1]:
        continue
    cols = features_all.columns[:d]
    X = StandardScaler().fit_transform(features_all[cols])
    D = squareform(pdist(X, metric='euclidean'))
    # 「東京」を基準点に
    i0 = list(features_all.index).index('東京都')
    distances = np.delete(D[i0], i0)
    contrast = (distances.max() - distances.min()) / distances.min()
    print(f'次元 d={d}: max/min = {distances.max():.2f}/{distances.min():.2f}, '
          f'contrast = {contrast:.2f}')
    results.append((d, contrast))

典型的な結果

観察：低次元では contrast = 14 と「最近傍は明らかに最遠点より近い」。 高次元になると contrast が 1.3 まで小さくなり、 「全ての点がほぼ等距離」 という呪いが顕在化します。 47 都道府県 × 数百指標の SSDSE データでこの現象が観察できる点がポイント。

対策

• 次元削減：PCA で寄与率 90% までの次元に絞る
• 特徴選択：分類タスクなら相互情報量、 回帰なら相関の絶対値で上位選択
• マンハッタン距離：ユークリッドより緩やかに contrast が落ちる
• フラクショナル距離（$p \in (0, 1)$ のミンコフスキー）：理論研究では p=0.5 が最良との報告
• コサイン類似度：高次元疎ベクトルで特に有効

🎯 ユースケース別の距離関数カタログ

実務でよく出会う場面ごとに「結局どれを使うか」を整理：

Haversine 距離（球面上の 2 点間）

緯度・経度の 2 点間距離を地球の曲率を考慮して計算：

相関距離（株価・経済指標比較）

2 つの時系列の相関 $\rho$ から距離を作る伝統的方法：

🎓 距離関数の歴史 — ユークリッドから埋め込み学習まで

「距離」を測ることは人類の最も古い数学的営みの 1 つ。 その歴史をたどると、 抽象化と一般化の連続です。

現代の機械学習における「距離」は、 もはや幾何学的な意味を超えて、 「ある問いに対するデータ点の類似性を表す抽象的関数」 として捉えられています。 ニューラルネットワークの埋め込み空間でのコサイン類似度は、 「物理的距離」ではなく「意味的近さ」を表現する道具となっています。

🧬 距離行列から座標を復元 — 多次元尺度法（MDS）

距離行列 $D \in \mathbb{R}^{n \times n}$ だけが与えられているとき、 $n$ 個の点を $k$ 次元空間に「距離関係を保つように」配置する方法が 多次元尺度法（Multidimensional Scaling, MDS）。 距離の逆問題と言えます。

古典的 MDS（Classical / Torgerson MDS）

1. 距離行列 $D$ を二乗 $D^{(2)}$
2. 二重中心化：$B = -\tfrac{1}{2} (I - \tfrac{1}{n}\mathbf{11}^{\top}) D^{(2)} (I - \tfrac{1}{n}\mathbf{11}^{\top})$
3. $B$ の固有値分解：$B = U \Lambda U^{\top}$
4. 上位 $k$ 個の固有ベクトルで座標を構成：$X = U_k \Lambda_k^{1/2}$

古典的 MDS は 距離が正確にユークリッド距離由来なら、 元の座標を正確に復元します。 これは「PCA を距離行列の世界に持ち込んだ」と言っても良い手法で、 PCA と数学的に等価です。

非計量 MDS（Non-metric MDS）

距離の 大小関係（順位）だけ 保存する版。 距離の絶対値が信頼できない場合（アンケート、 心理実験）に有効。 ストレス関数を最小化する反復解法。

SSDSE での MDS 実装例

import pandas as pd
import numpy as np
from sklearn.manifold import MDS
from sklearn.preprocessing import StandardScaler
from scipy.spatial.distance import squareform, pdist
import matplotlib.pyplot as plt
import japanize_matplotlib

# データ読込
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df = df[df['年度'] == df['年度'].max()].copy()
df = df.set_index('都道府県')
features = df.select_dtypes(include=[np.number]).dropna(axis=1)

X = StandardScaler().fit_transform(features)

# 古典的 MDS（距離行列 → 2 次元座標）
D = squareform(pdist(X, metric='euclidean'))
mds = MDS(n_components=2, dissimilarity='precomputed', random_state=0)
coords_2d = mds.fit_transform(D)

# 可視化：47 県を 2 次元平面に配置
plt.figure(figsize=(14, 10))
plt.scatter(coords_2d[:, 0], coords_2d[:, 1], s=200, alpha=0.7)
for i, name in enumerate(features.index):
    plt.annotate(name, (coords_2d[i, 0], coords_2d[i, 1]), fontsize=10)
plt.title('多次元尺度法による 47 都道府県の 2D 配置')
plt.xlabel('MDS 第 1 軸')
plt.ylabel('MDS 第 2 軸')
plt.grid(True)
plt.tight_layout()
plt.savefig('mds_prefectures.png', dpi=120)
plt.show()

🎨 異常検知でのマハラノビス距離 — 多変量外れ値

マハラノビス距離の最も典型的な応用が 多変量データの外れ値検出。 「単一指標では普通」だが、 「変数の組み合わせで異常」を発見できます。

原理

データ $X \in \mathbb{R}^{n \times d}$ の平均 $\mu$ と共分散 $\Sigma$ を推定し、 各点のマハラノビス距離：

SSDSE での実装

from scipy.stats import chi2
import numpy as np

# 主要 5 指標を抜粋
cols = ['人口', '大学進学率', '持家率', '平均所得', '高齢化率']
Y = features[cols].values
mu = Y.mean(axis=0)
S = np.cov(Y.T)
S_inv = np.linalg.pinv(S)

# 各県のマハラノビス距離（の二乗）
d2 = np.array([(y - mu) @ S_inv @ (y - mu) for y in Y])

# カイ二乗分布で p 値（自由度 = 5）
p_values = 1 - chi2.cdf(d2, df=5)

result = pd.DataFrame({
    '都道府県': features.index,
    'mahalanobis_d2': d2,
    'p_value': p_values
}).sort_values('p_value')

# p < 0.05 なら統計的に「外れ値」と判定
print('多変量外れ値候補 (p < 0.05):')
print(result[result['p_value'] < 0.05])

典型的な結果

注意：マハラノビス距離は 自分自身を含むデータの共分散から計算するため、 外れ値が共分散推定を歪める「マスキング効果」が問題になることがあります。 対策：Minimum Covariance Determinant (MCD) などロバスト共分散推定を使う。

🎯 距離・類似度の選択ガイド（実務版）

これまでの議論を踏まえ、 実務で「結局どの距離を使うか」を決めるための徹底ガイドを提供します。 3 つの質問に答えれば、 ほぼ自動的に適切な距離が見つかります。

質問 1：データの種類は？

質問 2：次元数は？

• 低次元（d ≤ 10）：ユークリッド、 マハラノビスなど任意の距離関数が機能
• 中次元（d ≤ 100）：標準化必須、 マンハッタン or ユークリッドが安定
• 高次元（d > 100）：高次元の呪いに注意。 コサイン、 マンハッタン、 または次元削減後にユークリッド
• 超高次元（d > 10000、 テキスト・画像埋め込み）：必ずコサイン。 ユークリッドは意味を失う

質問 3：何を測りたい？

• 純粋な「形の近さ」：ユークリッド距離
• 「方向の一致度」（大きさを無視）：コサイン類似度
• 「分布形状を考慮した近さ」：マハラノビス距離
• 「変化のパターン」（時系列）：相関係数距離 $\sqrt{2(1-\rho)}$
• 「順序の近さ」（ランキング比較）：Spearman 順位相関
• 「集合の重なり」：Jaccard 係数
• 「分布間の差」：Wasserstein 距離、 KL ダイバージェンス

典型的な失敗パターンと対処

📈 距離行列の応用 — 可視化と発見

$n$ 個のデータ点から作る $n \times n$ 距離行列は、 単にクラスタリングの入力以上の 「データ構造の宝庫」 です。 様々な可視化手法で、 データの構造的特徴が浮き彫りになります。

ヒートマップ：パターンの一望

距離行列を色付きの行列として描画すると、 自然なグループ構造が浮かび上がります。 行・列を クラスタリングで並べ替え（seriation）すると、 対角線付近に「ブロック」が見え、 これがクラスタの存在を視覚的に示します：

from scipy.cluster.hierarchy import linkage, leaves_list
from scipy.spatial.distance import squareform

# 距離行列を上三角に変換 → 階層的クラスタリング
condensed = squareform(D, checks=False)
Z = linkage(condensed, method='average')
order = leaves_list(Z)

# 並べ替えてヒートマップ
D_sorted = D[order][:, order]
sns.heatmap(D_sorted, cmap='viridis', xticklabels=[prefs[i] for i in order])
  

樹形図（デンドログラム）：階層構造の発見

距離行列から階層的クラスタリングをすると、 樹形図でデータの階層構造が一目瞭然。 「どの県とどの県が最も近いか」「いつ大グループに統合されるか」が見えます。

島地図・繋がり地図：ネットワーク的可視化

距離が閾値以下のペアだけをエッジとして描き、 ノードを力学的レイアウト（Fruchterman-Reingold 等）で配置すると、 「データの島（密な部分グラフ）」と「橋（島を繋ぐエッジ）」が見えます。 SNS 分析、 共起ネットワークの定番手法。

近傍順位プロット：個別データ点の特性把握

「東京から見た各県の距離順位」のような 個別データ点を中心とした近傍構造を可視化。 推薦結果の説明、 異常検知の根拠提示に有効。

🌐 カーネル法と距離 — 高次元での内積

「距離」と「内積」は表裏一体。 ベクトルの内積 $\langle x, y\rangle$ が大きければ、 距離 $\|x - y\|$ は小さい：

カーネル関数：「高次元での内積」を直接計算

$\phi: X \to \mathcal{H}$ を非線形写像、 $K(x, y) = \langle \phi(x), \phi(y)\rangle_{\mathcal{H}}$ をカーネル関数と呼ぶ。 重要なのは $\phi$ を明示せずに $K$ だけ計算できること（カーネルトリック）。

代表的なカーネル

カーネル法を使うアルゴリズム

• SVM（サポートベクトルマシン）— カーネルで非線形分類
• カーネル PCA— 非線形次元削減
• カーネル k-means— 非線形クラスタリング
• ガウス過程回帰— ベイズ的非線形回帰
• スペクトラルクラスタリング— カーネル PCA + k-means と等価

📚 関連グループ教材

距離・類似度は 「線形代数」「クラスタリング」「機械学習基礎」 のグループに属します。

このサイト内で関連する論文再現

• クラスタリング系論文 — 都道府県を距離ベースでグループ化する例多数
• 異常検知系 — マハラノビス距離による外れ値判定
• テキスト分析系 — TF-IDF + コサイン類似度
• 推薦系 — ユーザー・アイテム類似度

推奨書籍

• 『パターン認識と機械学習』（C. M. Bishop、 丸善）— 距離と類似度の数学的基礎
• 『はじめてのパターン認識』（平井有三、 森北出版）— 日本語入門書
• 『Pattern Classification』（Duda, Hart, Stork）— 古典的名著
• 『Distance Metric Learning for Large Margin Nearest Neighbor Classification』（Weinberger & Saul, JMLR 2009）— LMNN の原論文

オンライン資源

• scipy.spatial.distance（docs.scipy.org）— 30+ の距離関数実装
• sklearn.metrics.pairwise（scikit-learn.org）— 機械学習用 pairwise 距離
• metric-learn（contrib.scikit-learn.org/metric-learn）— 距離学習ライブラリ
• FAISS（github.com/facebookresearch/faiss）— Facebook の高速近似最近傍検索