🔖 キーワード索引

このページで扱う主要キーワード（クリックで該当セクションへ）：

🎨 直感で掴む

NumPy（Numerical Python）は Python におけるベクトル・行列・テンソルの標準データ構造である ndarray と、 それに対する高速な数値演算を提供するライブラリです。 pandas は内部で NumPy を使い、 scikit-learn の入力も基本は NumPy 配列、 PyTorch/TensorFlow のテンソル設計も NumPy を参考にしています。

たとえば 47 都道府県の総人口を 1 本の ndarray に格納すれば、 「全国平均」「上位 10 県」「対数変換」「人口に占めるシェア」などの計算が すべて 1 行 で書けます。 これを純 Python の for ループでやると、 同じ処理に何倍もの行数と時間がかかります。

NumPy の威力は 「ベクトル化」 という思想にあります。 ループは内部の C 実装に任せ、 ユーザーは「配列同士の演算」として書く。 これが NumPy らしいコードです。

list と ndarray の違い

📐 数式・定義

NumPy が裏で行っている要素ごとの演算（ufunc）は、 数式で書けば極めて単純です。 2 つの配列 $\mathbf{x}, \mathbf{y}\in\mathbb{R}^n$ に対して：

これらはすべて C 実装と BLAS（線形代数の高速ライブラリ、 OpenBLAS/MKL/Accelerate）に委譲され、 内部で SIMD やマルチコア並列が走ります。

🔬 数式・概念を言葉で読み解く

NumPy の主要概念を「言葉」で読み解きます。

🧮 実値で計算してみる（SSDSE-B-2026）

SSDSE-B-2026 の 2023 年 47 都道府県の 総人口（列 A1101）を NumPy で扱ってみます。 47 個の整数が並んだ 1 次元配列を作り、 基本統計量を直接計算します。

🐍 Python 実装

例 1：SSDSE-B-2026 から ndarray を作って統計

import pandas as pd
import numpy as np

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)

pop = df['総人口'].astype(int).to_numpy()  # 47 都道府県の ndarray
print(pop.shape, pop.dtype)
print('合計:', pop.sum())
print('平均:', pop.mean())
print('標準偏差:', pop.std(ddof=1))
print('最大-最小:', pop.max() - pop.min())
print('上位 5 県:', np.sort(pop)[::-1][:5])

例 2：ブロードキャストで「全国比シェア」を一気に

share = pop / pop.sum() * 100      # 47 個の % を一度に算出
print('東京のシェア:', share.max(), '%')
print('小数点 2 桁で:', np.round(share, 2)[:5])

例 3：軸を指定した集計（複数列をまとめて行列扱い）

cols = ['総人口', '15歳未満人口', '15〜64歳人口', '65歳以上人口']
X = df[cols].astype(int).to_numpy()
print(X.shape)                     # (47, 4)
print('列ごとの平均:', X.mean(axis=0))   # 4 つの平均
print('行ごとの和（人口の内訳合計）:', X.sum(axis=1)[:5])

例 4：行列積による加重平均（人口加重）

W = pop / pop.sum()                 # 47 次元の重み
agecols = ['15歳未満人口', '15〜64歳人口', '65歳以上人口']
A = df[agecols].astype(int).to_numpy() / pop[:,None] * 100  # 各県の年齢別割合 (%)
nationwide = W @ A                  # 行列積（@）でひと息に
print('全国平均の年齢別割合:', nationwide)

例 5：線形代数 — 最小二乗で 1 次回帰

y = df['総人口'].astype(int).to_numpy()
x = df['65歳以上人口'].astype(int).to_numpy()
X = np.column_stack([np.ones_like(x), x])  # (47,2) 行列
coef, *_ = np.linalg.lstsq(X, y, rcond=None)
print('切片 a, 傾き b:', coef)
y_hat = X @ coef
rmse = np.sqrt(((y - y_hat)**2).mean())
print('RMSE:', rmse)

📂 ケーススタディ・追加実装例

ケース 1：47 都道府県データの相関行列を NumPy で作る

import pandas as pd, numpy as np
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)

cols = ['総人口','15歳未満人口','15〜64歳人口','65歳以上人口','県内総生産']
X = df[cols].astype(float).to_numpy()
# 標準化
Z = (X - X.mean(axis=0)) / X.std(axis=0, ddof=1)
# 相関行列 = (1/(n-1)) Z^T Z
R = (Z.T @ Z) / (len(Z) - 1)
print(pd.DataFrame(R, index=cols, columns=cols).round(2))

ケース 2：np.where で都道府県を 3 クラスに分類

pop = df['総人口'].astype(int).to_numpy()
cls = np.where(pop > 5_000_000, '大規模',
       np.where(pop > 1_500_000, '中規模', '小規模'))
print(pd.Series(cls).value_counts())

ケース 3：fancy indexing で上位 5 県の人口を抽出

idx = np.argsort(pop)[::-1][:5]
print('上位 5 県の人口:', pop[idx])
print('都道府県:', df['都道府県'].iloc[idx].tolist())

ケース 4：np.einsum で人口ピラミッドの加重平均

w = pop / pop.sum()
age = df[['15歳未満人口','15〜64歳人口','65歳以上人口']].astype(int).to_numpy() / pop[:,None]
result = np.einsum('i,ij->j', w, age)
print('全国の年齢構成（重み付き）:', np.round(result*100, 2), '%')

ケース 5：SIMD ベクトル化と純 Python ループの速度差

import time
a = np.arange(10_000_000, dtype=np.float64)

t0 = time.time(); s = a.sum(); print('NumPy:', time.time()-t0, '秒', s)
t0 = time.time()
s2 = 0.0
for v in a.tolist():
    s2 += v
print('Python loop:', time.time()-t0, '秒', s2)

ケース 6：np.linalg.eig で共分散行列を固有値分解（PCA の中身）

cov = np.cov(Z.T)
eigvals, eigvecs = np.linalg.eigh(cov)
order = np.argsort(eigvals)[::-1]
print('固有値:', eigvals[order])
print('累積寄与率:', np.cumsum(eigvals[order]) / eigvals.sum())

🪜 ステップバイステップ チュートリアル

チュートリアル：SSDSE-B-2026 を NumPy で 5 ステップ分析

ステップ 1：環境準備

pip install numpy pandas
python -c "import numpy as np; print(np.__version__)"

ステップ 2：データを読み込み ndarray に変換

import pandas as pd, numpy as np
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)

cols = ['総人口','15歳未満人口','15〜64歳人口','65歳以上人口','県内総生産']
X = df[cols].astype(float).to_numpy()  # (47, 5) ndarray

ステップ 3：標準化と主成分分析の中身

Z = (X - X.mean(axis=0)) / X.std(axis=0, ddof=1)
cov = (Z.T @ Z) / (len(Z) - 1)
eigvals, eigvecs = np.linalg.eigh(cov)
order = np.argsort(eigvals)[::-1]
print('累積寄与率:', np.cumsum(eigvals[order])/eigvals.sum())

ステップ 4：第 1 主成分への射影

pc1 = Z @ eigvecs[:, order[0]]
ranking = np.argsort(pc1)[::-1]
for i in ranking[:10]:
    print(df['都道府県'].iloc[i], round(pc1[i], 2))

ステップ 5：結果の解釈

第 1 主成分は「人口・経済規模」を表す総合指標。 上位は東京・神奈川・大阪・愛知、 下位は鳥取・島根・高知。 NumPy だけで PCA の中身まで実装できます。

🚀 現場での応用シナリオ（8 例）

応用 1：画像処理の現場

JPEG/PNG 画像は基本的に (高さ, 幅, チャンネル) の 3 次元 ndarray として表現されます。 ピクセル値の正規化、 グレースケール変換、 畳み込み、 リサイズなど、 ほぼすべての画像操作が NumPy 配列上の数値計算として書けます。 OpenCV や Pillow もバックエンドで NumPy を使い、 ユーザに ndarray を返します。

import numpy as np
# 画像 → グレースケール（行列の重み付き和）
def to_gray(img):
    weights = np.array([0.299, 0.587, 0.114])
    return img @ weights      # (H, W, 3) @ (3,) = (H, W)

応用 2：センサーデータの統計

1 秒間に 1000 サンプル取れる加速度センサー、 100 Hz の心拍計、 これらは長い 1 次元 ndarray。 移動平均、 FFT、 ピーク検出を NumPy + SciPy で書くと、 1 行ごとに研究級の処理が並びます。

応用 3：機械学習の特徴量行列

scikit-learn の API は基本的に (n_samples, n_features) の 2 次元 ndarray を受けます。 SSDSE で言えば 47 行 × N 列の行列。 標準化・PCA・k-means・回帰すべて、 ここから始まります。

応用 4：金融時系列

OHLCV（始値・高値・安値・終値・出来高）データ、 ボラティリティ、 リターン、 シャープ比、 GARCH、 すべて ndarray と pandas で扱う。 ベクトル化により、 数百万行のバックテストが 1 秒以下に。

応用 5：地理空間データ

緯度経度のメッシュデータ（標高、 気温、 衛星画像）は 2 次元 ndarray。 NumPy で「東京を中心とする 100km × 100km の標高ヒートマップ」を切り出す、 のような操作が標準。

応用 6：自然言語処理の埋め込み

BERT・GPT が出力する単語埋め込みは（語数, 768/1024）の 2 次元 ndarray。 コサイン類似度、 t-SNE、 UMAP もすべて NumPy 演算で完結。

応用 7：科学シミュレーション

波動方程式・拡散方程式・分子動力学のような偏微分方程式の数値解法は、 状態を ndarray で表し、 ufunc とスライスで時間発展を計算する。 結果は HDF5 へ。

応用 8：A/B テストの解析

ユーザを 2 群に分け、 各群のコンバージョン率を ndarray で表し、 ブートストラップで信頼区間を出す。 ベクトル化により 10 万回のリサンプルが数秒。

🏋️ 演習問題（8 題）

1. SSDSE-B-2026 の 47 都道府県の総人口を ndarray に変換し、 平均・標準偏差・最大・最小を計算せよ。
2. 総人口の上位 10 県をインデックス操作で抽出し、 都道府県名を出力せよ。
3. 総人口の対数を取り、 ヒストグラムが正規分布に近づくことを確認せよ。
4. 総人口と県内総生産の相関行列を np.corrcoef で計算せよ。
5. 47 県を 3 つのグループ（大規模/中規模/小規模）に np.where で分類し、 各群の平均人口を出せ。
6. 総人口の z-score を計算し、 ±2σ を超える県（外れ値）を抽出せよ。
7. 5 列（人口・男性人口・女性人口・15歳未満・65歳以上）の行列を作り、 共分散行列の固有値分解で第 1 主成分を求めよ。
8. scikit-learn を使わずに、 NumPy だけで最小二乗回帰を実装し、 「総人口 → 県内総生産」 の係数を求めよ。

🗺 学習ロードマップ

1. レベル 1（入門） — list と ndarray の違い、 dtype、 shape、 axis を理解。 1 次元・2 次元配列の基本操作。
2. レベル 2（基礎） — ブロードキャスト、 ufunc、 fancy indexing、 統計関数（mean, std, sum, axis）。
3. レベル 3（応用） — np.linalg（行列演算）、 np.fft（フーリエ変換）、 np.einsum（任意の縮約）。
4. レベル 4（実践） — pandas / scikit-learn / matplotlib との連携、 view vs copy、 stride。
5. レベル 5（深化） — メモリ最適化、 chunked I/O、 numba/cython で C 並みの速度、 CuPy で GPU 化。
6. レベル 6（拡張） — Dask、 JAX、 xarray、 PyTorch Tensor — NumPy 互換 API の他バックエンドへ。

📊 比較表（兄弟手法・選択肢）

NumPy ファミリーの比較

📖 用語ミニ辞典

🍳 コードレシピ（コピペ用 15 連発）

np.zeros(5); np.ones((3,4)); np.arange(0,10,2); np.linspace(0,1,11)

np.array([1,2,3], dtype=np.float32)

a = np.arange(12); b = a.reshape(3,4); print(b.shape)

X.sum(axis=0)  # 列方向
X.mean(axis=1) # 行方向

a[a > 100]   # 条件を満たす要素
a[(a>10) & (a<100)]

a[[0,3,5]]   # 任意位置
a[a.argsort()[::-1][:5]]  # 上位5位

X = np.arange(12).reshape(3,4)
mean_col = X.mean(axis=0)
X_centered = X - mean_col   # (3,4) - (4,) = (3,4)

np.sin(a); np.log(a); np.exp(a); np.sqrt(a)

A @ B; np.dot(a, b)

np.linalg.inv(A); np.linalg.solve(A, b)

coef, *_ = np.linalg.lstsq(X, y, rcond=None)

vals, vecs = np.linalg.eigh(cov)

U, S, Vt = np.linalg.svd(X)

np.fft.fft(signal); np.fft.rfft(real_signal)

np.save('a.npy', a); a = np.load('a.npy')

⚠️ よくある落とし穴

❓ よくある質問（FAQ）

📜 歴史と背景

歴史と位置づけ：NumPy のルーツは 1995 年の Numeric（Jim Hugunin）、 続いて 2001 年の Numarray、 そして 2005 年に Travis Oliphant がこれらを統合して NumPy 1.0 をリリース。 以後 20 年にわたり、 Python が「データサイエンスのデファクト言語」になる礎となりました。 2020 年には Nature 誌に「Array programming with NumPy」（Harris ら, 2020）が掲載され、 学術界に与えた影響の大きさが正式に承認されています。

主要バージョンの節目：

• 1.0 (2006) — 統合リリース
• 1.7 (2013) — datetime64・timedelta64 サポート
• 1.13 (2017) — __array_ufunc__ プロトコル（拡張可能 ufunc）
• 1.17 (2019) — numpy.random.Generator 導入（新しい乱数 API、 再現性向上）
• 1.20 (2021) — 型ヒント整備
• 2.0 (2024) — API クリーンアップ、 文字列 dtype、 オーバーロード簡略化

NumPy はインターフェース面でも歴史的役割を担っており、 PyTorch・JAX・CuPy・Dask・xarray などのライブラリが 「NumPy 互換 API」を採用することで、 ユーザは同じ書き方で異なるバックエンド（GPU・分散）を切り替えられます。

🌐 関連手法・派生・対概念

NumPy はあらゆる PyData ツールの土台になっており、 上下左右に多数の関連手法があります。

🔗 関連用語（前提・並列・発展）

📘 前提となる用語

🤝 並列・関連する用語

🚀 発展・応用

📚 関連グループ教材

このページの内容を、より広い文脈で学びたいときは：

• 📚 データエンジニアリング — 前処理・整形・特徴量生成の全体像
• 📚 機械学習の基礎 — scikit-learn 入力としての ndarray を学ぶ
• 📚 可視化と探索的分析 — ndarray から matplotlib への流れ

🗺 概念マップ

NumPy を中心に「上下左右」に伸びる依存関係をツリーで表すと：

                       (機械学習・深層学習層)
                   scikit-learn  PyTorch  TensorFlow  JAX
                          \        |          |       /
                           \       |          |      /
                            ─── ndarray インターフェース ───
                             /     |       |       \
                       pandas    xarray    SciPy   matplotlib
                          \       |         |       /
                           \      |         |      /
                            ───── NumPy core (ndarray, ufunc) ─────
                                   |        |        |
                                  BLAS    LAPACK    SIMD
                          （C / Fortran 数値計算ライブラリ）

このように NumPy は ハードウェア寄りの BLAS と ユーザ寄りの pandas/sklearn の中間でデータを橋渡しする共通言語になっています。

📚 参考文献・出典

• Harris, C. R. et al. (2020). Array programming with NumPy. Nature, 585, 357-362.
• Oliphant, T. E. (2006). A Guide to NumPy. Trelgol Publishing.
• Van der Walt, S., Colbert, S. C., Varoquaux, G. (2011). The NumPy array. Computing in Science & Engineering, 13(2), 22-30.
• 公式ドキュメント：https://numpy.org/doc/
• SSDSE-B-2026：政府統計の総合窓口 e-Stat（独立行政法人統計センター）