「Spark」を取り巻く中核キーワード群です。 検索やインデックス作成で参照する際の手がかりにしてください。 各キーワードは関連する概念・手法・道具立てを含み、 文献検索や学習計画の起点になります。
最も忙しい読者のために、 まず結論だけまとめます。 詳細は以下のセクションへ：
「数千万行の CSV を集計したい」 「pandas だとメモリに乗らない」 — そんなとき Spark の出番。 クラスタ（複数台のマシン）にデータを分散し、 並列で処理します。
このページの読み方：まず 30秒結論 と 直感 を読み、 必要に応じて 数式 や 計算例、 落とし穴 に進んでください。
1 万冊の蔵書を読みたいとき：
Spark の役割は「誰がどの本を読むか」 「読んだ結果をどう集めるか」を取り仕切ること。 ユーザーは df.groupBy(...).count() と書くだけで、 裏では 100 台のマシンが並列で動きます。
map, filter, groupBy 等。 遅延評価（呼んでもまだ実行されない）。count, show, collect 等。 これを呼んだ瞬間に実行が走る。PySpark で都道府県データを集計：
| 操作 | pandas | PySpark |
|---|---|---|
| 読込 | pd.read_csv | spark.read.csv |
| フィルタ | df[df.x>0] | df.filter(df.x>0) |
| 集計 | df.groupby().mean() | df.groupBy().mean() |
| 実行タイミング | 即時 | action まで遅延 |
最小再現コード。 SSDSE-B のような実データを前提に、 4〜8 行で動く例です：
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('demo').getOrCreate()
df = spark.read.csv('data/raw/SSDSE-B-2026.csv', header=True, inferSchema=True)
df.groupBy('地域').count().show() # action で実行される
spark.stop()
補足：ライブラリのバージョンや前処理状態によって出力は変わります。 自分の環境で動かすときは pip list でバージョンを確認し、 入力 CSV のパス・列名を実態に合わせてください。
Spark を実務で扱うとき、 多くの分析者が同じところでつまずきます。 代表的な失敗パターンを先回りで押さえておくと、 後工程のトラブルを大幅に減らせます。
df.filter(...) しても何も起きません。 .show() や .count() で初めて動く。df.collect() は全データを Driver に集める。 巨大データでメモリ爆発。groupBy, join はネットワーク経由でデータ移動が発生。 不要な shuffle を避ける設計。※ 上記は文献調査・現場経験で報告される頻度の高い注意点。 ドメインや手法のバージョンによって追加の落とし穴がある場合があります。
Spark は「データエンジニアリング」分野の中で発展してきた概念・手法です。 学術的には継続的な研究で精緻化され、 実務的にはツール・ライブラリの普及で誰でも使えるようになってきました。 用語の使い方・意味は時代と分野で少しずつ変わるため、 文脈に応じた解釈が大切です。 入門書だけでなく、 標準的な教科書（例：データサイエンス・統計学の定本）や信頼できるオンライン教材も併用すると、 ぶれない理解に近づけます。
「Spark」は単独で完結する概念ではなく、 より大きな分野の一部です。 上位カテゴリの教材を読むことで、 この用語の 位置づけ が立体的に見えてきます：