🔖 キーワード索引

別名・略称：（なし）

📍 あなたが今見ているもの

🎨 直感で掴む

📐 定義 / 数式

🔬 記号・式を言葉で読み解く

boolean mask

True/False の Series。 これで行を絞り込む。

&, |, ~

AND, OR, NOT。 各条件を括弧で囲む こと（演算子優先順位対策）。

query()

文字列で条件を書く。 SQL ライクに読みやすい。

isin()

リスト内のいずれかと一致するか。

欠損

NaN との比較は常に False。 必ず isna() / notna() で扱う。

🧮 実データで計算してみる

🐍 Python 実装

SSDSE-B-2026（47 都道府県・2023 年データ）を題材にした最小コード：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)

# 単一条件: 消費支出 30 万円以上
high = df[df['消費支出'] >= 300000]

# 複数条件: 関東 7 都県のみ
kanto = ['東京', '神奈川', '埼玉', '千葉', '茨城', '栃木', '群馬']
df_kanto = df[df['都道府県'].isin(kanto)]

# query メソッドで可読性アップ
df_q = df.query('消費支出 >= 300000 and 都道府県 == "東京"')

⚠️ よくある落とし穴

🌐 関連手法・この用語を使う論文

🔗 関連用語（前提・並列・発展）

🐍 Python 実装 — 完全ガイド

フィルタリングは pandas の中核操作です。 5 つの代表的なパターンを SSDSE-B-2026（都道府県別経済データ）で示します。

パターン 1: 単純な不等号

1
2
3
4
5
6
7
8
9

import pandas as pd

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
df.columns = ['年', '都道府県コード', '都道府県', '総人口', '消費支出', '可処分所得']  # 簡略化

# 消費支出が 30 万円以上の県
high = df[df['消費支出'] >= 300000]
print(f'対象県数: {len(high)} / {len(df)}')
print(high[['都道府県', '消費支出']].head())

パターン 2: 複数条件（AND / OR / NOT）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# AND: 関東 7 都県 かつ 2023 年
kanto = ['東京都', '神奈川県', '埼玉県', '千葉県', '茨城県', '栃木県', '群馬県']
mask_a = df['都道府県'].isin(kanto)
mask_b = df['年'] == 2023
df_subset = df[mask_a & mask_b]

# OR: 消費支出 30 万円以上 または 可処分所得 50 万円以上
df_or = df[(df['消費支出'] >= 300000) | (df['可処分所得'] >= 500000)]

# NOT: 関東以外
df_not = df[~df['都道府県'].isin(kanto)]

パターン 3: query() で SQL ライク

1
2
3
4
5
6
7
8
9

# query は文字列で条件を書けるので、 列名が多いときに可読性が高い
df_q = df.query('消費支出 >= 300000 and 都道府県 == "東京都"')

# 変数参照は @ プレフィックス
threshold = 350000
df_q2 = df.query('消費支出 >= @threshold')

# 範囲指定
df_q3 = df.query('300000 <= 消費支出 <= 500000')

パターン 4: 文字列フィルタと正規表現

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 部分一致 ("県" を含む)
df_str = df[df['都道府県'].str.contains('県', na=False)]

# 始まり ("北" で始まる)
df_start = df[df['都道府県'].str.startswith(('北', '東'))]

# 正規表現
df_re = df[df['都道府県'].str.match(r'^(東|大|京).*[都府]$')]

# 大文字小文字を無視
df_ci = df[df['都道府県'].str.contains('TOKYO', case=False, na=False)]

パターン 5: 欠損を扱う安全フィルタ

1
2
3
4
5
6
7
8
9

# NaN との比較は常に False になる罠を回避
df_safe = df[df['消費支出'].notna() & (df['消費支出'] >= 300000)]

# 行に欠損があれば除外
df_complete = df.dropna(subset=['消費支出', '可処分所得'])

# fillna() で代入してからフィルタ
df_fill = df.fillna({'消費支出': 0})
df_fill_ok = df_fill[df_fill['消費支出'] >= 300000]

🔬 性能比較 — どの書き方が速いか

🔑 鉄則: ベクトル化（&, |, .isin, .str.contains）を最優先。 100 万行のデータでも 1 秒未満。

⚠️ よくある落とし穴 — 追加 5 つ

🌐 関連手法 — フィルタリングの拡張

🔗 関連用語（前提・並列・発展）— 詳細

📌 前提となる用語

⚖️ 並列・対比となる用語

🚀 発展先

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 用語集トップ — カテゴリ別の一覧から関連用語を辿る
• 🗺️ 概念マップ — 全体の繋がりを俯瞰
• 🧹 データ前処理グループ — クレンジング・型変換・フィルタリングを体系学習
• 🐼 pandas 基礎グループ — DataFrame 操作の総合演習
• 🔍 探索的データ分析（EDA）グループ — フィルタを使った仮説探索

🔎 深掘り解説 — なぜ「ベクトル化」が速いのか

pandas のフィルタが for ループより 100 倍以上速い理由は、 内部で NumPy の C 実装を呼び出しているから。 Python レベルでは for ループ 1 回ごとにオブジェクト生成・型チェックが走るが、 NumPy は連続メモリ上の値を直接 C 関数で処理する。 これは「ベクトル化（vectorization）」と呼ばれ、 データサイエンスの基本原則の 1 つ。

📊 さらに polars や DuckDB を使えば、 数千万行レベルでも 1 秒未満で完了する世界が広がる。

🎯 ツール別フィルタ早見表 — Excel / SQL / pandas / R / Power Query

💡 道具は違っても考え方は同じ：「条件を boolean に変換し、 True の行だけ残す」。

🧪 練習問題（SSDSE-B-2026 で手を動かす）

1. Q1. 「総人口 100 万人以上 かつ 高齢化率 30%未満」の都道府県を抽出してください。
2. Q2. 「東日本（北海道〜中部）」と「西日本（近畿〜九州）」の 2 グループに分け、 それぞれの可処分所得平均を比較してください。 ヒント: .isin() と .groupby()。
3. Q3. 都道府県名に「県」が含まれない自治体（東京都・大阪府・京都府・北海道）だけ抽出する正規表現を書いてください。 ヒント: str.contains(r'(都|府|道)$')。
4. Q4. 消費支出が欠損していない行に限定し、 消費支出が中央値以上の県を抽出してください。
5. Q5. query() を使い、 消費支出 / 可処分所得 >= 0.8 となる「貯蓄余力の小さい県」を抽出してください。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# Q1
df_q1 = df[(df['総人口'] >= 1_000_000) & (df['高齢化率'] < 30)]

# Q2
east = ['北海道','青森県','岩手県','宮城県','秋田県','山形県','福島県',
        '茨城県','栃木県','群馬県','埼玉県','千葉県','東京都','神奈川県',
        '新潟県','富山県','石川県','福井県','山梨県','長野県','岐阜県','静岡県','愛知県']
df['地方'] = df['都道府県'].apply(lambda x: '東日本' if x in east else '西日本')
print(df.groupby('地方')['可処分所得'].mean())

# Q3
df_q3 = df[df['都道府県'].str.contains(r'(都|府|道)$', regex=True)]

# Q4
med = df['消費支出'].median()
df_q4 = df[df['消費支出'].notna() & (df['消費支出'] >= med)]

# Q5
df_q5 = df.query('消費支出 / 可処分所得 >= 0.8')

🔬 高度なテクニック — 3 つの実践パターン

① 動的なフィルタ（条件をリストで管理）

1
2
3
4
5
6
7
8

conditions = {
    '消費支出 >= 300000': df['消費支出'] >= 300000,
    '高齢化率 < 30': df['高齢化率'] < 30,
    '関東': df['都道府県'].isin(['東京都', '神奈川県', '埼玉県', '千葉県'])
}
mask = pd.concat(conditions.values(), axis=1).all(axis=1)
df_subset = df[mask]
print(f'条件を満たす県: {len(df_subset)}')

② グループ内フィルタ（groupby + filter）

1
2
3

# 地方ごとに、 平均消費支出が 30 万円以上の地方だけ残す
df['地方'] = df['都道府県'].map(prefecture_to_region)
df_filtered = df.groupby('地方').filter(lambda g: g['消費支出'].mean() >= 300000)

③ 上位 N 件抽出（nlargest / nsmallest）

1
2
3
4
5
6
7
8

# 高齢化率トップ 5
top5 = df.nlargest(5, '高齢化率')[['都道府県', '高齢化率']]

# 消費支出ボトム 3
bot3 = df.nsmallest(3, '消費支出')[['都道府県', '消費支出']]

# ソートしてから head() でも同じ結果
top5_alt = df.sort_values('高齢化率', ascending=False).head(5)

📊 公的データでの応用例 — 3 つのケース

フィルタリングは EDA の最初の一歩。 「適切に絞り込めるか」が分析の質を決めます。

✅ フィルタリングを書く前のチェックリスト

1. 条件はベクトル化できているか（for ループになっていないか）
2. 複数条件は各々を括弧で囲み、 & / | で結合したか
3. 欠損値を notna() / na=False で安全に除外したか
4. 結果がコピーかビューか意識しているか（書き換えるなら .copy()）
5. 必要なら .reset_index(drop=True) で index を振り直したか
6. 条件式が正しいか、 必ず件数（len）と head() で確認したか
7. 条件のロジック（AND / OR）が要求通りか、 ベン図でイメージできるか
8. 除外ではなく抽出のロジックになっているか確認したか

📐 集合論で見るフィルタリング — AND/OR の正体

フィルタリングは集合演算そのもの。 2 条件 $A, B$ について：

⚖️ ド・モルガンの法則：$\neg(A \land B) = \neg A \lor \neg B$ → pandas でも ~((A) & (B)) ≡ (~A) | (~B)。

🧩 フィルタの設計パターン — 再利用しやすい書き方

パターン A: 関数化（複数箇所で使う条件）

1
2
3
4
5
6
7
8
9

def is_kanto(df):
    kanto = ['東京都', '神奈川県', '埼玉県', '千葉県', '茨城県', '栃木県', '群馬県']
    return df['都道府県'].isin(kanto)

def is_high_income(df, threshold=500000):
    return df['可処分所得'] >= threshold

# 再利用可能なフィルタ
df_target = df[is_kanto(df) & is_high_income(df, 450000)]

パターン B: パイプライン（メソッドチェーン）

1
2
3
4
5
6

result = (df
    .query('年 == 2023')
    .loc[lambda d: d['消費支出'] >= 300000]
    .loc[lambda d: d['都道府県'].str.endswith('都')]
    .reset_index(drop=True)
)

パターン C: 設定駆動型（YAML/JSON で条件管理）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

filter_config = {
    'min_population': 500_000,
    'max_aging_rate': 35.0,
    'target_regions': ['関東', '近畿']
}
mask = (
    (df['総人口'] >= filter_config['min_population']) &
    (df['高齢化率'] < filter_config['max_aging_rate']) &
    (df['地方'].isin(filter_config['target_regions']))
)
df_subset = df[mask]

💡 業務分析では「条件が頻繁に変わる」ことが多いため、 設定駆動型が保守性◎。

📖 さらに学ぶには

本サイト内

• 論文一覧 — フィルタリングを実際に使った再現論文を体験
• 「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断学習へ

外部リソース

• pandas 公式ドキュメント — Boolean indexing: pandas.pydata.org
• 10 minutes to pandas — 公式チュートリアル（フィルタも含む）
• Wes McKinney『Python for Data Analysis』 — DataFrame 操作の決定版
• Kaggle Learn / Pandas — 演習形式で学べる
• Modern Pandas（Tom Augspurger） — 中級者向けブログシリーズ
• Effective pandas（Matt Harrison） — チェーン記法の入門書
• polars 公式 — 次世代の高速 DataFrame ライブラリ

困ったとき / トラブルシューティング

🧮 もう一段深く — フィルタが返す件数を予測する

分析前に、 フィルタが返す件数を概算できると効率的。 47 都道府県データを例に。

💡 期待件数を立てておくと、 結果が大きく違ったときに「条件式のバグ」に気付きやすい。

🎓 教育的視点 — なぜ「フィルタリング」が最初に学ぶべき操作なのか

データサイエンス教育で最初に学ぶ pandas 操作は read_csv → フィルタリング → 集計 の流れ。 これは「分析対象を絞り込む」という思考が、 探索的データ分析（EDA）の基本だから。 大量データのまま考えるのは人間の脳には無理で、 まず関心のある部分集合に絞るのが鉄則。

1. 第 1 段階: 単一条件で絞る（df[df['x'] > 0]）
2. 第 2 段階: AND/OR を組み合わせる（多次元条件）
3. 第 3 段階: query() / loc[] でメソッドチェーン化
4. 第 4 段階: groupby + filter で「グループ単位の絞り込み」
5. 第 5 段階: 関数化 → パイプライン化 → 設定駆動化

この階段を踏むことで、 「条件を1つ書く」から「分析パイプライン全体を設計する」へとレベルが上がります。 重要なのは、 各段階で同じ思考（boolean マスクの組み合わせ）を使い続けていること。 道具が変わっても本質は変わりません。

フィルタリングは、 SQL、 Excel、 BI ツール、 機械学習の前処理など、 あらゆる場面で出てくる普遍的操作。 ここを丁寧に学ぶと、 後段の学習が格段に楽になります。