🔖 キーワード索引

📍 文脈 ── どこで出会うか

近年の社会科学・マーケティング論文で頻出。 「リアルタイムの世論」「災害時の情報拡散」など、 公式統計では捉えられない動きを観測できます。

🎨 直感で掴む

SNSデータの3つの層：

1. コンテンツ層：本文、 画像、 動画
2. 関係層：フォロー、 リプライ、 リツイート、 メンション → ネットワーク構造
3. 反応層：いいね、 シェア、 ブックマーク → 反応強度

これらを組み合わせて、 「誰が、 何を、 どう広めたか」を分析できます。

📐 定義／数式

🔬 記号を読み解く

🧮 実値で計算してみる

架空シナリオ：「災害時のSNS反応」

• 地震発生から1時間以内に「#地震」を含む投稿が10万件
• ピーク時の投稿頻度：1秒あたり300件
• 位置情報付き投稿の集計で被災地周辺を可視化
• 感情分析で「不安／情報共有／支援要請」を分類

🐍 Python 実装

最小限のスニペットで動作確認できる例。 公的データ（SSDSE 等）を想定しています。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# X (Twitter) API v2 の例（tweepyライブラリ）
import tweepy
import pandas as pd

client = tweepy.Client(bearer_token='YOUR_BEARER_TOKEN')
res = client.search_recent_tweets(query='高齢化 lang:ja',
                                  max_results=100,
                                  tweet_fields=['created_at','public_metrics'])
df = pd.DataFrame([{
    'text': t.text,
    'created_at': t.created_at,
    'likes': t.public_metrics['like_count']
} for t in res.data])
print(df.head())

⚠️ よくある落とし穴

🐍 Python 実装（パイプライン全体）

テキストデータの基本処理を、 SSDSE のような数値データと組み合わせる典型例を示します。 仮想的に「都道府県名を含むツイートの感情極性」を集計するシナリオです。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

import pandas as pd
import re

# (A) ツイート風のテキストを読み込み（CSV列: text, created_at, prefecture）
tweets = pd.read_csv('data/raw/tweets_sample.csv', encoding='utf-8',
                     parse_dates=['created_at'])
print(tweets.shape, tweets.dtypes)

# (B) 前処理：URL／メンション／ハッシュタグの除去
def clean_text(s: str) -> str:
    s = re.sub(r'https?://\S+', '', s)   # URL
    s = re.sub(r'@\w+', '', s)            # メンション
    s = re.sub(r'#(\w+)', r'\1', s)       # ハッシュタグの#を除く
    return s.strip()

tweets['clean'] = tweets['text'].astype(str).apply(clean_text)
print(tweets[['text','clean']].head(3))

感情極性は辞書ベースが導入として手軽：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

POS = {'良い','嬉しい','最高','素晴らしい','楽しい'}
NEG = {'悪い','悲しい','最悪','酷い','嫌い'}

def polarity(s: str) -> int:
    pos = sum(w in s for w in POS)
    neg = sum(w in s for w in NEG)
    return pos - neg  # 正:ポジ / 負:ネガ / 0:中立

tweets['polarity'] = tweets['clean'].apply(polarity)

# (C) 都道府県 × 日次で集計
daily = (tweets
   .groupby([tweets['created_at'].dt.date, 'prefecture'])
   ['polarity']
   .agg(['mean','count'])
   .reset_index())
print(daily.head())

SSDSE と結合すれば「人口規模 vs ツイート量・感情」の関係も検証可能：

1
2
3
4
5
6
7

ssdse = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='utf-8', skiprows=1)
ssdse = ssdse[['都道府県','人口総数']].rename(columns={'都道府県':'prefecture'})

agg = (tweets.groupby('prefecture')['polarity'].mean()
       .reset_index(name='avg_polarity'))
merged = agg.merge(ssdse, on='prefecture', how='inner')
print(merged.corr(numeric_only=True))

📊 主要プラットフォームの特性比較

⚖️ 代表性バイアスとその対策

「SNS で多い意見＝世論」ではありません。 次のバイアスを必ず文書化：

• 選択バイアス：そもそも SNS を使う層は人口の一部（X は日本で約3割）
• 発言バイアス：使っていても多くは ROM。 発言者は更に少数
• ボット・反復投稿：1 人が大量に投稿、 自動投稿の混在
• アルゴリズム露出：プラットフォームが優先表示する内容に偏る
• 時間帯：特定時間帯に投稿が集中（職業・地域でずれる）

対策としては、 ① 公的統計や調査データと併用、 ② プラットフォーム別の比較、 ③ ユーザー特性で層別化、 ④ ボット検出フィルタ、 などが有効です。

❓ よくある質問

🌐 関連手法・派生

• 感情分析 — テキストの感情極性を判定
• トピックモデル（LDA） — 文書集合の潜在トピック抽出
• ネットワーク分析 — ユーザー間の関係を可視化
• Burst検出 — 急増話題の自動検知
• 画像認識 — 投稿画像の分類

🔗 関連用語（前提・並列・発展）

役割で色分け：前提／上位／並列／発展／応用

📚 関連グループ教材

この用語の全体像を学ぶには、 横断的な教材で文脈を掴むのが効率的です。

• 📚 NLP基礎
• 📚 データ倫理

📊 公的統計データ（SSDSE）との比較

両者を組合せた研究が増えています。 例：SNS の感情指標 × 県別失業率（SSDSE）の相関、 災害発生時の SNS 言及量 × 人的被害（消防庁統計）の関係など。

💾 大量 SNS データの保存設計

SNS データは「テキスト＋メタ＋画像/動画リンク」と階層化されており、 単一の表に押し込めると非効率です。 典型的な3層設計：

• Cold（オブジェクトストレージ）：S3 / GCS。 生 JSON や画像バイナリ。 1 ファイル/投稿 で保管
• Warm（カラム DB）：Parquet on S3 + DuckDB / BigQuery。 投稿 ID、 時刻、 ユーザー、 テキスト本文、 メトリクスのみ
• Hot（RDB / 検索エンジン）：PostgreSQL / Elasticsearch。 直近1ヶ月分の検索用。 全文インデックス必須

投稿 ID（UNIQUE）と取得時刻（パーティション）が中核キー。 ハッシュタグやメンションは JSON 配列 → 配列展開ビューで結合。 グラフ部分（フォロー / RT）は Neo4j などのグラフ DB が向きます。

🎯 主要な応用領域

🔌 API 取得の詳細コード

Reddit (PRAW)：研究用途で最も親切な API。 OAuth でアプリ登録するだけ。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

import praw, pandas as pd

reddit = praw.Reddit(client_id='YOUR_ID',
                     client_secret='YOUR_SECRET',
                     user_agent='research-bot v0.1')

posts = []
for s in reddit.subreddit('japan').hot(limit=200):
    posts.append({'id': s.id, 'title': s.title,
                  'score': s.score, 'created_utc': s.created_utc,
                  'num_comments': s.num_comments,
                  'flair': s.link_flair_text})

df = pd.DataFrame(posts)
df['created_at'] = pd.to_datetime(df['created_utc'], unit='s', utc=True)
print(df.head())

YouTube Data API v3：動画コメントを取得。 クォータ単位で課金。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

from googleapiclient.discovery import build
import pandas as pd

yt = build('youtube', 'v3', developerKey='YOUR_KEY')

req = yt.commentThreads().list(part='snippet', videoId='VIDEO_ID',
                               maxResults=100, textFormat='plainText')
res = req.execute()

comments = [{
  'author': it['snippet']['topLevelComment']['snippet']['authorDisplayName'],
  'text':   it['snippet']['topLevelComment']['snippet']['textDisplay'],
  'likes':  it['snippet']['topLevelComment']['snippet']['likeCount'],
  'published': it['snippet']['topLevelComment']['snippet']['publishedAt'],
} for it in res['items']]

print(pd.DataFrame(comments).head())

Mastodon：分散インスタンスごとに API があり、 認証不要の public ストリームも利用可。

1
2
3
4
5
6
7
8

from mastodon import Mastodon

m = Mastodon(api_base_url='https://mastodon.social')

# パブリックタイムライン
toots = m.timeline_public(limit=40)
for t in toots[:5]:
    print(t['content'][:80].replace('<','<'))

🛠 NLP 技術スタック

SNS テキストの分析に頻出する技術と日本語用のおすすめライブラリ：

📐 主要指標と計算式

📖 ケーススタディ：選挙予測の試みと失敗

2010 年代前半、 Twitter の言及量から選挙結果を予測する論文が多数発表されました。 しかし 2016 年米大統領選では、 SNS 上では Clinton 支持の言及がトランプを大きく上回ったにもかかわらず、 トランプが勝利。 原因は 選択バイアス（Twitter ユーザーは民主党支持に偏在）と、 「沈黙の螺旋」（少数派は発言を控える）でした。

教訓：① SNS データ単独で集団全体を推定しない、 ② 公的調査と必ず突き合わせる、 ③ 「ない人」の声を補完する設計（重み付け、補完サンプリング）が必要。

🔬 情報拡散モデル（数式）

SNS 上の情報拡散は、 感染症の SIR モデルと近い構造を持ちます：

$$ \frac{dI}{dt} = \beta S I - \gamma I $$

$S$=未拡散ユーザー、 $I$=拡散済み、 $\beta$=拡散率、 $\gamma$=飽和率。 基本再生産数 $R_0 = \beta / \gamma$ が 1 を超えれば バイラル化。 ハッシュタグの時系列を当てはめると流行の最大規模を予測できます。

独立カスケード（IC）モデル、 線形閾値モデルなど、 ネットワーク上の拡散モデルが多数提案されています。 ネットワーク中心性（degree, betweenness, PageRank）が高いノードを特定すると、 効率的な情報伝搬経路や、 偽情報の発信源候補を見つけられます。

⚖️ 倫理・法規制チェックリスト

• □ 利用するプラットフォームの利用規約・開発者規約を読了
• □ 日本：個人情報保護法（仮名化／匿名加工情報の区別）を遵守
• □ EU 圏：GDPR（同意・目的明示・データ最小化）を確認
• □ 米国：CFAA（不正アクセス）・州の CCPA
• □ 大学研究：所属機関の IRB / 研究倫理委員会に申請
• □ 公開時は ID 仮名化、 引用文の改変による特定回避
• □ 学術データセットの再配布規約を確認（例：「30日以内に削除」など）
• □ 取得 API のレート制限を守り、 サーバーへの負荷を最小化

📜 歴史と発展

• 1997 年：SixDegrees.com、 最初の SNS と言われる
• 2003 年：MySpace、 Friendster の流行
• 2004 年：Facebook 発足（ハーバード大内のみ）
• 2006 年：Twitter 発足。 短文・公開タイムライン文化
• 2010 年代：Instagram / Snapchat の画像中心化、 中国 Weibo / WeChat
• 2016 年：米大統領選における SNS の影響が議論される
• 2018 年：Cambridge Analytica 事件 → SNS データの倫理問題が顕在化
• 2020 年代前半：TikTok 急成長、 ショート動画文化、 アルゴリズム推薦の影響
• 2022 年：Twitter → X 改称、 API 大幅有料化、 研究者の離反
• 2023–24 年：Threads, Bluesky, Mastodon など分散型代替の登場

🔎 深掘り解説

主要データソースとアクセス手段

分析パイプライン

1. 収集：API、 ストリーミング、 アーカイブ
2. クレンジング：絵文字、 URL、 メンション処理
3. 言語処理：トークン化、 形態素解析、 埋め込み
4. 分析：感情、 トピック、 ネットワーク
5. 可視化：時系列、 ワードクラウド、 ネットワーク図
6. 解釈：代表性／バイアスを必ず議論

✅ 使う前のチェックリスト

• ☐ ソーシャルメディアデータ が今のタスクに本当に適切か再確認した
• ☐ 前提条件（独立性、 正規性、 サンプル数等）を満たしているか確認した
• ☐ データの尺度・分布・欠損・外れ値を確認した
• ☐ 結果だけでなく「不確実性」（CI、 標準誤差）も把握した
• ☐ 解釈と限界を区別して文書化した
• ☐ 関連する別の手法と比較したうえで本手法を選んだ
• ☐ 落とし穴（このページの ⚠️ セクション）に該当しないか確認した
• ☐ 関連グループ教材で全体像と位置付けを把握した

📖 さらに学ぶには

本サイト内

• 論文一覧に戻る — ソーシャルメディアデータ を実際に使った再現論文をハンズオン形式で読む
• このページ上部の「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断的な学習教材へ

外部リソース

• scikit-learn 公式ドキュメント — 標準実装と例
• StatQuest with Josh Starmer (YouTube) — 直感的な統計／ML 解説
• Cross Validated (Stack Exchange) — 統計／ML の質問サイト
• arXiv — 最新の手法論文プレプリント

困ったときは

1. データの可視化（散布図、 ヒストグラム、 箱ひげ図）で異常を確認
2. サンプルサイズ・欠損・外れ値を確認
3. 仮定が満たされているか診断（正規性検定、 等分散性検定など）
4. 類似研究での標準的な手法を確認
5. 結果を複数手法でクロスチェック（頑健性確認）

🔎 深掘り解説

主要データソースとアクセス手段

分析パイプライン

1. 収集：API、 ストリーミング、 アーカイブ
2. クレンジング：絵文字、 URL、 メンション処理
3. 言語処理：トークン化、 形態素解析、 埋め込み
4. 分析：感情、 トピック、 ネットワーク
5. 可視化：時系列、 ワードクラウド、 ネットワーク図
6. 解釈：代表性／バイアスを必ず議論

✅ 使う前のチェックリスト

• ☐ ソーシャルメディアデータ が今のタスクに本当に適切か再確認した
• ☐ 前提条件（独立性、 正規性、 サンプル数等）を満たしているか確認した
• ☐ データの尺度・分布・欠損・外れ値を確認した
• ☐ 結果だけでなく「不確実性」（CI、 標準誤差）も把握した
• ☐ 解釈と限界を区別して文書化した
• ☐ 関連する別の手法と比較したうえで本手法を選んだ
• ☐ 落とし穴（このページの ⚠️ セクション）に該当しないか確認した
• ☐ 関連グループ教材で全体像と位置付けを把握した

📖 さらに学ぶには

本サイト内

• 論文一覧に戻る — ソーシャルメディアデータ を実際に使った再現論文をハンズオン形式で読む
• このページ上部の「🔗 関連用語」から派生概念へ
• 「📚 関連グループ教材」で横断的な学習教材へ

外部リソース

• scikit-learn 公式ドキュメント — 標準実装と例
• StatQuest with Josh Starmer (YouTube) — 直感的な統計／ML 解説
• Cross Validated (Stack Exchange) — 統計／ML の質問サイト
• arXiv — 最新の手法論文プレプリント

困ったときは

1. データの可視化（散布図、 ヒストグラム、 箱ひげ図）で異常を確認
2. サンプルサイズ・欠損・外れ値を確認
3. 仮定が満たされているか診断（正規性検定、 等分散性検定など）
4. 類似研究での標準的な手法を確認
5. 結果を複数手法でクロスチェック（頑健性確認）

📚 関連グループ教材

この用語の全体像を学ぶには、 まず横断的な教材で文脈を掴むのが効率的です：

• 📚 データエンジニアリング — このカテゴリの全体像を学ぶ
• 📚 データリテラシー — このカテゴリの全体像を学ぶ

🔗 同カテゴリの他用語