転移学習 | 用語解説

🔖 キーワード索引

「転移学習」を取り巻く中核キーワード群です。検索やインデックス作成で参照する際の手がかりにしてください。各キーワードは関連する概念・手法・道具立てを含み、文献検索や学習計画の起点になります。

転移学習事前学習ファインチューニングドメイン適応ImageNetBERT凍結feature extraction

💡 30秒で分かる結論 — 転移学習

最も忙しい読者のために、まず結論だけまとめます。詳細は以下のセクションへ：

転移学習＝あるタスクで学習したモデルを 別のタスクに転用 する手法。ゼロから学習しないので少データ・短時間で高精度。
典型：ImageNet 事前学習 CNN → 医療画像分類。 BERT → 感情分析。
戦略 3 つ：(1) 特徴抽出（凍結＋線形層）、 (2) ファインチューニング（一部または全層を更新）、 (3) プロンプト（LLM）。
前提：ソースタスクとターゲットタスクが類似。「医療画像 → 衛星画像」のような遠いドメインは効果薄。
現代では ほぼすべての実用モデルが転移学習ベース。ゼロから学習するのは稀。

📍 文脈 — どこで出会うか

「データが 1000 枚しかないけど画像分類したい」 — ImageNet で学習済みの ResNet をベースに、最後の層だけ自分のクラスに合わせて再学習。これが転移学習の最頻パターン。

このページの読み方：まず 30秒結論と直感を読み、必要に応じて数式や計算例、落とし穴に進んでください。

🎨 直感で掴む

人間の学習でも転移は起きます：

自転車に乗れる人はバイクの習得が速い（バランス感覚を転移）
英語ができる人はドイツ語の習得が速い（文法構造を転移）

機械学習も同様。「画像とは何か」「文章とは何か」を一度学んだモデルは、新タスクで 基礎部分 を流用できます。

📐 定義・数式

【転移学習の枠組み】

$$\theta_{\text{target}} = \arg\min_{\theta} \mathcal{L}_{\text{target}}(\theta) \quad \text{init from } \theta_{\text{source}}$$

ソースタスクで学んだパラメータを初期値に、ターゲットタスクで微調整

🔬 記号・要素の読み解き

ソースタスク: 事前学習で解いていたタスク。 ImageNet 分類、次単語予測など。
ターゲットタスク: 本当に解きたいタスク。通常データ量が少ない。
凍結 (freeze): 事前学習層の重みを固定し、上に乗せる層だけ学習。高速、過学習に強い。
ファインチューニング: 一部または全層を低い学習率で再学習。精度高い、過学習注意。
LoRA: 低ランク行列を挿入してそこだけ学習。巨大 LLM に有効。

🧮 実値で計算してみる

BERT を感情分析に転移する典型手順：

bert-base-uncased をロード（事前学習済み、 110M params）
最終層に分類ヘッド（線形層）を追加
感情分析データセット（10K サンプル）でファインチューニング 3 epoch
学習率は 2e-5 程度（小さく）
ゼロから学習した場合より 10-30 ポイント 精度向上が一般的

🐍 Python での扱い

最小再現コード。 SSDSE-B のような実データを前提に、 4〜8 行で動く例です：

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch
m = AutoModelForSequenceClassification.from_pretrained('bert-base-multilingual-cased', num_labels=3)
tok = AutoTokenizer.from_pretrained('bert-base-multilingual-cased')
# ヘッド以外を凍結する例
for p in m.bert.parameters():
    p.requires_grad = False
print('trainable:', sum(p.numel() for p in m.parameters() if p.requires_grad))

補足：ライブラリのバージョンや前処理状態によって出力は変わります。自分の環境で動かすときは pip list でバージョンを確認し、入力 CSV のパス・列名を実態に合わせてください。

⚠️ よくある落とし穴

転移学習を実務で扱うとき、多くの分析者が同じところでつまずきます。代表的な失敗パターンを先回りで押さえておくと、後工程のトラブルを大幅に減らせます。

❌ ドメインギャップ

自然画像で学習したモデルを医療超音波に転移 → 効果薄い場合あり。ドメインの近さを評価。

❌ 過学習

ターゲットデータが少ないと事前学習層を update しすぎると忘却。凍結 or 低学習率を。

❌ 負の転移 (Negative Transfer)

似ていないタスクでは性能低下。ベースラインと比較を。

❌ ライセンス

事前学習モデルの利用規約は要確認。商用利用不可のものも。

❌ 出力分布の差

事前学習データと本番データの統計差で精度低下（covariate shift）。

※ 上記は文献調査・現場経験で報告される頻度の高い注意点。ドメインや手法のバージョンによって追加の落とし穴がある場合があります。

🌐 関連手法・派生

ドメイン適応 (Domain Adaptation)：ソース/ターゲットでラベル空間が同じ場合
マルチタスク学習：複数タスクを同時学習
Few-shot / Zero-shot：極少データでの転移
LoRA / Prefix Tuning：パラメータ効率的なファインチューニング
Continual Learning：新タスク学習中も旧タスクを忘れない

❓ よくある質問

Q1. 「転移学習」を学ぶ前提知識は？

分野（深層学習）の基本概念を一通り押さえておくと理解が早いです。不明な用語が出てきたら、各リンクから前提の用語ページを参照してください。数式が出てくる場合は中学〜高校レベルの代数と、必要なら微分・確率の基礎が役立ちます。

Q2. 数式が分からなくても使える？

多くの場合「直感」と「Python での扱い」を理解すれば実務で使えます。ただし 落とし穴 セクションの内容は数式の意味と紐づくため、余裕があれば数式も眺めてみてください。

Q3. 関連する手法・概念は？

関連用語セクションを参照してください。並列概念（兄弟）、前提（必要知識）、発展（次に学ぶべき）の 3 種類で整理してあります。

Q4. レポート・論文での書き方は？

数値だけでなく、 (1) 使ったデータの出典、 (2) 適用条件の確認結果、 (3) 不確実性（CI・SE）、 (4) 限界、を含めるのが標準です。実務チェックリストも参考に。

Q5. 業務以外の身近な例は？

本ページの直感で掴むセクションに具体例があります。自分の関心領域（趣味・専門）でも例を考えてみると、理解が深まります。

📜 ひとことヒストリー

転移学習は「深層学習」分野の中で発展してきた概念・手法です。学術的には継続的な研究で精緻化され、実務的にはツール・ライブラリの普及で誰でも使えるようになってきました。用語の使い方・意味は時代と分野で少しずつ変わるため、文脈に応じた解釈が大切です。入門書だけでなく、標準的な教科書（例：データサイエンス・統計学の定本）や信頼できるオンライン教材も併用すると、ぶれない理解に近づけます。

✅ 実務チェックリスト — 転移学習

□ 用語の定義を自分の言葉で説明できるか
□ 使うべき場面と使ってはいけない場面を区別できているか
□ 数式や指標の前提条件を確認したか
□ 入力データの尺度・分布・サンプル数を確認したか
□ 結果の不確実性（信頼区間・標準誤差）を把握しているか
□ 解釈と限界を区別できているか
□ 関連用語・落とし穴を一通り点検したか
□ レポートに必要な情報（出典・前提・限界）を含められるか

📚 関連グループ教材

「転移学習」は単独で完結する概念ではなく、より大きな分野の一部です。上位カテゴリの教材を読むことで、この用語の 位置づけ が立体的に見えてきます：

📚 深層学習 — このカテゴリの体系的解説

💡 学習のコツ：用語ページは「点」、グループ教材は「線」、概念マップは「面」。行き来することで知識が定着します。

🎯 まとめ — このページで押さえること

「転移学習」 はこのページで詳しく扱った概念です。持ち帰ってほしい 3 つの要点：

転移学習＝あるタスクで学習したモデルを 別のタスクに転用 する手法。ゼロから学習しないので少データ・短時間で高精度。
典型：ImageNet 事前学習 CNN → 医療画像分類。 BERT → 感情分析。
戦略 3 つ：(1) 特徴抽出（凍結＋線形層）、 (2) ファインチューニング（一部または全層を更新）、 (3) プロンプト（LLM）。

さらに学ぶには、関連用語や関連グループ教材を参照してください。各用語ページを縦断的に読むことで、体系的な理解が育ちます。