🔖 キーワード索引

このページで扱う主要キーワード（クリックで該当セクションへ）：

🎨 直感で掴む

連続最適化は、 決定変数が 連続実数 である最適化問題を扱う分野です。 「最小二乗で回帰係数を決める」「最尤推定でパラメータを当てはめる」「ニューラルネットの重みを学習する」のは、 すべて連続最適化問題です。

対比として 組合せ最適化は決定変数が 0/1 や順列などの離散値、 たとえば「都道府県をどの 3 クラスタに分けるか」のような問題を扱います。 連続最適化は微分・凸性という強力な道具立てが使えるため、 数値解法は概して洗練されています。

SSDSE の例で言えば、 「県内総生産を 人口、 就業者数、 大学数で説明する線形回帰」は、 47 個の県データに対する 4 個の連続パラメータの最適化問題です。

📐 数式・定義

もっとも基本的な連続最適化問題は、 制約なし最小化：

解の必要条件は KKT (Karush-Kuhn-Tucker) 条件：

代表的な数値解法：

🔬 数式・概念を言葉で読み解く

連続最適化を支える概念を整理します。

🧮 実値で計算してみる（SSDSE-B-2026）

🐍 Python 実装

例 1：scipy.optimize.minimize で非凸関数を解く

import numpy as np
from scipy.optimize import minimize

def rosenbrock(x):
    return (1 - x[0])**2 + 100*(x[1] - x[0]**2)**2

res = minimize(rosenbrock, x0=[-1.2, 1.0], method='BFGS')
print(res.x, res.fun)

例 2：cvxpy で制約付き凸最適化（凸 QP）— SSDSE の制約付き回帰

import pandas as pd, numpy as np
import cvxpy as cp

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)

x = df['総人口'].astype(float).to_numpy()/1e6
y = df['県内総生産'].astype(float).to_numpy()/1e12  # 兆円
n = len(x)
X = np.column_stack([np.ones(n), x])

beta = cp.Variable(2)
obj = cp.Minimize(cp.sum_squares(X @ beta - y))
cons = [beta[1] >= 0]                # 「傾きは非負」という制約
prob = cp.Problem(obj, cons)
prob.solve()
print('係数:', beta.value, '残差^2:', prob.value)

例 3：scikit-learn で正則化付き回帰（連続凸最適化の代表）

from sklearn.linear_model import Ridge

X_full = df[['総人口','15歳未満人口','15〜64歳人口','65歳以上人口']].astype(float).to_numpy()
model = Ridge(alpha=1.0)
model.fit(X_full, df['県内総生産'].astype(float))
print('回帰係数:', model.coef_)
print('切片:', model.intercept_)

例 4：勾配降下を手書きで（線形回帰）

import numpy as np
x = df['総人口'].astype(float).to_numpy()/1e6
y = df['県内総生産'].astype(float).to_numpy()/1e12
X = np.column_stack([np.ones_like(x), x])
theta = np.zeros(2)
eta = 1e-3
for k in range(2000):
    grad = X.T @ (X @ theta - y) / len(y)
    theta -= eta * grad
print('GD 解:', theta)

📂 ケーススタディ・追加実装例

ケース 1：線形回帰 = 凸 2 次計画

最小二乗問題：

これは凸 2 次計画 (QP) で、 解析解が存在します。

ケース 2：ロジスティック回帰 = 凸最尤

負の対数尤度を最小化：

勾配は閉形ではないが凸なので、 Newton-Raphson や IRLS で大域最適に収束。

ケース 3：SVM = 凸 QP（双対形）

ケース 4：LASSO = 凸非滑らか最適化

$\|\cdot\|_1$ が非滑らかなので、 座標降下法・近接勾配法 (ISTA/FISTA) を使う。

ケース 5：ニューラルネット = 非凸連続最適化

重み $W$ について損失 $L(W)$ が高度に非凸。 Adam・AdamW・SGD with momentum が標準。 局所最適より サドル点が問題 という研究もある。

ケース 6：実 SSDSE で勾配降下を試す

import pandas as pd, numpy as np
df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)
X = df[['総人口']].astype(float).to_numpy() / 1e6
y = df['県内総生産'].astype(float).to_numpy() / 1e12
X = np.hstack([np.ones_like(X), X])
theta = np.zeros(2)
for k in range(5000):
    grad = X.T @ (X @ theta - y) / len(y)
    theta -= 0.005 * grad
    if k % 1000 == 0:
        loss = ((X @ theta - y) ** 2).mean()
        print(f'iter {k}: loss={loss:.4f}, theta={theta}')

🪜 ステップバイステップ チュートリアル

チュートリアル：SSDSE で「制約付き回帰」を凸最適化として解く

ステップ 1：問題設定

$y$ = 県内総生産（兆円）、 $x_1$ = 総人口（百万人）、 $x_2$ = 65歳以上人口割合（%）。 回帰モデル $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2$。 「$\beta_1$（人口係数）は非負」 という業務制約を加える。

ステップ 2：cvxpy で定式化

import pandas as pd, numpy as np
import cvxpy as cp

df = pd.read_csv('data/raw/SSDSE-B-2026.csv', encoding='shift_jis')
df.columns = df.iloc[0]
df = df.iloc[1:].reset_index(drop=True)
df = df[df['年度']=='2023'].reset_index(drop=True)
df['総人口'] = df['総人口'].astype(int)
df['65歳以上人口'] = df['65歳以上人口'].astype(int)
df['県内総生産'] = df['県内総生産'].astype(int)
df['65歳以上比率'] = df['65歳以上人口'] / df['総人口'] * 100

n = len(df)
X = np.column_stack([np.ones(n),
                     df['総人口'].to_numpy()/1e6,
                     df['65歳以上比率'].to_numpy()])
y = df['県内総生産'].to_numpy()/1e12

beta = cp.Variable(3)
obj = cp.Minimize(cp.sum_squares(X @ beta - y))
cons = [beta[1] >= 0, beta[1] <= 10]    # 業務知識からの制約
prob = cp.Problem(obj, cons)
prob.solve()
print('係数:', beta.value)
print('残差二乗和:', prob.value)

ステップ 3：KKT 条件の確認

grad = 2 * X.T @ (X @ beta.value - y)
# beta[1] が制約境界に当たっていれば、 対応するラグランジュ乗数 > 0
for i, c in enumerate(cons):
    print(f'制約 {i} 双対変数:', c.dual_value)

ステップ 4：制約あり vs なし比較

unc, *_ = np.linalg.lstsq(X, y, rcond=None)
print('無制約解:', unc)
print('制約解:', beta.value)
# 残差・予測精度・解釈を比較

ステップ 5：感度分析

各係数を ±10% 動かしたときの残差変化を計算。 ラグランジュ乗数は「制約を 1 単位緩めたときの目的改善」を示す。

🚀 現場での応用シナリオ（8 例）

応用 1：機械学習の学習

$\min_\theta L(\theta)$ — 損失 $L$ を連続パラメータ $\theta$ について最小化。 線形回帰・ロジスティック・SVM・NN すべて。

応用 2：ポートフォリオ最適化

Markowitz の平均-分散最適化。 凸 QP。 制約付き SSDSE 県別投資配分にも応用可。

応用 3：最尤推定

$\hat\theta = \arg\max \log p(D|\theta)$ — 統計推定の中核は連続最適化。

応用 4：強化学習の方策勾配

REINFORCE、 PPO、 SAC — 報酬期待値を最大化する連続パラメータ最適化。

応用 5：ニューラルアーキテクチャ探索 (NAS)

勾配ベース NAS（DARTS）は連続最適化として定式化。

応用 6：制御工学

LQR・MPC — 二次形コスト最小化の連続制御。 自動運転・ロボット制御。

応用 7：構造最適化

建築・機械部品の質量最小化、 強度制約付き。 SQP / 内点法。

応用 8：エネルギーグリッド

発電配分の凸最適化。 LP / QP / 確率計画。

🏋️ 演習問題（8 題）

1. SSDSE-B-2026 で「総人口 → 県内総生産」 の線形回帰を、 numpy.linalg.lstsq で解け。
2. 同じ問題を scipy.optimize.minimize（BFGS）で解き、 解析解と比較せよ。
3. 切片を 0 に固定した「制約付き回帰」 を cvxpy で解け。
4. 勾配降下法を手書きで実装し、 学習率を 0.001, 0.01, 0.1 で振った結果を比較せよ。
5. Adam optimizer を numpy で実装し、 同じ問題に適用せよ。
6. Rosenbrock 関数 (1-x)² + 100(y-x²)² を 5 種類の手法で最小化し、 反復数を比較せよ。
7. LASSO 回帰 (L1 正則化) を ISTA で実装せよ。 sklearn の Lasso と比較。
8. Ridge 回帰の閉形式解 $(X^TX + \lambda I)^{-1}X^T y$ を numpy で書け。

🗺 学習ロードマップ

1. レベル 1 — 関数の最小値・最大値、 1 次微分による停留点。
2. レベル 2 — 多変数の偏微分、 勾配ベクトル、 ヘッセ行列。
3. レベル 3 — 凸性の判定、 KKT 条件、 ラグランジュ乗数。
4. レベル 4 — 勾配降下、 Newton 法、 BFGS。 SciPy/CVXPY の API。
5. レベル 5 — 確率的勾配降下 (SGD)、 Adam、 学習率スケジュール、 NN の学習。
6. レベル 6 — 双対性、 内点法、 SDP、 ADMM、 Frank-Wolfe、 鞍点問題、 ミニマックス最適化。

📊 比較表（兄弟手法・選択肢）

主要解法の比較

📖 用語ミニ辞典

🍳 コードレシピ（コピペ用 15 連発）

from scipy.optimize import minimize
res = minimize(f, x0, method='BFGS')

minimize(f, x0, jac=grad_f, method='Newton-CG')

minimize(f, x0, jac=grad_f, hess=hess_f, method='trust-ncg')

minimize(f, x0, constraints=[{'type':'ineq', 'fun': g}])

minimize(f, x0, bounds=[(0,1),(0,5)], method='L-BFGS-B')

import cvxpy as cp
x = cp.Variable(); prob = cp.Problem(cp.Minimize(cp.square(x-3))); prob.solve()

beta, *_ = np.linalg.lstsq(X, y, rcond=None)

from sklearn.linear_model import Ridge
Ridge(alpha=1.0).fit(X, y)

from sklearn.linear_model import Lasso
Lasso(alpha=0.1).fit(X, y)

from sklearn.linear_model import LogisticRegression
LogisticRegression().fit(X, y)

import jax; grad_f = jax.grad(f)

opt = torch.optim.Adam(model.parameters(), lr=1e-3)

from scipy.optimize import linprog
res = linprog(c, A_ub=A, b_ub=b)

for k in range(N):
    x -= np.linalg.solve(hess_f(x), grad_f(x))

if np.linalg.norm(grad) < tol: break

⚠️ よくある落とし穴

❓ よくある質問（FAQ）

📜 歴史と背景

歴史と位置づけ：連続最適化は 17 世紀の微積分（Newton, Leibniz）にまで遡りますが、 現代的な体系化は 20 世紀。 主な節目：

• 1947 Dantzig が 線形計画法（LP）のシンプレックス法を提案
• 1951 Kuhn-Tucker（後の Karush-Kuhn-Tucker）が制約付き最適化の必要条件を整理
• 1970 年代 Fletcher, Powell らによる BFGS 法などの準ニュートン法
• 1979 Khachiyan が LP の楕円体法で多項式時間を達成（理論的衝撃）
• 1984 Karmarkar が内点法で実用的多項式時間 LP を実現
• 1990 年代 半正定値計画 (SDP)、 内点法の凸最適化への拡張
• 2000 年代以降 機械学習の文脈で確率的勾配降下 (SGD)・Adam・Adagrad 等が爆発的に発展

機械学習・統計の 学習は事実上すべて連続最適化問題で、 損失関数の最小化として定式化されます。 凸最適化（Boyd & Vandenberghe, 2004）は本分野の標準教科書。

🌐 関連手法・派生・対概念

🔗 関連用語（前提・並列・発展）

📘 前提となる用語

🤝 並列・関連する用語

🚀 発展・応用

📚 関連グループ教材

このページの内容を、より広い文脈で学びたいときは：

• 📚 数理最適化 — 連続・離散・確率最適化を貫く視点
• 📚 機械学習の基礎 — 学習＝最適化、 という観点で全体像
• 📚 統計推定 — 最尤・ベイズと最適化の関係

🗺 概念マップ

連続最適化を中心とした「学習＝最適化」の構図：

  ［損失/負尤度］─ 最小化 ─► ［パラメータ］
        ▲                         │
        │                         ▼
   ［データ］──────────► ［勾配/ヘッセ］
                                  │
                                  ▼
              （勾配降下／ニュートン／BFGS／SGD／Adam）

   凸 ←─ 線形回帰・ロジスティック・SVM（線形）・LASSO・Ridge ─→ 大域最適
   非凸 ←─ NN・混合モデル・EM・GAN ─→ 局所最適 + 複数初期値

📚 参考文献・出典

• Boyd, S., Vandenberghe, L. (2004). Convex Optimization. Cambridge UP.
• Nocedal, J., Wright, S. (2006). Numerical Optimization. Springer.
• Bertsekas, D. (2016). Nonlinear Programming. Athena Scientific.
• Karmarkar, N. (1984). A new polynomial-time algorithm for linear programming. Combinatorica, 4, 373-395.