SVM


識別関数

\( \begin{align} f(\boldsymbol{x}) &= \boldsymbol{w} \cdot \boldsymbol{\phi}(\boldsymbol{x}) + w_0 \\ &= \sum_{i=1}^{N} \alpha_i y_{data}^{(i)} K(\boldsymbol{x}, \boldsymbol{x}_{data}^{(i)}) + w_0 \\ y &= \operatorname{sgn}\left(f(\boldsymbol{x})\right) \end{align} \)
\( \begin{align} K(\boldsymbol{x}, \boldsymbol{x}') &= \boldsymbol{\phi}(\boldsymbol{x}) \cdot \boldsymbol{\phi}(\boldsymbol{x}') \\ D &= \{\boldsymbol{x}_{data}^{(i)}, y_{data}^{(i)}\}_{i=1, \cdots, N} \\ \boldsymbol{x} &= (x_1, x_2) \end{align} \)

目的関数

\( \begin{align} & \min_{\boldsymbol{w}} \frac{1}{2} \|\boldsymbol{w}\|^2 + C \sum_{i=1}^{N} \xi _i \\ & s.t. \\ & f(\boldsymbol{x}_{data}^{(i)}) \geq 1 - \xi _i, i = 1, \cdots, N, \xi _i \geq 0 \end{align} \)

評価

\( N_{error} = \sum_{i=1}^{N} 1[y_{data}^{(i)} \neq y(\boldsymbol{x}_{data}^{(i)}] \)

学習パラメータ設定

ソフトマージンパラメータ$C$:
カーネル関数$K(\boldsymbol{x}, \boldsymbol{x}')$:
線形カーネル: $\boldsymbol{x} \cdot \boldsymbol{x}'$
RBFカーネル: $\exp \left(- \frac{\|\boldsymbol{x} - \boldsymbol{x}'\|^2}{2 \sigma^2} \right)$
多項式カーネル: $\left(\boldsymbol{x} \cdot \boldsymbol{x}' + c \right)^p$

訓練データ設定

クリック時の訓練データラベル(shiftキーでも切り替え可):
正例 負例

csvファイル(1列目:x座標, 2列目y座標, 3列目: クラス(正例:1/負例:-1), #:コメント行)からデータを読み込み



学習結果