パーセプトロン概論②

皆さんこんにちは。
人工知能ラボの助手です。

前回はパーセプトロンの概要について説明しました。
今回は、パーセプトロンの原理について、少し数学を交えながら
その理論を紐解いていきましょう。



パーセプトロンは、よく「分類アルゴリズムの基礎」とも呼ばれ、
与えられたデータを完全に、とまではいかなくとも
なんらかの基準を設けること最善の分割をするような手法です。

今回はトップ画像のように、
マルとバツのデータがうまく分かれるように
平面を分割する直線を決めることを目標とします。

トップ図は本来3次元で描かれるべきですが、
とたんにイメージが難しくなるため、あえて2次元のグラフで説明します。
今回も例に倣い、この直線を誤差関数を用いて
決定していきます。
今回は数値計算を用いてパラメータの修正を繰り返すような
手法を用います。



まず、初めに、以前学んだ機械学習における3ステップを
復習しておきましょう。
この3ステップは覚えておくものでしたね。

　　① パラメータを含む数式モデルを仮定
　　② パラメータを評価する基準を設定
　　③ 最も適したパラメータを決定

それでは、順に考えていきましょう。


① パラメータを含む数式モデルを仮定

今回求めたいのは分割する直線ですので、
仮定するモデルは直線の式となります。
次のようにモデルを立てましょう。


通常は、直線の式は、$y = ax + b$ の形で書きますが、
今回は $x$ と $y$ を対等に扱うために、この形にしています。

ここで、$(x,y)$ 平面を分割する直線は、

と書くことができます。

さらに、分割された領域については、$f(x,y)$の符号で判断でき、

と判断することができます。

トップ図の例だと、$f(x,y) = -10 + 3 x + 2 y$
の場合を記していますが、境界線から離れるほど
$f(x,y)$の絶対値が大きくなるということが読み取れます。




ここで、トップ図にあるように、
$t = +1$のデータが$f(x,y)>0$ の領域に、
$t = -1$のデータが$f(x,y)<0$ の領域に
分類されていることが目標です。

押さえておきたいポイントとしては、
各データはそれぞれ、$(x,y,t)$ の3つの値を持っています。

このとき与えられたデータ $\bigl\{x_n , y_n , t_n\bigr\}_{n=1}^N$ について

とすることで分類の正しさを判定できます。
このポイントは、$t_n = \pm\ 1$の
いずれのデータについても、このルールで判定できることです。

先ほども説明しましたが、今回は全ての$(x_n , y_n ,t_n)$について、
上記のルールを満たすような直線、
つまりパラメータ$(ω_0 , ω_1 , ω_2)$を決定することが目標となります。
そして、これを実現するために、パラメータの評価基準を設定します。



② パラメータを評価する基準を設定

パラメータの評価基準として、
正しく分類できなかった点のみに着目し、誤差とします。

この誤差は言い換えると、
誤って分類したものに対するペナルティとしてみなし、
ペナルティの合計値が小さくなるように直線を引き直す
ということを繰り返していきます。

トップ図にあるように、境界線から離れるほど
$f(x,y)$の絶対値が大きくなるという特徴を利用して、
$n$番目の点に対して、次のように表現します。


すなわち、ペナルティの合計値は以下のようになります。


もう一度注意ですが、この誤差$E$はあくまで
誤って分類された点、つまり


に限った和です。
誤って分類されたとしても、
境界線に近い点であればペナルティは小さいですし、
境界線から遠い点であればもちろん、誤差に及ぼすペナルティは大きくなります。

さらに、誤って分類された点については、
$f(x,y) × t_n < 0$　が成り立つため、
以下の関係式が成り立ちます。


つまり、右辺は負のものにマイナスをかけているため、
左辺の絶対値記号を使わずに、ペナルティが表せるのですね。

以上より、誤差$E$は次のように表すことができます。


また、ベクトル表記で、
とすれば
と表すことができます。

これを最小にするようなパラメータ $\mathbf{ω}$ を決めていきます。
これがパラメータの基準を設定したということになります。



さあ、かなり長く数学と戦ってきましたが、
みなさん、どうでしょうか。

なかなか難しい部分もあるとは思いますが、
一緒に頑張っていきましょう。

次回はこの続き、
③最も適したパラメータを決定
について説明していきます。

みなさん、お疲れさまでした！