0:00
人工知能ラボの助手です。
前回は回帰分析ステップ②の前半として、
パラメータの決定とは何を意味するかを中心に説明しました。
今回は予測モデルが厳密にデータにフィットしない、
いわゆる実用的な話をしていこうと思います。
おさらいですが、
②パラメータを評価する基準を設定する
とは、関数の関係を推測するという本来の目的において
「何をもって推測できたとするか」
というゴールの設定でした。
そして、実際に回帰分析を行う上で、
すべてのデータに完全にフィットするようなモデルは
「過学習」という状態であることがほとんどで、
良い回帰分析ではないということも説明しましたね。
つまり、予測モデルと得られたデータには必ず誤差があるということを
認識していただけたのではないかと思います。
それでは誤差がある場合、
パラメータを決定するにはどうすればいいでしょうか。
直感的に考えてみると、完全にデータにフィットはしなくても
ある程度はデータに沿ったモデルを描けていることが重要だということは
お気づきではないでしょうか。
そこで用いる考え方は最小二乗法というものになります。
この最小二乗法は以下の手順のように進めていきます。
① モデルとデータとの誤差をそれぞれ算出する。
② 算出した誤差を二乗し、すべて足し合わせる。(二乗誤差と呼ぶ)
③ 二乗誤差が最も小さくなるようにパラメータを決定する。
この手順を踏むことにより、
モデルとデータの誤差が最も小さくなるようなパラメータを決定する
ことができるわけなのです。
今回は、モデルを f(x)、
得られた各データの座標を (xi,yi) とします。
(n個のデータがあるとして、i=1,2,…,n)
上記の手順通りに進めると、
モデルとデータとの誤差は以下の通りになります。
となり、まとめて書くと
この二乗誤差が最小になるようにパラメータを決定することで
最適なモデルを決定することができるのです。
つまり、②パラメータを評価する基準を設定する では、
二乗誤差を最小にするようなパラメータがゴールである
という基準を設定することができました。
あとは、実際に計算あるのみ、というわけですね！
最後に1つ、補足をしておきましょう。
なぜ誤差を2乗したのか、みなさんはお気づきでしょうか。
上記の誤差は、得られたデータのyの値から
モデルを値を引くことで誤差としています。
では、モデルの値の方がデータよりも大きい場合、どうなるでしょうか。
これは負の値になってしまいますね。
これだと、差はとても大きいはずなのに、 誤差が負の値を取るため
最小になるように～ といったアプローチができません。
つまり、誤差が必ず正の値を取るようにするために、
二乗していたわけなのです。
今回は少し踏み込んで説明をしたため、数式なども登場して
やや難しいと感じたかもしれません。
最小二乗法は、あらゆる場所で使われている手法ですので、
是非、検索などをしていろいろな情報を探してみてください。
さあ、いよいよ次回は
ステップ③ 最も適したパラメータを決定
を説明します。
少しずつゴールに近づいているので、
あと1歩、一緒に頑張りましょう！