機械学習を勉強していて詰まるところが、最尤推定やベイズ推定の話です。
このあたりは細かな数式や解説よりも、大雑把なイメージをつかむ方が重要だと思います。
以下、簡単にイメージを説明します。[逐次更新します]
最尤推定とは
最尤推定とは、実際のデータに一番フィットするように確率分布を決めることです。
フィットの度合いを示す指標が尤度関数で、尤度関数が最大になるところを選びます。尤度関数が最も大きいところを選ぶので最尤推定と呼ばれます。
ベイズ推定とは
ベイズ推定では、その確率分布に事前分布を掛け算したものを採用します。掛け算したものを事後確率分布と言います。
事前分布の形を決めているパラメータが、ハイパーパラメータです。
計算して出した確率分布から、一番確率が高いところを予測値として採用すると、点推定になります。目的変数yを確率分布ではなく値として推測しているわけです。
目的変数yを分布として推測するなら分布推定になります。
MAP推定とは
事後確率分布の最大値をとることをMAP推定といいます。
ベイズ推定では、実際のデータに基づいた分布のフィット度も大事ですし、事前分布の形も大事です。
両方を最適化する方法として、尤度関数と事前分布を積分した周辺尤度関数を計算し、これが大きくなるようにハイパーパラメータを決めます。
MAP推定に対応するのが正則化
MAP推定に対応するのが正則化です。事前分布として正則項を入れて、実際のデータへのフィットと事前分布の両方が予測に使われます。
最も取り得る値を推定値に選ぶため、MAP推定と同じ処理になります。
パラメータを動かしても目的変数の分布が変わらないものが、特異なモデルです。ちゃんと変わるものが正則なモデルです。