最尤推定、ベイズ推定とは何か？

機械学習を勉強していて詰まるところが、最尤推定やベイズ推定の話です。

このあたりは細かな数式や解説よりも、大雑把なイメージをつかむ方が重要だと思います。

以下、簡単にイメージを説明します。［逐次更新します］

最尤推定とは

最尤推定とは、実際のデータに一番フィットするように確率分布を決めることです。

フィットの度合いを示す指標が尤度関数で、尤度関数が最大になるところを選びます。尤度関数が最も大きいところを選ぶので最尤推定と呼ばれます。

ベイズ推定では、その確率分布に事前分布を掛け算したものを採用します。掛け算したものを事後確率分布と言います。

事前分布の形を決めているパラメータが、ハイパーパラメータです。

計算して出した確率分布から、一番確率が高いところを予測値として採用すると、点推定になります。目的変数yを確率分布ではなく値として推測しているわけです。

目的変数yを分布として推測するなら分布推定になります。

事後確率分布の最大値をとることをMAP推定といいます。

ベイズ推定では、実際のデータに基づいた分布のフィット度も大事ですし、事前分布の形も大事です。

両方を最適化する方法として、尤度関数と事前分布を積分した周辺尤度関数を計算し、これが大きくなるようにハイパーパラメータを決めます。

MAP推定に対応するのが正則化です。事前分布として正則項を入れて、実際のデータへのフィットと事前分布の両方が予測に使われます。

最も取り得る値を推定値に選ぶため、MAP推定と同じ処理になります。

パラメータを動かしても目的変数の分布が変わらないものが、特異なモデルです。ちゃんと変わるものが正則なモデルです。