補足 - ベイズ推定

[] [] []


高校の数学で条件付き確率とベイズの公式というのが出てきたが、

この式だけをみるとあたりまえすぎて、何の意味があるのかわからなかった。

その後、モンティ・ホール問題などでもベイズの公式というのが出てくるが、素直に計算するのに比べて簡単になるわけでもなく、なぜ回りくどいことをするのかわからなかった。

ところが「確率的発想法(小島寛之)」という本に、フィッシャーの統計的な推定方法とベイズの推定方法の違いが書いてあり、ベイズの式の意味がやっとわかった気がする。以下の説明はこの本によっている。

次の例題を、フィッシャーの統計的な推定方法とベイズの推定方法の2とおりで考える

真のコイン(表:裏=0.5:0.5)と偽のコイン(表:裏=0.6:0.4)があるとする。

コイントスをして、あるコインが真か偽かを見分けたい。

◇◇

フィッシャーの方法は、まずコイントスを何度も繰り返してデータを集める。

 データ:100回コイントスして51回表が出た

次に、この現象を説明するためのモデルを仮定する。

 コインは真 (表:裏=0.5:0.5)

 コインは偽 (表:裏=0.6:0.4)

それぞれのモデルに対して現象が起きる確率を計算する。

 コインは真の場合 

 コインは偽の場合 

結局、「コインは真」というモデルがもっとも確からしいので採用する。

◇◇◇

ベイズの方法は、まずそれぞれのモデルに対して確率を適当に割り振る

最初はどちらかわからないので公平に割り振ることにする。

1回目のデータ

 データ:1回表が出た

を入手した上での確率

を計算したい。ここで分子は

また

だから分母は

したがって、1回表がでたというデータを入手した上での確率は

と「コインが偽」とした方が少し大きくなるのでこちらを採用する。

◇◇◇◇

しかしよく見るとこの条件付き確率は奇妙である。というのは結果「1回表が出た」を条件として原因「コインは真」の確率を推定するという通常とは逆のことをしているからである。このため

と通常のP(1回表が出た|コインは真)を使って計算しようとすると、P(コインは真)という確率を最初に与えなければならず、しかたないので適当に値を割り振っている。

このようにいい加減な感じの方法にもかかわらず、

先のフィッシャーの推定方法では、たくさんのデータを入手した後で推定したのに対して、

ベイズの推定方法では、最初に適当に割り振った推定を、たった1回のデータでも活かしてアップデートすることができる。

という利点がある。すなわちフィッシャー流は、農業の品種改良や工業製品の大量生産という大量のデータを集められる場面には合っているが、少数のデータで意思決定するという場面ではベイズ流が合っている。

◇◇◇◇◇

さらにベイズ推定には

・データが得られる毎に確率をアップデートしていれば、過去のデータは忘れてよい(逐次合理性)

・データを増やせば、最初の適当な推定にかかわらずに正しい結果に近づく。

という利点もある。このことをコインの例で確かめてみる。

 データ: 1回目に表がでた次に2回目に表が出た

が得られたとして上記と同様に計算すると

ここで分子は

だから

と求められる。

ここで、1回目表が出た結果から

と確率をアップデートして、1回目のデータは忘れて2回目のデータ

 データ: 1回表が出た

だけを使って計算すると、

ここで

だから

と同じ結果が得られる。すなわち、データが得られる毎に確率をアップデートしていけば、過去のデータは忘れてよい。

次に、100回分のデータが得られたとすると、もしコインが偽と仮定すると

 データ:表が60回、裏が40回出た

が得られるはずである。すると

と「コインは偽」の方に7倍大きな係数がかかっているので、最初の確率の割り振りが多少はずれていても「コインが偽」という正しい結果が得られる。


[] [] []