補足 - ベイズ推定
高校の数学で条件付き確率とベイズの公式というのが出てきたが、
この式だけをみるとあたりまえすぎて、何の意味があるのかわからなかった。モンティ・ホール問題などでもベイズの公式というのが出てくるが、素直に計算するのに比べて簡単になるわけでもなく、なぜ回りくどいことをするのかわからなかった。ところが「確率的発想法(小島寛之)」という本に、フィッシャーの統計的な推定方法とベイズの推定方法の違いが書いてあり、ベイズの式の意味がやっとわかった気がする。以下の説明はこの本によっている。
◇
次の例題を、フィッシャーの統計的な推定方法とベイズの推定方法の２とおりで考える。
|
真のコイン(表：裏=0.5:0.5)と偽のコイン(表：裏=0.6:0.4)があるとする。 コイントスをして、あるコインが真か偽かを見分けたい。 |
◇◇
(1)フィッシャーの方法は、まずコイントスを何度も繰り返してデータを集める。
データ：100回コイントスして51回表が出た
次に、この現象を説明するためのモデルを仮定する。
コインは真 (表：裏=0.5:0.5)
コインは偽 (表：裏=0.6:0.4)
それぞれのモデルに対して現象が起きる確率を計算する。
コインは真の場合 P(100回中51回表が出た)=0.551∙0.549≅7.9×10-31
コインは偽の場合 P(100回中51回表が出た)=0.651∙0.449≅1.5×10-31
結局、「コインは真」というモデルがもっとも確からしいので採用する。
◇◇◇
(2)ベイズの方法は、まずそれぞれのモデルに対して確率を適当に割り振る。
最初はどちらかわからないので公平に割り振ることにする。
１回目のデータ
データ：1回表が出た
を入手した上での確率
を計算したい。ここで分子は
また
だから分母は
したがって、1回表が出たというデータを入手した上での確率は
と「コインが偽」とした方が少し大きくなるのでこちらを採用する。
◇◇◇◇
しかしよく見るとこの条件付き確率は奇妙である。というのは結果「1回表が出た」を条件として原因「コインは真」の確率を推定するという通常とは逆のことをしているからである。このため
と通常のP(1回表が出た｜コインは真)を使って計算しようとすると、P(コインは真)という確率を最初に与えなければならず、しかたないので適当に値を割り振っている。
このようにいい加減な感じの方法にもかかわらず、先のフィッシャーの推定方法では、たくさんのデータを入手した後で推定したのに対して、ベイズの推定方法では、最初に適当に割り振った推定を、たった1回のデータでも活かしてアップデートすることができる。という利点がある。すなわちフィッシャー流は、農業の品種改良や工業製品の大量生産という大量のデータを集められる場面には合っているが、少数のデータで意思決定するという場面ではベイズ流が合っている。
◇◇◇◇◇
さらにベイズ推定には
・ データが得られる毎に確率をアップデートしていれば、過去のデータは忘れてよい（逐次合理性)
・ データを増やせば、最初の適当な推定にかかわらずに正しい結果に近づく。
という利点もある。このことをコインの例で確かめてみる。
データ： 1回目に表がでた次に2回目に表が出た
が得られたとして上記と同様に計算すると
ここで分子は
だから
と求められる。
ここで、１回目表が出た結果から
と確率をアップデートして、1回目のデータは忘れて2回目のデータ
データ： 1回表が出た
だけを使って計算すると、
ここで
だから
と同じ結果が得られる。すなわち、データが得られる毎に確率をアップデートしていけば、過去のデータは忘れてよい。
次に、100回分のデータが得られたとすると、もしコインが偽と仮定すると
データ：表が60回、裏が40回出た
が得られるはずである。すると
と「コインは偽」の方に7倍大きな係数がかかっているので、最初の確率の割り振りが多少はずれていても「コインが偽」という正しい結果が得られる。