ベイズ統計学


ベイズの定理

ベイズの定理Bayes’ theoremとは。イギリスの牧師トーマス・ベイズが条件付き確率に関して成り立つとして示した定理です。

P(B|A) = 事象 A が起きた後での事象 B の確率:事後確率(posterior probability),条件付き確率(conditional probability)

P(A) = 事象 A が発生する確率:事前確率 (prior probability)

P(A|B) = 事象 B が起きた後での事象 A の確率:尤度 ゆうど

P(B) = 事象 A が起きる前の事象 B の確率:事前確率 (prior probability)

ピエール=シモン・ラプラスPierre-Simon Laplaceによってその存在が広く認識されるようになりました。


ベイズ推定

ベイズ推定Bayesian inferenceとは、観測された事象から、推定したい事象を、確率として推論することです。

P(A|X) = 事象 X が発生した下で、事象 A が発生する条件付き確率:事後確率 (posterior probability)

ベイズ確率(ベイジアン)の考え方では、A を定数とする必要はなく、確率変数としてよい主観確率です。

主観確率分布 P(A) に、係数 P(X|A) / P(X) を掛けることにより、証拠 X を加味して、より客観性の高い確率分布 P(A|X) を求めることと解釈できます。

確率分布をより客観的にする方法(ベイズ改訂)を利用して、A を推定する方法が、ベイズ推定です。

新たな証拠が加えられれば、事後確率を新たに事前確率として扱い、ベイズ改訂を繰り返すことができます。

正統派の統計学は、母数 a を定数と仮定した上で造り上げられたため、理論上のものでした。

ベイズ推定は人間の思考の過程をモデル化したものとも考えられ、人間の思考様式になじみます。


計算統計学

マルコフ連鎖モンテカルロ法(MCMC法)Markov chain Monte Carlo methodsとは、求める確率分布を均衡分布として持つマルコフ連鎖を作成することをもとに、確率分布のサンプリングを行うアルゴリズムの総称です。主なものに以下のものがあります。
・ハミルトニアンモンテカルロ法
・メトロポリスヘイスティングス (M-H, Metropolis–Hastings)アルゴリズム
・ギブスサンプリング
・ランダムウォーク

ブートストラップ法 bootstrap methodとは、モンテカルロ法の一つ。標本から標本を再抽出することで、母集団の性質を推定します。

EMアルゴリズム expectation–maximization algorithmとは、反復法の一種。不完全データの問題を完全データのフレームワークで逐次的にパラメーターの最尤推定量を求めます。


AIと機械学習:深層学習

ベイズ推定と同様に限られた情報により世界観を形作っていき、追加情報で更新していくのが仮説実験OODAループです。

OODA:教育・学習の方法論」については、こちらを参照ください。

ベイズ推定そして計算統計学を基盤としているのが人工知能の深層学習です。

深層学習」の詳細については、こちらを参照ください。

 


著者:アイ&カンパニー
脚注:本論文はフィードバックに基づき随時、更新しております。
出典:本論文の参考文献こちらを参照ください。
© 2016,2017,2018  I & COMPANY or its affiliates. All rights reserved.

お問い合わせは、こちら