目录

贝叶斯

贝叶斯分类器

贝叶斯定理(定理的研究方向与意义 贝叶斯定理的应用)

贝叶斯统计

名片

贝叶斯 Thomas Bayes，英国数学家.1702年出生于伦敦，做过神甫.1742年成为英国皇家学会会员.1763年4月7日逝世.贝叶斯在数学方面主要研究概率论.他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用.贝叶斯的另一著作《机会的学说概论》发表于1758年.贝叶斯所采用的许多术语被沿用至今.

他对统计推理的主要贡献是使用了"逆概率"这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。

目录

贝叶斯

贝叶斯分类器

贝叶斯定理

贝叶斯统计

贝叶斯

贝叶斯

英国数学家.1702年出生于伦敦，做过神甫.1742年成为英国皇家学会会员.1763年4月7日逝世.贝叶斯在数学方面主要研究概率论.他首先将归纳推理法用于概率论基础理论，并创立了贝叶斯统计理论，对于统计决策函数、统计推断、统计的估算等做出了贡献.1763年发表了这方面的论著，对于现代概率论和数理统计都有很重要的作用.贝叶斯的另一著作《机会的学说概论》发表于1758年.贝叶斯所采用的许多术语被沿用至今.

贝叶斯分类器

贝叶斯分类器是在具有模式的完整统计知识条件下，按照贝叶斯决策理论进行设计的一种最优分类器。

贝叶斯定理

贝叶斯定理也称贝叶斯推理，人们根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类推理称为概率推理。

贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1761)曾提出计算条件概率的公式用来解决如下一类问题：假设H[,1],H[,2]…互斥且构成一个完全事件，已知它们的概率P(H[,i],i=1,2,…，现观察到某事件A与H[,1],H[,2]…相伴随而出现，且已知条件概率P(A/H[,i])，求P(H[,i]/A)。

贝叶斯公式（发表于1763年）为：P(H[,i]/A)=P(H[,i])P(A│H[,i])/[P(H[,1])P(A│H[,1])P(H[,2])P(A│H[,2])…]

这就是著名的“贝叶斯定理”，一些文献中把P(H[,1])、P(H[,2])称为基础概率，P(A│H[,1])为击中率，P(A│H[,2])为误报率[1]。

定理的研究方向与意义

人们根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类推理称为概率推理。概率推理既是概率学和逻辑学的研究对象，也是心理学的研究对象，但研究的角度是不同的。概率学和逻辑学研究的是客观概率推算的公式或规则；而心理学研究人们主观概率估计的认知加工过程规律。贝叶斯推理的问题是条件概率推理问题，这一领域的探讨对揭示人们对概率信息的认知加工过程与规律、指导人们进行有效的学习和判断决策都具有十分重要的理论意义和实践意义。

贝叶斯定理的应用

贝叶斯定理用于投资决策分析是在已知相关项目B的资料，而缺乏论证项目A的直接资料时，通过对B项目的有关状态及发生概率分析推导A项目的状态及发生概率。如果我们用数学语言描绘，即当已知事件Bi的概率P（Bi）和事件Bi已发生条件下事件A的概率P（A│Bi），则可运用贝叶斯定理计算出在事件A发生条件下事件Bi的概率P（Bi│A）。按贝叶斯定理进行投资决策的基本步骤是：

1、列出在已知项目B条件下项目A的发生概率，即将P（A│B）转换为P（B│A）；

2、绘制树型图；

3、求各状态结点的期望收益值，并将结果填入树型图；

4、根据对树型图的分析，进行投资项目决策；

搜索巨人Google和Autonomy，一家出售信息恢复工具的公司，都使用了贝叶斯定理（Bayesianprinciples）为数据搜索提供近似的（但是技术上不确切）结果。研究人员还使用贝叶斯模型来判断症状和疾病之间的相互关系，创建个人机器人，开发能够根据数据和经验来决定行动的人工智能设备。

贝叶斯统计

英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中，提出了一种归纳推理的理论，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯方法是惟一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到20世纪30年代。到50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩大。

先验分布 它是总体分布参数θ的一个概率分布。贝叶斯学派的根本观点，是认为在关于θ的任何统计推断问题中,除了使用样本X所提供的信息外，还必须对θ规定一个先验分布，它是在进行推断时不可或缺的一个要素。贝叶斯学派把先验分布解释为在抽样前就有的关于θ的先验信息的概率表述，先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。例如，某甲怀疑自己患有一种疾病A,在就诊时医生对他测了诸如体温、血压等指标,其结果构成样本X。引进参数θ：有病时,θ=1;无病时,θ=0。X的分布取决于θ是0还是1,因而知道了X有助于推断θ是否为1。按传统（频率）学派的观点,医生诊断时,只使用X提供的信息;而按贝叶斯学派观点,则认为只有在规定了一个介于0与1之间的数p作为事件{θ=1}的先验概率时，才能对甲是否有病（即θ是否为1）进行推断。p这个数刻画了本问题的先验分布,且可解释为疾病A的发病率。先验分布的规定对推断结果有影响，如在此例中，若疾病A的发病率很小,医生将倾向于只有在样本X显示出很强的证据时,才诊断甲有病。在这里先验分布的使用看来是合理的，但贝叶斯学派并不是基于 “p是发病率”这样一个解释而使用它的，事实上即使对本病的发病率毫无所知，也必须规定这样一个p，否则问题就无法求解。

后验分布 根据样本 X 的分布Pθ及θ的先验分布π(θ)，用概率论中求条件概率分布的方法,可算出在已知X=x的条件下,θ的条件分布 π(θ|x)。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯学派认为:这个分布综合了样本X及先验分布π(θ)所提供的有关的信息。抽样的全部目的，就在于完成由先验分布到后验分布的转换。如上例,设p=P(θ=1)=0.001,而π(θ=1|x)=0.86,则贝叶斯学派解释为：在某甲的指标量出之前,他患病的可能性定为0.001，而在得到X后,认识发生了变化：其患病的可能性提高为0.86，这一点的实现既与X有关，也离不开先验分布。

计算后验分布的公式本质上就是概率论中著名的贝叶斯公式(见概率)，这公式正是上面提到的贝叶斯1763年的文章的一个重要内容。

推断方法 贝叶斯推断方法的关键在于所作出的任何推断都必须也只须根据后验分布π(θ│X),而不能再涉及X的样本分布Pθ。例如，在奈曼－皮尔逊理论（见假设检验）中,为了确定水平α的检验的临界值C，必须考虑X的分布Pθ，这在贝叶斯推断中是不允许的。

但贝叶斯推断在如何使用π(θ│X)上,有一定的灵活性,例如为作θ的点估计,可用后验分布密度h(θ|X)关于θ的最大值点,也可以用π(θ|X)的均值或中位数(见概率分布)等。为作θ的区间估计,可以取区间【A(X)，B(X)】，使π(A(X)≤θ≤B(X)│X)等于事先指定的数1-α(0<α<1),并在这个条件下使区间长度B(X)-A(X)最小。若要检验关于θ的假设H:θ∈ω,则可以算出ω的后验概率 π(ω|X)，然后在π(ω│X)<1/2时拒绝H。如果是统计决策性质（见统计决策理论）问题，则有一定的损失函数L(θ,α)，知道了π(θ|X)，可算出各行动α的后验风险,即L(θ,α)在后验分布π(θ|X)下的数学期望值，然后挑选行动α使这期望值达到最小,这在贝叶斯统计中称为“后验风险最小”的原则，是贝叶斯决策理论中的根本原则和方法。

关于贝叶斯方法的争论 贝叶斯学派与频率学派争论的焦点在于先验分布的问题。所谓频率学派是指坚持概率的频率解释的统计学家形成的学派。贝叶斯学派认为先验分布可以是主观的，它没有也不需要有频率解释。而频率学派则认为，只有在先验分布有一种不依赖主观的意义，且能根据适当的理论或以往的经验决定时，才允许在统计推断中使用先验分布，否则就会丧失客观性。另一个批评是：贝叶斯方法对任何统计问题都给以一种程式化的解法，这导致人们对问题不去作深入分析，而只是机械地套用公式。贝叶斯学派则认为：从理论上说，可以在一定条件下证明，任何合理的优良性准则必然是相应于一定先验分布的贝叶斯准则，因此每个统计学家自觉或不自觉地都是“贝叶斯主义者”。他们认为，频率学派表面上不使用先验分布，但所得到的解也还是某种先验分布下的贝叶斯解，而这一潜在的先验分布，可能比经过慎重选定的主观先验分布更不合理。其次，贝叶斯学派还认为，贝叶斯方法对统计推断和决策问题给出程式化的解是优点而非缺点，因为它免除了寻求抽样分布，（见统计量）这个困难的数学问题。而且这种程式化的解法并不是机械地套公式，它要求人们对先验分布、损失函数等的选择作大量的工作。还有，贝叶斯学派认为，用贝叶斯方法求出的解不需要频率解释，因而即使在一次使用下也有意义。反之，根据概率的频率解释而提供的解,则只有在大量次数使用之下才有意义,而这常常不符合应用的实际。这两个学派的争论是战后数理统计学发展中的一个特色。这个争论目前还远没有解决，它对今后数理统计学的发展还将产生影响。