介绍

贝叶斯定理

介绍

贝叶斯学习是利用参数的先验分布和由样本信息求来的后验分布，直接求出总体分布。贝叶斯学习理论使用概率去表示所有形式的不确定性,通过概率规则来实现学习和推理过程。贝叶斯学习的结果表示为随机变量的概率分布,它可以理解为我们对不同可能性的信任程度。据介绍，这种技术在分析故障信号模式时，应用了被称为“贝叶斯学习”的自动学习机制，积累的故障事例越多，检测故障的准确率就越高。根据邮件信号判断垃圾邮件的垃圾邮件过滤器也采用了这种机制！

贝叶斯定理

贝叶斯定理用数学的方法来解释生活中大家都知道的常识

形式最简单的定理往往是最好的定理，比如说中心极限定理，这样的定理往往会成为某一个领域的理论基础。机器学习的各种算法中使用的方法，最常见的就是贝叶斯定理。

贝叶斯定理的发现过程我没有找到相应的资料，不过要相信托马斯.贝叶斯(1702-1761)是通过生活中的一些小问题去发现这个对后世影响深远的定理的，而且我相信贝叶斯发现这个定理的时候，还不知道它居然有这么大的威力呢。下面用一个小例子来推出贝叶斯定理：

已知：有N个苹果，和M个梨子，苹果为黄色的概率为20%，梨子为黄色的概率为80%，问，假如在这堆水果中观察到了一个黄色的水果，问这个水果是梨子的概率是多少。

用数学的语言来表达，就是已知P(apple) = N / (N + M), P(pear) = M / (N + M), P(yellow|apple) = 20%, P(yellow|pear) = 80%, 求P(pear|yellow).

要想得到这个答案，我们需要 1. 要求出全部水果中为黄色的水果数目。 2. 求出黄色的梨子数目

对于1) 我们可以得到 P(yellow) * (N + M), P(yellow) = p(apple) * P(yellow|apple) + P(pear) * p(yellow|pear)

对于2) 我们可以得到 P(yellow|pear) * M

2) / 1) 可得：P(pear|yellow) = P(yellow|pear) * p(pear) / [P(apple) * P(yellow|apple) + P(pear) * P(yellow|pear)]

化简可得：P(pear|yellow) = P(yellow,pear) / P(yellow), 用简单的话来表示就是在已知是黄色的，能推出是梨子的概率P(pear|yellow)是黄色的梨子占全部水果的概率P(yellow,pear)除上水果颜色是黄色的概率P(yellow). 这个公式很简单吧。