机器学习——贝叶斯网络

贝叶斯网络

贝叶斯网络是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图。

贝叶斯网络的有向无环图中的节点表示随机变量，它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

贝叶斯网络结构

1、tail -to-tail

P ( a , b ∣ c ) = P ( a , b , c ) / P ( c ) P(a,b|c)=P(a,b,c)/P(c) P(a,b∣c)=P(a,b,c)/P(c)，然后将 P ( a , b , c ) = P ( c ) ∗ P ( a ∣ c ) ∗ P ( b ∣ c ) P(a,b,c)=P(c)*P(a|c)*P(b|c) P(a,b,c)=P(c)∗P(a∣c)∗P(b∣c)带入式子中，得到： P ( a , b ∣ c ) = P ( a , b , c ) / P ( c ) = P ( a ∣ c ) ∗ P ( b ∣ c ) P(a,b|c)=P(a,b,c)/P(c) = P(a|c)*P(b|c) P(a,b∣c)=P(a,b,c)/P(c)=P(a∣c)∗P(b∣c)，即给定c时，a、b独立。

2、head-to-head

P ( a , b , c ) = P ( a ) ∗ P ( b ) ∗ P ( c ∣ a , b ) P(a,b,c) = P(a)*P(b)*P(c|a,b) P(a,b,c)=P(a)∗P(b)∗P(c∣a,b)，两边对c求和得 P ( a , b ) = P ( a ) ∗ P ( b ) P(a,b) = P(a)*P(b) P(a,b)=P(a)∗P(b)，则a,b独立。

3、head-to-tail

P ( a , b ∣ c ) = P ( a ) ∗ P ( c ∣ a ) ∗ P ( b ∣ c ) / P ( c ) = P ( a ∣ c ) ∗ P ( b ∣ c ) P(a,b|c)=P(a)*P(c|a)*P(b|c)/P(c)=P(a|c)*P(b|c) P(a,b∣c)=P(a)∗P(c∣a)∗P(b∣c)/P(c)=P(a∣c)∗P(b∣c)

即给定c时：a,b相互独立（条件独立）

如果觉得《机器学习——贝叶斯网络》对你有帮助，请点赞、收藏，并留下你的观点哦！