Bayesian Network
贝叶斯网络（Bayesian Network），也被称为贝叶斯有向无环图（Bayesian Directed Acyclic Graph, BDAG）或概率依赖网络（Probabilistic Dependence Network）， 是一种强大的概率图模型，用于描述随机变量之间的概率依赖关系 。
Bayesian Network
一、贝叶斯统计 （ Bayesian Statistics ）
什么是 贝叶斯统计（ Bayesian Statistics ） ？ 贝叶斯统计（Bayesian Statistics）是一种 基于贝叶斯定理 的统计推断方法，它利用先验信息和样本数据来更新我们对未知参数或事件概率的信念。
- 先验分布：统计推断前，对未知参数的初步判断，基于历史、专家经验或主观信念，不必客观。
- 后验分布：结合先验和样本信息，通过贝叶斯定理计算得到的未知参数新分布，综合了两者信息，是贝叶斯推断的基础。
Bayesian Statistics
频率学派 （Frequentist School） 与贝叶斯学派 （Bayesian School） ：频率学派强调通过大量数据揭示客观规律，而贝叶斯学派则注重结合先验知识与新数据来更新信念。
Frequentist School vs Bayesian School
一、频率学派（Frequentist School）
- 基本观点：世界是客观的，概率是事件在长时间内发生的频率。必须通过大量独立采样来获得统计均值。不主张先给出一个主观的先验概率或假设。
- 应用场景：适用于可以通过大量重复实验来获得统计规律的场景， 如抛硬币、掷骰子等。
- 优势： 在简单、可重复的实验场景下非常有效。
- 局限： 对于无法进行大量重复实验或实验成本高昂的现实场景，频率学派的方法可能不适用。
二、贝叶斯学派（Bayesian School）
- 基本观点： 概率是一种信念度，可以有主观的先验概率。通过观察新的数据来不断更新先验概率，使之逼近客观事实。
- 应用场景：适用于需要估算概率但无法进行大量重复实验的现实场景， 如赶飞机时间的估算、《狼来了》故事中村民对小孩诚实度的判断等。
- 优势： 能够结合先验知识和新数据进行概率推断，更加灵活和实用。
- 局限： 先验概率的选择可能带有主观性，需要谨慎选择。
Frequentist School vs Bayesian School
二、贝叶斯定理 （ Bayes' Theorem ）
什么是 贝叶斯定理（ Bayes' Theorem ） ？ 贝叶斯定理（Bayes' Theorem） 是一种描述两个条件概率之间关系的定理，它允许我们根据新的证据或数据来更新我们对某一事件或参数的信念。
Bayes' Theorem
贝叶斯定理公式是一种计算条件概率的方法，它根据新的证据和先前的概率来更新某个假设的可信度。
P(A|B) = [P(B|A) * P(A)] / P(B)
Bayes' Theorem
- P(A|B) 是后验概率，即在事件B发生的条件下，事件A发生的概率。
- P(B|A) 是似然函数，表示在事件A发生的条件下，事件B发生的概率。
- P(A) 是先验概率，即在没有事件B发生的条件下，我们对事件A的信念或概率估计。
- P(B) 是事件B的边缘概率，它是所有可能情况下事件B发生的概率总和， 通常作为归一化常数 ，确保后验概率的总和为1。
Bayes' Theorem
三、贝叶斯网络 （ Bayesian Network ）
什么是 贝叶斯网络（Bayesian Network） ？ 贝叶斯网络（Bayesian Network，简称BN）是一种 基于概率推理的图形模型 ，用于 表示变量之间的依赖关系 。它由一个有向无环图（Directed Acyclic Graph，DAG）和条件概率表（Conditional Probability Table，CPT）组成。
Bayesian Network
- 有向无环图（DAG）：用于表示变量之间的依赖关系。图中的节点代表变量，有向边（或称为弧）则表示变量之间的依赖关系。如果两个节点之间存在有向边，则意味着一个节点的状态会影响另一个节点的状态。
- 条件概率表（CPT）：与DAG中的每个节点相关联，用于描述节点与其父节点之间的概率关系。条件概率表详细列出了在给定父节点状态下，当前节点取各个可能值的概率。
Bayesian Network
什么是朴素 贝叶斯 （Naive Bayes） ？朴素贝叶斯（Naive Bayes，简称NB）是一种 基于概率理论的 分类算法 ，其理论基础是贝叶斯定理与特征条件独立假设。
Naive Bayes
朴素贝叶斯 假设给定目标值时， 属性之间相互条件独立 ，通过已给定的训练集 学习从输入 到输出的联合概率分布 。基于学习到的模型，输入新的样本数据， 求出使得后验概率最大的输出，即该样本所属的类别 。
Naive Bayes
朴素贝叶斯算法在多个领域都有广泛的应用，如文本分类、垃圾邮件的分类、信用评估、钓鱼网站检测等。
Naive Bayes