逻辑森林与贝叶斯算法简介

一、逻辑森林：集成学习的代表

1.1 核心思想

逻辑森林并非标准术语，通常指随机森林(Random Forest)在分类任务中的应用，其本质是通过构建多棵决策树并集成结果来提高分类性能。

1.2 关键步骤

1. 自助采样（Bootstrap）：从训练集中有放回地抽取多个子样本
2. 随机特征选择：每棵树分裂时只考虑特征子集
3. 投票机制：所有树的预测结果通过多数投票决定最终分类

y ^ = mode { T 1 ( x ) , T 2 ( x ) , . . . , T n ( x ) } \hat{y} = \text{mode}\{T_1(x), T_2(x), ..., T_n(x)\}y^​=mode{T1​(x),T2​(x),...,Tn​(x)}

其中T i ( x ) T_i(x)Ti​(x)表示第i棵树的预测结果。

1.3 示例说明

假设我们要判断一封邮件是否为垃圾邮件：

• 树1基于"包含’免费’"特征判断为垃圾邮件
• 树2基于"发件人未知"特征判断为垃圾邮件
• 树3基于"无正常问候语"特征判断为正常邮件
  最终通过投票（2:1）判定为垃圾邮件

二、贝叶斯算法：概率推理的典范

2.1 贝叶斯定理基础

朴素贝叶斯分类器基于贝叶斯定理，假设特征之间相互独立：

P ( y ∣ X ) = P ( X ∣ y ) P ( y ) P ( X ) P(y|X) = \frac{P(X|y)P(y)}{P(X)}P(y∣X)=P(X)P(X∣y)P(y)​

其中：

• P ( y ∣ X ) P(y|X)P(y∣X)：给定特征X XX时类别y yy的后验概率
• P ( X ∣ y ) P(X|y)P(X∣y)：似然概率
• P ( y ) P(y)P(y)：先验概率

2.2 朴素贝叶斯公式

对于特征向量X = ( x 1 , x 2 , . . . , x n ) X = (x_1, x_2, ..., x_n)X=(x1​,x2​,...,xn​)：

P ( y k ∣ X ) ∝ P ( y k ) ∏ i = 1 n P ( x i ∣ y k ) P(y_k|X) \propto P(y_k) \prod_{i=1}^n P(x_i|y_k)P(yk​∣X)∝P(yk​)i=1∏n​P(xi​∣yk​)

预测时选择概率最大的类别：
y ^ = arg ⁡ max ⁡ y k P ( y k ) ∏ i = 1 n P ( x i ∣ y k ) \hat{y} = \arg\max_{y_k} P(y_k) \prod_{i=1}^n P(x_i|y_k)y^​=argyk​max​P(yk​)i=1∏n​P(xi​∣yk​)

2.3 文本分类示例

判断"便宜机票"是否为广告：

• 先验：P ( 广告 ) = 0.3 P(广告)=0.3P(广告)=0.3,P ( 正常 ) = 0.7 P(正常)=0.7P(正常)=0.7
• 条件概率：
  • P ( 便宜 ∣ 广告 ) = 0.4 P(便宜|广告)=0.4P(便宜∣广告)=0.4,P ( 机票 ∣ 广告 ) = 0.3 P(机票|广告)=0.3P(机票∣广告)=0.3
  • P ( 便宜 ∣ 正常 ) = 0.1 P(便宜|正常)=0.1P(便宜∣正常)=0.1,P ( 机票 ∣ 正常 ) = 0.2 P(机票|正常)=0.2P(机票∣正常)=0.2
• 计算：
  P ( 广告 ∣ 文本 ) ∝ 0.3 × 0.4 × 0.3 = 0.036 P(广告|文本) ∝ 0.3×0.4×0.3=0.036P(广告∣文本)∝0.3×0.4×0.3=0.036
  P ( 正常 ∣ 文本 ) ∝ 0.7 × 0.1 × 0.2 = 0.014 P(正常|文本) ∝ 0.7×0.1×0.2=0.014P(正常∣文本)∝0.7×0.1×0.2=0.014

预测为广告类（0.036 > 0.014）

三、应用选择

选择偏向：

• 随机森林当：特征交互复杂、数据充足、需要高精度
• 朴素贝叶斯当：特征相对独立、需要快速部署、数据稀缺