1. 参数估计与极大似然
1.1 从类条件概率到参数估计
- 任务背景：在分类问题中，我们需要估计类条件概率分布P(x∣c)P(x\mid c)P(x∣c)。
- 参数化假设：先假定P(x∣c)P(x\mid c)P(x∣c)具有某种确定的概率分布形式，其形状由一个参数向量θc\theta_cθc决定，记作P(x∣θc)P(x\mid\theta_c)P(x∣θc)。
- 训练目标：利用训练集DDD来估计未知的参数θc\theta_cθc，这个过程称为参数估计。
1.2 频率派与贝叶斯派的视角
- 频率主义：认为参数虽然未知，但客观存在，可以通过优化某个准则来"确定"它的取值；极大似然估计属于这一派的经典方法。
- 贝叶斯派：把参数看成随机变量，对其假设一个先验分布，然后基于观测数据计算参数的后验分布。
2. 极大似然估计方法
2.1 基本思想
令DcD_cDc表示训练集DDD中属于第ccc类的样本集合，假设这些样本是独立同分布的。
似然函数：给定参数θc\theta_cθc，观测到数据集DcD_cDc的概率，等于所有样本概率的乘积。
极大似然估计的思想：在所有可能的θc\theta_cθc中，选择那个能使"已经观测到的这批数据DcD_cDc"出现的概率最大的参数。
2.2 对数似然
直接对大量小概率相乘容易造成数值下溢，因此通常对似然取对数，得到对数似然。由于对数函数是单调递增的，最大化对数似然与最大化似然等价。
参数的极大似然估计为：
θ^c=argmaxθcLL(θc)\hat{\theta}_c = \arg\max_{\theta_c} LL(\theta_c)θ^c=argθcmaxLL(θc)
求解步骤：
- 在给定的概率分布假设下写出对数似然函数；
- 对参数求偏导并令导数为 0，解出候选解；
- 检查该解是否对应对数似然的最大值点。
3. 正态分布下的极大似然估计
3.1 模型假设
在连续属性情形下，若假设类条件概率密度服从正态分布N(μc,σc2)\mathcal{N}(\mu_c,\sigma_c^2)N(μc,σc2)，则需要估计的参数为均值μc\mu_cμc和方差σc2\sigma_c^2σc2。
3.2 MLE 结果
对属于第ccc类的样本集合DcD_cDc，极大似然估计得到：
- 均值参数：就是该类样本的样本均值（所有样本的平均值）
- 方差参数：就是样本关于均值的平方偏差的平均值（样本方差）
在离散属性情形下，采用类似思路：每个取值的概率的极大似然估计就是"该取值出现的频数 / 样本总数"。
4. 方法特点与注意事项
- 优点：给定分布形式后，通过优化明确的目标函数即可得到参数，计算相对简单。
- 局限：估计结果高度依赖于事先假定的概率分布形式；如果假设与真实数据分布相差较大，估计结果可能偏离真实值。
- 实践启示：需要在建模之前充分利用对任务本身的经验知识来选择分布形式，而不是完全凭"猜测"。
5. 小结
- 本质：频率主义框架下的参数估计方法，通过最大化观测数据的似然（或对数似然）来选取参数。
- 操作：写出似然 → 取对数 → 对参数求导并令导数为 0 → 得到极大似然解。
- 直观结果：在正态分布等常见模型中，极大似然给出样本均值、样本方差等统计量。
- 关键前提：分布形式假设是否合理，往往比后续求解过程本身更重要。
