大模型从0到精通：判断力的灵魂——激活函数如何让AI“转弯“

本文是《大模型从0到精通》系列第二卷“构造篇”的第一章。第一卷“奠基篇”五章内容我们建立了完整框架：模型→损失→优化→网络结构→责任追溯。上一章我们知道，没有激活函数的深度网络只是‘纸老虎’。那么，这个让AI拥有‘非线性判断力’的激活函数，到底是怎么工作的？它有哪些‘性格’？。

一、从"直线思维"到"曲线思维"

还记得我们之前说的奶茶店预测模型吗？销售额 = a × 气温 + b，这就是个典型的线性模型。

线性模型有个致命缺陷：它只能画直线。

但现实世界哪有那么多直线关系？气温和奶茶销量的关系可能是这样的：

• 气温20°C以下：销量平稳
• 20°C到30°C：销量快速上升
• 30°C以上：太热了，大家反而想喝冰水，销量下降

这种"先升后降"的曲线，你让y=ax+b怎么画？它画不出来！

这就是线性模型的局限：无论你怎么调整a和b这两个旋钮，你只能得到不同斜率和位置的直线，永远得不到一条曲线。

二、激活函数：给AI装上"转弯"的能力

激活函数（Activation Function）就是解决这个问题的关键。

你可以把它想象成一个信号处理器，或者更形象地说，是一个判断官。

每个神经元（就是我们之前说的"小公式"）在计算完自己的线性结果后，不会直接把这个结果传给下一层，而是先交给激活函数这个"判断