009、NPU、TPU与硬件加速器在TinyML中的作用
去年冬天调试一个智能门锁的唤醒词模型，模型在PC上跑得飞起，量化后只有48KB，自信满满地烧进STM32F4。结果呢？唤醒延迟从预期的200ms直接飙到1.2秒，电池续航从三个月缩水到两周。拆开示波器一看，CPU在跑模型的时候几乎被占满，连按键中断都响应迟钝。这就是典型的“模型能跑，但跑不动”的尴尬——没有硬件加速器，TinyML就是纸上谈兵。
从“算不动”到“算得巧”
嵌入式设备上跑神经网络，本质是在有限资源下做“不可能的任务”。CPU是通用处理器，设计初衷是处理各种逻辑控制、中断响应、协议栈，而不是做成千上万次乘加运算。一个典型的3x3卷积，在Cortex-M4上需要几十个指令周期完成一次乘加，而NPU（神经网络处理单元）可以在一个时钟周期内完成整个卷积窗口的计算。
我见过太多人把模型硬塞进MCU，然后抱怨“TinyML不靠谱”。其实不是TinyML的问题，是你没给模型配对的“加速引擎”。就像让F1赛车去跑泥泞山路，不是车不行，是路不对。
NPU：专为神经网络设计的“肌肉”
NPU的核心思想是“数据流驱动”。传统CPU是“指令流驱动”——从内存取指令，解码，执行，写回。每一步都有开销。NPU直接把神经网络的计算图映射成硬件数据通路，数据从内存流进来，经过一层层计算单元，结果直接输出，中间没有指令开销。
以ARM的Ethos-U55为例，它内部有多个MAC（乘加）阵列，每个MAC单元可以同时处理多个输入通道的卷积。更关键的是，它内置了激活函数、池化、量化/反量化
