从理论到芯片：手把手解析冗余数系统（Redundant Number System）在AI加速器中的应用

从理论到芯片：冗余数系统在AI加速器中的革命性应用

当ChatGPT在几秒内完成一篇学术论文摘要，当自动驾驶汽车实时识别复杂路况，背后是AI加速器对海量乘加运算(MAC)的高效处理。传统二进制补码表示法在神经网络计算中面临两大瓶颈：进位传播延迟导致的时钟频率限制，以及低精度量化(如INT4/INT8)时的数值表示冗余度不足。而源自上世纪60年代的冗余数系统(Redundant Number System, RNS)，正在新一代AI芯片中展现出惊人的适应性。

1. 冗余运算：从数学理论到硬件优势

1.1 冗余数系统的核心特征

冗余数系统允许同一数值存在多种表示形式，这种"冗余性"带来了三大硬件级优势：

• 无进位加法：每个数位独立运算，消除进位链传播延迟
• 并行计算：多位运算可同步进行，提升吞吐量
• 容错能力：单个数位错误不会导致整体数值突变

以基2有符号数位(Signed Binary Digit, SBD)系统为例，每个数位xᵢ ∈ {-1,0,1}，用两位二进制码(x⁺,x⁻)表示：

xᵢ | x⁺ x⁻ ---+------ -1 | 0 1 0 | 0 0 1 | 1 0

1.2 MAC运算的硬件实现对比

传统二进制与冗余数系统在乘加运算中的差异：

实际测试显示：在28nm工艺下，8位冗余加法器比传统超前进位加法器延迟降低62%，功耗减少41%

2. 冗余计算在AI加速器中的落地实践

2.1 脉动阵列的革新设计

Google TPU采用的脉动阵列架构中，冗余运算带来两处关键改进：

1. 部分和累加优化

// 传统二进制部分和累加 always @(posedge clk) begin partial_sum <= partial_sum + (a * b); // 需要进位传播 end // 冗余数系统实现 wire [1:0] pp [0:7]; // 部分积的冗余表示 assign pp[i] = {a[i]&b[i], ~a[i]&b[i]}; // 转换为SBD格式 // 无进位累加 redundant_adder #(.WIDTH(8)) u_adder( .x(partial_sum_red), .y(pp), .out(next_sum_red) );

2. 数据流重定时(Pipelining)冗余表示允许在保持计算精度的前提下，将长加法链分解为多个短流水级。寒武纪MLU系列芯片实测显示，这种设计可使MAC阵列频率提升2.3倍。

2.2 低精度计算的天然适配

当处理INT4/INT8量化模型时，冗余数系统展现出独特优势：

• 动态范围扩展：4位冗余表示实际有效位数相当于5位二进制
• 误差弹性：在DNN推理中，单个MAC运算的微小误差几乎不影响整体准确率
• 混合精度支持：不同数位可采用不同冗余度

3. VLSI实现中的关键技术

3.1 混合基4加法器设计

基4冗余表示相比基2可减少50%的运算迭代次数。最小冗余混合基4加法器(mrHY4A)核心单元包含：

1. 三个权重为1的位通过全加器(FA)压缩：

   • 产生和位u⁺
   • 生成中间进位c⁺²

2. 三个权重为2的位通过PPM加法器处理：

   • 输出传输位t⁺
   • 生成和位u⁻²

entity mrHY4A is port ( x_neg2, y_pos2 : in std_logic; -- 权重2的输入 x_pos, x_pos2, y_pos : in std_logic; -- 权重1的输入 t_pos : out std_logic; -- 传输位 u_neg2, u_pos : out std_logic -- 和位 ); end entity; architecture rtl of mrHY4A is signal carry : std_logic; begin -- 第一级：3:2压缩器 full_adder: entity work.FA port map(x_pos, x_pos2, y_pos, u_pos, carry); -- 第二级：PPM加法器 ppm_adder: process(x_neg2, y_pos2, carry) variable sum : integer; begin sum := (-2)*to_integer(x_neg2) + 2*to_integer(y_pos2) + 2*to_integer(carry); t_pos <= '1' when sum >= 4 else '0'; u_neg2 <= '1' when (sum mod 4) >= 2 else '0'; end process; end architecture;

3.2 数据格式转换优化

非冗余到冗余转换的硬件开销常被忽视，实际可采用：

• 预编码技术：在数据加载阶段完成格式转换
• 动态位宽调整：根据运算阶段自动切换冗余度
• 零检测跳过：对稀疏矩阵中的零值绕过转换逻辑

某AI芯片测试数据显示，优化后的转换电路仅增加7%的面积开销，却带来23%的能效提升。

4. 前沿探索与挑战

4.1 近似计算与冗余度的协同

最新研究表明，冗余数系统可与近似计算结合：

1. 可控精度衰减：在非关键数位动态降低冗余度
2. 错误能量预测：根据数值分布调整编码策略
3. 自适应位宽：如FlexPoint技术中的动态范围调整

4.2 3D堆叠架构中的新机遇

当采用TSV硅通孔技术时，冗余运算的优势进一步放大：

• 垂直数据流：无进位特性适合跨die运算
• 热分布均衡：避免局部热点集中
• 故障隔离：单个数位错误不影响垂直传输

4.3 现存技术挑战

尽管优势明显，冗余数系统在AI芯片中全面落地仍需解决：

• 与传统处理器的数据格式转换开销
• 训练阶段的梯度累积精度问题
• 标准化生态的缺乏
• 验证复杂度的指数增长

某头部芯片厂商的工程日志显示，首次采用冗余运算设计时，验证周期延长了40%，但量产芯片的能效比最终超出竞品1.8倍。