HILOS框架：突破LLM推理内存墙的近存储处理技术

1. HILOS框架设计理念与技术突破

在大型语言模型(LLM)推理领域，内存墙问题已成为制约性能提升的主要瓶颈。传统基于卸载的批处理推理方案虽然通过主机内存和存储扩展了GPU内存层次结构，但在处理长上下文场景时面临严重的I/O瓶颈。HILOS创新性地提出近存储处理(NSP)解决方案，其核心设计理念可概括为三个关键维度：

计算-存储协同设计：通过将内存密集型的注意力计算卸载到存储设备附近的专用加速器，实现"数据不动计算动"的范式转换。这种设计将KV缓存相关操作限制在设备内部路径，仅需将计算结果通过系统互连返回主机，显著降低I/O开销。实测表明，对于上下文长度s和隐藏维度h，传统方案的互联读取流量为4sh字节，而HILOS仅需传输2h字节的注意力输出向量，理论流量降低幅度达(s+1)/2倍。

异构资源动态调度：框架采用分层优化策略，在设备层通过专用加速器处理计算密集型任务，在系统层则通过协同X缓存机制实现主机与NSP设备的负载均衡。这种"硬件加速+软件调度"的协同架构，使得系统能够根据实时负载动态调整计算任务分配，将主机GPU利用率从不足20%提升至60%以上。

内存访问范式重构：针对KV缓存写入的粒度不匹配问题，提出延迟写回机制，通过主机端缓冲和预计算优化，将原本随机的小粒度写入转换为顺序的大块写入。同时创新的两遍softmax算法和在线转置技术，有效解决了长序列处理中的内存墙问题。

2. 核心组件与关键技术实现

2.1 注意力近存储(ANS)架构

ANS是HILOS的基础设施创新，其工作流程可分为四个阶段：

数据预取阶段：在预填充期，系统将Transformer各层的KV缓存按注意力头维度分布式存储在多个SmartSSD设备中。每个设备存储完整的键值序列片段，采用(batch_size×num_heads×seq_len×hidden_dim)的四维张量布局，确保后续读取的连续性。

计算卸载阶段：解码过程中，GPU仅需执行轻量级的QKV投影计算，然后将生成的查询向量通过PCIe传输至NSP设备。此时传统的KV缓存传输被完全消除，系统互联仅需处理6h字节的QKV向量（相比传统方案节省4sh-6h字节流量）。

并行执行阶段：各NSP设备通过内部PCIe交换机并行执行注意力计算，采用分块处理策略将长序列分解为128令牌的块。设备间通过头维度并行化实现负载均衡，16个SmartSSD组成的系统可同时处理16个注意力头的计算任务。

结果聚合阶段：各设备完成局部注意力计算后，通过规约操作合并部分结果，最终输出注意力加权值。该设计使得计算吞吐量随设备数量线性扩展，在128K上下文长度下实现7.86倍加速。

2.2 协同X缓存机制

X缓存是HILOS的软件创新亮点，其技术实现包含三个关键要素：

缓存结构设计：与传统KV缓存不同，X缓存存储的是投影前的输入激活X∈R^(b×h×s×d)。这种设计使得存储需求降低50%，因为K、V矩阵可通过实时投影XW_K和XW_V重新生成。缓存采用与KV缓存相同的四维布局，确保内存访问局部性。

动态分区算法：系统通过以下公式计算最优X缓存比例α：

α = 2B_PCI/(B_SSD + B_PCI)

其中B_PCI为PCIe带宽，B_SSD为聚合存储带宽。该算法实时监测硬件利用率，当GPU计算资源空闲时自动增大α值，最高可达0.75。在16个SmartSSD配置下，典型α值为0.5。

流水线执行模型：如图5(b)所示，系统将批次维度划分为X缓存部分(α)和KV缓存部分(1-α)。GPU并行执行：1) X缓存部分的K/V矩阵重计算；2) MLP层计算；同时NSP设备处理KV缓存部分的注意力计算。这种设计完全隐藏了重计算开销，实测显示即使α=0.5时，解码延迟仅增加3%。

2.3 延迟KV缓存写回

针对KV缓存更新的性能瓶颈，HILOS提出三级优化策略：

主机端缓冲池：在主机内存建立分层缓存结构，包含：

• 写入缓冲：聚合新生成的KV条目，达到4KiB页大小时批量写入
• 预计算单元：提前计算查询与缓冲键向量的点积，生成标量中间结果
• 元数据管理：维护版本号和依赖关系，确保一致性

存储侧优化：设备端采用创新的"部分注意力"机制，将主机预计算结果与存储中的KV缓存整合。具体实现为：

def partial_attention(Q, K_part, V_part, precomputed): # K_part/V_part: from storage # precomputed: from host buffer scores = torch.matmul(Q, K_part.transpose(-2,-1)) scores += precomputed # 融合主机预计算结果 return torch.softmax(scores, dim=-1) @ V_part

自适应刷盘策略：系统根据SSD负载动态调整刷盘间隔，默认配置为16个解码步长（对应4KiB写入粒度）。通过异步I/O和批量提交，将写延迟移出关键路径，实测写放大系数从4.3降至1.2。

3. 存储侧加速器设计

3.1 两遍softmax架构

传统三遍softmax算法在处理长序列时面临严重的带宽瓶颈。HILOS的创新设计如图7所示：

统计量聚合单元：采用流式处理架构，包含：

• 并行比较树：每周期处理128元素的块最大值
• 指数化流水线：16组并行FP16指数计算单元
• 动态规约网络：支持全局最大值更新时的分母修正

归一化单元：特征包括：

• 旁路设计：直接复用第一遍的统计结果
• 掩码支持：处理因果注意力所需的三角掩码
• 分块输出：每完成128元素处理即触发下游计算

该设计将算法复杂度从O(3s)降至O(2s)，在32K序列长度下减少33%的DRAM访问量。实测显示其能效比达到58.3GFLOPS/W，是传统方案的3.2倍。

3.2 高效GEMM引擎

针对注意力计算中的矩阵操作，加速器实现三大创新：

在线转置架构：如图7(d)所示，K矩阵在加载时即进行128×128块的局部转置，通过双缓冲设计实现：

1. 从DRAM读取块到输入缓冲区
2. 转置引擎并行执行行/列重排
3. 结果写入转置缓冲区供MAC阵列使用 该设计完全消除显式转置操作，节省50%的存储开销。

分组查询注意力优化：针对GQA模型，设计专用数据通路：

• KV共享总线：广播键值向量到多个查询处理单元
• 部分和累加：各查询头独立维护累加器
• 动态精度切换：支持FP16/INT8混合精度计算

脉动阵列设计：采用32×32的FP16 MAC阵列，特征包括：

• 延迟隐藏：通过深度流水线实现600MHz时钟
• 带宽优化：每个周期加载32个新元素
• 灵活配置：支持MHA/GQA模式动态切换

4. 系统实现与部署

4.1 硬件原型搭建

HILOS原型系统配置如下：

• 计算节点：AMD EPYC 7763 CPU + NVIDIA A100 GPU
• 存储阵列：16个Samsung SmartSSD (Xilinx KU15P FPGA)
• 互连架构：PCIe 4.0×16交换机，支持P2P通信
• 电源管理：每个SmartSSD限制在25W TDP

关键实现细节包括：

1. FPGA逻辑占用：LUTs(38%)/BRAM(72%)/DSP(65%)
2. 设备内存：每个SmartSSD配置4GB DDR4-2400
3. 存储介质：3.2TB NVMe NAND (3D TLC)

4.2 软件栈集成

HILOS软件架构包含三个层次：

设备驱动层：

• 定制OpenCL内核：实现注意力计算原语
• XRT运行时：管理FPGA资源分配
• cuFile API：支持GPU直接访问存储

中间件层：

graph TD A[推理控制器] --> B[权重预取器] A --> C[缓存调度器] C --> D[协同X缓存] C --> E[延迟写回管理器] A --> F[性能监测器]

用户接口层：

• PyTorch插件：封装为自定义算子
• 配置向导：自动优化α、批大小等参数
• 性能分析器：可视化热点和瓶颈

4.3 实际部署考量

在部署HILOS时需注意：

1. 数据分布策略：根据头维度数选择设备数量，建议每个SmartSSD处理4-8个注意力头
2. 温度管理：FPGA芯片需保证<85°C，必要时降低时钟频率
3. 故障恢复：实现KV缓存校验和与设备级冗余
4. 电源配置：确保机柜PDU能提供足够12V电源

典型部署场景：

• 信息抽取：处理128K长文档，批大小16
• 批量翻译：32K上下文，8设备并行
• 代码生成：64K上下文，FP16精度

5. 性能优化实战技巧

5.1 参数调优指南

批大小选择：

• 小模型(<10B)：批大小可设为32-64
• 中大模型：按公式计算：

  max_batch = min( GPU_mem / (2*model_size), SSD_bandwidth / (4*s*h) )

X缓存比例：通过实验确定最佳α：

1. 从0.25开始，每次增加0.125
2. 监控GPU利用率达到60-70%
3. 检查SSD读带宽是否饱和

写回配置：

writeback: interval: 16 # 对应4KiB写入 buffer_size: 64MB prefetch: 2 # 预取两个后续块

5.2 常见问题排查

性能下降：

• 现象：吞吐量突然降低30%
• 检查：nvidia-smi看GPU利用率
• 解决：调整α值或减少批大小

设备超时：

• 现象：FPGA停止响应
• 检查：SmartSSD温度传感器
• 解决：加强散热或降低时钟

精度异常：

• 现象：输出质量下降
• 检查：softmax统计量溢出
• 解决：启用混合精度模式

5.3 高级优化技巧

内存压缩：

• 对KV缓存采用FP8格式
• 使用差分编码压缩时序数据
• 实测可减少40%存储需求

预取优化：

class Prefetcher: def __init__(self): self.next_batch = None def prefetch(self): while not queue.empty(): self.next_batch = decompress(queue.get())

能耗管理：

• 动态电压频率调整(DVFS)
• 空闲设备进入低功耗模式
• 实测节能可达35%

6. 技术对比与演进方向

6.1 与传统方案对比

在OPT-175B模型上的实测数据：

6.2 局限性与改进空间

当前限制：

1. 初始化开销：FPGA编程需2-3分钟
2. 设备异构性：不同SSD型号需重新综合
3. 在线学习：不支持动态微调

未来方向：

• 采用CXL互联降低延迟
• 集成3D堆叠存储器
• 支持稀疏注意力

在真实业务场景中，HILOS已成功应用于金融文档分析系统，处理10万+字的年报时，推理速度从原来的14分钟缩短至107秒，同时服务器采购成本降低60%。这验证了近存储处理架构在LLM部署中的实用价值。