CANN/GE外置权重特性

GE 外置权重（FileConstant / External Weight）特性

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

将模型权重从 OM 文件中分离，单独存储在磁盘文件。场景：OM 文件大小受限、模型加密、多模型共享权重（hash 去重）、在线推理 Hybrid 模式加速。

用户接口

权重路径优先级：ge.externalWeightDir > $ASCEND_WORK_PATH/tmp_weight_{pid}_{sid} > ./tmp_weight_{pid}_{sid}

编译期：Const → FileConstant 转换

入口：compiler/graph/manager/graph_manager.cc，Build 阶段读取ge.externalWeight选项，值为 "1" 或 "2" 时触发转换。

文件存储：

• 模式 1：每个权重独立文件weight_<sha256>，多线程写入（8线程），flock(LOCK_EX)保护 meta.json 并发编译
• 模式 2：所有权重合并到一个文件，512 字节对齐（DMA 要求），通过 offset 定位，meta.json 记录 hash→file/offset 映射

路径管理：编译期写入tmp_weight_<pid>_<sid>/→ OM 输出时ChangeFilePath迁移到OM同目录/weight/→RefreshRelativePath将 location 刷新为仅文件名

逆向转换（compiler/graph/preprocess/graph_prepare.cc）：ConvertFileConstToConst读文件 → 创建 GeTensor → 节点类型改回 Const，用于 ONNX 导入等场景。

运行期：Runtime V2（在线推理）

Lowering 阶段

runtime/v2/engine/gelocal/file_constant_converter.cc，LoweringFileConstantNode注册为REGISTER_NODE_CONVERTER("FileConstant")。

路径解析优先级：location 私有属性 > file_path IR属性 > file_id + ge.exec.value_bins

模型加载流程

api/acl/acl_model/model/model.cppaclmdlLoadWithConfigImpl：

aclmdlSetExternalWeightAddress将{fileName, devPtr, size}存入handle->fileConstantMem→ 加载时通过LoadExecutorArgs → LoweringGlobalData::SetFileConstantMem传递 → Lowering 阶段GetUserDeviceAddress按文件名匹配查找用户 Device 内存。

运行期：Runtime V1（DavinciModel 离线推理）

runtime/v1/graph/load/model_manager/davinci_model.cc，模型加载时PreProcessFileConstants预分配所有 FileConstant 内存。

合并模式（HandleCombinedWeights）

AllocateCombinedWeightMemory：

1. 先查用户内存：GetFileConstantUserDeviceMem(file_name)在file_constant_user_device_mems_中按文件名匹配
2. 无用户内存：MallocFileConstantMem申请 HBM →CopyOneWeightFromFileWithFilehandler一次性 H2D
3. external_weight_combined_mem_addr_（unique_ptr 自定义 deleter）管理生命周期：用户内存不释放，GE 内存在析构时释放

MapNodeAddressesToCombinedWeight：fileconstant_addr_mapping[logic_output_offset] = base_addr + weight_offset，校验偏移不越界，VarManager::SetVarIsReady标记就绪。

独立模式（HandleIndividualWeights）

逐节点处理：

1. GetUserDeviceMemForFileConstant：提取文件名 → 在file_constant_user_device_mems_查找 → 校验mem_size - offset >= weights_size→ 返回device_mem + offset
2. 无用户内存：MallocFileConstantMem分配 HBM（权重数据后续由 FileConstantKernel 运行时加载）
3. 写入映射fileconstant_addr_mapping，VarManager::SetVarIsReady

内存释放（FreeFileConstantMem）

DavinciModel 析构时调用。合并模式靠external_weight_combined_mem_addr_unique_ptr 析构；独立模式遍历fileconstant_addr_mapping，跳过用户内存（IsUserDeviceMemForFileConstant），仅释放 GE 分配的 HBM。

运行时地址查找

runtime/v2/kernel/known_subgraph/davinci_model_kernel.cc：通过kMemoryBaseTypeFileConstant类型标识在fileconstant_addr_mapping中查找 logic_offset → device_addr 映射。

关键数据结构（davinci_model.h）

std::string file_constant_weight_dir_; // 权重文件目录 std::map<std::string, FileConstantMem> file_constant_user_device_mems_; // 文件名 → 用户Device内存 std::unique_ptr<void, std::function<void(void*)>> external_weight_combined_mem_addr_; // 合并权重(智能指针) // runtime_param_.fileconstant_addr_mapping: map<int64_t, uintptr_t> 逻辑偏移 → 物理地址

ExternalWeightManager — 全局权重管理

base/graph/manager/graph_external_weight_manager.cc：

• Session 级别：每个 session 一个ExternalWeightManager，ExternalWeightManagerPool（全局单例）管理
• 去重：CheckAndSetWeightLoaded按 device+file 记录已加载权重，避免重复加载
• 分片：SaveSlicedFileConstantInfo / TryGetSlicedFileConstantInfo支持大模型分片
• 生命周期：Session 析构时RemoveManager → Finalize自动清理临时权重目录

FileConstantMeta持久化为 meta.json：

{ "hash_to_weight_file": {"sha256...": "/path/weight_sha256..."}, "hash_to_weight_offset": {"sha256...": 0} }

关键文件索引

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge