news 2026/5/9 18:08:09

AMCT模型压缩工具包

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AMCT模型压缩工具包

AGENTS.md

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

本文件为 agent 在此代码仓库中工作时提供指导。

项目概述

AMCT(Ascend Model Compression Toolkit)是一款昇腾 AI 处理器亲和的深度学习模型压缩工具包,提供多种模型量化压缩特性(W8A16、W8A8、W4A16 等)。压缩后模型体积变小,部署到昇腾 AI 处理器可使能低比特运算,提高计算效率。

主要功能:

  • 量化压缩:支持多种量化算法(AWQ、GPTQ、SmoothQuant、Minmax 等)
  • HiFloat8:支持 HiFloat8/FP8/FP4 数据量化和分位量化
  • 图压缩:基于计算图的压缩优化(张量分解等)
  • NPU 算子:量化相关的昇腾 NPU 算子实现
  • 实验特性:DeepSeekV3.2/V4 等前沿模型的量化支持

构建命令

基础构建

# 构建(Release 模式) bash build.sh # 查看构建选项 bash build.sh --help # 构建打包(生成可分发的 tar.gz) bash build.sh --pkg # Debug 模式构建 bash build.sh --build-type=Debug # 指定线程数构建 bash build.sh -j8 # 指定第三方库路径 bash build.sh --cann_3rd_lib_path=/path/to/3rd_party

单元测试

# 构建并运行单元测试 bash build.sh -u # 启用覆盖率 bash build.sh -u --cov # 启用 AddressSanitizer bash build.sh --asan

Python 环境安装

# 安装依赖 pip install -r requirements.txt # 安装 pre-commit 代码检查工具 pip install pre-commit pre-commit install

目录结构

目录用途
amct_pytorch/PyTorch 量化压缩核心源码
amct_pytorch/experimental/实验特性(HiFloat8、DeepSeek 等)
amct_pytorch/graph_based_compression/基于计算图的压缩优化(张量分解等)
npu_ops/量化相关的昇腾 NPU 算子代码
tests/单元测试
examples/端到端样例开发和调用示例
docs/工具文档(概念介绍、API 文档、算法介绍等)
cmake/CMake 构建配置
build.sh工程编译脚本
setup.pyPython 包打包入口
requirements.txtPython 依赖包
.clang-formatC/C++ 代码格式化配置

开发规范

gitcode pr/issue 操作

@.claude/skills/default-skills/SKILL.md

代码风格

  • 遵循 Google 开源代码规范(基于.clang-format
  • 使用clang-format格式化 C/C++ 代码,行宽限制 120 字符,4 空格缩进
  • 使用pre-commit在提交前自动检查代码规范
  • Python 代码遵循 PEP8 规范

贡献流程

  • 简单 bug 修复:直接提交 PR
  • 新特性/接口变更:先通过 Issue 讨论方案,达成共识后再提交 PR
  • PR 需要关联相关 Issue,并包含特性代码、优化文档和 README

许可证

  • Apache 2.0 协议,需在代码中标注版权信息

短语

使用中文

【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 18:08:03

CANN/ge源码构建指南

源码构建 【免费下载链接】ge GE(Graph Engine)是面向昇腾的图编译器和执行器,提供了计算图优化、多流并行、内存复用和模型下沉等技术手段,加速模型执行效率,减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的…

作者头像 李华
网站建设 2026/5/9 17:58:57

Taotoken模型广场如何帮助开发者快速选型与切换合适的大模型

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 Taotoken模型广场如何帮助开发者快速选型与切换合适的大模型 对于需要接入大模型能力的开发者而言,面对市场上众多的模…

作者头像 李华
网站建设 2026/5/9 17:58:24

图神经网络与强化学习:破解复杂网络预测与优化难题的AI融合范式

1. 项目概述:当AI遇见复杂网络如果你研究过生态学,可能会为一个问题头疼:如何预测某个关键物种的消失,会对整个食物网产生怎样的连锁反应?如果你从事城市规划,可能每天都在思考:如何在有限的预算…

作者头像 李华
网站建设 2026/5/9 17:56:57

AI与组学大数据融合:驱动植物胁迫智能诊断与预测

1. 项目概述:当植物“生病”时,AI如何成为它的“诊断医生”在农业科研与生产一线待了十几年,我见过太多这样的场景:一片长势喜人的作物,可能因为一场突如其来的干旱、一次不易察觉的病害侵染,或者土壤里某种…

作者头像 李华
网站建设 2026/5/9 17:56:08

使用Taotoken后开发团队在模型API调用稳定性与延迟方面的实际体验分享

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 使用Taotoken后开发团队在模型API调用稳定性与延迟方面的实际体验分享 1. 背景与接入动机 我们是一个约十五人的中小型开发团队&a…

作者头像 李华