news 2026/5/9 18:38:15

CANN/HCCL Server间通信算法支持度列表

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/HCCL Server间通信算法支持度列表

Server间通信算法支持度列表

【免费下载链接】hccl集合通信库（Huawei Collective Communication Library，简称HCCL）是基于昇腾AI处理器的高性能集合通信库，为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl

下面分别给出Server间不同型号的产品支持的算法，以及对应算法下支持的通信算子介绍，表格中未列出的则代表不支持。

Ascend 950PR/Ascend 950DT

  • NHR算法

    集合通信算子数据类型网络运行模式通信算子展开模式
    ReduceScatterint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		AI_CPU/CCU_SCHED
    AllGatherint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bfp16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式
    - 图模式（Ascend IR）    		AI_CPU/CCU_SCHED
    AllReduceint8、int16、int32、float16、float32、 bfp16- 单算子模式
    - 图模式（Ascend IR）    		AI_CPU/CCU_SCHED
    Broadcastint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bf16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式
    - 图模式（Ascend IR）    		AI_CPU/CCU_SCHED
    Reduceint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		AI_CPU/CCU_SCHED
    Scatterint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bf16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式AI_CPU/CCU_SCHED
    Broadcastint8、int16、int32、int64、uint8、uint16、uint32、uint64、float16、float32、float64、bf16、fp8-e5m2、fp8-e4m3、hif8、fp8-e8m0- 单算子模式
    - 图模式（Ascend IR）    		AI_CPU/CCU_SCHED

Atlas A3 训练系列产品/Atlas A3 推理系列产品

  • ring算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    ReduceScatterVint8、int16、int32、int64（仅单算子模式支持此数据类型）、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法
    Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法

  • NHR算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    ReduceScatterVint8、int16、int32、int64（仅单算子模式支持）、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法
    Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法

  • NB算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    ReduceScatterVint8、int16、int32、int64（仅单算子模式支持）、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法
    Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法

  • AHC算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法

Atlas A2 训练系列产品/Atlas A2 推理系列产品

  • ring算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    AllGatherint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    AllReduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    Reduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    Scatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式自动选择为NHR或者H-D_R算法
    AllGatherVint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法

  • H-D_R算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法

  • NHR算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为H-D_R或者ring算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法

  • NHR_V1算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法

  • NB算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法

  • pipeline算法

    注意：针对Atlas A2 训练系列产品/Atlas A2 推理系列产品，如果选择pipeline算法，不支持开启确定性计算；否则pipeline算法不会生效。

    集合通信算子数据类型网络运行模式不支持算子处理方法
    AllReduceint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）：针对浮点计算的溢出模式，不支持饱和模式，仅支持INF/NaN模式。    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    ReduceScatterint8、int16、int32、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AlltoAllint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）的动态shape场景    		自动选择为pairwise算法
    AlltoAllVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）的动态shape场景    		自动选择为pairwise算法
    AlltoAllVCint8、int16、int32、int64、float16、float32、bfp16- 图模式（Ascend IR）的动态shape场景自动选择为pairwise算法

  • pairwise算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    AlltoAllint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AlltoAllVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AlltoAllVCint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法

  • CP算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    AlltoAllVint8、int16、int32、int64、float16、float32、bfp16单算子模式自动选择为pairwise算法

Atlas 训练系列产品

  • ring算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    AllGatherint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    AllReduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法
    Reduceint8、int16、int32、 int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者H-D_R算法

  • H-D_R算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法
    Reduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR或者ring算法

  • NHR算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为H-D_R或者ring算法

  • NHR_V1算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法

  • NB算法

    集合通信算子数据类型网络运行模式不支持算子处理方法
    ReduceScatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllGatherint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    AllReduceint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    Broadcastint8、int16、int32、int64、float16、float32、bfp16- 单算子模式
    - 图模式（Ascend IR）    		自动选择为NHR、H-D_R或者ring算法
    ReduceScatterVint8、int16、int32、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法
    AllGatherVint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法
    Scatterint8、int16、int32、int64、float16、float32、bfp16- 单算子模式自动选择为NHR、H-D_R或者ring算法

【免费下载链接】hccl集合通信库（Huawei Collective Communication Library，简称HCCL）是基于昇腾AI处理器的高性能集合通信库，为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/5/9 18:37:47

Taotoken 的模型广场如何辅助开发者进行初步的模型选型与对比

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度 Taotoken 的模型广场如何辅助开发者进行初步的模型选型与对比 当你第一次登录 Taotoken 控制台，准备为自己的项目接入大…

作者头像 李华
网站建设 2026/5/9 18:34:31

CANN/torchtitan-npu版本策略

版本策略（Versioning Policy） 【免费下载链接】torchtitan-npu Ascend Extension for torchtitan 项目地址: https://gitcode.com/cann/torchtitan-npu torchtitan-npu 采用“分支 commit 基线”的方式与上游 torchtitan 保持对齐。 本政策用于定…

作者头像 李华
网站建设 2026/5/9 18:23:31

人工智能的社会技术定义：从理性主义到人文主义的融合

1. 人工智能定义的迷思：为什么我们总在“盲人摸象”？ 干了这么多年技术，也写了不少关于人工智能的科普和行业分析，我发现一个挺有意思的现象：无论是技术圈内的开发者，还是圈外的普通用户，甚至是…

作者头像 李华
网站建设 2026/5/9 18:22:40

nli-MiniLM2-L6-H768环境部署：Ubuntu/CentOS下Docker+NLI镜像离线部署指南

nli-MiniLM2-L6-H768环境部署：Ubuntu/CentOS下DockerNLI镜像离线部署指南 1. 模型概述 nli-MiniLM2-L6-H768是一个专为自然语言推理(NLI)与零样本分类设计的轻量级交叉编码器(Cross-Encoder)模型。该模型在保持高性能的同时，实现了更小的体积和更快的推…

作者头像 李华
网站建设 2026/5/9 18:22:30

AI学术会议碳足迹量化：从数据抓取到绿色选址的实践路径

1. 项目概述：当AI会议遇上碳足迹，一场关于学术交流的绿色革命作为一名长期关注技术与社会交叉领域的研究者，我最近被一篇关于AI会议碳排放的论文深深触动。我们每天都在谈论人工智能如何改变世界，却很少停下来思考，那些…

作者头像 李华