news 2026/5/9 13:13:33

CANN运行时跨机内存共享

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN运行时跨机内存共享

12_cross_server_physical_memory_sharing_withoutpid

【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime

描述

本样例展示了 aclrtMemExportToShareableHandleV2 和 aclrtMemImportFromShareableHandleV2 接口实现跨机物理内存共享,在内存共享时关闭进程白名单校验。

产品支持情况

本样例支持以下产品:

产品是否支持
Atlas A3 训练系列产品/Atlas A3 推理系列产品

编译运行

  • 环境安装详情请见example目录下的README。
  • 本样例用于展示跨服务器共享内存功能,需在两台已完成环境配置且网络互通的服务器上分别运行脚本:
    • 在服务端服务器执行:bash run_server.sh,按提示输入监听端口号。
    • 在客户端服务器执行:bash run_client.sh,按提示输入服务端地址与端口号。

CANN RUNTIME API

在该Sample中,涉及的关键功能点及其关键接口,如下所示:

  • 初始化
    • 调用aclInit接口初始化AscendCL配置。
    • 调用aclFinalize接口实现AscendCL去初始化。
  • Device管理
    • 调用aclrtSetDevice接口指定用于运算的Device。
    • 调用aclrtResetDeviceForce接口强制复位当前运算的Device,回收Device上的资源。
  • Stream管理
    • 调用aclrtCreateStream接口创建Stream。
    • 调用aclrtDestroyStreamForce接口强制销毁Stream,丢弃所有任务。
  • 内存管理
    • 调用aclrtMemGetAllocationGranularity查询内存申请粒度。
    • 调用aclrtMallocPhysical申请Device物理内存,并返回一个物理内存handle。
    • 调用aclrtReserveMemAddress预留虚拟内存。
    • 调用aclrtMapMem将虚拟内存映射到物理内存。
    • 调用aclrtMemSetAccess设置虚拟内存的访问权限。
    • 调用aclrtMemExportToShareableHandleV2将通过aclrtMallocPhysical接口获取到的物理内存handle导出为跨服务器可共享的句柄。
    • 调用aclrtMemImportFromShareableHandleV2在本进程中获取shareableHandle里的信息,并返回本进程中的handle。
    • 调用aclrtUnmapMem取消虚拟内存与物理内存之间的映射关系。
    • 调用aclrtReleaseMemAddress释放通过aclrtReserveMemAddress接口申请的虚拟内存。
    • 调用aclrtFreePhysical释放通过aclrtMallocPhysical接口申请的物理内存。
    • 调用aclrtMallocHost接口申请Host上的内存。
    • 调用aclrtFreeHost接口释放Host上的内存。

已知issue

暂无

【免费下载链接】runtime本项目提供CANN运行时组件和维测功能组件。项目地址: https://gitcode.com/cann/runtime

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 13:11:49

AI赋能空间天气预报:深度学习预测太阳耀斑的技术实践

1. 项目概述:当AI遇见太阳风暴太阳,这颗为我们提供光和热的恒星,其表面并非总是宁静。剧烈的太阳活动,尤其是太阳耀斑和日冕物质抛射,会向太空抛射出大量高能粒子和辐射。当这些“太阳风暴”抵达地球时,会对…

作者头像 李华
网站建设 2026/5/9 13:11:37

大语言模型赋能社会科学研究:从文本分析到智能洞察

##ాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలుాలు1. 项目概…

作者头像 李华
网站建设 2026/5/9 13:10:35

CANN/ops-cv 3D最近邻上采样算子

aclnnUpsampleNearest3d 【免费下载链接】ops-cv 本项目是CANN提供的图像处理、目标检测相关的算子库,实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-cv 📄 查看源码 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT…

作者头像 李华
网站建设 2026/5/9 13:07:54

CANN PTO-ISA AUTO模式

PTO AUTO Mode 【免费下载链接】pto-isa Parallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend …

作者头像 李华
网站建设 2026/5/9 13:03:00

CANN/tensorflow NPUEstimatorSpec构造函数

NPUEstimatorSpec构造函数 【免费下载链接】tensorflow Ascend TensorFlow Adapter 项目地址: https://gitcode.com/cann/tensorflow 功能说明 NPUEstimatorSpec类的构造函数,NPUEstimatorSpec类继承了TensorFlow的EstimatorSpec类,可以调用基类…

作者头像 李华
网站建设 2026/5/9 12:59:24

CANN/graph-autofusion SuperKernel性能分析演示

super_kernel 用例演示 【免费下载链接】graph-autofusion Graph-autofusion 是一个面向昇腾(Ascend)芯片的轻量级、解耦式组件集合,旨在通过自动融合技术加速模型执行。 目前已开源 SuperKernel 组件,未来将持续开放更多自动融合…

作者头像 李华