news 2026/5/9 12:38:45

CANN/pypto分布式共享内存视图

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN/pypto分布式共享内存视图

pypto.distributed.shmem_view

【免费下载链接】pyptoPyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto

产品支持情况

产品是否支持
Atlas A3 推理系列产品
Atlas A2 推理系列产品

功能说明

从输入的 shared memory tensor 中提取一个部分视图,以供后续计算。

函数原型

shmem_view( src: ShmemTensor, shape: list[int] = None, offsets: list[Union[int, SymbolicScalar]] = None, *, valid_shape: Optional[list[Union[int, SymbolicScalar]]] = None, ) -> ShmemTensor

参数说明

参数名输入/输出说明
src输入要提取局部视图的 shared memory tensor。
shape输入需要获取的视图大小。
offsets输入需要获取的视图偏移量。
offsets 的维度应与 src 的维度一致,且每个维度的偏移量值应小于 src 对应维度的大小。
valid_shape输入用于指定需要获取的有效数据大小。
需要保证 valid_shape 小于参数 shape。

返回值说明

返回一个 从 src 中提取的部分视图,形状为 shape 参数,如果指定了 valid_shape,则实际形状为 valid_shape。

约束说明

调用示例

  • 示例 1:从 shared memory tensor 的提取一个部分视图,该部分视图的 shape 为 [64, 64],offset 为 [0, 1],实际获取的数据有效大小为 [64, 32]。

    shmem_tensor = pypto.distributed.create_shmem_tensor(group_name="tp", n_pes=8, dtype=pypto.DT_FP16, shape=[64, 128]) y = pypto.distributed.shmem_view(src=x, shape=[64, 64], offsets=[0, 1], valid_shape=[64, 32])

【免费下载链接】pyptoPyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。项目地址: https://gitcode.com/cann/pypto

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 12:38:42

CANN/cannbot-skills工具目录

Tool Catalog 【免费下载链接】cannbot-skills CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。 项目地址: https://gitcode.com/cann/cannbot-skills Use this file to choose a repository tool before ope…

作者头像 李华
网站建设 2026/5/9 12:31:33

CANN ops-math clamp算子

aclnnClamp 【免费下载链接】ops-math 本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-math 📄 查看源码 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列…

作者头像 李华
网站建设 2026/5/9 12:31:33

CANN/GE添加控制输入API

AddControlInput 【免费下载链接】ge GE(Graph Engine)是面向昇腾的图编译器和执行器,提供了计算图优化、多流并行、内存复用和模型下沉等技术手段,加速模型执行效率,减少模型内存占用。 GE 提供对 PyTorch、TensorFlo…

作者头像 李华
网站建设 2026/5/9 12:30:54

边缘设备LLM量化实战:从7B模型到500MB内存的极限压缩指南

摘要:本文揭秘2026年最前沿的LLM边缘部署技术,通过12种量化策略组合,将Llama-3-8B模型压缩至500MB内存限制下运行。包含TensorRT-LLM配置秘籍、内存泄漏修复方案及3个工业级案例,实测推理速度提升4.2倍,内存占用降低83…

作者头像 李华
网站建设 2026/5/9 12:28:33

CANN/pypto 填充操作

pypto.pad 【免费下载链接】pypto PyPTO(发音: pai p-t-o):Parallel Tensor/Tile Operation编程范式。 项目地址: https://gitcode.com/cann/pypto 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atla…

作者头像 李华
网站建设 2026/5/9 12:27:50

6G时代零接触式普适AI即服务架构:融合区块链与DRL的自动化AI交付

1. 项目概述:当6G遇见普适AI,一场“零接触”的服务革命如果你关注过5G,就会知道它带来的不仅是更快的网速,更是万物互联的基石。但当我们把目光投向更远的6G,会发现它的野心远不止于此。6G的核心愿景之一,是…

作者头像 李华