news 2026/5/9 12:31:33

CANN ops-math clamp算子

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
CANN ops-math clamp算子

aclnnClamp

【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math

📄 查看源码

产品支持情况

产品是否支持
Ascend 950PR/Ascend 950DT
Atlas A3 训练系列产品/Atlas A3 推理系列产品
Atlas A2 训练系列产品/Atlas A2 推理系列产品
Atlas 200I/500 A2 推理产品×
Atlas 推理系列产品
Atlas 训练系列产品

功能说明

  • 接口功能:将输入的所有元素限制在[min,max]范围内,如果min为None,则没有下限,如果max为None,则没有上限。

  • 计算公式:

$$ {y}{i} = max(min({{x}{i}},{max_value}{i}),{min_value}{i}) $$

函数原型

每个算子分为两段式接口,必须先调用“aclnnClampGetWorkspaceSize”接口获取计算所需workspace大小以及包含了算子计算流程的执行器,再调用“aclnnClamp”接口执行计算。

aclnnStatus aclnnClampGetWorkspaceSize( const aclTensor *self, const aclScalar *clipValueMin, const aclScalar *clipValueMax, aclTensor *out, uint64_t *workspaceSize, aclOpExecutor **executor)
aclnnStatus aclnnClamp( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, const aclrtStream stream)

aclnnClampGetWorkspaceSize

  • 参数说明

    参数名输入/输出描述使用说明数据类型数据格式维度(shape)非连续Tensor
    self(aclTensor*)输入输入Tensor,需要进行限制的张量,即公式中的xi-FLOAT16、FLOAT、FLOAT64、INT8、UINT8、INT16、INT32、INT64、BOOL、BFLOAT16ND1-8
    clipValueMin(aclScalar*)输入输入Scalar,对self的下界进行限制,即公式中的min_valuei数据类型与self的数据类型需满足数据类型推导规则(参见互转换关系)。FLOAT16、FLOAT、FLOAT64、INT8、UINT8、INT16、INT32、INT64、BOOL、BFLOAT16---
    clipValueMax(aclScalar*)输入输入Scalar,对self的上界进行限制,即公式中的max_valuei数据类型与self的数据类型需满足数据类型推导规则(参见互转换关系)。FLOAT16、FLOAT、FLOAT64、INT8、UINT8、INT16、INT32、INT64、BOOL、BFLOAT16---
    out(aclTensor*)输出输出tensor,shape和self保持一致。-FLOAT16、FLOAT、FLOAT64、INT8、UINT8、INT16、INT32、INT64、BOOL、BFLOAT16ND与self保持一致
    workspaceSize(uint64_t*)输出返回需要在Device侧申请的workspace大小。-----
    executor(aclOpExecutor**)输出返回op执行器,包含了算子计算流程。-----
    • Atlas 训练系列产品 、 Atlas 推理系列产品 :

      • self和out的数据类型不支持BOOL、BFLOAT16。
      • clipValueMin和clipValueMax的数据类型不支持BFLOAT16。
    • Atlas A2 训练系列产品/Atlas A2 推理系列产品 、 Atlas A3 训练系列产品/Atlas A3 推理系列产品 :

      • self和out的数据类型不支持BOOL。
    • Ascend 950PR/Ascend 950DT :

      • self、clipValueMin和clipValueMax数据类型需满足数据类型推导规则(参见TensorScalar互推导关系)
      • out的数据类型需要是self、clipValueMin、clipValueMax推导之后可转换的数据类型。
      • self、clipValueMin、clipValueMax和out的数据类型不支持BOOL。
  • 返回值

    aclnnStatus:返回状态码,具体参见aclnn返回码。

    第一段接口完成入参校验,出现以下场景时报错:

    返回值错误码描述
    ACLNN_ERR_PARAM_NULLPTR161001传入的self、out其中一个为空指针,或者max、min全为空指针。
    ACLNN_ERR_PARAM_INVALID161002self、out的数据类型和数据格式不在支持的范围之内。

aclnnClamp

  • 参数说明

    参数名输入/输出描述
    workspace输入在Device侧申请的workspace内存地址。
    workspaceSize输入在Device侧申请的workspace大小,由第一段接口aclnnClampGetWorkspaceSize获取。
    executor输入op执行器,包含了算子计算流程。
    stream输入指定执行任务的Stream。
  • 返回值

    aclnnStatus:返回状态码,具体参见aclnn返回码。

约束说明

  • 确定性计算:
    • aclnnClamp默认确定性实现。

调用示例

示例代码如下,仅供参考,具体编译和执行过程请参考编译与运行样例。

#include <iostream> #include <vector> #include "acl/acl.h" #include "aclnnop/aclnn_clamp.h" #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t>& shape) { int64_t shape_size = 1; for (auto i : shape) { shape_size *= i; } return shape_size; } int Init(int32_t deviceId, aclrtStream* stream) { // 固定写法,资源初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T>& hostData, const std::vector<int64_t>& shape, void** deviceAddr, aclDataType dataType, aclTensor** tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据拷贝到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int PrepareInputAndOutput( std::vector<int64_t>& shape, void** selfDeviceAddr, aclTensor** self, aclScalar** max, aclScalar** min, void** outDeviceAddr, aclTensor** out) { int8_t max_v = 5; int8_t min_v = 2; std::vector<int8_t> selfHostData = {0, 1, 0, 3, 0, 5, 0, 7}; std::vector<int8_t> outHostData = {0, 0, 0, 0, 0, 0, 0, 0}; // 创建self aclTensor auto ret = CreateAclTensor(selfHostData, shape, selfDeviceAddr, aclDataType::ACL_INT8, self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建max *max = aclCreateScalar(&max_v, aclDataType::ACL_INT8); CHECK_RET(*max != nullptr, return ret); // 创建min *min = aclCreateScalar(&min_v, aclDataType::ACL_INT8); CHECK_RET(*min != nullptr, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, shape, outDeviceAddr, aclDataType::ACL_INT8, out); CHECK_RET(ret == ACL_SUCCESS, return ret); return ACL_SUCCESS; } void ReleaseTensorAndScalar(aclTensor* self, aclScalar* max, aclScalar* min, aclTensor* out) { aclDestroyTensor(self); aclDestroyScalar(max); aclDestroyScalar(min); aclDestroyTensor(out); } void ReleaseDevice( void* selfDeviceAddr, void* outDeviceAddr, uint64_t workspaceSize, void* workspaceAddr, aclrtStream stream, int32_t deviceId) { aclrtFree(selfDeviceAddr); aclrtFree(outDeviceAddr); if (workspaceSize > 0) { aclrtFree(workspaceAddr); } aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); } int main() { // 1. 固定写法,device/stream初始化, 参考acl对外接口列表 // 根据自己的实际device填写deviceId int32_t deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); // check根据自己的需要处理 CHECK_RET(ret == 0, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); // 2. 构造输入与输出,需要根据API的接口定义构造 std::vector<int64_t> shape = {4, 2}; void* selfDeviceAddr = nullptr; void* outDeviceAddr = nullptr; aclTensor* self = nullptr; aclScalar* max = nullptr; aclScalar* min = nullptr; aclTensor* out = nullptr; float max_v = 5; float min_v = 2; std::vector<float> selfHostData = {0, 1, 0, 3, 0, 5, 0, 7}; std::vector<float> outHostData = {0, 0, 0, 0, 0, 0, 0, 0}; // 创建self aclTensor ret = CreateAclTensor(selfHostData, shape, &selfDeviceAddr, aclDataType::ACL_FLOAT, &self); CHECK_RET(ret == ACL_SUCCESS, return ret); // 创建max max = aclCreateScalar(&max_v, aclDataType::ACL_FLOAT); CHECK_RET(max != nullptr, return ret); // 创建min min = aclCreateScalar(&min_v, aclDataType::ACL_FLOAT); CHECK_RET(min != nullptr, return ret); // 创建out aclTensor ret = CreateAclTensor(outHostData, shape, &outDeviceAddr, aclDataType::ACL_FLOAT, &out); CHECK_RET(ret == ACL_SUCCESS, return ret); // 3. 调用CANN算子库API,需要修改为具体的API uint64_t workspaceSize = 0; aclOpExecutor* executor; // 调用aclnnClamp第一段接口 ret = aclnnClampGetWorkspaceSize(self, min, max, out, &workspaceSize, &executor); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnClampGetWorkspaceSize failed. ERROR: %d\n", ret); return ret); // 根据第一段接口计算出的workspaceSize申请device内存 void* workspaceAddr = nullptr; if (workspaceSize > 0) { ret = aclrtMalloc(&workspaceAddr, workspaceSize, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret;); } // 调用aclnnClamp第二段接口 ret = aclnnClamp(workspaceAddr, workspaceSize, executor, stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclnnClamp failed. ERROR: %d\n", ret); return ret); // 4. 固定写法,同步等待任务执行结束 ret = aclrtSynchronizeStream(stream); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("aclrtSynchronizeStream failed. ERROR: %d\n", ret); return ret); // 5. 获取输出的值,将device侧内存上的结果拷贝至host侧,需要根据具体API的接口定义修改 auto size = GetShapeSize(shape); std::vector<float> resultData(size, 0); ret = aclrtMemcpy(resultData.data(), resultData.size() * sizeof(resultData[0]), outDeviceAddr, size * sizeof(float), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); for (int64_t i = 0; i < size; i++) { LOG_PRINT("result[%ld] is: %f\n", i, resultData[i]); } // 6. 释放aclTensor和aclScalar,需要根据具体API的接口定义修改 ReleaseTensorAndScalar(self, max, min, out); // 7. 释放device 资源 ReleaseDevice(selfDeviceAddr, outDeviceAddr, workspaceSize, workspaceAddr, stream, deviceId); return 0; }

【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 12:31:33

CANN/GE添加控制输入API

AddControlInput 【免费下载链接】ge GE&#xff08;Graph Engine&#xff09;是面向昇腾的图编译器和执行器&#xff0c;提供了计算图优化、多流并行、内存复用和模型下沉等技术手段&#xff0c;加速模型执行效率&#xff0c;减少模型内存占用。 GE 提供对 PyTorch、TensorFlo…

作者头像 李华
网站建设 2026/5/9 12:30:54

边缘设备LLM量化实战:从7B模型到500MB内存的极限压缩指南

摘要&#xff1a;本文揭秘2026年最前沿的LLM边缘部署技术&#xff0c;通过12种量化策略组合&#xff0c;将Llama-3-8B模型压缩至500MB内存限制下运行。包含TensorRT-LLM配置秘籍、内存泄漏修复方案及3个工业级案例&#xff0c;实测推理速度提升4.2倍&#xff0c;内存占用降低83…

作者头像 李华
网站建设 2026/5/9 12:28:33

CANN/pypto 填充操作

pypto.pad 【免费下载链接】pypto PyPTO&#xff08;发音: pai p-t-o&#xff09;&#xff1a;Parallel Tensor/Tile Operation编程范式。 项目地址: https://gitcode.com/cann/pypto 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atla…

作者头像 李华
网站建设 2026/5/9 12:27:50

6G时代零接触式普适AI即服务架构:融合区块链与DRL的自动化AI交付

1. 项目概述&#xff1a;当6G遇见普适AI&#xff0c;一场“零接触”的服务革命如果你关注过5G&#xff0c;就会知道它带来的不仅是更快的网速&#xff0c;更是万物互联的基石。但当我们把目光投向更远的6G&#xff0c;会发现它的野心远不止于此。6G的核心愿景之一&#xff0c;是…

作者头像 李华
网站建设 2026/5/9 12:26:42

Hololens2通过APPx来发布

1 生成vs工程 unity 2021.3.352 生成appx3 网页端连接hololens安装appx即可

作者头像 李华
网站建设 2026/5/9 12:26:39

AI与运筹学融合:构建可信AI系统的优化框架与实践

1. 项目概述&#xff1a;当AI遇见运筹学&#xff0c;一场关于“可信”的深度对话最近几年&#xff0c;AI模型的能力边界被不断突破&#xff0c;从刷榜各种测试集到生成以假乱真的内容&#xff0c;其“智能”水平令人惊叹。然而&#xff0c;作为一名在数据科学和算法工程一线摸爬…

作者头像 李华