CANN权重量化批量矩阵乘算子

WeightQuantBatchMatmulV2

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn

产品支持情况

功能说明

• 算子功能：完成一个输入为伪量化场景的矩阵乘计算，并可以实现对于输出的量化计算。

• 计算公式：

  $$ y = x @ ANTIQUANT(weight) + bias $$

  公式中的$weight$为伪量化场景的输入，其反量化公式$ANTIQUANT(weight)$为

  $$ ANTIQUANT(weight) = (weight + antiquantOffset) * antiquantScale $$

  当需要对输出进行量化处理时，其量化公式为

  $$ \begin{aligned} y &= QUANT(x @ ANTIQUANT(weight) + bias) \ &= (x @ ANTIQUANT(weight) + bias) * quantScale + quantOffset \ \end{aligned} $$

  当不需要对输出再进行量化操作时，其计算公式为

  $$ y = x @ ANTIQUANT(weight) + bias $$

参数说明

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：
  • weight只支持INT8、INT4、INT32。
  • antiquant_scale只支持FLOAT16、BF16、UINT64、INT64。
• Atlas A3 训练系列产品/Atlas A3 推理系列产品：
  • weight只支持INT8、INT4、INT32。
  • antiquant_scale只支持FLOAT16、BF16、UINT64、INT64。
• Ascend 950PR/Ascend 950DT：quant_scale和quant_offset暂不支持。

约束说明

• 不支持空tensor。
• 支持连续tensor，非连续tensor只支持转置场景。

调用说明

【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库，实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn