MindSpore开发之路（二十二）：MindSpore Lite实战：在端侧部署AI应用

1. 前言

在上一篇文章中，我们成功地将一个PyTorch模型转换为了MindSpore Lite专用的.ms格式。现在，我们终于来到了最激动人心的环节——将这个模型部署到真实的移动设备上，赋予App以AI的能力。

本文将以Android平台为例，通过一个图像分类的Demo，手把手带你走完端侧推理的“最后一公里”。我们将详细讲解如何在Android项目中集成MindSpore Lite、加载模型、处理数据、执行推理并最终展示结果。虽然我们不会涉及完整的App UI构建，但会提供核心的、可直接复用的Java/Kotlin代码逻辑。

2. 端侧推理的通用流程

无论是在Android还是iOS上，使用MindSpore Lite进行推理都遵循一个标准流程：

1. 集成SDK：将MindSpore Lite的推理库（AAR for Android, Framework for iOS）集成到你的移动应用项目中。
2. 加载模型：从App的资源或文件系统中读取.ms模型文件，构建一个Model实例。
3. 准备输入：获取模型的输入Tensor信息（如数据类型、形状），并将你的原始输入数据（如Bitmap图片）预处理成符合模型要求的Tensor格式。
4. 执行推理：调用model.predict()方法，传入预处理好的输入Tensor。
5. 获取输出：从模型中获取输出Tensor。
6. 后处理与展示：对输出Tensor进行解析（如执行Softmax、查找最大值索引），并将结果（如分类标签和置信度）显示在UI上。

3. Android实战：手写数字识别App核心逻辑

让我们以之前训练和转换的LeNet手写数字识别模型（lenet.ms）为例，看看如何在Android App中实现它。

3.1. 步骤一：集成MindSpore Lite AAR

首先，你需要从MindSpore官网下载适用于Android的MindSpore Lite发布包。解压后，你会找到一个名为mindspore-lite-*.aar的文件。

在Android Studio中，将这个.aar文件放入你的App模块的libs目录下。然后，在build.gradle文件中添加对它的依赖：

// app/build.gradledependencies{// ... 其他依赖implementationfiles('libs/mindspore-lite-2.2.11.aar')// 替换为你的AAR文件名}

同时，将你的.ms模型文件（例如lenet.ms）放入app/src/main/assets目录下，这样App在运行时就可以访问它了。

3.2. 步骤二：封装一个推理帮助类

为了代码的整洁和复用，我们通常会创建一个帮助类（Helper Class）来封装所有与MindSpore Lite推理相关的操作。下面是一个使用Java编写的MindSporeDigitRecognition类的骨架。

importandroid.content.Context;importandroid.graphics.Bitmap;importcom.mindspore.lite.Model;importcom.mindspore.lite.MSTensor;importcom.mindspore.lite.LiteSession;importcom.mindspore.lite.config.MSConfig;importjava.nio.ByteBuffer;importjava.nio.ByteOrder;importjava.util.ArrayList;importjava.util.List;publicclassMindSporeDigitRecognition{privateLiteSessionsession;privatefinalintinputWidth=32;privatefinalintinputHeight=32;// 构造函数：加载模型publicMindSporeDigitRecognition(Contextcontext,StringmodelName){// 1. 创建和配置 LiteSessionMSConfigconfig=newMSConfig();config.setDeviceType(DeviceType.DT_CPU);// 使用CPU推理config.setThreadNum(2);// 使用2个线程// 2. 从assets加载模型文件并构建Sessionsession=LiteSession.createSession(modelName,context,config);if(session==null){thrownewIllegalStateException("Failed to create MindSpore Lite session.");}}// 预处理：将Bitmap转换为ByteBufferprivateByteBufferpreprocess(Bitmapbitmap){// ... 实现见下文}// 推理方法publicfloat[]predict(Bitmapbitmap){// ... 实现见下文}// 释放资源publicvoidrelease(){if(session!=null){session.release();}}}

3.3. 步骤三：实现数据预处理

我们的LeNet模型需要一个[1, 1, 32, 32]尺寸、经过归一化的float32输入。因此，我们需要将用户提供的手写数字图片（Bitmap）进行相应的转换。

// 在 MindSporeDigitRecognition 类中privateByteBufferpreprocess(Bitmapbitmap){// 1. 将Bitmap缩放到32x32BitmapresizedBitmap=Bitmap.createScaledBitmap(bitmap,inputWidth,inputHeight,true);// 2. 分配一个ByteBuffer来存放模型输入数据// 1 * 32 * 32 * 1 * 4 bytes (Batch, Height, Width, Channels, Float32)ByteBufferinputBuffer=ByteBuffer.allocateDirect(1*inputWidth*inputHeight*1*4);inputBuffer.order(ByteOrder.nativeOrder());inputBuffer.rewind();int[]pixels=newint[inputWidth*inputHeight];resizedBitmap.getPixels(pixels,0,inputWidth,0,0,inputWidth,inputHeight);// 3. 遍历像素，进行灰度化和归一化for(intpixelValue:pixels){// 从ARGB中提取灰度值 (R, G, B分量是相同的)intgray=(pixelValue>>16)&0xFF;// 归一化到[0, 1]范围floatnormalizedGray=gray/255.0f;inputBuffer.putFloat(normalizedGray);}returninputBuffer;}

这段代码完成了缩放、灰度化和归一化三个关键步骤，并将最终的浮点数据写入了ByteBuffer，这正是MindSpore Lite可以直接使用的数据格式。

3.4. 步骤四：实现推理和后处理

这是最核心的部分。我们调用predict方法，然后解析其输出。

// 在 MindSporeDigitRecognition 类中publicfloat[]predict(Bitmapbitmap){// 1. 预处理图片ByteBufferinputBuffer=preprocess(bitmap);// 2. 获取输入Tensor并填充数据// 假设模型只有一个输入MSTensorinputTensor=session.getInputs().get(0);inputTensor.setData(inputBuffer);// 3. 执行推理if(!session.runGraph()){System.err.println("MindSpore Lite runGraph failed.");returnnull;}// 4. 获取输出Tensor// 假设模型只有一个输出MSTensoroutputTensor=session.getOutputs().get(0);// 5. 获取输出数据并返回// LeNet的输出是一个包含10个float值的数组，代表每个数字的logitreturnoutputTensor.getFloatData();}

在你的Activity或ViewModel中，你可以这样使用它：

// 在你的Activity中privateMindSporeDigitRecognitionrecognizer;// onCreate时初始化recognizer=newMindSporeDigitRecognition(this,"lenet.ms");// 当获取到用户绘制的Bitmap时BitmapuserBitmap=getUserDrawingBitmap();float[]logits=recognizer.predict(userBitmap);// 对logits进行后处理，找到最大值的索引if(logits!=null){intmaxIndex=-1;floatmaxProb=-Float.MAX_VALUE;for(inti=0;i<logits.length;i++){if(logits[i]>maxProb){maxProb=logits[i];maxIndex=i;}}// maxIndex 就是识别出的数字 (0-9)// 你可以在这里更新UI，显示结果textViewResult.setText("识别结果: "+maxIndex);}// onDestroy时释放资源@OverrideprotectedvoidonDestroy(){super.onDestroy();if(recognizer!=null){recognizer.release();}}

至此，一个完整的手写数字识别功能的核心逻辑就完成了！

4. 总结

将AI模型部署到端侧设备，是技术落地、创造价值的关键一步。通过本文的实战演练，我们完整地体验了使用MindSpore Lite在Android平台上部署一个AI模型的过程。

我们学习了：

• 集成：如何将MindSpore Lite的AAR库集成到Android项目中。
• 加载：如何通过LiteSession加载.ms模型文件。
• 预处理：如何将原始数据（Bitmap）处理成符合模型输入要求的ByteBuffer。
• 推理：如何调用runGraph执行模型推理。
• 后处理：如何解析模型的输出Tensor，并将其转换为有意义的应用结果。

虽然这只是一个简单的Demo，但它包含了端侧AI应用开发的所有核心要素。掌握了这个流程，你就已经具备了将更复杂、更强大的MindSpore模型部署到移动端的能力，为创造出更多富有想象力的AI应用打下了坚实的基础。