AI产品经理工作全流程详解：大模型开发从需求到上线的实战指南-编程阁

本文详细介绍了AI产品经理的工作全流程，包括需求定义、模型预研、数据准备、模型构建、模型宣讲与验收及业务开发上线等环节。与传统产品经理不同，AI产品经理需理解算法模型知识，与算法工程师紧密协作，特别关注特征工程和模型评估。文章通过薅羊毛用户筛选、用户流失预测等案例，展示了各阶段工作内容和注意事项，强调了数据质量、特征选择和模型评估对产品成功的重要性。

一、详解AI产品经理工作全流程

（原创小王子与月季向上的AI产品经理）

一、AI产品经理工作全流程概览

AI产品经理工作全流程中与普通产品经理的区别主要是多了算法模型部分，包括模型预研、数据准备、模型构建、模型宣讲、模型验收，协作的对象相对普通产品经理也多了算法工程师。

二、需求定义

需求定义主要要定义清楚以下几点：

1、做什么? 2、为什么要做，有什么收益和价值？3、业务预期目标、上线期限？

为了方便理解，我们以开发一套筛选薅羊毛用户的产品进行举例说明。

1、项目背景

团队发现负责的项目数据统计有些异常，细查之后，发现存在夜间偷数据的情况，大致行为路径如下：

淘宝上买一批手机号，注册新账号。
通过自动薅羊毛的方式（新手礼包、每日签到、周任务等），获取免费券等资源。
夜深人静的时候，使用免费券或积分批量下载数据。

亡羊补牢，犹未晚矣。我们决定开发一套筛选薅羊毛用户的产品，彻底堵住这个缺口。

2、做什么？

开发一套筛选薅羊毛用户的产品。具体设计大概思路如下：

在领取新手礼包或周任务奖励时，需要用户绑定手机号（薅羊毛时简单卡一下，以免影响正常的用户体验）。
在使用券进行下载操作时，判断是薅羊毛用户的概率，并根据概率高低分成正常、疑似、高危三类。
针对“疑似”用户，就触发极验或验证码校验等逻辑。针对高危用户，就锁定账号，并在激活时要求绑定微信，避免再出现大量偷数据的情况。

3、为什么要做，有什么收益和价值？

减少公司做活动发放福利时被薅羊毛，让福利触达给有效的用户。

4、业务预期目标、上线期限？

离线/实时模式：支持实时判断，所以应该定义为实时模型。
覆盖率：期望该模型的覆盖率为100%，面向所有用户。
倾向：尽可能找出所有羊毛党，追求高“召回率”，可以接受一定程度的误报。宁可错杀一千，不可放过一个。
上线期限：双十一前得上线，离现在还有半年时间。

三、模型预研

AI产品经理把需求同步给算法工程师，算法工程师需判断目前积累的数据和沉淀的算法是否可以达到业务需求。

如果现有数据不满足需求，要么增加埋点补齐数据，要么想办法获取目标数据，要么替换成其他类似数据。

如果算法支持度不够，可能需要调整需求内容，以便达到更适配的效果。以该项目为例，实时模式的话，可能会对原业务的响应速度有一定影响，所以最后调整为离线模型，每天定时处理前一天的用户数据。

四、数据准备

对于算法同学而言，他只能根据现有的数据分析哪些特征对于模型有用，但是，AI产品经理对业务理解更深，通过判断哪些数据、哪些特征对模型提升有帮助，把自己想到的要点和技术沟通，得到更完善的数据集，再动手去获取数据。

比如该用户是否主要在夜间活动？操作频率是否过高？短时间内同一台终端是否登录过多个用户？用户是否触发过新手引导？

尽可能准确的找到羊毛党用户的特征，对模型质量的提升会有极大的帮助。

获取数据时，主要分为以下三类（有时也可与其他公司联合建模）：

1、内部业务数据

如果以前业务有相关数据，那么我们可以从以前业务保留的数据中选取使用；如果当前没有相关数据，而我们有相关业务可以获得数据，我们通过增加埋点的方式将数据留存。

2、跨部门数据

其他部门数据或统一的中台数据，这些数据需要我们根据公司的数据管理规范流程提取，在数据提取的时候注意筛选有效数据。

3、外采数据

根据我们的需求向外部公司购买数据。我们需要了解市场上不同公司都可以提供什么数据，比如：极光、友盟提供的是开发者服务，所以他们可以提供一些和App相关的用户画像，比如运营商可以提供上网流量、话费等相关数据。

进行外采数据需要注意两点：外采公司的资质审核、采集数据的合法性（需要考虑数据安全和消费者隐私保护）。

五、模型构建

模型构建的具体流程如下：

1、模型设计

模型设计阶段，我们需要考虑该选择什么样的算法，目标变量应该怎么设置、数据源应该有哪些、数据样本如何获取，是随机抽取还是分层抽样。

a.算法选择

于其需求定义，模型需要计算出用户是薅羊毛用户的概率，并根据概率高低分为正常、疑似、高危三类，最终技术同学决定采用逻辑回归算法来实现该需求。

逻辑回归算法具有计算速度快、可解释性强的优点，适用于解决需求中的多分类问题，而且还可以对用户“为什么封号”的质疑，有较强的解释性。

b.定义目标变量及抽取数据样本

在模型设计阶段最重要的就是定义模型目标变量，以及抽取数据样本。

不同的目标变量，决定了这个模型应用的场景，以及能达到的业务预期。

样本是用来做模型的基础。在选取样本的时候，你需要根据模型的目标、业务的实际场景来选择合适的样本。必须要考虑季节性和周期性的影响。另外，还要考虑时间跨度的问题。建议你选择近期的数据，并结合跨时间样本的抽取，来降低抽样的样本不能描述总体的这种风险。

2、特征工程

所有模型的输入都是数量化的信息（用向量、矩阵或者张量的形式表示的信息），所以我们需要通过某种方式，把各种类型的数据转化成数量化的信息，这个过程就是特征工程。

特征工程是模型构建过程中最重要的部分，如果我们可以挑选到足够优质的特征，不仅可以提升模型性能，还能降低模型的复杂度，（当选择了优质的特征之后，即使你的模型参数不是最优的，也能得到不错的模型性能，你也就不需要花费大量时间去寻找最优参数了，从而降低了模型实现的复杂度。）大幅简化构建过程。

数据和特征决定了模型的上限，而模型和算法只是逼近这个上限而已。

以薅羊毛项目为例，我们可以通过用户是否在夜间活动、操作频率、历史订单、完成活动速度、同一台终端是否登录多个账号等一系列特征，来表达是薅羊毛用户的可能性，这就是建立了薅羊毛用户的特征工程。我们可以通过这些特征来判断用户的可疑程度。

特征过程包括以下四个流程：

1. 数据清洗

数据清洗主要是算法工程师要做的工作，数据预处理的重要环节，主要是对数据进行重新审查和校验，检查数据一致性、处理无效值和缺失值等。

来解决这些数据可能存在的数据缺失、有异常值或无效值、数据不均衡（比如前面部分数据表现好，后面部分数据表现不好）、单位不一致等问题。

对数据缺失，算法工程师可以通过删除缺失值或者补充缺失值的手段来解决它。

对于数据不均衡的问题，因为数据偏差可能导致后面训练的模型过拟合或者欠拟合，所以算法工程师取数据时需要考虑均衡问题。

2. 特征提取

从原始数据中提取有用的特征，将其转化为一组更具代表性和可解释性的特征。特征提取的目的是减少原始数据的维度，提高数据的表达能力，帮助算法进行更好的完成任务。

一般提取出的特征会有 4 类常见的形式，分别是数值型特征数据、标签或者描述类数据、非结构化数据、关系型数据。

**数值型特征：**如消费金额、好友人数、浏览页面次数等（相关的业务操作数据、运营数据）。一般来说，会首先提取主体特征，再提取其他维度特征。

**标签或描述类特征：**如有房、有车、高付费，用来打标签。

**非结构化特征：**如内容评论，需要判断是否有负面情绪。非结构化数据一般存在于 UGC（User Generated Content，用户生成内容）内容数据中。提取非结构化特征的一般做法就是，对文本数据做清洗和挖掘，挖掘出在一定程度上反映用户属性的特征。

**关系型数据特征：**如通讯录、收获地址、商品分享（一般分享给亲朋）、LBS位置信息等维度数据。比如说，在京东购物时，你和一个人在同一收货地址上，如果这个收货地址是家庭地址，那你们很可能就是家人。

3. 特征选择

特征在选择时主要有覆盖度、IV 值（信息价值）、稳定性等指标。

LV值指的是表示特征对目标预测的贡献程度，LV值有限定条件，一是面向的任务必须是有监督的任务；二是预测的模型必须是二分类模型。

4. 生成训练集和测试集

算法同学为了给模型训练做最后的准备，需要把数据分成训练集和测试集，他们会使用训练集来进行模型训练，会使用测试集验证模型效果，

3、模型训练

模型训练是通过不断训练、验证和调优，让模型达到最优的过程。就是要找到一个划分条件（决策边界），使得准确率（拟合）最高的同时兼顾稳定性（泛化性能）。这里涉及几个名词需要理解：

a、决策边界

那么怎么达到最优呢？就是要绘制一条比较好的决策边界。

决策边界：就是在符合某种条件做出某种选择的条件，根据这个条件可以将结果进行划分。比如说：下午6：00不写完这篇博客我不吃饭，那么写完了就去吃，没写完就不吃。这个条件就是我们说的决策边界。

决策边界分为：线性决策边界和非线性决策边界。下图中，图1为线性决策边界，图2、图3为非线性决策边界。

决策边界曲线的平滑程度和算法训练出来的模型能力息息相关。曲线越陡峭模型的测试精度越准确（可以理解为不是一刀切），但是越陡峭的曲线模型越不稳定。

b、拟合与泛化

模型的“最优”，指的是模型拟合能力和泛化能力的平衡点。

拟合能力：模型在已知数据上（训练集）表现的好坏
泛化能力：模型在未知数据上（测试集）表现的好

如果想让模型有足够好的拟合能力，就需要构建一个复杂的模型对训练集进行训练，但是模型越复杂就会越依赖训练集的数据，就越可能出现训练集的表现很好，但在测试集上表现差的情况，泛化能力比较差，这种情况叫做“过拟合”。

如果想让提高模型的泛化能力，就要降低模型复杂度，减少对训练集的依赖，但如果过度降低复杂度，又可能导致“欠拟合”的情况。

过拟合：模型把数据学习的太彻底，甚至把噪声数据的特征也学习到了，就导致不能很好的识别未知数据，模型泛化能力下降。训练集表现很好，但是测试集很差。读的是“死书”，并没有真正掌握书里的精髓，自然就无法很好的应用了。产生过拟合的原因一般有：特征过多，模型复杂度过高，样本数据无法代表预定的分类，样本噪音干扰过大等。
欠拟合：模型不能很好的捕捉数据特征，不能很好的拟合数据。在训练集的表现就很差，需要继续努力“学习”。产生欠拟合的原因一般有：模型复杂度过低、特征量过少等。

c、交叉验证

算法工程师就这样不断的调整模型参数、训练，再用交叉验证的方式，逐渐找到拟合能力和泛化能力的平衡点，这个平衡点就是我们训练模型的目标。

交叉验证：一种评估机器学习模型性能的有效方法，可以用于选择最佳模型参数、模型选择以及避免过拟合等问题。包括简单交叉验证、留出交叉验证、自助交叉验证等方法。如把测试数据进行进行封箱处理，后随机对一些分箱测试结果取平均值。

4、模型验证

经过复杂的模型训练，我们终于得到了一个所谓的“最优解”，但是怎么证明这个最优解就是真正的最优解呢？我们需要模型验证阶段来确认这个“最优解”的真假。

模型验证一般通过模型的性能指标和稳定性指标来评估。

模型性能，就是模型预测的准确性。

分类模型性能评估：分类模型的预测结果是具体的分类，一般使用召回率、F1、KS、AUC等评估指标，来判断分类模型的性能。
回归模型性能评估：回归模型的预测结果是连续值，一般使用方差和MSE等评估指标，来判断回归模型的性能。

模型稳定性，指的是模型性能可以持续多久，一般使用PSI指标来评估模型的稳定性。

PSI指标，指模型稳定性指标（或称为客情稳定性指标），PSI越小越好，如果PSI>0.25说明稳定性很差。

综上：模型验收环节，AI产品经理需要知道常用的性能指标与稳定性指标，并且知道其合理的范围。AI产品经理对模型验证环节格外关注，需要深入理解评估指标、计算逻辑，并能根据指标的数据判断模型效果是否达标。

5、模型融合

为了提升模型的准确率和稳定性，有时会同时构建多个模型，再把这些模型集成在一起，确保模型有更优的整体表现。

比如薅羊毛项目这种分类模型，可以用最简单的投票方法来融合，票数最多的类别就是最终的结果。

回归模型的融合主要用算术平均或加权平均。

分类模型的融合，主要是取数据值最大的，如Blending和stacking,bagging和bossting。

模型融合的一些基本方法如下，感兴趣可进一步查资料了解。

在模型融合的过程中，产品经理需要考虑好成本问题。

五、模型宣讲与验收

模型构建完成后，产品经理需要组织技术宣讲训练好的模型，介绍内容如下：

使用的什么算法？为什么选这个算法？
选用了哪些特征。
训练集、测试集的大致情况。
模型的测试结果。
是否达到了预期？哪些指标未达预期？未达预期的原因是什么。

宣讲之后，产品经理需要对模型进行评估和验收，该环节也非常重要，至于如何选择合适的评估指标，后续章节会详细介绍。

六、业务开发并上线

验收通过之后，技术会把模型部署到线上，并按之前和业务开发同事约定的接口提供能力。

业务开发完成相应功能后，和模型接口联调通过，就可以进入常规的走查、测试、上线流程了。

需要注意的是，模型上线后，还需要持续监控模型的效果，若运行一段时间后，发现模型效果有明显衰减，就需要分析原因，并针对性的升级模型。

二、《AI产品经理宝典》第四篇：AI产品经理的工作流程

（原创慕渊他爹毅筋经）

在当今的互联网时代，用户流失是每一家互联网公司都无法忽视的重大挑战。以我之前公司苏宁的电商平台为例，新用户增长逐年放缓，而老用户的流失却持续不断，这无疑给业务带来了巨大的压力。面对这样的困境，作为产品经理，尤其是AI产品经理，我们该如何有效地降低用户流失率，提升用户粘性？

下面，我想通过一个在苏宁参与过的关于预测用户流失的AI项目，带各位小伙伴深入了解一个AI产品从筹备到上线的完整流程，包括每个环节的角色分配、工作职责以及他们的具体产出。

当然，我所讲述的上线流程是基于苏宁特定业务场景和经验总结而来的，可能并不完全适用于所有公司。但无论如何，我们做事的底层逻辑和核心原则都是相通的。

【业务背景与挑战】

在电商平台的激烈竞争中，用户流失成为了一个不容忽视的问题。我们公司曾面临这样的困境：每月老用户的流失数量远超过新用户的增长。为了扭转这一趋势，我们决定开发一套AI产品，用于预测并预警可能流失的用户，同时采取针对性措施进行挽留。

【精准定义产品需求】

当决定启动一个AI产品项目时，首要任务是与业务方紧密合作，共同确定产品目标和范围。这一合作对象可能来自运营团队，也可能是业务部门，具体取决于产品是面向消费者（ToC）还是企业用户（ToB）。通过沟通交流，我们能够明确业务方的核心诉求与期望，比如产品上线的时间节点、预期的市场影响等。

1. 细化需求

以预测用户流失项目为例，我们的业务伙伴是运营团队。项目的核心目标是通过算法，精准识别出具有高流失风险的用户群体，并通过定向发放优惠券等策略进行召回。我们设定的KPI是，通过干预措施，使这部分用户的流失率相较于未干预群体降低5%。

2. 技术规划

在技术层面，我们根据运营团队的工作节奏，决定将模型设计为离线模式，按月更新。这意味着每月初，模型将基于最新数据，预测出当月的流失风险用户。同时，为了确保模型的全面性和实用性，我们设定了100%的覆盖率目标，即模型需能够覆盖业务线上的所有用户。

3. 文档记录

所有这些关于模型更新周期、运行模式、覆盖率等关键要求，都被详细记录在需求文档中。

【技术预研与需求调整】

在AI产品的生命周期中，技术预研是确保项目顺利推进的关键步骤。

1. 预判可行性

与算法工程师的沟通，核心在于对需求的可行性进行预判。这要求产品经理不仅要深刻理解业务需求，更要具备一定的技术素养，以便准确传达需求细节，并引导算法团队评估现有数据与算法是否足以支撑业务目标的实现。这一过程中，产品经理需细致询问：当前的数据积累是否充足？数据的维度和质量是否满足模型训练的高标准？若答案不尽如人意，便需立即启动数据筹备的应急预案。

2. 数据筹备

数据，是AI项目的基本要素。即便算法需求初步得到满足，数据准备的工作仍然不能遗漏。产品经理需要凭借业务理解的能力，协助算法团队，从海量数据中筛选出最有价值的部分，确保数据既全面又精准。特别是对于垂直业务线而言，产品经理的专业知识显得尤为关键。

3. 需求调整

技术预研的另一大挑战，在于根据算法的反馈灵活调整需求。例如，当发现新用户因数据缺失而无法被算法有效评分时，简单的坚持原有覆盖率目标显然不切实际。此时，产品经理需要迅速响应，基于新老用户的实际比例，重新计算并设定合理的覆盖率指标，确保需求既符合技术实际，又能最大化业务效益。

【数据准备，挖掘业务价值】

数据准备是AI产品开发的关键环节。我们基于业务的理解，来协助算法团队筛选出具有代表性的数据集。比如说，我们发现用户客诉及相应的处理情况，与流失率密切相关，因此特别为算法团队准备了相关的客诉数据。这种业务洞察与数据准备的结合，确保了模型能够捕捉到最重要的特征。

由于数据的多样性和来源的广泛性，我们的获取方式也需灵活多变。总的来说，数据可以分为三大类别：内部业务数据、跨部门集团内数据以及外部采购数据。

1. 捕获内部业务数据

内部数据，作为我们最直接的业务反馈，如订单数据、访问日志等，是构建AI模型的基石。这些数据通常可以直接从数据仓库中获取。然而，在实际操作中，我们可能会遇到数据缺失的情况。此时，作为AI产品经理，需要敏锐地洞察数据需求，提出明确的数据留存需求。例如，通过增加埋点来捕获用户行为数据等，为模型提供更全面的输入。

2. 获取跨部门数据

跨部门集团内数据，涵盖了其他部门的业务数据以及统一的中台数据。这些数据对于构建全局视角的AI模型至关重要。在获取这些数据时，需要遵循所在公司的数据管理规范，按流程进行提取。同时，AI产品经理需要具备相应的业务理解能力，能够准确判断哪些数据对模型构建具有价值，从而确保数据的有效性和针对性。

3. 外部数据采购

当公司内部数据无法满足建模需求时，外部数据的采购便成为了一个重要的选项。在采购外部数据时，不仅要关注数据的丰富性和准确性，更要确保数据的合规性和安全性。因此，与第三方公司的合作必须经过公司法务的严格审核，以避免潜在的风险。

【模型构建、宣讲与验收】

数据准备完成后，就会进入到模型构建的阶段。虽然产品经理不直接参与模型构建，但了解整个流程对于评估项目进度至关重要。

1. 模型构建

涵盖了模型设计、特征工程、模型训练、模型验证以及模型融合等多个步骤，每一步都至关重要，共同决定了模型的最终性能。

尽管AI产品经理不需要投入到模型构建的具体技术细节中，但深入了解这一流程对于评估项目进度、与算法团队高效协作至关重要。后续我会专门写一篇文章来进行详细讲解（这里为预告）

2. 模型宣讲

模型构建完成后，AI产品经理需要组织算法工程师，阐述所选算法的原理、优势，以及特征选择、建模与测试样本的考量。特别是对于流失预测模型，需明确其主要特征、建模样本，并重点评估测试结果是否贴合业务需求。

例如，当面对流失预测模型的测试结果时，我们可能会发现模型召回率、KS值均达标，但模型覆盖度低于预期。此时，需结合业务实际，若业务侧仅需针对部分流失用户进行挽留操作，那么当前的覆盖度或许已经足够了。这类问题，正是模型宣讲环节需重点关注与评估的。

3. 模型验收

模型宣讲之后，AI产品经理还需对模型进行全面评估验收，从产品经理的视角判断模型是否满足上线标准。比如在预测流失用户的项目中，我们应重点关注模型的准确率，即模型预测的用户在一定周期后是否确实发生流失。如果模型准确率不佳，导致优惠券错配至无流失意愿的用户，将造成营销预算的严重浪费。因此，模型验收环节需确保模型性能符合业务期望。

【工程开发与产品上线运营】

模型通过验收后，进入工程开发阶段。

1. 工程开发与模型构建并行

在工程开发阶段，我们通常会与算法模型的构建同步进行。算法团队负责模型的研发，而工程团队则根据算法的输入输出和API接口进行系统开发，两个团队紧密协作，确保工程开发与模型构建的无缝对接。

2. 工程测试验收

工程开发完成后，产品会进入测试验收阶段。测试团队会全面检测系统的功能和性能，一旦发现任何问题，都会及时提交给工程团队进行修复。最后，产品经理会进行走查验收，确保产品达到上线标准。

3. 产品上线与A/B测试

产品上线后，为了评估效果，我们会进行A/B测试，对比AI方案与传统方案的表现。通过量化数据，更准确地了解AI产品带来的效果提升，同时关注产品定义阶段的指标和目标是否达成。

4. 持续监控与优化

AI产品经理的工作并不仅限于产品上线。在上线后，我们还需要持续监控产品的数据表现，特别是模型的效果。由于模型效果会随时间逐渐衰减，因此我们需要定期分析数据，找出衰减的原因，并根据实际情况启动模型的迭代更新，以保持产品的最优效果。

三、谈谈AI产品经理的产品开发流程

（叶秋产品刘）

本文以智能文档审阅系统（IDP）和工业互联网数字孪生—故障预测为例，介绍AI产品经理在产品开发全流程过程中，每一阶段的工作内容、工作流程及注意事项，并结合具体案例方便对AI产品经理感兴趣的同学予以了解。文中尽量避免使用特征向量、归一化、RNN等专业词汇，可放心阅读。

一、需求定义

内容：这一初始阶段集中在从业务角度理解项目的目标和要求，然后把理解转化为模型能力的定义和一个初步执行计划。不仅要有整体技术研判力（可行性、技术难度、关键技术点），还要有业务洞察力，可以定义出可执行有价值的好问题。

流程：

注意：AI产品经理在本阶段要特别注意模型能力边界和模型类型确定。

案例：

这里说的模型类型除了回归、分类、聚类、序列之外，还要基于具体业务考虑其他情形，比如在线还是离线，因为如果目标客户比较注重数据安全，可能就会要求私有化部署，不允许连接外网调用模型接口。AI产品经理在需求分析阶段明确模型基础要求，也方便工程师在后续模型预研及成本分析方面提前有所考虑。

关于模型能力边界。请看这一条业务需求“系统自动抽取合同签订日期、中标通知书通知日期并进行时序性校验，合同签订日期不能早于中标通知书通知日期”，AI产品经理需要将此条业务需求的实现分解成先由模型执行抽取任务后，再由系统（平台）进行时序性比较。因为不同类型模型可执行的下游任务不同，仅以自然语言处理任务层级举例，如下图，我们这里提到的模型能力边界指的是第三次，即信息抽取、情感分析、问答系统、机器翻译和对话系统等。

自然语言处理任务层级

二、模型预研

内容：需求确定之后，AI产品经理需要和工程师进行沟通，要判断目前积累的数据和沉淀的算法，是否可以达到我们的业务需求。以及对原始数据的初步理解，发掘值得关注的数据子集以形成对隐藏信息的假设。

流程：

注意：在这个环节中，可能还需要根据算法工程师的预估，对上一阶段的需求内容进行调整。

案例：此阶段往往需要AI产品经理跟算法工程师经过多轮沟通，根据业务目标及原始数据质量的预估，确定模型预研的可行性等问题。比如以智能文档分析（IDP）系统举例，因为文档类型及业务规则的多样性往往需要多个模型共同完成一项业务需求，比如对一份合同的审核既需要对合同基本信息的抽取（如甲方、乙方、签订日期），也需要对合同中建设内容的相似性进行判断，还需要对合同中的表格数据进行分析。这就需要AI产品经理与工程师多次沟通，确定模型融合等解决方案的设计。

三、数据准备

内容：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。“数据准备”阶段往往会占用整个工程60%以上的时间。产品经理基于对业务的理解，帮助工程师判断哪些数据集更具备代表性，以及明确数据来源、数据质量处理措施。

流程：

注意：“数据质量”问题除了数据模式层面，还要关心应用场景下的数据质量问题，应用场景相关的数据质量问题，与研究问题的范畴和业务上下文有关，通常不容易发现，有一定规律但不存在通用的方法。

案例：“数据异常”也许是被忽略的一些“正常场景”。

【业务背景】风电机组大部分采用同步变桨，在正常情形下，三个桨距角应该非常接近。因此，在变桨驱动系统异常研判中，常常会将三个桨距角的不一致性（如角度差或短期时序相关度）作为一个重要特征。

【数据现象1】如下图所示，某个风电机组在2013年8月9日21:45—21:47的表现。三个桨距角的初始值都在87.5°左右，然后三个桨距角逐步变为0°。

控制电路重启造成三个桨距角的大差异

【业务解读】这个过程实际上是调试过程中，变桨控制系统逐个重启造成的。在2013年8月9日21:45:40左右，第一个变桨控制电路进行了人工重启，然后依次对第二个、第三个进行了重启。

【对数据准备的启发】对于关键数据、关键结果要做必要的数据探索（画图或者看统计分布），数据中包含的内容超过我们的“预设”和“专家经验”。

四、模型构建

内容：AI产品经理基于对需求和业务的理解，配合算法工程师进行数据集的准备、模型训练、参数调优等等，及时跟进模型的目标优化，针对突发问题做出调整和决策。

流程：

注意：前面有提到“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。”算法工程师们花费在特征工程建立上面的时间，基本上占整个模型构建的 60%。AI产品经理在此阶段要尽量结合业务经验预判、保证特征的稳定性。

案例：磨煤机堵磨检测。

【数据特征】磨煤机堵磨研判，几小时内，电流持续上升，伴随入口风量下降。预将入口风量作为特征数据预测磨煤机堵磨。

【业务经验】入口风量影响因素太多，测量稳定性差，不应作为主要研判依据：多台磨煤机共用一个管道，它们的入口风量存在强耦合。

五、模型宣讲

内容：产品经理组织业务及算法相关同事一起参与，算法同事帮忙说明使用了什么算法和选择这个算法的原因，这个模型选择了哪些重要特征，训练的样本，以及算法同学的测试方案与结果。AI产品经理要有目的的引导业务了解算法逻辑，并可以用非技术语言跟领导及客户解释清楚模型逻辑。

流程：无

注意：此阶段主要对特征的来源，训练样本的合理性以及测试结果是否符合业务预期，是否合理进行评估预判。

案例：无

六、模型验收

内容：在模型评估环节，产品经理需要做的是，根据业务需求挑选合适的测试样本，请算法同学进行测试，并且提交测试结果。最后，再根据模型宣讲和测试的内容编写模型验收报告。

流程：

注意：在不同场景下，由于我们的业务目标不同，对模型的要求不同，对模型统计性指标的关注点也不会相同。AI产品经理需要明确知道针对不同的AI模型对应不同的评估指标，并根据业务需求提出模型验收要求。

案例：模型的评估主要包括三个部分：统计性、模型性能和模型稳定性。

统计性指标指的就是模型输出结果的覆盖度、最大值、最小值、人群分布等指标。以模型覆盖度为例，它表示模型可以覆盖人群的百分比，它的计算公式是：模型的覆盖度= 模型可以打分的人数 / 需要模型打分的人数。覆盖度越高，代表模型可以打分的人数越多，也就是说模型可以评估更多人。如果模型覆盖度过低，即使它的性能表现很好，在某些业务场景下模型也不可用。

模型性能和稳定性评估：分类模型的性能评价指标主要包括：混淆矩阵、KS、AUC 等。回归模型的性能评价指标主要包括：MAE（平均绝对误差）、MSE（均方误差）、RMSE（均方根误差）、R 方等。具体指标的介绍及分析有很多资料介绍，感兴趣的同学可以查一下，这里不再赘述。

工程开发、测试验收模块与传统互联网没有区别这里不再过多介绍。此外对于在线模型，在上线运营后需要对模型评估指标及特征持续性关注，可建立简单的监测系统定时监查。

四、小白：AI产品经理的工作流程有什么不同？

（青子青子的读书笔记）

“AI产品经理工作流程的6大关键步骤是：设定产品目标、进行技术预研、需求分析、产品设计、参与研发流程、持续产品运营。”

大家好，我是青子，正在努力寻求产品经理进阶。

如果你也在探索产品经理的进阶之路，关注我，来跟我一起学习成长吧。

这是我的第7篇读书笔记。

我要读的第一本书是《人工智能产品经理 AI时代PM修炼手册》。今天阅读了第六章–人工智能产品经理工作流程。

人工智能（AI , artificial intelligence）后续都称为AI。

01 设定清晰的目标

目标定义阶段的检查清单如下：

（1）用户/客户痛点分析–场景描述

说明用户/客户具体的业务或需求场景是什么？
如果产品功能投入使用，用户将在该场景中哪个流程环节里使用他们？
当产品没有问世之前，用户/客户都使用什么样的替代方案？
替代方案在多大程度上满足了用户/客户的需求？

（2）用户/客户痛点分析–痛点来源

用户/客户的痛点来源是自身还是来源于外界的压力？为什么存在这种压力？
痛苦链条是什么？

（3）用户/客户痛点分析–痛点全方位剖析

该痛点涉及的面有多广？是普遍问题还是个别问题？该痛点对应的需求是否高频？
该痛点是否符合政策导向或者是否合规？
用户/客户愿意为此痛点买单吗？他们愿意付出多少成本来解决这个痛点？感觉到痛的人是否有采购决策权？

（4）市场竞争

市场规模有多大？
产品在市场上的主要竞争对手有谁？各自的竞争优势是什么？市场占有率如何？
市场上是否已经有占有率比较高的产品，其具有什么样的优势？
相比于竞争对手，我们的优势是什么？用户/客户选择我们的理由是什么？

02 技术预研

主要包括：领域内的技术基本现状和趋势、领域内的前沿技术、常见技术逻辑、判断技术切入点。

详细解释见书中关于AI人脸识别的技术预研举例。

03 需求分析和产品设计

AI产品设计****失败的常见原因

（1）技术驱动产品设计

技术驱动产品设计，即我有什么样的技术就做什么样的产品。但是事实上，用户不会在乎产品是否使用了深度学习技术，更不在乎产品训练了多少条的数据，用户只在乎产品帮助他解决了什么问题，解决这个问题付出的代价是否可以被接受。

（2）忽略用户期望

产品很可能只解决了用户在整个体验流程中的某一个环节的细小问题，对于整体的效率和体验的提升极其有限，结果就造成了用户期望过高而以失望告终的糟糕体验。当这种产品被投放到市场后，很可能会导致用户对公司的品牌信任度大幅降低。

（3）单点突破带来的价值有限，与用户付出的成本不成正比

如果产品只能带来单点突破，只在某个具体的场景中发挥了价值，而没有形成整体解决方案，那么将很难产生长久的价值。例如，绝大多数的家庭机器人的使用场景仍然相对单一，并没有形成刚需，仅仅依靠语音识别取代触碰式交互，远远不能满足用户的复杂需求。

（4）一味追求底层技术，而忽略了用户体验的优化

例如，一些广告推荐系统不会考虑用户的感受，反复推荐用户买过的或者浏览过的隐私产品，这不仅让用户感觉尴尬，而且会有一种被侵犯隐私的感觉。

AI产品常见设计原则

（1）少即是多原则

AI时代产品的目标包括提供个性化精准服务，提升效率和准确率，提升用户体验等。例如：一款电商平台的智能交互搜索引擎为了提供搜索框提示、实时预测、个性化搜索、推荐等多重功能，底层技术使用了深度强化学习、在线学习、自然语言理解、知识图谱等多种复杂技术。可无论背后的技术原理如何复杂，对于用户来说，其看到的只是一个搜索框而已。少即是多的原则就是要将用户在使用产品时的负担降到最低。

（2）从微观到宏观逐步深入

产品需要从微观到宏观逐步满足用户需求，当某个功能得到了用户普遍认可后，再继续第二个功能，只有这样，才能占领用户心智，才能逐渐被用户信任。这跟传统产品经理从MVP版本做起，从0-1，再从1-N的设计思路是一致的。

（3）放宽世界，有效整合资源

AI产品经理应具备宽阔的视野，不仅要学会找到算法和用户需求的交叉点，而且要有意识的去修炼自己的软硬件技术整合能力、跨行业技术融合能力、交叉文化理解和创新能力等。

（4）同理心

一款成功的产品往往不是依据用户明确提出的需求，而是更多的去响应用户还没有表达出来的需求。同理心要求用大多数用户的认知看待自己设计的产品，放下自身的经验、体验，和用户站在一起。（这点说起来容易，做起来却很难）

合理制定需求优先级

（1）根据需求的价值和研发部署的复杂程度对每个需求进行评估。

（2）使用卡诺模型对每个需求进行评估。

（3）相似组分类法：首先团队成员进行头脑风暴，尽量将能想出来的需求写在卡片上，然后团队一起将每个卡片按照内容相似度进行分组，并给每个组起好名字。最后团队共同为每个组进行投票打分，选出优先级最高的组和这个组里优先级最高的卡片。

（4）加权得分法：通过对不同需求进行多维度打分，横向对比，综合加权得分，将得分最高的需求作为最高优先级。