简介
当大模型在特定领域表现不佳时，首先应尝试Prompt Engineering，若无效或需特定格式输出，则需进行SFT微调。SFT是通过特定数据集训练模型参数，使其掌握专业知识。SFT数据质量比数量更重要，数据结构为指令-响应对格式。微调步骤包括预训练、微调和评估，可分为全量微调和参数高效微调。建议先用少量数据测试效果，有收益后再扩充数据集。
面试的时候对方问你:当你拿到的模型在某个领域表现明显很差，回答问题或者生成文本的质量都不高时，怎么办呢？
比如用你的模型写个赤激的小说，它吭哧瘪肚半天没有反应，或者给你应付事儿，输出内容让你产生:“老子裤子都脱了就给我看个这”的愤怒时，咋办？
一般来说，首先应该做Prompting Engineering，也就是先给他点提示，如果还有下面问题：
1）通过Prompting Engineering无法解决问题或Prompt中描述过于复杂，导致线上推理耗时很长的情况；
2）应用对大模型响应的内容有固定格式要求，而模型在Prompting Engineering后仍有部分情况的输出不符合要求；
这两种情况出现，并且给模型添加RAG也没有明显效果的时候，就说明我们需要对模型进行微调了。
通俗地说就是提示了他，甚至给他开卷考试了，还不会！这时候就得训他了。
基础大模型微调，即SFT（Supervised Fine-Tuning，监督微调），是指根据原有模型先复制一个目标模型，用目标数据集训练该模型。
具体来说，SFT是用户提供一份事先标注好的数据集（包含输入的Prompt和预期输出的Response），然后在某个已有的基座大模型上训练，继续调整其参数，从而使其能掌握专业领域的知识。
SFT监督微调能够利用预训练模型的参数和结构，避免从头开始训练模型，从而加速模型的训练过程，并且能够提高模型在特定领域的表现。
SFT数据结构
SFT的数据结构是指令-响应对格式，以Json形式存储。SFT数据由以下几部分组成：角色定义、标签分类任务、生成任务、参考问答等。
SFT的数据质量比数据量更重要，一般来说其数据量级如下：
1）生成类任务：需2000-3000条
2）参考问答类任务：需2000-1万条
3）文本分类任务：需1000-3000条
SFT的数据采样策略主要有两种，分别是：
1）数据采样与分布平衡：采样要平衡各类数据的分布，难度也需要渐进分布；同时，要兼顾数据长度分布，尽量覆盖所有领域；
2）预置数据混入策略：通过预先设计，准备好需混入的数据。混入数据的比例一般在15%-30%左右，从而缓解大模型在某个领域上SFT后，通用能力下降的问题，保持模型在特定领域外的基本能力。
微调方式
做SFT前，一开始无需构造大量SFT数据集，可先用少量数据（例如50条-100条）对模型做优化可，然后观察效果，评估这种调整是否有用。如果有收益，可以尝试以部分数据为种子数据集继续扩充，找到最佳调优效果。如果没有收益，那么需要返回来，重新检查SFT数据集的质量，看是否是因数据质量问题导致调优效果不佳。
具体有以下几个步骤：
1、预训练：首先在一个大规模的数据集上训练一个深度学习模型，例如使用自监督学习或者无监督学习算法进行预训练；
2、微调：使用目标任务的训练集对预训练模型进行微调。通常，只微调模型的最后几层或者某些中间层。在微调过程中，通过反向传播算法对模型进行优化，使得模型在目标任务上表现更好；
3、评估：使用目标任务的测试集对微调后的模型进行评估，得到模型在目标任务上的性能指标。
根据应用场景和调整的幅度，SFT微调可以细分为两种：全量微调和参数高效微调。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
这份完整版的大模型 AI 学习和面试资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
第一阶段：从大模型系统设计入手，讲解大模型的主要方法；
第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
