本篇文章我们继续学习如何在本地私有化部署一个基于大语言模型的 AI 应用开发平台Dify，并将Xinference内的模型集成到Dify中，方便后续在此平台开展AI的各种应用，如知识库、Agent等。
一、关于Dify的介绍
1.1 什么是Dify?
Dify 是一款开源的大语言模型(LLM) 应用开发平台。项目设立于2023年3月，开源协议是基于 Apache License 2.0 有限商业许可，后端技术为Python/Flask/PostgreSQL，前端技术Next.js，发版周期平均每周一次。
它融合了后端即服务（Backend as Service）和LLMOps 的理念，使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员，也能参与到 AI 应用的定义和数据运营过程中。
由于 Dify 内置了构建 LLM 应用所需要的关键技术栈，包括对数百个模型的支持、直观的Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。
Github上的项目地址：https://github.com/langgenius/dify
1.2 为什么使用Dify?
若我们把 LangChain 这类的开发库（Library）想象为有着锤子、钉子的工具箱。那么Dify 提供了更接近生产需要的完整方案，Dify 好比是一套脚手架，并且经过了精良的工程设计和软件测试。
重要的是，Dify 是开源的，它由一个专业的全职团队和社区共同打造。你可以基于任何模型自部署类似 Assistants API 和 GPTs 的能力，在灵活和安全的基础上，同时保持对数据的完全控制。
⚠️：Dify 一词源自 Define + Modify，意指定义并且持续的改进你的 AI 应用，它是为你而做的（Do it for you）。
1.3 Dify 能做什么？
- 加速AI应用开发：快速的将你的 AI 应用创意变成现实，已经有几十个团队通过 Dify 构建 MVP（最小可用产品）获得投资，或通过 POC（概念验证）赢得了客户的订单；
- 集成 LLM 至已有业务：通过引入 LLM 增强现有应用的能力，接入 Dify 的 RESTful API 从而实现 Prompt 与业务代码的解耦；
- 企业级 LLM 基础设施：可以将 Dify 部署为企业内的 LLM 网关，加速 GenAI 技术在企业内的推广，并实现中心化的监管；
- 探索 LLM 的能力边界：即使你是一个技术爱好者，通过 Dify 也可以轻松地实践 Prompt 工程和 Agent 技术，在 Dify 上创建自己的应用。
1.4 Dify内支持的模型
在 Dify 中，可按模型的使用场景将模型分为以下 4 类：
系统推理模型：如在智聊、对话生成、下一步问题建议等场景用的是系统推理模型。目前已支持的系统推理模型供应商：OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)；
Embedding 模型：在数据集中，将分段过的文档做 Embedding 以及将用户的提问做 Embedding 处理用的是该类型的模型。目前已支持的 Embedding 模型供应商：OpenAI、ZHIPU(ChatGLM)、Jina AI(Jina Embedding)；
Rerank 模型：**Rerank 模型主要用于增强检索能力，改善 LLM 的搜索结果。目前已支持的 Rerank 模型供应商：Cohere、Jina AI(**Jina Reranker)；
语音转文字模型：在对话型应用中，将语音转文字用的是该类型的模型。目前已支持的语音转文字模型供应商：OpenAI。
1.5 Dify内提供的四种应用类型
聊天助手：基于 LLM 构建对话式交互的助手；
文本生成：构建面向文本生成类任务的助手，例如撰写故事、文本分类、翻译等；
Agent：能够分解任务、推理思考、调用工具的对话式智能助手；
工作流：基于流程编排的方式定义更加灵活的 LLM 工作流。
二、在笔记本上本地化部署Dify实战
2.1 系统要求
在安装 Dify 之前，请确保您的机器满足以下最低系统要求：
- CPU >= 2 Core
- RAM >= 4GB
2.2 安装Docker（已安装可忽略）
首先，从官方网站下载docker安装包：https://www.docker.com/get-started/
下载完成后，找到安装包，双击后通过拖拽完成安装。
在docker桌面版本安装完成后，需要在damen.json文件中配置国内的镜像代理，否则拉取会失败。具体操作如下：
1）点击桌面上的docker图标后，点击Settings，如下图所示：
2）在Settings页面点击Docker Engine，编辑如下灰色框框内容，由于一个镜像不一定能够成功，这里我们添加了如下2个：
"registry-mirrors": [ "https://docker.m.daocloud.io", "https://docker.1panel.live" ]添加完成后，点击保存即完成配置。
2.3 安装Docker Compose
- 如果Docker Compose已经安装，您可以直接使用。如果不是，可以通过Homebrew安装：
brew install docker-compose⚠️若本机没有安装Homebrew，则需要先安装，具体安装方式如下：
对于MAC M1用户，打开终端，可输入如下命令进行安装
/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"记得，安装之后，需要重启终端或者运行以下命令才可以生效：
source /Users/xxx/.zprofile2.4 克隆Dify仓库
通过VsCode在您的笔记本上克隆Dify源代码至本地环境，在终端执行如下命令：
git clone https://github.com/langgenius/dify.git- 2.5 部署并启动Dify
- 首先，在克隆完成后，可通过VsCode进入Dify源代码的Docker目录：
#进入 Dify 源代码的 Docker 目录 cd docker- 然后，复制环境配置文件
#复制环境配置文件 cp .env.example .env接着，启动 Docker 容器
如果版本是 Docker Compose V2，使用以下命令：
docker compose up -d如果版本是 Docker Compose V1，使用以下命令：
docker-compose up -d当终端界面出现以下信息时，则表示Dify服务启动成功，即显示所有容器的状态和端口映射：
⚠️ 这里也可能会启动失败，可能的解决方案：
- 首先，尝试修改/更换docker的镜像源；
- 若拉取时仍然出现超时报错，没关系，重复运行该命令，直到全部加载完成
docker-compose up -d错误日志信息如下所示：
最后，检查所有容器是否都正常运行，操作命令如下所示：
docker compose ps结果如下所示，则表示所有容器都正常运行，在这个输出中，您应该可以看到包括 3 个业务服务
api / worker / web，以及 6 个基础组件：通过这些步骤，您应该可以成功在本地安装 Dify。
2.6 更新Dify
再次使用Dify时候，若有更新，可按顺序执行以下命令进行更新：
cd docker docker compose down git pull origin main docker compose pull docker compose up -d2.7 访问Dify
首先，在通过终端命令启动成功后，可在本地浏览器中输入 http://localhost 访问Dify，打开的Web UI如下所示：
- 然后，点击设置管理员账户，包括邮箱、用户名以及密码。设置完成后，在以下页面进行登录即可使用啦。
- 最后，使用账户登录后，可以看到一个空白的工作室Workplace：
恭喜！到这一步，我们就可以根据自己的兴趣来进行AI的应用构建啦。
三、将Xinference中的开源大模型集成到Dify
这里，我们将依次添加之前在Xinference中部署的大语言模型qwen2.5-instruct、嵌入模型bge-large-zh、重排序模型bge-reranker-v2-m3，具体操作步骤如下所示：
1）通过Web UI进入工作室页面后，点击右上角账户，点击【设置】按钮
2）进入设置页面后，点击左上角【模型供应商】
3）在模型供应商中，找到Xorbits Inference，并点击【添加模型】
4）根据想要添加的模型，依次进行添加，这里我们首先添加一个大语言模型LLM
选择：LLM
填写模型名称、服务器URL（⚠️这里需要您去查看下本机的IP以及Xinference部署的端口，注意不是Xinference登录网址）以及模型UID
点击保存成功后，可以在模型列表中看到该模型
点击右下角的【添加模型】继续添加一个嵌入模型bge-large-zh
进入模型配置页面，选择模型【Text Embedding】
填写模型名称、服务器URL以及模型UID
⚠️这里点击保存时，可能会报错，需要登录Xinference平台查看Running Models页面该模型是否存在，若不存在，则需要找到该模型如下图所示，点击小火箭按钮重新部署即可。
部署完成后，再次点击【保存】按钮，则可以保存成功，且可以在 Dify的模型列表页面查看到该模型：
继续按照前两步的操作，我们可以添加重排序模型bge-reranker-v2-m3进入该模型列表。
填写模型名称、服务器URL以及模型UID
至此，我们已经成功将通过Xinference本地化部署的三个大模型集成到了Dify中。
后续，我们就可以基于所集成的模型，在Dify中进行AI的应用了。
总结
本文主要介绍了Dify的基本概念及功能特征，并通过命令行的方式在个人笔记本MAC M1环境下私有化部署了Dify服务，然后将在Xinference中本地化部署的3个大模型，语言模型qwen2.5-instruct、嵌入模型bge-large-zh、重排序模型bge-reranker-v2-m3依次集成到了Dify中，为下一步在Dify中开展AI应用研究做好准备。
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
![]()
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
![]()
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
