news 2026/4/16 10:44:55

Debug:mlx-omni-server服务器用qwen3模型出错

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Debug:mlx-omni-server服务器用qwen3模型出错

背景:AI回答出错,开始以为是代码问题使得之前的对话出现在上下文,没想到是mlx-omni-server的问题

debug过程:
最开始比较好运地在github论坛找到同样的问题,大概率确认服务器出错。

之后用copilot写了一个简单的go代码重现情况,并通过服务器log监视thinking process有没有包含旧提问信息。
调查发现哪怕用独立client也可能会吃到之前的错误内存。另外换成deepseek等模型也会有同样问题。

于是考虑更换server tool,从chatgpt推荐里选择了ollama。ollama同样支持openai的api,所以后端代码不用修改。
LLM server安装都很简单,不用过多设置,一条指令就能启动服务。测试后发现之前的bug被解决。

之后需要补上api-key的认证,但这时发现ollama不支持api-key。好在openai的api token认证和http的bearer token认证格式一致,所以加一层nginx检查token即可。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/2 4:48:36

导师严选2026 TOP9 AI论文写作软件:专科生毕业论文必备测评

导师严选2026 TOP9 AI论文写作软件:专科生毕业论文必备测评 2026年AI论文写作软件测评:为何值得专科生关注 随着人工智能技术的不断进步,AI论文写作工具逐渐成为学术研究中不可或缺的辅助工具。对于专科生而言,撰写毕业论文不仅是…

作者头像 李华
网站建设 2026/4/3 3:17:33

计算机毕业设计springboot基于前后端分离技术的未成年人心理健康咨询系统 基于 SpringBoot 与 Vue 的青少年心理支持平台的设计与实现 前后端分离架构下校园儿童心理援助服务系统

计算机毕业设计springboot基于前后端分离技术的未成年人心理健康咨询系统0614u0m8 (配套有源码 程序 mysql数据库 论文) 本套源码可以在文本联xi,先看具体系统功能演示视频领取,可分享源码参考。在“双减”与疫情后时代,未成年人焦…

作者头像 李华
网站建设 2026/4/13 20:53:39

量化基金的3个“谍战级”秘密武器,散户根本没法玩

引言: 你是否常常感到困惑?明明周末看到了各种利好消息,满心期待周一的大涨,结果开盘就是“高开低走”,自己总像是慢了半拍。你感觉自己仿佛在和一个看不见的对手博弈,总是在你做出决定之后,市场就走向了反…

作者头像 李华
网站建设 2026/4/5 18:07:51

SRC漏洞挖掘技巧,带你零基础入门到精通赏金!

SRC漏洞挖掘技巧,带你零基础入门到精通赏金! 前言 经常会有粉丝朋友私信我,想探究一下国内的SRC(安全响应中心)平台究竟支持了多少白帽黑客的生活?又有多少白帽黑客能够不依赖于传统工作,全职…

作者头像 李华
网站建设 2026/4/15 22:01:30

电缆护层保护器工作方式详解

电缆护层保护器的工作原理电缆护层保护器主要用于防止电力电缆金属护层(如铝护套或铅护套)因感应电压或故障电流导致的过电压损坏。其核心功能是通过限制护层电压在安全范围内,同时为故障电流提供低阻抗通路。主要工作方式限压保护 护层保护器…

作者头像 李华
网站建设 2026/4/16 10:36:09

扔掉文本思维链!DiffThinker证明:最好的推理语言不是英语,是像素

DiffThinker让AI像人类一样直接在视觉空间中构思解题路径,彻底抛弃了文本中介的冗余,以生成式图像推理,开启了机器视觉思维的新可能。令人惊叹!基于Qwen-Image-Edit打造的DiffThinker,将图像编辑扩散模型变成了多模态视…

作者头像 李华