腾讯Youtu-Embedding：20亿参数中文文本嵌入新突破
【免费下载链接】Youtu-Embedding项目地址: https://ai.gitcode.com/tencent_hunyuan/Youtu-Embedding
腾讯优图实验室（Youtu Lab）近日发布了全新的中文文本嵌入模型Youtu-Embedding，以20亿参数规模在权威中文评测基准CMTEB（Chinese Massive Text Embedding Benchmark）上取得77.58的最高分，刷新了该领域的性能纪录。这一突破不仅展示了腾讯在大语言模型领域的技术实力，更为中文语义理解、信息检索和人工智能应用开发提供了强大工具。
随着生成式AI技术的快速发展，文本嵌入（Text Embedding）作为连接自然语言与机器理解的关键桥梁，其重要性日益凸显。在搜索引擎优化、智能问答系统、推荐引擎、情感分析等众多领域，高质量的文本嵌入模型能够显著提升系统的语义理解能力和响应准确性。据行业研究显示，2024年全球文本嵌入市场规模已突破12亿美元，预计未来三年将以年均35%的速度增长，其中中文特定模型的需求增速领先全球。
Youtu-Embedding的核心优势在于其创新的"协作-判别"微调框架（Collaborative-Discriminative Fine-tuning Framework），该框架通过统一数据格式、任务差异化损失函数和动态单任务采样机制，有效解决了多任务学习中的"负迁移"问题。这使得模型在保持20亿参数轻量化设计的同时，能够在信息检索（IR）、语义文本相似度（STS）、聚类（Clustering）、重排序（Reranking）和分类（Classification）等六大任务类型上均表现出色。
在CMTEB评测中，Youtu-Embedding展现出显著的性能优势：
该图表清晰展示了Youtu-Embedding与其他主流中文嵌入模型在CMTEB基准上的综合评分对比。可以看到，尽管Youtu-Embedding的20亿参数规模远小于部分竞品（如Qwen3-Embedding-8B、QZhou-Embedding 7B等），但其77.58的总体得分和78.86的任务类型平均得分均位居第一，尤其在聚类任务上以84.27分大幅领先，展现出卓越的语义聚合能力。
从技术特性来看，Youtu-Embedding支持8K上下文长度，提供2048维向量输出，并针对中文语义理解进行了深度优化。模型同时兼容Hugging Face Transformers、Sentence-Transformers、LangChain和LlamaIndex等主流开发框架，开发者可以通过简单的API调用实现文本嵌入功能，极大降低了在实际应用中集成的门槛。
# 使用Sentence-Transformers调用Youtu-Embedding的示例代码 from sentence_transformers import SentenceTransformer model = SentenceTransformer("tencent/Youtu-Embedding", trust_remote_code=True) queries = ["今天天气怎么样？"] passages = [ '今天天气晴朗，适合户外活动。', '明天将有小雨，建议携带雨具。', '本周气温将维持在15-22摄氏度之间。' ] query_embeddings = model.encode_query(queries) passage_embeddings = model.encode_document(passages) similarities = model.similarity(query_embeddings, passage_embeddings) print(similarities) # 输出查询与各段落的相似度分数Youtu-Embedding的发布将对多个行业产生深远影响。在电商领域，更精准的商品描述与用户查询匹配将提升推荐转化率；在金融风控场景，基于语义相似度的文本分析能够更早识别风险信号；在智能客服系统中，优化的意图识别将显著提升问题解决率。尤为值得注意的是，该模型仅需单张GPU即可高效运行，这为中小企业和开发者提供了经济可行的AI解决方案。
腾讯优图实验室表示，Youtu-Embedding已在Hugging Face平台开放下载，并提供完整的技术文档和示例代码。未来团队将持续优化模型性能，拓展多模态嵌入能力，并与产业伙伴合作开发更多垂直领域的定制化解决方案。随着Youtu-Embedding等先进文本嵌入技术的普及，中文自然语言处理应用的质量和用户体验有望实现跨越式提升。
【免费下载链接】Youtu-Embedding项目地址: https://ai.gitcode.com/tencent_hunyuan/Youtu-Embedding
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
