bge-large-zh-v1.5实战案例：教育题库去重与归类系统-编程阁

bge-large-zh-v1.5实战案例：教育题库去重与归类系统

1. 引言

在教育科技领域，构建高质量的题库系统是实现智能教学、个性化推荐和自动化测评的核心基础。然而，随着题库规模不断扩大，重复题目、表述差异但语义一致的问题日益严重，严重影响了系统的准确性和用户体验。传统的基于关键词或规则的去重方法难以应对中文语义的复杂性，亟需一种能够理解深层语义相似性的技术方案。

bge-large-zh-v1.5作为当前领先的中文嵌入模型，具备强大的语义表征能力，为解决这一问题提供了理想的技术路径。本文将围绕使用sglang部署的bge-large-zh-v1.5 embedding模型服务，详细介绍其在教育题库去重与归类系统中的完整落地实践，涵盖环境验证、接口调用、向量计算与业务逻辑整合等关键环节。

2. bge-large-zh-v1.5简介

bge-large-zh-v1.5是一款基于深度学习的中文嵌入模型，通过大规模语料库训练，能够捕捉中文文本的深层语义信息。其特点包括：

高维向量表示：输出向量维度高，语义区分度强。
支持长文本处理：能够处理长达512个token的文本输入。
领域适应性：在通用领域和特定垂直领域均表现优异。

这些特性使得bge-large-zh-v1.5在需要高精度语义匹配的场景中成为理想选择，但同时也对计算资源提出了较高要求。在教育题库场景中，同一知识点可能以不同表述方式出现在多道题目中（如“求解一元二次方程”与“已知x²+2x+1=0，求x的值”），传统方法难以识别其语义一致性，而bge-large-zh-v1.5可通过生成高度相似的向量实现精准匹配。

3. 模型服务部署与状态验证

3.1 进入工作目录

在开始调用模型之前，首先确认当前工作环境并进入指定项目目录：

cd /root/workspace

该目录通常包含日志文件、配置脚本及Jupyter Notebook等开发资源，确保所有操作在同一上下文中执行。

3.2 查看启动日志

为了确认bge-large-zh-v1.5模型服务已成功启动，需检查sglang服务的日志输出：

cat sglang.log

正常情况下，日志中应包含类似以下信息：

INFO: Started server process [PID] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://0.0.0.0:30000 (Press CTRL+C to quit)

若日志显示服务监听在http://localhost:30000并完成应用初始化，则说明embedding模型服务已就绪。此外，可通过HTTP请求测试端点连通性：

curl -X GET http://localhost:30000/health

预期返回{"status": "ok"}表示服务健康。

4. Jupyter环境中调用Embedding模型

4.1 初始化OpenAI兼容客户端

尽管bge-large-zh-v1.5并非OpenAI官方模型，但sglang提供了OpenAI API兼容接口，便于快速集成。我们使用openaiPython SDK进行调用：

import openai client = openai.Client( base_url="http://localhost:30000/v1", api_key="EMPTY" )

注意：api_key="EMPTY"是sglang的固定占位符，实际不进行鉴权；base_url指向本地部署的服务地址。

4.2 执行文本嵌入请求

调用embeddings.create接口生成指定文本的向量表示：

# Text embedding response = client.embeddings.create( model="bge-large-zh-v1.5", input="How are you today", ) response

成功响应示例如下：

{ "object": "list", "data": [ { "object": "embedding", "index": 0, "embedding": [0.023, -0.156, ..., 0.089] // 长度为1024的浮点数列表 } ], "model": "bge-large-zh-v1.5", "usage": { "prompt_tokens": 5, "total_tokens": 5 } }

该响应表明模型已成功接收请求并返回了维度为1024的嵌入向量。对于中文文本，可直接传入汉字字符串，模型会自动完成分词与编码。

4.3 批量处理与性能优化建议

在实际题库处理中，往往需要对成百上千道题目批量生成embedding。建议采用以下策略提升效率：

批量输入：将多个题目组成列表传入input字段，减少网络往返次数。
异步调用：结合asyncio与异步客户端实现并发请求。
缓存机制：对已处理过的题目文本建立Redis缓存，避免重复计算。

示例代码如下：

import asyncio from openai import AsyncClient async def get_embeddings(texts): client = AsyncClient(base_url="http://localhost:30000/v1", api_key="EMPTY") response = await client.embeddings.create( model="bge-large-zh-v1.5", input=texts ) return [item.embedding for item in response.data] # 调用示例 texts = ["题目1：求解方程x²=4", "题目2：已知x的平方等于4，求x"] embeddings = asyncio.run(get_embeddings(texts))

5. 教育题库去重与归类系统设计

5.1 系统架构概览

整个系统由以下几个核心模块构成：

数据接入层：从MySQL或CSV导入原始题库数据。
预处理模块：清洗文本、去除噪声、标准化格式。
Embedding生成模块：调用本地bge-large-zh-v1.5服务生成向量。
向量存储与检索模块：使用FAISS或Milvus存储向量并支持近邻搜索。
聚类与归类模块：基于相似度阈值进行去重与分类。
结果输出与可视化：导出结构化结果并提供Web界面预览。

5.2 去重算法实现流程

步骤一：文本预处理

import re def preprocess(text): # 去除多余空格、标点符号归一化、转小写等 text = re.sub(r'\s+', ' ', text.strip()) text = re.sub(r'[“”‘’]', '"', text) return text

步骤二：计算余弦相似度

from sklearn.metrics.pairwise import cosine_similarity import numpy as np def compute_similarity(vec1, vec2): vec1 = np.array(vec1).reshape(1, -1) vec2 = np.array(vec2).reshape(1, -1) return cosine_similarity(vec1, vec2)[0][0]

步骤三：设定阈值进行去重

经验表明，在教育题库场景中，当余弦相似度 > 0.85 时，两道题目极有可能表达相同语义。可据此构建去重逻辑：

threshold = 0.85 duplicates = [] for i in range(len(embeddings)): for j in range(i + 1, len(embeddings)): sim = compute_similarity(embeddings[i], embeddings[j]) if sim > threshold: duplicates.append((i, j, sim))

5.3 自动归类功能扩展

进一步地，可利用聚类算法（如DBSCAN或K-Means）将题目自动划分为若干类别，每类代表一个知识点簇：

from sklearn.cluster import DBSCAN clustering = DBSCAN(eps=0.15, min_samples=2, metric='cosine').fit(embeddings) labels = clustering.labels_ # labels中-1表示噪声点（孤立题目），其余为类别编号

最终可输出每个类别的代表性题目及其成员列表，辅助教研人员快速梳理知识体系。