SiameseUIE中文-base实战案例：从招聘JD中批量抽取岗位、技能、学历、薪资要求

SiameseUIE中文-base实战案例：从招聘JD中批量抽取岗位、技能、学历、薪资要求

1. 为什么招聘JD信息抽取一直很麻烦？

你有没有遇到过这样的情况：HR每天收到几百份招聘JD，要手动从中扒出岗位名称、要求的技能、学历门槛、薪资范围……光是看一遍就头大，更别说整理成结构化表格了。传统方法要么靠人工一条条复制粘贴，要么写正则表达式硬匹配——但JD格式千差万别，“本科及以上”“统招本科”“985/211优先”“硕士学历为佳”，这些表述稍有变化，正则就失效；“15K-25K”“年薪20W起”“月薪1.5W~2W*14薪”，薪资写法五花八门，规则越写越多，维护成本越来越高。

这时候，一个真正“懂中文、不用教、能泛化”的模型就特别关键。SiameseUIE中文-base不是那种需要你准备几百条标注数据、调参调到怀疑人生的模型，它天生就为这类灵活、多变、强语义的中文抽取任务而生。

它不依赖训练数据，只靠一句话定义你要什么——比如{"岗位": null, "技能": null, "学历": null, "薪资": null}，就能直接从任意JD里把对应内容拎出来。这不是概念演示，而是开箱即用的真实能力。接下来，我们就用一份真实的招聘JD，一步步带你跑通整个流程：从Web界面操作，到批量处理脚本，再到结果清洗和导出，全程零代码基础也能上手，有编程经验的还能立刻扩展成自动化流水线。

2. SiameseUIE是什么？它凭什么能搞定中文JD？

2.1 一句话说清它的来头和定位

SiameseUIE是阿里巴巴达摩院推出的通用信息抽取模型，底层基于StructBERT架构，但做了关键创新：采用孪生网络（Siamese Network）结构。简单理解，它把“文本”和“Schema定义”当成一对输入，让模型自己去学这两者之间的语义对齐关系——而不是像传统NER那样死记硬背“XX是人名、YY是地名”。所以它特别擅长理解“岗位”到底指什么、“Python”为什么属于“技能”、“硕士及以上”为什么是“学历”要求，哪怕原文写的是“研一在读可投”“双一流高校硕士优先”，它也能合理泛化。

2.2 它和普通NER模型有啥本质区别？

它不是“更聪明的词典”，而是“会推理的中文语义匹配器”。你告诉它“我要找学历”，它不会只盯着“本科”“硕士”两个词，而是理解整句话的意图：“三年以上工作经验，硕士学历为佳”→“硕士”；“接受优秀本科生实习”→“本科”。

3. 手把手实操：用Web界面3分钟抽完一份JD

3.1 进入界面与基础操作

镜像启动后，访问Jupyter地址并把端口换成7860（例如https://gpu-pod6971e8ad205cbf05c2f87992-7860.web.gpu.csdn.net/），你会看到一个简洁的Web页面。首页已预置了NER和情感抽取两个示例，我们直接点击右上角【新建任务】→选择【命名实体识别】。

关键一步来了：在“Schema”输入框里，不要写复杂JSON，就写这一行：

{"岗位": null, "技能": null, "学历": null, "薪资": null}

注意三点：

• 键名用中文，清晰直白，别写“job_title”或“edu_requirement”
• 值必须是null（小写，不能是None或空字符串）
• 不用加引号包裹null，这是JSON语法要求

然后在“文本”框里，粘贴一份真实的招聘JD。这里我们用某大厂发布的“AI算法工程师”岗位描述（已脱敏）：

【岗位】AI算法工程师（NLP方向） 【部门】智能云事业部 【工作地点】北京/杭州/深圳 【岗位职责】 1. 负责大模型相关算法研发，包括但不限于Prompt Engineering、RAG优化、Agent框架设计； 2. 参与垂直领域知识图谱构建与应用； 3. 探索AIGC在企业服务中的落地场景。 【任职要求】 1. 计算机、人工智能、数学等相关专业硕士及以上学历； 2. 熟练掌握Python，熟悉PyTorch/TensorFlow框架； 3. 有大模型微调、LangChain开发经验者优先； 4. 在ACL/EMNLP/NeurIPS等顶会发表论文者加分。 【薪资范围】月薪30K-50K，16薪，另有股票激励。

点击【运行】，1-2秒后，结果就出来了：

{ "抽取实体": { "岗位": ["AI算法工程师（NLP方向）"], "技能": ["Python", "PyTorch", "TensorFlow", "Prompt Engineering", "RAG优化", "Agent框架设计", "LangChain", "大模型微调"], "学历": ["硕士及以上学历"], "薪资": ["月薪30K-50K，16薪，另有股票激励"] } }

你看，它不仅准确抓出了“AI算法工程师（NLP方向）”这个完整岗位名，还把分散在职责和要求里的技能全部归集，连“Prompt Engineering”这种新术语也没漏掉。“硕士及以上学历”被整体识别为学历要求，而不是只抽“硕士”二字——这正是它理解语义上下文的能力体现。

3.2 针对JD的Schema微调技巧

实际用的时候，你会发现有些字段需要更精细控制。比如“薪资”，原始结果把整句话都抽进去了，但我们可能只想提取数字范围。这时可以调整Schema，利用嵌套结构引导模型聚焦：

{"岗位": null, "技能": null, "学历": null, "薪资范围": {"最低": null, "最高": null}}

再运行一次，结果变成：

{ "抽取实体": { "岗位": ["AI算法工程师（NLP方向）"], "技能": ["Python", "PyTorch", "TensorFlow", "Prompt Engineering", "RAG优化", "Agent框架设计", "LangChain", "大模型微调"], "学历": ["硕士及以上学历"], "薪资范围": { "最低": "30K", "最高": "50K" } } }

这就是SiameseUIE的“可提示工程”能力——通过Schema结构本身，就能控制抽取粒度，完全不需要改模型、不写代码。

4. 批量处理实战：用Python脚本一键扫清500份JD

Web界面适合试错和验证，但真要处理几百份JD，得靠脚本。好消息是：这个镜像内置了标准API接口，无需额外部署，直接调用即可。

4.1 准备工作：确认服务地址与认证

镜像默认开启HTTP服务，地址就是你的Web界面地址去掉路径，比如https://gpu-pod6971e8ad205cbf05c2f87992-7860.web.gpu.csdn.net/，那么API地址就是：

https://gpu-pod6971e8ad205cbf05c2f87992-7860.web.gpu.csdn.net/predict

它不需要Token或密钥，是开放调用的（生产环境建议加Nginx层鉴权，此处略）。

4.2 核心脚本：15行代码搞定批量抽取

新建一个jd_batch.py文件，内容如下（已做异常处理和进度提示）：

import requests import json import time from pathlib import Path # 配置 API_URL = "https://gpu-pod6971e8ad205cbf05c2f87992-7860.web.gpu.csdn.net/predict" SCHEMA = {"岗位": null, "技能": null, "学历": null, "薪资": null} # 读取JD文件夹（每份JD一个txt文件） jd_folder = Path("jd_texts") results = [] for idx, txt_file in enumerate(jd_folder.glob("*.txt")): try: text = txt_file.read_text(encoding="utf-8").strip() if not text: continue # 构造请求 payload = { "text": text, "schema": SCHEMA, "task_type": "ner" } response = requests.post(API_URL, json=payload, timeout=30) result = response.json() # 提取结果，兼容空值 entities = result.get("抽取实体", {}) results.append({ "文件名": txt_file.name, "岗位": " / ".join(entities.get("岗位", [])), "技能": " / ".join(entities.get("技能", [])), "学历": " / ".join(entities.get("学历", [])), "薪资": " / ".join(entities.get("薪资", [])) }) print(f" 已处理 {idx+1}/{len(list(jd_folder.glob('*.txt')))}: {txt_file.name}") time.sleep(0.5) # 防抖动，避免请求过密 except Exception as e: print(f" 处理失败 {txt_file.name}: {e}") # 保存为CSV import pandas as pd df = pd.DataFrame(results) df.to_csv("jd_extraction_results.csv", index=False, encoding="utf-8-sig") print(" 批量处理完成！结果已保存至 jd_extraction_results.csv")

4.3 运行效果与结果样例

把500份JD文本按文件名存入jd_texts/文件夹（如001_算法岗.txt,002_产品岗.txt），运行脚本。平均单次请求耗时1.2秒，500份约10分钟完成。

生成的jd_extraction_results.csv打开后是这样：

所有字段都是结构化、可筛选、可统计的。你可以立刻用Excel透视：哪些技能出现频次最高？哪些学历要求最普遍？薪资中位数是多少？这才是真正驱动招聘决策的数据基础。

5. 进阶技巧：让抽取结果更干净、更可用

5.1 技能字段的标准化清洗

原始抽取的“技能”往往包含冗余信息，比如“熟悉Python”“掌握Java”“有PyTorch经验”。我们可以加一层轻量清洗，统一成技术栈关键词：

def clean_skill(skill_str): # 移除动词前缀 for prefix in ["熟悉", "掌握", "了解", "精通", "有.*经验", "具备.*能力"]: skill_str = re.sub(rf"^{prefix}", "", skill_str) # 提取括号内核心词（如“LangChain（Python）”→“LangChain”） skill_str = re.sub(r"（[^）]*）", "", skill_str) # 去空格、去标点 return re.sub(r"[^\w\u4e00-\u9fff]+", " ", skill_str).strip() # 应用到结果中 cleaned_skills = [clean_skill(s) for s in entities.get("技能", [])]

处理后，“熟悉Python，掌握PyTorch”就变成["Python", "PyTorch"]，方便后续做词频统计或技能图谱。

5.2 薪资字段的数值化解析

把“月薪30K-50K，16薪”转成数字区间，便于计算平均值：

import re def parse_salary(salary_text): if not salary_text: return None, None # 匹配数字+K/万 nums = re.findall(r"(\d+\.?\d*)[Kk\u4e07]", salary_text) if len(nums) >= 2: low, high = float(nums[0]), float(nums[1]) # K转成数字 if "K" in salary_text or "k" in salary_text: low, high = low * 1000, high * 1000 return int(low), int(high) return None, None # 示例 low, high = parse_salary("月薪30K-50K，16薪") # → (30000, 50000)

5.3 处理模糊学历表述的Schema增强

JD里常有“985/211优先”“双一流高校”“一本院校”等说法，单纯用{"学历": null}可能抽不准。可以升级Schema，让模型区分“硬性要求”和“优先条件”：

{ "学历要求": {"硬性": null, "优先": null}, "学校类型": {"985": null, "211": null, "双一流": null, "一本": null} }

这样抽取结果会自动分层，方便HR快速筛选“必须985硕士”的高端岗，和“本科+经验可谈”的务实岗。

6. 总结：SiameseUIE不是工具，而是你的中文语义助理

回看整个过程，你其实没写一行模型代码，没配一个超参数，甚至没装一个Python包——所有工作都在理解业务需求、定义Schema、组织文本、清洗结果这几个环节。SiameseUIE中文-base的价值，正在于它把信息抽取这件事，从“AI工程师的专属技能”，变成了“业务人员可自主掌控的工作流”。

它解决的从来不是“能不能抽”，而是“抽得准不准”“改得快不快”“用得省不省心”。当HR能自己定义“期望候选人掌握的证书类型”，当猎头能一键扫描百份JD找出“同时会LLM和金融风控”的稀缺人才，当校招团队能实时生成“各专业学历分布热力图”——这才是通用信息抽取该有的样子。

下一步，你可以尝试：

• 把Schema换成{"公司": null, "融资轮次": null, "所属行业": null}，批量分析创投新闻；
• 用{"投诉问题": {"原因": null, "诉求": null}}解析客服工单；
• 或者，把你手头最头疼的非结构化中文文本，定义一个Schema，亲自试试它能给你多大惊喜。

技术终将退隐，价值自然浮现。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。