点击“AladdinEdu，你的AI学习实践工作坊”，注册即送-H卡级别算力，沉浸式云原生集成开发环境，80G大显存多卡并行，按量弹性计费，教育用户更享超低价。
一、引言
我们生活在一个信息爆炸的时代。每天，全球数以亿计的网页、新闻、报告、社交媒体帖子被创造出来，其中蕴含着海量的有价值知识。然而，这些知识大多以非结构化的自然语言形式存在，计算机难以直接理解和利用。如何将散落在文本海洋中的知识碎片打捞、清洗、组装成机器可读的结构化形式，成为人工智能领域的一项核心挑战。知识图谱（Knowledge Graph, KG）正是应对这一挑战的重要答案。
知识图谱是一种用图结构表示知识的方法，节点代表现实世界中的实体（如人物、地点、组织、概念），边代表实体之间的语义关系（如“任职于”“位于”“创立于”）。Google于2012年正式提出“知识图谱”概念并应用于搜索引擎，此后，知识图谱迅速成为学术界和工业界的研究热点。今天，通用知识图谱如Wikidata、DBpedia、YAGO，以及领域知识图谱如医疗领域的UMLS、金融领域的OpenKG，已在众多智能应用中扮演着不可或缺的知识底座角色。
那么，如何从海量的自然语言文本中构建出这样一张知识之网呢？答案是一系列自然语言处理和信息抽取技术的有机组合。概括而言，从文本到知识图谱的构建流程主要包含三大步骤：
- 信息抽取（Information Extraction, IE）：从文本中识别实体、抽取实体间的关系以及检测事件结构。这是知识图谱构建的原材料获取阶段。
- 共指消解（Coreference Resolution）：识别文本中指代同一实体的不同表述（如“特朗普”“他”“美国前总统”），将分散的提及聚合成统一的实体对象。
- 知识融合（Knowledge Fusion）：将抽取出的知识碎片与已有知识库进行对齐（实体链接），解决冗余和冲突，并进行知识补全，最终形成一致、完备、高质量的知识图谱。
本文将以这三个核心技术环节为主线，深入剖析各自的任务定义、经典方法、前沿模型以及实践挑战。我们将看到，信息抽取如何从早期的规则模板演进到基于预训练语言模型的深度语义理解；共指消解如何从手工特征驱动发展到端到端的神经网络架构；知识融合又如何利用图网络与表示学习实现大规模知识集成。通过本文，读者将建立起从文本构建知识图谱的完整技术视野，并为实际项目落地提供参考。
二、信息抽取：知识图谱构建的源头活水
信息抽取是从非结构化文本中提取结构化信息的核心技术，主要包括命名实体识别（NER）、关系抽取（RE）和事件抽取（EE）。它们是知识图谱中节点和边的直接来源。
2.1 命名实体识别
命名实体识别旨在识别文本中具有特定意义的实体提及，并将其分类为预定义类别（如人名、地名、机构名、时间、数值等）。例如，在句子“苹果公司于2024年6月在旧金山发布了新款MacBook Air”中，NER系统应标注出“苹果公司”（ORG）、“2024年6月”（TIME）、“旧金山”（LOC）、“MacBook Air”（PRODUCT）。
方法演进：
- 基于规则与词典：早期系统依赖手工编写的正则表达式和地名词典，精确率高但召回率低，难以泛化。
- 基于统计机器学习：利用条件随机场（CRF）、隐马尔可夫模型（HMM）等序列标注模型，结合词性、构词、上下文特征进行分类。这是深度学习前的主流方法。
- 基于深度学习：BiLSTM-CRF成为经典的神经网络NER架构。双向LSTM捕获上下文语义，CRF层约束标签序列的合理性。之后，预训练语言模型（BERT、RoBERTa）的出现将NER推向了新高度：仅需在BERT顶层添加线性分类器即可取得SOTA性能。
- 基于提示学习与生成式方法：近期研究将NER转化为Seq2Seq生成任务，直接输出实体列表，在少样本场景下优势明显。
中文NER的特殊挑战：中文无分词边界、实体嵌套、类别模糊等问题使得中文NER更具挑战。基于字符的序列标注模型（如Lattice LSTM、FLAT）通过融合词汇信息成为中文NER的主流方案。
2.2 关系抽取
关系抽取的任务是在实体识别的基础上，判断文本中两个实体之间是否存在预定义的语义关系。例如，从“乔布斯创立了苹果公司”中抽取(乔布斯, 创始人, 苹果公司)三元组。
方法分类：
- 有监督学习：在人工标注的句子级数据上训练分类器。早期使用CNN、RNN编码句子，利用位置嵌入突出实体位置信息。BERT等预训练模型将句子级关系抽取性能提升至90%以上。
- 远程监督：为解决标注数据稀缺问题，Mintz等人（2009）提出利用知识库自动标注语料。假设知识库中存在三元组
(e1, r, e2)，则所有同时包含两个实体的句子都被视为关系r rr的正例。多示例学习与注意力机制被用来缓解噪声标签问题。 - 图卷积网络：利用依存句法树构建图结构，通过GCN编码句法信息以增强关系表示，在长距离依赖和跨句场景中效果显著。
- 基于提示的方法：将关系分类重构为掩码语言模型填空任务，如“乔布斯是苹果公司的[MASK]”，激发预训练模型的潜在知识，小样本性能卓越。
- 联合抽取：实体识别和关系抽取存在天然依赖，联合模型通过共享编码层或多任务学习同时输出实体和关系，减少错误传播。经典模型包括SPTree、GraphRel、TPlinker等。
2.3 事件抽取
事件抽取旨在识别文本中描述的事件，并提取事件触发词（Trigger）和论元角色（Argument）。例如，“2023年，OpenAI在旧金山举办了开发者大会”中，触发词为“举办”（会议活动事件），论元包括“OpenAI”（组织者）、“旧金山”（地点）、“2023年”（时间）。
事件抽取通常包含四个子任务：触发词检测、事件类型分类、论元抽取、事件共指消解。其技术路线与关系抽取类似，经历了从模式匹配到神经网络、从句子级到文档级的发展历程。图神经网络和机器阅读理解范式在文档级事件抽取中展现了强大能力。
信息抽取与知识图谱的接口：信息抽取产出的实体、关系和事件，构成了知识图谱构建的“原料库”。然而，这些原料还未经过去重和融合，同一实体可能以多种名称出现，来自不同来源的知识可能存在冲突。这就需要后续的共指消解和知识融合技术进行处理。
三、共指消解：将分散的提及聚合成统一实体
3.1 任务定义与挑战
共指消解（Coreference Resolution）的目标是识别文本中所有指向同一现实世界实体的提及（Mention），并将它们归入一个共指链（Coreference Chain）。提及通常包括专有名词（“埃隆·马斯克”）、名词短语（“特斯拉CEO”）和代词（“他”“其”）。
例如，对于段落：
“埃隆·马斯克是SpaceX的创始人。他于2002年创立了这家公司。马斯克也是特斯拉的CEO。”
共指消解系统应输出：
- 共指链1：{埃隆·马斯克, 他, 马斯克} → 实体1
- 共指链2：{SpaceX, 这家公司} → 实体2
- 共指链3：{特斯拉} → 实体3
共指消解的难点包括：
- 歧义性：同一代词可能指向不同先行词。
- 长距离依赖：提及与先行词可能相隔多个句子。
- 零指代：在中文等语言中，主语常被省略。
- 边界检测：需要准确识别提及的起止位置。
3.2 传统方法
早期共指消解主要基于规则和机器学习。经典的Mention-Pair模型（Soon et al., 2001）将任务分解为提及对分类问题：对文档中任意两个提及，预测它们是否共指。特征包括词形匹配、性别/数量一致性、语义类别、句法路径、距离等。然而，这种方法忽略了共指关系的全局传递性，且计算复杂度为O ( n 2 ) O(n^2)O(n2)。
Entity-Mention模型（Luo, 2005）改善了这一点，它将候选提及与已建立的实体簇进行比较，使用簇级别特征（如簇内提及的多数属性）进行决策，效果更优。
3.3 基于神经网络的端到端模型
深度学习的引入使共指消解迈入了端到端学习时代。Lee等人（2017）提出的端到端神经共指消解模型是里程碑式的工作。该模型不依赖句法解析器，直接从词向量和字符向量出发，通过以下步骤完成：
- 提及检测：使用前馈神经网络对文本中所有可能的文本跨度（Span）进行打分，选出得分高的跨度作为候选提及。
- 提及表示：对每个候选提及，利用双向LSTM和注意力机制生成固定维度的向量表示。
- 共指评分：对于每对提及i ii和j jj（i < j i < ji<j），计算一个共指得分s ( i , j ) s(i, j)s(i,j)，表示i ii和j jj是共指关系的概率。得分由两部分组成：一是提及i ii本身作为先行词的可能性，二是提及i ii和j jj的语义兼容性。
- 聚类：在推理阶段，使用贪心算法或更复杂的聚类方法，依据共指得分将提及归入共指链。
该模型在CoNLL-2012共享任务上取得了当时最优性能，并引发了后续一系列改进，如引入BERT作为编码器、使用高阶推理、整合实体级信息等。
3.4 共指消解与知识图谱构建的关系
在知识图谱构建流程中，共指消解起着承上启下的关键作用：
- 向上承接信息抽取：信息抽取产生的实体提及往往存在大量共指现象（如“库克”“Tim Cook”“苹果CEO”）。若不进行消解，图谱中将出现大量冗余节点，导致知识碎片化。
- 向下支撑知识融合：共指消解的结果为实体链接提供了更丰富的上下文信息。例如，一个提及链中汇集了实体的多种名称和描述，有助于更准确地将该实体链接到知识库中的对应条目。
实践中，往往将共指消解与实体链接联合建模。例如，DeepED（Ganea & Hofmann, 2017）在实体链接过程中利用文档内提及的共指关系进行全局推理；E2E-Coref-EL等联合模型同时输出共指链和实体链接结果，实现相互促进。
四、知识融合：从碎片化信息到一致知识库
经过信息抽取和共指消解，我们从文本中获得了大量的实体、关系和事件信息。但这些信息仍以文档片段为单位分散存在，且可能存在重叠、冗余甚至冲突。知识融合的目标是将这些碎片化的知识整合到统一的知识库中，形成全局一致、高质量的知识图谱。
知识融合通常包括三个子任务：实体链接、冲突消解与知识库补全。
4.1 实体链接：将提及映射到知识库实体
实体链接（Entity Linking）的任务是将文本中识别出的实体提及链接到目标知识库（如Wikidata、DBpedia）中的对应实体条目。例如，将提及“苹果”链接到科技公司实体（Q312），而非水果实体（Q89）。实体链接是知识融合的第一步，它决定了新抽取的知识应该挂载到知识库的哪个节点上。
实体链接的经典框架包含候选生成和候选排序两个阶段（详见前文）。在知识图谱构建场景中，实体链接还面临NIL实体（知识库中不存在的新实体）的挑战。当提及无法链接到任何现有实体时，系统需要为其创建新的实体节点，并赋予唯一标识符。
4.2 冲突消解与知识集成
当来自不同来源的知识发生冲突时，例如一个来源说“A公司总部在纽约”，另一个说“在加州”，知识融合系统需要决定接受哪个或如何整合。冲突消解策略包括：
- 基于来源可信度：赋予权威来源（如官方公告、百科）更高的权重。
- 基于时效性：优先采纳最新信息。
- 基于投票/共识：当多个独立来源给出相同信息时，提高其置信度。
- 基于推理验证：利用知识库中的其他关系进行逻辑推断，判断哪个信息更合理。
此外，知识融合还涉及实体对齐（Entity Alignment）——当融合多个异构知识库时，需要识别不同知识库中指代同一现实世界实体的节点（如Wikidata的Q30和DBpedia的United_States）。实体对齐技术与实体链接类似，常利用实体名称、属性、关系和网络结构进行相似度计算。
4.3 知识库补全
即使经过融合，知识库仍然是不完备的。知识库补全（Knowledge Base Completion, KBC）旨在预测知识库中缺失的实体或关系。主要方法分为两类：
- 基于知识图谱嵌入的方法：如TransE、DistMult、RotatE等，将实体和关系嵌入到低维向量空间，通过评分函数f ( h , r , t ) f(h, r, t)f(h,r,t)预测三元组的真实性。这些方法利用知识图谱的结构信息进行链接预测。
- 基于路径规则的方法：如PRA、RLvLR，通过随机游走挖掘逻辑规则（如“如果X的父亲是Y，Y的父亲是Z，则X的祖父是Z”），然后应用规则推理新知识。
- 基于文本增强的方法：结合文本描述信息进行知识补全，如使用预训练语言模型编码实体描述，提升对稀疏实体的预测能力。
近年来，知识图谱与预训练语言模型的融合成为趋势，如ERNIE、KEPLER等模型将知识图谱的结构化知识注入语言模型，使语言模型具备更强的知识推理能力，反之也利用语言模型补全知识图谱。
五、构建流程整合与工程实践
将上述技术环节串联起来，一个典型的从文本构建知识图谱的工程流程如下：
原始文本语料 ↓ 文本预处理（分句、分词、词性标注） ↓ 命名实体识别（NER） → 获取实体提及 ↓ 关系抽取（RE） → 获取（头实体，关系，尾实体）三元组 ↓ 事件抽取（EE） → 获取事件结构信息 ↓ 共指消解（Coref） → 将提及聚合成实体对象 ↓ 实体链接（EL） → 将实体对象映射到知识库节点（或创建新节点） ↓ 冲突消解与知识融合 → 整合冗余信息、解决冲突、更新置信度 ↓ 知识库补全（KBC） → 推断缺失关系和属性 ↓ 知识图谱存储与更新（图数据库，如Neo4j、JanusGraph）在工程实现中，需要注意以下几点：
- 模块化与解耦：各模块可独立开发、替换和升级。例如，可以将BERT-CRF作为NER模块，使用另一个独立的微服务处理共指消解。
- 性能与可扩展性：面对海量文本，需采用分布式计算框架（如Spark）进行并行处理。候选生成和双编码器检索等步骤需构建高效索引。
- 质量控制：引入人工校验环节或主动学习机制，对低置信度的抽取结果进行复审，以持续提升知识图谱质量。
- 增量更新：知识图谱是动态变化的，需设计增量更新机制，定期从新文本中抽取知识并融合，而非全量重建。
代码示例：整合NER与关系抽取的简化Pipeline
importspacyfromtransformersimportpipeline# 使用spaCy进行NER和依存分析nlp=spacy.load("en_core_web_trf")# 使用HuggingFace的零样本关系抽取Pipelinerel_extractor=pipeline("zero-shot-classification",model="facebook/bart-large-mnli")defextract_triples(text):doc=nlp(text)entities=[(ent.text,ent.label_,ent.start,ent.end)forentindoc.ents]triples=[]fori,e1inenumerate(entities):fore2inentities[i+1:]:# 构造假设模板context=text[:e1[2]]+" [E1] "+text[e1[2]:e2[2]]+" [E2] "+text[e2[2]:]candidate_labels=["founder of","employee of","located in","acquired by"]result=rel_extractor(context,candidate_labels)ifresult['scores'][0]>0.8:triples.append((e1[0],result['labels'][0],e2[0]))returntriples text="Steve Jobs founded Apple Inc. in Cupertino."print(extract_triples(text))# 输出可能包含：('Steve Jobs', 'founder of', 'Apple Inc.')实际系统远比此复杂，需集成共指消解和知识融合模块，但该示例展示了基本思路。
六、挑战与未来方向
尽管从文本构建知识图谱的技术日趋成熟，但在大规模真实应用中仍面临诸多挑战：
6.1 开放域与长尾知识
现有信息抽取模型多面向新闻、百科等规范文本中的常见实体和关系。当面对社交媒体、专业文献等开放域文本时，模型对长尾实体和细粒度关系的识别能力骤降。如何利用少量标注或无标注数据进行领域自适应，是当前研究热点。
6.2 多模态知识图谱构建
文本并非知识的唯一载体。图像、视频、音频中同样蕴含丰富信息。多模态知识图谱旨在融合跨模态信息，例如从电影海报中识别演员，从视频中抽取事件。这需要将计算机视觉与自然语言处理技术深度结合。
6.3 时序与动态知识
现实世界的知识是随时间演化的（如公司CEO的更替）。传统知识图谱多为静态快照，缺乏时序建模。构建动态知识图谱需要从文本中抽取时间信息，并设计支持时态推理的知识表示模型。
6.4 可解释性与可信度
深度学习模型的黑箱特性使得抽取结果难以解释。在金融、医疗等高风险领域，知识图谱的可靠性至关重要。未来系统需提供抽取证据、推理路径和置信度评估，以增强用户信任。
6.5 大规模自动化构建系统
目前知识图谱构建仍离不开大量人工参与（数据标注、规则编写、质量校验）。研发高度自动化、自监督、持续学习的构建系统，降低人工依赖，是实现万维网规模知识图谱的关键。
6.6 与大语言模型的协同
ChatGPT、GPT-4等大语言模型（LLM）展现出了惊人的知识储备和推理能力。将LLM作为知识抽取和融合的助手，例如利用LLM生成标注数据、进行复杂共指判断、推理缺失知识，正成为新的研究范式。同时，知识图谱也可以作为外部知识源增强LLM的事实准确性和逻辑一致性，形成“LLM + KG”的双向赋能生态。
七、结语
从文本构建知识图谱是一项系统工程，它涵盖了信息抽取、共指消解和知识融合三大核心技术栈。信息抽取如矿工从文本矿山中开采出知识的原石；共指消解如分拣员将形状各异但本质相同的原石归类；知识融合则如雕刻师，去除杂质、整合精华，最终打磨出璀璨的知识宝石。三者环环相扣，缺一不可。
随着深度学习、预训练模型和图神经网络技术的持续突破，构建高质量、大规模、多模态知识图谱的门槛正在不断降低。我们期待在不远的将来，自动化知识图谱构建能够达到接近人类的精度和广度，为通用人工智能的实现铺就坚实的知识基石。
参考文献（主要工作列举）
- Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., & Dyer, C. (2016). Neural architectures for named entity recognition.NAACL.
- Mintz, M., Bills, S., Snow, R., & Jurafsky, D. (2009). Distant supervision for relation extraction without labeled data.ACL.
- Lee, K., He, L., Lewis, M., & Zettlemoyer, L. (2017). End-to-end neural coreference resolution.EMNLP.
- Ganea, O. E., & Hofmann, T. (2017). Deep joint entity disambiguation with local neural attention.EMNLP.
- Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data.NIPS.
- Ji, H., & Grishman, R. (2011). Knowledge base population: Successful approaches and challenges.ACL.
- Wu, L., Petroni, F., Josifoski, M., Riedel, S., & Zettlemoyer, L. (2020). Scalable zero-shot entity linking with dense entity retrieval.EMNLP.
- Wang, X., Gao, T., Zhu, Z., Zhang, Z., Liu, Z., Li, J., & Tang, J. (2021). KEPLER: A unified model for knowledge embedding and pre-trained language representation.TACL.
- Chen, M., Tian, Y., Yang, M., & Zaniolo, C. (2017). Multilingual knowledge graph embeddings for cross-lingual knowledge alignment.IJCAI.
- Suchanek, F. M., Kasneci, G., & Weikum, G. (2007). YAGO: a core of semantic knowledge.WWW.
