隐私保护文本生成：控制代码与ROUGE评估实践

1. 隐私保护文本生成的技术背景

在法律文书、医疗记录等敏感文本的自动化生成场景中，如何在保持语义连贯性的同时有效保护个人隐私信息，一直是自然语言处理领域的核心挑战。传统方法通常采用简单的关键词替换或数据脱敏，但这种粗暴处理往往导致文本可读性下降和语义失真。近年来，基于控制代码的结构化生成技术与ROUGE评估体系的结合，为这一难题提供了创新解决方案。

控制代码本质上是一种元语言标记系统，通过预定义的类别标签（如PERSON、LOC、CODE等）对文本中的实体进行结构化标注。在TAB数据集的实现中，这些控制代码被系统性地分为8大类，覆盖了从个人姓名、证件号码到地理位置、组织机构等各类敏感信息。这种分类体系的设计考量了两个关键因素：一是要全面覆盖各类隐私实体，二是要保留足够的语义信息以供生成模型理解上下文关系。

实际应用中发现，DEM（人口统计）类别的设计尤为关键，它包含了职业、年龄、种族等看似非直接标识但组合后可能暴露个人身份的信息。这反映了隐私保护中"准标识符"（quasi-identifiers）概念的重要性。

2. 控制代码的架构设计与实现细节

2.1 TAB数据集的控制代码体系

TAB数据集采用的控制代码分类系统具有精细的层级结构。如表7所示，PERSON类别不仅包含全名，还涵盖了昵称、别名甚至用户名首字母等变体形式。这种设计源于实际场景中的观察：在许多文本中（如法律文书），个人可能以不同名称形式被提及。类似的，CODE类别整合了各类证件编号、电话号码等数字标识，而LOC类别则同时包含具体地址和城市/国家等不同粒度的位置信息。

每个控制代码类别都配有详细的生成规则。以PERSON为例，其标准格式为"Title + First Name + Last Name"，其中名字池经过精心设计：既包含Alex、Casey等常见英文名，也特意加入了Jordan、Skyler等性别中立的名字，以避免生成内容隐含性别偏见。这种设计细节体现了隐私保护与伦理考量的双重需求。

2.2 虚构控制代码的生成机制

在隐私保护场景下，直接使用真实控制代码会带来信息泄露风险。因此系统引入了虚构控制代码生成机制，其核心原则是：

1. 格式真实性：生成的虚构代码必须符合原始类别的格式规范
2. 语义合理性：内容应在相应类别的合理取值范围内
3. 不可追溯性：与任何真实实体无对应关系

图2展示了具体的实现方案。对于CODE类别，采用"ABCDE/XY"这样的字母数字混合模式；DATETIME限定在1990-2024年间随机生成；LOC则从预设的城市、国家列表中抽样。特别值得注意的是DEM类别的处理——它采用"42-year-old pilot"这样的组合模式，既保持了语义合理性，又通过随机组合切断了与真实个体的关联。

开发过程中发现，MISC类别被特意排除在虚构生成之外。这是因为该类别作为"其他"项，内容过于开放，难以保证生成内容既多样又安全。这种取舍体现了隐私保护系统的设计哲学：宁可限制功能范围，也要确保安全性。

3. ROUGE评估指标的数学原理与应用

3.1 ROUGE-2的算法实现

ROUGE-2通过比较生成文本与参考文本中的二元语法（bigram）重叠来评估质量。其计算过程分为三个步骤：

1. 分词与bigram提取：对两个文本进行分词，生成bigram集合
2. 匹配统计：计算重叠的bigram数量|Bmatch|
3. 指标计算：
   • 精确率 P = |Bmatch| / |Bgen|
   • 召回率 R = |Bmatch| / |Bref|
   • F1值 = 2PR/(P+R)

在隐私保护场景下，ROUGE-2的高分值意味着生成文本在短语层面与参考文本保持相似，这对于法律文书等格式严格的文本尤为重要。但同时也带来隐私风险——过高的n-gram重叠可能隐含真实信息。

3.2 ROUGE-L的独特价值

相比ROUGE-2的局部匹配，ROUGE-L基于最长公共子序列（LCS）评估整体结构相似性。其计算公式为：

LCS(X,Y) = 生成文本与参考文本的最长公共子序列长度 P = LCS(X,Y)/|Y| R = LCS(X,Y)/|X| F1 = (1+β²)PR/(R+β²P), 其中β=1

ROUGE-L对隐私保护文本生成具有特殊意义。当需要改写敏感内容但保留文档结构时（如法律程序描述），较高的ROUGE-L分数表明生成文本保持了原始的逻辑流程和篇章结构，而ROUGE-2分数降低则显示具体细节已被有效改写。

4. 隐私保护生成方法的对比实验

4.1 基准方法（Baseline ICL）

如表8所示，基准方法采用标准的上下文学习（In-Context Learning）模式，向模型提供三个示例后直接生成文本。生成的典型输出（表9）显示出两个显著问题：

1. 直接复制输入示例中的实体信息（如"Mr Nusret Amutgan"）
2. 出现内容重复（相同段落被生成两次）

这说明传统ICL方法虽然能保持文本流畅性，但在隐私保护方面存在严重缺陷。实测数据显示其PIPP（隐私信息保留概率）高达31.36%，意味着近三分之一的生成文本可能泄露真实信息。

4.2 隐私增强型ICL

改进后的ICL方法（表10）在输入提示中显式标注控制代码，并在生成阶段替换为虚构值。如表12所示，输出中的案例编号（2AGVC/7B）、人名（Professor Skyler Baker）等均为生成的虚构内容。

这种方法的关键创新点在于：

1. 实体识别与替换分离：先识别所有敏感实体，再统一替换
2. 格式保持：虚构内容严格遵循原始控制代码的格式规范
3. 上下文适应：根据文档类型调整生成策略（如法律文书偏好正式称谓）

实验结果（表14）显示，该方法将PIPP降至0.88%，同时ROUGE-L保持在0.2988，实现了隐私保护与文本质量的平衡。

5. 技术方案的优化与实践建议

5.1 准标识符的特殊处理

当仅处理准标识符时（表15），隐私增强ICL的表现出现波动（PIPP升至13.21%）。这是因为：

1. 准标识符（如职业+年龄组合）更难被实体识别系统检测
2. 部分组合可能意外匹配真实个体特征
3. 文化差异导致某些特征在不同地区的标识强度不同

解决方案包括：

• 引入领域特定的准标识符检测规则
• 对敏感组合设置更高的改写强度
• 根据文本地域特征调整生成策略

5.2 生产环境部署要点

在实际部署隐私保护生成系统时，我们总结了以下经验：

1. 控制代码的动态扩展：随着业务发展，需要持续更新控制代码类别。例如疫情期间需要新增"疫苗接种状态"类别。

2. 生成质量的监控：除了ROUGE指标，还应建立：

   • 隐私审计机制：定期检查生成文本的信息泄露风险
   • 人工评估流程：抽样检查文本的语义合理性和流畅度

3. 性能优化：虚构实体生成可能成为系统瓶颈。我们采用的优化策略包括：

   • 预生成常用模式的虚构实体池
   • 对高频实体类别实现缓存机制
   • 采用分层生成策略（先简单类别后复杂类别）

6. 典型问题排查指南

6.1 控制代码识别不全

症状：生成文本中仍存在未标记的真实实体 可能原因：

1. 实体识别模型训练数据不足
2. 出现新的实体表达形式
3. 文本预处理环节存在错误

解决方案：

• 更新实体识别模型的训练数据
• 添加自定义正则表达式规则
• 检查文本编码和分词结果

6.2 ROUGE分数异常偏低

症状：生成文本的ROUGE-2/ROUGE-L显著低于预期 可能原因：

1. 虚构实体与上下文语义冲突
2. 控制代码替换破坏了文本结构
3. 生成模型过拟合于隐私保护目标

调试步骤：

1. 检查虚构实体的语义合理性
2. 分析替换前后的文本差异
3. 调整损失函数中隐私保护与文本质量的权重比

6.3 文化适应性问题

症状：同一生成策略在不同地区文本中效果差异大 典型案例：

• 亚洲人名生成直接套用西方命名规则
• 地址格式不符合当地习惯
• 特定地区的敏感信息类型未被覆盖

改进方法：

• 建立区域化的控制代码子分类
• 收集本地化的虚构实体样本库
• 实现区域感知的生成策略选择