FST ITN-ZH实战指南：多语言混合文本处理
1. 简介与背景
中文逆文本标准化（Inverse Text Normalization, ITN）是语音识别、自然语言处理和智能对话系统中的关键预处理环节。其核心任务是将口语化或非标准表达的文本转换为结构化、可计算的标准格式，例如将“一百二十三”转为“123”，或将“早上八点半”转为“8:30a.m.”。
FST ITN-ZH 是一个基于有限状态转导器（Finite State Transducer, FST）架构实现的中文ITN工具，具备高精度、低延迟和强可扩展性等优势。本文聚焦于FST ITN-ZH 的 WebUI 二次开发实践，由开发者“科哥”完成，旨在提供一套用户友好的图形界面，支持单条文本转换与批量处理，适用于教育、金融、客服机器人等多个实际场景。
本指南将从部署、功能使用到高级配置，全面解析该系统的操作流程与工程落地要点。
2. 系统部署与启动
2.1 运行环境准备
系统默认运行在 Linux 环境下，依赖 Python 及相关库（如 OpenFST、Kaldi 工具链、Gradio 等）。项目已封装完整运行时环境，可通过以下指令快速启动：
/bin/bash /root/run.sh该脚本会自动加载模型、初始化服务并启动 Gradio WebUI 服务。
2.2 访问 WebUI 界面
服务启动后，在浏览器中访问：
http://<服务器IP>:7860即可进入交互式界面。页面顶部显示标题“中文逆文本标准化 (ITN)”及开发者信息：“webUI二次开发 by 科哥 | 微信：312088415”。
注意：首次访问需等待 3-5 秒进行模型加载，后续请求响应迅速。
3. 核心功能详解
3.1 功能一：文本转换（单条处理）
使用流程
- 打开 WebUI 页面；
- 切换至「📝 文本转换」标签页；
- 在输入框中键入待转换文本；
- 点击「开始转换」按钮；
- 输出框实时返回标准化结果。
示例演示
输入: 二零零八年八月八日早上八点半 输出: 2008年08月08日 8:30a.m.此模式适合调试、验证规则准确性或处理少量关键语句。
3.2 功能二：批量转换（大规模数据处理）
操作步骤
- 准备
.txt文件，每行一条原始文本； - 进入「📦 批量转换」标签页；
- 点击「上传文件」选择本地文本；
- 点击「批量转换」触发处理；
- 完成后点击「下载结果」获取标准化后的文件。
输入文件示例
二零零八年八月八日 一百二十三 早上八点半 一点二五元 二十五千克输出文件将按行对应生成标准格式内容，便于集成至下游系统（如数据库导入、报表生成等）。
建议：对于超过千行的数据，优先采用批量模式以提升效率。
4. 用户交互优化设计
4.1 快速示例按钮
页面底部提供多个一键填充按钮，涵盖常见语义类型：
| 按钮 | 输入示例 |
|---|---|
[日期] | 二零零八年八月八日 |
[时间] | 早上八点半 |
[数字] | 一百二十三 |
[货币] | 一点二五元 |
[分数] | 五分之一 |
[度量] | 二十五千克 |
[数学] | 负二 |
[车牌] | 京A一二三四五 |
[长文本] | 二零一九年九月十二日的晚上... |
点击后自动填入输入框，极大降低新手使用门槛。
4.2 高级设置参数说明
系统提供三项可调开关，用于精细化控制转换行为：
转换独立数字
- 开启：
幸运一百→幸运100 - 关闭：
幸运一百→幸运一百
控制是否对非计量类数字进行转换，避免语义失真。
转换单个数字 (0-9)
- 开启：
零和九→0和9 - 关闭：
零和九→零和九
适用于是否需要严格统一数字表示风格的场景。
完全转换'万'
- 开启：
六百万→6000000 - 关闭：
六百万→600万
决定是否展开“万”单位。金融系统常需完全展开，而日常阅读保留“万”更易读。
5. 支持的转换类型与规则覆盖
5.1 日期格式化
将汉字年月日转换为阿拉伯数字格式：
输入: 二零一九年九月十二日 输出: 2019年09月12日支持闰年、大小月自动校验，兼容“二〇一九”、“两千零十九”等多种读法。
5.2 时间表达归一化
区分上午/下午，并转换为 12 小时制带 a.m./p.m. 标记：
输入: 下午三点十五分 输出: 3:15p.m.也支持“中午十二点”、“午夜一点”等口语表达。
5.3 数字转写
支持个位到万亿级别的中文数字解析：
输入: 一千九百八十四 输出: 1984同时识别“两百”、“幺”等方言变体。
5.4 货币单位标准化
根据币种前缀自动匹配符号：
输入: 一百美元 输出: $100 输入: 一点二五元 输出: ¥1.25支持人民币、美元、欧元等主流货币。
5.5 分数与度量单位
输入: 五分之一 → 输出: 1/5 输入: 三分之二 → 输出: 2/3 输入: 三十公里 → 输出: 30km 输入: 二十五千克 → 输出: 25kg单位缩写符合国际惯例，便于后续数值提取。
5.6 数学符号与特殊编号
输入: 负二 → 输出: -2 输入: 正五点五 → 输出: +5.5 输入: 京A一二三四五 → 输出: 京A12345适用于车牌识别、公式理解等专业领域。
6. 实践技巧与最佳建议
6.1 长文本多类型混合处理
系统支持在同一段文本中识别多种实体并分别转换：
输入: 这件事发生在二零一九年九月十二日的晚上，大概八点半左右，涉及金额为一万二千元。 输出: 这件事发生在2019年09月12日的晚上，大概8:30左右，涉及金额为12000元。这表明其内部采用模块化 FST 流水线设计，各子模块并行检测不同语义类别。
6.2 大规模数据批处理策略
推荐如下工作流：
- 将原始日志或语音 ASR 输出整理为纯文本
.txt文件； - 每行一条记录，确保无空行干扰；
- 使用批量转换功能一次性处理；
- 下载结果后通过正则或脚本进一步清洗。
对于每日百万级文本处理需求，可结合 Shell 脚本定时调用 API 接口实现自动化流水线。
6.3 结果持久化与追溯
点击「保存到文件」按钮，系统会将当前输出结果写入服务器指定目录，文件名包含时间戳（如result_20250405_142312.txt），便于版本管理和审计追踪。
7. 常见问题与解决方案
Q1: 转换结果不准确？
- 检查输入格式：确认无错别字或非常规表达；
- 调整高级设置：尝试开启/关闭“独立数字”选项；
- 联系开发者反馈案例，有助于持续优化规则集。
Q2: 是否支持方言或口语变体？
目前支持以下变体：
- “幺”代表“一”（如“幺零零八六”→“10086”）
- “两”代表“二”（如“两百”→“200”）
- “零”、“〇”、“洞”等发音近似词
暂不支持粤语、四川话等地域性极强的表达方式。
Q3: 首次转换延迟较高？
这是正常现象。系统在首次请求时需加载 FST 模型至内存，耗时约 3-5 秒。后续请求可在毫秒级完成。
Q4: 版权与使用限制？
项目遵循 Apache License 2.0 开源协议，允许自由使用、修改与分发，但必须保留原始版权信息：
webUI二次开发 by 科哥 | 微信：312088415 承诺永远开源使用 但是需要保留本人版权信息！8. 界面布局与操作逻辑
主界面结构图解
┌─────────────────────────────────────────┐ │ [紫蓝渐变] 中文逆文本标准化 (ITN) │ │ webUI二次开发 by 科哥 │ ├─────────────────────────────────────────┤ │ [📝 文本转换] [📦 批量转换] │ │ │ │ ┌───────────┐ ┌───────────┐ │ │ │ 输入框 │ → │ 输出框 │ │ │ │ │ │ │ │ │ └───────────┘ └───────────┘ │ │ │ │ [开始转换] [清空] [复制] [保存] │ ├─────────────────────────────────────────┤ │ 🎯 快速示例 │ │ [日期] [时间] [数字] [货币] ... │ └─────────────────────────────────────────┘所有按钮均有明确语义标识，符合直觉操作逻辑。
9. 总结
FST ITN-ZH 不仅实现了高精度的中文逆文本标准化能力，更通过 Gradio 构建的 WebUI 提供了极佳的用户体验。其亮点包括：
- 多类型全覆盖：支持日期、时间、数字、货币、分数、度量、数学、车牌等八大类转换；
- 灵活配置机制：通过高级设置实现细粒度控制；
- 高效批量处理：满足工业级数据处理需求；
- 友好交互设计：快速示例、一键复制、结果保存等功能显著提升可用性；
- 开放可维护：基于 FST 架构，易于扩展新规则或适配新场景。
无论是作为语音识别后端组件，还是独立的数据清洗工具，FST ITN-ZH 都展现出强大的实用价值。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
