1. TOLEBI框架概述：当双足机器人遇上"关节罢工"
在实验室里，TOCABI人形机器人正平稳地行走着。突然，它的右膝关节发出"咔嗒"一声——模拟的关节锁定故障被触发。传统控制算法下，这种突发故障往往会导致机器人失去平衡而摔倒。但令人惊讶的是，TOCABI只是略微调整了步态，很快又恢复了稳定行走。这背后的秘密武器，正是我们今天要深入探讨的TOLEBI框架。
TOLEBI（faulT-tOlerant Learning framEwork for Bipedal locomotIon）是首个基于强化学习的双足机器人容错运动框架，它解决了传统方法在硬件故障处理上的三大痛点：
- 黑箱困境：传统强化学习策略难以应对训练时未见的故障场景
- 稳定性危机：双足系统在单腿故障时极易失去平衡
- 迁移鸿沟：仿真训练的策略难以适应真实的物理环境
该框架的核心创新在于将在线状态估计与容错奖励机制有机结合。就像经验丰富的医生通过观察病人症状做出诊断一样，TOLEBI通过GRU网络实时"诊断"关节状态，再根据"病情"调整控制策略。实验数据显示，在关节锁定故障下，TOLEBI将双足机器人的运动成功率从传统方法的8.3%提升至81.2%。
2. 核心架构解析：从故障模拟到实机部署
2.1 系统组成与工作流程
TOLEBI的系统架构犹如一个精密的"故障应对中枢"，包含以下关键组件：
（图示：TOLEBI框架的三大核心模块及其数据流向）
故障模拟器：在训练时注入两类典型故障
- 关节锁定（Joint Locking）：模拟机械卡死，关节固定于故障时刻的角度
- 动力失效（Power Loss）：模拟电力中断，关节完全失去扭矩输出
关节状态估计器：
- 采用单层GRU网络，隐藏层维度128
- 输入：本体感受数据（关节角度、角速度等）
- 输出：各关节故障概率（Sigmoid激活）
- 更新频率：与策略网络同步训练，学习率10^-4
策略学习模块：
- 基础算法：PPO（近端策略优化）
- 网络结构：双隐藏层MLP（256×256 ReLU）
- 训练环境：Isaac Gym，4096并行环境
- 控制频率：250Hz（仿真步长500Hz）
2.2 状态与动作空间设计
TOLEBI的状态空间设计体现了对故障场景的针对性：
state = { 'base_orientation': [roll, pitch, yaw], # 基座欧拉角 'joint_pos': [q1...q12], # 12个关节角度 'joint_vel': [dq1...dq12], # 关节角速度 'phase': [sin(2πφ), cos(2πφ)], # 步态相位编码 'cmd_vel': [vx, vy, ωz], # 指令速度 'base_vel': [vx, vy, vz, ωx, ωy, ωz], # 实际基座速度 'joint_status': [js1...js12] # 关节状态估计 }动作空间的独特之处在于增加了相位调制动作：
action = { 'torque': [τ1...τ12], # 12个关节扭矩指令 'phase_mod': Δφ # 步态相位调节量 }这个Δφ参数就像乐队的指挥棒，当某个关节"乐手"出现故障时，通过调整节奏（相位）来保持整体协调。具体更新规则为：
φ_{t+1} = (φ_t + Δt/T_ref + a_{Δφ,t}) mod 1.0
其中T_ref是参考步态周期，a_{Δφ,t}是策略输出的相位调节量。
3. 容错训练关键技术
3.1 故障注入与动作掩码
TOLEBI在训练中采用动态故障注入策略：
随机选择：90%的并行环境会随机出现故障
- 故障类型：50%概率选择关节锁定或动力失效
- 故障关节：均匀选择12个关节中的一个
动作掩码：
- 关节锁定：改用PD控制固定关节位置 τ_j = K_p(q^0_j - q_j) - K_dq̇_j
- 动力失效：直接置零扭矩指令 τ_j = 0
这种设计使得策略必须学会在"残疾"条件下维持平衡，就像运动员即使某部位受伤也要调整姿态完成比赛。
3.2 容错奖励函数设计
TOLEBI的奖励函数由三部分组成，权重随训练阶段动态调整：
| 类别 | 奖励项 | 健康状态权重 | 故障状态权重 |
|---|---|---|---|
| 任务奖励 | 线速度跟踪 | 0.4 | 0.4 |
| 角速度跟踪 | 0.2 | 0.2 | |
| 足底接触同步 | 0.2 | 0.2 | |
| 调节项 | 身体姿态 | 0.3 | 0.3 |
| 关节扭矩 | 0.05 | 0.05 | |
| 容错奖励 | 轨迹跟随 | 0.35 | 0.35 |
| 接触力跟踪 | 0.0 | 0.3 | |
| 跌倒惩罚 | 0.0 | -100 |
其中最具创新性的是接触力跟踪奖励，它解决了故障状态下的冲击问题。如图3所示，没有该奖励时，足地冲击力可达2000N（对100kg机器人而言）；加入后冲击力降低到安全范围内。
3.3 课程学习策略
TOLEBI采用渐进式训练策略，犹如运动员从基础训练到高难度动作的进阶过程：
for epoch in range(total_epochs): collect_rollouts() avg_duration = compute_episode_length() # 第一阶段：基础行走（>20秒稳定后进入下一阶段） if not failure_enabled and avg_duration > 20s: enable_joint_failure() # 第二阶段：加入扰动（>24秒稳定后进入下一阶段） if not push_enabled and avg_duration > 24s: enable_push_perturbation() update_policy()这种"先学走，再学跑"的方法避免了直接面对复杂故障导致的训练不稳定问题。
4. 仿真到实机的关键技术
4.1 领域随机化参数
TOLEBI采用全方位的随机化策略来弥合仿真与现实差距：
| 类型 | 参数 | 随机范围 |
|---|---|---|
| 领域随机化 | 指令速度 | vx∈[-0.3,0.6] m/s |
| 推力扰动 | 50-250N，持续0.1-1s | |
| 动力学随机化 | 连杆质量 | ±40%标称值 |
| 关节摩擦 | ±40%标称值 | |
| 执行延迟 | 0.5-1.5ms |
4.2 在线状态估计器
关节状态估计器就像机器人的"神经系统"，实时监测各关节健康状态：
输入特征：
- 关节角度与指令的偏差
- 实际扭矩与预期的差异
- 功率消耗异常指标
决策机制：
- 输出值>0.7判定为故障
- 更新频率与策略控制同步（250Hz）
- 采用滑动窗口存储最近10次估计结果
训练方式：
- 与策略网络同步更新
- 损失函数：二元交叉熵(BCE)
- 不区分具体故障类型（简化决策空间）
5. 实验验证与性能分析
5.1 仿真环境测试结果
在Isaac Gym中的测试数据令人印象深刻：
| 故障场景 | 基线方法 | TOLEBI |
|---|---|---|
| 健康状态 | 98.9% | 96.2% |
| 髋关节锁定 | 0.0% | 79.7% |
| 膝关节锁定 | 14.6% | 81.3% |
| 踝关节锁定 | 0.0% | 64.4% |
| 髋关节动力失效 | 0.0% | 57.8% |
| 平均成功率 | 15.3% | 81.3% |
特别值得注意的是，在踝关节滚动（ankle roll）锁定这种对平衡影响最大的故障下，TOLEBI仍能保持99.5%的成功率。
5.2 实机验证案例
在TOCABI人形机器人（100kg，1.2m高）上的实机测试包括：
平地行走：
- 速度跟踪误差：<0.1m/s
- 在单腿膝关节锁定情况下仍能行走10米以上
楼梯下降：
- 台阶高度9cm
- 动力失效状态下成功完成5级台阶下降
- 无需针对楼梯场景的额外训练
图4展示了故障状态下的速度跟踪曲线，可见TOLEBI能快速适应故障并维持稳定运动。
6. 工程实践中的经验总结
在实际部署TOLEBI框架时，我们积累了一些宝贵经验：
关键提示1：故障注入比例初期尝试100%故障注入导致策略过于保守，最终确定90%故障+10%健康环境的比例最佳，既保证容错性又维持正常运动能力。
关键提示2：相位调制幅度限制实践中发现需限制Δφ的调节范围（±0.1），过大的相位突变会导致步态紊乱。这类似于人类在腿伤时调整步频但不能完全打乱行走节奏。
常见问题排查表：
| 现象 | 可能原因 | 解决方案 |
|---|---|---|
| 策略在实机中频繁跌倒 | 动力学参数不匹配 | 增加质量、惯量随机化范围 |
| 关节状态误报率高 | 估计器收敛不足 | 延长课程学习的第一阶段 |
| 故障恢复动作迟缓 | 奖励函数权重失衡 | 提高接触力跟踪奖励权重 |
性能优化技巧：
- 在策略网络最后一层加入动作历史（最近3步）可提升稳定性
- 对故障关节的扭矩指令施加低通滤波（截止频率30Hz）避免抖动
- 使用指数衰减的探索噪声（从0.3线性衰减到0.1）
TOLEBI框架的局限性在于目前仅处理单关节故障，未来计划扩展至多故障并发场景。另一个有趣的方向是将该框架应用于其他双足平台，验证其通用性。
这个项目最让我惊讶的是，即使在没有明确编程故障应对策略的情况下，通过精心设计的奖励函数和训练架构，强化学习策略能自发地发展出各种巧妙的代偿策略——有时甚至超出工程师的预期。这或许正是机器学习在机器人控制中最迷人的地方。
