详细项目经历与技术亮点。
人形机器人全身控制算法部署
2026 年 4 月 10 日 - 2026 年 5 月 7 日
- 动作重定向：基于开源 GMR 工具包进行二次开发，完成 Walker Tienkung（1.73m、65kg、30 自由度）的运动学适配，并将 npz、bvh、fbx 格式的人体动作捕捉数据转换为机器人可执行的 pkl 关节轨迹。
- 强化学习训练：基于 Isaac Lab/Gym 搭建分布式并行仿真环境，使用 PPO 和 AMP 训练控制策略；结合 reward 曲线分析迭代优化奖励设计，并在高保真 MuJoCo 环境中完成 Sim2Sim 策略迁移验证。
- 真机部署（Sim2Real）：针对真机动力学差异，加入域随机化与延迟信号增强以提升鲁棒性，最终在 Walker Tienkung 机器人上实现零样本轨迹跟踪与稳定行走。
- 论文撰写：基于该项目总结研究成果并撰写论文 ATOM: A Training Framework for Humanoid Behavior Foundation Models with Imperfect Data，目前投稿 NeurIPS 2026（审稿中）。
人形机器人音乐指挥
2026 年 5 月 10 日 - 2026 年 5 月 21 日
- 动作重定向与降噪：使用 GVHMR 从交响乐指挥视频中提取人体姿态；针对双臂轨迹的时间噪声进行滤波平滑，并通过逆运动学将动作重映射到人形机器人关节空间。
- 上半身控制模型训练：在 Isaac Lab 中搭建并行仿真环境，使用强化学习训练稳定的上半身控制策略，使机器人能够在保持稳定行走的同时执行简洁可靠的上肢动作。
- 控制系统部署：设计双臂控制与下肢平衡融合架构，并以 50Hz 将平滑后的目标关节角输入底层 PD 控制器，在真机上实现高保真、低抖动的指挥动作。
基于 YOLOv8 和 MoveIt 2 的物体抓取与放置
2025 年 10 月 16 日 - 2025 年 12 月 29 日
- 项目概述：基于 YOLOv8 实现物体识别，并为人形机器人双臂配置 MoveIt 2，在 Isaac Sim 仿真平台中通过逆运动学实现抓取放置全流程，最终在真机上完成指定物品抓取。
- 高保真仿真平台搭建：基于 Isaac Sim 搭建高保真仿真环境并配置 USD 资产，为团队算法验证提供基础仿真平台；同时在 Isaac Sim 中搭建与真机一致的 ROS2 SDK 接口，并通过 ZMQ 实现 ROS 到 Isaac Sim 的通信。
- VLM 模型部署与物体识别：在机器人本体上部署 VLM，使机器人能够识别指定物品，并通过相机标定完成准确的 TF 转换，得到目标抓取位置。
- MoveIt 2 配置与 IK 解算：为人形机器人双臂配置 MoveIt 2，使机器人能够接收笛卡尔空间目标抓取位姿，通过逆运动学转换为关节空间命令，并经由 ROS 接口执行正确抓取动作。
TIAGo 移动机械臂在 Gazebo 中的仿真与控制
2025 年 5 月 16 日 - 2025 年 5 月 29 日
- 移动操作规划：基于 ROS 和 MoveIt! 在 Gazebo 中实现 TIAGo 移动机械臂完整抓取放置流程。
- 运动规划与机械臂控制：配置 OMPL 规划库（RRT 和 RRT*）进行关节空间路径规划，并设计自定义时间参数化方法以平滑轨迹速度。
- 自主导航与避障：搭建包含 Gmapping 和 Move Base 的导航栈，并结合 ArUco 位姿反馈实现末端执行器精准对齐与放置。