UC Berkeley：随动如我 看日常视频练出机器人灵巧手

这项研究介绍了一种名为 DO AS I DO 的创新算法，旨在将普通人类动作视频转化为机器人可执行的多指灵巧操控数据。该算法通过计算机视觉基础模型重构三维手物交互过程，并利用物理模拟器中的重定位优化技术，解决人类与机器人形态差异及物理可行性问题。研究团队开发的物体追踪方法在处理遮挡和运动模糊方面超越了现有技术，能够广泛支持第一视角、第三视角甚至生成的视频素材。通过对互联网视频的自动化处理，该系统成功在真实机器人平台上实现了拾取、搅拌和书写等多种复杂任务。此外，作者还提出了一套数据过滤准则，量化了从海量网络视频中筛选高质量机器人学习数据的挑战。这项工作为利用海量人类视频数据实现机器人规模化学习开辟了新路径。