Transformer是个框,啥都往里装😀,只要是广义的时序数据就行,自然语言、音频、视频、传感数据,以及这篇论文《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》研究的机器人动作。当然,前提是时序数据中天然隐含“理性”。理性即模式、模态、规律等。
这篇论文的一个衍生成果是LeRobot,LeRobot 旨在为现实世界的机器人提供模型、数据集和工具,这些都是基于 PyTorch 的。其目标是降低进入机器人领域的门槛,以便每个人都能贡献并从共享数据集和预训练模型中受益。👍👍