Transformer是个框，啥都往里装😀，只要是广义的时序数据就行，自然语言、音频、视频、传感数据，以及这篇论文《Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware》研究的机器人动作。当然，前提是时序数据中天然隐含“理性”。理性即模式、模态、规律等。
这篇论文的一个衍生成果是LeRobot，LeRobot 旨在为现实世界的机器人提供模型、数据集和工具，这些都是基于 PyTorch 的。其目标是降低进入机器人领域的门槛，以便每个人都能贡献并从共享数据集和预训练模型中受益。👍👍
相关阅读：ChatGPT的底层技术即将改变世界
聊天机器人只是开始，“transformer”将带来一系列重要得多的应用。我们将见证人工智能在环保、医疗、自动驾驶等诸多领域大放异彩。
……
在当前这波AI热潮中，我们往往把AI等同于能写、能说、能编程、能拍照的计算机，这些表达形式大都建立在一种被称为“transformer”的底层技术之上，而这种技术的应用范围比我们所想象的要广泛得多。
谷歌的研究人员在2017年发表的一篇论文中首次宣布了“transformer”这一技术，后者是一种AI算法，能让计算机理解任何数据集（无论是文字、驾驶数据，还是蛋白质中的氨基酸）的底层结构，从而自行生成类似的输出。
……
对语境的深度理解使基于“transformer”的AI系统不仅能够识别规律，而且能够对接下来可能出现的情况作出合理预测——从而自己生成新的信息。这种能力还可以延伸到文字以外的数据。
……
今年10月，麻省理工学院(Massachusetts Institute of Technology)的研究人员宣布，他们正在试图采用一项基于“transformer”的类似策略来创造机器人大脑，这种大脑可以从各种来源获取大量数据，然后在各种环境中灵活运行。举例来说，研究人员拍摄了几段普通机械臂把狗食放进碗中的视频，然后用这些视频来训练另一个由AI驱动的机器人完成类似任务。
……
与机器人技术领域一样，开发自动驾驶汽车的研究人员和公司也在摸索如何使用基于“transformer”的“视觉语言模型”，这种模型不仅能够处理和整合语言，而且能够处理和整合图像。
……