“通用大脑”来了！MIT何恺明用大模型思维玩出机器人预训练新花样

mit何恺明团队突破机器人训练瓶颈，赋予机器人“通用大脑”

机器人领域的“通用智能”探索取得重大进展！MIT何恺明教授及其团队，包括Lirui Wang、赵家梁和Meta研究员陈鑫磊，提出了一种名为“异构预训练Transformers”（HPT）的新架构，有效解决了机器人训练数据异质性难题，让机器人离拥有“通用大脑”的目标更近一步。 这项研究成果即将发表于神经信息处理系统会议（NeurIPS）。

传统机器人训练依赖于为每个任务、环境甚至硬件单独采集数据，效率低下且成本高昂（可能高达数百万美元）。 为了克服这一挑战，研究团队另辟蹊径，专注于让现有数据实现“通用化”，而非简单地增加数据量。

HPT架构的核心在于将不同来源的数据（模拟数据和真实机器人传感数据）统一到一种共享的“语言”中。 无论数据来自视觉传感器还是机械臂位置编码器，HPT都能将其转化为通用格式，避免了重复的数据收集和浪费。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

HPT架构由三个模块组成：Stem（茎）、Trunk（树干）和Head（头）。Stem负责将不同类型的数据转化为标准化的令牌序列；Trunk利用Transformer架构将这些令牌转化为共享的潜在表示；Head则将潜在表示转化为具体的动作指令。

HPT的设计灵感源于GPT-4等大语言模型的“大规模预训练+少量微调”模式。 研究团队构建了一个包含52个数据集、20万条机器人轨迹的大型数据集，涵盖了人类演示视频和模拟数据。 在预训练阶段，HPT仅调整Trunk参数；在微调阶段，再根据具体任务调整Stem和Head参数，从而实现高效的迁移学习。

HPT的优势在于其高通用性、高效性和低成本。在模拟和实际测试中，其性能比传统训练方式提升了20%以上。 更重要的是，HPT不仅处理视觉数据，还支持直接处理传感器采集的原始信号，进一步扩大了数据使用范围。

盘古大模型

华为云推出的一系列高性能人工智能大模型

35

查看详情

这项研究特别重视本体感知，即机器人对自身状态（关节角度、末端执行器位置等）的感知能力。 将本体感知与视觉数据同等重要地处理，使机器人能够更精确地完成复杂任务，例如拧紧螺钉或拿稳易碎物品。

研究团队的最终目标是创建一个“通用机器人大脑”，让机器人训练像下载APP一样简单，无需繁琐的数据收集和培训。 这将极大地推动机器人技术的普及和应用。

作者简介： 文中简要介绍了何恺明、Lirui Wang、赵家梁和陈鑫磊的背景和研究方向。

(图片均已按照原文顺序和格式保留)

以上就是“通用大脑”来了！MIT何恺明用大模型思维玩出机器人预训练新花样的详细内容，更多请关注php中文网其它相关文章！