银河通用王鹤:目前最大的公开数据集只有一百万条,这与具身大模型所需数据差距巨大

出品|搜狐科技

作者|常博硕

编辑|杨锦

8月11日,在世界机器人大会主论坛上,银河通用创始人兼首席技术官,北京大学助理教授王鹤发表了题为《以合成数据为翼,驱动人形机器人商业化腾飞》的演讲。

银河通用成立于2023年5月,至今已有两年多的时间。据王鹤介绍,银河通用是一家专注于具身大模型的通用机器人公司,提供从定义硬件、合成数据、训练端到端的具身大模型,到形成客户直接可用产品的一站式解决方案。“我们的使命是让通用机器人服务千行百业、千家万户。”

目前银河通用的估值已经超过10亿美金。就此,王鹤表示:“我们从成立的第一天就是要真正做有生产力的通用人形机器人。今天通过我们自主研发的基于视觉闭环输入的端到端趋势大模型,银河通用的机器人已经能在一系列场景自主工作方法操作,展现了人形机器人生产力的更多场景和可能。”

在机器人训练中,数据问题一直是困扰各大厂家的难题。王鹤认为,目前具身数据的难题主要源于真实数据采集昂贵,难以扩大到大模型充分泛化所需要的数据量。

王鹤解释道:“目前,教会机器人工作最直接的数据是遥操作数据。然而,这类数据面临着产能不足且成本昂贵的现状。以自动驾驶为例,数百万辆车每天都在运行,才能源源不断地产生数据。而目前全球人形机器人厂商的产能仅在千台到万台之间,与自动驾驶车辆的规模相差甚远。此外,遥操作需要雇佣人员进行,这进一步增加了数据采集的成本。”

王鹤认为,人形机器人要实现大规模商业化,必须解决数据来源问题。目前最大的公开数据集只有一百万条,这与具身大模型所需的数百亿条数据差距巨大,而这也构成了银河通用对数据的独特看法。

“我们认为,在现阶段,数据必须包含动作信息,但又不能是昂贵的真实世界数据。我们解决方案是利用物理仿真。”

目前,银河通用主要通过计算机图形学手段,将真实世界的物理完全搬进仿真环境,即构建一个大规模的物体资产库,让机器人可以与各种柔性物体进行交互,例如抓取、放置、开门、开抽屉、使用遥控器等,继而大规模生成这些动作数据。

谈及合成数据的技术细节,王鹤解释道:“在这些可交互的物体资产上,我们利用银河通用积累的合成的管线来产生大量的动作,这些大量的动作又可以通过强化学习的方式让机器人自主摸索生成。那么不管是直接合成还是强化学习试错生成的数据,都可以通过仿真器进一步的检验,再用渲染器把它变成视觉数据,最终直接把模型部署在真实世界。”

抓取,这一对人来说十分简单的动作,对于机器人而言却需要大量的训练才能完成。而通过合成数据,王鹤表示银河通用已经获得了全球首个十亿级别的抓取合成大数据。“在此之前,遥操作采集的数据最多只有百万级别。正是这样海量的抓取数据,才真正训练出了一个操作抓取的基础大模型。”

王鹤进一步表示:“我们是全球第一个、也是迄今为止唯一一个训练过抓取具身基础大模型的公司。我们训练出的模型在吸收了十亿级别的合成数据后,能够直接泛化到真实世界。”

随后在演讲现场,王鹤通过视频展示了机器人执行一个抓鸭子的任务。视频中,即使在夸张的迪斯科灯光下,机器人也能成功抓取。王鹤解释说:“这正是因为它已经学透了抓取背后的本质,训练好的模型不仅能抓取特定的商品,还能实现零样本泛化。能直接识别并抓取不同品牌、不同高度、不同瓶盖的新款矿泉水,无需再次训练或采集数据。”

王鹤举例说:“在商超的环境里,只需要演示一种货品的抓放,它就能自动迁移到同类的所有不同款不同品牌的货品当中,这样让我们具身大模型的客户用得起,我们才能迎来人形机器人的一个商业化、规模化的时代。”

目前,在世界机器人大会的银河通用展台,机器人已经实现了双手抓取。当顾客同时下单两个不同的商品时,机器人可以一心二用,同时抓取,哪怕是需要不同操作的挂装和瓶装商品。除此之外,银河通用还展示了机器人全身运控和视觉伺服能力的漂移搬运过程,这种能力的快速涌现,同样得益于合成大数据的巨大能量。

最后,王鹤表示:“目前,我们已在零售、工业领域率先落地。下一步,我们将在接待和康养场景继续努力,让千行百业、千家万户真正感受到人形机器人的生产力。今年是银河通用千台应用元年,我们希望与大家携手,共同推动行业健康发展。”返回搜狐,查看更多

阅读 ()
平台声明
该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。