「xx，去把电视柜上的遥控器帮我拿过来。」正在一个家庭处境中，良多家庭成员都未免被指使干这种活儿。乃至有功夫，宠物狗也难以幸免。但人总有指使不动的功夫，宠物狗也并不愿建都能听懂。帮人类干活儿的终极梦思依旧依靠正在机械人身上。

　　比来，纽约大学、Meta 研发出的一款机械人学会了这个才能。你只必要对它说，「把桌子上的玉米片拿到床头柜上」机器人，它就能本身找到玉米片，并计议出途径和相应的作为，就手已毕职分。另表，它还能帮你清理东西或扔垃圾。

　　这个机械人名叫 OK-Robot，由来自纽约大学、Meta 的筹议者联合构修。他们将视觉发言模子（用于物体检测）、导航和抓取的根源模块整合到一个绽放常识型框架中，为机械人的高效拾放操作供应认识决计划。看来，等咱们老了之后，买个机械人给本身端茶倒水依旧有心愿的。

　　OK-Robot 定位中的「绽放常识」指的是正在大型公然数据集上练习的研习模子。当 OK-Robot 被睡觉正在一个新的家庭处境中时，它将从 iPhone 上获取扫描结果。按照扫描结果，它会行使 LangSam 和 CLIP 揣测出辘集的视觉发言表征，并将其存储正在语义存储器中。正在此之后，给定一个必要拾取的对象的发言盘问，盘问的发言表征与语义影象相成婚。接下来，它会递次使用导航和拾取模块，挪动到所需物体并将其拾取。肖似的经过也可用于甩掉物体。

　　为了筹议 OK-Robot，筹议者正在 10 个的确的家庭处境中对其举办了测试。通过尝试，他们浮现，正在一个从未见过的天然家居处境中，该体系零样本摆设的告捷率均匀为 58.5%。然而，这一告捷率正在很大水准上取决于处境的「天然水准」。由于他们浮现，通过刷新盘问、清理空间和废除昭彰拥有顽抗性的物体（太大、太半透后、太滑），这一告捷率抵达了约 82.4%。

　　正在纽约市的 10 个家庭处境中，OK-Robot 试验了 171 个拾取职分。

　　预练习的视觉发言模子对绽放词汇导航特别有用：目前的绽放词汇视觉发言模子 —— 如 CLIP 或 OWL-ViT—— 正在识其它确天下中的大肆物体方面再现卓绝，并能以零样本的形式导航、找到这些物体。

　　预练习的抓取模子可直接使用于挪动操控：与 VLM 肖似，按照大宗数据预练习的专用机械人模子可能直接使用于家庭中的绽放词汇抓取。这些机械人模子不必要任何特殊的练习或微调。

　　怎么组合组件至闭紧要： 筹议者浮现，正在预先练习好模子的处境下，可能行使一个方便的状况机模子（state-machine model）将它们组合起来，而无需举办任何练习。他们还浮现，行使策动式措施来抵消机械人的物理局部，可能正在的确天下中得到更高的告捷率。

　　目前仍存正在极少挑衅：推敲到正在大肆家庭中举办零样本操作的重大挑衅，OK-Robot 正在先前劳动的根源长举办了刷新：通过阐明波折形式，他们浮现正在视觉发言模子、机械人模子和机械人样子学方面可能举办宏大刷新，这将直接普及绽放常识专揽智能体的功能。

　　为了激动和增援其他筹议者正在绽放常识机械人周围的劳动，作家显露将共享 OK-Robot 的代码和模块。更多音信可参见：。

　　该筹议重要处置这个题目：从 B 上拿起 A 并将其放正在 C 上，个中 A 是一个物体，B 和 C 是实际天下处境中的某个地方。要完成这一点，所提体系必要蕴涵以下模块：绽放词汇对象导航模块，绽放词汇 RGB-D 抓取模块以及开释或睡觉对象的策动式模块（dropping heuristic）。

　　最初是扫描房间。绽放词汇对象导航遵守了 CLIP-Fields 的措施，并假设有一个预先照射阶段，即行使 iPhone 手动扫描家庭处境。这种手动扫描只是用 iPhone 上的 Record3D 使用次序拍摄家庭视频，这将爆发一系列带名望的 RGB-D 图像。

　　扫描每个房间的期间不到一分钟，一朝音信搜求完毕，RGB-D 图像以及相机的式样和名望就被导出到项目库中举办舆图构修。录造时务必逮捕地面表面以及处境中的物体和容器。

　　接下来是举办对象检测机器人。正在扫描的每一帧上，会有一个绽放词汇对象检测器对扫描的实质举办处置。本文挑选 OWL-ViT 对象检测器，由于这种措施正在发端盘问中再现更好。筹议者正在每一帧上使用检测器pg电子官网pg电子官网买个呆板人端茶倒水有盼望了？Meta、纽约大学造了一个OK-Robot，并提取每个对象鸿沟框、CLIP 嵌入、检测器置信度，并将它们转达到导航模块的对象存储模块中。

　　然后举办以对象为中央的语义存储。本文借帮 VoxelMap 来已毕这一步，简直来说，他们行使深度图像和相机搜求的式样将对象掩模反向投影到实际天下坐标中，这种形式可能供应一个点云，个中每个点都有一个来自 CLIP 的闭系语义向量。

　　之后是盘问影象模块：给定一个发言盘问，本文行使 CLIP 发言编码器将其转换为语义向量。因为每个别素都与家中的的确名望闭联联，所以可能找到最有可以找到盘问对象的名望pg电子官网，肖似于图 2 (a)。

　　需要时，本文将「A on B」实行为「A close B」。为此，盘问 A 挑选前 10 个点，盘问 B 挑选前 50 个点机器人。然后揣测 10×50 成对欧氏间隔，并挑选与最短 (A, B) 间隔闭联的 A 点。

　　已毕上述经过，接下来便是导航到实际天下中的对象：一朝取得了实际天下中的 3D 名望坐标，就可能将其用作机械人的导航对象来初始化操作阶段。导航模块务必将机械人睡觉正在手臂可触到的畛域，以便机械人随后可能操极对象物体。

　　与绽放词汇导航差别，为了已毕抓取职分，算法必要与实际天下中的大肆对象举办物理交互，这使得这个人变得越发贫乏。所以，本文挑选行使预练习的抓取模子来天生实际天下中的抓取式样，并行使 VLM 举办发言要求过滤。

　　本文行使的抓取天生模块是 AnyGrasp，它正在给定单个 RGB 图像和点云的场景中行使平行钳口夹具天生无碰撞抓取。

　　AnyGrasp 供应了场景中可以的抓握（图 3 第 2 列），征求抓握点、宽度、高度、深度和抓握分数，该分数显露每次抓握中未校准的模子置信度。

　　行使发言盘问过滤抓握：对待从 AnyGrasp 得到的抓握倡导，本文采用 LangSam 过滤抓握。本文将一起倡导的抓握点投影到图像上机器人，并找到落入对象掩模的抓握点（图 3 第 4 列）。

　　抓握奉行。一朝确定了最佳抓握（图 3 第 5 列），就可能行使方便的预抓握措施来抓握对象对象。

　　抓握对象后，接下来便是将对象睡觉正在什么地方。与 HomeRobot 的基线完成差别，该措施假设物体放下的名望是一个平整的表面pg电子官网，本文举办了扩展，还涵盖了凹物体，如水槽、箱子、盒子和袋子。

　　至此，导航、抓握和睡觉都有了，之后就可能直接将它们组合起来，该措施可能直接使用于任何新的家庭。对待新的家居处境，该筹议可能正在一分钟内扫描房间。然后，只需不到五分钟即可将其处置到 VoxelMap 中。一朝已毕，机械人就可能马上睡觉正在选定的地方并入手运转。从达到一个全新的处境到入手正在个中自决操作，该体系均匀必要不到 10 分钟即可已毕第一个取放职分。

　　正在赶过 10 个家庭尝试中，OK-Robot 正在取放职分上完成了 58.5% 的告捷率。

　　该筹议还对 OK-Robot 举办了深远研究以更好地贯通其障碍形式。筹议浮现，障碍的重要因为是操作障碍，然而pg电子官网，注意查看后细心到波折的因为是长尾形成的，如图 4 所示，波折的三大因为征求未能从语义影象中检索到要导航到的精确对象 (9.3%) ，从操作模块得到的式样难以已毕（8.0％），以及硬件因为（7.5％）。

　　由图 5 可得，OK-Robot 中行使的 VoxelMap 略微优于其他语义影象模块。至于抓取模块，AnyGrasp 昭彰优于其他抓取措施，正在相对范围上比最佳候选措施（自上而下抓取）的功能越过近 50%。然而，基于策动式的算法，HomeRobot 的自上向下抓取打败了开源 AnyGrasp 基线和 Contact-GraspNet，这一究竟评释构修真正的通用抓取模子如故很贫乏。

　　图 6 显示了 OK-Robot 正在各个阶段波折的完善阐明。由阐明可得，当筹议者对处境举办整理并删除恍惚物体时，导航确凿率会上升，总缺点率从 15% 降低到 12%，末了连续降低到 4%。同样，当筹议者整理处境中的杂物时，操作确凿率也普及了，缺点率从 25% 降低到 16%，末了降低到 13%。