• 歡迎光臨 : 北京品立科技有限責任公司服務熱線 :+86-400-127-3302
    語言選擇: 中文版 ∷  英文版

    英偉達專欄

    英偉達開發 AI 模型:數據集圖像總量逾 15 萬,成功率 100%

    想象一下,想要將手中的小方塊優雅地遞給別人,是用手卡住方塊的側面送出?

    還是伸出托著方塊底部的手?

    那么如果對方是機器人,持握小方塊的方式是否會影響機器人快速、精確的識別呢?

    答案是“會”!

    因此,英偉達(Nvidia)研究人員設計了一種人類-機器人遞接物品的新方式,當機器人面對人類時,對其持握動作進行判斷、分類,進而設計出遞接物品的方式。這一方式比基線更流暢,可為協作機器人的設計提供新思路,從而提高倉庫工人的生產力。

    當地時間 2020 年 3 月 12 日,相關論文 Human Grasp Classification for Reactive Human-to-Robot Handovers(基于人手持握動作分類的人類-機器人遞接物品反應)發表于預印本網站 arXiv。

    解決物品和人手相互遮擋的問題

    雷鋒網了解到,如今關注人類-機器人無縫遞接物品領域的研究越來越多。就目前而言,絕大多數研究著眼于將物品從機器人轉移到人類手中的挑戰,假設人類可將物品放置在機器人的抓取器中進行反向操作。

    不過,人類-機器人無縫遞接物品的一個挑戰便是機器人缺少可靠、連續的感知。在遞接物品過程中,物品和人手難免會相互遮擋,而且人在遞接物品時還經常同時在做其他事情,因此機器人對人手和物品狀態、位置的估計并不是很精準。

    對此,研究人員提出的一種策略是,通過從計算機視覺社區借用現成的方法估計人手的動作及物品的 6D 狀態。然而,這一方法僅僅關注于人手或物品。

    基于此,英偉達研究人員做了一系列改進。

    將人手持握物品的動作劃分類別

    首先,研究人員利用微軟 Azure Kinect 深度傳感器的身體跟蹤 SDK(軟件開發工具包)獲取檢測到的以人手為中心的點云,編輯一個數據集,訓練 AI 模型。

    此外,研究人員展示持握物品的示例圖像,并記錄 20-60 秒內人手做出的類似動作。在此期間,人可以不斷移動身體或手,保證視角多樣化。據了解,該研究團隊數據集的圖像已超過 15 萬張。

    在此基礎上,研究人員將持握動作劃分類別,比如手中拿著一個小方塊時,動作可以被描述為“手掌張開”、“卡住底部”、“卡住頂部”、“卡住側面”或“抬起”。

    研究人員表示:

    目前我們的系統覆蓋了 77% 的人手持握物品方式,未來我們還要將其擴展到更大的范圍。

    隨后,研究人員將遞接物品任務建模,基于一個「魯棒動態邏輯系統」(Robust Logical-Dynamical System),設計出遞接物品的軌跡,免去了特定種類的抓取器和人手接觸的麻煩。

    雷鋒網了解到,這一系統必須適應人類各種可能的持握動作,才能做出反應,判斷接近人類并遞接物品的方式。在系統確切地估計出人類將以何種方式持握物品之前,它將始終在原位(“home” position)保持等待狀態。

    實際上,研究人員在一系列實驗中對人手所有可能的位置、動作進行了系統性的回顧,確定了分類模型和任務模型。同時,研究人員也考慮了這一過程中可能涉及的額外操作(下圖為按優先級降序排列的可能出現的額外操作)。

    遞接成功率為 100%

    雷鋒網注意到,實驗中,研究人員用到的是來自德國慕尼黑機器人公司 Franka Amika 的兩個不同的「熊貓機器人」(Panda robots),研究人員將其安裝在同一張桌子上的不同位置,分別從人類手中接過 4 種不同顏色的物品。

    該論文的兩位作者表示,與 2 個基線方法(一個不判斷人手狀態,另一個僅依賴于手和物體的狀態)相比,他們的方法提升了人類-機器人無縫遞接物品的成功率,并縮短了計劃、執行時間——遞接成功率為 100%(第二高為 80%),判斷成功率為 64.3%(第二高為 29.6%),計劃、執行總動作為 17.34 秒(第二短為 36.34 秒)。

    不過,研究人員也明確提到了這一系統存在的不足與未來的研究方向:

    提升判斷成功率將會是未來我們的一個努力方向,這是因為即使系統已經可以處理大部分物品和人手彼此遮擋的場景,但不確定性也更高了,有時機器人不得不重新進行判斷。

    此外,他們計劃讓系統從數據中學習不同的持握類型,而不是依賴于人工制定的規則。

    參考資料:

    https://arxiv.org/pdf/2003.06000.pdf

    https://venturebeat.com/2020/03/16/nvidia-researchers-use-ai-to-teach-robots-how-to-hand-objects-to-humans/

    https://venturebeat.com/2018/11/26/how-munichs-franka-emika-wants-to-reinvent-industrial-robotic-assistants/

    http://wyang.me/handovers/

    久久精品人成免费|国产精品无码素人福利|国产高潮流白浆免费观看|97超碰在线播放