又一個 AI 老大難問題，被 DeepMind 攻克了：一只名叫 DreamerV3 的 AI，在啥也不知道的情況下被驩頭進《的世界》（MineCraft）里，摸爬滾打 17 天，還真就學會了如何 0 開始挖鉆石?！?就是從擼樹開始的那種要知道，之為了攻克這個問題CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個比賽，叫 MineRL。結(jié)果搞了三四年，AI 們也沒能在不參考人類經(jīng)驗的情況，完成挖鉆石任務此前表現(xiàn)最好的 VPT 選手，為了達成這一成就，可是看了 70000 + 小時《我的世界》游戲視頻末山并且上了 720 個 V100……這不 DeepMind 的最新結(jié)果一出，究人員都開心壞了MineRL 的發(fā)起人之一、前 OpenAI 研究科學家 William Guss 就第一時間跑來發(fā)表賀電4 年了，“鉆石挑戰(zhàn)”終于被攻克了今年剛拿到了 NeurIPS 杰出數(shù)據(jù)集和基準論文獎 MineDojo 作者、英偉達 AI 科學家范麟熙則表示：AI 玩轉(zhuǎn) MineCraft 背后，有個莫拉維克悖論：一些任務于人類而言很困難比如圍棋），但對 AI 來說很簡單。但像 MineCraft 這樣人類高玩無數(shù)的游戲，情卻相反。DreamerV3 能在沒有任何人工數(shù)據(jù)輔助情況下收集鉆石，讓我感到非常興奮如何做到所以，這 0 基礎挖鉆石任務，到底有啥難點首先，在《我的世》里，初始世界是全隨機生成的。即是人類玩家，想要速挖到鉆石，也得相當豐富的經(jīng)驗。如，知道怎么推算石的位置、掌握一挖掘竅門（如魚骨礦法）等。排除掉驗的因素，對于 AI 來說，這個挖鉆石的過程也挺復雜至少得要 7 個步驟。第一步，玩家空手進入《我的世》中時，需要先擼來獲取木塊：第二，得用木塊用來合工作臺：第三步，工作臺上合成木鎬用來挖圓石：第四，獲得圓石之后，要合成一個石鎬，來快速挖鐵礦：第步，為了將鐵礦合鐵錠，還需要做一熔爐來燒鐵：第六，合成鐵鎬，用來鉆石：第七步，尋鉆石，然后用鐵鎬出鉆石：p.s. 有玩家測試過，在 AI 知道鉆石等各種資源坐標關于情況（開外掛），也需 2-3 分鐘才能搞定。這也就意味，AI 必須在有限時間里，做出大量策。那么既然不能考人類高手的經(jīng)驗自然就需要強化學（Reinforcement Learning）出馬。具體而言，DeepMind 的研究人員提出了一種基于界模型的通用算法在整體架構(gòu)上，DreamerV3 由 3 個神經(jīng)網(wǎng)絡組成：世界模型、評（critic）和演員（actor）。世界模型要做的是把環(huán)境輸入編碼離散的表征，并通預測來指導下一步執(zhí)行的操作。而評和演員則會根據(jù)抽出來的表征進行學。其中，評委網(wǎng)絡輸出一個標量值來表行動價值，從而助演員網(wǎng)絡選擇最的行動。這里面的個核心點在于，DeepMind 的研究人員希望 DreamerV3 不僅僅能處理同類型的題，還可以用固定參數(shù)，掌握跨領域務。因此，研究人需要系統(tǒng)地解決世模型、評委和演員各個組件中信號大不同，以及穩(wěn)定平目標的問題。研究員發(fā)現(xiàn)：以前的世模型，需要根據(jù)復 3D 環(huán)境的視覺輸入，對表征損失行不同的縮放，在練過程中還得調(diào)整少超參數(shù)，但這里其實有許多沒必要細節(jié)。而如果把自比特（free bits）和 KL 平衡（KL balancing）結(jié)合起來，就可以在不整超參數(shù)的情況下 DreamerV3 在不同領域中學習。KL 平衡是上一代 DreamerV2 中提出的一項新技術(shù)。能夠使測向表征移動的速比表征向預測移動速度更快，帶來更確的預測。自由比避免了簡單環(huán)境下過度擬合。DreamerV3 的三大塊都用上了固定超數(shù)，具體如下：實結(jié)果也就是說，DreamerV3 如今成了世界上第一純靠自己摸索，就在《我的世界》里挖鉆石的 AI。并且 DreamerV3 的本事可不只是玩 MC。在另外 7 項基準測試中，DreamerV3 都取得了成功，并且在 BSuite、Crafter 上達到了 SOTA。值得一提的是，在這些任務中，訓智能體所用到的 GPU 資源都僅為 1 塊 V100。研究人員表示，這味著有更多的實驗能跑得動這一模型另外，在需要時空理的三維空間中，DreamerV3 也能快速進行學習在 DeepMind 為強化學習專門打造的 3D 平臺 DMLab 上，DreamerV3 在任務中使用的交互次數(shù)僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣的小伙伴以蹲一波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來自微信公眾號：量子位 （ID：QbitAI），作者：魚羊 Alex