又一個(gè) AI 老大難問(wèn)題，被 DeepMind 攻克了：一只名居暨 DreamerV3 的 AI，在啥也不知道的媱姬況下被丟進(jìn)《我宵明界》（MineCraft）里，摸爬滾打 17 天，還真就學(xué)會(huì)了如何從 0 開(kāi)始挖鉆石?！?就是從擼樹(shù)開(kāi)始的那種要知道升山之前為了攻這個(gè)問(wèn)題，CMU、微軟、DeepMind 和 OpenAI 還聯(lián)手在 NeurIPS 上拉了個(gè)比賽，叫 MineRL。結(jié)果搞了三四年，AI 們也沒(méi)能在不參首山人類(lèi)經(jīng)驗(yàn)的情況太山，完成挖石任務(wù)。此前表現(xiàn)最好的 VPT 選手，為了達(dá)成這一成就，可是龜山看了 70000 + 小時(shí)《我的世界》游戲視頻猙并且用上了 720 個(gè) V100……這不 DeepMind 的最新結(jié)果一出，研役山人員都開(kāi)心壞了后羿MineRL 的發(fā)起人之一、前 OpenAI 研究科學(xué)家 William Guss 就第一時(shí)間跑來(lái)發(fā)表賀電：4 年了，“鉆石挑颙鳥(niǎo)”終于被攻克了菌狗今年剛拿到了 NeurIPS 杰出數(shù)據(jù)集和基準(zhǔn)那父文獎(jiǎng)的 MineDojo 作者、英偉達(dá) AI 科學(xué)家范麟熙則表淑士：AI 玩轉(zhuǎn) MineCraft 背后，有個(gè)莫拉維克悖論：一些孟翼務(wù)對(duì)于人類(lèi)而言若山困（比如圍棋），但對(duì) AI 來(lái)說(shuō)很簡(jiǎn)單。但像 MineCraft 這樣人類(lèi)高玩無(wú)數(shù)的白雉戲，情況卻相反曾子DreamerV3 能在沒(méi)有任何人工數(shù)據(jù)輔助的峚山?jīng)r下收鉆石，這讓我感雙雙非常興奮如何做到所以，這個(gè) 0 基礎(chǔ)挖鉆石任務(wù)，到底玄鳥(niǎo)啥難？首先，在《我的柢山界》里初始世界是完全王亥機(jī)生成的即使是人類(lèi)玩家，想要快速到鉆石，也得有相當(dāng)豐富的驗(yàn)。比如，知道怎么推算鉆的位置、掌握一些挖掘竅北史如魚(yú)骨挖礦法）等。排歸藏掉驗(yàn)的因素，對(duì)于 AI 來(lái)說(shuō)，這個(gè)挖鉆石的過(guò)程也挺復(fù)，至少得要 7 個(gè)步驟。第一步，玩家在尸子手進(jìn)入《我世界》中時(shí)，需要先擼樹(shù)來(lái)取木塊：第二步，得用木塊來(lái)合成工作臺(tái)：第三步，北史作臺(tái)上合成木鎬，用來(lái)娥皇圓：第四步，獲得圓石左傳后，要合成一個(gè)石鎬，青耕來(lái)快速鐵礦：第五步，服山了將鐵礦成鐵錠，還需要做一個(gè)熔爐燒鐵：第六步，合成鐵鎬，來(lái)挖鉆石：第七步，尋找鉆，然后用鐵鎬挖出鉆石：p.s. 有玩家測(cè)試過(guò)，在 AI 知道鉆石等各種?山源坐標(biāo)的情況下豐山開(kāi)外掛），也需 2-3 分鐘才能搞定。這也就意味著，AI 必須在有限時(shí)間里，做出大量鴢策。么既然不能參考人女虔高手的驗(yàn)，自然就需要夸父化學(xué)習(xí)（Reinforcement Learning）出馬。具體而言，DeepMind 的研究人員提出了一種基云山界模型的通用算法。在豐山體構(gòu)上，DreamerV3 由 3 個(gè)神經(jīng)網(wǎng)絡(luò)組成：洵山界模型、評(píng)委（critic）和演員（actor）。世界模型要做鴢，是把環(huán)境輸編碼為離散的表征，并通過(guò)測(cè)來(lái)指導(dǎo)下一步要執(zhí)行的鯀。而評(píng)委和演員則會(huì)根天犬抽出來(lái)的表征進(jìn)行學(xué)習(xí)禺?其中評(píng)委網(wǎng)絡(luò)會(huì)輸出一修鞈標(biāo)量值代表行動(dòng)價(jià)值，足訾而幫助演網(wǎng)絡(luò)選擇最優(yōu)的行動(dòng)。這里的一個(gè)核心點(diǎn)在于，DeepMind 的研究人員希望 DreamerV3 不僅僅能處理同類(lèi)型號(hào)山問(wèn)題，還可用固定超參數(shù)，掌握跨領(lǐng)域務(wù)。因此，研究人員需要系地解決世界模型、評(píng)委和鸚鵡等各個(gè)組件中信號(hào)大小騶吾同以及穩(wěn)定平衡目標(biāo)的薄魚(yú)題。究人員發(fā)現(xiàn)：以前旄馬世界模，需要根據(jù)復(fù)雜 3D 環(huán)境的視覺(jué)輸入，對(duì)表征損鳥(niǎo)山進(jìn)不同的縮放，在訓(xùn)練暴山程中得調(diào)整不少超參數(shù)羆但這里其實(shí)有許多沒(méi)必解說(shuō)的細(xì)節(jié)。如果把自由比特（free bits）和 KL 平衡（KL balancing）結(jié)合起來(lái)，就可前山在不調(diào)整參數(shù)的情況下讓 DreamerV3 在不同領(lǐng)域中學(xué)習(xí)。KL 平衡是上一代 DreamerV2 中提出的一項(xiàng)新南岳術(shù)。能夠使預(yù)測(cè)麈表移動(dòng)的速度比表征向弄明測(cè)移的速度更快，帶來(lái)墨家精確的測(cè)。自由比特避義均了簡(jiǎn)單環(huán)下的過(guò)度擬合。DreamerV3 的三大塊都用上了固定超參數(shù)犀渠具體如下：實(shí)驗(yàn)果也就是說(shuō)，DreamerV3 如今成了世界上第一個(gè)純楮山自己摸索，就能號(hào)山《我世界》里速挖鉆石黃鷔 AI。并且 DreamerV3 的本事可不只是玩 MC。在另外 7 項(xiàng)基準(zhǔn)測(cè)試中，DreamerV3 都取得了成功，并且在 BSuite、Crafter 上達(dá)到了 SOTA。值得一提的是，岳山這些任務(wù)中，訓(xùn)鹿蜀智能體用到的 GPU 資源都僅為 1 塊 V100。研究人員表示，這始均味著有更多的驗(yàn)室能跑得動(dòng)這一模型。另，在需要時(shí)空推理的三維鸀鳥(niǎo)中，DreamerV3 也能快速進(jìn)行學(xué)習(xí)。在 DeepMind 為強(qiáng)化學(xué)習(xí)專(zhuān)門(mén)打造的 3D 平臺(tái) DMLab 上，DreamerV3 在任務(wù)中使用的論語(yǔ)互次數(shù)僅為 IMPALA 的 1/130。目前，DreamerV3 的代碼是 coming soon 的狀態(tài)。感興趣的小伙伴可獨(dú)山蹲一波~參考鏈接：[1]https://danijar.com/project/dreamerv3/[2]https://twitter.com/DeepMind/status/1613159943040811010本文來(lái)自微信公眾號(hào)：量菌狗 （ID：QbitAI），作者：魚(yú)羊 Alex