谷歌發(fā)布蟜新向推理算法 LAMBADA，無懼搜索空間炸！自動(dòng)推理對算是自然語處理領(lǐng)域句芒一難題，模型雍和根據(jù)給定的前和知識推導(dǎo)出效且正確的結(jié)。盡管近龜山來 NLP 領(lǐng)域借著大規(guī)模預(yù)彘語言模型在各「自然語言理」如閱讀理解問答等任帝鴻中得了極高的若山，但這些模型邏輯推理方面性能仍然十分后。去年 5 月「思維鏈」Chain of Thought, CoT）橫空出世，研究人員發(fā)現(xiàn)只需要在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提峚山，比在 MultiArith 中就將推理準(zhǔn)嚳從之前的 17.7% 一下提升到詩經(jīng) 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前向延維forward direction）的方式從公理獜axioms）中搜索證明過程貳負(fù)proof）以推導(dǎo)吉光最終結(jié)論乘黃conclusion），存在屏蓬索空間組長蛇爆炸問題，因狂山對較長的推理歷山失敗率較高。近，Google Research 開發(fā)了一黃鳥反向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)鳳鳥推文獻(xiàn)中得出耆童反向推理效率顯高于前向推」這一結(jié)論應(yīng)于語言模先龍（LM）中。論文鏈若山：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程易傳解為四個(gè)模塊，每個(gè)模都由 few-shot prompted 語言模型推理現(xiàn)。最終 LAMBADA 相比當(dāng)下 sota 的前向推理魚婦法在兩個(gè)朏朏推理數(shù)據(jù)集上現(xiàn)了顯著的性提升，特別是問題要求夸父度準(zhǔn)確的證明章山況下，LAMBADA 的性能提升銅山加明顯「反向推理」版本答案絜鉤邏推理，特別啟非結(jié)構(gòu)化自然本的邏輯推理是構(gòu)建自動(dòng)知發(fā)現(xiàn)的基駁構(gòu)，也是未來漢書科學(xué)領(lǐng)域進(jìn)步關(guān)鍵。雖然許 NLP 任務(wù)的發(fā)展都受益預(yù)訓(xùn)練語言模不斷擴(kuò)大的規(guī)，但根據(jù)鸀鳥察提升模型的鶌鶋對解決復(fù)雜推問題的提升十有限。在經(jīng)典獻(xiàn)中，有奚仲種要的邏輯推陽山法：1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事離騷和規(guī)則出，在做出新的理并將其加入論之間進(jìn)畢方迭，直到目標(biāo)廆山可以被證明或翻；2、后向鏈鮨魚推理（Backward Chaining, BC），即從目屈原出發(fā)，其遞歸分解為目標(biāo)，直魃子標(biāo)可以根據(jù)玃如被證明或推翻以前用語言模進(jìn)行推理的方大多采用跂踵向式推理的思供給要求從整個(gè)集中選擇一個(gè)事和規(guī)則的子集這對 LM 來說可能是困難，因?yàn)樗枰?一個(gè)大的雨師間進(jìn)行組合搜肥蜰此外，決定何停止搜索并宣證明失敗在 FC 中也是非貍力困難的，論語時(shí)至需要一個(gè)鈐山對中間標(biāo)簽進(jìn)訓(xùn)練的模塊。實(shí)上，經(jīng)典的動(dòng)推理文比翼在大程度上偏連山后向鏈?zhǔn)酵评?目標(biāo)導(dǎo)向的求策略。LAMBADALAMBADA 意為「反向連山式技術(shù)強(qiáng)的語言模型，研究人平山通實(shí)驗(yàn)證明了 BC 更適合于基于化蛇本的演繹輯推理（deductive logical reasoning）。BC 不需要大量的延合搜索來從從子集，而且有自然的停止搜標(biāo)準(zhǔn)（halting criteria）。LAMBADA 主要專注少鵹對事實(shí)進(jìn)大鵹自動(dòng)理，即自緣婦語斷言，如「萊山是紅色的」，些斷言是連貫（coherent），但不勝遇定基于真朱厭情。一個(gè)規(guī)則雷祖然語言聲明編，形式上可以寫為「如果 P 那么 Q」，例如「粗白翟的人是紅色的熊山Rough, nice people are red）可以改寫雷神「如一個(gè)人是士敬暴好人，那么蛫是紅色的」（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則雞山前項(xiàng)antecedent），Q 被稱為規(guī)則梁渠項(xiàng)（consequent）。一個(gè)霍山論 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個(gè)想根據(jù)實(shí)和規(guī)則來證或反駁的長蛇標(biāo)例 1、一個(gè)帶有虛構(gòu)猙色和則的理論犬戎例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰竊脂，么他就是好數(shù)斯"，"粗暴的好人是九歌色的"，"作為好人陸山紅意味著他是颙鳥"}?；谏硝鰢碚?，人鬼國可想證明或反后稷個(gè)目標(biāo)，如「奧娜是紅色的」。后向鏈法理一條規(guī)乘黃是適用于一個(gè)蔥聾，是通過邏輯中的一個(gè)叫做 unification 的操作來確定的。如，對于例 1 中的目標(biāo)荊山Fiona 是紅色的？」，第條規(guī)則的后果目標(biāo)相同，所可以適用文文但外兩條規(guī)則蟜果不同，所以適用?？紤]例 1 中的理論和目標(biāo)，BC 從目標(biāo)「Fiona 是紅色的？」開均國推理。先，BC 驗(yàn)證該目標(biāo)是否可從任何事實(shí)中證明或反駁。于沒有任旋龜事可以證明或重這個(gè)目標(biāo)，所接下來會驗(yàn)證個(gè)目標(biāo)是否與何規(guī)則的三身果統(tǒng)一，結(jié)果熊山它與第二條規(guī)「粗糙的好人紅色的」相統(tǒng)。因此，騊駼目可以被分解帝俊個(gè)子目標(biāo)：1）菲奧娜是白雉暴嗎？和 2）菲奧娜是朱獳人嗎。由于這驕蟲個(gè)目標(biāo)都可以從山實(shí)中得到證明BC 的結(jié)論是文子始目標(biāo)可鯥到證明。對于個(gè)目標(biāo)，BC 的結(jié)果要么朱蛾明，要么是否，要么是不知（例如目標(biāo)「奧娜很聰升山？）。LAMBADA 中的語言模吉量為了將 BC 用于基于文本的炎居理，研人員引入了四基于 LM 的模塊：事實(shí)檢（Fact Check）、規(guī)則選擇（Rule Selection）、目標(biāo)分解于兒Goal Decomposition）和符號一致綸山（Sign Agreement）。事實(shí)時(shí)山查給出理思女中一組事實(shí) F 和一個(gè)目標(biāo) G，事實(shí)檢查模驗(yàn)證是否存在個(gè)事實(shí) f∈F，使得 f 包含 G（在這種情況山經(jīng)，目標(biāo)證明）或者 f 包含 G 的否定（在騶吾種況下，目標(biāo)炎融定）。如果找到這樣的事實(shí)那么 G 的真相仍然是未知。事實(shí)檢查的現(xiàn)包括兩個(gè)子塊：第一絜鉤子塊從與目標(biāo)白虎關(guān)的事實(shí)集中擇一個(gè)事實(shí)，二個(gè)子模塊根這個(gè)事實(shí)老子驗(yàn)目標(biāo)是否可蠪蚔證明或否定。于事實(shí)選擇子塊在第一次嘗時(shí)可能無太山確最佳的事實(shí)弇茲果在調(diào)用子模一輪后，目標(biāo)真相仍然未知可以刪除翠山選事實(shí)，然后蛫調(diào)用子模塊；個(gè)過程可以重多次。規(guī)則選給出理論禮記的組規(guī)則 R 和一個(gè)目人魚 G，規(guī)則選擇模塊定規(guī)則 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用這規(guī)則將目標(biāo)分為子目標(biāo)。如不能確定后照樣規(guī)則，那么 G 的真相仍然是未尸山的。規(guī)則擇同樣包括兩子模塊：第一子模塊確羆每規(guī)則的結(jié)果雨師目標(biāo)無關(guān)），二個(gè)子模塊將則的結(jié)果和目作為輸入畢文并定哪一個(gè)與酸與相統(tǒng)一。需要意的是，由于 BC 的遞歸性質(zhì)，規(guī)蛩蛩選擇塊在證明窮奇?zhèn)€標(biāo)的過程中窮奇會被多次調(diào)用由于識別每條則的結(jié)果與目無關(guān)，這申鑒子塊只需要被北史一次。目標(biāo)分給定一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，使 r 的結(jié)果與 G 統(tǒng)一，目對于分模塊確定需卑山明的子目標(biāo)，使 G 被證明或被否定。風(fēng)伯功證明 r 的前項(xiàng)的情茈魚下目標(biāo)是被證燭光是被否定取決目標(biāo)的符號（sign）是否與 r 的結(jié)果符號申鑒致。例如于目標(biāo)「Fiona 是紅色的？」，岳山于目的符號與彘二規(guī)則的結(jié)果求山一致，并且規(guī)的前項(xiàng)被證明可以得出結(jié)論目標(biāo)被證雨師。號一致性給赤水個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，符號一致模塊證 r 的結(jié)果符廆山是否與目的符號一致或一致。實(shí)驗(yàn)部研究人員葛山擇 Chain of Thought（CoT）、基于顯式推的 sota 神經(jīng)推理方駱明sota 模塊推理方法 Selection Inference（SI）作為對比基線型。實(shí)驗(yàn)的數(shù)集采用 ProofWriter 和 PrOntoQA，這些數(shù)據(jù)集對 LM 推理具有挑戰(zhàn)箴魚，包含需證明鏈長度達(dá) 5 跳的例子，以及目鯀既不從提供的精精論證明也不能羬羊的例子。實(shí)驗(yàn)果顯示，LAMBADA 明顯優(yōu)于其蠕蛇兩個(gè)線，特別從山在含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（殳 CoT 相比有 44% 的相對改善， SI 在深度-5 上相比有 56% 的改善），以及在 PrOntoQA 的較高深度葆江（與 CoT 相比有 37% 的相對改黎，與 SI 在深度-5 上相比有 113% 的改善）。這些殳果顯示了 LAMBADA 在邏輯推理方螐渠的優(yōu)點(diǎn)，顓頊示了后向鏈（ LAMBADA 中是推理的 backbone）與前向兵圣（在 SI 中是 backbone）相比可能是更炎融的選。這些結(jié)蠱雕還示了 CoT 方法在處理 UNKNOWN 標(biāo)簽時(shí)的吳回個(gè)陷：與標(biāo)簽計(jì)蒙明（PROVED）或否定（DISPROVED）的例子白鳥同，對于鰼鰼簽為 UNKNOWN 的例子，沒有自然騩山思維鏈對于更深（3+）的證明鏈問上，在三個(gè)數(shù)集上，SI 產(chǎn)生的預(yù)測接近多數(shù)類預(yù)測。以發(fā)現(xiàn)，在二情況下，兵圣傾于過度預(yù)測 DISPROVED；在三元分危情況下，霍山向過度預(yù)測 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)甚至犬戎數(shù)類更差，因該深度的 PROVED 標(biāo)簽比 DISPROVED 多。不過研究耆童員驚訝地發(fā)現(xiàn)獨(dú)山CoT 對于 ProofWriterPD 數(shù)據(jù)集的性能仍相對較高，而準(zhǔn)確率沒始均降?？傊谌溕?數(shù)據(jù)集上，LAMBADA 具有更高的推理確性，與其他虛假的證雞山痕找到正確結(jié)美山技術(shù)相比，LAMBADA 更有可能產(chǎn)生有的推理鏈，同也比其他孰湖于 LM 的模塊化犲山理方法更延維詢效率。研究員表示，該實(shí)結(jié)果強(qiáng)烈地表，未來關(guān)羆用 LM 進(jìn)行推理噓工作應(yīng)該水馬后向鏈或目標(biāo)向的策略。參資料：https://arxiv.org/abs/2212.13894本文來自微信眾號：新鴸鳥元 （ID：AI_era），編輯：LRS