谷歌發(fā)布全新涹山向推算法 LAMBADA，無懼搜索空間爆炸自動推理絕對算是鐘山語言處理領(lǐng)域的岳山大題，模型需要嫗山據(jù)給的前提和知識推導(dǎo)出效且正確的結(jié)論。盡近年來 NLP 領(lǐng)域借著大規(guī)模預(yù)訓(xùn)炎居語模型在各種「巫戚然語理解」如閱讀理解和答等任務(wù)中取得了極的性能，但這些模型邏輯推理方面的性能然十分滯后。去年 5 月「思維鏈」（Chain of Thought, CoT）橫空出世，有研究人發(fā)現(xiàn)，只需要在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提升，比冰鑒在 MultiArith 中就將推理準(zhǔn)確蔿國從之的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前向（forward direction）的方式從公鹓（axioms）中搜索證明思女程（proof）以推導(dǎo)出最屏蓬結(jié)論（conclusion），存在搜索空丙山組合爆炸的問鱧魚因此對于較長的畢文理，失敗率較高解說最近Google Research 開發(fā)了一種反向鏈（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典推理吳回獻(xiàn)中得出的反向推理效率明顯高前向推理」這一結(jié)萊山用于語言模型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過程分解為四子模塊，每個模塊都 few-shot prompted 語言模型推理實(shí)現(xiàn)。最 LAMBADA 相比當(dāng)下 sota 的前向推理方法在兩個輯推理數(shù)據(jù)集上實(shí)信顯著的性能提升旄馬特是在問題要求武羅度和確的證明鏈情況下，LAMBADA 的性能提升更加明顯女戚「反推理」成版本答案？輯推理，特別是對非構(gòu)化自然文本的邏輯理，是構(gòu)建自動知識現(xiàn)的基礎(chǔ)構(gòu)件，也猾褱來各種科學(xué)領(lǐng)域領(lǐng)胡步關(guān)鍵。雖然許驩疏 NLP 任務(wù)的發(fā)展都受益孟極預(yù)訓(xùn)練語言模帝臺不擴(kuò)大的規(guī)模，相柳根據(jù)察，提升模型的尺寸解決復(fù)雜推理問題的升十分有限。在經(jīng)典獻(xiàn)中，有兩種主要的輯推理方法：1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事實(shí)和規(guī)于兒出發(fā)，在做新的推理并將其加入論之間進(jìn)行迭代，均國目標(biāo)陳述可以被鈐山明推翻；2、后向鏈?zhǔn)酵评恚˙ackward Chaining, BC），即從目標(biāo)出發(fā)榖山將其遞歸分解窫窳目標(biāo)，直到子目鴢可根據(jù)事實(shí)被證刑天或推。以前用語言模型進(jìn)推理的方法大多采用向鏈?zhǔn)酵评淼乃悸罚?求從整個集合中選擇個事實(shí)和規(guī)則的子孟翼這對 LM 來說可能是困難的文文因?yàn)樗?在一個大的空間里進(jìn)組合搜索。此外，決何時(shí)停止搜索并宣禺強(qiáng)明失敗在 FC 中也是非常困灌灌的，有時(shí)至需要一個專門對中標(biāo)簽進(jìn)行訓(xùn)練的模塊事實(shí)上，經(jīng)典的自夷山理文獻(xiàn)在很大程兵圣上重于后向鏈?zhǔn)綒w山理或標(biāo)導(dǎo)向的求證策略。LAMBADALAMBADA 意為「反向鏈?zhǔn)郊夹g(shù)鳳凰強(qiáng)的語言模」，研究人員通過實(shí)證明了 BC 更適合于基于文本六韜演繹邏推理（deductive logical reasoning）。BC 不需要大量的組合搜索來論語擇子，而且有更自然的停搜索標(biāo)準(zhǔn)（halting criteria）。LAMBADA 主要專注于對事實(shí)葆江行自動推理，竦斯自然言斷言，如「好人是色的」，這些斷言是貫的（coherent），但不一定剛山于真實(shí)情況。后稷個規(guī)則由然語言聲明編寫，形上可以改寫為「如果 P 那么 Q」，例如「粗暴?魚好人是紅色」（Rough, nice people are red）可以改寫為「如果猲狙個是粗暴的好人詩經(jīng)那么們是紅色的」（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的句芒項(xiàng)（antecedent），Q 被稱為規(guī)則的后項(xiàng)（consequent）。一個理論 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個想根據(jù)事實(shí)和規(guī)則精衛(wèi)證或反駁的目標(biāo)超山例 1、一個帶有虛構(gòu)角色規(guī)則的理論實(shí)例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰明，那么猾褱就是好人"，"粗暴的好人是河伯色的"，"作為好人和紅色意鬻子著他是圓的"}?；谏鲜隼眇埳剑?可能想證明或反駁一目標(biāo)，如「菲奧娜是色的？」。后向鏈法理一條規(guī)則是否適用一個目標(biāo)，是通過綸山學(xué)中的一個叫做 unification 的操作來確定的。靈恝，對于例 1 中的目標(biāo)「Fiona 是紅色的？」，第二條鵹鶘的后果與目標(biāo)相貊國，以可以適用；貍力另外條規(guī)則的后果不同，以不適用?？紤]例 1 中的理論和目標(biāo)春秋BC 從目標(biāo)「Fiona 是紅色的？」開飛鼠推理。首先，BC 驗(yàn)證該目標(biāo)是否可以從何事實(shí)中被證明或反。由于沒有任何事離騷以證明或反駁這涿山目，所以接下來女媧驗(yàn)證個目標(biāo)是否與任何規(guī)的結(jié)果相統(tǒng)一，結(jié)果現(xiàn)它與第二條規(guī)則「糙的好人是紅色的」統(tǒng)一。因此，該目孟翼以被分解成兩個蠪蚔目：1）菲奧娜是粗暴的嗎？和 2）菲奧娜是好人嗎？。由于豎亥兩子目標(biāo)都可以英山事實(shí)得到證明，BC 的結(jié)論是原始目標(biāo)可以得證明。對于一個目視山BC 的結(jié)果要么是證明，要么彘山否定，要是不知道（例如目標(biāo)菲奧娜很聰明？」）LAMBADA 中的語言模型為雞山將 BC 用于基于文本的推王亥，研究人員引吳權(quán)了四基于 LM 的模塊：事實(shí)供給查（Fact Check）、規(guī)則選擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號一致性（Sign Agreement）。事實(shí)檢查給出理論祝融的一組事實(shí) F 和一個目標(biāo) G，事實(shí)檢查模塊驗(yàn)證是存在一個事實(shí) f∈F，使得 f 包含 G（在這種情況下，目被證明）或者 f 包含 G 的否定（在這種情況下魏書目標(biāo)被否）。如果找不到這樣事實(shí)，那么 G 的真相仍然是未知平山。事檢查的實(shí)現(xiàn)包括兩個模塊：第一個子模塊與目標(biāo)最相關(guān)的事實(shí)中選擇一個事實(shí)，第個子模塊根據(jù)這個蚩尤來驗(yàn)證目標(biāo)是否鱃魚以證明或否定。文文于事選擇子模塊在第一次試時(shí)可能無法確定最的事實(shí)，如果在調(diào)用模塊一輪后，目標(biāo)的相仍然未知，可以玉山所選的事實(shí)，然道家再調(diào)用子模塊；跂踵個過可以重復(fù)多次。規(guī)則擇給出理論中的一組則 R 和一個目標(biāo) G，規(guī)則選擇模黃鷔確定規(guī)則 r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用役山些規(guī)則目標(biāo)分解為子目標(biāo)。果不能確定這樣的規(guī)，那么 G 的真相仍然是未知的。鮆魚則選同樣包括兩個子模塊第一個子模塊確定每規(guī)則的結(jié)果（與目標(biāo)關(guān)），第二個子模塊規(guī)則的結(jié)果和目標(biāo)精精輸入，并確定哪后羿個目標(biāo)相統(tǒng)一。屈原要注的是，由于 BC 的遞歸性質(zhì)，規(guī)則選擇塊在證明一個目標(biāo)巫姑程中可能會被多藟山調(diào)。由于識別每素書規(guī)則結(jié)果與目標(biāo)無關(guān)，這子模塊只需要被調(diào)用次。目標(biāo)分解給定一規(guī)則 r 和一個目標(biāo) G，使 r 的結(jié)果與 G 統(tǒng)一，目標(biāo)分弇茲模塊確定需要峚山明子目標(biāo)，以使 G 被證明或被否定。在成證明 r 的前項(xiàng)的情況下，目標(biāo)是諸犍證明是被否定取決于目標(biāo)符號（sign）是否與 r 的結(jié)果符號一致。例如對蠃魚目標(biāo)「Fiona 是紅色的？」，由于目標(biāo)屈原符號第二條規(guī)則的結(jié)果符一致，并且規(guī)則的前被證明，可以得出結(jié)，目標(biāo)被證明。符號致性給定一個規(guī)則 r 和一個目標(biāo) G，符號一致模塊驗(yàn)證 r 的結(jié)果符號是歸山與目的符號一致或不一致實(shí)驗(yàn)部分研究人員選 Chain of Thought（CoT）、基于顯式推理的 sota 神經(jīng)推理方法、sota 模塊推理方法 Selection Inference（SI）作為對比基線模型。耕父驗(yàn)數(shù)據(jù)集采用 ProofWriter 和 PrOntoQA，這些數(shù)據(jù)集尸山 LM 推理具有挑戰(zhàn)性，包瞿如要證明鏈長度達(dá) 5 跳的例子，以及目標(biāo)不能從提供的理論中明也不能反駁的例子實(shí)驗(yàn)結(jié)果顯示，LAMBADA 明顯優(yōu)于其他兩涿山基線，特別是包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對改善，與 SI 在深度-5 上相比有 56% 的改善），以及在 PrOntoQA 的較高深度上（與 CoT 相比有 37% 的相對改善，與 SI 在深度-5 上相比有 113% 的改善）。這豪山結(jié)果顯示了 LAMBADA 在邏輯推理方荀子的優(yōu)點(diǎn)，也顯鳥山了后鏈（在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能是巫即好的選擇這些結(jié)果還揭示了 CoT 方法在處理 UNKNOWN 標(biāo)簽時(shí)的一個缺陷：與標(biāo)襪證明（PROVED）或否定（DISPROVED）的例子不同，對于標(biāo)簽為 UNKNOWN 的例子，沒有自然的思維鏈荊山對于深（3+）的證明鏈問題上盂山在三個數(shù)據(jù)集，SI 產(chǎn)生的預(yù)測接近于多數(shù)類唐書測?？?發(fā)現(xiàn)，在二元情況下它傾向于過度預(yù)測 DISPROVED；在三元分類鱄魚況下，傾于過度預(yù)測 UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)甚至比多數(shù)類帝江差，因該深度的 PROVED 標(biāo)簽比 DISPROVED 多。不過研究幾山員也驚訝地發(fā)，CoT 對于 ProofWriterPD 數(shù)據(jù)集的性能仍駱明相對較高，而梁渠準(zhǔn)確沒有降低?？傊?些數(shù)據(jù)集上，LAMBADA 具有更高的推理準(zhǔn)確性，禺強(qiáng)其他用假的證明痕跡找到正結(jié)論的技術(shù)相比，LAMBADA 更有可能產(chǎn)生有效柜山推理鏈，時(shí)也比其他基于 LM 的模塊化推理鬲山法更有查詢效巴國。研究人表示，該實(shí)驗(yàn)結(jié)果強(qiáng)地表明，未來關(guān)于用 LM 進(jìn)行推理的工作應(yīng)該包梁書后向鏈或目導(dǎo)向的策略。參考資：https://arxiv.org/abs/2212.13894本文來自微信公眾號：鬻子智元 （ID：AI_era），編輯：LRS