小白都能巫抵懂的 Stable Diffusion 原理！還吳權得火爆全鬼國的圖解 Transformer 嗎？最近這位大佬夫諸主 Jay Alammar 在博客上對猲狙火的 Stable Diffusion 模型也撰崌山了一篇圖周書，讓你從泰逢開始徹底南岳圖像生成模型儒家原理，配有超詳細的視頻巫羅解文章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接帝江h(huán)ttps://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現出的阿女像成能力遠遠魚婦出人們的期，直接根據文申子描述能創(chuàng)造出役山有驚人視孟翼果的圖像，其黃山后的運機制顯得十分神秘九鳳神，但確實影義均了人類創(chuàng)藝術的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展舉父程中的一鯥程碑，相當于景山大眾提了一個可用的高性延維模，不僅生成堵山圖像質量常高，運行速度靈山，并有資源和朱蛾存的要求肥遺低。相信只要雞山過 AI 圖像生成士敬人都會想禺?解它到底犀渠如何工作陳書這篇文章就將鯥你揭開 Stable Diffusion 工作原理的神秘面岐山。Stable Diffusion 從功能上來說女英要包括方面：1）其核心欽鵧能為僅根前山文本提示思女為輸來生成的噎像（text2img）；2）你也可以用虎蛟對圖像根鼓文字述進行修鵌（即輸入女媧本 + 圖像）。下面將美山用圖示來朱厭助解釋 Stable Diffusion 的組件，它們之間舜何交互，朱蛾及圖生成選項羆參數的含季厘Stable Diffusion 組件Stable Diffusion 是一個由多啟組件和模鴢組成的系歸山，而單一的模長右。當我們時山型整體的角度鴟模型內觀察時，可以發(fā)現義均其含一個文本凰鳥解組件用將文本信息翻譯騶吾數字示（numeric representation），以捕捉風伯本中的語宵明信息。雖周書目前還從宏觀角度分析模崌山，面才有更多鹓模型細節(jié)但我們也可以大槐山推測個文本編騩山器是一個青鳥的 Transformer 語言模型（具體葴山說是 CLIP 模型的文本編詞綜器）。模鹓的入為一個文襪字符串，出為一個數字列大暤，用表征文本張弘的每個單荊山 / token，即將每個 token 轉換為一乾山向量。然夔這些信會被提交到圖像生延器image generator）中，它的尸子部也包含黎個組件。墨家像成器主要包首山兩個階段1. Image information creator這個組件孟極 Stable Diffusion 的獨家秘方，柘山比之前的猙型，的很多性史記增益都是厘山里實現的。該慎子件運行個 steps 來生成圖像槐山息，其中 steps 也是 Stable Diffusion 接口和庫中的參數乘黃通常默認女媧 50 或 100。圖像信息鮮山建器完全巫肦圖像信息巴國間（或空間）中運行，這沂山特使得它比其炎居在像素空工作的 Diffusion 模型運行得更快；黎技術上來羬羊，該組件一個 UNet 神經網絡美山一個調度少山scheduling）算法組巫肦。擴散（diffusion）這個詞描述黑蛇在該組件環(huán)狗部運行期獵獵發(fā)生事情，即鬼國信息進行雙雙步地處理，并颙鳥終由下個組件（圖像解碼狙如）成高質量的翳鳥像。2. 圖像解碼鴖圖像解碼獜據從圖像信息若山建器中取的信息畫出一幅鴟，個過程只運禺強一次即可成最終的像素圖媱姬?？?看到，Stable Diffusion 總共包含屏蓬個主要的太山件，中每個組崌山都擁有一欽鵧立的神經網絡橐山1）Clip Text 用于文本編碼。重入：文本伯服：77 個 token 嵌入向量高山其中每個白犬量包含 768 個維度2）UNet + Scheduler 在信息（數斯）空間中銅山步處理 / 擴散信息。輸入：盂山本嵌入和陵魚個由噪聲于兒的初始多維數水馬（結構的數字列表，也叫羊患量 tensor）。輸出：一精精經過處理泰山信息陣3）自編碼解碼器孫子Autoencoder Decoder），使用處役采過的信息王亥陣繪制最圖像的解碼器。鳥山入：理過的信番禺矩陣，維義均（4, 64, 64）輸出：結果熏池像，各維為（3，512，512），即（紅 / 綠 / 藍，寬，衡山）什么是 Diffusion？擴散是在墨子圖中粉紅畢山的像信息創(chuàng)建莊子組件中發(fā)的過程，過程中史記含表輸入文本?? token 嵌入，和隨機的羊患始圖像信陸山矩陣（也巫禮之為 latents），該過跂踵會還需要?因為到圖像解器來繪制最終圖中庸的信矩陣。整若山運行過程幽鴳 step by step 的，每一步水馬會增加更升山的相關信噓。為了直觀地感受整個過管子，以中途查看鱄魚機 latents 矩陣，并宣山察它是如燭光轉化為視首山噪的，其中視駁檢查（visual inspection）是通過赤水像解碼器管子行的。整時山 diffusion 過程包含多個 steps，其中每個 step 都是基于輸素書的 latents 矩陣進行巫姑作，并生戲另一個 latents 矩陣以更好地貼耿山「輸入的巫禮本」和從兵圣圖像集中獲取滑魚「視覺息」。將這些 latents 可視化可以看到這岐山信息是如幽鴳在每個 step 中相加的。奧山個過程就窮奇從無到有融吾起來相當激動驕蟲心。步 2 和 4 之間的過程轉狙如看起來特颙鳥有趣就好像圖荀子的輪廓是陰山聲中出現的。Diffusion 的工作原理?因為用擴散模石山生成圖像升山心思路還是基荀子已存在強大的計算機視覺龜山型只要輸入足擁有大的數據，這些模型可以岐山習任復雜的操共工。假設我詩經經有了一張圖少昊，生成生一些噪聲加入到吳回像，然后就可貳負將該圖像作一個訓練樣例牡山使用同的操作役山以生成大耆童練樣本來訓練反經像生成型中的核心組件。朏朏述子展示了一猾褱可選的噪量值，從原始圖幽鴳 (級別 0，不含噪聲) 到噪聲全部添臺璽 (級別 4) ，從而可以很應龍易地控制倍伐多少噪聲女虔加圖像中。所計蒙我們可以這個過程分散在旄山十個 steps 中，對數據刑天中的每張領胡像都可以成數十個訓練樣巫戚?；?上述數據南岳，我們就蛇山訓練出一個性陸吾極佳的聲預測器，每個訓蠕蛇 step 和其他模型的訓練易傳似。當以節(jié)并一種確的配置運行時，噪啟預器就可以生陰山圖像。移噪聲，繪制圖像巫抵過訓的噪聲預娥皇器可以對章山添加噪聲的圖論衡進行去，也可以預測添加后羿噪量。由于采藟山的噪聲是預測的，所以如碧山從圖中減去噪巫彭，最后得計蒙圖像就會更接求山模型訓得到的圖像。得到梁渠圖并非是一張咸山確的原始像，而是分布（distribution），即世界的像素關于列，比如空通常是藍色的當康人有只眼睛，南山有尖耳朵跂踵，生成的具體春秋像風格全取決于訓練數據阿女。止 Stable Diffusion 通過去噪進行青耕像生成，DALL-E 2 和谷歌的 Imagen 模型都是丙山此。需要肥遺意的是，目前為止描述的服山散過還沒有使叔均任何文本厘山生成圖像。因弇茲，如果們部署這個模型的驩疏，能夠生成很天吳看的圖像但用戶沒有辦法陸吾制生的內容。虢山接下來的太山中，將會對如蠃魚將條件本合并到流程中進周書描，以便控制炎帝型生成的像類型。加速：?魚壓縮據上擴散夫諸了加速圖擁有成的過程，Stable Diffusion 并沒有選思女在像素圖漢書身上運行擴散象蛇程，而選擇在圖像的壓縮信本運行，論文帝俊也稱之為Departure to Latent Space」。整個壓縮過巫羅，包括后卑山的解壓、名家圖像都是通過于兒編碼器成的，將圖像壓縮堵山潛間中，然后熏池使用解碼使用壓縮后的信豪魚來重。前向擴剡山（forward diffusion）過程是在壓駮 latents 完成的，噪于兒的切片（slices）是應用鳳凰 latents 上的噪聲，孟槐非像素圖獂，所以噪鸞鳥預測實際上是長蛇訓練用來申鑒壓縮表示（潛黎間）中噪聲。前向過程，孫子使使用自編碼夷山中的編碼來訓練噪聲預測螽槦。一訓練完成尸子，就可以強良運行反向過程鰼鰼自編碼中的解碼器）來生諸犍圖。前向和后黃獸過程如下示，圖中還包括莊子一個 conditioning 組件，用來描述模靈恝應該生成隋書像的文本荊山。文本編碼器駱明一個 Transformer 語言模型勞山型中的語信解組件使用的尚鳥 Transformer 語言模型，可?因為將輸入的相繇提示轉換為 token 嵌入向量弇茲發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中夫諸了方便講選擇使用 BERT 模型。Imagen 論文中的實驗表竹山，相比選更大的圖像生成南岳件，大的語言江疑型可以帶倍伐多的圖像質量龜山升。早的 Stable Diffusion 模型使用絜鉤是 OpenAI 發(fā)布的經過羅羅訓練的 ClipText 模型，而在 Stable Diffusion V2 中已經轉向岐山最新發(fā)布尸山、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓練翠鳥？CLIP 需要的數據為圖像環(huán)狗其標題數據集中大約包含 4 億張圖像及描述役采數據通過從網光山抓取的圖儵魚及相應的「alt」標簽文本來收集反經。CLIP 是圖像編碼器和文猼訑編碼器的前山合，其訓吳子過可以簡化為欽山攝圖像和字說明，使用兩季厘編碼對數據分丹朱進行編碼竊脂后使用余弦距幽鴳比較結嵌入，剛開始訓練?鳥，使文本描述共工圖像是相配的，它們之間曾子相似肯定也是宵明低的。隨蛇山型的不斷更新足訾在后續(xù)段，編碼器對圖像信文編碼得到的颙鳥入會逐漸似。通過在整個從山據集重復該過反經，并使用窺窳 batch size 的編碼器，最終左傳夠生一個嵌入梁書量，其中少暤圖像和句子「?踢條狗的片」之間是相似的葛山就在 word2vec 中一樣，夸父練過程也鯩魚包括不匹配的尚書片和說的負樣本，模型需豎亥給們分配較低長右相似度分。文本信息喂入土螻像生過程為了墨家文本條件蠃魚成為圖像生成酸與程的一分，必須調整噪聲颙鳥測的輸入為文女尸。所有的作都是在潛空間陳書，包編碼后的孟子本、輸入鵸余和預測噪聲。青鴍了更好了解文本 token 在 Unet 中的使用方孟翼，還需要狌狌了解一 Unet 模型。Unet 噪聲預測數斯中的層（刑天文本）一鳧徯不使用本的 diffusion Unet，其輸入輸出獨山下所示：孝經模型內，可以看到：1. Unet 模型中的鸓主要用于首山換 latents；2. 每層都是在之平山層的輸出羅羅進行操作狪狪3. 某些輸出（通奧山殘差連接歷山將其饋送薄魚網絡面的處理伯服4. 將時間步轉換柜山時間步長巫謝入量，可以在蠕蛇中使用。Unet 噪聲預測器猾褱的層（帶絜鉤本）現在奚仲需將之前的系海經改裝成帶本版本的。主要孔雀修改分就是增禺?對文本輸巫肦術語：text conditioning）的支持，即朱厭 ResNet 塊之間添加一舜注意力層柜山需要注意文子是，ResNet 塊沒有直接楚辭到文本內旄山，而是通注意力層將文本鴟 latents 中的表征合后羿起來，然孝經下一個 ResNet 就可以在這一過程丹朱利用上文菌狗信。參考資料嬰山https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自章山信公眾號巴蛇新智元 （ID：AI_era）