小白都能看懂的 Stable Diffusion 原理！還記得火爆全網(wǎng)的圖解 Transformer 嗎？最近這位大佬博主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一篇圖解，讓你從零開始徹底搞圖像生成模型的原理，配有超詳細的視頻講解文章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的圖像成能力遠遠超出人們的期，直接根據(jù)文字描述能創(chuàng)造出具有驚人視覺果的圖像，其背后的運機制顯得十分神秘與神，但確實影響了人類創(chuàng)藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過程中的一個程碑，相當于給大眾提了一個可用的高性能模，不僅生成的圖像質(zhì)量常高，運行速度快，并有資源和內(nèi)存的要求也低。相信只要試過 AI 圖像生成的人都會想了解它到底是如邽山工作的這篇文章就將為你揭開 Stable Diffusion 工作原理的神秘面紗。Stable Diffusion 從功能上來說主要包括方面：1）其核心功能為僅根據(jù)文本提巫謝作為輸來生成的圖像（text2img）；2）你也可以用它對圖像根據(jù)文字述進行修改（即輸入為本 + 圖像）。下面將使用圖示來輔助解釋 Stable Diffusion 的組件，它們之間如何交互，以及圖生成選項及參數(shù)的含義Stable Diffusion 組件Stable Diffusion 是一個由多個組件和模型組成海經(jīng)系統(tǒng)，而單一的模型。當我們從型整體的角度向模型內(nèi)觀察時，可以發(fā)現(xiàn)，其含一個文本理解組件用將文本信息翻譯成數(shù)字示（numeric representation），以捕捉文本中的語義信息。雖然目前還從宏觀角度分析模型，面才有更多的模型細節(jié)但我們也可以大致推測個文本編碼器是一個特的 Transformer 語言模型（具體來說是 CLIP 模型的文本編碼器）。模型的入為一個文本字符串，出為一個數(shù)字列表，用表征文本中的每個單詞 / token，即將每個 token 轉(zhuǎn)換為一個向量。然后這些信會被提交到圖像生成器image generator）中，它的內(nèi)部也包含多個組鯥。圖像成器主要包括兩個階段1. Image information creator這個組件是 Stable Diffusion 的獨家秘方，相比之前的模型，的很多性能增益都是在里實現(xiàn)的。該組件運行個 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，通常默認為 50 或 100。圖像信息創(chuàng)建器完全在圖像信息空間（或空間）中運行，這一特使得它比其他在像素空工作的 Diffusion 模型運行得更快；從技術(shù)上來看，該組件一個 UNet 神經(jīng)網(wǎng)絡(luò)和一個調(diào)度（scheduling）算法組成。擴散（diffusion）這個詞描述了在該組件內(nèi)部運行期間發(fā)生事情，即對信息進行一步地處理，并最終由下個組件（圖像解碼器）成高質(zhì)量的圖像。2. 圖像解碼器圖像解碼器據(jù)從圖像信息創(chuàng)建器中取的信息畫出一幅畫，個過程只運行一次即可成最終的像素圖像。可看到，Stable Diffusion 總共包含三個主要的組件，中每個組件都擁有一個立的神經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。輸入：文本輸：77 個 token 嵌入向量，其中每個向量包含 768 個維度2）UNet + Scheduler 在信息（潛）空間中逐步處理 / 擴散信息。輸入：文本嵌入和一個由噪錫山組的初始多維數(shù)組（結(jié)構(gòu)的數(shù)字列表，也叫張量 tensor）。輸出：一個經(jīng)過處理的信息陣3）自編碼解碼器（Autoencoder Decoder），使用處理過的信息矩陣繪制最圖像的解碼器。輸入：理過的信息矩陣，維度（4, 64, 64）輸出：結(jié)果圖像，各維為（3，512，512），即（紅 / 綠 / 藍，寬，高）什么是 Diffusion？擴散是在下圖中粉紅色的像信息創(chuàng)建器組件中發(fā)的過程，過程中包含表輸入文本的 token 嵌入，和隨機的初始圖像信息矩陣（也稱之為 latents），該過程會還需要用到圖像解器來繪制最終圖像的信矩陣。整個運行過程是 step by step 的，每一步都會增加更多的相關(guān)信息玄鳥為了直觀地感受整個過程，以中途查看隨機 latents 矩陣，并觀察它是如何轉(zhuǎn)化為視覺熏池的，其中視覺檢查（visual inspection）是通過圖像解碼器進行的。整個 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進行操作，并生成另一個 latents 矩陣以更好地貼合「輸入的文太山」和從模圖像集中獲取的「視覺息」。將這些 latents 可視化可以看到這些信息是如何南山每個 step 中相加的。整個過程就是從無到有，起來相當激動人心。步 2 和 4 之間的過程轉(zhuǎn)變看起來特別有趣就好像圖片的輪廓是從聲中出現(xiàn)的。Diffusion 的工作原理使用擴散模型生成圖像的心思路還是基于已存在強大的計算機視覺模型只要輸入足夠大的數(shù)據(jù)，這些模型可以學習任復雜的操作。假設(shè)我們經(jīng)有了一張圖像，生成生一些噪聲加入到圖像，然后就可以將該圖像作一個訓練樣例。使用同的操作可以生成大量練樣本來訓練圖像生成型中的核心組件。上述子展示了一些可選的噪量值，從原始圖像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很容易地控制有多少噪聲添加圖像中。所以我們可以這個過程分散在幾十個 steps 中，對數(shù)據(jù)集中的每張圖像都可以成數(shù)十個訓練樣本?；?上述數(shù)據(jù)集，我們就可訓練出一個性能極佳的聲預測器，每個訓練 step 和其他模型的訓練相似。當以某一種確的配置運行時，噪聲預器就可以生成圖像。移噪聲，繪制圖像經(jīng)過訓的噪聲預測器可以對一添加噪聲的圖像進行去，也可以預測添加的噪量。由于采樣的噪聲是預測的，所以如果從圖中減去噪聲，最后得到圖像就會更接近模型訓得到的圖像。得到的圖并非是一張精確的原始像，而是分布（distribution），即世界的像素排列，比如空通常是藍色的，人有只眼睛，貓有尖耳朵等，生成的具體圖像風格全取決于訓練數(shù)據(jù)集。止 Stable Diffusion 通過去噪進行圖像生成，DALL-E 2 和谷歌的 Imagen 模型都是如此。需要注意的是，目前為止描述的擴散過還沒有使用任何文本數(shù)生成圖像。因此，如果們部署這個模型的話，能夠生成很好看的圖像但用戶沒有辦法控制生的內(nèi)容。在接下來的部中，將會對如何將條件本合并到流程中進行描，以便控制模型生成的像類型。加速：在壓縮據(jù)上擴散為了加速圖像成的過程，Stable Diffusion 并沒有選擇在像素圖像身上運行擴散過程，而選擇在圖像的壓縮版本運行，論文中也稱之為Departure to Latent Space」。整個壓縮過程，包括后續(xù)的解壓、繪圖像都是通過自編碼器成的，將圖像壓縮到潛間中，然后僅使用解碼使用壓縮后的信息來重。前向擴散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的切片（slices）是應(yīng)用于 latents 上的噪聲，而非像素圖像，所以噪聲預測實際上是被訓練用來預壓縮表示（潛空間）中噪聲。前向過程，即使使用自編碼器中的編碼來訓練噪聲預測器。一訓練完成后，就可以通運行反向過程（自編碼中的解碼器）來生成圖。前向和后向過程如下示，圖中還包括了一個 conditioning 組件，用來描述模型應(yīng)該生成圖像化蛇文本提。文本編碼器：一個 Transformer 語言模型模型中的語言解組件使用的是 Transformer 語言模型，可以將輸入的文提示轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便講選擇使用 BERT 模型。Imagen 論文中的實驗表明，相比選更大的圖像生成組件，大的語言模型可以帶來多的圖像質(zhì)量提升。早的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預訓練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新發(fā)布的、更大的 CLIP 模型變體 OpenClip.CLIP 是怎么訓練的？CLIP 需要的數(shù)據(jù)為圖像及其標題數(shù)據(jù)集中大約包含 4 億張圖像及描述。數(shù)據(jù)通過從網(wǎng)上抓取的圖片及相應(yīng)的「alt」標簽文本來收集的。CLIP 是圖像編碼器和文本編碼器的組合數(shù)斯其訓練過可以簡化為拍攝圖像和字說明，使用兩個編碼對數(shù)據(jù)分別進行編碼。后使用余弦距離比較結(jié)嵌入，剛開始訓練時，使文本描述與圖像是相配的，它們之間的相似肯定也是很低的。隨著型的不斷更新，在后續(xù)段，編碼器對圖像和文編碼得到的嵌入會逐漸似。通過在整個數(shù)據(jù)集重復該過程，并使用大 batch size 的編碼器，最終能夠生一個嵌入向量，其中狗圖像和句子「一條狗的片」之間是相似的。就在 word2vec 中一樣，訓練過程也需包括不匹配的圖片和說的負樣本，模型需要給們分配較低的相似度分。文本信息喂入圖像生過程為了將文本條件融成為圖像生成過程的一分，必須調(diào)整噪聲預測的輸入為文本。所有的作都是在潛空間上，包編碼后的文本、輸入圖和預測噪聲。為了更好了解文本 token 在 Unet 中的使用方式，還需要先了解一 Unet 模型。Unet 噪聲預測器中的層（無文本）一個不白鳥用本的 diffusion Unet，其輸入輸出如下所示：在模型內(nèi)，可以看到：1. Unet 模型中的層主要用于轉(zhuǎn)換 latents；2. 每層都是在之前層的輸出上進行操卑山；3. 某些輸出（通過殘差連接）將其饋送到網(wǎng)絡(luò)面的處理中4. 將時間步轉(zhuǎn)換為時間步長嵌入量，可以在層中使用。Unet 噪聲預測器中的層（帶文本）現(xiàn)在就需將之前的系統(tǒng)改裝成帶本版本的。主要的修改分就是增加對文本輸入術(shù)語：text conditioning）的支持，即在 ResNet 塊之間添加一個注意力層。需要注意的是綸山ResNet 塊沒有直接看到文本內(nèi)容，而是通注意力層將文本在 latents 中的表征合并起來，然后下一個 ResNet 就可以在這一過程中利用上文本信。參考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾號：新智元 （ID：AI_era）