小白都能看懂的 Stable Diffusion 原理！還記得火爆全網(wǎng)圖解 Transformer 嗎？最近這位大佬博主 Jay Alammar 在博客上對大火的 Stable Diffusion 模型也撰寫了一篇圖解，讓你從零開徹底搞懂圖像生成型的原理，還配有詳細(xì)的視頻講解！章鏈接：https://jalammar.github.io/illustrated-stable-diffusion/視頻鏈接：https://www.youtube.com/ watch?v=MXmacOUJUaw圖解 Stable DiffusionAI 模型最新展現(xiàn)出的圖像生成力遠遠超出人們的期，直接根據(jù)文字述就能創(chuàng)造出具有人視覺效果的圖像其背后的運行機制得十分神秘與神奇但確實影響了人類造藝術(shù)的方式。Stable Diffusion 的發(fā)布是 AI 圖像生成發(fā)展過程中的一個程碑，相當(dāng)于給大提供了一個可用的性能模型，不僅生的圖像質(zhì)量非常高運行速度快，并且資源和內(nèi)存的要求較低。相信只要試 AI 圖像生成的人都會想了解它巫彭是如何工作的，這文章就將為你揭開 Stable Diffusion 工作原理的神秘面紗Stable Diffusion 從功能上來說主要包兩方面：1）其核心功能為僅根據(jù)文本示作為輸入來生成圖像（text2img）；2）你也可以用它對圖像根據(jù)字描述進行修改（輸入為文本 + 圖像）。下面將使用示來輔助解釋 Stable Diffusion 的組件，它們之間如何交，以及圖像生成選及參數(shù)的含義。Stable Diffusion 組件Stable Diffusion 是一個由多個組件和模組成的系統(tǒng)，而非一的模型。當(dāng)我們模型整體的角度向型內(nèi)部觀察時，可發(fā)現(xiàn)，其包含一個本理解組件用于將本信息翻譯成數(shù)字示（numeric representation），以捕捉文本中的語義息。雖然目前還是宏觀角度分析模型后面才有更多的模細(xì)節(jié)，但我們也可大致推測這個文本碼器是一個特殊的 Transformer 語言模型（具體來說是 CLIP 模型的文本編碼器）。模型的輸入為個文本字符串，輸為一個數(shù)字列表，來表征文本中的每單詞 / token，即將每個 token 轉(zhuǎn)換為一個向量。然后這些信會被提交到圖像生器（image generator）中，它的內(nèi)部也包多個組件。圖像生器主要包括兩個階：1. Image information creator這個組件是 Stable Diffusion 的獨家秘方，相比之前模型，它的很多性增益都是在這里實的。該組件運行多 steps 來生成圖像信息，其中 steps 也是 Stable Diffusion 接口和庫中的參數(shù)，常默認(rèn)為 50 或 100。圖像信息創(chuàng)建器完全在圖像息空間（或潛空間中運行，這一特性得它比其他在像素間工作的 Diffusion 模型運行得更快；從技術(shù)來看，該組件由一 UNet 神經(jīng)網(wǎng)絡(luò)和一個調(diào)度（scheduling）算法組成。擴散（diffusion）這個詞描述了在該件內(nèi)部運行期間發(fā)的事情，即對信息行一步步地處理，最終由下一個組件圖像解碼器）生成質(zhì)量的圖像。2. 圖像解碼器圖像解器根據(jù)從圖像信息建器中獲取的信息出一幅畫，整個過只運行一次即可生最終的像素圖像。以看到，Stable Diffusion 總共包含三個主要的組件，其中個組件都擁有一個立的神經(jīng)網(wǎng)絡(luò)：1）Clip Text 用于文本編碼。輸入：文本輸出：77 個 token 嵌入向量，其中每向量包含 768 個維度2）UNet + Scheduler 在信息（潛）空間中逐步處理 / 擴散信息。輸入：文本嵌入和一個噪聲組成的初始多數(shù)組（結(jié)構(gòu)化的數(shù)列表，也叫張量 tensor）。輸出：一個經(jīng)過處理的息陣列3）自編碼解碼器（Autoencoder Decoder），使用處理過的信息矩陣?yán)L最終圖像的解碼器輸入：處理過的信矩陣，維度為（4, 64, 64）輸出：結(jié)果圖像，各度為（3，512，512），即（紅 / 綠 / 藍，寬，高）什么是 Diffusion？擴散是在下圖中粉紅的圖像信息創(chuàng)建器件中發(fā)生的過程，程中包含表征輸入本的 token 嵌入，和隨機的初圖像信息矩陣（也之為 latents），該過程會還需要用到圖像解碼器繪制最終圖像的信矩陣。整個運行過是 step by step 的，每一步都會增加更多相關(guān)信息。為了更觀地感受整個過程可以中途查看隨機 latents 矩陣，并觀察它是如轉(zhuǎn)化為視覺噪聲的其中視覺檢查（visual inspection）是通過圖像解碼器進行。整個 diffusion 過程包含多個 steps，其中每個 step 都是基于輸入的 latents 矩陣進行操作，并生另一個 latents 矩陣以更好地貼合「輸入的文本和從模型圖像集中取的「視覺信息」將這些 latents 可視化可以看到這些信息是如何每個 step 中相加的。整個過程是從無到有，看起相當(dāng)激動人心。步 2 和 4 之間的過程轉(zhuǎn)變看起來別有趣，就好像圖的輪廓是從噪聲中現(xiàn)的。Diffusion 的工作原理使用擴散模型生成像的核心思路還是于已存在的強大的算機視覺模型，只輸入足夠大的數(shù)據(jù)，這些模型可以學(xué)任意復(fù)雜的操作。設(shè)我們已經(jīng)有了一圖像，生成產(chǎn)生一噪聲加入到圖像中然后就可以將該圖視作一個訓(xùn)練樣例使用相同的操作可生成大量訓(xùn)練樣本訓(xùn)練圖像生成模型的核心組件。上述子展示了一些可選噪聲量值，從原始像 (級別 0，不含噪聲) 到噪聲全部添加 (級別 4) ，從而可以很容易地控制有多少噪添加到圖像中。所我們可以將這個過分散在幾十個 steps 中，對數(shù)據(jù)集中的每張圖像都以生成數(shù)十個訓(xùn)練本?；谏鲜鰯?shù)據(jù)，我們就可以訓(xùn)練一個性能極佳的噪預(yù)測器，每個訓(xùn)練 step 和其他模型的訓(xùn)練相似。當(dāng)某一種確定的配置行時，噪聲預(yù)測器可以生成圖像。移噪聲，繪制圖像經(jīng)訓(xùn)練的噪聲預(yù)測器以對一幅添加噪聲圖像進行去噪，也以預(yù)測添加的噪聲。由于采樣的噪聲可預(yù)測的，所以如從圖像中減去噪聲最后得到的圖像就更接近模型訓(xùn)練得的圖像。得到的圖并非是一張精確的始圖像，而是分布distribution），即世界的像素排列，比如天通常是藍色的，人兩只眼睛，貓有尖朵等等，生成的具圖像風(fēng)格完全取決訓(xùn)練數(shù)據(jù)集。不止 Stable Diffusion 通過去噪進行圖像生，DALL-E 2 和谷歌的 Imagen 模型都是如此。需要注意的是到目前為止描述的散過程還沒有使用何文本數(shù)據(jù)生成圖。因此，如果我們署這個模型的話，能夠生成很好看的像，但用戶沒有辦控制生成的內(nèi)容。接下來的部分中，會對如何將條件文合并到流程中進行述，以便控制模型成的圖像類型。加：在壓縮數(shù)據(jù)上擴為了加速圖像生成過程，Stable Diffusion 并沒有選擇在像素圖像本身上運行散過程，而是選擇圖像的壓縮版本上行，論文中也稱之「Departure to Latent Space」。整個壓縮過程，括后續(xù)的解壓、繪圖像都是通過自編器完成的，將圖像縮到潛空間中，然僅使用解碼器使用縮后的信息來重構(gòu)前向擴散（forward diffusion）過程是在壓縮 latents 完成的，噪聲的切片（slices）是應(yīng)用于 latents 上的噪聲，而非像素圖像，以噪聲預(yù)測器實際是被訓(xùn)練用來預(yù)測縮表示（潛空間）的噪聲。前向過程即使用使用自編碼中的編碼器來訓(xùn)練聲預(yù)測器。一旦訓(xùn)完成后，就可以通運行反向過程（自碼器中的解碼器）生成圖像。前向和向過程如下所示，中還包括了一個 conditioning 組件，用來描述模型應(yīng)該生大學(xué)圖的文本提示。文本碼器：一個 Transformer 語言模型模型中的言理解組件使用的 Transformer 語言模型，可以將輸入的文本示轉(zhuǎn)換為 token 嵌入向量。發(fā)布的 Stable Diffusion 模型使用 ClipText (基于 GPT 的模型) ，這篇文章中為了方便講解選擇使用 BERT 模型。Imagen 論文中的實驗表明，相比擇更大的圖像生成件，更大的語言模可以帶來更多的圖質(zhì)量提升。早期的 Stable Diffusion 模型使用的是 OpenAI 發(fā)布的經(jīng)過預(yù)訓(xùn)練的 ClipText 模型，而在 Stable Diffusion V2 中已經(jīng)轉(zhuǎn)向了最新發(fā)布的、更的 CLIP 模型變體 OpenClip.CLIP 是怎么訓(xùn)練的？CLIP 需要的數(shù)據(jù)為圖像及其標(biāo)題，數(shù)榖山中大約包含 4 億張圖像及描述。數(shù)集通過從網(wǎng)上抓取圖片以及相應(yīng)的「alt」標(biāo)簽文本來收集的。CLIP 是圖像編碼器和文本碼器的組合，其訓(xùn)過程可以簡化為拍圖像和文字說明，用兩個編碼器對數(shù)分別進行編碼。然使用余弦距離比較果嵌入，剛開始訓(xùn)時，即使文本描述圖像是相匹配的，們之間的相似性肯也是很低的。隨著型的不斷更新，在續(xù)階段，編碼器對像和文本編碼得到嵌入會逐漸相似。過在整個數(shù)據(jù)集中復(fù)該過程，并使用 batch size 的編碼器，最終能夠生成一左傳嵌向量，其中狗的圖和句子「一條狗的片」之間是相似的就像在 word2vec 中一樣，訓(xùn)練過程也需要包括匹配的圖片和說明負(fù)樣本，模型需要它們分配較低的相度分?jǐn)?shù)。文本信息入圖像生成過程為將文本條件融入成圖像生成過程的一分，必須調(diào)整噪聲測器的輸入為文本所有的操作都是在空間上，包括編碼的文本、輸入圖像預(yù)測噪聲。為了更地了解文本 token 在 Unet 中的使用方式，還需要先了解一下 Unet 模型。Unet 噪聲預(yù)測器中的層（無文本）一不使用文本的 diffusion Unet，其輸入輸出如下所示：在模型部，可以看到：1. Unet 模型中的層主要用于轉(zhuǎn)換 latents；2. 每層都是在之前層的輸出上進行操；3. 某些輸出（通過殘差連接）將饋送到網(wǎng)絡(luò)后面的理中4. 將時間步轉(zhuǎn)換為時間步長嵌向量，可以在層中用。Unet 噪聲預(yù)測器中的層（帶本）現(xiàn)在就需要將前的系統(tǒng)改裝成帶本版本的。主要的改部分就是增加對本輸入（術(shù)語：text conditioning）的支持，即在 ResNet 塊之間添加一個注意力層。需要意的是，ResNet 塊沒有直接看到文本內(nèi)容，成山是通注意力層將文本在 latents 中的表征合并起來，后下一個 ResNet 就可以在這一過程中利用上文本息。參考資料：https://jalammar.github.io/illustrated-stable-diffusion/https://www.reddit.com/r/MachineLearning/comments/10dfex7/d_the_illustrated_stable_diffusion_video/本文來自微信公眾：新智元 （ID：AI_era）