重度互聯(lián)網(wǎng)愛好們福利來了！你否遇到過這種情：一個梗圖尋遍網(wǎng)都還沒找到。在外網(wǎng)一位小哥出了一個互聯(lián)網(wǎng)模的 Meme 搜索引擎，庫里近兩千萬個梗圖涵蓋各種小眾文。檢索關(guān)鍵詞，者上傳相似圖片結(jié)果就能秒出！遇到 Meme 庫里沒有的梗圖還可共享上傳。友六年都沒找到梗圖，在這個小的網(wǎng)站上 2 分鐘就找到了。然這樣一個秒秒鐘梗圖的背后的裝確實醬嬸兒的：這不會有點太簡了吧）這時候可就有盆友好奇，個粗糙的裝置是何做到快速檢索圖的？那不妨一來看看這個“Meme 搜索引擎”是如何搭建的～感來自 iPhone 圖片識別要編寫一個 Meme 搜索引擎，最重要也是最先面的一個問題就是如何準確識別梗中的文字信息？專業(yè)一點的話來就是：如何擁有個可伸縮的 OCR（光學字符識別 ）？OCR 的解決方案倒是有成的，不過現(xiàn)有要么就是遇到比抽象的梗圖識別果不太好，要么是太貴。舉個簡的栗子，比如說 Tesseract OCR 來提取圖像中的文，測試時，只能非常標準的字體配色方案識別 Meme 圖，不然的話就會出現(xiàn)下這種情況。這是圖：這是識別出的文字：30 BLUE man41;? S4-5?’?ew/ — V [IL ‘ . “,2; g” .’Sj /B”f;T”EArmDand [red] mvslmunlm: sawmillsemmmmmm不過靈感很快就了，小哥偶然間 iPhone 給別人發(fā)一個驗碼圖片時。這是證碼圖片：這是制過來的文字：且 iPhone 的這個功能已經(jīng)在 iOS Vision 框架中公開了，可伸縮 OCR 的問題這不就有解決辦法嘛～不過關(guān)于 Vision 框架目前還沒有現(xiàn)成開源代碼插件，能自己寫了，具代碼小哥目前還公布。BUT，小哥還是總結(jié)了一自己寫代碼時的法經(jīng)驗，而且是對一個從未用 Swift 寫過任何正經(jīng)東西的小：遇事不決 Google 之Github 上逆向工程各種 Swift 回購協(xié)議請教懂 iOS 的朋友解決 Xcode 問題……最終東拼西湊，搞了一個可行的解方案：iOS Vision OCR 服務(wù)器，僅在一部 iPhone 上就能運行。識別文字信息這搞定了，接下來輪到搜索環(huán)節(jié)了相較于上一趴，部分就簡單多了小哥用的是 ElasticSearch（已開源）和 Postgres。ElasticSearch 擁有多節(jié)點能夠有效避免故障的生，并且能夠在證速度的情況下納數(shù)百萬個 Meme，不過這都是在犧牲了可靠性后得到的。而 Postgres 能夠保證搜索結(jié)的可靠性，但在過一百萬張圖片范圍時，就會變特別慢。一個能證速度，一個能證質(zhì)量，那……Done！在這其中，小哥用到了 PGSync，它是一件中間件，可用于同步從 Postgres 到 Elasticsearch / OpenSearch 的數(shù)據(jù)，具體的搜索流程下：到這里，整搜索引擎的搭建初見雛形，但還結(jié)束……視頻 Meme 也能支持因為 Meme 不僅僅靠梗圖來遞，有時候還會視頻。這倒也簡，直接將視頻分成截圖集，之后能像普通的 Meme 圖一樣被識別了。具體來說小哥編寫了一個型微服務(wù)，通過 ffmpeg（它可以執(zhí)行音頻和頻多種格式的錄、轉(zhuǎn)換、串流功），從視頻中截 10 個均勻間隔的圖片。然后截圖文件發(fā)送到 iPhone OCR 服務(wù)，最終視頻文件中會有個屏幕截圖 OCR 后的結(jié)果集。不過擁有視頻檢功能后，毫無疑 OCR 服務(wù)的負載就重了，一視頻 OCR 的工作量幾乎是一梗圖的 10 倍。雖然說 OCR 應(yīng)用服務(wù)器的速度很快，但也禁住這樣薅，于是 iOS OCR 服務(wù)升級了（多幾臺手機），于最終的裝置就變頭圖中的那樣了最終具體的流程小哥也貼心地給來了：小哥的這 Meme 搜索引擎出來之后，友們也都直呼太了。當然也有網(wǎng)給出了一些建議認為當前的搜索擎太文本化了，很多 Meme 圖本身就沒多少字，更多時候都“意會”。對此小哥本人也作出回應(yīng)，稱之后還繼續(xù)優(yōu)化搜索引：考慮將圖像轉(zhuǎn)為描述的文本…不過值得一提的，目前這個搜索擎還不太支持中，中文的梗圖搜效果不是很好，既然小哥已經(jīng)將建方法給出來了就期待一波萬能網(wǎng)友吧。（手動頭）如果你對這項目感興趣的話可以戳下文鏈接傳送門：https://findthatmeme.com/參考鏈接：https://findthatmeme.com/blog/2023/01/08/image-stacks-and-iphone-racks-building-an-internet-scale-meme-search-engine-Qzrz7V6T.html本文來自微信公眾號：量位 （ID：QbitAI），作者：Pine