NVIDIA 顯卡賣多了，差點(diǎn)讓人忽略其本身也是生成式 AI 巨頭。

近日，NVIDIA 最新發(fā)表的論文披露了一種名為 Perfusion 的「文生圖」模型的個(gè)性化學(xué)習(xí)技術(shù)。

(資料圖)

官網(wǎng)顯示，Perfusion 技術(shù)是由 NVIDIA 和以色列的特拉維夫大學(xué)合作研發(fā)的。Perfusion 技術(shù)可以幫助自由創(chuàng)造生成更加個(gè)性化的物體，實(shí)現(xiàn)更生動(dòng)的結(jié)果，具有更好的提示匹配性，并且不易受原始圖像背景特征的影響。

NVIDIA 圖形研究副總裁 Aaron Lefohn 曾經(jīng)將 Perfusion 技術(shù)描述為「高度緊湊的技術(shù) ...... 允許用戶將多個(gè)個(gè)性化元素（例如特定的泰迪熊和茶壺）組合到人工智能生成的單一視覺效果。」

在這當(dāng)中，NVIDIA 用到了一種名為「密鑰鎖定」的新穎機(jī)制。

通俗一點(diǎn)的解釋就是，它將圖像生成模型內(nèi)的注意力機(jī)制分成兩部分 ： 位置部分和內(nèi)容部分。位置部分決定畫什么物體，內(nèi)容部分決定物體的外觀樣式。

「密鑰機(jī)制」固定住位置部分，不讓物體隨意變化，比如特定泰迪熊的位置與所有修改后的泰迪熊一致。同時(shí)，內(nèi)容部分允許物體的外觀自由變化，比如給泰迪熊憑空換一套裝扮。

此外，Perfusion 技術(shù)在文生圖的過程中，可以選擇控制物體的變化程度，可以更像原物也可以更符合用戶的描述語。歷史記錄生成的幾個(gè)物體還可以組合放在同一張圖像里。

得益于「密鑰鎖定」機(jī)制的先進(jìn)性，官方宣稱由 Perfusion 技術(shù)生成的圖片質(zhì)量與 Stability Diffusion v1.5 版本不分伯仲。

不過 Perfusion 技術(shù)更加個(gè)性化，具備快速學(xué)習(xí)處理新概念的能力，而無需重新訓(xùn)練整個(gè)模型，這是 Stability Diffusion 所不具備的。

此外，Perfusion 技術(shù)的控制能力更強(qiáng)，可以方便在視覺質(zhì)量和語義控制之間取得平衡，還可以組合多個(gè)新概念（比如讓模型同時(shí)生成特定泰迪熊和特定茶壺）。

總的來說，Perfusion 技術(shù)主要就是在個(gè)性化學(xué)習(xí)和控制方面做了創(chuàng)新，使文生圖的系統(tǒng)生成更容易自定義。

可能很多人不知道的是，低調(diào)的 NVIDIA 其實(shí)在生成式 AI 領(lǐng)域頗有建樹，在圖像超分辨、深度估計(jì)等多個(gè)生成任務(wù)上都有著開創(chuàng)性的貢獻(xiàn)。

今年 5 月份的時(shí)候，NVIDIA 創(chuàng)始人黃仁勛曾大膽預(yù)測(cè)：「計(jì)算機(jī)行業(yè)正在同時(shí)經(jīng)歷兩個(gè)轉(zhuǎn)型——加速計(jì)算和生成式人工智能。」其補(bǔ)充道：「隨著公司競相將生成式 AI 應(yīng)用到每一個(gè)產(chǎn)品、服務(wù)和業(yè)務(wù)流程中，價(jià)值一萬億美元的數(shù)字中心基礎(chǔ)設(shè)施將被升級(jí)到加速計(jì)算。」

生成式 AI 訓(xùn)練大規(guī)模神經(jīng)網(wǎng)絡(luò)，需要高度復(fù)雜的計(jì)算能力。GPU 通用性較強(qiáng)，更適合大規(guī)模并行計(jì)算，且設(shè)計(jì)及制造工藝較為成熟，這恰恰正是 NVIDIA 掌握 AI 大模型「命門」的舒適圈。

從市場占有率上看，NVIDIA 占據(jù)了 GPU 市場 84% 的市場份額。市場調(diào)查機(jī)構(gòu) TrendForce 集邦咨詢公布的數(shù)據(jù)顯示，如果以 NVIDIA A100 顯卡的處理能力計(jì)算，運(yùn)行 ChatGPT 將需要用到 30000 塊 NVIDIA GPU，這意味 NVIDIA 將可以賺取超過 3 億美元。

但得天獨(dú)厚的 NVIDIA 并不僅僅滿足于「淘金賣水人」，而是將自身資源的「天賦異稟」在生成模型技術(shù)發(fā)展領(lǐng)域釋放得淋漓盡致。

2018 年，NVIDIA 研究人員就率先提出了生成式對(duì)抗網(wǎng)絡(luò) StyleGAN，這是第一個(gè)可以高質(zhì)量生成人臉圖像的 GAN 模型，時(shí)隔一年后，NVIDIA 正式發(fā)布第一個(gè)從語義布局就可以直接生成逼真圖像的模型。

類似的「第一」還有很多，現(xiàn)如今，Perfusion 技術(shù)便是 NVIDIA 最新發(fā)布的生成式 AI 的成果之一。

發(fā)布 Perfusion 技術(shù)，一方面可以繼續(xù)展示 NVIDIA 在生成式 AI 領(lǐng)域的技術(shù)能力，充分建立 NVIDIA 在生成式 AI 領(lǐng)域的領(lǐng)導(dǎo)力和影響力，另一方面也可以回應(yīng)業(yè)界和學(xué)術(shù)界的熱點(diǎn)需求，進(jìn)而在未來集成到 NVIDIA 的產(chǎn)品和服務(wù)中。

值得注意的是，目前 NVIDIA 只在官網(wǎng)發(fā)表了相關(guān)論文，具體的代碼演示將很快推出，屆時(shí)用戶文生圖的功能需求也會(huì)有更加多元化的選擇。