在 2023 上海世界人工智能大會(huì)開幕式上，商湯科技董事長(zhǎng)兼 CEO 徐立聯(lián)合圖靈獎(jiǎng)得主姚期智、清華大學(xué)交叉信息學(xué)院助理教授袁洋、清華大學(xué)交叉信息研究院助理教授楊植麟和 DragGAN 第一作者潘新鋼舉辦了一場(chǎng)以《創(chuàng)想共論 · 智變可能》的圓桌論壇。

(相關(guān)資料圖)

論壇中，四位嘉賓分享了自己在人工智能發(fā)展、多模態(tài)補(bǔ)齊、大模型幻覺以及圖像生成模型等方向的看法。

1、在 ChatGPT 之后，下一個(gè)非常重要的目標(biāo)是讓 AI 成為擁有視覺、聽覺等多種感知能力的機(jī)器人，能夠在各種不同的環(huán)境里面，自主地學(xué)習(xí)新技能。

2、面對(duì)大模型實(shí)際應(yīng)用中的挑戰(zhàn)，需要更系統(tǒng)的去將底層的共通問題抽象出來(lái)，回到更本質(zhì)的一個(gè)層面去解決。

3、將 GAN 和 Diffusion 模型兩種路線各自優(yōu)勢(shì)互補(bǔ)，是未來(lái)研究的方向。

以下為圓桌論壇實(shí)錄：

徐立：

各位嘉賓好，很榮幸今天能在這場(chǎng)做主持，因?yàn)檫@場(chǎng)有我們計(jì)算機(jī)界的泰斗姚院士，以及我們?nèi)环浅Ｄ贻p的學(xué)術(shù)之星，可以說(shuō)這三位代表了我們?nèi)斯ぶ悄艿囊恍┬碌陌l(fā)展方向，所以話不多說(shuō)，我開始簡(jiǎn)單地來(lái)介紹一下。

我們知道姚院士是圖靈獎(jiǎng)得主，并且是在清華創(chuàng)辦了交叉信息學(xué)院。其實(shí)現(xiàn)在大模型發(fā)展的速度非常的快，我想請(qǐng)教一下姚院士，在大模型發(fā)展的今天這個(gè)節(jié)點(diǎn)上，有沒有一些基礎(chǔ)理論的突破，以及接下來(lái)有些哪些發(fā)展的方向？

姚期智：

我們中國(guó)的科學(xué)家在現(xiàn)代的 AI 的發(fā)展上做了很多突破性的貢獻(xiàn)，我們有一位年輕的高陽(yáng)老師，他在一年多以前做了一個(gè)非常重要的在算法突破上的貢獻(xiàn)，受到很多的國(guó)際關(guān)注，它能夠把現(xiàn)在非常主流的強(qiáng)化學(xué)習(xí)，加快數(shù)百倍。

我來(lái)解釋一下，在 ChatGPT 以后，下一個(gè)非常重要的目標(biāo)就是讓 AI 變成有視覺、聽覺等多種感知能力的機(jī)器人，它能夠在不同的環(huán)境里面，自主地學(xué)習(xí)各種的新技能。但是現(xiàn)在的強(qiáng)化學(xué)習(xí)的方法，太慢了，對(duì)于這些新的技術(shù)常常要幾個(gè)月的時(shí)間才能夠?qū)W好。高陽(yáng)老師他的一個(gè)突破就使得強(qiáng)化學(xué)習(xí)，能夠在幾個(gè)小時(shí)內(nèi)就能夠做到。

所以這些智能機(jī)器人將來(lái)的發(fā)展里面一定會(huì)要把剛才這個(gè)工作能夠放進(jìn)去，同時(shí)它不僅是一個(gè)實(shí)用的問題，而且它有一個(gè)理論的貢獻(xiàn)。

在過去的六七年里面，人工智能方面有一個(gè)路線之爭(zhēng)，就是我們現(xiàn)在依賴著強(qiáng)化學(xué)習(xí)這條路線是不是正確，有很多的爭(zhēng)論。

我想高陽(yáng)教授他一年多以前的這一個(gè)突破，把天平方向傾向了另外一邊，我們應(yīng)該堅(jiān)持我們現(xiàn)在這條路，對(duì)于通用人工智能的完善還有很長(zhǎng)的路要走。

OpenAI 聯(lián)合創(chuàng)始人在不久之前的一個(gè) interview 里面，就把高陽(yáng)老師的工作當(dāng)做近年來(lái)強(qiáng)化學(xué)習(xí)里面最重要的亮點(diǎn)之一。我現(xiàn)在只是在做一個(gè)廣告，明天，期智研究院要主辦一個(gè)分論壇，那里面大家可以遇見高洋老師，同時(shí)還有其他很多的中外的在基礎(chǔ)理論跟框架上的貢獻(xiàn)。

好，謝謝姚院士，我們也期待強(qiáng)化智能，在人工智能的領(lǐng)域上面能夠有更大的成就和突破。接下來(lái)我們這三位教授是非常年輕，兩位是清華大學(xué)交叉信息學(xué)院的教授，一位是 NTU 的教授，我想起人工智能當(dāng)時(shí)起來(lái)的時(shí)候五六年時(shí)候那篇 proposal，其實(shí) 4 位學(xué)者的平均年齡是 33 歲，我看了一下我們這三位教授的平均年齡還不到 33 歲了。

接下來(lái)想請(qǐng)問一下袁洋教授，在大模型的演進(jìn)發(fā)展過程當(dāng)中，這些交叉學(xué)科對(duì)模型的發(fā)展有沒有什么進(jìn)一步的幫助？

袁洋：

我覺得現(xiàn)在大家特別強(qiáng)調(diào)大模型要能夠用到一些交叉的行業(yè)里面，能夠落地應(yīng)用起來(lái)，大家會(huì)講到多模態(tài)。這個(gè)事情肯定是很重要的，但是我覺得大家對(duì)多模態(tài)的東西的理解可能比較粗糙，大家往往想到的多模態(tài)是他能夠看圖片、看文字、有觸覺、有溫度的感覺，但是我覺得要真正做到一個(gè)具體行業(yè)，能夠解決行業(yè)里的問題，多模態(tài)需要做得更細(xì)致一些。

比如說(shuō)我舉個(gè)例子，像一會(huì)兒潘老師可能要講的 DragGAN，我們?nèi)绻皇强紤]文本到圖片的一個(gè)生成，你說(shuō)一句話要畫一只狗，然后它生成一個(gè)狗的圖片，這樣你很可能會(huì)發(fā)現(xiàn)生成狗的圖片不是你想要的姿態(tài)或者模式，然后通過 DragGAN 你可以用鼠標(biāo)來(lái)拖動(dòng)一下，修改一下。

鼠標(biāo)拖動(dòng)的這種方式，在我看來(lái)這就是一種新的模態(tài)，用戶用一種比較好的方式把自己想要表達(dá)的內(nèi)容告訴大模型，讓他能夠理解。

雖然它可能只是一種鼠標(biāo)拖動(dòng)，但這種多模態(tài)的輸入，我覺得在具體應(yīng)用中非常重要，到更具體的一些行業(yè)，比如說(shuō)醫(yī)療法律教育，我覺得我們不應(yīng)該只是把文本或者圖像喂給模型，讓它有一些專業(yè)的數(shù)據(jù)，就希望它能夠解決專業(yè)的問題，我們應(yīng)該去深耕這個(gè)行業(yè)，去找到它里面最核心的問題是什么，然后再去找在這個(gè)問題里面，我們到底需要什么樣的模態(tài)的數(shù)據(jù)，什么樣的信息能夠精準(zhǔn)表達(dá)我們想要解決的問題，這個(gè)我稱為是一種模態(tài)的補(bǔ)全。

然后模態(tài)補(bǔ)全之后，我們需要在補(bǔ)全模態(tài)的基礎(chǔ)之上收集足夠的數(shù)據(jù)，做好模態(tài)的對(duì)齊，模態(tài)補(bǔ)全模態(tài)對(duì)齊做好之后，我相信它能夠賦予大模型更強(qiáng)大的能力，來(lái)解決更核心的一些交叉領(lǐng)域的問題。

模態(tài)補(bǔ)齊之后，可以相當(dāng)于是這方面的 Know How 對(duì)于后面的發(fā)展是有很大的幫助。我們來(lái)問一下楊植麟，楊植麟也是譽(yù)為說(shuō)天才少年，然后我看過他很多的工作，包括他也參與到大語(yǔ)言模型非常早期的一些工作。

我想現(xiàn)在大語(yǔ)言模型應(yīng)用很廣泛，但是也會(huì)在實(shí)際當(dāng)中會(huì)遇到一些問題，比如我們經(jīng)常提到的幻覺等等的一系列的挑戰(zhàn)，所以想請(qǐng)問一下說(shuō)在大語(yǔ)言模型的實(shí)際使用當(dāng)中，我們有哪些困難和挑戰(zhàn)，或者要注意哪一些方面上的具體的點(diǎn)。

楊植麟：

現(xiàn)在確實(shí)有很多大模型方面的還沒有解決問題，比如說(shuō)安全性怎么讓它做到非常可控、如何去避免它產(chǎn)生這種幻覺，不去編造一些很不存在的東西以及他現(xiàn)在其實(shí)也沒有辦法像科學(xué)家一樣去創(chuàng)造新的知識(shí)，或者說(shuō)在很多行業(yè)里面像最頂級(jí)的銷售、產(chǎn)品開發(fā)這些工作可能現(xiàn)在都還沒辦法做，我認(rèn)為這里面很重要的一個(gè)點(diǎn)，是我們?cè)谒伎歼@些問題的時(shí)候，不應(yīng)該每個(gè)問題去單點(diǎn)思考。

比如說(shuō)今天我想解決幻覺的問題，不是去頭痛醫(yī)頭，而是更系統(tǒng)的向這些問題之間底層都是什么樣共通的問題，回到更本質(zhì)的層面去解決，因?yàn)楫吘故峭ㄓ玫哪Ｐ停覀兿Ｍ軌蛟谶@些方面都能夠一舉一反三，所以我覺得其實(shí)還是要去做更規(guī)模化的高效的壓縮，比如說(shuō)去用更好的更適合分布式訓(xùn)練的這種框架，類似比如 MOE 或者是支持更長(zhǎng)的上下文的框架，包括在這里面怎么樣去更好地分配算力，對(duì)更高質(zhì)量的數(shù)據(jù)分配更多的算力，就類似這樣的問題，我覺得其實(shí)可以更根本地去解決我們剛才可能聊到的現(xiàn)在 AI 的存在一些局限性。

還是從理論層面上去解決，可能討不得巧。然后今天我們的圓桌的背景都是用我們用算法生成的，其實(shí)都是基于 Diffusion Model 的，但是新鋼是以一己之力又把 GAN 重新拉回到大家的視野當(dāng)中，他 DragGAN 這篇文章是網(wǎng)上說(shuō)爆款，說(shuō)有手就行，大家就能來(lái)制作內(nèi)容，所以也想聽聽新鋼來(lái)講說(shuō)比如說(shuō)算法當(dāng)中 GAN 和 Diffusion Model 之爭(zhēng)，算法本身路線選擇有沒有什么好壞，或者說(shuō)在這之后再看生成內(nèi)容的時(shí)候這兩者哪一個(gè)有更強(qiáng)的延展性。

潘新鋼：

好，謝謝主持人的提問。 GAN 和 Diffusion Model 現(xiàn)在是圖像生成的兩個(gè)主要的生成模型，尤其是 Diffusion Models 在近期也顯然有蓋過 GAN 的勢(shì)頭。我覺得他們由于生成模型的框架以及優(yōu)化目標(biāo)的不同，主要有三個(gè)差異：

第一個(gè)是性能與效率的 Trade off，顯然擴(kuò)散模型在生成的過程中，它的需要的算力更大，它的迭代式的計(jì)算所需要的 influence 的時(shí)間和訓(xùn)練的都顯著高于干。

與此同時(shí)更大的計(jì)算開銷也帶來(lái)了更高的圖像生成的性能，它所生成的圖像不會(huì)受限于 GAN 的 mode claps 的問題，它的真實(shí)性和多樣性都顯著優(yōu)于 GAN，所以我相信擴(kuò)散模型它的上限一定是要高于 GAN 的，在性能允許的情況下，它對(duì)于質(zhì)量和多樣性方面的優(yōu)勢(shì)是非常明顯，并且應(yīng)用價(jià)值應(yīng)用前景更廣的，但是如果說(shuō)在一些特定場(chǎng)合，例如 mobile device，這些對(duì)于性能或者計(jì)算開銷有限制的情況下，GAN 仍然是這樣一種妥協(xié)的選擇。

第二點(diǎn)是他們 Latent Space 的差異，我們知道 GAN 是將一個(gè) Compact Latent Vector 映射到圖像，但是擴(kuò)散模型是將一個(gè)和圖像分辨率一樣的 noise map 映射，逐映射逐漸去噪，映射成為圖像。實(shí)踐中，擴(kuò)散模型的這種 noise map 對(duì)于圖像內(nèi)容的影響常常表現(xiàn)出來(lái)為比較隨機(jī)，不具有結(jié)構(gòu)化的特性。但是 GAN 的 Compact latent code 可以非常有效地去編輯圖像中的 high level 的屬性。

比如說(shuō)人的表情或者動(dòng)物的姿態(tài)之類的，這也是為什么我們選擇將 GAN 作為 drag 這種編輯方式的第一個(gè)生成模型去 study。

但我相信之后如何去拓展到擴(kuò)散模型，也是一個(gè)非常值得探索的問題。

第三點(diǎn)就是他們生成圖像的空間的連續(xù)性上，由于這兩個(gè)模型在設(shè)計(jì)的時(shí)候，他的 Lipschitz constraint 不同，所以體現(xiàn)出來(lái)擴(kuò)散模型的圖像空間較為不連續(xù)，GAN 的圖像空間非常延續(xù)自然，所以我們用擴(kuò)散模型進(jìn)行 Latent Space 編輯或者視頻的編輯時(shí)候，常常會(huì)觀察到跳變的情況。

GAN 他表現(xiàn)出來(lái)比較流暢，看起來(lái)像動(dòng)畫，所以這也是 GAN 的一個(gè)優(yōu)勢(shì)，將來(lái)如何把這兩個(gè)模型各自的優(yōu)勢(shì)互補(bǔ)會(huì)是非常有趣的研究問題。

就是 Gan 在前端或者連續(xù)視頻上面有優(yōu)勢(shì)，然后 Diffusion 其實(shí)在性能上會(huì)更好一些，希望有一個(gè)更好的結(jié)合。我再問一下最后一個(gè)問題，結(jié)合咱們的研究方向，各位覺得大語(yǔ)言模型在接下來(lái)哪個(gè)垂直領(lǐng)域里面，可能最北被看好？

我想最容易的就是文書工作，有了大模型的語(yǔ)言以后，更多的工作可以變得由這些機(jī)器來(lái)做，我想這是一個(gè)直接的表現(xiàn)。

袁洋：

我覺得是醫(yī)療，因?yàn)楫?dāng)然不光是因?yàn)槲沂亲鲋悄茚t(yī)療的，還有一個(gè)原因是因?yàn)槲矣X得大模型現(xiàn)在是基于預(yù)訓(xùn)練的這種范式。預(yù)訓(xùn)練的本質(zhì)其實(shí)在學(xué)數(shù)據(jù)與數(shù)據(jù)之間的關(guān)系，醫(yī)療里面有大量的這種關(guān)系。比如說(shuō)，患者的癥狀之間關(guān)系與藥物之間關(guān)系，吃了藥之后會(huì)變成什么樣子的這些關(guān)系，這些關(guān)系其實(shí)人類不一定能夠?qū)W習(xí)地刻畫得很好，我覺得在這方面大模型有可能做得比機(jī)器更好，所以我比較看好這個(gè)方向。

我覺得比較重要的一個(gè)場(chǎng)景是 AI 將來(lái)應(yīng)該會(huì)跟人一樣有共同的記憶，比如說(shuō)今天我們?nèi)ビ靡粋€(gè) AI 的話，還是需要每天給大家重新去灌輸一些東西，給他提供很多上下文，把人能看到的所有東西其實(shí) AI 都能看到，通過這種方式，其實(shí)我覺得可以在個(gè)人的使用上有非常大的想象的這個(gè)空間。

我是做視覺內(nèi)容生成的。現(xiàn)在圖像生成已經(jīng)很好了，而之后視頻和三維內(nèi)容生成也有非常大的前景，它可以幫助設(shè)計(jì)師、幫助藝術(shù)家，幫助動(dòng)畫制作者、影視特效師等人，去更好更高效地創(chuàng)作更高內(nèi)容的更高質(zhì)量的內(nèi)容。