理解了人類(lèi)的語(yǔ)言，就理解了世界。

一直以來(lái)，人工智能領(lǐng)域的學(xué)者和工程師們都試圖讓機(jī)器學(xué)習(xí)人類(lèi)的語(yǔ)言和說(shuō)話(huà)方式，但進(jìn)展始終不大。

因?yàn)槿祟?lèi)的語(yǔ)言太復(fù)雜，太多樣，而組成它背后的機(jī)制，往往又充滿(mǎn)著不可名狀的規(guī)律。

過(guò)去人們?cè)谧匀徽Z(yǔ)言處理中多采用 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)，它十分類(lèi)似于人類(lèi)邏輯上對(duì)語(yǔ)言的理解——強(qiáng)調(diào)上下文順序、前后文邏輯關(guān)系。

【資料圖】

但是這種順序方式讓 RNN 無(wú)法實(shí)現(xiàn)并行計(jì)算，也就是說(shuō)，它的速度十分緩慢，而規(guī)模也很難擴(kuò)大。

直到 2017 年 6 月 12 日，一篇名為 Attention is All You Need 的論文被提交到預(yù)印論文平臺(tái) arXiv 上。

一切從此改變。

Transformer 的提出直接導(dǎo)致導(dǎo)致了現(xiàn)在生成式 AI 風(fēng)暴。機(jī)器好像在一瞬間就學(xué)會(huì)了如何與人類(lèi)自如交流。

在 Transformer 提出前，人們討論的是如何讓智能音箱聽(tīng)懂你的提問(wèn)，而 Transformer 之后，人們討論的重點(diǎn)變成了該如何防范 AGI 通用智能對(duì)人類(lèi)造成的危險(xiǎn)。

Attention is All You Need 這篇論文的重要性可見(jiàn)一斑，剛剛過(guò)去的 12 號(hào)正是它六周歲生日。

Transformer 這個(gè)名字據(jù)說(shuō)來(lái)自論文聯(lián)合作者之一的 Llion Jones，原因無(wú)它，因?yàn)?attention （注意力）這個(gè)詞聽(tīng)上去實(shí)在是有點(diǎn)不酷。

Llion Jones 也是目前八個(gè)論文聯(lián)合作者中唯一一個(gè)還在谷歌上班的人。剩下的七個(gè)人都紛紛離職創(chuàng)業(yè)。最有名的大概是 Character AI，創(chuàng)始人是論文作者之一的 Noam Shazeer，他之前在谷歌工作了 20 年，負(fù)責(zé)構(gòu)建了 LaMDA。

那么 Transformer 究竟有什么點(diǎn)石成金的魔力呢？我們盡量用通俗易懂的話(huà)來(lái)解釋。

Transformer 徹底拋棄了前面提到的 RNN 循環(huán)神經(jīng)網(wǎng)絡(luò)這套邏輯，它完全由自注意力機(jī)制組成。

大家都有過(guò)這樣的經(jīng)驗(yàn)，打亂個(gè)一子句中字詞序順的多很時(shí)候不并響影對(duì)你句子的解理。比如上面這句。

這是因?yàn)槿四X在處理信息時(shí)會(huì)區(qū)分權(quán)重，也就是說(shuō)，我們的注意力總是被最重要的東西吸引走，次要的細(xì)節(jié)則被忽略。

Transformer 模仿了這一點(diǎn)，它能夠自動(dòng)學(xué)習(xí)輸入的序列中不同位置之間的依賴(lài)關(guān)系并計(jì)算其相關(guān)性（而不是對(duì)整個(gè)輸入進(jìn)行編碼）。這讓針對(duì)序列的建模變得更加容易和精準(zhǔn)。

在深度學(xué)習(xí)中引入這種機(jī)制，產(chǎn)生了兩個(gè)明顯好處。

一方面，并行計(jì)算得以實(shí)現(xiàn)，基于 Transformer 架構(gòu)的模型可以更好地利用 GPU 進(jìn)行加速。由此，Transformer 為預(yù)訓(xùn)練模型的興起奠定了基礎(chǔ)，隨著模型的規(guī)模越來(lái)越大，神經(jīng)網(wǎng)絡(luò)開(kāi)始出現(xiàn)所謂 " 智能涌現(xiàn) "，這正是人們認(rèn)為像 GPT 這樣的大模型打開(kāi)了 AGI 通用人工智能大門(mén)的原因。

另一方面，盡管最開(kāi)始 Transformer 的提出是被用來(lái)解決自然語(yǔ)言，更準(zhǔn)確地說(shuō)，機(jī)器翻譯問(wèn)題，但很快人們就發(fā)現(xiàn)，這種注意力機(jī)制可以推廣到更多領(lǐng)域——比如語(yǔ)音識(shí)別和計(jì)算機(jī)視覺(jué)。基于 Transformer 的深度學(xué)習(xí)方法實(shí)際上適用于任何序列——無(wú)論是語(yǔ)言還是圖像，在機(jī)器眼中它們不過(guò)是一個(gè)個(gè)帶規(guī)律的向量。

在這兩種優(yōu)點(diǎn)的共同作用下，人工智能領(lǐng)域迎來(lái)了前所未有的爆發(fā)，后面的故事我們都知道了。

下面是關(guān)于 Transformer 的幾個(gè) fun facts。前面三個(gè)來(lái)自英偉達(dá) AI 科學(xué)家 Jim Fan 慶祝 Transformer 架構(gòu)被提出六周年的推文。

1、注意力機(jī)制不是 Transformer 提出的。

注意力機(jī)制是深度學(xué)習(xí)三巨頭之一的 Yoshua Bengio 于 2014 年提出的。這篇名為 Neural Machine Translation by Jointly Learning to Align and Translate 的論文中首次提出了注意力機(jī)制。堪稱(chēng)自然語(yǔ)言處理里程碑級(jí)的論文。在那之后許多人都投身于對(duì)注意力機(jī)制的研究，但直到 Transformer 論文的出現(xiàn)大家才明白——相對(duì)別的因素而言，只有注意力機(jī)制本身才是重要的。

2、Transformer 和注意力機(jī)制最初都只為了解決機(jī)器翻譯問(wèn)題。

未來(lái)人們回溯 AGI 的起源，說(shuō)不定要從谷歌翻譯開(kāi)始。盡管注意力機(jī)制幾乎可以用在深度學(xué)習(xí)的所有領(lǐng)域，但一開(kāi)始不管是 Yoshua Bengio 的論文還是 Transformer 架構(gòu)，都單純是為了提高機(jī)器翻譯的效果。

3、Transformer 一開(kāi)始并未引人注意，至少對(duì) NeurIPS 來(lái)說(shuō)如此。

NeurIPS 2017 上一共有 600 多篇論文被接受，Transformer 是其中之一，但也僅此而已了。諷刺的是當(dāng)年 NeurIPS 上的三篇最佳論文聯(lián)合起來(lái)的引用次數(shù)只有五百多次。

4、OpenAI 在 Transformer 發(fā)布的第二天就 all in 。

雖然很多人一開(kāi)始并沒(méi)有意識(shí)到 Transformer 的威力，但這其中顯然不包括 OpenAI。他們?cè)?Transformer 甫一發(fā)布就迅速意識(shí)到了這意味著什么，并迅速?zèng)Q定完全投入其中。

實(shí)際上，GPT 中的 T 正是 Transformer。

5、Transformer 幾乎立刻取代了 LSTM 的地位。

在 Transformer 提出之前，自然語(yǔ)言處理使用廣泛的是名叫長(zhǎng)短期記憶網(wǎng)絡(luò) LSTM 的序列生成模型，它的一大缺陷是對(duì)輸入內(nèi)容的先后順序敏感，因此無(wú)法大規(guī)模使用并行網(wǎng)絡(luò)計(jì)算。

然而在 Transformer 被提出之前，許多人都認(rèn)為 LSTM 將在很長(zhǎng)一段時(shí)間內(nèi)容主導(dǎo) NLP 的發(fā)展。