Transformer之父離開谷歌，奧特曼等了他十年

Transformer的奠基人，開始參與尋找Transformer之后的下一步。

Google工程副總裁、Gemini模型聯合負責人Noam Shazeer在X上宣布，自己將離開Google，加入OpenAI。

Shazeer是《Attention Is All You Need》的核心作者之一，最早的“Transformer八子”就有他的名字。

從GPT到Claude、從Gemini到幾乎所有主流大模型，現代AI的底層結構都繞不開Transformer，而Shazeer正是最早參與定義這套結構的人之一。

2024年，Google曾通過一筆約27億美元的技術授權與人才回流交易，把Shazeer和部分Character.AI團隊重新請回Google，讓他參與Gemini模型研發。不到兩年后，這位Gemini聯合負責人再次離開Google，轉身去了OpenAI。

據OpenAI首席研究官Mark Chen發帖，Shazeer將擔任OpenAI新的架構研究負責人。

Sam Altman也發帖表示，從OpenAI創立之初，Noam就是他最想合作的人之一。他等這一天等了十年，但很值得。

01

被Google反復追回的人，

又離開了Google

Noam Shazeer并不是第一次離開Google，從他的領英賬號來看，他的職業生涯幾乎一直在和谷歌“拉拉扯扯”。

Shazeer曾在2024年8月播出的Dwarkesh Podcast訪談中說，自己似乎每隔12年就會重新加入一次Google：2000年一次，2012年一次，2024年又一次。

2000年12月，Shazeer加入Google，成為公司早期的軟件工程師。那時的Google還很年輕，他也是最早一批加入公司的工程師之一。

Shazeer最早參與的重要項目之一，是改進Google搜索的拼寫糾錯系統。但他感興趣的不只是搜索——還有AI。

他在播客里說，自己當年加入Google，有一個很樸素的想法：先賺一些錢，以后就可以長期做AI研究。

2009年，Shazeer曾短暫離開Google。公開資料并沒有詳細說明這次離開的原因。后來他在播客中回憶，幾年后自己回Google和妻子吃午飯，碰巧坐到了Jeff Dean和早期Google Brain團隊旁邊，被那群人重新吸引。

2012 年，Shazeer重新加入Google。那一年，Google Brain正處在早期階段，Jeff Dean等人正在把深度學習從研究項目推進到Google內部更核心的位置。這次回歸也讓Shazeer從早期搜索工程體系，轉向Google的AI主航道。

幾年后，Shazeer的名字開始真正進入現代AI史。

2017年，他和Ashish Vaswani、Niki Parmar、Jakob Uszkoreit、Llion Jones、Aidan Gomez、Lukasz Kaiser、Illia Polosukhin等人共同發表《Attention Is All You Need》，提出了Transformer架構。

后來發生的事情，已經不需要太多解釋。幾乎所有主流大模型，底層結構都繞不開Transformer。

Transformer之外，Shazeer很早就參與推動稀疏MoE，也就是混合專家模型——這條路線的核心思想是，不讓每次計算都激活整個模型，而是根據不同輸入調用不同“專家”模塊，從而在擴大模型容量的同時控制計算成本。

后來，MoE成為大模型擴展和效率優化的重要方向。

2021年，Shazeer和Google同事Daniel De Freitas離開公司，創辦Character.AI。據傳，這件事的導火索是Google拒絕公開發布他們參與開發的一款聊天機器人。

那款產品最初名為Meena，目標是讓AI能圍繞廣泛話題展開自然對話。

據《華爾街日報》報道，Shazeer曾在一份內部備忘錄《Meena Eats the World》中預測，這類聊天機器人有可能取代Google搜索，并創造數萬億美元收入。

但Google沒有選擇發布它，高管給出的理由包括安全性和公平性風險。對Google來說這或許是謹慎，但對Shazeer這樣的人來說，更像是一個巨大機會被放下——而機會被放下，往往意味著被錯過。所以Shazeer離開了。

一年后，OpenAI用另一種方式證明了Shazeer的判斷。2022年11月，ChatGPT讓全世界意識到，聊天機器人可能成為普通人接觸AI的第一入口。

Character.AI也在這股浪潮中快速起勢。

2023年3月，Character.AI完成1.5億美元融資，估值達到10億美元。它主打各種可對話的AI角色，用戶可以和實用助手、虛構人物甚至名人形象聊天。

當年沒有放行Meena的Google，最后又不得不把Shazeer請回來。

2024年，Google與Character.AI達成一筆特殊交易：Google獲得Character.AI的部分技術授權，同時把Shazeer、Daniel De Freitas以及部分研究團隊帶回Google DeepMind。

為了拿到技術和人，Google付出的代價高達約27億美元。

據《華爾街日報》報道，Shazeer也因為持有Character.AI股份，在這筆交易中獲得了數億美元收益。

換句話說，Google當年拒絕發布的聊天機器人路線，最后以另一種昂貴的方式回到了Google。

回歸后，Shazeer加入Gemini核心領導層，參與Google最重要的大模型研發。他的頭銜變成了Google工程副總裁、Gemini模型聯合負責人。

不到兩年后，劇情又迎來轉折——Shazeer又一次離開Google。這一次，他去的是做出ChatGPT的OpenAI。

細想來，他的故事多少像是一段關于chatbot的孽緣。

02

Transformer之后，

下一個改變時代的架構

據OpenAI首席研究官Mark Chen的說法，Shazeer將擔任OpenAI新的架構研究負責人。

過去幾年，大模型行業最熟悉的敘事是scaling law：更多數據、更大模型、更多算力、更長上下文，帶來更強能力。

但從2024年開始，越來越多跡象表明，單純擴大預訓練規模的邊際收益正在下降。

Ilya Sutskever曾公開表示，預訓練作為過去幾年最重要的scaling配方，正在接近數據和方法上的邊界；如果只是把規模再放大100倍，并不會自動帶來下一次GPT-3到GPT-4式的跨越。

另一方面，Transformer本身的短板也開始暴露出來。

前些年，大家還會把問題理解成“模型還不夠大”或者“上下文還不夠長”，但現在越來越多研究顯示，很多能力瓶頸并不只是規模問題，而是架構問題。

比如，長上下文不等于真正記憶。模型可以在幾十萬甚至上百萬token的上下文里檢索信息，但這不代表它真的維護了一個穩定的內部狀態。它能回看過去，不等于它清楚當下的情況。

再比如，思維鏈不等于真正推理。Chain-of-Thought、reasoning model、test-time compute的流行，說明模型確實需要更多中間計算。但如果每一點狀態變化、每一個簡單推理，都要靠顯式文字寫出來，再重新喂回模型，本質上是一種非常昂貴的補丁。

Google DeepMind前段時間發的論文《The Topological Trouble With Transformers》（Transformer的拓撲困境），討論的就是上述問題。

論文指出，純前饋Transformer在動態狀態追蹤上存在結構性短板。Transformer很擅長回看上下文，卻不天然擅長維護一個持續變化的內部狀態。

論文舉了幾個直觀的例子：模型可以在上下文里看到前面的對話，卻仍然在多輪交互里出現前后不一致；它可以看到關于“bank”的上下文，卻在后續問題里從把這個詞從“河岸”理解成“銀行”；它也可能在猜數字游戲里給出互相矛盾的反饋。

如果一個模型只是把過去全部放進窗口里，再通過注意力機制去查找，它更像是在翻一本很長的筆記，而不是持續擁有一個會更新的記憶。

說起來，這背后甚至帶有一點認知科學和哲學意味。以人類本身為例，人的記憶和想象力共享一個高度重疊的核心神經網絡——記憶并不是把過去完整存檔，然后在需要時原樣調取。很多時候，記憶更像是一種回溯性的重建：大腦在當下重新組織線索、補全語境，并把過去、想象和判斷混合成一個可以行動的狀態。

真正的智能，尤其是長程推理、多輪對話、規劃、代碼代理和復雜任務執行，需要的不止是回顧過去，還要理解當下實在的狀態。

當然，Transformer畢竟是很久之前的底層架構，這篇說的“短板”其實更像是放在現在的評價框架里去看過去的一個架構。

但也恰恰說明，Transformer未必一定適合我們當下對于智能的需求。

現在圍繞Transformer的改造已經層出不窮：MoE試圖解決參數規模和計算成本之間的矛盾；高效解碼試圖降低推理成本；長上下文試圖擴展模型的記憶邊界；state-space model、遞歸結構、latent reasoning、test-time compute，則試圖補上狀態追蹤、長期一致性和動態推理的短板。

AI行業漸漸形成了一個新的共識——下一代模型不能只是更大的Transformer，它必須更會組織計算、更會維護狀態、更會在推理過程中更新自己對世界的表示。

于是，架構問題又被翻了出來。

Shazeer加入OpenAI的象征意義就在于此，架構研究負責人這個崗位指向的，正是前沿模型競爭最底層的問題。

這讓Shazeer的跳槽不再是“Transformer之父去OpenAI繼續加強Transformer”的故事，更像是一個參與定義Transformer時代的人，開始參與尋找Transformer之后的下一步。

03

機會成本、人才戰爭和下一代模型

對Google來說，Shazeer的離開當然是損失——這個損失并不只是少了一位Gemini聯合負責人，還指向Google AI史里那個反復出現的問題：它常常很早看到未來，卻未必能最快把未來推到用戶面前。

Shazeer在播客中回憶，Larry Page以前常說，Google第二大的成本是稅，最大的成本是機會成本。（以防萬一，Shazeer還補了一句：如果Page沒說過，那自己已經誤引他很多年了。）

Google擁有世界上最強的研究人員、最完整的工程體系、最先進的TPU和數據中心、以及足夠龐大的產品入口。但越是這樣的大公司，越要在安全、公平、組織邊界和產品化風險之間反復權衡。

在AI這樣一個窗口期極短的行業里，謹慎本身可能是必要的，但謹慎也可能變成昂貴的延遲、機會的流失。

而對OpenAI來說，Shazeer的加入，意義非常重大——就連Sam Altman都表示“從OpenAI創立之初，Noam就是他最想合作的人之一”。

OpenAI得到的是一組極其稀缺的經驗集合：Transformer、MoE、大規模訓練、高效解碼、對話模型、基礎模型工程，以及在Google這種超大規模系統里多年打磨出來的架構直覺。

大模型架構研究并不是提出一個漂亮想法就結束了。Shazeer在播客里說過，小規模研究最理想的狀態，是早上醒來想到一個主意，當天寫出來，跑一些實驗，很快看到初步結果。

而前沿模型研發真正困難的地方，恰恰在于從“小實驗”走向“大系統”。一個改進在小模型上看起來有效，放大到最大規模訓練時未必還能成立；幾個單獨有效的技巧放在一起，也未必能協同工作。

到了最大規模訓練，很多實驗幾乎無法真正加速。最后仍然是N=1的實驗：一群最聰明的人坐在房間里，盯著訓練結果，判斷到底是哪一部分起了作用，哪一部分拖了后腿。

OpenAI現在需要的，不只是更多GPU、或者再訓練一個更大的模型。它需要更底層的架構判斷：把有潛力的結構放大到真實訓練系統里，把效率提升轉化為成本優勢，并用新的架構變化打開下一代能力。

Shazeer最可貴的地方就在于判斷能力。

與此同時，OpenAI正在面對十分沉重的財務壓力。

Financial Times報道稱，OpenAI 2025年支出達到約340億美元，凈虧損約390億美元；另有泄露財務文件口徑顯示，歸屬于OpenAI的凈虧損約為385億美元。

這里面包含不少復雜的會計和非現金項目，但方向很清楚：前沿模型競爭正在變成一場極其昂貴的戰爭。

OpenAI的緊迫感，部分也來自它最直接的對手Anthropic。

今年6月，Anthropic和OpenAI先后提交IPO文件，兩家公司幾乎在同一時間把自己推向公開市場。

在這個節點上，Anthropic一直在補強核心人才。今年4月，Anthropic請來前Microsoft Azure AI高管Eric Boyd擔任基礎設施負責人，負責支撐Claude繼續擴張所需的底層系統。5月，Anthropic還拉來了OpenAI聯合創始人Andrej Karpathy，讓他加入Claude的預訓練團隊，并組建一個用Claude加速預訓練研究的小組。

于是，OpenAI也在人才上抓緊補強：Shazeer負責架構研究，Clint Gibler加入OpenAI Cyber團隊，分別指向模型底層能力和安全能力。

這場人才戰背后，爭奪的是誰能更快找到下一代模型的訓練方式、推理方式和組織計算的方式。OpenAI如果要在上市前繼續證明自己的領先性，就必須證明自己有能力把模型做得更強、更穩定、更便宜。

而現在，OpenAI把這個問題交給了曾經一位參與定義Transformer的人。