第658章 讀不出的中國名字背後是他們讀不懂的野心
2014年6月3日,清晨。
ArXiv,全球最大的學術預印本平台。這東西對搞AI的研究者來說,就是學術圈的朋友圈。
論文上傳後二十四到四十八小時內全球可見,不用等同行評審,不用排隊走期刊流程,直接面向全世界亮牌。
每天早上起來第一件事,刷ArXiv。
這是所有做深度學習的人的肌肉記憶。
今天早上,這個朋友圈裡炸了一顆雷。
論文標題:Deep Residual Learning for Image Recognition。
作者:Shaoqing Ren, Yuhang Zheng, Liqiu Chen。
單位:JiuTian AI Lab, Echo Technology, China。
史丹福大學蓋茨計算機科學大樓三層,博士後林之遠端著咖啡走進辦公區,習慣性刷新了cs.CV板塊。
他的手停住了,咖啡差點灑出來。
152層卷積神經網絡。ImageNet驗證集Top-5錯誤率,3.57%。
人類標註員的平均水平是5.1%。去年ImageNet競賽冠軍GoogLeNet是6.67%。這篇論文直接把數字按到了3.57%。
「你們過來看看這個。」
林之遠的聲音不大,但語調不對。
旁邊幾個人抬起頭,三分鐘後,實驗室十一個人全圍在他屏幕前面。
「等等,152層?」一個叫Kevin的白人博士生最先反應過來,
「不可能。超過三十層的網絡根本沒法訓練,梯度消失會把信號吃乾淨。這是常識。」
「你往下看。」林之遠指著論文第三頁的示意圖,
「他們加了一個跳躍連接,把輸入直接加到輸出上。梯度可以跳過中間層回傳。」
Kevin盯著那張圖看了十幾秒。
「這也太簡單了吧。」
「簡單?」坐後面的趙明推了推眼鏡,
「最好的想法往往都簡單。問題是你沒想到。」
Kevin的臉色不好看。
實驗室主任Professor Williams也走了過來。
他花了五分鐘把論文從頭到尾掃了一遍,表情從驚訝慢慢變沉。
「這個結果如果可以復現,整個領域的範式都要變。」
他看了一眼作者單位。
「JiuTian AI Lab。Echo Technology。這是什麼單詞?J-I-U-T-I-A-N,有人知道這是哪兒的嗎?」
沒人回答。Kevin盯著那個拼音,舌頭打著結嘗試發音:
「朱……田?或者……久提安?聽起來像是個拼寫錯誤。」
「中國的。」林之遠實在聽不下去他那慘不忍睹的發音,冷聲開口,
「這是漢語拼音。JiuTian,對應的中文意思是『九天』,指代極高的天空,或者是天的最高處。通訊地址標的四川。」
安靜了兩秒。
Kevin率先打破沉默:「四川?那是哪裡?他們拿什麼訓練152層網絡?這個規模的算力需求,谷歌大腦都得排隊。一個中國民間實驗室?」
他頓了頓,聳了聳肩:「也許他們偽造了數據。」
辦公區氣氛一下子變了。
林之遠轉頭看了Kevin一眼,沒說話。
趙明的手指在桌面上敲了兩下,也沒接話。
Williams倒是很快開了口:
「論文附了完整的訓練日誌和超參數配置,實驗設計很規範。在沒有復現之前,不要下結論。Kevin,你下午把18層和50層的對照實驗搭起來,用我們的集群跑一遍。」
Kevin張了張嘴,看了看Williams的表情,把話咽了回去。
午飯時間,學術圈的郵件列表已經炸了。
不只是斯坦福。伯克利、CMU、MIT、多倫多,所有做深度學習的組都在討論這篇論文。
谷歌大腦的Jeff Dean在內部郵件里轉發了連結,批註只有一個詞:「Read this。」
臉書AI研究院的Yann LeCun在推特上發了一條:「一篇有趣的論文,來自一個從未聽說過的中國實驗室。殘差連接看起來很有前景。需要復現驗證。」
DeepMind倫敦總部的Slack頻道里吵成了一鍋粥。
但所有的外國研究者都在問同一個問題:JiuTian AI Lab到底是個什麼詞?
谷歌搜不到,領英搜不到,學術資料庫里沒有任何這個實驗室的歷史論文。
第一作者Shaoqing Ren在微軟亞洲研究院有過幾篇論文,但那是一兩年前的事了,之後這個人就從學術界蒸發了。
一個沒有任何學術積累的民間實驗室,第一篇公開論文就丟出了這個量級的東西。
要麼是天才,要麼是騙子。
學術圈更願意相信後者。
但數據擺在那裡。乾乾淨淨,清清楚楚。
傍晚六點半,斯坦福校園的人流稀疏下來。
林之遠和趙明走出蓋茨大樓,沿著棕櫚大道慢慢走。暮色從太平洋方向涌過來,把路面染成橙紅色。
兩個人都是中科大本科,趙明是02級少年班的,林之遠大他一屆。
不過趙明本科畢業後就保送去了清華大學高等研究院,之後兩人在斯坦福相遇,算得上是異國他鄉的故交。
在斯坦福讀博期間互相照應了四年,博士後又在同一個實驗室待了兩年多。
「你下午那句話說得夠直接的。」林之遠先開口。
「Kevin那種人,你不懟他他蹬鼻子上臉。」趙明把雙肩包的肩帶往上提了提,
「一個中國實驗室發篇好論文,他第一反應是偽造數據。換成MIT出來的,他敢這麼說?還有他念『九天』那蹩腳的口音,聽著都讓人來氣。」
林之遠冷嘲地扯了扯嘴角:
「他們什麼時候真正在意過我們的名字怎麼念?咱們在這兒共事兩年多了,組裡的幾個白人有誰能把『Zhiyuan』發准音的?全是一口一個『Z-yuan』。你的『Ming Zhao』,他們到現在還分不清哪個是姓哪個是名,上周教務處的郵件不還在叫你『Mr. Ming』嗎?」
「骨子裡的傲慢罷了。」趙明搖了搖頭,語氣裡帶著嘲弄,
「他們只認得自己制定的規則,根本懶得花哪怕一分鐘去了解我們的文化。所以這幫老外看著『JiuTian』這個詞,全都一頭霧水。他們只認得拼音字母,但咱們華人一看這兩個字,就知道背後是什麼意思。九天,那是天之極。敢起這名字,絕對是憋著一股要把天給捅破的心氣兒!」
林之遠目光動了動,沒接這個話。兩個人走了一段路。
「我托國內的朋友查了。」趙明忽然放低聲音,
「迴響科技,國內一家很大的網際網路公司。做短視頻、資訊、支付,體量很大。九天AI實驗室是他們內部的研發機構,去年底才成立的。」
「網際網路公司搞AI實驗室?」
「對。據說他們在四川有一個規模很大的GPU集群。」
林之遠愣了愣。「你到底想說什麼?」
趙明停下腳步。
「之遠,你在這邊待了多少年了?」
「算上讀博,快七年。」
「我八年。」趙明說,「八年了,你覺得他們真把咱們當自己人了嗎?」
林之遠沉默。
「我去年申教職,六個學校全拒了。論文比同期的人多一倍,引用數高三倍,簡歷白紙黑字擺在那兒,連面試機會都沒有。招聘委員會跟我說『你的研究方向和我們不太匹配』。四個學校,四個一模一樣的理由。」
趙明的聲音很平,但林之遠聽得出底下壓著什麼。
「你還記得朱傳榘嗎?四十年代參與ENIAC研發的核心工程師,設計了二進位邏輯電路。結果ENIAC公開的時候,四個署名全是白人,他直接被除名。三十五年後才拿了個安慰性質的先驅獎。」
「還有六十年代研發分組交換網絡的黃有光,提出網際網路底層的存儲轉發機制,成果直接被白人同事挪用署名;發明FinFET技術給摩爾定律續了二十年命的胡正明,憑一己之力撐起了全球數十億的手機電腦晶片,但在主流媒體的科技史里卻幾乎查無此人。」
林之遠走到路邊一張長椅前坐下來。
「你說這些我都知道。」
「知道是一回事,做決定是另一回事。」趙明在他旁邊坐下,「我前段時間給導師打過電話。」
「楊先生?」
趙明點頭。他本科在中科大讀物理,畢業後保送去了清華大學高等研究院,在楊先生門下研究過一段時間量子信息,再後來出國深造才轉行搞了AI。
雖然跨了界,但他跟導師一直保持著聯繫,導師也很支持他的跨界。
老先生一直在清華任教,如今雖然年過九旬,思維依然清楚,對國內學術動態的關注比很多在職教授還勤。
「楊先生說,國內現在條件和以前不一樣了。算力、資金、政策支持都上來了。有些研究完全可以回去做。」
趙明頓了頓,
「他原話是:『你們這代人比我那代幸運,你們有選擇的權利。但選擇本身就是一種責任。』」
棕櫚大道上的路燈亮了。
林之遠望著遠處胡佛塔的輪廓,半天沒出聲。
他想起了很多事。
想起第一年來的時候,房東聽到口音多收了兩百刀押金。
他想起組會上他的方案被Kevin一句「interesting but not practical」輕飄飄地打發掉。
想起去年聖誕派對,一個喝醉了的教授拍著他肩膀說「你們中國人真勤奮」,語氣里那種居高臨下,藏都藏不住。
他又想起了合肥。想起中科大東區的梧桐樹,想起畢業那天師兄說的話:出去看看世界,但別忘了你是誰。
「好。」林之遠說。
趙明看他一眼:「好什麼?」
「回去。我跟你一起回去。」
兩個人在長椅上坐了很久,天色徹底暗下來,路燈把兩道影子拉得很長。
同一天。
英國劍橋,DeepMind的一間會議室里,三個研究員圍著投影幕布逐頁翻閱補充材料,討論持續到了凌晨一點。
加拿大蒙特婁,Yoshua Bengio的博士生在讀書會上把這篇論文列為本周必讀,PPT做了四十頁。
日本東京,一個專攻圖像識別的研究小組已經在伺服器上搭建復現實驗,組長在白板上寫下了「殘差連接」,畫了個圈。
韓國首爾,KAIST的幾個博士生在實驗室群聊里爭論不休,有人已經在給論文作者發郵件,詢問預訓練模型是否會開源。
以及大洋兩岸各大高校里,不計其數的華人研究者在看到作者名字和單位之後,做了同一個動作。
他們打開瀏覽器,敲下那串讓外國同行摸不著頭腦、卻能讓同胞瞬間血脈賁張的拼音,搜索了「JiuTian AI Lab」。
ArXiv,全球最大的學術預印本平台。這東西對搞AI的研究者來說,就是學術圈的朋友圈。
論文上傳後二十四到四十八小時內全球可見,不用等同行評審,不用排隊走期刊流程,直接面向全世界亮牌。
每天早上起來第一件事,刷ArXiv。
這是所有做深度學習的人的肌肉記憶。
今天早上,這個朋友圈裡炸了一顆雷。
論文標題:Deep Residual Learning for Image Recognition。
作者:Shaoqing Ren, Yuhang Zheng, Liqiu Chen。
單位:JiuTian AI Lab, Echo Technology, China。
史丹福大學蓋茨計算機科學大樓三層,博士後林之遠端著咖啡走進辦公區,習慣性刷新了cs.CV板塊。
他的手停住了,咖啡差點灑出來。
152層卷積神經網絡。ImageNet驗證集Top-5錯誤率,3.57%。
人類標註員的平均水平是5.1%。去年ImageNet競賽冠軍GoogLeNet是6.67%。這篇論文直接把數字按到了3.57%。
「你們過來看看這個。」
林之遠的聲音不大,但語調不對。
旁邊幾個人抬起頭,三分鐘後,實驗室十一個人全圍在他屏幕前面。
「等等,152層?」一個叫Kevin的白人博士生最先反應過來,
「不可能。超過三十層的網絡根本沒法訓練,梯度消失會把信號吃乾淨。這是常識。」
「你往下看。」林之遠指著論文第三頁的示意圖,
「他們加了一個跳躍連接,把輸入直接加到輸出上。梯度可以跳過中間層回傳。」
Kevin盯著那張圖看了十幾秒。
「這也太簡單了吧。」
「簡單?」坐後面的趙明推了推眼鏡,
「最好的想法往往都簡單。問題是你沒想到。」
Kevin的臉色不好看。
實驗室主任Professor Williams也走了過來。
他花了五分鐘把論文從頭到尾掃了一遍,表情從驚訝慢慢變沉。
「這個結果如果可以復現,整個領域的範式都要變。」
他看了一眼作者單位。
「JiuTian AI Lab。Echo Technology。這是什麼單詞?J-I-U-T-I-A-N,有人知道這是哪兒的嗎?」
沒人回答。Kevin盯著那個拼音,舌頭打著結嘗試發音:
「朱……田?或者……久提安?聽起來像是個拼寫錯誤。」
「中國的。」林之遠實在聽不下去他那慘不忍睹的發音,冷聲開口,
「這是漢語拼音。JiuTian,對應的中文意思是『九天』,指代極高的天空,或者是天的最高處。通訊地址標的四川。」
安靜了兩秒。
Kevin率先打破沉默:「四川?那是哪裡?他們拿什麼訓練152層網絡?這個規模的算力需求,谷歌大腦都得排隊。一個中國民間實驗室?」
他頓了頓,聳了聳肩:「也許他們偽造了數據。」
辦公區氣氛一下子變了。
林之遠轉頭看了Kevin一眼,沒說話。
趙明的手指在桌面上敲了兩下,也沒接話。
Williams倒是很快開了口:
「論文附了完整的訓練日誌和超參數配置,實驗設計很規範。在沒有復現之前,不要下結論。Kevin,你下午把18層和50層的對照實驗搭起來,用我們的集群跑一遍。」
Kevin張了張嘴,看了看Williams的表情,把話咽了回去。
午飯時間,學術圈的郵件列表已經炸了。
不只是斯坦福。伯克利、CMU、MIT、多倫多,所有做深度學習的組都在討論這篇論文。
谷歌大腦的Jeff Dean在內部郵件里轉發了連結,批註只有一個詞:「Read this。」
臉書AI研究院的Yann LeCun在推特上發了一條:「一篇有趣的論文,來自一個從未聽說過的中國實驗室。殘差連接看起來很有前景。需要復現驗證。」
DeepMind倫敦總部的Slack頻道里吵成了一鍋粥。
但所有的外國研究者都在問同一個問題:JiuTian AI Lab到底是個什麼詞?
谷歌搜不到,領英搜不到,學術資料庫里沒有任何這個實驗室的歷史論文。
第一作者Shaoqing Ren在微軟亞洲研究院有過幾篇論文,但那是一兩年前的事了,之後這個人就從學術界蒸發了。
一個沒有任何學術積累的民間實驗室,第一篇公開論文就丟出了這個量級的東西。
要麼是天才,要麼是騙子。
學術圈更願意相信後者。
但數據擺在那裡。乾乾淨淨,清清楚楚。
傍晚六點半,斯坦福校園的人流稀疏下來。
林之遠和趙明走出蓋茨大樓,沿著棕櫚大道慢慢走。暮色從太平洋方向涌過來,把路面染成橙紅色。
兩個人都是中科大本科,趙明是02級少年班的,林之遠大他一屆。
不過趙明本科畢業後就保送去了清華大學高等研究院,之後兩人在斯坦福相遇,算得上是異國他鄉的故交。
在斯坦福讀博期間互相照應了四年,博士後又在同一個實驗室待了兩年多。
「你下午那句話說得夠直接的。」林之遠先開口。
「Kevin那種人,你不懟他他蹬鼻子上臉。」趙明把雙肩包的肩帶往上提了提,
「一個中國實驗室發篇好論文,他第一反應是偽造數據。換成MIT出來的,他敢這麼說?還有他念『九天』那蹩腳的口音,聽著都讓人來氣。」
林之遠冷嘲地扯了扯嘴角:
「他們什麼時候真正在意過我們的名字怎麼念?咱們在這兒共事兩年多了,組裡的幾個白人有誰能把『Zhiyuan』發准音的?全是一口一個『Z-yuan』。你的『Ming Zhao』,他們到現在還分不清哪個是姓哪個是名,上周教務處的郵件不還在叫你『Mr. Ming』嗎?」
「骨子裡的傲慢罷了。」趙明搖了搖頭,語氣裡帶著嘲弄,
「他們只認得自己制定的規則,根本懶得花哪怕一分鐘去了解我們的文化。所以這幫老外看著『JiuTian』這個詞,全都一頭霧水。他們只認得拼音字母,但咱們華人一看這兩個字,就知道背後是什麼意思。九天,那是天之極。敢起這名字,絕對是憋著一股要把天給捅破的心氣兒!」
林之遠目光動了動,沒接這個話。兩個人走了一段路。
「我托國內的朋友查了。」趙明忽然放低聲音,
「迴響科技,國內一家很大的網際網路公司。做短視頻、資訊、支付,體量很大。九天AI實驗室是他們內部的研發機構,去年底才成立的。」
「網際網路公司搞AI實驗室?」
「對。據說他們在四川有一個規模很大的GPU集群。」
林之遠愣了愣。「你到底想說什麼?」
趙明停下腳步。
「之遠,你在這邊待了多少年了?」
「算上讀博,快七年。」
「我八年。」趙明說,「八年了,你覺得他們真把咱們當自己人了嗎?」
林之遠沉默。
「我去年申教職,六個學校全拒了。論文比同期的人多一倍,引用數高三倍,簡歷白紙黑字擺在那兒,連面試機會都沒有。招聘委員會跟我說『你的研究方向和我們不太匹配』。四個學校,四個一模一樣的理由。」
趙明的聲音很平,但林之遠聽得出底下壓著什麼。
「你還記得朱傳榘嗎?四十年代參與ENIAC研發的核心工程師,設計了二進位邏輯電路。結果ENIAC公開的時候,四個署名全是白人,他直接被除名。三十五年後才拿了個安慰性質的先驅獎。」
「還有六十年代研發分組交換網絡的黃有光,提出網際網路底層的存儲轉發機制,成果直接被白人同事挪用署名;發明FinFET技術給摩爾定律續了二十年命的胡正明,憑一己之力撐起了全球數十億的手機電腦晶片,但在主流媒體的科技史里卻幾乎查無此人。」
林之遠走到路邊一張長椅前坐下來。
「你說這些我都知道。」
「知道是一回事,做決定是另一回事。」趙明在他旁邊坐下,「我前段時間給導師打過電話。」
「楊先生?」
趙明點頭。他本科在中科大讀物理,畢業後保送去了清華大學高等研究院,在楊先生門下研究過一段時間量子信息,再後來出國深造才轉行搞了AI。
雖然跨了界,但他跟導師一直保持著聯繫,導師也很支持他的跨界。
老先生一直在清華任教,如今雖然年過九旬,思維依然清楚,對國內學術動態的關注比很多在職教授還勤。
「楊先生說,國內現在條件和以前不一樣了。算力、資金、政策支持都上來了。有些研究完全可以回去做。」
趙明頓了頓,
「他原話是:『你們這代人比我那代幸運,你們有選擇的權利。但選擇本身就是一種責任。』」
棕櫚大道上的路燈亮了。
林之遠望著遠處胡佛塔的輪廓,半天沒出聲。
他想起了很多事。
想起第一年來的時候,房東聽到口音多收了兩百刀押金。
他想起組會上他的方案被Kevin一句「interesting but not practical」輕飄飄地打發掉。
想起去年聖誕派對,一個喝醉了的教授拍著他肩膀說「你們中國人真勤奮」,語氣里那種居高臨下,藏都藏不住。
他又想起了合肥。想起中科大東區的梧桐樹,想起畢業那天師兄說的話:出去看看世界,但別忘了你是誰。
「好。」林之遠說。
趙明看他一眼:「好什麼?」
「回去。我跟你一起回去。」
兩個人在長椅上坐了很久,天色徹底暗下來,路燈把兩道影子拉得很長。
同一天。
英國劍橋,DeepMind的一間會議室里,三個研究員圍著投影幕布逐頁翻閱補充材料,討論持續到了凌晨一點。
加拿大蒙特婁,Yoshua Bengio的博士生在讀書會上把這篇論文列為本周必讀,PPT做了四十頁。
日本東京,一個專攻圖像識別的研究小組已經在伺服器上搭建復現實驗,組長在白板上寫下了「殘差連接」,畫了個圈。
韓國首爾,KAIST的幾個博士生在實驗室群聊里爭論不休,有人已經在給論文作者發郵件,詢問預訓練模型是否會開源。
以及大洋兩岸各大高校里,不計其數的華人研究者在看到作者名字和單位之後,做了同一個動作。
他們打開瀏覽器,敲下那串讓外國同行摸不著頭腦、卻能讓同胞瞬間血脈賁張的拼音,搜索了「JiuTian AI Lab」。