第181章 論文通過!
最大的質疑點依然集中在時間上。
「時間太短了!這根本不符合常理!」水木清華計算機版塊的一個高樓帖子裡,一位認證為某大廠算法工程師的用戶發帖分析。
「異步SGD的算法架構,從建立數學模型,到寫代碼實現,再到搭建幾百個節點的測試環境跑數據,最後排版成純英文的學術格式。這一套流程下來,一個配合默契的五人博士團隊,最快也需要三個月。他一個人幾天就搞定了?這根本不像人類能夠做到的事情。」
「我也覺得離譜。除非他是個不需要吃飯睡覺的機器人,大腦自帶C++編譯器。」
「或者是他背後有一個極其龐大的智囊團,趙陽只是被推到台前的一個學術符號?」
網絡上的質疑聲一浪高過一浪。
但對於這些輿論,無論是作為聯合培養合作方的燕京大學,還是趙陽的母校燕京林業大學,在經過內部高層緊急磋商後,都選擇了保持絕對的克制和沉默。
燕林大宣傳部接到了周立民校長的死命令:不接受採訪,不發表聲明,不對外確認。
原因很簡單。目前這則消息,僅僅只是NIPS的一位編輯查理斯發在個人社交帳號上的單方面言論。
雖然趙陽本人承認了投稿,但學術界有學術界的鐵律。在論文沒有經過嚴格的同行盲審、沒有拿到官方正式的Accept(接收)通知郵件之前,一切都存在變數。
如果現在校方大張旗鼓地幫趙陽站台宣傳,萬一後續論文在復現過程中出現哪怕一丁點致命的代碼錯誤導致被拒稿,那兩所高校的聲譽都會跟著受到嚴重的牽連。
學術研究,容不得半點粉飾和浮躁,只能用最終的錄用結果說話。
所以,校方選擇了閉嘴。
外界的網民和媒體找不到官方的回應,只能繼續在網絡上進行著無休止的猜測。
而與此同時。
在美國的幾個頂級計算機實驗室里,一場極其嚴苛的代碼復現和盲審工作,正在緊張地進行著。
麻薩諸塞州,劍橋市。
麻省理工學院計算機科學與人工智慧實驗室(MIT CSAIL)。
這裡是全球計算機科學研究的最高殿堂之一。
一間布滿各種伺服器機櫃和工作站的實驗室里。
分布式計算領域的頂尖專家、CSAIL的資深教授羅伯特,此時面色凝重地坐在主控台前。
四個小時前,他接到了NIPS執行會長的緊急私人電話,並簽署了嚴格的保密協議,拿到了那篇署名為Yang Zhao的盲審論文PDF文件。
在看完論文第二部分的數學推導後,羅伯特的反應和查理斯完全一樣。
震驚與興奮。
這套基於節點延遲時間設置動態指數懲罰權重的數學模型,在理論上有極高的可行性!
論文裡,通過一些分布式結構和特殊方式,規避了之前那些研究者通過複雜的通信鎖的錯誤。
不過計算機科學是一門實證科學。數學公式再漂亮,如果不能在代碼層面跑通,那也就是一堆廢紙。
雖然單看論文,幾乎可以確定九成以上沒問題,但最終要證實論文可行性,還是需要做實驗。
想到這兒,沒有任何遲疑,羅伯特開口叫來了自己實驗室最出色的兩名博士後。
「戴維,邁克,把本地的集群切出一塊隔離區。準備復現這篇論文裡的算法。」
兩名博士後立刻走到副控台前,開始敲擊鍵盤。
「教授,需要調用多少個節點?」
戴維問道。
「分配128個物理計算節點,構建一個完全分布式的異步環境。」
羅伯特看著論文第三部分的實驗參數,稍稍沉吟了一下。
「按照論文裡的設定,向其中40個節點注入隨機網絡延遲。延遲範圍設置在100毫秒到500毫秒之間,模擬極端惡劣的陳舊梯度環境。」
「明白。」
很快,兩個博士後開始迅速按照論文之中的實驗流程進行操作。
羅伯特將論文附件中提供的那段核心C++架構代碼提取出來,親自進行編譯。
代碼非常簡潔,沒有一行多餘的冗餘注釋。
「這種代碼風格……簡直像是一台精密的機器寫出來的。」羅伯特一邊檢查代碼,一邊在心裡暗自驚嘆。
十分鐘後,編譯通過,沒有報錯。
「模型部署完畢。數據集使用標準的ImageNet子集。」
戴維匯報導。
「開始運行測試程序。疊代周期設定為10000個Epoch。」羅伯特下達了指令。
回車鍵敲下。
主控台屏幕上,黑色的終端窗口瞬間開始輸出運行日誌。
三個人站在屏幕前,眼睛地盯著不斷刷新的數據行。
隨著算力的持續滿載輸出,實驗室里的空調系統自動加大了製冷功率。
二十分鐘後。
終端日誌的滾動停止。一萬次疊代周期全部跑完。
羅伯特親自移動滑鼠,輸入指令,調出了最終的訓練Loss收斂曲線。
曲線圖頁面跳出來。
整個曲線的形態,和論文中給出的實驗數據圖表情況幾乎完全一致。
戴維和邁克兩個博士後面面相覷,都能看到對方眼中的震驚。
困擾了他們實驗室整整一年的異步網絡收斂發散問題,就這樣被乾淨利落地解決了。
羅伯特教授站在屏幕前,看著那條紅色的收斂曲線。
他推了推眼鏡,深深吸了一口氣,然後緩緩吐出來。
「沒有任何造假。數學推導完美,工程代碼落地完美。」
羅伯特的聲音在機房裡響起。
「這項技術一旦開源,未來五年內的大規模模型訓練框架,都要在它的基礎上進行重寫。」
羅伯特轉身回到自己的辦公桌前。
他打開NIPS的內部審稿系統,找到趙陽那篇論文。
在最終的審稿意見欄里,他沒有寫長篇大論的評價。對於這種奠基級別的論文,任何修改意見都是多餘的。
他直接勾選了最高級別的評價選項。
【Strong Accept】(強烈建議接收)
並在補充說明里敲下了一行字。
「時間太短了!這根本不符合常理!」水木清華計算機版塊的一個高樓帖子裡,一位認證為某大廠算法工程師的用戶發帖分析。
「異步SGD的算法架構,從建立數學模型,到寫代碼實現,再到搭建幾百個節點的測試環境跑數據,最後排版成純英文的學術格式。這一套流程下來,一個配合默契的五人博士團隊,最快也需要三個月。他一個人幾天就搞定了?這根本不像人類能夠做到的事情。」
「我也覺得離譜。除非他是個不需要吃飯睡覺的機器人,大腦自帶C++編譯器。」
「或者是他背後有一個極其龐大的智囊團,趙陽只是被推到台前的一個學術符號?」
網絡上的質疑聲一浪高過一浪。
但對於這些輿論,無論是作為聯合培養合作方的燕京大學,還是趙陽的母校燕京林業大學,在經過內部高層緊急磋商後,都選擇了保持絕對的克制和沉默。
燕林大宣傳部接到了周立民校長的死命令:不接受採訪,不發表聲明,不對外確認。
原因很簡單。目前這則消息,僅僅只是NIPS的一位編輯查理斯發在個人社交帳號上的單方面言論。
雖然趙陽本人承認了投稿,但學術界有學術界的鐵律。在論文沒有經過嚴格的同行盲審、沒有拿到官方正式的Accept(接收)通知郵件之前,一切都存在變數。
如果現在校方大張旗鼓地幫趙陽站台宣傳,萬一後續論文在復現過程中出現哪怕一丁點致命的代碼錯誤導致被拒稿,那兩所高校的聲譽都會跟著受到嚴重的牽連。
學術研究,容不得半點粉飾和浮躁,只能用最終的錄用結果說話。
所以,校方選擇了閉嘴。
外界的網民和媒體找不到官方的回應,只能繼續在網絡上進行著無休止的猜測。
而與此同時。
在美國的幾個頂級計算機實驗室里,一場極其嚴苛的代碼復現和盲審工作,正在緊張地進行著。
麻薩諸塞州,劍橋市。
麻省理工學院計算機科學與人工智慧實驗室(MIT CSAIL)。
這裡是全球計算機科學研究的最高殿堂之一。
一間布滿各種伺服器機櫃和工作站的實驗室里。
分布式計算領域的頂尖專家、CSAIL的資深教授羅伯特,此時面色凝重地坐在主控台前。
四個小時前,他接到了NIPS執行會長的緊急私人電話,並簽署了嚴格的保密協議,拿到了那篇署名為Yang Zhao的盲審論文PDF文件。
在看完論文第二部分的數學推導後,羅伯特的反應和查理斯完全一樣。
震驚與興奮。
這套基於節點延遲時間設置動態指數懲罰權重的數學模型,在理論上有極高的可行性!
論文裡,通過一些分布式結構和特殊方式,規避了之前那些研究者通過複雜的通信鎖的錯誤。
不過計算機科學是一門實證科學。數學公式再漂亮,如果不能在代碼層面跑通,那也就是一堆廢紙。
雖然單看論文,幾乎可以確定九成以上沒問題,但最終要證實論文可行性,還是需要做實驗。
想到這兒,沒有任何遲疑,羅伯特開口叫來了自己實驗室最出色的兩名博士後。
「戴維,邁克,把本地的集群切出一塊隔離區。準備復現這篇論文裡的算法。」
兩名博士後立刻走到副控台前,開始敲擊鍵盤。
「教授,需要調用多少個節點?」
戴維問道。
「分配128個物理計算節點,構建一個完全分布式的異步環境。」
羅伯特看著論文第三部分的實驗參數,稍稍沉吟了一下。
「按照論文裡的設定,向其中40個節點注入隨機網絡延遲。延遲範圍設置在100毫秒到500毫秒之間,模擬極端惡劣的陳舊梯度環境。」
「明白。」
很快,兩個博士後開始迅速按照論文之中的實驗流程進行操作。
羅伯特將論文附件中提供的那段核心C++架構代碼提取出來,親自進行編譯。
代碼非常簡潔,沒有一行多餘的冗餘注釋。
「這種代碼風格……簡直像是一台精密的機器寫出來的。」羅伯特一邊檢查代碼,一邊在心裡暗自驚嘆。
十分鐘後,編譯通過,沒有報錯。
「模型部署完畢。數據集使用標準的ImageNet子集。」
戴維匯報導。
「開始運行測試程序。疊代周期設定為10000個Epoch。」羅伯特下達了指令。
回車鍵敲下。
主控台屏幕上,黑色的終端窗口瞬間開始輸出運行日誌。
三個人站在屏幕前,眼睛地盯著不斷刷新的數據行。
隨著算力的持續滿載輸出,實驗室里的空調系統自動加大了製冷功率。
二十分鐘後。
終端日誌的滾動停止。一萬次疊代周期全部跑完。
羅伯特親自移動滑鼠,輸入指令,調出了最終的訓練Loss收斂曲線。
曲線圖頁面跳出來。
整個曲線的形態,和論文中給出的實驗數據圖表情況幾乎完全一致。
戴維和邁克兩個博士後面面相覷,都能看到對方眼中的震驚。
困擾了他們實驗室整整一年的異步網絡收斂發散問題,就這樣被乾淨利落地解決了。
羅伯特教授站在屏幕前,看著那條紅色的收斂曲線。
他推了推眼鏡,深深吸了一口氣,然後緩緩吐出來。
「沒有任何造假。數學推導完美,工程代碼落地完美。」
羅伯特的聲音在機房裡響起。
「這項技術一旦開源,未來五年內的大規模模型訓練框架,都要在它的基礎上進行重寫。」
羅伯特轉身回到自己的辦公桌前。
他打開NIPS的內部審稿系統,找到趙陽那篇論文。
在最終的審稿意見欄里,他沒有寫長篇大論的評價。對於這種奠基級別的論文,任何修改意見都是多餘的。
他直接勾選了最高級別的評價選項。
【Strong Accept】(強烈建議接收)
並在補充說明里敲下了一行字。