第177章 計算機深度學習
老教授翻看了一下附錄部分，若有所思。他看著台上站得筆直的趙陽，有些感慨地說道：
「還得是你們年輕人的腦子好用啊。換成是我做到這一步，看到誤差項高估，第一反應絕對是覺得自己算錯了，根本無法跳出這種傳統的思維定式。很棒的年輕人！」
「您過獎了。」
趙陽微微一笑，平靜地回應。
接下來的四十分鐘裡。
禮堂內徹底變成了數論答辯現場。
提問的人不僅有燕大和清華的教授，還有那些被譽為天才的燕大拔尖班的本科生和研究生。
問題越來越刁鑽，切入的角度也千奇百怪。甚至有人試圖用其他數論分支的工具，來攻擊趙陽證明過程中的某些假設前提。
但無論問題多麼複雜，趙陽始終穩穩地站在講台上。
他的回答一針見血，絕不拖泥帶水。
在LV5數學等級和173智商的雙重加持下，這些人的問題，在趙陽面前都是小菜一碟。
在這場持續了兩個多小時的報告和答疑中。
趙陽用絕對的硬實力，向燕京學術圈的這群最聰明的大腦，毫無死角地證明了自己的天賦和才華。
當最後一個提問的博士生心服口服地坐下後。
禮堂內安靜了幾秒鐘。
隨後，坐在第一排正中央的王文淵院士帶頭站了起來，雙手用力地鼓掌。
緊接著，清華的系主任孫健、中科院的研究員，以及後排那三千多名學生，全部自發地站了起來。
雷鳴般的掌聲在大禮堂內轟然炸響，久久不息。
這不是出於禮貌的客套，而是最純粹的學術界同仁，對一位真理發現者發自內心的敬意。
趙陽站在講台上，看著台下黑壓壓的人群和如潮的掌聲，微微點了點頭，算作回應。
隨後，他沒有等待主持人上台做總結陳詞，直接轉身走下講台。
這場報告會後，關於他「不夠謙虛」的質疑聲，在燕京的頂尖高校圈子裡徹底銷聲匿跡。
絕對的實力面前，任何性格上的鋒芒，都會被理所當然地視為天才特有的個性。
在場不少教授和學生都激動地湧向前排，想要跟趙陽搭話，要個簽名或者交流幾句。
但趙陽對此早有預料，他走下講台後，立刻在幾個安保人員的護送下，從大禮堂側面的員工通道迅速離開。沒辦法，人太多了，他沒有精力去應付這種無意義的學術社交。
剛走出禮堂後門沒多遠。
王文淵教授就氣喘吁吁地從後面追了上來，很快找上了趙陽。
「小趙！等一下！」
王文淵快步走到趙陽身邊，臉上帶著抑制不住的興奮，盛讚趙陽思維靈活，而且思路清晰。
「你剛才在台上的反應速度，還有對整個數論體系的宏觀把控能力，簡直讓人嘆為觀止。尤其是解答清華老李關於Weil界的那個問題，處理得太漂亮了！」
趙陽謙虛回應了幾句，隨後看了看時間，便跟王文淵教授提出辭行。
「那行，你今天講了兩個多小時也累了，早點回去休息。燕大的公寓隨時可以去住。」王教授點頭答應。
趙陽離開了燕大，沿著清華東路，步行走回了燕京林業大學。
回到學校的新公寓之後。
趙陽脫下外套，走到書桌前打開了那台高配置的桌上型電腦。
今天在燕大講了兩個小時的純粹數學，他的大腦依然處於一種高度興奮的活躍狀態。
他看了一會兒關於作業系統的英文原版專著，隨後登錄海外代理，打開了美股交易軟體。
此時正好是美股盤前交易時段。
趙陽開啟了超凡心算狀態，迅速接入納斯達克的數據流。
在半個小時的盤前交易中，他敏銳地捕捉到了兩隻科技股的定價偏差，利用五十萬美金的短線帳戶進行了三次快進快出的操作。
賺取了大約八萬美元的利潤後，趙陽關閉了交易軟體。
而此時，另外一邊。
大洋彼岸。
美國，加利福尼亞州，拉霍亞。
這裡是全球計算機科學領域的聖地之一。NIPS（神經信息處理系統大會，後改名為NeurIPS）組委會的審稿辦公室就設在這裡。
距離本屆NIPS大會的截稿日期還有最後兩天。
大會的資深編輯兼審稿委員查理斯，正端著一杯美式咖啡，坐在電腦前。
他的郵箱裡每天都會塞滿來自全球各大高校計算機系和頂尖科技公司的投稿郵件。
查理斯如往常一樣，按照收件順序，機械地清理著郵箱裡的稿件。
「又是關於同步梯度下降參數優化的論文……缺乏底層創新，拒稿。」
查理斯一邊嘟囔著，一邊快速掃過幾篇論文的摘要，將其歸入「拒稿候選項」的文件夾。在目前的硬體算力瓶頸下，大家都在現有的框架里打轉，很難看到讓人眼前一亮的突破。
他點擊滑鼠，打開了下一封未讀郵件。
發件人：Yang Zhao。
查理斯對這個名字沒有任何印象。在計算機科學和深度學習這個圈子裡，這顯然是一個完全陌生的新人。
郵件正文極其簡短，只有一句話：
「解決異步隨機梯度下降中梯度陳舊問題的一種新框架。」
查理斯看到這句話，眉頭微微挑起。
眼神之中閃過一絲好奇。
「解決異步SGD的梯度陳舊問題？這倒是有些稀奇了！」
異步SGD的梯度陳舊問題，是目前整個分布式深度學習領域公認的最大痛點。
異步算法雖然能解決節點間的通信等待時間，但由於各節點計算速度不同，慢節點傳回的「陳舊梯度」會嚴重破壞全局模型的收斂方向。無數頂尖實驗室都在嘗試解決，但從來沒有實驗室拿出來過相對完美的底層架構。
這個投稿人，口氣未免太大了些。
而且這個投稿人，並不是什麼知名人物——至少在計算機深度學習領域是這樣的。
本想直接划走，但稍稍遲疑了一下，抱著萬一的態度，查理斯點開了郵件下方的PDF附件。
論文標題：《一種用於超大規模神經網絡訓練的新型異步分布式框架》
查理斯喝了一口咖啡，態度隨意的開始翻看論文的摘要和引言部分。
一分鐘後。
他放下了手裡的咖啡杯。
十分鐘後。
查理斯的身體坐直了很多，表情嚴肅了很多，他的眼睛盯著論文中關於動態時間戳懲罰機制的推導公式，一動不動。
「這種引入時間差作為衰減權重的數學模型……」
查理斯滑動滑鼠滾輪。
「還得是你們年輕人的腦子好用啊。換成是我做到這一步，看到誤差項高估，第一反應絕對是覺得自己算錯了，根本無法跳出這種傳統的思維定式。很棒的年輕人！」
「您過獎了。」
趙陽微微一笑，平靜地回應。
接下來的四十分鐘裡。
禮堂內徹底變成了數論答辯現場。
提問的人不僅有燕大和清華的教授，還有那些被譽為天才的燕大拔尖班的本科生和研究生。
問題越來越刁鑽，切入的角度也千奇百怪。甚至有人試圖用其他數論分支的工具，來攻擊趙陽證明過程中的某些假設前提。
但無論問題多麼複雜，趙陽始終穩穩地站在講台上。
他的回答一針見血，絕不拖泥帶水。
在LV5數學等級和173智商的雙重加持下，這些人的問題，在趙陽面前都是小菜一碟。
在這場持續了兩個多小時的報告和答疑中。
趙陽用絕對的硬實力，向燕京學術圈的這群最聰明的大腦，毫無死角地證明了自己的天賦和才華。
當最後一個提問的博士生心服口服地坐下後。
禮堂內安靜了幾秒鐘。
隨後，坐在第一排正中央的王文淵院士帶頭站了起來，雙手用力地鼓掌。
緊接著，清華的系主任孫健、中科院的研究員，以及後排那三千多名學生，全部自發地站了起來。
雷鳴般的掌聲在大禮堂內轟然炸響，久久不息。
這不是出於禮貌的客套，而是最純粹的學術界同仁，對一位真理發現者發自內心的敬意。
趙陽站在講台上，看著台下黑壓壓的人群和如潮的掌聲，微微點了點頭，算作回應。
隨後，他沒有等待主持人上台做總結陳詞，直接轉身走下講台。
這場報告會後，關於他「不夠謙虛」的質疑聲，在燕京的頂尖高校圈子裡徹底銷聲匿跡。
絕對的實力面前，任何性格上的鋒芒，都會被理所當然地視為天才特有的個性。
在場不少教授和學生都激動地湧向前排，想要跟趙陽搭話，要個簽名或者交流幾句。
但趙陽對此早有預料，他走下講台後，立刻在幾個安保人員的護送下，從大禮堂側面的員工通道迅速離開。沒辦法，人太多了，他沒有精力去應付這種無意義的學術社交。
剛走出禮堂後門沒多遠。
王文淵教授就氣喘吁吁地從後面追了上來，很快找上了趙陽。
「小趙！等一下！」
王文淵快步走到趙陽身邊，臉上帶著抑制不住的興奮，盛讚趙陽思維靈活，而且思路清晰。
「你剛才在台上的反應速度，還有對整個數論體系的宏觀把控能力，簡直讓人嘆為觀止。尤其是解答清華老李關於Weil界的那個問題，處理得太漂亮了！」
趙陽謙虛回應了幾句，隨後看了看時間，便跟王文淵教授提出辭行。
「那行，你今天講了兩個多小時也累了，早點回去休息。燕大的公寓隨時可以去住。」王教授點頭答應。
趙陽離開了燕大，沿著清華東路，步行走回了燕京林業大學。
回到學校的新公寓之後。
趙陽脫下外套，走到書桌前打開了那台高配置的桌上型電腦。
今天在燕大講了兩個小時的純粹數學，他的大腦依然處於一種高度興奮的活躍狀態。
他看了一會兒關於作業系統的英文原版專著，隨後登錄海外代理，打開了美股交易軟體。
此時正好是美股盤前交易時段。
趙陽開啟了超凡心算狀態，迅速接入納斯達克的數據流。
在半個小時的盤前交易中，他敏銳地捕捉到了兩隻科技股的定價偏差，利用五十萬美金的短線帳戶進行了三次快進快出的操作。
賺取了大約八萬美元的利潤後，趙陽關閉了交易軟體。
而此時，另外一邊。
大洋彼岸。
美國，加利福尼亞州，拉霍亞。
這裡是全球計算機科學領域的聖地之一。NIPS（神經信息處理系統大會，後改名為NeurIPS）組委會的審稿辦公室就設在這裡。
距離本屆NIPS大會的截稿日期還有最後兩天。
大會的資深編輯兼審稿委員查理斯，正端著一杯美式咖啡，坐在電腦前。
他的郵箱裡每天都會塞滿來自全球各大高校計算機系和頂尖科技公司的投稿郵件。
查理斯如往常一樣，按照收件順序，機械地清理著郵箱裡的稿件。
「又是關於同步梯度下降參數優化的論文……缺乏底層創新，拒稿。」
查理斯一邊嘟囔著，一邊快速掃過幾篇論文的摘要，將其歸入「拒稿候選項」的文件夾。在目前的硬體算力瓶頸下，大家都在現有的框架里打轉，很難看到讓人眼前一亮的突破。
他點擊滑鼠，打開了下一封未讀郵件。
發件人：Yang Zhao。
查理斯對這個名字沒有任何印象。在計算機科學和深度學習這個圈子裡，這顯然是一個完全陌生的新人。
郵件正文極其簡短，只有一句話：
「解決異步隨機梯度下降中梯度陳舊問題的一種新框架。」
查理斯看到這句話，眉頭微微挑起。
眼神之中閃過一絲好奇。
「解決異步SGD的梯度陳舊問題？這倒是有些稀奇了！」
異步SGD的梯度陳舊問題，是目前整個分布式深度學習領域公認的最大痛點。
異步算法雖然能解決節點間的通信等待時間，但由於各節點計算速度不同，慢節點傳回的「陳舊梯度」會嚴重破壞全局模型的收斂方向。無數頂尖實驗室都在嘗試解決，但從來沒有實驗室拿出來過相對完美的底層架構。
這個投稿人，口氣未免太大了些。
而且這個投稿人，並不是什麼知名人物——至少在計算機深度學習領域是這樣的。
本想直接划走，但稍稍遲疑了一下，抱著萬一的態度，查理斯點開了郵件下方的PDF附件。
論文標題：《一種用於超大規模神經網絡訓練的新型異步分布式框架》
查理斯喝了一口咖啡，態度隨意的開始翻看論文的摘要和引言部分。
一分鐘後。
他放下了手裡的咖啡杯。
十分鐘後。
查理斯的身體坐直了很多，表情嚴肅了很多，他的眼睛盯著論文中關於動態時間戳懲罰機制的推導公式，一動不動。
「這種引入時間差作為衰減權重的數學模型……」
查理斯滑動滑鼠滾輪。