第637章 全球的關注
「用ReLU做激活函數，收斂速度更快。再加入Dropout機制，隨機讓部分神經元失活，防止過擬合。」亞歷克斯一口氣說出了兩個核心優化點。
辛頓在一旁聽著，對這個架構方案頻頻點頭。
「理論框架非常完美，現在只剩下一個現實問題。」亞歷克斯停下筆，看著自己工位上那台破舊的主機。
「別看我，我這個月的津貼只夠吃快餐，買不起企業級的計算卡。」伊利亞攤了攤手。
辛頓整理了一下衣領，走向教研室的門。
「硬體設備的事情交給我。既然是證明並行計算的潛力，我們不需要昂貴的企業級伺服器。」辛頓包攬了採購任務。
「那買什麼？」亞歷克斯問。
「我去電腦城買兩塊三百美元的頂配遊戲顯卡。用來打遊戲太浪費，用來跑矩陣運算剛剛好。」辛頓語氣輕鬆。
走到門口，辛頓又停下了腳步。
「學校的經費審批流程太長，我先去聯繫採購，直接刷我的卡。你們的任務，就是把代碼的底層邏輯重構好。」辛頓說完，大步流星地離開了教研室。
教研室里，亞歷克斯和伊利亞對視了一眼。
「老闆親自去當硬體採購員了，我們還有什麼理由不通宵？」伊利亞調出了一個全新的代碼工程文件。
亞歷克斯拉過鍵盤，活動了一下手指。
「準備好讓那些還在用CPU排隊跑數據的同行們感受震撼了嗎？我要讓AlexNet的錯誤率，成為他們無法企及的數據。」亞歷克斯盯著屏幕，敲下了第一行底層重構代碼。
目光轉向全球的其他地方。
這個百萬級別的數據集公開後，各地的研究團隊都迅速行動起來。
麻省理工學院的一間機房裡。
幾名研究員正在白板上畫著各種算法流程圖。
「我說過很多次了，我們需要優化支持向量機的核函數。」一個穿著格子襯衫的男生大聲說道。
旁邊的女生立刻反駁。
「修改核函數根本解決不了根本問題！計算量依然龐大到無法接受。」女生用筆敲擊著桌面。
格子襯衫男生很不服氣。
「那你有什麼更好的方案？難道用隨機森林？」男生質問。
女生毫不退讓。
「我們可以嘗試把圖像分塊提取特徵，然後再進行融合。」女生提出自己的見解。
兩人各執一詞，誰也說服不了誰。
在日本東京大學的一間實驗室里。
幾個研究員正圍在一台電腦前，滿頭大汗地盯著屏幕。
「底層邏輯綜合失敗了。」負責操作的研究員報告。
站在後面的帶頭人皺緊眉頭。
「重新檢查語法。我們不能依賴現成的軟體，必須自己用硬體描述語言寫出最快的加速器。」帶頭人下達命令。
「可是這樣開發周期太長了，比賽時間有限。」操作員提出擔心。
帶頭人拍了拍操作員的肩膀。
「只要我們堅持下去，就一定能比別人更快跑完模型。今晚大家繼續加班。」帶頭人鼓勵道。
在印度的一所知名理工學院裡。
網絡擁堵導致下載數據集的進度條幾乎停滯。
「這網速太慢了，照這個速度，比賽結束我們都下載不完。」一個男生拍著桌子抱怨。
旁邊的同學拿出一個U盤。
「別慌，我寫了一個腳本，可以把下載任務分散到校園裡其他閒置的電腦上，然後再合併。」同學展示自己的成果。
「太棒了，趕緊運行。」男生催促。
整個世界的頂級技術團隊都在研究同一套數據集。
每一天都有無數行代碼被編寫出來，然後又被刪除。
大衛在斯坦福的實驗室里吃著披薩，眼睛盯著屏幕上的進度條。
「27.2%。提升了零點五個百分點。」大衛咬了一口披薩，匯報結果。
約翰在旁邊喝著可樂。
「照這個速度，飛飛教授預測的32%真的就是天花板了。」約翰嘆氣。
大衛擦了擦手。
「不行，我得再換一種特徵描述符試試。我不信邪。」大衛重新握住滑鼠。
多倫多大學這邊，亞歷克斯敲擊鍵盤的速度越來越快。
「網絡結構的第一層定義完成了。」亞歷克斯轉頭對伊利亞說。
伊利亞湊過來看代碼。
「步長設置得是不是有些大？這會丟失一些細節特徵。」伊利亞提出建議。
亞歷克斯思考了一下。
「步長大會減少計算量，我們在後面的層級再把特徵補回來。先跑起來看看效果。」亞歷克斯堅持自己的設計。
辛頓走進教研室，拿著兩盒咖啡。
「大家休息一下，喝點東西。」辛頓把咖啡分給大家。
亞歷克斯接過咖啡。
「教授，英偉達的顯卡買到了嗎？」亞歷克斯問。
辛頓點點頭。
「已經下單了，明天就能送到。一共四張頂配卡。」辛頓回答。
伊利亞興奮地搓手。
「太好了，明天我們就可以開始真正的模型訓練了。」伊利亞迫不及待。
在這些頂級實驗室里，枯燥的調試和爭論每天都在上演。
大家都在為了提高百分之一的正確率而不斷嘗試。
大衛又一次把鍵盤推開。
「我又失敗了。這次的模型直接陷入了局部最優解，出不來了。」大衛揉著太陽穴。
約翰走過來拍了拍大衛的後背。
「去睡一覺吧，大衛。你的大腦需要重啟了。」約翰建議。
大衛站起身。
「我覺得代碼沒問題，肯定是參數給的不對。明天我把學習率調小一點再試。」大衛嘀咕著離開實驗室。
第二天，亞歷克斯拆開顯卡的包裝盒。
「終於到了。這做工，看著就很能算。」亞歷克斯拿起顯卡端詳。
伊利亞拿來螺絲刀。
「趕緊裝到伺服器上。我已經把驅動程序下載好了。」伊利亞催促。
兩人合力把顯卡安裝好，開機測試。
屏幕上順利顯示出四張顯卡的信息。
「完美識別。現在開始分配顯存。」亞歷克斯在終端里輸入指令。
辛頓站在一旁看著他們操作。
「注意散熱，別把實驗室點著了。」辛頓半開玩笑地提醒。
伊利亞啟動了訓練程序。
終端窗口開始瘋狂滾動數字。
「速度快了好多倍！這在以前簡直不敢想像！」伊利亞盯著屏幕上的時間預估，大聲喊道。
亞歷克斯也露出滿意的笑容。
「這就是並行計算的魅力。老黃這次算是做了一件大好事。」亞歷克斯調侃。
大家各自守在電腦前，緊盯著自己團隊的進度。
麻省理工的隊伍決定放棄支持向量機，開始研究新的分類器。
東京大學的團隊在經歷了三次語法錯誤後，終於編譯成功了第一版底層邏輯。
印度團隊利用全校的閒散算力，終於用了一個月時間，下完了全部的一百多萬張圖片。
辛頓在一旁聽著，對這個架構方案頻頻點頭。
「理論框架非常完美，現在只剩下一個現實問題。」亞歷克斯停下筆，看著自己工位上那台破舊的主機。
「別看我，我這個月的津貼只夠吃快餐，買不起企業級的計算卡。」伊利亞攤了攤手。
辛頓整理了一下衣領，走向教研室的門。
「硬體設備的事情交給我。既然是證明並行計算的潛力，我們不需要昂貴的企業級伺服器。」辛頓包攬了採購任務。
「那買什麼？」亞歷克斯問。
「我去電腦城買兩塊三百美元的頂配遊戲顯卡。用來打遊戲太浪費，用來跑矩陣運算剛剛好。」辛頓語氣輕鬆。
走到門口，辛頓又停下了腳步。
「學校的經費審批流程太長，我先去聯繫採購，直接刷我的卡。你們的任務，就是把代碼的底層邏輯重構好。」辛頓說完，大步流星地離開了教研室。
教研室里，亞歷克斯和伊利亞對視了一眼。
「老闆親自去當硬體採購員了，我們還有什麼理由不通宵？」伊利亞調出了一個全新的代碼工程文件。
亞歷克斯拉過鍵盤，活動了一下手指。
「準備好讓那些還在用CPU排隊跑數據的同行們感受震撼了嗎？我要讓AlexNet的錯誤率，成為他們無法企及的數據。」亞歷克斯盯著屏幕，敲下了第一行底層重構代碼。
目光轉向全球的其他地方。
這個百萬級別的數據集公開後，各地的研究團隊都迅速行動起來。
麻省理工學院的一間機房裡。
幾名研究員正在白板上畫著各種算法流程圖。
「我說過很多次了，我們需要優化支持向量機的核函數。」一個穿著格子襯衫的男生大聲說道。
旁邊的女生立刻反駁。
「修改核函數根本解決不了根本問題！計算量依然龐大到無法接受。」女生用筆敲擊著桌面。
格子襯衫男生很不服氣。
「那你有什麼更好的方案？難道用隨機森林？」男生質問。
女生毫不退讓。
「我們可以嘗試把圖像分塊提取特徵，然後再進行融合。」女生提出自己的見解。
兩人各執一詞，誰也說服不了誰。
在日本東京大學的一間實驗室里。
幾個研究員正圍在一台電腦前，滿頭大汗地盯著屏幕。
「底層邏輯綜合失敗了。」負責操作的研究員報告。
站在後面的帶頭人皺緊眉頭。
「重新檢查語法。我們不能依賴現成的軟體，必須自己用硬體描述語言寫出最快的加速器。」帶頭人下達命令。
「可是這樣開發周期太長了，比賽時間有限。」操作員提出擔心。
帶頭人拍了拍操作員的肩膀。
「只要我們堅持下去，就一定能比別人更快跑完模型。今晚大家繼續加班。」帶頭人鼓勵道。
在印度的一所知名理工學院裡。
網絡擁堵導致下載數據集的進度條幾乎停滯。
「這網速太慢了，照這個速度，比賽結束我們都下載不完。」一個男生拍著桌子抱怨。
旁邊的同學拿出一個U盤。
「別慌，我寫了一個腳本，可以把下載任務分散到校園裡其他閒置的電腦上，然後再合併。」同學展示自己的成果。
「太棒了，趕緊運行。」男生催促。
整個世界的頂級技術團隊都在研究同一套數據集。
每一天都有無數行代碼被編寫出來，然後又被刪除。
大衛在斯坦福的實驗室里吃著披薩，眼睛盯著屏幕上的進度條。
「27.2%。提升了零點五個百分點。」大衛咬了一口披薩，匯報結果。
約翰在旁邊喝著可樂。
「照這個速度，飛飛教授預測的32%真的就是天花板了。」約翰嘆氣。
大衛擦了擦手。
「不行，我得再換一種特徵描述符試試。我不信邪。」大衛重新握住滑鼠。
多倫多大學這邊，亞歷克斯敲擊鍵盤的速度越來越快。
「網絡結構的第一層定義完成了。」亞歷克斯轉頭對伊利亞說。
伊利亞湊過來看代碼。
「步長設置得是不是有些大？這會丟失一些細節特徵。」伊利亞提出建議。
亞歷克斯思考了一下。
「步長大會減少計算量，我們在後面的層級再把特徵補回來。先跑起來看看效果。」亞歷克斯堅持自己的設計。
辛頓走進教研室，拿著兩盒咖啡。
「大家休息一下，喝點東西。」辛頓把咖啡分給大家。
亞歷克斯接過咖啡。
「教授，英偉達的顯卡買到了嗎？」亞歷克斯問。
辛頓點點頭。
「已經下單了，明天就能送到。一共四張頂配卡。」辛頓回答。
伊利亞興奮地搓手。
「太好了，明天我們就可以開始真正的模型訓練了。」伊利亞迫不及待。
在這些頂級實驗室里，枯燥的調試和爭論每天都在上演。
大家都在為了提高百分之一的正確率而不斷嘗試。
大衛又一次把鍵盤推開。
「我又失敗了。這次的模型直接陷入了局部最優解，出不來了。」大衛揉著太陽穴。
約翰走過來拍了拍大衛的後背。
「去睡一覺吧，大衛。你的大腦需要重啟了。」約翰建議。
大衛站起身。
「我覺得代碼沒問題，肯定是參數給的不對。明天我把學習率調小一點再試。」大衛嘀咕著離開實驗室。
第二天，亞歷克斯拆開顯卡的包裝盒。
「終於到了。這做工，看著就很能算。」亞歷克斯拿起顯卡端詳。
伊利亞拿來螺絲刀。
「趕緊裝到伺服器上。我已經把驅動程序下載好了。」伊利亞催促。
兩人合力把顯卡安裝好，開機測試。
屏幕上順利顯示出四張顯卡的信息。
「完美識別。現在開始分配顯存。」亞歷克斯在終端里輸入指令。
辛頓站在一旁看著他們操作。
「注意散熱，別把實驗室點著了。」辛頓半開玩笑地提醒。
伊利亞啟動了訓練程序。
終端窗口開始瘋狂滾動數字。
「速度快了好多倍！這在以前簡直不敢想像！」伊利亞盯著屏幕上的時間預估，大聲喊道。
亞歷克斯也露出滿意的笑容。
「這就是並行計算的魅力。老黃這次算是做了一件大好事。」亞歷克斯調侃。
大家各自守在電腦前，緊盯著自己團隊的進度。
麻省理工的隊伍決定放棄支持向量機，開始研究新的分類器。
東京大學的團隊在經歷了三次語法錯誤後，終於編譯成功了第一版底層邏輯。
印度團隊利用全校的閒散算力，終於用了一個月時間，下完了全部的一百多萬張圖片。