第647章 殺出的黑馬（中）
葉言翻了翻手裡的日誌：「第七輪疊代剛跑完，驗證集上的Top-1到了64.7%，比上一版又提了一個多點。」
「很好。」郭長征說，「我們再壓一壓，把幾個模型的優劣勢對比清楚。到時候不上傳則已，一上傳就要讓他們追不上。」
許言沉默了一會兒，然後突然笑了。
「也行。」他說，「不窩裡橫了。人家叫『玉泉路扛把子』，好歹是個中國同行，沒給咱們丟臉。」
楚一航接了一句：「而且這名字起得確實可以，我服氣。」
郭長征擺擺手：「行了行了，先幹活。楚一航，你幫我看一下九章平台上那個新版本的調度效率，我感覺還有優化空間。」
「好。」
眾人各自回到工位。
楚一航坐下來之後，又看了一眼排行榜。
「玉泉路扛把子」的59.8%穩穩地掛在第一名的位置。
他盯著那六個字看了幾秒，嘴角微微翹了一下。
然後打開終端，開始敲命令。
與此同時。
地球的另一端，加拿大多倫多大學。
夜色深沉，教研室里依然亮著燈。
亞歷克斯坐在電腦前，滿頭大汗。
他的屏幕上全是紅色和黃色的警告信息，底層的CUDA代碼報出一長串的內存溢出錯誤。
亞歷克斯用力抓了抓自己的頭髮，感覺髮際線又向後退了半厘米。
「該死的顯存管理機制。」亞歷克斯抱怨著，「英偉達的這個接口簡直反人類。我只是想把矩陣乘法的維度增加一點，它就直接崩潰了。」
幾個小時前，傑弗里·辛頓剛來過教研室，看了一眼他們的進度，留下一句「繼續努力」就離開了。
亞歷克斯和幾個教研室的同事連軸轉，修改CUDA的代碼，試圖讓底層硬體能夠適配他們構思的深度卷積神經網絡。
到現在為止，他們才將將把模型架構的bug改好。
真正的訓練過程還沒有開始。
網絡連初始化的權重都沒有跑完。
亞歷克斯覺得眼睛有些乾澀，他決定休息五分鐘。
他打開瀏覽器，順手輸入了ImageNet挑戰賽的網址。
他想看看那些用傳統算法的隊伍，現在在排行榜上鬧出了什麼笑話。
網頁加載完畢。
亞歷克斯靠在椅背上，端起咖啡杯剛準備喝，目光停留在排行榜的第一行。
咖啡杯停在了嘴邊。
亞歷克斯瞪大了眼睛，盯著那個占據榜首的數據。
Top-1：59.8%。
Top-5：76.3%。
「What the...」亞歷克斯發出一聲驚呼。
教研室里的另外兩個同事聽到動靜，轉過頭看著他。
「怎麼了，亞歷克斯？伺服器又炸了？」同事問道。
亞歷克斯沒有回答，他指著屏幕，手指在顫抖。
同事們走過來，看向屏幕。
下一秒，幾個人同時倒吸了一口涼氣。
「59.8%？」一個同事難以置信地讀出數據，「這是ImageNet的榜單嗎？你確定沒有進錯網站？」
亞歷克斯搖搖頭：「絕對沒有。這是官方實時數據。」
亞歷克斯盯著隊伍名稱那一欄。
那是一串他不認識的字符。
【玉泉路扛把子】。
亞歷克斯快速打開谷歌翻譯，把這幾個中文字符複製粘貼進去。
翻譯結果顯示：Yuquan Road Boss（玉泉路黑手黨老大/頭目）。
亞歷克斯愣了片刻。
「這是一個來自中國的隊伍。」亞歷克斯聲音低沉地說道。
同事皺起眉頭：「中國隊伍？他們怎麼做到的？這種精度，傳統的特徵提取算法根本不可能達到。」
亞歷克斯腦子裡閃過一個念頭。
「難道這個也是用了神經網絡算法嗎？」亞歷克斯大聲說道，語氣里充滿了驚訝與不甘。
同事反駁道：「不可能吧。現在全世界在搞深度神經網絡的就這麼幾個實驗室。他們怎麼可能有這麼快的開發速度？」
亞歷克斯指著自己電腦屏幕上那一堆報錯的CUDA代碼。
「我們教研室的幾個人連軸轉，到現在連訓練環境都沒有完全搭好。」亞歷克斯分析道，「比賽才剛開始一個月，他們居然這麼快就搭出了模型，而且跑出了這麼高的精度。」
亞歷克斯心中翻江倒海。
他心想：「這個古老的東方國度，看來還是臥虎藏龍。」
一直以來，北美學術界都認為自己在計算機視覺和深度學習領域占據著絕對的領先地位。
但現在，這個叫「玉泉路扛把子」的隊伍，直接一巴掌打醒了他們。
亞歷克斯深吸了一口氣，轉頭看向同事們。
「各位，我們要保持謙遜。」亞歷克斯認真地說道。
同事們收起了輕視的態度，表情變得凝重起來。
亞歷克斯繼續說道：「雖然不知道是哪位同行，但一定是很有實力的。能達到這樣的正確率，手底下肯定有兩把刷子。」
一個同事分析道：「他們可能用了一些我們不知道的方法。不一定是用了深度學習和神經網絡，也可能是一些新的優化算法。」
亞歷克斯搖搖頭：「不，直覺告訴我，只有神經網絡能處理這麼龐大的參數量。人外有人，天外有天。」
亞歷克斯放下咖啡杯，重新坐直身體。
他的眼神中重新燃起了鬥志。
「我們不能再浪費時間抱怨CUDA難用了。」亞歷克斯雙手重新放回鍵盤上，「中國的同行已經把標準線拉到了百分之六十。如果我們連模型都跑不起來，那才是真正的笑話。」
同事們紛紛點頭，回到自己的工位上。
教研室里的鍵盤敲擊聲再次密集起來。
亞歷克斯緊盯著屏幕，開始逐行排查內存溢出的原因。
時間還要倒回一天前。
史丹福大學人工智慧實驗室的伺服器機房外，走廊里的咖啡機發出沉悶的嗡嗡聲。
陳冉坐在電腦前，對著屏幕打了個長長的哈欠。
作為李飛飛教授團隊裡的博士生，也是一個來自中國的留學生。他最近的任務之一就是盯著ImageNet視覺識別挑戰賽的後台。
這絕對是個體力活。
陳冉需要定期檢查那些參賽隊伍提交的預測結果，看看有沒有人觸發了系統預設的閾值。
比賽已經進行了一段時間，目前的戰況只能說是一潭死水。
大家都在傳統的特徵提取算法里打轉，排行榜第一名的成績卡在Top-1正確率29%，Top-5正確率69%。
這個成績已經掛在榜首兩天了，後面的隊伍每次提交也就是零點幾個百分點的挪動。
陳冉熟練地端起咖啡杯，另一隻手移動滑鼠，點開了系統自動生成的最新一封新紀錄提醒郵件。
「很好。」郭長征說，「我們再壓一壓，把幾個模型的優劣勢對比清楚。到時候不上傳則已，一上傳就要讓他們追不上。」
許言沉默了一會兒，然後突然笑了。
「也行。」他說，「不窩裡橫了。人家叫『玉泉路扛把子』，好歹是個中國同行，沒給咱們丟臉。」
楚一航接了一句：「而且這名字起得確實可以，我服氣。」
郭長征擺擺手：「行了行了，先幹活。楚一航，你幫我看一下九章平台上那個新版本的調度效率，我感覺還有優化空間。」
「好。」
眾人各自回到工位。
楚一航坐下來之後，又看了一眼排行榜。
「玉泉路扛把子」的59.8%穩穩地掛在第一名的位置。
他盯著那六個字看了幾秒，嘴角微微翹了一下。
然後打開終端，開始敲命令。
與此同時。
地球的另一端，加拿大多倫多大學。
夜色深沉，教研室里依然亮著燈。
亞歷克斯坐在電腦前，滿頭大汗。
他的屏幕上全是紅色和黃色的警告信息，底層的CUDA代碼報出一長串的內存溢出錯誤。
亞歷克斯用力抓了抓自己的頭髮，感覺髮際線又向後退了半厘米。
「該死的顯存管理機制。」亞歷克斯抱怨著，「英偉達的這個接口簡直反人類。我只是想把矩陣乘法的維度增加一點，它就直接崩潰了。」
幾個小時前，傑弗里·辛頓剛來過教研室，看了一眼他們的進度，留下一句「繼續努力」就離開了。
亞歷克斯和幾個教研室的同事連軸轉，修改CUDA的代碼，試圖讓底層硬體能夠適配他們構思的深度卷積神經網絡。
到現在為止，他們才將將把模型架構的bug改好。
真正的訓練過程還沒有開始。
網絡連初始化的權重都沒有跑完。
亞歷克斯覺得眼睛有些乾澀，他決定休息五分鐘。
他打開瀏覽器，順手輸入了ImageNet挑戰賽的網址。
他想看看那些用傳統算法的隊伍，現在在排行榜上鬧出了什麼笑話。
網頁加載完畢。
亞歷克斯靠在椅背上，端起咖啡杯剛準備喝，目光停留在排行榜的第一行。
咖啡杯停在了嘴邊。
亞歷克斯瞪大了眼睛，盯著那個占據榜首的數據。
Top-1：59.8%。
Top-5：76.3%。
「What the...」亞歷克斯發出一聲驚呼。
教研室里的另外兩個同事聽到動靜，轉過頭看著他。
「怎麼了，亞歷克斯？伺服器又炸了？」同事問道。
亞歷克斯沒有回答，他指著屏幕，手指在顫抖。
同事們走過來，看向屏幕。
下一秒，幾個人同時倒吸了一口涼氣。
「59.8%？」一個同事難以置信地讀出數據，「這是ImageNet的榜單嗎？你確定沒有進錯網站？」
亞歷克斯搖搖頭：「絕對沒有。這是官方實時數據。」
亞歷克斯盯著隊伍名稱那一欄。
那是一串他不認識的字符。
【玉泉路扛把子】。
亞歷克斯快速打開谷歌翻譯，把這幾個中文字符複製粘貼進去。
翻譯結果顯示：Yuquan Road Boss（玉泉路黑手黨老大/頭目）。
亞歷克斯愣了片刻。
「這是一個來自中國的隊伍。」亞歷克斯聲音低沉地說道。
同事皺起眉頭：「中國隊伍？他們怎麼做到的？這種精度，傳統的特徵提取算法根本不可能達到。」
亞歷克斯腦子裡閃過一個念頭。
「難道這個也是用了神經網絡算法嗎？」亞歷克斯大聲說道，語氣里充滿了驚訝與不甘。
同事反駁道：「不可能吧。現在全世界在搞深度神經網絡的就這麼幾個實驗室。他們怎麼可能有這麼快的開發速度？」
亞歷克斯指著自己電腦屏幕上那一堆報錯的CUDA代碼。
「我們教研室的幾個人連軸轉，到現在連訓練環境都沒有完全搭好。」亞歷克斯分析道，「比賽才剛開始一個月，他們居然這麼快就搭出了模型，而且跑出了這麼高的精度。」
亞歷克斯心中翻江倒海。
他心想：「這個古老的東方國度，看來還是臥虎藏龍。」
一直以來，北美學術界都認為自己在計算機視覺和深度學習領域占據著絕對的領先地位。
但現在，這個叫「玉泉路扛把子」的隊伍，直接一巴掌打醒了他們。
亞歷克斯深吸了一口氣，轉頭看向同事們。
「各位，我們要保持謙遜。」亞歷克斯認真地說道。
同事們收起了輕視的態度，表情變得凝重起來。
亞歷克斯繼續說道：「雖然不知道是哪位同行，但一定是很有實力的。能達到這樣的正確率，手底下肯定有兩把刷子。」
一個同事分析道：「他們可能用了一些我們不知道的方法。不一定是用了深度學習和神經網絡，也可能是一些新的優化算法。」
亞歷克斯搖搖頭：「不，直覺告訴我，只有神經網絡能處理這麼龐大的參數量。人外有人，天外有天。」
亞歷克斯放下咖啡杯，重新坐直身體。
他的眼神中重新燃起了鬥志。
「我們不能再浪費時間抱怨CUDA難用了。」亞歷克斯雙手重新放回鍵盤上，「中國的同行已經把標準線拉到了百分之六十。如果我們連模型都跑不起來，那才是真正的笑話。」
同事們紛紛點頭，回到自己的工位上。
教研室里的鍵盤敲擊聲再次密集起來。
亞歷克斯緊盯著屏幕，開始逐行排查內存溢出的原因。
時間還要倒回一天前。
史丹福大學人工智慧實驗室的伺服器機房外，走廊里的咖啡機發出沉悶的嗡嗡聲。
陳冉坐在電腦前，對著屏幕打了個長長的哈欠。
作為李飛飛教授團隊裡的博士生，也是一個來自中國的留學生。他最近的任務之一就是盯著ImageNet視覺識別挑戰賽的後台。
這絕對是個體力活。
陳冉需要定期檢查那些參賽隊伍提交的預測結果，看看有沒有人觸發了系統預設的閾值。
比賽已經進行了一段時間，目前的戰況只能說是一潭死水。
大家都在傳統的特徵提取算法里打轉，排行榜第一名的成績卡在Top-1正確率29%，Top-5正確率69%。
這個成績已經掛在榜首兩天了，後面的隊伍每次提交也就是零點幾個百分點的挪動。
陳冉熟練地端起咖啡杯，另一隻手移動滑鼠，點開了系統自動生成的最新一封新紀錄提醒郵件。