第80章 標準答案≠正確答案！
【達瓦里氏，請不要自我滿足！】
【科學的道路上，停下腳步就是在倒退，布爾什維克同志從不滿足於眼前的小勝利，更不會在敵人尚未完全擊潰時提前慶功！】
【偉大的衛國戰爭告訴我們，貪圖享樂絕對不能取得勝利！】
【真正的學霸，理應勇於挑戰更高的科研難題！】
【任務觸發：優化當前課題組所涉及的核心技術！】
【任務完成標準：完成一項核心技術的優化。】
【任務獎勵：
1.學科經驗值（具體數值根據完成質量結算）
2.隨機寶箱×2
3.體質提升獎品×1
4.600積分】
【任務時限：180日內（即日起開始計算。）】
【備註：達瓦里氏，加油！為了紅色科研的發展，請勇敢無畏的向前沖，去看書看文獻學習，特別是計算機底層架構和並行計算相關的！
【推薦：米哈伊爾·卡爾采夫與布里克於合著的《計算系統與同步算術》】
漆昊有些無奈地嘆了口氣。
這系統，還真是看不得他閒下來。
不過這次獎品好像異常豐富啊。
系統還好心地給了參考書。
可問題是，正值春節假期，各大圖書館開放時間都有限，想去找書也困難。
沒辦法，漆昊只能轉戰網絡，幸好之前找蘇聯文獻的功底還在，最後漆昊還真的找到了《計算系統與同步算術》的PDF版本。
點開文檔屬性，當看到作者欄的介紹後，他突然明白系統推薦這本冷門老書的原因了。
米哈伊爾·亞歷山德羅維奇·卡爾采夫。
這位蘇聯的計算機大佬，是世界並行計算領域最早的探路人之一。
早在上世紀五六十年代，當全球計算機行業還在執著於打磨單核主頻和指令執行效率時，卡爾采夫這個天才，就開始摸索多處理器同步並行的可能，還造出了蘇聯獨特的M系列電子管計算機。
很牛對吧？
但其實是被落後的半導體工藝逼出來的。
在冷戰對峙的年代，西方的矽工藝吊打蘇聯，更側重於單核主頻的提升與精密的指令流水線設計，而蘇聯在電晶體和集成電路工藝上長期落後。
卡爾采夫當年接手項目時，面對的就是這樣一堆爛攤子。
手裡全是一些性能拉胯甚至工藝穩定性都無法保證的低端硬體，卻要在這種物理限制下，把重要系統需要的龐大算力堆起來。
而這位天才給出的解法，至今看去都帶著一股蘇式暴力美學，硬體不夠，架構來湊。
既然單個運算單元跑不快，那就搞並行運算陣列。
靠著這個思路，卡爾采夫作為總設計師，主持設計了蘇聯M-10並行超級計算機體系，隨後又親手主導了第四代多處理器向量計算機M-13架構的前期工作，支撐起了重要系統的核心算力。
而漆昊手裡的這本《計算系統與同步算術》，算得上是卡爾采夫多年經驗的一個總結。
當然，裡面沒有涉密技術，可即便如此，當漆昊耐著性子往下讀了幾頁後，整個人還是被書里的內容給震住了。
強是真的強。
卡爾采夫大佬仿佛想把每個硬體知識拆開塞進他腦子裡。
由於年代久遠加上俄譯漢的語境偏差和專業基礎問題，書中很多細節內容，漆昊看得還是頭疼。
他站起身，打算去喝杯水緩緩。
此時，陳工正守在幾台嗡嗡作響的伺服器前，唉聲嘆氣。
「陳工，這是在幹嘛嗎？」漆昊端著杯子好奇走過去問道。
陳工一看是他，也就照實說了：「公司的任務，我在嘗試訓練神經網絡。」
「汪總提過一個設想，認為未來的無人機必須裝上眼睛，我們要實現室內的視覺自主定位懸停，甚至想讓飛機底部的攝像頭能自動辨識障礙物，自動鎖定並跟蹤一個移動的目標，想要解決這種計算機視覺和自適應控制難題，傳統控制理論根本不行，唯一的出路，就是機器學習和神經網絡。」
「那怎麼樣了？」漆昊好奇問道。
陳工嘆了口氣，指著屏幕上緩慢爬行的進度條，苦笑道：「太慢了，用的是機載實拍圖像數據集，解析度高樣本量大，就這麼個簡單三層網絡，一輪疊代也要跑上幾個小時，這要是以後網絡層數加深，光是調參訓練就能把我們耗死。」
漆昊看著屏幕上幾乎被占滿的CPU使用率，心中突然動了一下，開口問道：「陳工，學術界和工業界現在為什麼普遍用CPU來訓練？為什麼不找更高效的硬體？」
陳工聽到這個問題，轉過頭來，耐心地解釋道：「現在用CPU訓練幾乎是唯一的選擇，CPU是通用處理器，它最擅長處理具有複雜分支的指令，神經網絡在訓練過程中，不僅有矩陣計算，還伴隨著大量的臨時文件讀寫，內存控制流跳轉，數據預處理等問題。」
「目前其他晶片，在處理這些複雜的控制流時，效率很低，會頻繁卡死。」
「而且現在的神經網絡訓練需要耗費海量的內存來存儲權重和中間激活值，我們的伺服器可以插上48GB甚至96GB的內存來支持。」
「可以說，用CPU來訓練神經網絡就是業界約定俗成的標準答案！」
說完，陳工見漆昊沒什麼反應，以為他累了，就拍了拍他的肩膀：「別整天把自己繃得太緊，這事兒你不用管，後天齊教授就會來開組會，檢查我們上一階段的工作進度，剩下的工作不多，沒多久咱們這個課題基本上就能結題了。」
「我琢磨著，等組會開完，我帶大家一塊出去放鬆放鬆，附近新開了一家溫泉山莊，去泡個溫泉怎麼樣？去不去？」
泡溫泉？
漆昊緩過神，腦海中浮現出一幅畫面。
大冬天的，一個煙霧繚繞的池子裡，擠著十幾個平時不修邊幅的糙漢，大家坦誠相見，在溫水裡泡著。
漆昊暗自打了個冷戰，連忙找了個藉口：「陳工，我就不去了，怕水。」
陳工狐疑地上下打量了他一眼：「怕水？你一個一米八的大個子，泡個一米深的溫泉池子，你怕水？」
漆昊乾笑兩聲，說：「之前嗆過水。」
陳工立刻理解了，說：「原來如此，那這樣，泡溫泉取消，等開完組會，我帶大家去整一頓最給力的海鮮自助，這總行了吧？」
「這個好，我舉雙手贊成。」
「那就這麼定了！」
回到工位後，漆昊重新將注意力集中到了電腦上。
他翻了一會兒卡爾采夫的書，突然愣住了。
冷戰時期，蘇聯的半導體工藝全面落後於西方，算力拉胯，可卡爾采夫硬生生靠著大規模同步並行架構，支撐起了國家級系統的超級算力。
陳工的說法在當下的工程界確實沒錯，神經網絡訓練中確實摻雜著數據讀取等細碎的控制操作，這些任務高度依賴CPU強大的通用調度能力和複雜指令處理能力。
這也是為什麼，如今不管是大廠還是高校，大家都老老實實地守著CPU訓練。
他意識到，所有人似乎忽略了一個最基礎的數學事實！
神經網絡的核心算力消耗，從來不是那些細碎的控制流操作，而是海量的矩陣乘加運算！
也就是說，標準答案≠正確答案！
業界所有人都錯了！
【科學的道路上，停下腳步就是在倒退，布爾什維克同志從不滿足於眼前的小勝利，更不會在敵人尚未完全擊潰時提前慶功！】
【偉大的衛國戰爭告訴我們，貪圖享樂絕對不能取得勝利！】
【真正的學霸，理應勇於挑戰更高的科研難題！】
【任務觸發：優化當前課題組所涉及的核心技術！】
【任務完成標準：完成一項核心技術的優化。】
【任務獎勵：
1.學科經驗值（具體數值根據完成質量結算）
2.隨機寶箱×2
3.體質提升獎品×1
4.600積分】
【任務時限：180日內（即日起開始計算。）】
【備註：達瓦里氏，加油！為了紅色科研的發展，請勇敢無畏的向前沖，去看書看文獻學習，特別是計算機底層架構和並行計算相關的！
【推薦：米哈伊爾·卡爾采夫與布里克於合著的《計算系統與同步算術》】
漆昊有些無奈地嘆了口氣。
這系統，還真是看不得他閒下來。
不過這次獎品好像異常豐富啊。
系統還好心地給了參考書。
可問題是，正值春節假期，各大圖書館開放時間都有限，想去找書也困難。
沒辦法，漆昊只能轉戰網絡，幸好之前找蘇聯文獻的功底還在，最後漆昊還真的找到了《計算系統與同步算術》的PDF版本。
點開文檔屬性，當看到作者欄的介紹後，他突然明白系統推薦這本冷門老書的原因了。
米哈伊爾·亞歷山德羅維奇·卡爾采夫。
這位蘇聯的計算機大佬，是世界並行計算領域最早的探路人之一。
早在上世紀五六十年代，當全球計算機行業還在執著於打磨單核主頻和指令執行效率時，卡爾采夫這個天才，就開始摸索多處理器同步並行的可能，還造出了蘇聯獨特的M系列電子管計算機。
很牛對吧？
但其實是被落後的半導體工藝逼出來的。
在冷戰對峙的年代，西方的矽工藝吊打蘇聯，更側重於單核主頻的提升與精密的指令流水線設計，而蘇聯在電晶體和集成電路工藝上長期落後。
卡爾采夫當年接手項目時，面對的就是這樣一堆爛攤子。
手裡全是一些性能拉胯甚至工藝穩定性都無法保證的低端硬體，卻要在這種物理限制下，把重要系統需要的龐大算力堆起來。
而這位天才給出的解法，至今看去都帶著一股蘇式暴力美學，硬體不夠，架構來湊。
既然單個運算單元跑不快，那就搞並行運算陣列。
靠著這個思路，卡爾采夫作為總設計師，主持設計了蘇聯M-10並行超級計算機體系，隨後又親手主導了第四代多處理器向量計算機M-13架構的前期工作，支撐起了重要系統的核心算力。
而漆昊手裡的這本《計算系統與同步算術》，算得上是卡爾采夫多年經驗的一個總結。
當然，裡面沒有涉密技術，可即便如此，當漆昊耐著性子往下讀了幾頁後，整個人還是被書里的內容給震住了。
強是真的強。
卡爾采夫大佬仿佛想把每個硬體知識拆開塞進他腦子裡。
由於年代久遠加上俄譯漢的語境偏差和專業基礎問題，書中很多細節內容，漆昊看得還是頭疼。
他站起身，打算去喝杯水緩緩。
此時，陳工正守在幾台嗡嗡作響的伺服器前，唉聲嘆氣。
「陳工，這是在幹嘛嗎？」漆昊端著杯子好奇走過去問道。
陳工一看是他，也就照實說了：「公司的任務，我在嘗試訓練神經網絡。」
「汪總提過一個設想，認為未來的無人機必須裝上眼睛，我們要實現室內的視覺自主定位懸停，甚至想讓飛機底部的攝像頭能自動辨識障礙物，自動鎖定並跟蹤一個移動的目標，想要解決這種計算機視覺和自適應控制難題，傳統控制理論根本不行，唯一的出路，就是機器學習和神經網絡。」
「那怎麼樣了？」漆昊好奇問道。
陳工嘆了口氣，指著屏幕上緩慢爬行的進度條，苦笑道：「太慢了，用的是機載實拍圖像數據集，解析度高樣本量大，就這麼個簡單三層網絡，一輪疊代也要跑上幾個小時，這要是以後網絡層數加深，光是調參訓練就能把我們耗死。」
漆昊看著屏幕上幾乎被占滿的CPU使用率，心中突然動了一下，開口問道：「陳工，學術界和工業界現在為什麼普遍用CPU來訓練？為什麼不找更高效的硬體？」
陳工聽到這個問題，轉過頭來，耐心地解釋道：「現在用CPU訓練幾乎是唯一的選擇，CPU是通用處理器，它最擅長處理具有複雜分支的指令，神經網絡在訓練過程中，不僅有矩陣計算，還伴隨著大量的臨時文件讀寫，內存控制流跳轉，數據預處理等問題。」
「目前其他晶片，在處理這些複雜的控制流時，效率很低，會頻繁卡死。」
「而且現在的神經網絡訓練需要耗費海量的內存來存儲權重和中間激活值，我們的伺服器可以插上48GB甚至96GB的內存來支持。」
「可以說，用CPU來訓練神經網絡就是業界約定俗成的標準答案！」
說完，陳工見漆昊沒什麼反應，以為他累了，就拍了拍他的肩膀：「別整天把自己繃得太緊，這事兒你不用管，後天齊教授就會來開組會，檢查我們上一階段的工作進度，剩下的工作不多，沒多久咱們這個課題基本上就能結題了。」
「我琢磨著，等組會開完，我帶大家一塊出去放鬆放鬆，附近新開了一家溫泉山莊，去泡個溫泉怎麼樣？去不去？」
泡溫泉？
漆昊緩過神，腦海中浮現出一幅畫面。
大冬天的，一個煙霧繚繞的池子裡，擠著十幾個平時不修邊幅的糙漢，大家坦誠相見，在溫水裡泡著。
漆昊暗自打了個冷戰，連忙找了個藉口：「陳工，我就不去了，怕水。」
陳工狐疑地上下打量了他一眼：「怕水？你一個一米八的大個子，泡個一米深的溫泉池子，你怕水？」
漆昊乾笑兩聲，說：「之前嗆過水。」
陳工立刻理解了，說：「原來如此，那這樣，泡溫泉取消，等開完組會，我帶大家去整一頓最給力的海鮮自助，這總行了吧？」
「這個好，我舉雙手贊成。」
「那就這麼定了！」
回到工位後，漆昊重新將注意力集中到了電腦上。
他翻了一會兒卡爾采夫的書，突然愣住了。
冷戰時期，蘇聯的半導體工藝全面落後於西方，算力拉胯，可卡爾采夫硬生生靠著大規模同步並行架構，支撐起了國家級系統的超級算力。
陳工的說法在當下的工程界確實沒錯，神經網絡訓練中確實摻雜著數據讀取等細碎的控制操作，這些任務高度依賴CPU強大的通用調度能力和複雜指令處理能力。
這也是為什麼，如今不管是大廠還是高校，大家都老老實實地守著CPU訓練。
他意識到，所有人似乎忽略了一個最基礎的數學事實！
神經網絡的核心算力消耗，從來不是那些細碎的控制流操作，而是海量的矩陣乘加運算！
也就是說，標準答案≠正確答案！
業界所有人都錯了！