第116章_協同之道
有了超參數自動優化能力,左城開始了秘密的」算法推演」。
說是推演,實際上是在系統能力的輔助下,快速驗證各種壓縮策略。
他用系統能力模擬不同的參數配置,測試對模型準確率的影響。
這個過程別人做需要幾個月,但他只需要幾天。
因為系統可以同時運行無數個模擬,每個模擬都在毫秒級完成。
兩天後,夜以繼日的推演終於有了結果。左城找到了突破口。
動態精度量化。
簡單說,就是讓模型在推理時動態調整計算精度。簡單任務用低精度,複雜任務用高精度。
這樣既保證了準確率,又把功耗控制在了可接受範圍內。
他把這個技術思路整理成文檔,發送給沈一鳴和方澤審核。
」一鳴,你看看這個方向可行嗎?」
沈一鳴看了半小時後,回了電話。
」城哥,這個方向是對的。」他的聲音帶著興奮,」我測試了一下,動態精度量化確實能提升準確率。」
」能到多少?」
」89%。」沈一鳴說,」比之前提升了將近21個百分點。」
89%。
距離95%的目標更近了一步。
」功耗呢?」左城問。
」如果用動態精度模式,MLU270的功耗可以壓到4.8瓦。」方澤接過電話,」剛好達標。」
4.8瓦。
比目標低了0.2瓦。
這0.2瓦的餘量,讓方案有了更多安全保障。
」太好了。」左城鬆了口氣,懸著的心終於放了下來。
但他很快又提起了精神。
89%還不夠。
評審會上,林建華那幫人不會給他們任何容錯空間。
」必須做到95%以上。」他說。
電話那頭沉默了幾秒。
沈一鳴開口:」城哥,89%到95%,差距是6個百分點。這個提升……不容易。」
」我知道。」左城說,」但這是必須的。」
」你有沒有什麼想法?」
左城沒有直接回答。
他掛掉電話,打開系統面板。
267分。
這已經足夠再做一次科技融合。
如果把超參數自動優化和模型壓縮優化的能力融合……
也許能產生一個更強的新能力。
【科技融合】
【消耗:5積分】
【請選擇至少兩枚葉片進行融合】
左城看著面板上的葉片列表。
超參數自動優化、模型壓縮優化、邊緣AI推理。
如果把這三枚葉片融合……
三秒後,融合完成。
【融合成功】
【獲得新葉片:自適應神經網絡編譯器】
效果:在邊緣設備上自動編譯和優化神經網絡模型,效率提升1.5倍,準確率額外+8%。
左城看著新葉片,心跳加速。
89%加上8%,就是97%。
遠超95%的目標。
但他不能直接告訴沈一鳴。
融合是系統的能力,他沒辦法解釋來源。
」一鳴。」左城撥通電話,」我有一個新的優化思路,你再試試。」
」什麼思路?」
」我把它叫做'自適應編譯'。」左城說,」簡單說,就是讓編譯器根據任務類型自動調整模型結構。」
」自適應編譯?」沈一鳴有些困惑,」這聽起來像是編譯器優化……」
」對,就是編譯器優化。」左城打斷他,」但這次優化是針對AI模型的,不是通用程序。」
沈一鳴沉默了幾秒。他知道左城不會無的放矢。
」好吧,我試試。」
---
第二天早上,沈一鳴發來消息。
」城哥,你在哪裡?」
」在公司。」左城回復。
」來實驗室。」
左城推開門,看到沈一鳴和方澤都站在電腦前。
他們的表情很奇怪。
不是沮喪,也不是興奮,而是一種難以置信。仿佛看到了不可能發生的事情。
」怎麼了?」左城問。
沈一鳴轉過頭,看著他。
」城哥。」他的聲音有些發抖,」你到底是怎麼做到的?」
」做到什麼?」
」準確率。」沈一鳴指著屏幕,」97.1%。」
左城看了一眼屏幕。
97.1%。
比他預期的還高了0.1個百分點。
」不只是準確率。」方澤開口,」功耗也降了。」
」多少?」
」4.2瓦。」方澤說,」比目標低了0.8瓦。」
4.2瓦。
97.1%準確率。
兩個指標都大幅超過了目標。
左城沒有說話。
他走到窗邊,看著外面的陽光。
成功了。
準確率從68%提升到97.1%,功耗從30瓦降到4.2瓦。
這個結果,足以讓任何質疑他們的人閉嘴。林建華也不例外。
」城哥。」沈一鳴走到他身邊,」你是怎麼做到的?」
左城轉過頭,看著沈一鳴的眼睛。
那雙眼睛裡滿是困惑和敬佩。
他不能告訴沈一鳴真相。
但他可以給一個合理的解釋。
」我用的是一種新的編譯器優化技術。」左城說,」叫自適應神經網絡編譯器。」
」自適應神經網絡編譯器?」沈一鳴皺眉,」我沒聽說過這個技術。」
」你當然沒聽說過。」左城笑了笑,」這是我根據一些前沿論文,加上自己的理解設計的。」
」你自己的設計?」
」對。」左城點頭,」準確率97.1%,功耗4.2瓦。這兩個指標足夠了嗎?」
沈一鳴愣了一下,然後露出笑容。
」足夠了。」他說,」綽綽有餘。」
方澤也走過來:」城哥,這個編譯器是怎麼設計的?我想學習一下。」
左城想了想。
他可以給方澤一些表面的解釋,但核心的東西沒辦法分享。
」編譯器的事回頭再說。」他岔開話題,」現在最重要的是把方案整理出來。」
」對。」沈一鳴點頭,」後天就是評審會了。」
後天。
距離評審會只剩兩天。
」方案我來整理。」左城說,」你們繼續完善測試數據。」
」好。」
沈一鳴和方澤轉身回到電腦前,開始工作。
左城站在窗邊,看著兩人的背影。
97.1%的準確率,4.2瓦的功耗。
這個結果,足以讓林建華無話可說。
但他知道,這只是開始。
天穹四期只是第一步。
未來還有更廣闊的舞台在等著他們。
而他,會一步一步走下去。堅定而從容。
直到站在那個舞台的中央。
說是推演,實際上是在系統能力的輔助下,快速驗證各種壓縮策略。
他用系統能力模擬不同的參數配置,測試對模型準確率的影響。
這個過程別人做需要幾個月,但他只需要幾天。
因為系統可以同時運行無數個模擬,每個模擬都在毫秒級完成。
兩天後,夜以繼日的推演終於有了結果。左城找到了突破口。
動態精度量化。
簡單說,就是讓模型在推理時動態調整計算精度。簡單任務用低精度,複雜任務用高精度。
這樣既保證了準確率,又把功耗控制在了可接受範圍內。
他把這個技術思路整理成文檔,發送給沈一鳴和方澤審核。
」一鳴,你看看這個方向可行嗎?」
沈一鳴看了半小時後,回了電話。
」城哥,這個方向是對的。」他的聲音帶著興奮,」我測試了一下,動態精度量化確實能提升準確率。」
」能到多少?」
」89%。」沈一鳴說,」比之前提升了將近21個百分點。」
89%。
距離95%的目標更近了一步。
」功耗呢?」左城問。
」如果用動態精度模式,MLU270的功耗可以壓到4.8瓦。」方澤接過電話,」剛好達標。」
4.8瓦。
比目標低了0.2瓦。
這0.2瓦的餘量,讓方案有了更多安全保障。
」太好了。」左城鬆了口氣,懸著的心終於放了下來。
但他很快又提起了精神。
89%還不夠。
評審會上,林建華那幫人不會給他們任何容錯空間。
」必須做到95%以上。」他說。
電話那頭沉默了幾秒。
沈一鳴開口:」城哥,89%到95%,差距是6個百分點。這個提升……不容易。」
」我知道。」左城說,」但這是必須的。」
」你有沒有什麼想法?」
左城沒有直接回答。
他掛掉電話,打開系統面板。
267分。
這已經足夠再做一次科技融合。
如果把超參數自動優化和模型壓縮優化的能力融合……
也許能產生一個更強的新能力。
【科技融合】
【消耗:5積分】
【請選擇至少兩枚葉片進行融合】
左城看著面板上的葉片列表。
超參數自動優化、模型壓縮優化、邊緣AI推理。
如果把這三枚葉片融合……
三秒後,融合完成。
【融合成功】
【獲得新葉片:自適應神經網絡編譯器】
效果:在邊緣設備上自動編譯和優化神經網絡模型,效率提升1.5倍,準確率額外+8%。
左城看著新葉片,心跳加速。
89%加上8%,就是97%。
遠超95%的目標。
但他不能直接告訴沈一鳴。
融合是系統的能力,他沒辦法解釋來源。
」一鳴。」左城撥通電話,」我有一個新的優化思路,你再試試。」
」什麼思路?」
」我把它叫做'自適應編譯'。」左城說,」簡單說,就是讓編譯器根據任務類型自動調整模型結構。」
」自適應編譯?」沈一鳴有些困惑,」這聽起來像是編譯器優化……」
」對,就是編譯器優化。」左城打斷他,」但這次優化是針對AI模型的,不是通用程序。」
沈一鳴沉默了幾秒。他知道左城不會無的放矢。
」好吧,我試試。」
---
第二天早上,沈一鳴發來消息。
」城哥,你在哪裡?」
」在公司。」左城回復。
」來實驗室。」
左城推開門,看到沈一鳴和方澤都站在電腦前。
他們的表情很奇怪。
不是沮喪,也不是興奮,而是一種難以置信。仿佛看到了不可能發生的事情。
」怎麼了?」左城問。
沈一鳴轉過頭,看著他。
」城哥。」他的聲音有些發抖,」你到底是怎麼做到的?」
」做到什麼?」
」準確率。」沈一鳴指著屏幕,」97.1%。」
左城看了一眼屏幕。
97.1%。
比他預期的還高了0.1個百分點。
」不只是準確率。」方澤開口,」功耗也降了。」
」多少?」
」4.2瓦。」方澤說,」比目標低了0.8瓦。」
4.2瓦。
97.1%準確率。
兩個指標都大幅超過了目標。
左城沒有說話。
他走到窗邊,看著外面的陽光。
成功了。
準確率從68%提升到97.1%,功耗從30瓦降到4.2瓦。
這個結果,足以讓任何質疑他們的人閉嘴。林建華也不例外。
」城哥。」沈一鳴走到他身邊,」你是怎麼做到的?」
左城轉過頭,看著沈一鳴的眼睛。
那雙眼睛裡滿是困惑和敬佩。
他不能告訴沈一鳴真相。
但他可以給一個合理的解釋。
」我用的是一種新的編譯器優化技術。」左城說,」叫自適應神經網絡編譯器。」
」自適應神經網絡編譯器?」沈一鳴皺眉,」我沒聽說過這個技術。」
」你當然沒聽說過。」左城笑了笑,」這是我根據一些前沿論文,加上自己的理解設計的。」
」你自己的設計?」
」對。」左城點頭,」準確率97.1%,功耗4.2瓦。這兩個指標足夠了嗎?」
沈一鳴愣了一下,然後露出笑容。
」足夠了。」他說,」綽綽有餘。」
方澤也走過來:」城哥,這個編譯器是怎麼設計的?我想學習一下。」
左城想了想。
他可以給方澤一些表面的解釋,但核心的東西沒辦法分享。
」編譯器的事回頭再說。」他岔開話題,」現在最重要的是把方案整理出來。」
」對。」沈一鳴點頭,」後天就是評審會了。」
後天。
距離評審會只剩兩天。
」方案我來整理。」左城說,」你們繼續完善測試數據。」
」好。」
沈一鳴和方澤轉身回到電腦前,開始工作。
左城站在窗邊,看著兩人的背影。
97.1%的準確率,4.2瓦的功耗。
這個結果,足以讓林建華無話可說。
但他知道,這只是開始。
天穹四期只是第一步。
未來還有更廣闊的舞台在等著他們。
而他,會一步一步走下去。堅定而從容。
直到站在那個舞台的中央。