第113章_算力方案
第二天一早，沈一鳴就把自己關進了實驗室。
昨晚他幾乎沒睡，整夜都在思考協同推理的具體實現。早上七點，左城到公司的時候，實驗室的燈已經亮了。
」一鳴，你這是通宵了？」左城推門進去，看到沈一鳴趴在桌上睡著了。
沈一鳴揉揉眼睛坐起來：」城哥，我想出來了。」
他從桌上拿起一疊手繪的圖紙：」你看，這是我設計的分布式邊緣AI架構。」
左城接過圖紙，仔細看著上面的線條和標註。
」每顆衛星不再運行一個完整的AI模型，而是運行一個精簡版的'決策代理'。」沈一鳴指著圖解釋，」代理只負責局部決策，通過星間鏈路與其他代理通信。」
方澤這時候也走了進來，手裡端著三杯咖啡。
」我來補充一下硬體層面的思路。」他把咖啡放下，」如果用協同推理的架構，單顆衛星的算力需求可以大幅降低。我們可以考慮用低功耗的嵌入式AI晶片。」
」功耗能壓到多少？」左城問。
方澤調出一些測試數據：」我昨晚查了一下，目前行業里最低功耗的嵌入式AI晶片可以做到2瓦左右。如果用三四顆這樣的晶片協同，功耗大概在6到8瓦。」
」還是超標。」沈一鳴皺眉，」目標必須壓到5瓦以下。」
」與其用多顆低功耗晶片，不如把一個高性能晶片的模型壓縮到極致。」左城突然開口。
沈一鳴眼睛一亮：」模型壓縮？」
」對。」左城在白板上畫了一個示意圖，」如果我們能把AI模型的體積壓縮到原來的三十分之一，同時保持80%以上的決策準確率，就能在單晶片上運行。」
方澤快速計算著：」寒武紀的MLU270功耗30瓦，如果壓縮到三十分之一，理論上功耗可以降到1瓦左右。」
」問題是，我們現在的壓縮技術能做到嗎？」沈一鳴問。
左城打開系統面板，查看當前的葉片列表。
【科技樹葉片】
- 神經網絡基礎
- 深度學習框架
- 強化學習策略
- 自然語言理解
- 計算機視覺
- 模型壓縮優化
- 聯邦學習
- 因果推理
- 生成式模型
- 梯度稀疏化壓縮
模型壓縮優化。
這枚葉片應該有用。
但他不能直接告訴沈一鳴這些。
」一鳴，你覺得我們的壓縮技術有提升空間嗎？」左城問。
沈一鳴沉吟片刻：」有。但需要新的算法突破。」
」什麼樣的突破？」
」有一種方向叫'知識蒸餾'。」沈一鳴在白板上寫下這個詞，」把大模型的知識'蒸餾'到小模型里。但知識蒸餾的難點在於，我們沒有一個足夠強大的'教師模型'來指導學生模型。」
」為什麼？」
」因為天穹衛星的AI調度是一個全新的場景。」沈一鳴解釋道，」傳統的預訓練模型在這個場景上表現不好，我們需要從頭訓練一個專用的大模型。」
」這需要多少時間？」
沈一鳴估算了一下：」至少兩到三個月。」
兩到三個月。
而他們只有兩周。
」還有一個方向。」方澤突然說。
」邊緣計算。」方澤說，」與其在衛星上跑完整的AI模型，不如把一部分計算任務搬到地面站或者中繼衛星上。」
」你的意思是？」沈一鳴問。
」雲邊協同。」方澤在白板上畫了一個簡單的架構圖，」衛星只負責簡單的感知和決策，複雜的推理放到地面站或者中繼衛星上完成。」
」但這樣會增加通信延遲。」沈一鳴提出問題，」對於實時性要求高的場景，延遲可能是致命的。」
」所以要用預測性調度。」左城突然開口。
兩人一愣。
」我們的目標不是讓衛星'實時思考'，而是讓它'提前預判'。」左城在白板上畫了一條時間線，」比如，星間鏈路的狀態變化是可以預測的。如果衛星能提前幾秒鐘預判到鏈路擁塞，就可以提前調整路由，避免問題發生。」
」預測性調度……」沈一鳴喃喃自語，」這需要對衛星網絡的動態特性有深入理解。」
」我們不是有聯邦學習嗎？」左城說，」用聯邦學習的方式，讓所有衛星共享網絡狀態信息，然後用AI預測鏈路變化。」
」城哥，你是說，用聯邦學習訓練一個預測模型？」
」對。」左城點頭，」這個模型不需要在衛星上運行，只需要在地面站訓練好後，下發預測參數給各衛星。衛星根據參數做簡單計算就行了。」
沈一鳴眼睛一亮。
」這樣既保證了預測的準確性，又降低了衛星的算力需求。」方澤興奮地補充。
」能壓縮到多少？」左城問。
沈一鳴估算了一下：」原來需要壓縮到三十分之一，現在可能只需要十分之一就夠了。準確率可以從70%提升到85%左右。」
85%。
距離90%的目標更近了一步。
」但還不夠。」左城搖頭，」必須做到95%以上。」
沈一鳴有些為難：」95%的話，單純的壓縮很難做到。除非……」
」除非有新的算法突破。」沈一鳴說，」比如，超參數自動優化。」
超參數自動優化。
這正是他需要的。
」能提升多少？」左城問。
」理論上能提升5到10個百分點。」沈一鳴說。
5到10個百分點。
85%加上10%，就是95%。
左城閉上眼睛，深吸一口氣。
他需要這項技術。
科技雷達的冷卻還有多久？
他打開系統面板看了一眼：剩餘8小時。
8小時後，他就可以掃描沈一鳴，獲取超參數自動優化的技術。
」好。」左城睜開眼睛，」就這麼定了。」
」定了？」沈一鳴有些意外。
」第一，用聯邦學習訓練預測模型。第二，把模型壓縮到十分之一。第三，用超參數自動優化提升準確率。」
左城在白板上寫下三個關鍵詞。
」兩周內完成。」
沈一鳴和方澤對視一眼，都看到了彼此眼中的決心。
」沒問題。」沈一鳴說，」我這就開始寫技術方案。」
」晶片的事交給我。」方澤說，」我去聯繫寒武紀，看他們能不能提供一些技術支持。」
三人分頭行動，會議室里重新忙碌起來。
左城最後一個離開。他看了一眼系統面板上的倒計時。
8小時。
只需要再等8小時。
昨晚他幾乎沒睡，整夜都在思考協同推理的具體實現。早上七點，左城到公司的時候，實驗室的燈已經亮了。
」一鳴，你這是通宵了？」左城推門進去，看到沈一鳴趴在桌上睡著了。
沈一鳴揉揉眼睛坐起來：」城哥，我想出來了。」
他從桌上拿起一疊手繪的圖紙：」你看，這是我設計的分布式邊緣AI架構。」
左城接過圖紙，仔細看著上面的線條和標註。
」每顆衛星不再運行一個完整的AI模型，而是運行一個精簡版的'決策代理'。」沈一鳴指著圖解釋，」代理只負責局部決策，通過星間鏈路與其他代理通信。」
方澤這時候也走了進來，手裡端著三杯咖啡。
」我來補充一下硬體層面的思路。」他把咖啡放下，」如果用協同推理的架構，單顆衛星的算力需求可以大幅降低。我們可以考慮用低功耗的嵌入式AI晶片。」
」功耗能壓到多少？」左城問。
方澤調出一些測試數據：」我昨晚查了一下，目前行業里最低功耗的嵌入式AI晶片可以做到2瓦左右。如果用三四顆這樣的晶片協同，功耗大概在6到8瓦。」
」還是超標。」沈一鳴皺眉，」目標必須壓到5瓦以下。」
」與其用多顆低功耗晶片，不如把一個高性能晶片的模型壓縮到極致。」左城突然開口。
沈一鳴眼睛一亮：」模型壓縮？」
」對。」左城在白板上畫了一個示意圖，」如果我們能把AI模型的體積壓縮到原來的三十分之一，同時保持80%以上的決策準確率，就能在單晶片上運行。」
方澤快速計算著：」寒武紀的MLU270功耗30瓦，如果壓縮到三十分之一，理論上功耗可以降到1瓦左右。」
」問題是，我們現在的壓縮技術能做到嗎？」沈一鳴問。
左城打開系統面板，查看當前的葉片列表。
【科技樹葉片】
- 神經網絡基礎
- 深度學習框架
- 強化學習策略
- 自然語言理解
- 計算機視覺
- 模型壓縮優化
- 聯邦學習
- 因果推理
- 生成式模型
- 梯度稀疏化壓縮
模型壓縮優化。
這枚葉片應該有用。
但他不能直接告訴沈一鳴這些。
」一鳴，你覺得我們的壓縮技術有提升空間嗎？」左城問。
沈一鳴沉吟片刻：」有。但需要新的算法突破。」
」什麼樣的突破？」
」有一種方向叫'知識蒸餾'。」沈一鳴在白板上寫下這個詞，」把大模型的知識'蒸餾'到小模型里。但知識蒸餾的難點在於，我們沒有一個足夠強大的'教師模型'來指導學生模型。」
」為什麼？」
」因為天穹衛星的AI調度是一個全新的場景。」沈一鳴解釋道，」傳統的預訓練模型在這個場景上表現不好，我們需要從頭訓練一個專用的大模型。」
」這需要多少時間？」
沈一鳴估算了一下：」至少兩到三個月。」
兩到三個月。
而他們只有兩周。
」還有一個方向。」方澤突然說。
」邊緣計算。」方澤說，」與其在衛星上跑完整的AI模型，不如把一部分計算任務搬到地面站或者中繼衛星上。」
」你的意思是？」沈一鳴問。
」雲邊協同。」方澤在白板上畫了一個簡單的架構圖，」衛星只負責簡單的感知和決策，複雜的推理放到地面站或者中繼衛星上完成。」
」但這樣會增加通信延遲。」沈一鳴提出問題，」對於實時性要求高的場景，延遲可能是致命的。」
」所以要用預測性調度。」左城突然開口。
兩人一愣。
」我們的目標不是讓衛星'實時思考'，而是讓它'提前預判'。」左城在白板上畫了一條時間線，」比如，星間鏈路的狀態變化是可以預測的。如果衛星能提前幾秒鐘預判到鏈路擁塞，就可以提前調整路由，避免問題發生。」
」預測性調度……」沈一鳴喃喃自語，」這需要對衛星網絡的動態特性有深入理解。」
」我們不是有聯邦學習嗎？」左城說，」用聯邦學習的方式，讓所有衛星共享網絡狀態信息，然後用AI預測鏈路變化。」
」城哥，你是說，用聯邦學習訓練一個預測模型？」
」對。」左城點頭，」這個模型不需要在衛星上運行，只需要在地面站訓練好後，下發預測參數給各衛星。衛星根據參數做簡單計算就行了。」
沈一鳴眼睛一亮。
」這樣既保證了預測的準確性，又降低了衛星的算力需求。」方澤興奮地補充。
」能壓縮到多少？」左城問。
沈一鳴估算了一下：」原來需要壓縮到三十分之一，現在可能只需要十分之一就夠了。準確率可以從70%提升到85%左右。」
85%。
距離90%的目標更近了一步。
」但還不夠。」左城搖頭，」必須做到95%以上。」
沈一鳴有些為難：」95%的話，單純的壓縮很難做到。除非……」
」除非有新的算法突破。」沈一鳴說，」比如，超參數自動優化。」
超參數自動優化。
這正是他需要的。
」能提升多少？」左城問。
」理論上能提升5到10個百分點。」沈一鳴說。
5到10個百分點。
85%加上10%，就是95%。
左城閉上眼睛，深吸一口氣。
他需要這項技術。
科技雷達的冷卻還有多久？
他打開系統面板看了一眼：剩餘8小時。
8小時後，他就可以掃描沈一鳴，獲取超參數自動優化的技術。
」好。」左城睜開眼睛，」就這麼定了。」
」定了？」沈一鳴有些意外。
」第一，用聯邦學習訓練預測模型。第二，把模型壓縮到十分之一。第三，用超參數自動優化提升準確率。」
左城在白板上寫下三個關鍵詞。
」兩周內完成。」
沈一鳴和方澤對視一眼，都看到了彼此眼中的決心。
」沒問題。」沈一鳴說，」我這就開始寫技術方案。」
」晶片的事交給我。」方澤說，」我去聯繫寒武紀，看他們能不能提供一些技術支持。」
三人分頭行動，會議室里重新忙碌起來。
左城最後一個離開。他看了一眼系統面板上的倒計時。
8小時。
只需要再等8小時。