第108章 晶片
沈一鳴入職的第三天，張磊把一份晶片調研報告甩在了左城桌上。
」城哥，調研報告出來了，情況不太樂觀。」張磊拉了把椅子坐下來，」國產AI晶片主要就兩家能看，寒武紀和地平線。寒武紀的MLU270算力不錯，峰值算力達到128 TOPS，但功耗偏高，十五瓦往上走。地平線的旭日3功耗控制得好，只有兩瓦，但算力只有5 TOPS，跑不了大模型。」
左城翻著報告，眉頭越皺越緊。
」進口的呢？」
」英偉達的Jetson Nano，算力和功耗都比較均衡，但一顆晶片的採購價是國產的三倍。而且現在貿易摩擦升級，供應鏈不穩定，萬一哪天被卡脖子就麻煩了。」張磊敲了敲桌面，」城哥，我的建議是短期用國產，長期想辦法自研。」
」自研？」左城抬起頭，」我們做AI晶片，你有把握？」
」不是現在做。」張磊說，」方澤和我討論過，AI晶片的核心是架構設計，不是製造。設計我們可以做，流片代工就行。關鍵是架構，這東西需要算法和硬體深度耦合，我們正好有算法團隊和硬體團隊。」
左城沉默了一會兒。自研AI晶片是一條漫長而燒錢的路，但如果不做，402的AI業務就永遠受制於晶片供應商。
」先把短期的方案定下來。」左城說，」邊緣AI推理場景用寒武紀的MLU270，功耗雖然高一點但算力夠用。聯邦學習場景用地平線的旭日3，功耗低適合大規模部署。高端訓練場景先用英偉達，同時和寒武紀談定製方案。」
」行，我去跟進採購。對了，寒武紀那邊說可以提供一批工程樣片先讓我們測試，不收費。」張磊站起來，又想起什麼，」方澤說寒武紀那邊有個人想見你。他們正在找垂直場景的合作夥伴做晶片驗證，聽說我們物聯網平台上跑著AI，很感興趣。」
」約個時間。」左城說。
張磊走後，左城打開系統面板，翻到AI枝幹的葉片列表。
模型壓縮優化。這枚葉片的能力是將AI模型在保持精度的前提下大幅壓縮體積，讓大模型可以跑在資源受限的邊緣設備上。如果模型壓縮做到極致，寒武紀的MLU270就能跑本該需要英偉達高端晶片才能跑的模型，功耗還能降下來。
左城想到這裡，叫來了沈一鳴。
」一鳴，你之前在論文裡提到的自適應壓縮率，和系統面板里這枚模型壓縮優化的思路能不能結合？」
沈一鳴剛入職三天，還在熟悉402的技術棧，聽到左城的問題愣了一下：」模型壓縮優化？你是指通用的模型壓縮技術？」
左城意識到自己差點說漏嘴，趕緊改口：」我的意思是，你的自適應壓縮率算法，和業界主流的模型壓縮技術能不能做更深度的結合？比如知識蒸餾加量化加你的自適應壓縮，三管齊下。」
沈一鳴思考了一會兒，推了推眼鏡，眼睛亮了：」理論上可以。知識蒸餾把大模型的知識轉移到小模型，量化降低精度要求，自適應壓縮動態調整通信和計算量。三條路徑疊加，壓縮比可能做到五十倍以上。但如果三條路徑深度耦合，還能更進一步，因為量化和蒸餾的損失可以在自適應壓縮中被補償。」
」五十倍？」左城的心跳加速了。
」保守估計。」沈一鳴拿過左城桌上的白板筆，在旁邊的小白板上畫了一個流程圖，」你看，傳統的做法是三步串行，蒸餾完了再量化，量化完了再壓縮，每一步的誤差會累積。但如果把三步並行，讓蒸餾的損失函數包含量化約束，量化的參數空間由自適應壓縮來搜索，誤差就不會累積，反而可以互相補償。」
他在白板上寫了幾個公式，雖然寫得很潦草，但邏輯清晰。
」不過這需要三個方向的代碼深度耦合，工程量不小。」沈一鳴放下筆，」至少要三個人做三個月。」
」你來做。」左城說，」需要什麼資源我給你配。算法方面你和馬昊配合，工程方面方澤的硬體團隊做支撐。兩周內給我一個技術方案。」
沈一鳴深吸一口氣：」兩周有點緊，但可以試試。」
左城拍了拍他的肩膀：」不是試試，是做到。」
沈一鳴愣了一下，然後用力點了點頭。
當天下午，左城在系統面板上查看了科技樹的被動效果。AI枝幹激活後，所有融合葉片的技術增幅從1.2倍提升到了1.25倍。也就是說，沈一鳴的模型壓縮方案在402落地時，實際效率會比理論上更高。
但他不能告訴沈一鳴這一點。
左城關掉系統面板，拿起手機撥了於穎的電話。
」空空，今晚有空嗎？」
」有啊，怎麼了？」
」想請你看場好戲。」左城笑了笑，」寒武紀的人明天來公司談合作，你要不要過來旁聽？他們對邊緣AI聯邦學習很感興趣，你的研究方向正好對口。」
於穎在電話那頭沉默了兩秒鐘：」你是想讓我當技術顧問吧？」
」主要還是想你。當顧問是附帶的。」
」哼。」於穎笑了，」行吧，幾點？」
」上午十點，我讓韓露給你發定位。」
掛了電話，左城靠在椅背上，看著窗外。天色漸暗，科技園區的路燈陸續亮了起來。402的辦公室燈火通明，沈一鳴在工位上埋頭寫方案，方澤在實驗室里測試晶片功耗，陳浩在伺服器機房調試算力分配。
402的AI晶片之路，從選擇供應商開始，一步一步走。但左城心裡清楚，這只是第一步。真正的牌是模型壓縮優化加聯邦學習，一旦這兩項技術結合到位，402就能用國產中端晶片跑出高端晶片的性能。到那時候，晶片就不再是瓶頸，而是402的成本優勢。
那才是真正的護城河。
」城哥，調研報告出來了，情況不太樂觀。」張磊拉了把椅子坐下來，」國產AI晶片主要就兩家能看，寒武紀和地平線。寒武紀的MLU270算力不錯，峰值算力達到128 TOPS，但功耗偏高，十五瓦往上走。地平線的旭日3功耗控制得好，只有兩瓦，但算力只有5 TOPS，跑不了大模型。」
左城翻著報告，眉頭越皺越緊。
」進口的呢？」
」英偉達的Jetson Nano，算力和功耗都比較均衡，但一顆晶片的採購價是國產的三倍。而且現在貿易摩擦升級，供應鏈不穩定，萬一哪天被卡脖子就麻煩了。」張磊敲了敲桌面，」城哥，我的建議是短期用國產，長期想辦法自研。」
」自研？」左城抬起頭，」我們做AI晶片，你有把握？」
」不是現在做。」張磊說，」方澤和我討論過，AI晶片的核心是架構設計，不是製造。設計我們可以做，流片代工就行。關鍵是架構，這東西需要算法和硬體深度耦合，我們正好有算法團隊和硬體團隊。」
左城沉默了一會兒。自研AI晶片是一條漫長而燒錢的路，但如果不做，402的AI業務就永遠受制於晶片供應商。
」先把短期的方案定下來。」左城說，」邊緣AI推理場景用寒武紀的MLU270，功耗雖然高一點但算力夠用。聯邦學習場景用地平線的旭日3，功耗低適合大規模部署。高端訓練場景先用英偉達，同時和寒武紀談定製方案。」
」行，我去跟進採購。對了，寒武紀那邊說可以提供一批工程樣片先讓我們測試，不收費。」張磊站起來，又想起什麼，」方澤說寒武紀那邊有個人想見你。他們正在找垂直場景的合作夥伴做晶片驗證，聽說我們物聯網平台上跑著AI，很感興趣。」
」約個時間。」左城說。
張磊走後，左城打開系統面板，翻到AI枝幹的葉片列表。
模型壓縮優化。這枚葉片的能力是將AI模型在保持精度的前提下大幅壓縮體積，讓大模型可以跑在資源受限的邊緣設備上。如果模型壓縮做到極致，寒武紀的MLU270就能跑本該需要英偉達高端晶片才能跑的模型，功耗還能降下來。
左城想到這裡，叫來了沈一鳴。
」一鳴，你之前在論文裡提到的自適應壓縮率，和系統面板里這枚模型壓縮優化的思路能不能結合？」
沈一鳴剛入職三天，還在熟悉402的技術棧，聽到左城的問題愣了一下：」模型壓縮優化？你是指通用的模型壓縮技術？」
左城意識到自己差點說漏嘴，趕緊改口：」我的意思是，你的自適應壓縮率算法，和業界主流的模型壓縮技術能不能做更深度的結合？比如知識蒸餾加量化加你的自適應壓縮，三管齊下。」
沈一鳴思考了一會兒，推了推眼鏡，眼睛亮了：」理論上可以。知識蒸餾把大模型的知識轉移到小模型，量化降低精度要求，自適應壓縮動態調整通信和計算量。三條路徑疊加，壓縮比可能做到五十倍以上。但如果三條路徑深度耦合，還能更進一步，因為量化和蒸餾的損失可以在自適應壓縮中被補償。」
」五十倍？」左城的心跳加速了。
」保守估計。」沈一鳴拿過左城桌上的白板筆，在旁邊的小白板上畫了一個流程圖，」你看，傳統的做法是三步串行，蒸餾完了再量化，量化完了再壓縮，每一步的誤差會累積。但如果把三步並行，讓蒸餾的損失函數包含量化約束，量化的參數空間由自適應壓縮來搜索，誤差就不會累積，反而可以互相補償。」
他在白板上寫了幾個公式，雖然寫得很潦草，但邏輯清晰。
」不過這需要三個方向的代碼深度耦合，工程量不小。」沈一鳴放下筆，」至少要三個人做三個月。」
」你來做。」左城說，」需要什麼資源我給你配。算法方面你和馬昊配合，工程方面方澤的硬體團隊做支撐。兩周內給我一個技術方案。」
沈一鳴深吸一口氣：」兩周有點緊，但可以試試。」
左城拍了拍他的肩膀：」不是試試，是做到。」
沈一鳴愣了一下，然後用力點了點頭。
當天下午，左城在系統面板上查看了科技樹的被動效果。AI枝幹激活後，所有融合葉片的技術增幅從1.2倍提升到了1.25倍。也就是說，沈一鳴的模型壓縮方案在402落地時，實際效率會比理論上更高。
但他不能告訴沈一鳴這一點。
左城關掉系統面板，拿起手機撥了於穎的電話。
」空空，今晚有空嗎？」
」有啊，怎麼了？」
」想請你看場好戲。」左城笑了笑，」寒武紀的人明天來公司談合作，你要不要過來旁聽？他們對邊緣AI聯邦學習很感興趣，你的研究方向正好對口。」
於穎在電話那頭沉默了兩秒鐘：」你是想讓我當技術顧問吧？」
」主要還是想你。當顧問是附帶的。」
」哼。」於穎笑了，」行吧，幾點？」
」上午十點，我讓韓露給你發定位。」
掛了電話，左城靠在椅背上，看著窗外。天色漸暗，科技園區的路燈陸續亮了起來。402的辦公室燈火通明，沈一鳴在工位上埋頭寫方案，方澤在實驗室里測試晶片功耗，陳浩在伺服器機房調試算力分配。
402的AI晶片之路，從選擇供應商開始，一步一步走。但左城心裡清楚，這只是第一步。真正的牌是模型壓縮優化加聯邦學習，一旦這兩項技術結合到位，402就能用國產中端晶片跑出高端晶片的性能。到那時候，晶片就不再是瓶頸，而是402的成本優勢。
那才是真正的護城河。