第363章 六十一!
十一月九號。周一。
老周來得比林徹早。
林徹八點半到辦公室的時候,老周已經坐在會客區的沙發上了,手裡拿著一個平板,屏幕亮著,上面是一封郵件。他穿的是上周那件灰色衛衣,領口有點皺,像是昨晚沒回家。
」等多久了?」林徹問。
」二十分鐘。」
林徹放下包,沒坐到自己的椅子上,直接走到會客區坐在老周對面。
」說。」
老周把平板遞過來。
是一封發件人地址很長的英文郵件,林徹掃了一眼抬頭,某美國晶片公司的亞太區合規辦公室。
」三個型號,上周五下午收到暫停發貨通知。」老周說,」主控晶片一款,AI訓練卡兩款。郵件措辭是'因出口合規審查需要,暫停向貴司交付以下產品型號,恢復時間另行通知'。」
另行通知。
林徹把平板放在茶几上。
」庫存多少。」
」主控晶片庫存夠用五個月。兩款AI訓練卡庫存不一樣,A100系列只夠三個半月,V100系列夠六個月。綜合來算,如果三個型號全停,維持當前服務規模的話,庫存撐四個月。」
四個月。
林徹沒說話,等他繼續。
老周往前坐了一點,平板擱在膝蓋上。
」我周末算了一遍國產替代方案。寒武紀的MLU270可以替代V100的大部分推理任務,華為昇騰910可以替代A100的部分訓練任務,主控晶片用飛騰或者鯤鵬都行。」
他頓了一下。
」但性能只有61%。」
61%。
打了六折。
」具體差在哪。」
」推理速度差20%左右,可以接受,用戶端感知不明顯。但訓練速度差40%以上,同樣的模型訓練時間從兩天變成三天半。更大的問題是良率,國產卡的故障率是進口的三到四倍,批量部署之後運維壓力會很大。」
老周說到這裡停了。他在等林徹的反應。
林徹靠在沙發上,手指搭在扶手上,沒動。
他在想。
61%的性能。聽起來很難看,快接近不能用了。但」不能用」和」勉強能用」之間有一條線,這條線的位置取決於你怎麼用。
單晶片跑不動的事情,多晶片可以跑。一張卡算不完的任務,四張卡並行可以算。推理速度差20%,可以用緩存和預加載對沖,用戶那邊感知不到。訓練速度差40%,可以把非緊急的訓練任務挪到夜間跑,白天只保留推理和在線服務。
異構計算。
上輩子2022年以後,所有被制裁的中國科技公司都在做這件事。用不同架構的晶片混合部署,用軟體層的調度算法彌補硬體層的性能差距。不完美,很笨重,調度代碼寫起來想罵人。但能跑。
關鍵不是跑多快,是能不能跑。
用戶不能感知到卡頓。企業核心業務不能受影響。微光協同的視頻會議不能掉幀,信用購的風控模型不能延遲出結果,Abyss的數據查詢不能超時。
這三條守住了,61%就夠了。
守不住,100%也不夠。
他在腦子裡過了一遍微光的業務優先級。第一梯隊:信用購風控+Abyss實時查詢+協同視頻會議,這三個對延遲最敏感,必須用最好的卡。第二梯隊:雲倉調度+企業服務後台+AI訓練任務,可以容忍一定程度的降速。第三梯隊:日誌分析、數據備份、離線任務,完全可以跑在國產卡上。
分三層切,從第三梯隊開始換,第一梯隊最後換。進口庫存優先保第一梯隊。
這個方案不完美。但能跑。
」良率的問題呢。」他問。
」故障率高意味著要多備冗餘機器。我算了一下,如果要保證跟進口晶片同樣的服務可用性,冗餘率要從現在的15%提到35%。機器多了,電費多了,機房面積也得擴。」
」錢的事找沈南。」
老周張了一下嘴,又閉上了。
他大概想說」不只是錢的問題」。冗餘率從15%提到35%意味著機房要擴容,意味著運維團隊要加人,意味著整個基礎設施的架構要重新規劃。這不是加錢就能解決的,是整個技術底座要翻一遍。
但他沒說出來。
因為他知道林徹聽得懂」冗餘率提到35%」這句話背後有多少東西。
林徹看著他。
老周的眼睛有點紅,跟前幾天沈南來匯報的時候一樣,但原因不同。沈南是算完數字之後哭的,老周是一個周末沒怎麼睡。他的平板上除了那封斷供郵件,還有至少二十個瀏覽器標籤頁開著,都是國產晶片的技術文檔和評測數據。
他周末把能找到的資料全翻了一遍。
來之前已經有方案了。
只是方案不好看。
」61%夠不夠跑全套?」林徹問。
老周想了一下。不是猶豫,是在組織措辭。
」勉強。得軟體做很多適配。調度層重寫,緩存策略重做,推理引擎的底層要改。至少三個月。」
」三個月之內呢?」
」混著用。進口庫存撐著核心業務,國產卡先上非核心的任務,邊切邊調。過渡期會很難看,但不會崩。」
林徹點了一下頭。
」那就做。」
三個字。
老周看了他兩秒。
」真做?」
」真做。」
老周把平板收起來,站了起來。他沒有再問別的。沒有問」如果進口恢復了怎麼辦」,沒有問」如果61%扛不住怎麼辦」,沒有問」如果三個月不夠呢」。
這些問題他自己會在做的過程中解決。
林徹知道他會的。
因為老周來之前就已經把方案想好了。他需要的不是方案,是一句」做」。
老周走到門口,拉開門,走廊的燈照進來。
他回頭看了一眼。
」設備那邊,陳維說有一筆荷蘭的訂單可以走第三方轉口,但溢價40%。」
」走。」
」還有一台二手光刻設備,七成新,日本渠道,價格還在談。」
」能用就買。」
老周點了一下頭,走了。
門關上了。
林徹聽著他的腳步聲在走廊里遠去。
腳步比來的時候快。
…………
辦公室安靜了。
他坐在沙發上沒動,面前的茶几上放著老周剛才擱過平板的位置,留了一小塊手汗的痕跡,過了幾秒就幹了。
手機在桌上震了一下。
陳維。
」荷蘭那筆,轉口路徑已確認。走新加坡。溢價42%。合同今天能簽。」
他回了兩個字。
」簽。」
放下手機。
窗外是杭州十一月的早晨,太陽在雲後面,光是白的,沒有溫度。
四個月。
倒計時開始了。
老周來得比林徹早。
林徹八點半到辦公室的時候,老周已經坐在會客區的沙發上了,手裡拿著一個平板,屏幕亮著,上面是一封郵件。他穿的是上周那件灰色衛衣,領口有點皺,像是昨晚沒回家。
」等多久了?」林徹問。
」二十分鐘。」
林徹放下包,沒坐到自己的椅子上,直接走到會客區坐在老周對面。
」說。」
老周把平板遞過來。
是一封發件人地址很長的英文郵件,林徹掃了一眼抬頭,某美國晶片公司的亞太區合規辦公室。
」三個型號,上周五下午收到暫停發貨通知。」老周說,」主控晶片一款,AI訓練卡兩款。郵件措辭是'因出口合規審查需要,暫停向貴司交付以下產品型號,恢復時間另行通知'。」
另行通知。
林徹把平板放在茶几上。
」庫存多少。」
」主控晶片庫存夠用五個月。兩款AI訓練卡庫存不一樣,A100系列只夠三個半月,V100系列夠六個月。綜合來算,如果三個型號全停,維持當前服務規模的話,庫存撐四個月。」
四個月。
林徹沒說話,等他繼續。
老周往前坐了一點,平板擱在膝蓋上。
」我周末算了一遍國產替代方案。寒武紀的MLU270可以替代V100的大部分推理任務,華為昇騰910可以替代A100的部分訓練任務,主控晶片用飛騰或者鯤鵬都行。」
他頓了一下。
」但性能只有61%。」
61%。
打了六折。
」具體差在哪。」
」推理速度差20%左右,可以接受,用戶端感知不明顯。但訓練速度差40%以上,同樣的模型訓練時間從兩天變成三天半。更大的問題是良率,國產卡的故障率是進口的三到四倍,批量部署之後運維壓力會很大。」
老周說到這裡停了。他在等林徹的反應。
林徹靠在沙發上,手指搭在扶手上,沒動。
他在想。
61%的性能。聽起來很難看,快接近不能用了。但」不能用」和」勉強能用」之間有一條線,這條線的位置取決於你怎麼用。
單晶片跑不動的事情,多晶片可以跑。一張卡算不完的任務,四張卡並行可以算。推理速度差20%,可以用緩存和預加載對沖,用戶那邊感知不到。訓練速度差40%,可以把非緊急的訓練任務挪到夜間跑,白天只保留推理和在線服務。
異構計算。
上輩子2022年以後,所有被制裁的中國科技公司都在做這件事。用不同架構的晶片混合部署,用軟體層的調度算法彌補硬體層的性能差距。不完美,很笨重,調度代碼寫起來想罵人。但能跑。
關鍵不是跑多快,是能不能跑。
用戶不能感知到卡頓。企業核心業務不能受影響。微光協同的視頻會議不能掉幀,信用購的風控模型不能延遲出結果,Abyss的數據查詢不能超時。
這三條守住了,61%就夠了。
守不住,100%也不夠。
他在腦子裡過了一遍微光的業務優先級。第一梯隊:信用購風控+Abyss實時查詢+協同視頻會議,這三個對延遲最敏感,必須用最好的卡。第二梯隊:雲倉調度+企業服務後台+AI訓練任務,可以容忍一定程度的降速。第三梯隊:日誌分析、數據備份、離線任務,完全可以跑在國產卡上。
分三層切,從第三梯隊開始換,第一梯隊最後換。進口庫存優先保第一梯隊。
這個方案不完美。但能跑。
」良率的問題呢。」他問。
」故障率高意味著要多備冗餘機器。我算了一下,如果要保證跟進口晶片同樣的服務可用性,冗餘率要從現在的15%提到35%。機器多了,電費多了,機房面積也得擴。」
」錢的事找沈南。」
老周張了一下嘴,又閉上了。
他大概想說」不只是錢的問題」。冗餘率從15%提到35%意味著機房要擴容,意味著運維團隊要加人,意味著整個基礎設施的架構要重新規劃。這不是加錢就能解決的,是整個技術底座要翻一遍。
但他沒說出來。
因為他知道林徹聽得懂」冗餘率提到35%」這句話背後有多少東西。
林徹看著他。
老周的眼睛有點紅,跟前幾天沈南來匯報的時候一樣,但原因不同。沈南是算完數字之後哭的,老周是一個周末沒怎麼睡。他的平板上除了那封斷供郵件,還有至少二十個瀏覽器標籤頁開著,都是國產晶片的技術文檔和評測數據。
他周末把能找到的資料全翻了一遍。
來之前已經有方案了。
只是方案不好看。
」61%夠不夠跑全套?」林徹問。
老周想了一下。不是猶豫,是在組織措辭。
」勉強。得軟體做很多適配。調度層重寫,緩存策略重做,推理引擎的底層要改。至少三個月。」
」三個月之內呢?」
」混著用。進口庫存撐著核心業務,國產卡先上非核心的任務,邊切邊調。過渡期會很難看,但不會崩。」
林徹點了一下頭。
」那就做。」
三個字。
老周看了他兩秒。
」真做?」
」真做。」
老周把平板收起來,站了起來。他沒有再問別的。沒有問」如果進口恢復了怎麼辦」,沒有問」如果61%扛不住怎麼辦」,沒有問」如果三個月不夠呢」。
這些問題他自己會在做的過程中解決。
林徹知道他會的。
因為老周來之前就已經把方案想好了。他需要的不是方案,是一句」做」。
老周走到門口,拉開門,走廊的燈照進來。
他回頭看了一眼。
」設備那邊,陳維說有一筆荷蘭的訂單可以走第三方轉口,但溢價40%。」
」走。」
」還有一台二手光刻設備,七成新,日本渠道,價格還在談。」
」能用就買。」
老周點了一下頭,走了。
門關上了。
林徹聽著他的腳步聲在走廊里遠去。
腳步比來的時候快。
…………
辦公室安靜了。
他坐在沙發上沒動,面前的茶几上放著老周剛才擱過平板的位置,留了一小塊手汗的痕跡,過了幾秒就幹了。
手機在桌上震了一下。
陳維。
」荷蘭那筆,轉口路徑已確認。走新加坡。溢價42%。合同今天能簽。」
他回了兩個字。
」簽。」
放下手機。
窗外是杭州十一月的早晨,太陽在雲後面,光是白的,沒有溫度。
四個月。
倒計時開始了。