第545章 張磊:原來這就是開掛的滋味
會議室里的眾人感覺到一陣絕望。
畢竟端側語音助手的核心矛盾就是算力和體積的龐大。
如今小音助手之所以那麼聰明，就是因為有龐大的伺服器集群做支撐。
畢竟自家有算力卡，根本不用像外面那么小氣，但這就導致……雲端AI是一個非常龐大的模型。
要把這個模型壓縮到手機晶片裡運行，還要保證速度和準確率，跟在螺絲殼裡做道場差不多。
簡單來說就是不可能，或者說以現在的技術根本不可能。
現在行業里的雲助手大部分都是雲端傳話器，大部分運算都在伺服器上完成，本地只做個簡單的喚醒和指令上傳。
真要是完全斷了，本來就是屬於人工智障的模型就會變得更加……
更加的智障。
「再試一次，把喚醒詞模型再剪枝20%。」
張磊一狠心，還是決定再試一下，「準確率降點就降點，先解決延遲的問題。」
「可是剪完之後，誤喚醒率會飆升……」
「先測試，畢竟就咱們的模型，哪怕喚醒率飆升，也比他們的強。」
就在眾人準備行動的時候，實驗室的門被推開了。
沈飛走進來的時候，主人瞬間停下了手裡的動作，畢竟老闆又來視察工作了。
「沈總？」張磊稍微有點慌，連忙迎了上去，「您怎麼來了？」
此時他內心已經腦補了這一段時間的所有研發過程，還以為是這邊的進度讓老闆不滿意，所以親自來……
追責！
此時他的額頭上已經開始出現一點冷汗，畢竟傳音公司的工資福利實在是太高了。
「不要慌，我就是過來看看進度，看看有沒有什麼能幫忙的地方？」
沈飛看了一眼屏幕上的測試曲線，也沒有說他們的問題，反而笑著問道:
「遇到瓶頸了。」
張磊臉上一熱，有點不好意思:「是……模型壓縮遇到了天花板。
本地算力有限，要保證識別率，延遲就降不下來。
要壓延遲，準確率就掉得厲害。
我們試了十幾種剪枝方案，都達不到項目的目標。」
「要不……我們主推的就是雲南模式，本地做個簡化版，能實現基礎功能就行。
我相信大多數人也不會遇到這種極端情況。」
其實張磊一直在想一個問題，小音的雲端模型已經領先了其他同行，本地……本地模型，其他家更是連PPT都沒有立項。
傳音這邊能做出來就已經是遙遙領先，沒必要追求過於極致的響應，比如0.3秒。
沈飛卻搖了搖頭，這個問題沒得商量。
「不行。
端側語音的核心就是本地響應，如果還要依賴雲端，那這一次技術疊代搞什麼？」
「而且大家都在做雲端，拼的是誰的伺服器好，誰的餘糧多。
雖然算法可以拉開差距，但這個軍備競賽還是太小了，老黃那邊的戰力卡銷量其實還是不好，必須得給他們上上壓力。」
張磊瞬間吸了一口涼氣，他終於明白了老闆為什麼要這麼做了。
這哪是要搞新模型，這分明是要把友商帶偏，然後好賣算力卡。
這時張磊突然小聲地嘟囔著:「老闆，咱們這樣是不是有點不道德？
畢竟咱們能做出來的東西，他們不一定能做的出來。」
此時張磊心中的一些怨念也徹底消失不見，畢竟他老張家的人，最擅長樂於助人……
所以……
此時我們組的其他成員也露出了微妙的表情。
「一個個這種表情幹什麼？我剛才什麼都沒說。」
看著眾人的士氣瞬間提了起來，沈飛也開始耍賴。
「我剛才耳聾了，你說什麼？」
隨著一個人的帶頭，其他人紛紛附和，畢竟這一段時間吃的苦，其他友商的工程師也一定要好好吃一下。
【其他友商的工程師:……】
「坑有啥？只不過是個小插曲，但本地模型還是要好好做的，畢竟有些地方，還是需要端側模型的。」
「把你們的模型架構圖調出來我看看。」
張磊看到老闆要指導工作，連忙把複雜的模型圖投到了大屏幕上。
沈飛掃了一會，心裡就有數了。
團隊的思路沒問題，就是傳統的模型剪枝量化那一套，能挖的潛力基本上都挖完了。
靠他們自己慢慢磨，說不定再熬半年就能摸到門檻，但時間太久了，他等不起。
他要開掛。
於是他伸手從口袋裡掏出個U盤放在了工作檯上。
「這裡有一套新的語音模型架構，還有配套的壓縮算法。
你們照著這個方案改重新訓練模型。」
「新架構。」
雖然張磊有點疑惑，但還是快速地從沈飛手裡接過來那個U盤，畢竟傳音實驗是第一定律，老闆的實力不要質疑。
「對。
這個模型採用了輕量化動態網絡結構，不用暴力剪枝。
能在保證98%識別率的前提下，把模型體積壓縮到原來的十分之一。」
「十分之一。」
周圍的幾個工程師都湊了過來，臉上全是好奇之心。
畢竟他們的模型已經壓縮到了8GB，那壓縮後的結果就是800MB？
這個大小的模型，還能做到0.3秒的響應，這聽起來就是天方夜譚。
「別在那裡傻愣著了，考進去試試。」
沈飛指了指他們。
張磊回過身，趕緊把U盤插進電腦。
打開文件夾，裡面不僅有完整的架構代碼，還有詳細的訓練指南和優化筆記，甚至連常見的坑都已經標註清楚了。
他越看越激動，畢竟這套架構採用了一種他們想都沒想過的方式，解決了模型體積和準確率的矛盾。
就像有人在死胡同里，直接開了一扇新的大門。
「這……這也太牛了……」
「動態路由分配算例，用小模型拼接出大模型的效果……我們之前怎麼沒有想到呢？」
張磊直接傻眼了，果然有名師指導，瞬間就可以醍醐灌頂，古人誠不欺我。
「現在想到也不晚。」沈飛笑了笑，「給你們一周的時間，把模型調教好，能做到嗎？」
「能。」
張磊和一眾工程師連連點頭。
「別說一星期，給我們兩天就行，或者說上發布會都沒問題。」
「不用那麼著急，這是等產品進入平銷期拉熱度用的。
不過你們可以提前爆料，吸引一下同行的工程師。」
畢竟端側語音助手的核心矛盾就是算力和體積的龐大。
如今小音助手之所以那麼聰明，就是因為有龐大的伺服器集群做支撐。
畢竟自家有算力卡，根本不用像外面那么小氣，但這就導致……雲端AI是一個非常龐大的模型。
要把這個模型壓縮到手機晶片裡運行，還要保證速度和準確率，跟在螺絲殼裡做道場差不多。
簡單來說就是不可能，或者說以現在的技術根本不可能。
現在行業里的雲助手大部分都是雲端傳話器，大部分運算都在伺服器上完成，本地只做個簡單的喚醒和指令上傳。
真要是完全斷了，本來就是屬於人工智障的模型就會變得更加……
更加的智障。
「再試一次，把喚醒詞模型再剪枝20%。」
張磊一狠心，還是決定再試一下，「準確率降點就降點，先解決延遲的問題。」
「可是剪完之後，誤喚醒率會飆升……」
「先測試，畢竟就咱們的模型，哪怕喚醒率飆升，也比他們的強。」
就在眾人準備行動的時候，實驗室的門被推開了。
沈飛走進來的時候，主人瞬間停下了手裡的動作，畢竟老闆又來視察工作了。
「沈總？」張磊稍微有點慌，連忙迎了上去，「您怎麼來了？」
此時他內心已經腦補了這一段時間的所有研發過程，還以為是這邊的進度讓老闆不滿意，所以親自來……
追責！
此時他的額頭上已經開始出現一點冷汗，畢竟傳音公司的工資福利實在是太高了。
「不要慌，我就是過來看看進度，看看有沒有什麼能幫忙的地方？」
沈飛看了一眼屏幕上的測試曲線，也沒有說他們的問題，反而笑著問道:
「遇到瓶頸了。」
張磊臉上一熱，有點不好意思:「是……模型壓縮遇到了天花板。
本地算力有限，要保證識別率，延遲就降不下來。
要壓延遲，準確率就掉得厲害。
我們試了十幾種剪枝方案，都達不到項目的目標。」
「要不……我們主推的就是雲南模式，本地做個簡化版，能實現基礎功能就行。
我相信大多數人也不會遇到這種極端情況。」
其實張磊一直在想一個問題，小音的雲端模型已經領先了其他同行，本地……本地模型，其他家更是連PPT都沒有立項。
傳音這邊能做出來就已經是遙遙領先，沒必要追求過於極致的響應，比如0.3秒。
沈飛卻搖了搖頭，這個問題沒得商量。
「不行。
端側語音的核心就是本地響應，如果還要依賴雲端，那這一次技術疊代搞什麼？」
「而且大家都在做雲端，拼的是誰的伺服器好，誰的餘糧多。
雖然算法可以拉開差距，但這個軍備競賽還是太小了，老黃那邊的戰力卡銷量其實還是不好，必須得給他們上上壓力。」
張磊瞬間吸了一口涼氣，他終於明白了老闆為什麼要這麼做了。
這哪是要搞新模型，這分明是要把友商帶偏，然後好賣算力卡。
這時張磊突然小聲地嘟囔著:「老闆，咱們這樣是不是有點不道德？
畢竟咱們能做出來的東西，他們不一定能做的出來。」
此時張磊心中的一些怨念也徹底消失不見，畢竟他老張家的人，最擅長樂於助人……
所以……
此時我們組的其他成員也露出了微妙的表情。
「一個個這種表情幹什麼？我剛才什麼都沒說。」
看著眾人的士氣瞬間提了起來，沈飛也開始耍賴。
「我剛才耳聾了，你說什麼？」
隨著一個人的帶頭，其他人紛紛附和，畢竟這一段時間吃的苦，其他友商的工程師也一定要好好吃一下。
【其他友商的工程師:……】
「坑有啥？只不過是個小插曲，但本地模型還是要好好做的，畢竟有些地方，還是需要端側模型的。」
「把你們的模型架構圖調出來我看看。」
張磊看到老闆要指導工作，連忙把複雜的模型圖投到了大屏幕上。
沈飛掃了一會，心裡就有數了。
團隊的思路沒問題，就是傳統的模型剪枝量化那一套，能挖的潛力基本上都挖完了。
靠他們自己慢慢磨，說不定再熬半年就能摸到門檻，但時間太久了，他等不起。
他要開掛。
於是他伸手從口袋裡掏出個U盤放在了工作檯上。
「這裡有一套新的語音模型架構，還有配套的壓縮算法。
你們照著這個方案改重新訓練模型。」
「新架構。」
雖然張磊有點疑惑，但還是快速地從沈飛手裡接過來那個U盤，畢竟傳音實驗是第一定律，老闆的實力不要質疑。
「對。
這個模型採用了輕量化動態網絡結構，不用暴力剪枝。
能在保證98%識別率的前提下，把模型體積壓縮到原來的十分之一。」
「十分之一。」
周圍的幾個工程師都湊了過來，臉上全是好奇之心。
畢竟他們的模型已經壓縮到了8GB，那壓縮後的結果就是800MB？
這個大小的模型，還能做到0.3秒的響應，這聽起來就是天方夜譚。
「別在那裡傻愣著了，考進去試試。」
沈飛指了指他們。
張磊回過身，趕緊把U盤插進電腦。
打開文件夾，裡面不僅有完整的架構代碼，還有詳細的訓練指南和優化筆記，甚至連常見的坑都已經標註清楚了。
他越看越激動，畢竟這套架構採用了一種他們想都沒想過的方式，解決了模型體積和準確率的矛盾。
就像有人在死胡同里，直接開了一扇新的大門。
「這……這也太牛了……」
「動態路由分配算例，用小模型拼接出大模型的效果……我們之前怎麼沒有想到呢？」
張磊直接傻眼了，果然有名師指導，瞬間就可以醍醐灌頂，古人誠不欺我。
「現在想到也不晚。」沈飛笑了笑，「給你們一周的時間，把模型調教好，能做到嗎？」
「能。」
張磊和一眾工程師連連點頭。
「別說一星期，給我們兩天就行，或者說上發布會都沒問題。」
「不用那麼著急，這是等產品進入平銷期拉熱度用的。
不過你們可以提前爆料，吸引一下同行的工程師。」