第93章 名字想好了嗎
第93章 名字想好了嗎
韓路一一下飛機就馬不停蹄的約了趙文淵。本來想自己赴約，但張彪非要跟著，說是工作職責。
還是上次那個地方，南京西路瑞幸，韓路一推門進去的時候，趙文淵已經坐在靠窗的位子上了，手裡拿著一杯生椰拿鐵。
上次坐在這兒的時候，趙文淵說「大模型太貴了，這不是我們玩得起的領域」，韓路一說「源碼的門隨時給你開著」。
那是不到一個月前的事。
趙文淵穿了件灰色運動外套，看起來精神還不錯。他抬頭看見韓路一，又看見韓路一身後跟著的像終結者一樣的張彪，愣了一下。
「你這是————」
「這是彪哥，專業保鏢。」韓路一拉開椅子坐下，「投資人安排的。」
趙文淵上下打量了一下張彪，張彪在隔壁桌坐下，面無表情地掏出手機來點單—他點了一杯摩卡。
「你融了多少？」
「兩個億。」
趙文淵端起生椰拿鐵喝了一口，沒什麼特別的表情。
「估值呢？」
「二十億。」
「那咱們確實可以聊聊了。」趙文淵說，「你準備了多少預算？」
韓路一也不繞彎子：「三千萬，模型團隊的啟動預算，你覺得怎麼花？」
趙文淵沒直接回答，反問了一句：「你想從頭訓練？」
「我感覺不夠，你覺得呢？」
「確實不夠。」趙文淵說，「差得遠了。」
他翻過一張紙巾，從兜里掏出筆，開始在上面寫字。
「通用大模型，千億參數級別，預訓練要幾千張H100跑兩到三個月。」他寫了個數，「算力成本幾千萬美金起步，頭部大廠一輪預訓練燒一兩個億人民幣是常態。」
韓路一知道這些數字，但聽趙文淵親口說出來感覺不一樣，畢竟趙文淵是上過手的人。
「三千萬人民幣，」趙文淵在紙巾上畫了個約等號，「四百萬美金出頭，連一輪預訓練的零頭都不夠。」
「那你有什麼想法？」
「也有別的路，」趙文淵把筆尖點在紙巾上，「做後訓練。」
他在「後訓練」三個字下面劃了條線。
「開源基座模型已經具備通用代碼能力了，羊駝模型、女王模型，都是很好的底子，後訓練是在這個基礎上做專精。」
」SFT加DPO？」
趙文淵看了他一眼，驚奇的挑了挑眉，又轉頭看看正一臉茫然看向這邊的張彪。
「對，SFT，指令微調，讓模型學會特定任務的模式，比如你給它一句自然語言描述，它要生成一個能跑的應用。DP0，直接偏好優化，這是第二步，讓模型學會分辨什麼是好的輸出、什麼是差的輸出。」
他在紙巾上畫了個簡單的流程圖。
「後訓練的算力需求比預訓練低一到兩個數量級，三千萬夠啟動。」
他把筆放下，先看向張彪。
張彪覺得自己困了，盡力睜大眼睛，眨了眨。
趙文淵放棄讓張彪理解這次談話了，他轉向韓路一。
「後訓練不拼算力，拼數據，準確的說，拼的是高質量的標註數據。」
韓路一等他繼續。
「SFT需要大量的問題、答案配對。輸入是用戶的自然語言提示詞，輸出是可運行的應用代碼，這種數據的質量直接決定模型的上限。」
趙文淵身體前傾。
「人工標註一條高質量數據，幾十到上百塊，十萬條就是千萬級別的成本，而且標註團隊水平參差不齊，做出來的數據你還得反覆清洗。」
「我在鼎盛的時候見過，CodeSafe吃進去的用戶數據量很大，但髒，噪聲多，他們花了很多人力清洗，效果始終上不去。」
「垃圾進，垃圾出。」韓路一說。
「就是這個意思，數據質量不行，模型再大也是白搭。」趙文淵說完，看著韓路一的眼神帶著試探的意味，他在等韓路一出牌。
「數據我有。」
趙文淵沒說話，但身體坐直了。他當時就猜測過，BugKiller為什麼這麼強，要麼有黃金數據，要麼有未公開的先進算法，現在看來是前者。
「你的數據哪來的？」他放慢語速，問道，「不會也是偷的吧？」
這話不是玩笑，趙文淵從鼎盛出來的，就是看不慣CodeSafe偷用戶代碼餵大模型，這是他的底線。
韓路一正色道：「所有的數據都是用戶自願分享的。註冊時的相關選項是默認關閉的，用戶必須主動選擇將檢測結果用於產品改進我們才能看到。協議是律師一條一條審過的，我這也有審計報告。」
趙文淵盯著他看。
「我絕不偷數據。」韓路一說。
「好。」趙文淵點了點頭，「那數據量夠嗎？」
韓路一打開背包里的筆記本電腦，接上手機熱點，先登錄開物後台。
屏幕上跳出一個數據看板。
「開物上線到現在，累計二十三萬條提示詞—代碼配對，」韓路一把屏幕轉向趙文淵，「全部來自用戶主動分享。」
趙文淵掃了一眼總數：「二十三萬條————量是夠了。但有個問題，AI生成的代碼本身就有Bug，直接拿來訓練不還是垃圾進垃圾出？」
「所以有第二步。」
韓路一切換到另一個界面，BugKiller的數據管線看板。
「開物每一條生成的代碼，都會自動過一遍BugKiller的檢測引擎，有Bug的標出來，能自動修復的直接修復，修不了的丟棄。」
趙文淵湊近屏幕。
數據流很清晰：用戶提示詞→原始生成代碼→BugKiller自動檢測→修復後代碼→入庫。
每一條數據都帶著狀態標籤，「通過」或「已修復」，沒有「未修復」。
「原始代碼通過率60%上下，經過BugKiller修復後，最終入庫率96%。」
趙文淵沒說話，他伸手拿過筆記本，開始自己翻數據。
他先看了幾條「已修復」的，原始代碼里確實有Bug，修復後的代碼乾淨利落。然後他翻「通過」的那些，原始生成就沒問題，代碼結構清晰，變量命名規範。
一條、兩條、五條、十條。
他逐行看修復邏輯。
二十條、三十條。
瑞幸店裡的音樂換了幾首，趙文淵都沒有抬頭。
翻到五十條左右的時候，他停了。
「這個檢測引擎就是BugKiller的核心？」
「對，核心算法是我自己寫的，」韓路一說，「這是技術壁壘。」
「你這個數據的確不可能是偷來的，客戶的代碼良莠不齊，偷來的沒有這麼高的質量。」趙文淵嘆了一口氣，「怪不得CodeSafe會輸給你，我心服口服了。」
「這個準確率，這種用法，」他接著說，「你手裡的是一條自動化的數據清洗流水線，別人要花幾千萬請人標註的事，你用算法跑一遍就完了。」
他又想了想，語速突然變快。
「而且，BugKiller檢出來的那些Bug代碼和修復後的版本，這不就是現成的DPO訓練對嗎？有Bug的是壞例子，修復後的是好例子，天然的偏好數據。」
韓路一點了點頭。
「SFT用乾淨的提示詞、代碼對，DPO用Bug、修復對，兩條管線同時跑。」趙文淵的手在桌上敲了兩下，越說越興奮，「數據飛輪，這個別人偷不走。就算把數據偷走，沒有這個檢測引擎，也做不出同等質量的清洗。」
韓路一沒說話，文淵，入吾彀中矣。
趙文淵拿過那張寫滿數字的紙巾，翻到背面，接著寫。
「後訓練不需要預訓練那種千卡集群，但也不便宜。H100單卡現在市場價二十到二十五萬，8卡一台伺服器，一台一百六到兩百萬。」
他給紙巾拍了照，放進手機備忘錄里，然後在備忘錄里敲了一串數字。
「中等規模模型，幾十億參數，後訓練至少需要十六到三十二張卡。」
「先租。」韓路一接過話頭。
趙文淵抬頭。
「第一版跑通之前不鎖定硬體。」韓路一說，「萬一方向要調，買的卡可退不了。」
趙文淵笑了，以前在谷歌的時候，訓練模型還真沒這麼摳搜過。
「你挺清醒的。」
「窮過，謝謝。」
趙文淵在備忘錄里快速敲著數字：「算力租賃首批八百萬，數據清洗和補充標註三百到五百一這個可能可以省下來，團隊薪資六個月四百萬上下，工具鏈雜項三百萬，再預留一千萬。」
他把手機推過來讓韓路一看。
「夠用了，先跑起來。」
兩人越聊越快，瑞幸下午三點多的店裡不算吵，但他倆的聲音在不自覺地變大。
旁邊桌一個戴耳機的女生摘下一隻耳機看了他們一眼，兩個裝逼犯加一個肌肉男，這組合可太奇怪了。
店員走過來：「幾位要不要再來一杯？」
韓路一這才注意到自己坐下來到現在還沒點單。
「一杯生椰拿鐵。」
「兩杯。」趙文淵頭都沒抬。
張彪跟著店員去掃碼下單了，韓路一看了一眼桌面，幾張寫滿數字的紙巾，一台筆記本電腦，兩個手機，在瑞幸談幾千萬預算，是有點好笑。
「我明天就來上班。」
韓路一看著他：「這麼急？」
「等不了了，想快點上手。」
「對了。」他說，「最難的問題，大模型叫什麼？名字想好了嗎？」
韓路一看著他笑了：「我早就想好了——」
「天工。」
>
韓路一一下飛機就馬不停蹄的約了趙文淵。本來想自己赴約，但張彪非要跟著，說是工作職責。
還是上次那個地方，南京西路瑞幸，韓路一推門進去的時候，趙文淵已經坐在靠窗的位子上了，手裡拿著一杯生椰拿鐵。
上次坐在這兒的時候，趙文淵說「大模型太貴了，這不是我們玩得起的領域」，韓路一說「源碼的門隨時給你開著」。
那是不到一個月前的事。
趙文淵穿了件灰色運動外套，看起來精神還不錯。他抬頭看見韓路一，又看見韓路一身後跟著的像終結者一樣的張彪，愣了一下。
「你這是————」
「這是彪哥，專業保鏢。」韓路一拉開椅子坐下，「投資人安排的。」
趙文淵上下打量了一下張彪，張彪在隔壁桌坐下，面無表情地掏出手機來點單—他點了一杯摩卡。
「你融了多少？」
「兩個億。」
趙文淵端起生椰拿鐵喝了一口，沒什麼特別的表情。
「估值呢？」
「二十億。」
「那咱們確實可以聊聊了。」趙文淵說，「你準備了多少預算？」
韓路一也不繞彎子：「三千萬，模型團隊的啟動預算，你覺得怎麼花？」
趙文淵沒直接回答，反問了一句：「你想從頭訓練？」
「我感覺不夠，你覺得呢？」
「確實不夠。」趙文淵說，「差得遠了。」
他翻過一張紙巾，從兜里掏出筆，開始在上面寫字。
「通用大模型，千億參數級別，預訓練要幾千張H100跑兩到三個月。」他寫了個數，「算力成本幾千萬美金起步，頭部大廠一輪預訓練燒一兩個億人民幣是常態。」
韓路一知道這些數字，但聽趙文淵親口說出來感覺不一樣，畢竟趙文淵是上過手的人。
「三千萬人民幣，」趙文淵在紙巾上畫了個約等號，「四百萬美金出頭，連一輪預訓練的零頭都不夠。」
「那你有什麼想法？」
「也有別的路，」趙文淵把筆尖點在紙巾上，「做後訓練。」
他在「後訓練」三個字下面劃了條線。
「開源基座模型已經具備通用代碼能力了，羊駝模型、女王模型，都是很好的底子，後訓練是在這個基礎上做專精。」
」SFT加DPO？」
趙文淵看了他一眼，驚奇的挑了挑眉，又轉頭看看正一臉茫然看向這邊的張彪。
「對，SFT，指令微調，讓模型學會特定任務的模式，比如你給它一句自然語言描述，它要生成一個能跑的應用。DP0，直接偏好優化，這是第二步，讓模型學會分辨什麼是好的輸出、什麼是差的輸出。」
他在紙巾上畫了個簡單的流程圖。
「後訓練的算力需求比預訓練低一到兩個數量級，三千萬夠啟動。」
他把筆放下，先看向張彪。
張彪覺得自己困了，盡力睜大眼睛，眨了眨。
趙文淵放棄讓張彪理解這次談話了，他轉向韓路一。
「後訓練不拼算力，拼數據，準確的說，拼的是高質量的標註數據。」
韓路一等他繼續。
「SFT需要大量的問題、答案配對。輸入是用戶的自然語言提示詞，輸出是可運行的應用代碼，這種數據的質量直接決定模型的上限。」
趙文淵身體前傾。
「人工標註一條高質量數據，幾十到上百塊，十萬條就是千萬級別的成本，而且標註團隊水平參差不齊，做出來的數據你還得反覆清洗。」
「我在鼎盛的時候見過，CodeSafe吃進去的用戶數據量很大，但髒，噪聲多，他們花了很多人力清洗，效果始終上不去。」
「垃圾進，垃圾出。」韓路一說。
「就是這個意思，數據質量不行，模型再大也是白搭。」趙文淵說完，看著韓路一的眼神帶著試探的意味，他在等韓路一出牌。
「數據我有。」
趙文淵沒說話，但身體坐直了。他當時就猜測過，BugKiller為什麼這麼強，要麼有黃金數據，要麼有未公開的先進算法，現在看來是前者。
「你的數據哪來的？」他放慢語速，問道，「不會也是偷的吧？」
這話不是玩笑，趙文淵從鼎盛出來的，就是看不慣CodeSafe偷用戶代碼餵大模型，這是他的底線。
韓路一正色道：「所有的數據都是用戶自願分享的。註冊時的相關選項是默認關閉的，用戶必須主動選擇將檢測結果用於產品改進我們才能看到。協議是律師一條一條審過的，我這也有審計報告。」
趙文淵盯著他看。
「我絕不偷數據。」韓路一說。
「好。」趙文淵點了點頭，「那數據量夠嗎？」
韓路一打開背包里的筆記本電腦，接上手機熱點，先登錄開物後台。
屏幕上跳出一個數據看板。
「開物上線到現在，累計二十三萬條提示詞—代碼配對，」韓路一把屏幕轉向趙文淵，「全部來自用戶主動分享。」
趙文淵掃了一眼總數：「二十三萬條————量是夠了。但有個問題，AI生成的代碼本身就有Bug，直接拿來訓練不還是垃圾進垃圾出？」
「所以有第二步。」
韓路一切換到另一個界面，BugKiller的數據管線看板。
「開物每一條生成的代碼，都會自動過一遍BugKiller的檢測引擎，有Bug的標出來，能自動修復的直接修復，修不了的丟棄。」
趙文淵湊近屏幕。
數據流很清晰：用戶提示詞→原始生成代碼→BugKiller自動檢測→修復後代碼→入庫。
每一條數據都帶著狀態標籤，「通過」或「已修復」，沒有「未修復」。
「原始代碼通過率60%上下，經過BugKiller修復後，最終入庫率96%。」
趙文淵沒說話，他伸手拿過筆記本，開始自己翻數據。
他先看了幾條「已修復」的，原始代碼里確實有Bug，修復後的代碼乾淨利落。然後他翻「通過」的那些，原始生成就沒問題，代碼結構清晰，變量命名規範。
一條、兩條、五條、十條。
他逐行看修復邏輯。
二十條、三十條。
瑞幸店裡的音樂換了幾首，趙文淵都沒有抬頭。
翻到五十條左右的時候，他停了。
「這個檢測引擎就是BugKiller的核心？」
「對，核心算法是我自己寫的，」韓路一說，「這是技術壁壘。」
「你這個數據的確不可能是偷來的，客戶的代碼良莠不齊，偷來的沒有這麼高的質量。」趙文淵嘆了一口氣，「怪不得CodeSafe會輸給你，我心服口服了。」
「這個準確率，這種用法，」他接著說，「你手裡的是一條自動化的數據清洗流水線，別人要花幾千萬請人標註的事，你用算法跑一遍就完了。」
他又想了想，語速突然變快。
「而且，BugKiller檢出來的那些Bug代碼和修復後的版本，這不就是現成的DPO訓練對嗎？有Bug的是壞例子，修復後的是好例子，天然的偏好數據。」
韓路一點了點頭。
「SFT用乾淨的提示詞、代碼對，DPO用Bug、修復對，兩條管線同時跑。」趙文淵的手在桌上敲了兩下，越說越興奮，「數據飛輪，這個別人偷不走。就算把數據偷走，沒有這個檢測引擎，也做不出同等質量的清洗。」
韓路一沒說話，文淵，入吾彀中矣。
趙文淵拿過那張寫滿數字的紙巾，翻到背面，接著寫。
「後訓練不需要預訓練那種千卡集群，但也不便宜。H100單卡現在市場價二十到二十五萬，8卡一台伺服器，一台一百六到兩百萬。」
他給紙巾拍了照，放進手機備忘錄里，然後在備忘錄里敲了一串數字。
「中等規模模型，幾十億參數，後訓練至少需要十六到三十二張卡。」
「先租。」韓路一接過話頭。
趙文淵抬頭。
「第一版跑通之前不鎖定硬體。」韓路一說，「萬一方向要調，買的卡可退不了。」
趙文淵笑了，以前在谷歌的時候，訓練模型還真沒這麼摳搜過。
「你挺清醒的。」
「窮過，謝謝。」
趙文淵在備忘錄里快速敲著數字：「算力租賃首批八百萬，數據清洗和補充標註三百到五百一這個可能可以省下來，團隊薪資六個月四百萬上下，工具鏈雜項三百萬，再預留一千萬。」
他把手機推過來讓韓路一看。
「夠用了，先跑起來。」
兩人越聊越快，瑞幸下午三點多的店裡不算吵，但他倆的聲音在不自覺地變大。
旁邊桌一個戴耳機的女生摘下一隻耳機看了他們一眼，兩個裝逼犯加一個肌肉男，這組合可太奇怪了。
店員走過來：「幾位要不要再來一杯？」
韓路一這才注意到自己坐下來到現在還沒點單。
「一杯生椰拿鐵。」
「兩杯。」趙文淵頭都沒抬。
張彪跟著店員去掃碼下單了，韓路一看了一眼桌面，幾張寫滿數字的紙巾，一台筆記本電腦，兩個手機，在瑞幸談幾千萬預算，是有點好笑。
「我明天就來上班。」
韓路一看著他：「這麼急？」
「等不了了，想快點上手。」
「對了。」他說，「最難的問題，大模型叫什麼？名字想好了嗎？」
韓路一看著他笑了：「我早就想好了——」
「天工。」
>