第141章 國內第一梯隊
這頓飯韓路一吸取教訓，確認不用再加菜之後，手速很快地從小程序早早買了單。
吃完正要起身，趙文淵的電話打進來了，韓路一又重新坐下接起電話。
「韓總，最新一輪的結果出來了！」趙文淵的聲音帶著那種連續熬夜之後特有的沙啞，但語氣很亢奮：「意圖理解基準從83.7漲到了85.2，其他幾項基礎指標也在上升，語義連貫提了0.8個點，多輪推理提高了1.2個點！」
「綜合性能呢？」
「綜合得分比之前那版高了將近兩個百分點。這個提升幅度，在7B參數的量級上已經很誇張了。」趙文淵停了一下，「業內現在的主流猜測一直都認為數據標註的質量能提高模型的上限，但是我是真沒想到影響能這麼大。從結果來看，之前一定沒有人用這種質量的數據訓練過大模型！」
「提升的空間還有嗎？」
「基本到頭了，我下午換了學習率策略，看看接下來兩天能不能再擠一點。」
「學習率那邊別動了，」韓路一說，「兩個點的提升夠用了。你明天看看能不能先把模型部署下來，我們做些場景測試。」
趙文淵愣了一下：「這麼快就上實測？」
「訓練集上再刷分意義不大，實測一下真實場景的實際用例，周二去給鼎盛一點小小的震撼。」「哈哈哈！」趙文淵覺得跟著韓路一自己的心態都變年輕了，雖然他本來也不老，「我這輩子沒調過這麼爽的參數。」
掛了電話，這兩個曾經狼狽離開鼎盛的人，此刻都迫不及待想地要殺回那扇大門。
蘇念念聽完這通電話，雖然不知道對面說了啥，但聽說要去給鼎盛一點震撼，知道一定是好消息。韓路一沒有立刻起身，陷入了短暫的沉思：原來剛才經驗值的變化是從這來的，上午看的時候還是7%，剛才變成8%。現在韓路一可以確定是因為趙文淵跑完這一輪微調帶來的經驗值上漲。
控制變量，基本可以肯定模型訓練和視界經驗值之間存在正相關，就這麼幹下去，下一級觸手可及。那之前訓練天工代碼模型的時候沒有漲經驗，是因為沒有使用他自己的標註數據嗎？這到底和標註的被使用量有關還是和產出的模型準確率有關？
「走嗎？」蘇念念說話間已經站起來穿上了外套。
被這麼一叫，韓路一回過神，說：「念念，我發現我還是挺擅長推理的。」
蘇念念不置可否。
兩人繼續出去完成清單上最後一項特別獎，蘇念念一路領著韓路一直奔二樓的大疆/哈蘇體驗店。店裡裝修風格清冷但不失調性，正中間是一個長條形的玻璃展櫃，往裡走還有面上更多的產品展示。韓路一來到陳列的產品前，拿起一Pocket4翻看起來，入手紮實，比他想像的小。「這個員工拿到真的會用嗎？」他問。
「當然啦，」蘇念念說得很肯定，「上周我在辦公室聽見小楊他們聊天，說朋友剛買了這個去雲南拍了一路，回來素材剪出來放在小黃書上，漲了好多粉。」
韓路一若有所思，他上次旅遊是什麼時候……
蘇念念繼續說道：「而且現在大家都愛往戶外跑，徒步，騎行，露營，滑雪，這個都用得上。」不愧是產品經理，說起別人的產品也頭頭是道的，有理有據令人信服。
韓路一看了眼旁邊的價格牌，想了想今年的帳：源碼雖然創立才幾個月，但每一步都踩在點上，錢賺到了，團隊也在擴張，大家都越干越有勁頭。
他是第一次當老闆。以前當打工牛馬，年終禮品發什麼他沒資格管，現在輪到他了，他也想激發一下凝聚力，搞點拿得出手的東西，讓員工用著就能想起來今年幹得不錯的那種。
他看看手上的Pocket，再看看Action，都不錯嘛。
小孩子才做選擇，大人我全都要。
「各買三吧！」他決定，「做抽獎，全員參與。」
蘇念念沒有顯出很意外，但還是肯定了他一下：「韓總大氣！」
12月15日，周二，下午一點半。
鼎盛大廈三十三層，圖靈廳。
程遠提前半個小時就到場了。
會議室不大，八人座的橢圓桌，中間擺著礦泉水、燒水壺和一盒沒拆封的掛耳咖啡。投影幕布已經拉下來了，連著一鼎盛內部配發的工作站。
雖然秘書已經做過一遍了，但他還是又檢查了一遍會議室的設備，確認投影、網絡、白板筆都沒問題，又把桌上的水瓶標籤朝外轉了轉。
門開了，劉大海走了進來。
他光頭，穿著一件灰色的連帽衫，下面穿了條寬鬆的運動褲，腳上是一雙跑鞋。和程遠的西裝革履站在一起，像兩個不同次元的人。
「劉博士，辛苦了。」程遠站起來。
「嗨，這不外道了麼，都咱份內的事兒。」劉大海是北方人，特別能嘮嗑，絕不會把話落在地上。他把筆記本往桌上一放，就開始接線調試。
程遠把這個內部會議的時間提前了半小時，也是借這個機會對自己模型組的最新進度先深入了解一下，對齊顆粒度。鄭總似乎很掛心這事，他也得趕緊把優先主次調整清楚了。
劉大海調完設備，坐下來喝了口水。
「今天來的誰（sei）啊？」
「源碼科技，一個AI創業公司。」程遠簡短地說，「做應用層的，最近想往大模型方向走。」劉大海擡了一下眉毛：「啥？多大規模？」
「五十人左右，A輪。」
劉大海皺著眉頭，頭頂飄著兩個為什麼一
為什麼五十人就敢做大模型，光數據清洗的團隊都湊不齊，虎了吧唧的。
為什麼這麼不切實際的公司今天能來鼎盛開會，還是鄭總發話，需要他親自來給演示。
「鄭總的意思，你把坤元最新的評測結果給對方演示一下就行。」程遠說。
「坤元」是鼎盛內部通用大模型的代號。乾元是代碼大模型，已經公開發布了。坤元是通用模型，還在內部測試階段，沒有對外公布過。
「現在我們內部做到什麼水平了？劉博士，能不能先給我解解惑？」
劉大海點了點頭，打開了演示界面，順手調出了一組數據。
「上周剛跑完的結果，」劉大海指著屏幕，「咱們最強的在這，意圖理解直接干到了78，比上一版提了將近兩個點，老猛了！」
劉大海切到一張對比圖，縱軸是綜合得分，橫軸排著國內外十幾家模型。
「你瞅這，綜合跑分這個位置，」劉大海用手指點了一下點狀圖最高的那個點，「GPT-4。」然後他的手指往左移了兩格：「咱在這，差距大概三個百分點，放在國內這是第一梯隊，穩穩噹噹的！」
接著他切了一張圖：「只看意圖理解這個單項，咱和OpenAI的差距已經縮到不到0.2個點了，而且在中文場景下咱還能加加，支棱支棱超過去也不是啥大問題。」
程遠看著那張圖，心裡踏實了不少，這個數字拿出去，足夠讓任何一個創業公司掂量掂量自己幾斤幾兩。
「劉博士，演示的時候你把這張對比圖放出來就行，不用太詳細，點到為止。」
「嗨，妥妥的。」劉大海關掉了屏幕，「說實話我不太樂意整這種對外演示，但鄭總發話了，那就走個過場唄。」
程遠笑了笑，沒接話。
劉大海也不在乎，掏出手機開始接著看論文。
一點五十。
還有十分鐘就又要和韓路一見面了，程遠拉了拉看完表的袖口，嘴角不自覺地掛上了一抹勢在必得的笑怠。
吃完正要起身，趙文淵的電話打進來了，韓路一又重新坐下接起電話。
「韓總，最新一輪的結果出來了！」趙文淵的聲音帶著那種連續熬夜之後特有的沙啞，但語氣很亢奮：「意圖理解基準從83.7漲到了85.2，其他幾項基礎指標也在上升，語義連貫提了0.8個點，多輪推理提高了1.2個點！」
「綜合性能呢？」
「綜合得分比之前那版高了將近兩個百分點。這個提升幅度，在7B參數的量級上已經很誇張了。」趙文淵停了一下，「業內現在的主流猜測一直都認為數據標註的質量能提高模型的上限，但是我是真沒想到影響能這麼大。從結果來看，之前一定沒有人用這種質量的數據訓練過大模型！」
「提升的空間還有嗎？」
「基本到頭了，我下午換了學習率策略，看看接下來兩天能不能再擠一點。」
「學習率那邊別動了，」韓路一說，「兩個點的提升夠用了。你明天看看能不能先把模型部署下來，我們做些場景測試。」
趙文淵愣了一下：「這麼快就上實測？」
「訓練集上再刷分意義不大，實測一下真實場景的實際用例，周二去給鼎盛一點小小的震撼。」「哈哈哈！」趙文淵覺得跟著韓路一自己的心態都變年輕了，雖然他本來也不老，「我這輩子沒調過這麼爽的參數。」
掛了電話，這兩個曾經狼狽離開鼎盛的人，此刻都迫不及待想地要殺回那扇大門。
蘇念念聽完這通電話，雖然不知道對面說了啥，但聽說要去給鼎盛一點震撼，知道一定是好消息。韓路一沒有立刻起身，陷入了短暫的沉思：原來剛才經驗值的變化是從這來的，上午看的時候還是7%，剛才變成8%。現在韓路一可以確定是因為趙文淵跑完這一輪微調帶來的經驗值上漲。
控制變量，基本可以肯定模型訓練和視界經驗值之間存在正相關，就這麼幹下去，下一級觸手可及。那之前訓練天工代碼模型的時候沒有漲經驗，是因為沒有使用他自己的標註數據嗎？這到底和標註的被使用量有關還是和產出的模型準確率有關？
「走嗎？」蘇念念說話間已經站起來穿上了外套。
被這麼一叫，韓路一回過神，說：「念念，我發現我還是挺擅長推理的。」
蘇念念不置可否。
兩人繼續出去完成清單上最後一項特別獎，蘇念念一路領著韓路一直奔二樓的大疆/哈蘇體驗店。店裡裝修風格清冷但不失調性，正中間是一個長條形的玻璃展櫃，往裡走還有面上更多的產品展示。韓路一來到陳列的產品前，拿起一Pocket4翻看起來，入手紮實，比他想像的小。「這個員工拿到真的會用嗎？」他問。
「當然啦，」蘇念念說得很肯定，「上周我在辦公室聽見小楊他們聊天，說朋友剛買了這個去雲南拍了一路，回來素材剪出來放在小黃書上，漲了好多粉。」
韓路一若有所思，他上次旅遊是什麼時候……
蘇念念繼續說道：「而且現在大家都愛往戶外跑，徒步，騎行，露營，滑雪，這個都用得上。」不愧是產品經理，說起別人的產品也頭頭是道的，有理有據令人信服。
韓路一看了眼旁邊的價格牌，想了想今年的帳：源碼雖然創立才幾個月，但每一步都踩在點上，錢賺到了，團隊也在擴張，大家都越干越有勁頭。
他是第一次當老闆。以前當打工牛馬，年終禮品發什麼他沒資格管，現在輪到他了，他也想激發一下凝聚力，搞點拿得出手的東西，讓員工用著就能想起來今年幹得不錯的那種。
他看看手上的Pocket，再看看Action，都不錯嘛。
小孩子才做選擇，大人我全都要。
「各買三吧！」他決定，「做抽獎，全員參與。」
蘇念念沒有顯出很意外，但還是肯定了他一下：「韓總大氣！」
12月15日，周二，下午一點半。
鼎盛大廈三十三層，圖靈廳。
程遠提前半個小時就到場了。
會議室不大，八人座的橢圓桌，中間擺著礦泉水、燒水壺和一盒沒拆封的掛耳咖啡。投影幕布已經拉下來了，連著一鼎盛內部配發的工作站。
雖然秘書已經做過一遍了，但他還是又檢查了一遍會議室的設備，確認投影、網絡、白板筆都沒問題，又把桌上的水瓶標籤朝外轉了轉。
門開了，劉大海走了進來。
他光頭，穿著一件灰色的連帽衫，下面穿了條寬鬆的運動褲，腳上是一雙跑鞋。和程遠的西裝革履站在一起，像兩個不同次元的人。
「劉博士，辛苦了。」程遠站起來。
「嗨，這不外道了麼，都咱份內的事兒。」劉大海是北方人，特別能嘮嗑，絕不會把話落在地上。他把筆記本往桌上一放，就開始接線調試。
程遠把這個內部會議的時間提前了半小時，也是借這個機會對自己模型組的最新進度先深入了解一下，對齊顆粒度。鄭總似乎很掛心這事，他也得趕緊把優先主次調整清楚了。
劉大海調完設備，坐下來喝了口水。
「今天來的誰（sei）啊？」
「源碼科技，一個AI創業公司。」程遠簡短地說，「做應用層的，最近想往大模型方向走。」劉大海擡了一下眉毛：「啥？多大規模？」
「五十人左右，A輪。」
劉大海皺著眉頭，頭頂飄著兩個為什麼一
為什麼五十人就敢做大模型，光數據清洗的團隊都湊不齊，虎了吧唧的。
為什麼這麼不切實際的公司今天能來鼎盛開會，還是鄭總發話，需要他親自來給演示。
「鄭總的意思，你把坤元最新的評測結果給對方演示一下就行。」程遠說。
「坤元」是鼎盛內部通用大模型的代號。乾元是代碼大模型，已經公開發布了。坤元是通用模型，還在內部測試階段，沒有對外公布過。
「現在我們內部做到什麼水平了？劉博士，能不能先給我解解惑？」
劉大海點了點頭，打開了演示界面，順手調出了一組數據。
「上周剛跑完的結果，」劉大海指著屏幕，「咱們最強的在這，意圖理解直接干到了78，比上一版提了將近兩個點，老猛了！」
劉大海切到一張對比圖，縱軸是綜合得分，橫軸排著國內外十幾家模型。
「你瞅這，綜合跑分這個位置，」劉大海用手指點了一下點狀圖最高的那個點，「GPT-4。」然後他的手指往左移了兩格：「咱在這，差距大概三個百分點，放在國內這是第一梯隊，穩穩噹噹的！」
接著他切了一張圖：「只看意圖理解這個單項，咱和OpenAI的差距已經縮到不到0.2個點了，而且在中文場景下咱還能加加，支棱支棱超過去也不是啥大問題。」
程遠看著那張圖，心裡踏實了不少，這個數字拿出去，足夠讓任何一個創業公司掂量掂量自己幾斤幾兩。
「劉博士，演示的時候你把這張對比圖放出來就行，不用太詳細，點到為止。」
「嗨，妥妥的。」劉大海關掉了屏幕，「說實話我不太樂意整這種對外演示，但鄭總發話了，那就走個過場唄。」
程遠笑了笑，沒接話。
劉大海也不在乎，掏出手機開始接著看論文。
一點五十。
還有十分鐘就又要和韓路一見面了，程遠拉了拉看完表的袖口，嘴角不自覺地掛上了一抹勢在必得的笑怠。