第894章 天問
七月八號，雅安。
九章算力基地的大門口，顧嶼從比亞迪上下來，山裡的空氣比綿陽涼快不少。
徐靜提前清了路線，保安核驗完身份之後，電動欄杆往上一抬，車直接開到了核心機房樓下。
任少卿和安德烈已經在樓門口等著了。
任少卿今天難得換了一件新T恤，頭髮也明顯梳過。
安德烈倒是老樣子，松垮垮的格子襯衫，下巴上的胡茬比上次見面又濃了一圈。
「走吧，帶我看。」顧嶼沒寒暄，徑直往裡走。
三人刷卡進入B區地下一層。
走廊盡頭的恆溫玻璃門一推開，整排液冷機櫃的嗡鳴聲撲面而來。
和以前那種暴力風冷的噪音完全不同，這批新部署的設備安靜了太多。
冷卻液在透明管路里循環流動，帶著淡淡的藍綠色螢光。
顧嶼目光掃過去，這一排全是新到的K80，比之前那批K40的密度高了一倍不止。
機櫃頂部的狀態燈亮著均勻的綠色，散熱數據穩定在設計值以內。
「這批是上個月從海外走的貨。」任少卿跟在旁邊，壓低聲音說，
「一共一千二百張，全部部署完畢。InfiniBand的組網也跑通了，延遲壓到了微秒級。」
顧嶼點頭，沒說話，繼續往裡走。
穿過兩道安全門之後，才到了九天實驗室真正的核心區域。
幾十台工作站的屏幕上滾動著訓練日誌和損失函數曲線。
樓天城坐在最裡面那個角落，面前攤著三塊屏幕，頭也沒抬。
「說正事。」顧嶼拉了把椅子坐下，
「Transformer跑通了？」
「完全跑通。」任少卿語氣裡帶著克制的興奮，
「自注意力機制、多頭注意力、位置編碼，所有組件的數學驗證零誤差。我們在WMT翻譯數據集上的實驗結果，BLEU分數比當前最優的Seq2Seq加注意力模型高了四個點。」
安德烈在旁邊補了一句，俄語口音很重：
「訓練穩定性也解決了。Pre-LN加上Warmup學習率調度，六層Encoder加六層Decoder堆疊，一次都沒崩過。」
顧嶼看了一眼牆上貼著的手寫實驗記錄，密麻全是安德烈的筆跡。
數字和公式之間還畫了些只有他自己看得懂的俄文批註。
「論文呢？」
「初稿完成了百分之七十。」任少卿說，
「實驗數據收尾大概還要兩周。我的計劃是八月底之前定稿，投NIPS。」
「好。」顧嶼靠在椅背上，雙手交叉放在胸前，
「論文的事你倆盯著，按你們的節奏來就行。但今天我來，是要跟你們說下一步的事。」
他停頓了兩秒。
任少卿和安德烈同時看過來。
連角落裡的樓天城都終於抬起了頭。
「Transformer論文是武器，但不是終點。」
「從今天起，全面轉向大語言模型。」顧嶼直接定調，
「方向只有一個。不搞任何花里胡哨的修補，純靠海量數據硬喂，只讓它做一件事：猜下一個詞。」
房間裡安靜了幾秒。
任少卿反應極快：
「不搞複雜的理解框架，直接暴力灌文本讓它自己學？」
「對。」
「規模準備做多大？」
「第一階段，一億五千萬。」顧嶼豎起一根手指，
「先證明這條路能走通。等框架和管線成熟了，第二階段直接拉到十五億。」
安德烈倒吸了口氣。
十五億參數，按照現在的算力水平，這個數字幾乎是在挑戰物理極限。
樓天城從他那三塊屏幕後面探出半個腦袋，推了推眼鏡。
「一億五千萬倒是輕鬆。」樓天城語速很快，
「就外面那一千兩百張K80，如果火力全開，算上分布式通信的損耗，跑一個一億五千萬參數的模型頂多一到兩周就能出結果，現有的數據並行完全吃得消。但十五億這個量級，單卡顯存絕對會當場撐爆。我得把張量並行那套東西從論文階段直接拉到工程化落地，把巨大的矩陣計算硬切分到不同顯卡上。」
「你有多久能搞定張量並行？」顧嶼問。
「給我四個月。」
「三個月。」
樓天城嘴唇動了動，最終沒反駁。
顧嶼看著他緊繃的臉，語氣稍緩：
「K80的顯存牆確實是物理硬傷，這三個月你權當是用極限環境做系統演習。我已經讓人帶著現金飛去矽谷，跟黃仁勛簽明年Pascal架構超算卡的獨家包銷協議了。等你框架寫完，我保證有更暴力的玩具送到你手上。」
聽到下一代超算卡，樓天城鏡片後的眼睛亮了一下，但他緊接著提出了另一個問題。
「模型架構不是最難的部分。」他站起來，走到白板前，抄起一支馬克筆畫了個簡單的流程圖，
「一億五千萬參數的模型，至少需要幾百億Token的高質量語料來餵。十五億參數那個，可能需要上千億Token。」
他在「數據」兩個字下面重重畫了一道線。
「我們現在有什麼？西紅柿小說和引力的內部數據雖然多，但現在的簡易腳本根本算不上成體系的清洗管線。」
樓天城皺著眉頭敲了敲白板，
「咱們這套1.0版本的管線洗出幾百GB的語料勉強能用，如果要餵出十五億參數，重複數據、低質內容全混在裡面……直接拿去訓練，模型學出來的東西會非常糟糕。」
「還有一點。」樓天城又補了一筆，
「如果未來想讓模型具備多模態理解能力，光靠文本遠不夠。圖像數據、圖文配對數據，這些東西目前完全是空白。」
他轉過身看著顧嶼：
「千億Token級別的現代清洗管線、人工標註人力、圖像語料來源。這三個缺口，任何一個解決不了，十五億參數的模型就只是個空殼。」
顧嶼沒有回答。
他看著白板上樓天城畫的那個流程圖。
「不急。」
「數據的事情我已經在安排了。」 顧嶼語氣雲淡風輕。
樓天城點了點頭。
「你現在要做的事情只有一件。」顧嶼重新看向樓天城，
「利用你手上的並行訓練框架，在最短時間內把大語言模型的底層架構搭起來。數據接口、分布式訓練管線、混合精度支持，全部打通。等語料灌進來的那一天，我不想再等哪怕一個小時。」
「明白。」樓天城應了一聲，已經在腦子裡開始拆解任務了。
「項目從今天起正式立項。既然是改變技術路線的終極兵器，總得有個響亮的代號。」
顧嶼看著面前這三位頂尖大腦，「你們有什麼想法？」
安德烈摸了摸下巴濃密的胡茬，操著帶有口音的中文說道：
「既然是處理語言的模型，叫『巴別塔』怎麼樣？打破人類的語言壁壘。」
「寓意不好，巴別塔最後可是塌了的。」
任少卿搖搖頭，思索著開口，
「或者叫『盤古』？開天闢地，比較有咱們的特色。」
樓天城推了推眼鏡，提議道：
「要不乾脆叫『矩陣』？畢竟底層邏輯全是巨大的矩陣相乘。」
顧嶼聽著他們的討論，笑了笑。
他站起身，走到白板前，抽出一支黑色馬克筆。
「神話太縹緲，算符又太冰冷。我們要做的，是向這堆矽基晶片和海量數據里，去尋找那一絲湧現的智慧火花。這是一場對未知極限的終極拷問。」
顧嶼拔掉筆帽，在白板右上角用力寫下兩個大字。
天問。
屈原問天，不得其解。而他們，要用算力強行要出一個答案。
「這個項目，代號天問。」顧嶼將筆隨手丟回筆槽，轉頭看向三人，
「一億五千萬參數只是天問一號。等語料到位，我們要直接衝擊十五億，甚至未來的千億級別。」
任少卿看著那兩個遒勁的字，低聲念了一遍，布滿紅血絲的雙眼中驀地燃起了一團火光。
樓天城和安德烈也緊緊盯著白板，一時間無人說話。
顧嶼看著他們，眼神深邃。
前世類似架構的大語言模型，第一次讓全世界見識到「湧現」，是2020年的事。
一億五千萬參數對標的是OpenAI在2018年發布的GPT-1，而十五億參數對標的，是2019年讓人類首次感到不安的GPT-2。
別人花了五年摸索的黑暗森林，他要帶著這群人，用三年時間徹底鑿穿。
正想著，實驗室的恆溫門被人從外面急匆匆地推開了。
「顧總。」
魏從軍的聲音從門口傳來。
「老魏。」顧嶼轉過身，「什麼事？」
魏從軍走到近前，壓低了聲音：
「市場出事了。A股上周五跌破四千點之後，今天繼續千股跌停。兩市流動性幾乎完全枯竭，大量個股無量封死在跌停板上，連賣都賣不出去。國家隊的一千二百億進場之後只撐了半天，下午又被砸回去了。」
他頓了頓，看了一眼旁邊的任少卿和樓天城。
顧嶼擺了擺手，示意沒關係。
魏從軍繼續說：「恐慌情緒已經完全失控。融資盤強平踩踏，配資盤連環爆倉。按照現在這個跌法，明天可能還會有一批股票觸發強平線。」
顧嶼靠在白板邊，雙臂抱胸。
「資金準備得怎麼樣了？」
這句話一出口，魏從軍的表情從凝重變成了某種複雜的神色。
「國內回籠的那兩百億現金，前期已經在低點全部分散買入建倉了。」他說，
「離岸通過QFII和FDI通道過境的三百億資金，現在也已經全部進來了。全現金，無槓桿，隨時可以動用。」
前前後後合計五百億的規模。
顧嶼沒有多餘的表情。他看了看手機上的時間。
「該我們入場了。」
「花光它們」
九章算力基地的大門口，顧嶼從比亞迪上下來，山裡的空氣比綿陽涼快不少。
徐靜提前清了路線，保安核驗完身份之後，電動欄杆往上一抬，車直接開到了核心機房樓下。
任少卿和安德烈已經在樓門口等著了。
任少卿今天難得換了一件新T恤，頭髮也明顯梳過。
安德烈倒是老樣子，松垮垮的格子襯衫，下巴上的胡茬比上次見面又濃了一圈。
「走吧，帶我看。」顧嶼沒寒暄，徑直往裡走。
三人刷卡進入B區地下一層。
走廊盡頭的恆溫玻璃門一推開，整排液冷機櫃的嗡鳴聲撲面而來。
和以前那種暴力風冷的噪音完全不同，這批新部署的設備安靜了太多。
冷卻液在透明管路里循環流動，帶著淡淡的藍綠色螢光。
顧嶼目光掃過去，這一排全是新到的K80，比之前那批K40的密度高了一倍不止。
機櫃頂部的狀態燈亮著均勻的綠色，散熱數據穩定在設計值以內。
「這批是上個月從海外走的貨。」任少卿跟在旁邊，壓低聲音說，
「一共一千二百張，全部部署完畢。InfiniBand的組網也跑通了，延遲壓到了微秒級。」
顧嶼點頭，沒說話，繼續往裡走。
穿過兩道安全門之後，才到了九天實驗室真正的核心區域。
幾十台工作站的屏幕上滾動著訓練日誌和損失函數曲線。
樓天城坐在最裡面那個角落，面前攤著三塊屏幕，頭也沒抬。
「說正事。」顧嶼拉了把椅子坐下，
「Transformer跑通了？」
「完全跑通。」任少卿語氣裡帶著克制的興奮，
「自注意力機制、多頭注意力、位置編碼，所有組件的數學驗證零誤差。我們在WMT翻譯數據集上的實驗結果，BLEU分數比當前最優的Seq2Seq加注意力模型高了四個點。」
安德烈在旁邊補了一句，俄語口音很重：
「訓練穩定性也解決了。Pre-LN加上Warmup學習率調度，六層Encoder加六層Decoder堆疊，一次都沒崩過。」
顧嶼看了一眼牆上貼著的手寫實驗記錄，密麻全是安德烈的筆跡。
數字和公式之間還畫了些只有他自己看得懂的俄文批註。
「論文呢？」
「初稿完成了百分之七十。」任少卿說，
「實驗數據收尾大概還要兩周。我的計劃是八月底之前定稿，投NIPS。」
「好。」顧嶼靠在椅背上，雙手交叉放在胸前，
「論文的事你倆盯著，按你們的節奏來就行。但今天我來，是要跟你們說下一步的事。」
他停頓了兩秒。
任少卿和安德烈同時看過來。
連角落裡的樓天城都終於抬起了頭。
「Transformer論文是武器，但不是終點。」
「從今天起，全面轉向大語言模型。」顧嶼直接定調，
「方向只有一個。不搞任何花里胡哨的修補，純靠海量數據硬喂，只讓它做一件事：猜下一個詞。」
房間裡安靜了幾秒。
任少卿反應極快：
「不搞複雜的理解框架，直接暴力灌文本讓它自己學？」
「對。」
「規模準備做多大？」
「第一階段，一億五千萬。」顧嶼豎起一根手指，
「先證明這條路能走通。等框架和管線成熟了，第二階段直接拉到十五億。」
安德烈倒吸了口氣。
十五億參數，按照現在的算力水平，這個數字幾乎是在挑戰物理極限。
樓天城從他那三塊屏幕後面探出半個腦袋，推了推眼鏡。
「一億五千萬倒是輕鬆。」樓天城語速很快，
「就外面那一千兩百張K80，如果火力全開，算上分布式通信的損耗，跑一個一億五千萬參數的模型頂多一到兩周就能出結果，現有的數據並行完全吃得消。但十五億這個量級，單卡顯存絕對會當場撐爆。我得把張量並行那套東西從論文階段直接拉到工程化落地，把巨大的矩陣計算硬切分到不同顯卡上。」
「你有多久能搞定張量並行？」顧嶼問。
「給我四個月。」
「三個月。」
樓天城嘴唇動了動，最終沒反駁。
顧嶼看著他緊繃的臉，語氣稍緩：
「K80的顯存牆確實是物理硬傷，這三個月你權當是用極限環境做系統演習。我已經讓人帶著現金飛去矽谷，跟黃仁勛簽明年Pascal架構超算卡的獨家包銷協議了。等你框架寫完，我保證有更暴力的玩具送到你手上。」
聽到下一代超算卡，樓天城鏡片後的眼睛亮了一下，但他緊接著提出了另一個問題。
「模型架構不是最難的部分。」他站起來，走到白板前，抄起一支馬克筆畫了個簡單的流程圖，
「一億五千萬參數的模型，至少需要幾百億Token的高質量語料來餵。十五億參數那個，可能需要上千億Token。」
他在「數據」兩個字下面重重畫了一道線。
「我們現在有什麼？西紅柿小說和引力的內部數據雖然多，但現在的簡易腳本根本算不上成體系的清洗管線。」
樓天城皺著眉頭敲了敲白板，
「咱們這套1.0版本的管線洗出幾百GB的語料勉強能用，如果要餵出十五億參數，重複數據、低質內容全混在裡面……直接拿去訓練，模型學出來的東西會非常糟糕。」
「還有一點。」樓天城又補了一筆，
「如果未來想讓模型具備多模態理解能力，光靠文本遠不夠。圖像數據、圖文配對數據，這些東西目前完全是空白。」
他轉過身看著顧嶼：
「千億Token級別的現代清洗管線、人工標註人力、圖像語料來源。這三個缺口，任何一個解決不了，十五億參數的模型就只是個空殼。」
顧嶼沒有回答。
他看著白板上樓天城畫的那個流程圖。
「不急。」
「數據的事情我已經在安排了。」 顧嶼語氣雲淡風輕。
樓天城點了點頭。
「你現在要做的事情只有一件。」顧嶼重新看向樓天城，
「利用你手上的並行訓練框架，在最短時間內把大語言模型的底層架構搭起來。數據接口、分布式訓練管線、混合精度支持，全部打通。等語料灌進來的那一天，我不想再等哪怕一個小時。」
「明白。」樓天城應了一聲，已經在腦子裡開始拆解任務了。
「項目從今天起正式立項。既然是改變技術路線的終極兵器，總得有個響亮的代號。」
顧嶼看著面前這三位頂尖大腦，「你們有什麼想法？」
安德烈摸了摸下巴濃密的胡茬，操著帶有口音的中文說道：
「既然是處理語言的模型，叫『巴別塔』怎麼樣？打破人類的語言壁壘。」
「寓意不好，巴別塔最後可是塌了的。」
任少卿搖搖頭，思索著開口，
「或者叫『盤古』？開天闢地，比較有咱們的特色。」
樓天城推了推眼鏡，提議道：
「要不乾脆叫『矩陣』？畢竟底層邏輯全是巨大的矩陣相乘。」
顧嶼聽著他們的討論，笑了笑。
他站起身，走到白板前，抽出一支黑色馬克筆。
「神話太縹緲，算符又太冰冷。我們要做的，是向這堆矽基晶片和海量數據里，去尋找那一絲湧現的智慧火花。這是一場對未知極限的終極拷問。」
顧嶼拔掉筆帽，在白板右上角用力寫下兩個大字。
天問。
屈原問天，不得其解。而他們，要用算力強行要出一個答案。
「這個項目，代號天問。」顧嶼將筆隨手丟回筆槽，轉頭看向三人，
「一億五千萬參數只是天問一號。等語料到位，我們要直接衝擊十五億，甚至未來的千億級別。」
任少卿看著那兩個遒勁的字，低聲念了一遍，布滿紅血絲的雙眼中驀地燃起了一團火光。
樓天城和安德烈也緊緊盯著白板，一時間無人說話。
顧嶼看著他們，眼神深邃。
前世類似架構的大語言模型，第一次讓全世界見識到「湧現」，是2020年的事。
一億五千萬參數對標的是OpenAI在2018年發布的GPT-1，而十五億參數對標的，是2019年讓人類首次感到不安的GPT-2。
別人花了五年摸索的黑暗森林，他要帶著這群人，用三年時間徹底鑿穿。
正想著，實驗室的恆溫門被人從外面急匆匆地推開了。
「顧總。」
魏從軍的聲音從門口傳來。
「老魏。」顧嶼轉過身，「什麼事？」
魏從軍走到近前，壓低了聲音：
「市場出事了。A股上周五跌破四千點之後，今天繼續千股跌停。兩市流動性幾乎完全枯竭，大量個股無量封死在跌停板上，連賣都賣不出去。國家隊的一千二百億進場之後只撐了半天，下午又被砸回去了。」
他頓了頓，看了一眼旁邊的任少卿和樓天城。
顧嶼擺了擺手，示意沒關係。
魏從軍繼續說：「恐慌情緒已經完全失控。融資盤強平踩踏，配資盤連環爆倉。按照現在這個跌法，明天可能還會有一批股票觸發強平線。」
顧嶼靠在白板邊，雙臂抱胸。
「資金準備得怎麼樣了？」
這句話一出口，魏從軍的表情從凝重變成了某種複雜的神色。
「國內回籠的那兩百億現金，前期已經在低點全部分散買入建倉了。」他說，
「離岸通過QFII和FDI通道過境的三百億資金，現在也已經全部進來了。全現金，無槓桿，隨時可以動用。」
前前後後合計五百億的規模。
顧嶼沒有多餘的表情。他看了看手機上的時間。
「該我們入場了。」
「花光它們」