第14章 遙遙領先
電話不出意外地被掛斷。
領導總是如此，可以隨心所欲地掛斷下屬的電話。
不過尼爾很好奇，伊戈爾為什麼如此謹慎？
明眼人看了他跑出來的小規模驗證結果後，一個足夠有價值的方向，直接在實驗室宣布，拉一批人圍著這個方向往前推不好嗎？
AlphaCode剛剛在《Science》上發表，所有人都還在興奮期，正是把下一階段路線往前拱的時候。
候選解策略坍縮、失敗表面聚類、語義有效樣本量，這些本來就是AlphaCode後續論文該長出來的枝條。
但伊戈爾沒有這麼做。
他只讓尼爾做小規模驗證，不讓進主倉庫，不讓寫正式項目名，不讓和其他人討論。
結果出來之後，他也沒有立刻讓團隊開會，而是把報告收走，然後掛了電話。
又是搞不懂的高層政治，尼爾心想。
他把冷掉的咖啡推到一邊，重新看了一遍自己剛剛導出的對比表。
尼爾知道，數字背後的含義很重要，這玩意可能是改寫AlphaCode下一步敘事的東西。
現在，伊戈爾把它拿走了。
另一邊，巴布希金坐在屏幕前，屏幕上開著兩個窗口。
一個是尼爾發來的小規模驗證報告，另一個是Light_Chen的消息框。
在推特上的無意間的回覆，促成了大的驚喜。
尼爾的好奇是針對老闆的，伊戈爾的好奇則跨越了太平洋，飄到了江城。
他實在好奇，怎樣的大一學生，能做出如此驚艷的成果。
比他大一時候可厲害太多。
另外對方的出現也給他出了一道難題。
伊戈爾思考半天，最後還是給馬斯克把電話打了過去。
「喂，伊戈爾，很高興在深夜聽到你的來電，怎麼？你想好了嗎？」馬斯克是徹頭徹尾的工作狂。
對想要挖的人才更是如此。
女友未必能在這個時間點聯繫上他，但想要挖的人才一定能。
伊戈爾開口道：「埃隆，我有了一個很了不起的發現，我不想在DeepMind訓練，我想用推特的卡來訓練它。
你能...」
沒等伊戈爾說完，馬斯克的聲音已經響起了：「當然能，我的朋友，小意思。」
馬斯克實則心想，穩了。
伊戈爾這一步邁出去，就收不回去了。
谷歌DeepMind的人工智慧科學家，用推特的卡來訓練自己的想法。
這一旦曝光，對方無論如何都在谷歌待不下去。
「我需要算力，代碼生成方向。」伊戈爾接著說道。
馬斯克興趣一下就上來了：「你是說類似AlphaCode的項目？」
伊戈爾點頭：「沒錯，它叫BetaCode，第一階段我要64張H100，三到五天做小模型的復現和對比。
如果結果成立，那麼第二階段要256張H100做兩到三周的訓練。」
代碼領域的大模型只要256張就夠了，但像ChatGPT那種語言類大模型，要的卡多多了。
馬斯克聽完後大手一揮：「還說什麼呢，我的朋友，讓我們開始做吧。」
他的權柄和趙立明比起來，如螢火之於皓月了屬於是。
伊戈爾聽到這句話，知道過去三個月懸而未決的選擇已經做了，哪怕他還在DeepMind工作，哪怕他還沒沒有提交辭職信，但入職推特只是時間問題了。
那麼就算自己要去，也得帶著成果去。
BetaCode就是最好的晉升階梯。
等馬斯克掛斷電話，伊戈爾打開一個新的加密文檔，按照Light_Chen發給他的文檔，重新編寫了一個訓練需求。
......
第二天，推特內部陸陸續續有人被臨時拉進一個項目組。
這個組的名稱很短，就四個字母——Beta。
基礎設施團隊收到一份資源調度申請，一組隔離的GPU節點用於短期實驗。
推特內部自己的人工智慧團隊的資源被空出來，讓給了Beta。
沒人提出異議，因為指令來自老闆。
推特被私有化之後，就是馬斯克的一言堂。
馬爾斯來到新的項目組，他走進會議室，只見一群殘兵敗將和一個興致勃勃的將領。
「馬爾斯，來，坐。」馬斯克很有激情。
馬爾斯順勢在最前面坐下。
你可能什麼能力什麼資歷也沒有，但就因為能賴下去，你成了大哥。
這就是馬爾斯的經歷。
2022年11月馬斯克把推特私有化之後，原本推特的人工智慧團隊META（ML Ethics，Transparency，and Accountability）就被打包送走了。
從負責人到員工，整個團隊全部被裁。
只剩下一個人：馬爾斯。
另外的Cortex團隊，也差不多，大把大把裁員。
法拉貝特去了英偉達，弗洛雷斯去了獨立研究機構，希伯勒去了一家初創的人工智慧安全公司...
現在是馬斯克親自負責，馬爾斯已經是資深員工中的資深員工。
「我們需要做一個訓練，訓練這個模型，這是具體方案。」
方案被投影在了幕布上。
馬爾斯眯著眼睛：「生成代碼？」
馬斯克說：「沒錯，BetaCode，比DeepMind的AlphaCode強不止一個檔次！」
這話立馬讓現場的工程師們都嚇了一跳。
這才過去一個月啊，現在是2023年的1月，不是11月。
你哪來強一個檔次的東西？
我們這裡連一個挑大樑的人都沒有。
「這是？」馬爾斯小心翼翼地說道。
生怕一句話就讓馬斯克把他給Fire了。
「你們不用管它是從哪裡來的，你們需要做的就是按照這份方案去進行訓練！」
話音落下，大家開始各司其職，準備著手訓練。
五天後，在推特的顯卡集群里跑完最後一嘴對比。
馬爾斯看著數據，張大了嘴巴，這玩意還真比AlphaCode強，這玩意在傳統採樣-過濾基線上已經顯著超過AlphaCode了。
他把結果報告給老闆。
馬斯克在電話那頭說：「繼續。」
這只是訓練了五天。
按照方案，需要兩周到三周時間。
才五天就超過了AlphaCode，兩到三周下來，那還得了？
不得遙遙領先啊。
馬斯克已經迫不及待了，「喂，伊戈爾，我在你家樓下，我已經訂好了Baume的位置。」
伊戈爾聽到之後，知道BetaCode比他預想的還要更強。
Baume是矽谷的高端法式餐廳，馬斯克和彼得·蒂爾的聚餐就經常放在這。
「好。」伊戈爾懷著略微不安的心情答應了下來。
他不安的源頭遠在江城的Light_Chen已經回家過年了。
領導總是如此，可以隨心所欲地掛斷下屬的電話。
不過尼爾很好奇，伊戈爾為什麼如此謹慎？
明眼人看了他跑出來的小規模驗證結果後，一個足夠有價值的方向，直接在實驗室宣布，拉一批人圍著這個方向往前推不好嗎？
AlphaCode剛剛在《Science》上發表，所有人都還在興奮期，正是把下一階段路線往前拱的時候。
候選解策略坍縮、失敗表面聚類、語義有效樣本量，這些本來就是AlphaCode後續論文該長出來的枝條。
但伊戈爾沒有這麼做。
他只讓尼爾做小規模驗證，不讓進主倉庫，不讓寫正式項目名，不讓和其他人討論。
結果出來之後，他也沒有立刻讓團隊開會，而是把報告收走，然後掛了電話。
又是搞不懂的高層政治，尼爾心想。
他把冷掉的咖啡推到一邊，重新看了一遍自己剛剛導出的對比表。
尼爾知道，數字背後的含義很重要，這玩意可能是改寫AlphaCode下一步敘事的東西。
現在，伊戈爾把它拿走了。
另一邊，巴布希金坐在屏幕前，屏幕上開著兩個窗口。
一個是尼爾發來的小規模驗證報告，另一個是Light_Chen的消息框。
在推特上的無意間的回覆，促成了大的驚喜。
尼爾的好奇是針對老闆的，伊戈爾的好奇則跨越了太平洋，飄到了江城。
他實在好奇，怎樣的大一學生，能做出如此驚艷的成果。
比他大一時候可厲害太多。
另外對方的出現也給他出了一道難題。
伊戈爾思考半天，最後還是給馬斯克把電話打了過去。
「喂，伊戈爾，很高興在深夜聽到你的來電，怎麼？你想好了嗎？」馬斯克是徹頭徹尾的工作狂。
對想要挖的人才更是如此。
女友未必能在這個時間點聯繫上他，但想要挖的人才一定能。
伊戈爾開口道：「埃隆，我有了一個很了不起的發現，我不想在DeepMind訓練，我想用推特的卡來訓練它。
你能...」
沒等伊戈爾說完，馬斯克的聲音已經響起了：「當然能，我的朋友，小意思。」
馬斯克實則心想，穩了。
伊戈爾這一步邁出去，就收不回去了。
谷歌DeepMind的人工智慧科學家，用推特的卡來訓練自己的想法。
這一旦曝光，對方無論如何都在谷歌待不下去。
「我需要算力，代碼生成方向。」伊戈爾接著說道。
馬斯克興趣一下就上來了：「你是說類似AlphaCode的項目？」
伊戈爾點頭：「沒錯，它叫BetaCode，第一階段我要64張H100，三到五天做小模型的復現和對比。
如果結果成立，那麼第二階段要256張H100做兩到三周的訓練。」
代碼領域的大模型只要256張就夠了，但像ChatGPT那種語言類大模型，要的卡多多了。
馬斯克聽完後大手一揮：「還說什麼呢，我的朋友，讓我們開始做吧。」
他的權柄和趙立明比起來，如螢火之於皓月了屬於是。
伊戈爾聽到這句話，知道過去三個月懸而未決的選擇已經做了，哪怕他還在DeepMind工作，哪怕他還沒沒有提交辭職信，但入職推特只是時間問題了。
那麼就算自己要去，也得帶著成果去。
BetaCode就是最好的晉升階梯。
等馬斯克掛斷電話，伊戈爾打開一個新的加密文檔，按照Light_Chen發給他的文檔，重新編寫了一個訓練需求。
......
第二天，推特內部陸陸續續有人被臨時拉進一個項目組。
這個組的名稱很短，就四個字母——Beta。
基礎設施團隊收到一份資源調度申請，一組隔離的GPU節點用於短期實驗。
推特內部自己的人工智慧團隊的資源被空出來，讓給了Beta。
沒人提出異議，因為指令來自老闆。
推特被私有化之後，就是馬斯克的一言堂。
馬爾斯來到新的項目組，他走進會議室，只見一群殘兵敗將和一個興致勃勃的將領。
「馬爾斯，來，坐。」馬斯克很有激情。
馬爾斯順勢在最前面坐下。
你可能什麼能力什麼資歷也沒有，但就因為能賴下去，你成了大哥。
這就是馬爾斯的經歷。
2022年11月馬斯克把推特私有化之後，原本推特的人工智慧團隊META（ML Ethics，Transparency，and Accountability）就被打包送走了。
從負責人到員工，整個團隊全部被裁。
只剩下一個人：馬爾斯。
另外的Cortex團隊，也差不多，大把大把裁員。
法拉貝特去了英偉達，弗洛雷斯去了獨立研究機構，希伯勒去了一家初創的人工智慧安全公司...
現在是馬斯克親自負責，馬爾斯已經是資深員工中的資深員工。
「我們需要做一個訓練，訓練這個模型，這是具體方案。」
方案被投影在了幕布上。
馬爾斯眯著眼睛：「生成代碼？」
馬斯克說：「沒錯，BetaCode，比DeepMind的AlphaCode強不止一個檔次！」
這話立馬讓現場的工程師們都嚇了一跳。
這才過去一個月啊，現在是2023年的1月，不是11月。
你哪來強一個檔次的東西？
我們這裡連一個挑大樑的人都沒有。
「這是？」馬爾斯小心翼翼地說道。
生怕一句話就讓馬斯克把他給Fire了。
「你們不用管它是從哪裡來的，你們需要做的就是按照這份方案去進行訓練！」
話音落下，大家開始各司其職，準備著手訓練。
五天後，在推特的顯卡集群里跑完最後一嘴對比。
馬爾斯看著數據，張大了嘴巴，這玩意還真比AlphaCode強，這玩意在傳統採樣-過濾基線上已經顯著超過AlphaCode了。
他把結果報告給老闆。
馬斯克在電話那頭說：「繼續。」
這只是訓練了五天。
按照方案，需要兩周到三周時間。
才五天就超過了AlphaCode，兩到三周下來，那還得了？
不得遙遙領先啊。
馬斯克已經迫不及待了，「喂，伊戈爾，我在你家樓下，我已經訂好了Baume的位置。」
伊戈爾聽到之後，知道BetaCode比他預想的還要更強。
Baume是矽谷的高端法式餐廳，馬斯克和彼得·蒂爾的聚餐就經常放在這。
「好。」伊戈爾懷著略微不安的心情答應了下來。
他不安的源頭遠在江城的Light_Chen已經回家過年了。