第10章 忽悠傻了
「你被忽悠傻了吧？」
趙立明是江城人，因為擔任騰訊雲高管的緣故，所以常年在鵬城打拼。
今年春節早，他回來的也早。
一回來就聽到自己女兒在給自己講神話故事。
說了一大堆自己認識的朋友多麼神奇，什麼推特開高薪挖人，什麼靠一份郵件折服了伊戈爾·巴布希金。
然後還掏出手機打開推特界面給他證明。
這些趙立明都信，他本來以為自己女兒要為對方尋求一份實習。
騰訊給ai崗開的實習，價格也不低，一千一天，比不上後來給姚班開的三千一天那麼誇張。
但也是很誇張的數字了。
有伊戈爾·巴布希金的背書，有推特的offer作為佐證，給個實習很合理。
結果自己女兒在那接著說的話實在讓他繃不住了：
「我想的是能不能在騰訊雲調一些卡給他用，讓他訓練一個大模型出來。」
趙立明感覺自己的家庭教育出了大問題，之前沒看出對方是戀愛腦啊。
作為小有家產外加獨生女的家庭，最怕的就是女兒是戀愛腦。
「依據呢？你知道現在國內英偉達的算力卡有多緊俏嗎？什麼叫撥點卡給他用，讓他訓練個大模型？大一學生就想主導大模型的研發？
他是賈伯斯還是比爾蓋茨？
他在開源社區有備受推崇的項目嗎？
他是什麼明星科學家嗎？
他靠的是背書。
靠背書，我就要給他調卡？
現在就沒有什麼閒卡，要麼使用權賣出去了，要麼就是騰訊內部的人工智慧實驗室在用。
哪裡有什麼閒卡啊。
他是伊戈爾·巴布希金還差不多。」
趙立明說完，只見自己女兒一臉不服氣的樣子。
「來來來，你給我說憑什麼？我下屬給我報項目的時候，也得給我把依據說出來。
光是給你們一個月時間一千張H100，最少也是5到6千萬。
更別說現在國內市場上壓根就沒有合法合規渠道能買到H100，灰色市場上一張H100一個小時在10美元。
別說你是我女兒，就算你湯叔叔女兒，也沒辦法靠兩句話就把卡給你空出來。」
H100非常緊張，這是英偉達在去年才發布的新一代旗艦。
因為阿美莉卡官方在去年10月發布的出口管制，加上ChatGPT的橫空出世，導致整個華國，H100都格外少。
也就是騰訊雲在海外也有數據中心，他們可以把卡買到海外，然後國內研發海外訓練。
趙立明只覺得自己的女兒被忽悠瘸了。
趙佩璇開口道：「爸，第一，我也沒說要H100啊，A100也行啊。
另外陳曦他給了一個非常具有可行性的方案。
直接拉GPT的數據來作為訓練集，這是現成的數據，能夠大大節約時間。
我覺得這是非常具備可行性的方案，給他一點機會未嘗不可。
你也說過，大部分時候求穩，但當機會出現的時候，該賭就得賭。」
趙立明被氣笑了：「我是讓你該賭的時候就賭，但你看看他背景，唯一有可信度的背景是來自伊戈爾·巴布希金的背書，還只是遠程聊過。
他沒有去矽谷，沒有在DeepMind工作，也沒有在推特工作。
背書力度太弱了，你明白嗎？
另外，你以為用GPT的數據來訓練是什麼很了不起的方案，是什麼天才的靈光一閃。
那是因為你了解的太少，你沒有從事這一行，你在江城科技大學學的是四十年前的數據結構和C語言。
你沒有關注開源社區的前沿動態。
華盛頓大學和艾倫人工智慧研究所在ChatGPT發布的第一時間就發表了論文，論文名字叫Self-Instruct。
你所謂的用GPT數據訓練只是一句話，人家已經寫成論文，並且進行了實驗。
Self-Instruct的核心內容就是讓大模型自己生成自己的訓練數據。
他們把方法都公布了，一個疊代的過程。
先準備一小批人工寫的指令，這些作為例子來引導模型生成新任務。
用當前模型提示它生成新的、更多樣的指令。
比如給它幾個種子例子，讓它發明新任務。
為每個新指令生成輸入和輸出。
對生成的指令，再讓模型生成對應的Input和 Output。
這樣就得到一條完整的Instruction、Input和Output三元組。
過濾低質量數據，用啟發式規則自動過濾無效的任務、與已有任務重複度太高的、輸出質量差的。
把過濾後的高質量數據加回任務池，可以繼續疊代生成更多數據。
最後用這些合成數據對原始基座模型進行監督微調。
你以為的靈光一閃，人家早就想到了並且實踐落地了。
你以為自己發現了天才，殊不知人家可能只是比你懂得多一點呢！
你以為他有知識，可能他只是有知道呢？」
（PS：上述是Yizhong Wang在2022年12月20日掛在Arxiv上的論文，論文全稱：Self-Instruct: Aligning Language Models with Self-Generated Instructions，也是蒸餾方法的開創者。
其中艾倫人工智慧研究院是由微軟聯合創始人保羅·艾倫於2014年創立的一家專注於人工智慧前沿研究的機構。）
在江城大學湖濱七舍被室友們吹上天的陳神，在江城富人區的別墅里，在趙立明這不過是個運氣好有點能力的小子。
這樣的反差陳曦本人不知道，但趙佩璇顯然無法接受。
但父親說的有理有據，完全找不到反駁的點。
這讓趙佩璇內心鬱鬱寡歡，只是說了句：「知道了。」就回自己房間了。
趙立明看著自己女兒揚長而去的背影，心想真是女兒大了留不住，小時候趙佩璇還會給他擁抱，現在一不順心就是往自己房間裡鑽。
「陳曦，抱歉，我沒能說服我爹，找不到卡。」
「他太固執了，不相信年輕人也能創造奇蹟。」
「看來還是得去矽谷了，我明天送你去領事館。」
趙佩璇每間隔幾分鐘就發條微信給陳曦。
一直沒人回。
她也習慣了對方壓根不回微信。
想了想，趙佩璇收拾了一下，拿著車鑰匙出門。
女兒走到門口後，趙立明問：「去哪裡？」
「不用你管，我不回來吃飯。」趙佩璇擺了擺手，把趙立明氣得夠嗆：「我不管你，但你吃完晚飯八點之前必須給我回來！」
趙立明是江城人，因為擔任騰訊雲高管的緣故，所以常年在鵬城打拼。
今年春節早，他回來的也早。
一回來就聽到自己女兒在給自己講神話故事。
說了一大堆自己認識的朋友多麼神奇，什麼推特開高薪挖人，什麼靠一份郵件折服了伊戈爾·巴布希金。
然後還掏出手機打開推特界面給他證明。
這些趙立明都信，他本來以為自己女兒要為對方尋求一份實習。
騰訊給ai崗開的實習，價格也不低，一千一天，比不上後來給姚班開的三千一天那麼誇張。
但也是很誇張的數字了。
有伊戈爾·巴布希金的背書，有推特的offer作為佐證，給個實習很合理。
結果自己女兒在那接著說的話實在讓他繃不住了：
「我想的是能不能在騰訊雲調一些卡給他用，讓他訓練一個大模型出來。」
趙立明感覺自己的家庭教育出了大問題，之前沒看出對方是戀愛腦啊。
作為小有家產外加獨生女的家庭，最怕的就是女兒是戀愛腦。
「依據呢？你知道現在國內英偉達的算力卡有多緊俏嗎？什麼叫撥點卡給他用，讓他訓練個大模型？大一學生就想主導大模型的研發？
他是賈伯斯還是比爾蓋茨？
他在開源社區有備受推崇的項目嗎？
他是什麼明星科學家嗎？
他靠的是背書。
靠背書，我就要給他調卡？
現在就沒有什麼閒卡，要麼使用權賣出去了，要麼就是騰訊內部的人工智慧實驗室在用。
哪裡有什麼閒卡啊。
他是伊戈爾·巴布希金還差不多。」
趙立明說完，只見自己女兒一臉不服氣的樣子。
「來來來，你給我說憑什麼？我下屬給我報項目的時候，也得給我把依據說出來。
光是給你們一個月時間一千張H100，最少也是5到6千萬。
更別說現在國內市場上壓根就沒有合法合規渠道能買到H100，灰色市場上一張H100一個小時在10美元。
別說你是我女兒，就算你湯叔叔女兒，也沒辦法靠兩句話就把卡給你空出來。」
H100非常緊張，這是英偉達在去年才發布的新一代旗艦。
因為阿美莉卡官方在去年10月發布的出口管制，加上ChatGPT的橫空出世，導致整個華國，H100都格外少。
也就是騰訊雲在海外也有數據中心，他們可以把卡買到海外，然後國內研發海外訓練。
趙立明只覺得自己的女兒被忽悠瘸了。
趙佩璇開口道：「爸，第一，我也沒說要H100啊，A100也行啊。
另外陳曦他給了一個非常具有可行性的方案。
直接拉GPT的數據來作為訓練集，這是現成的數據，能夠大大節約時間。
我覺得這是非常具備可行性的方案，給他一點機會未嘗不可。
你也說過，大部分時候求穩，但當機會出現的時候，該賭就得賭。」
趙立明被氣笑了：「我是讓你該賭的時候就賭，但你看看他背景，唯一有可信度的背景是來自伊戈爾·巴布希金的背書，還只是遠程聊過。
他沒有去矽谷，沒有在DeepMind工作，也沒有在推特工作。
背書力度太弱了，你明白嗎？
另外，你以為用GPT的數據來訓練是什麼很了不起的方案，是什麼天才的靈光一閃。
那是因為你了解的太少，你沒有從事這一行，你在江城科技大學學的是四十年前的數據結構和C語言。
你沒有關注開源社區的前沿動態。
華盛頓大學和艾倫人工智慧研究所在ChatGPT發布的第一時間就發表了論文，論文名字叫Self-Instruct。
你所謂的用GPT數據訓練只是一句話，人家已經寫成論文，並且進行了實驗。
Self-Instruct的核心內容就是讓大模型自己生成自己的訓練數據。
他們把方法都公布了，一個疊代的過程。
先準備一小批人工寫的指令，這些作為例子來引導模型生成新任務。
用當前模型提示它生成新的、更多樣的指令。
比如給它幾個種子例子，讓它發明新任務。
為每個新指令生成輸入和輸出。
對生成的指令，再讓模型生成對應的Input和 Output。
這樣就得到一條完整的Instruction、Input和Output三元組。
過濾低質量數據，用啟發式規則自動過濾無效的任務、與已有任務重複度太高的、輸出質量差的。
把過濾後的高質量數據加回任務池，可以繼續疊代生成更多數據。
最後用這些合成數據對原始基座模型進行監督微調。
你以為的靈光一閃，人家早就想到了並且實踐落地了。
你以為自己發現了天才，殊不知人家可能只是比你懂得多一點呢！
你以為他有知識，可能他只是有知道呢？」
（PS：上述是Yizhong Wang在2022年12月20日掛在Arxiv上的論文，論文全稱：Self-Instruct: Aligning Language Models with Self-Generated Instructions，也是蒸餾方法的開創者。
其中艾倫人工智慧研究院是由微軟聯合創始人保羅·艾倫於2014年創立的一家專注於人工智慧前沿研究的機構。）
在江城大學湖濱七舍被室友們吹上天的陳神，在江城富人區的別墅里，在趙立明這不過是個運氣好有點能力的小子。
這樣的反差陳曦本人不知道，但趙佩璇顯然無法接受。
但父親說的有理有據，完全找不到反駁的點。
這讓趙佩璇內心鬱鬱寡歡，只是說了句：「知道了。」就回自己房間了。
趙立明看著自己女兒揚長而去的背影，心想真是女兒大了留不住，小時候趙佩璇還會給他擁抱，現在一不順心就是往自己房間裡鑽。
「陳曦，抱歉，我沒能說服我爹，找不到卡。」
「他太固執了，不相信年輕人也能創造奇蹟。」
「看來還是得去矽谷了，我明天送你去領事館。」
趙佩璇每間隔幾分鐘就發條微信給陳曦。
一直沒人回。
她也習慣了對方壓根不回微信。
想了想，趙佩璇收拾了一下，拿著車鑰匙出門。
女兒走到門口後，趙立明問：「去哪裡？」
「不用你管，我不回來吃飯。」趙佩璇擺了擺手，把趙立明氣得夠嗆：「我不管你，但你吃完晚飯八點之前必須給我回來！」