第13章 空手套白狼
如果是匿名的話，這筆生意好像有搞頭啊。
無論是繼續在DeepMind，還是去推特，這都會是自己的資糧。
在谷歌，摸一摸首席人工智慧專家也不是夢。
去推特，自己要掏多少錢給這個華國年輕人，那馬斯克給自己開的薪水包起碼翻倍。
怎麼想都不虧。
「成交，我會喊人去做小規模驗證的。」巴布希金說道。
陳曦說：「成交。」
為什麼要自己來？
為什麼要有卡？
空手套白狼不好嗎？
......
伊戈爾·巴布希金先是把文檔再重新好好看了一遍。
然後接著把裡面一些措辭進行了修改，數據的格式也做了修改，改成更符合自己習慣的命名方式。
然後才把小實驗要用到的東西，通過自己的私人郵箱發給自己的心腹。
他給陳曦留的也是私人郵箱，不是谷歌的工作郵箱。
尼克·沃爾什，他招來的手下，在團隊裡存在感不強，長著一張看上去就睡眠不足的臉，習慣穿著舊衛衣在辦公室溜達。
有能力又忠誠，如果自己要去推特，伊戈爾·巴布希金第一個帶的就是尼克。
「尼克，我發了個郵件給你，你看看，先做個實驗，隔離做，不進主倉庫，也不用項目名稱，你可以把這看成是我的私活。」
尼克接到電話的時候，正在家裡的餐桌旁吃昨天晚上派對帶回來的披薩。
聽到後，他絲毫沒有感到意外。
在他看來，伊戈爾老是這樣，冷不丁地丟來一段想法，讓他做個驗證，或者幹個別的事情。
他們的團隊每周都會冒出很多有價值的想法，只是最後能落地的少之又少。
因此他回了個：「好的，巴布希金先生。」
話音落下，那邊掛斷了電話，他繼續吃披薩。
吃完才把Mac搬到餐桌上，打開電腦，打開郵箱，打開文檔。
「...候選程序數量、可見測試通過率和策略覆蓋度是三件不同的事。模型可以通過大規模採樣製造出數量上的繁榮，卻仍然在少數失敗族裡打轉...」
這是直指AlphaCode的漏洞啊，尼克思忖。
他繼續往下看，數據格式寫得很具體。
每個訓練樣本從題目描述、候選程序到隱含的假設、失敗邊界、最小反例等等無所不包。
尼克看到這裡，第一反應是麻煩，第二反應是新的數據設置方案大概率有用。
他開始按文檔搭最小驗證環境。
伊戈爾·巴布希金給他的限制很明確：不用內部敏感數據，不碰生產系統，不動AlphaCode主流程，只用公開題目和小規模候選程序集。
伊戈爾之所以會這樣選，是因為他不想被谷歌發現。
他還想拿著這個模型在谷歌和推特兩家之間待價而沽呢。
尼克從公開競賽題里挑了一批結構清楚的題，按文檔要求整理候選程序，把其中一部分錯誤解法標上失敗原因，再用腳本生成針對性的反例探針。
一開始他還有點不耐煩，因為這東西過於手工。
指標漂亮當然是好事。
但前提是，漂亮的指標得是模型自發生成的。
而不是事先知道我要什麼樣的指標，故意設置甚至是手工修剪出來的指標。
為什麼未來華國的模型在測試表現上和阿美莉卡的模型差不多，但使用體驗卻有明顯差距。
就是因為針對測試的指標，進行的人工修剪成分過多了。
來自老闆的文檔里提前標註了：第一輪要證明失敗家族這個變量是否能提供額外信息。
如果這個變量在小規模手工標註里都沒有價值，那就沒有必要專門寫程序把它給自動化。
第一天他跑完第一組基線，普通採樣加可見測試過濾後，候選程序在語法聚類上看起來很分散。
按照常規方法看，模型給出了不少不同方案。
一旦用反例探針重新測試，候選程序開始成片成片倒下。
變量名不同，循環結構不同，解法看起來不同，最後死在同一種邊界條件上。
尼克盯著結果，又跑了一遍。
結果差不多。
他開始興奮起來。
隱隱約約的感覺被程序給證實。
原本模糊的現象突然被測出來了。
團隊裡很多人都知道大規模採樣會製造虛假的多樣性，也知道候選程序之間存在同質化。
知道是一回事，能把它測出來是另一回事。
他接著按照文檔里的方法訓練了一個很小的策略判別器。
模型粗糙，數據不大。
它不能和AlphaCode相提並論，更談不上對外發布。
但在這批小樣本上，它已經能比語法聚類更穩定地把看起來不同、實則同源的候選程序歸到一起。
當他把反例生成器加入篩選流程後，最終留下的候選解法數量少了，策略互補性明顯變高。
他把結果導出成表格，又跑了三組不同隨機種子。
提升幅度有波動，趨勢沒有消失。
語法多樣性和策略多樣性之間的差距，被這個小實驗找到了命門。
哪怕已經到了深夜，尼克也忍不住要給巴布希金打個電話。
電話接通後，巴布希金沒有寒暄：「結果怎樣？」
尼克說：「結果很驚艷，我隱約覺得它找到了那條路，老闆，你做到了！」
能從尼克語氣里聽到興奮，顯然這個小的驗證效果好到出乎伊戈爾·巴布希金的預料。
他沒有回答，在思考。
尼克見電話那頭沒有回覆，於是繼續說道：「在小規模驗證里，這套東西確實測出了普通聚類測不到的策略坍縮。反例探針對候選程序的殺傷不是隨機的。測試方案里語義有效樣本量指標很有效。」
「而且，加入策略判別器之後，留下來的候選解法更接近真正不同的思路，他們之間有時候甚至能形成隱形的互補。」
伊戈爾·巴布希金說：「好，我知道了。」
說完，他掛斷了電話。
伊戈爾·巴布希金陷入了兩難的境地。
如果做模型的正式訓練，那麼無論是算力的使用還是日誌記錄、數據流，都沒辦法瞞過DeepMind和背後的谷歌。
風險會大到爆炸。
最後只能老老實實上報給谷歌的董事會。
另外一條路就是找馬斯克，用推特的卡來訓練。
但這同樣有問題，那就沒辦法待價而沽了，只能拿來和馬斯克抬價了，自己回不去谷歌了。
谷歌還是推特？這是一個問題。
無論是繼續在DeepMind，還是去推特，這都會是自己的資糧。
在谷歌，摸一摸首席人工智慧專家也不是夢。
去推特，自己要掏多少錢給這個華國年輕人，那馬斯克給自己開的薪水包起碼翻倍。
怎麼想都不虧。
「成交，我會喊人去做小規模驗證的。」巴布希金說道。
陳曦說：「成交。」
為什麼要自己來？
為什麼要有卡？
空手套白狼不好嗎？
......
伊戈爾·巴布希金先是把文檔再重新好好看了一遍。
然後接著把裡面一些措辭進行了修改，數據的格式也做了修改，改成更符合自己習慣的命名方式。
然後才把小實驗要用到的東西，通過自己的私人郵箱發給自己的心腹。
他給陳曦留的也是私人郵箱，不是谷歌的工作郵箱。
尼克·沃爾什，他招來的手下，在團隊裡存在感不強，長著一張看上去就睡眠不足的臉，習慣穿著舊衛衣在辦公室溜達。
有能力又忠誠，如果自己要去推特，伊戈爾·巴布希金第一個帶的就是尼克。
「尼克，我發了個郵件給你，你看看，先做個實驗，隔離做，不進主倉庫，也不用項目名稱，你可以把這看成是我的私活。」
尼克接到電話的時候，正在家裡的餐桌旁吃昨天晚上派對帶回來的披薩。
聽到後，他絲毫沒有感到意外。
在他看來，伊戈爾老是這樣，冷不丁地丟來一段想法，讓他做個驗證，或者幹個別的事情。
他們的團隊每周都會冒出很多有價值的想法，只是最後能落地的少之又少。
因此他回了個：「好的，巴布希金先生。」
話音落下，那邊掛斷了電話，他繼續吃披薩。
吃完才把Mac搬到餐桌上，打開電腦，打開郵箱，打開文檔。
「...候選程序數量、可見測試通過率和策略覆蓋度是三件不同的事。模型可以通過大規模採樣製造出數量上的繁榮，卻仍然在少數失敗族裡打轉...」
這是直指AlphaCode的漏洞啊，尼克思忖。
他繼續往下看，數據格式寫得很具體。
每個訓練樣本從題目描述、候選程序到隱含的假設、失敗邊界、最小反例等等無所不包。
尼克看到這裡，第一反應是麻煩，第二反應是新的數據設置方案大概率有用。
他開始按文檔搭最小驗證環境。
伊戈爾·巴布希金給他的限制很明確：不用內部敏感數據，不碰生產系統，不動AlphaCode主流程，只用公開題目和小規模候選程序集。
伊戈爾之所以會這樣選，是因為他不想被谷歌發現。
他還想拿著這個模型在谷歌和推特兩家之間待價而沽呢。
尼克從公開競賽題里挑了一批結構清楚的題，按文檔要求整理候選程序，把其中一部分錯誤解法標上失敗原因，再用腳本生成針對性的反例探針。
一開始他還有點不耐煩，因為這東西過於手工。
指標漂亮當然是好事。
但前提是，漂亮的指標得是模型自發生成的。
而不是事先知道我要什麼樣的指標，故意設置甚至是手工修剪出來的指標。
為什麼未來華國的模型在測試表現上和阿美莉卡的模型差不多，但使用體驗卻有明顯差距。
就是因為針對測試的指標，進行的人工修剪成分過多了。
來自老闆的文檔里提前標註了：第一輪要證明失敗家族這個變量是否能提供額外信息。
如果這個變量在小規模手工標註里都沒有價值，那就沒有必要專門寫程序把它給自動化。
第一天他跑完第一組基線，普通採樣加可見測試過濾後，候選程序在語法聚類上看起來很分散。
按照常規方法看，模型給出了不少不同方案。
一旦用反例探針重新測試，候選程序開始成片成片倒下。
變量名不同，循環結構不同，解法看起來不同，最後死在同一種邊界條件上。
尼克盯著結果，又跑了一遍。
結果差不多。
他開始興奮起來。
隱隱約約的感覺被程序給證實。
原本模糊的現象突然被測出來了。
團隊裡很多人都知道大規模採樣會製造虛假的多樣性，也知道候選程序之間存在同質化。
知道是一回事，能把它測出來是另一回事。
他接著按照文檔里的方法訓練了一個很小的策略判別器。
模型粗糙，數據不大。
它不能和AlphaCode相提並論，更談不上對外發布。
但在這批小樣本上，它已經能比語法聚類更穩定地把看起來不同、實則同源的候選程序歸到一起。
當他把反例生成器加入篩選流程後，最終留下的候選解法數量少了，策略互補性明顯變高。
他把結果導出成表格，又跑了三組不同隨機種子。
提升幅度有波動，趨勢沒有消失。
語法多樣性和策略多樣性之間的差距，被這個小實驗找到了命門。
哪怕已經到了深夜，尼克也忍不住要給巴布希金打個電話。
電話接通後，巴布希金沒有寒暄：「結果怎樣？」
尼克說：「結果很驚艷，我隱約覺得它找到了那條路，老闆，你做到了！」
能從尼克語氣里聽到興奮，顯然這個小的驗證效果好到出乎伊戈爾·巴布希金的預料。
他沒有回答，在思考。
尼克見電話那頭沒有回覆，於是繼續說道：「在小規模驗證里，這套東西確實測出了普通聚類測不到的策略坍縮。反例探針對候選程序的殺傷不是隨機的。測試方案里語義有效樣本量指標很有效。」
「而且，加入策略判別器之後，留下來的候選解法更接近真正不同的思路，他們之間有時候甚至能形成隱形的互補。」
伊戈爾·巴布希金說：「好，我知道了。」
說完，他掛斷了電話。
伊戈爾·巴布希金陷入了兩難的境地。
如果做模型的正式訓練，那麼無論是算力的使用還是日誌記錄、數據流，都沒辦法瞞過DeepMind和背後的谷歌。
風險會大到爆炸。
最後只能老老實實上報給谷歌的董事會。
另外一條路就是找馬斯克，用推特的卡來訓練。
但這同樣有問題，那就沒辦法待價而沽了，只能拿來和馬斯克抬價了，自己回不去谷歌了。
谷歌還是推特？這是一個問題。