第9章 訓練
冬雪消融，柳枝吐新。但深視科技的研發中心內，氣氛卻比寒冬還要凝重。
過去的一段時間，公司進入了戰時狀態。
京城總部的燈光經常徹夜不熄，而在遙遠的星城，一場規模浩大的人肉數據採集戰役也正在進行。
為了採集足夠多的真實人臉樣本，星城分部的招了幾個地推團隊幾乎跑遍了當地的大學、社區和商場。
他們拿著小禮品，請求路人錄入人臉信息。
「麻煩眨眨眼」
「請向左轉頭」
「光線稍微亮一點」
人臉圖片也是快速增長：幾百張，幾千張，幾萬張。
這是一場用人力堆出來的結果。
「只有90.2%。」
會議室里，顧書瑤看著大屏幕上的測試結果，聲音里透著難以掩飾的疲憊和沮喪。
這是他們訓練出的第一版深度學習模型（Demo）。
雖然相比傳統算法85%左右的識別率，這已經是巨大的飛躍，但在人眼識別率：97.53%面前，它依然是個臉盲。
「我們離人眼標準還差得遠。」顧書瑤摘下眼鏡，揉了揉滿是紅血絲的眼睛。
會議桌旁，湯小鷗教授、徐力、楊樊等人都在，連在微軟研究院的何鎧明時不時的過來湊熱鬧也不說話了。
大家面前都擺著厚厚的測試報告，空氣壓抑得讓人透不過氣。
陳陽坐在主位，手裡轉著一支筆，神色平靜。
其實他心裡很清楚問題出在哪裡。
前世DeepID算法之所以能屠榜，靠的不是單一模型，而是模型融合（和多尺度特徵提取。
但他沒有立刻說。
一個團隊的戰鬥力，是在一次次撞牆和突圍中磨練出來的。
如果每次遇到問題他都直接給答案，那這群天才終將變成只會執行命令的庸才。
他需要給他們一點時間，去試錯，去思考。
「大家怎麼看？」陳陽打破了沉默。
「目前我們的方案是標準的CNN（卷積神經網絡）思路。」徐力指著架構圖分析道，
「將整張人臉丟進模型，經過卷積層提取特徵，最後生成一個特徵向量進行對比。」
「但這有個問題，模型似乎抓不住細節。比如雙胞胎，或者長得像的人，它很容易搞混。」
「我覺得還是數據量的問題。」湯小鷗教授沉吟片刻，給出了學術界的經典判斷，
「深度學習是吃數據的。相較於ImageNet動輒上千萬張圖，我們才幾萬張，模型根本吃不飽，泛化能力自然上不去。」
「我建議，擴大數據集。」
湯小鷗看向陳陽：「把數據量翻倍，甚至翻四倍。只有見過足夠多的人，模型才能學會什麼是不同。」
「同意。」
「附議。」
大家都覺得這是目前最靠譜的路徑。
「好。」
陳陽點了點頭，雖然他知道這會有提升，但不會有質變，但他還是支持團隊的決定，
陳陽找來林小月叮囑道：「通知星城那邊，加大投入。我要5000個人的樣本，至少20萬張照片。」
「好的。」
又是半個月的煎熬。
星城團隊像是上了發條一樣，終於湊齊了這20萬張高質量的人臉數據。
數據傳回京城，新一輪的訓練開始了。
這時候，算力的瓶頸赤裸裸地暴露了出來。
由於超算中心還在建設中，他們只能用現有的十幾台伺服器跑任務。
進度條走得慢如蝸牛。
一天，兩天直到第十二天，模型才終於收斂（訓練完成）。
「這太慢了。」
顧書瑤看著伺服器風扇轟鳴，卻依然緩慢的進度條，急得嘴角冒泡，
「一次疊代要十幾天，如果有Bug重跑又要十幾天。這簡直是在浪費生命。」
陳陽站在機房外，看著這一幕，建立超算中心的想法從未如此迫切。
在AI時代，時間就是金錢，算力就是生命。
等到算力中心建設完成，這個時間將被壓縮到幾個小時。
但現在，他們只能等。
第十三天，結果出來了。
91.3%。
僅僅提升了1.1%。
看著這個數字，顧書瑤差點把鍵盤砸了。
付出了兩倍的人力，十幾天的時間，就換來這一丁點的提升？
按照這個速度，想超過人眼識別率，得等到猴年馬月？
「單純堆數據，邊際效應遞減了，看來方向不對。」湯小鷗看著數據，眉頭緊鎖。
「要不試試傳統算法和深度學習結合？」湯小鷗提議，
「用傳統算法做對齊，用深度學習提特徵？」
「試！」顧書瑤覺得這也是一個辦法。
又是幾天的折騰，失敗。
效果甚至還不如純深度學習。
「再加數據？」徐力咬著牙提議，「加到100萬張！我就不信餵不飽它！」
「來不及了。」顧書瑤搖搖頭，看了一眼日曆，
「投資人希望三個月看到階段性成果。收集100萬張照片至少要半年，我們等不起。」
會議室里再次陷入了死寂。
這一次，連湯小鷗也沒轍了。
學術界目前最先進的方法都在這兒了，還能怎麼辦？
陳陽看著大家垂頭喪氣的樣子，知道火候到了。
挫折教育已經足夠，現在是時候注入信心了。
「大家是不是走進了一個誤區？」
陳陽的聲音突然響起，清朗有力，瞬間吸引了所有人的目光。
他站起身，走到白板前，畫了一張人臉的簡筆畫。
「我們現在是把整張臉丟進去，讓模型自己去學。但是，人臉是複雜的。」
陳陽用筆在人臉的眼睛、鼻子、嘴巴上分別畫了圈。
「如果我是警察抓小偷，我不僅會看他的臉型，還會特意看他的眼睛大不大，鼻子挺不挺，嘴唇厚不厚。」
陳陽轉過身，看著湯小鷗和徐力，拋出了那個關鍵的提示：
「我們為什麼不把人臉切開呢？」
「切開？」徐力一愣。
「對。」陳陽在白板上畫了幾個方框，
「全臉是一個輸入。眼睛區域是一個輸入，鼻子是一個，嘴巴是一個。甚至，我們可以在不同的尺度上切，有的切大點，有的切小點。」
「每一個區域，我們都訓練一個獨立的模型去識別特徵。」
陳陽在畫板上重重一筆，將所有方框連向一個終點，
「最後，我們將這些所有模型提取出來的特徵，拼接在一起。」
「這就是：聯合決策。」
轟！就像是一道閃電划過夜空。
湯小鷗猛地站了起來，眼睛死死盯著白板上的圖，嘴裡喃喃自語：
「局部特徵、多尺度、模型融合。對啊！我怎麼沒想到！這樣能強迫模型關注細節，讓同一個人的向量更聚合，不同人的向量拉得更開！」
「這能極大提升泛化能力！」徐力也激動得跳了起來：「陳總，這招太絕了！」
「可是。」
顧書瑤作為工程負責人，第一時間想到了代價，「如果把人臉切成幾十塊，每一塊都用一個網絡，那計算量。」
「這就是暴力美學。」
湯小歐教授笑了：「我們現在缺算法，缺數據，但就是不缺暴力的決心。一個模型不行，我們就上十個；十個不行，就上六十個！」
「把人臉切成10個區域，每個區域在RGB和灰度圖上各訓練3個網絡。一共60個卷積神經網絡！」
「我要用這60個模型，像60個拿著放大鏡的偵探一樣，把人臉的每一個毛孔都看清楚！」
「60個模型。」大家被這個瘋狂的數字震住了。
在2013年，訓練一個深層網絡已經是大工程，同時跑60個？這簡直是瘋子的想法。
但正是這種瘋狂，讓在場的每一個人都熱血沸騰起來。
「就這麼幹！這才是AI該有的樣子！大力出奇蹟！」
湯小鷗一拍桌子，眼中閃爍著賭徒般的狂熱。
「書瑤，調動所有伺服器資源！不夠在繼續買。」
「徐力，楊樊，你們負責切圖和網絡結構設計！」
「今晚不睡了，我們要搞個大新聞！」
整個研發中心瞬間沸騰了。
原本沉悶的氣氛一掃而空，取而代之的是一種決戰前的亢奮。
代碼飛快地在屏幕上滾動。
人臉圖片被切割成眼睛、鼻子、嘴巴等各種碎片。
60個獨立的神經網絡像60頭飢餓的野獸，被塞進了有限的顯存里。
陳陽站在後方，看著這一幕。
他知道，這就是著名的DeepID算法的核心思想。
雖然現在超算中心還沒建好，訓練這60個模型會非常痛苦，可能需要輪流跑。
但只要這條路是對的，勝利只是時間問題。
屏幕上，新的訓練任務已經啟動。
進度條再次開始緩慢爬升。
這一次，所有人的心裡充滿了期待。
過去的一段時間，公司進入了戰時狀態。
京城總部的燈光經常徹夜不熄，而在遙遠的星城，一場規模浩大的人肉數據採集戰役也正在進行。
為了採集足夠多的真實人臉樣本，星城分部的招了幾個地推團隊幾乎跑遍了當地的大學、社區和商場。
他們拿著小禮品，請求路人錄入人臉信息。
「麻煩眨眨眼」
「請向左轉頭」
「光線稍微亮一點」
人臉圖片也是快速增長：幾百張，幾千張，幾萬張。
這是一場用人力堆出來的結果。
「只有90.2%。」
會議室里，顧書瑤看著大屏幕上的測試結果，聲音里透著難以掩飾的疲憊和沮喪。
這是他們訓練出的第一版深度學習模型（Demo）。
雖然相比傳統算法85%左右的識別率，這已經是巨大的飛躍，但在人眼識別率：97.53%面前，它依然是個臉盲。
「我們離人眼標準還差得遠。」顧書瑤摘下眼鏡，揉了揉滿是紅血絲的眼睛。
會議桌旁，湯小鷗教授、徐力、楊樊等人都在，連在微軟研究院的何鎧明時不時的過來湊熱鬧也不說話了。
大家面前都擺著厚厚的測試報告，空氣壓抑得讓人透不過氣。
陳陽坐在主位，手裡轉著一支筆，神色平靜。
其實他心裡很清楚問題出在哪裡。
前世DeepID算法之所以能屠榜，靠的不是單一模型，而是模型融合（和多尺度特徵提取。
但他沒有立刻說。
一個團隊的戰鬥力，是在一次次撞牆和突圍中磨練出來的。
如果每次遇到問題他都直接給答案，那這群天才終將變成只會執行命令的庸才。
他需要給他們一點時間，去試錯，去思考。
「大家怎麼看？」陳陽打破了沉默。
「目前我們的方案是標準的CNN（卷積神經網絡）思路。」徐力指著架構圖分析道，
「將整張人臉丟進模型，經過卷積層提取特徵，最後生成一個特徵向量進行對比。」
「但這有個問題，模型似乎抓不住細節。比如雙胞胎，或者長得像的人，它很容易搞混。」
「我覺得還是數據量的問題。」湯小鷗教授沉吟片刻，給出了學術界的經典判斷，
「深度學習是吃數據的。相較於ImageNet動輒上千萬張圖，我們才幾萬張，模型根本吃不飽，泛化能力自然上不去。」
「我建議，擴大數據集。」
湯小鷗看向陳陽：「把數據量翻倍，甚至翻四倍。只有見過足夠多的人，模型才能學會什麼是不同。」
「同意。」
「附議。」
大家都覺得這是目前最靠譜的路徑。
「好。」
陳陽點了點頭，雖然他知道這會有提升，但不會有質變，但他還是支持團隊的決定，
陳陽找來林小月叮囑道：「通知星城那邊，加大投入。我要5000個人的樣本，至少20萬張照片。」
「好的。」
又是半個月的煎熬。
星城團隊像是上了發條一樣，終於湊齊了這20萬張高質量的人臉數據。
數據傳回京城，新一輪的訓練開始了。
這時候，算力的瓶頸赤裸裸地暴露了出來。
由於超算中心還在建設中，他們只能用現有的十幾台伺服器跑任務。
進度條走得慢如蝸牛。
一天，兩天直到第十二天，模型才終於收斂（訓練完成）。
「這太慢了。」
顧書瑤看著伺服器風扇轟鳴，卻依然緩慢的進度條，急得嘴角冒泡，
「一次疊代要十幾天，如果有Bug重跑又要十幾天。這簡直是在浪費生命。」
陳陽站在機房外，看著這一幕，建立超算中心的想法從未如此迫切。
在AI時代，時間就是金錢，算力就是生命。
等到算力中心建設完成，這個時間將被壓縮到幾個小時。
但現在，他們只能等。
第十三天，結果出來了。
91.3%。
僅僅提升了1.1%。
看著這個數字，顧書瑤差點把鍵盤砸了。
付出了兩倍的人力，十幾天的時間，就換來這一丁點的提升？
按照這個速度，想超過人眼識別率，得等到猴年馬月？
「單純堆數據，邊際效應遞減了，看來方向不對。」湯小鷗看著數據，眉頭緊鎖。
「要不試試傳統算法和深度學習結合？」湯小鷗提議，
「用傳統算法做對齊，用深度學習提特徵？」
「試！」顧書瑤覺得這也是一個辦法。
又是幾天的折騰，失敗。
效果甚至還不如純深度學習。
「再加數據？」徐力咬著牙提議，「加到100萬張！我就不信餵不飽它！」
「來不及了。」顧書瑤搖搖頭，看了一眼日曆，
「投資人希望三個月看到階段性成果。收集100萬張照片至少要半年，我們等不起。」
會議室里再次陷入了死寂。
這一次，連湯小鷗也沒轍了。
學術界目前最先進的方法都在這兒了，還能怎麼辦？
陳陽看著大家垂頭喪氣的樣子，知道火候到了。
挫折教育已經足夠，現在是時候注入信心了。
「大家是不是走進了一個誤區？」
陳陽的聲音突然響起，清朗有力，瞬間吸引了所有人的目光。
他站起身，走到白板前，畫了一張人臉的簡筆畫。
「我們現在是把整張臉丟進去，讓模型自己去學。但是，人臉是複雜的。」
陳陽用筆在人臉的眼睛、鼻子、嘴巴上分別畫了圈。
「如果我是警察抓小偷，我不僅會看他的臉型，還會特意看他的眼睛大不大，鼻子挺不挺，嘴唇厚不厚。」
陳陽轉過身，看著湯小鷗和徐力，拋出了那個關鍵的提示：
「我們為什麼不把人臉切開呢？」
「切開？」徐力一愣。
「對。」陳陽在白板上畫了幾個方框，
「全臉是一個輸入。眼睛區域是一個輸入，鼻子是一個，嘴巴是一個。甚至，我們可以在不同的尺度上切，有的切大點，有的切小點。」
「每一個區域，我們都訓練一個獨立的模型去識別特徵。」
陳陽在畫板上重重一筆，將所有方框連向一個終點，
「最後，我們將這些所有模型提取出來的特徵，拼接在一起。」
「這就是：聯合決策。」
轟！就像是一道閃電划過夜空。
湯小鷗猛地站了起來，眼睛死死盯著白板上的圖，嘴裡喃喃自語：
「局部特徵、多尺度、模型融合。對啊！我怎麼沒想到！這樣能強迫模型關注細節，讓同一個人的向量更聚合，不同人的向量拉得更開！」
「這能極大提升泛化能力！」徐力也激動得跳了起來：「陳總，這招太絕了！」
「可是。」
顧書瑤作為工程負責人，第一時間想到了代價，「如果把人臉切成幾十塊，每一塊都用一個網絡，那計算量。」
「這就是暴力美學。」
湯小歐教授笑了：「我們現在缺算法，缺數據，但就是不缺暴力的決心。一個模型不行，我們就上十個；十個不行，就上六十個！」
「把人臉切成10個區域，每個區域在RGB和灰度圖上各訓練3個網絡。一共60個卷積神經網絡！」
「我要用這60個模型，像60個拿著放大鏡的偵探一樣，把人臉的每一個毛孔都看清楚！」
「60個模型。」大家被這個瘋狂的數字震住了。
在2013年，訓練一個深層網絡已經是大工程，同時跑60個？這簡直是瘋子的想法。
但正是這種瘋狂，讓在場的每一個人都熱血沸騰起來。
「就這麼幹！這才是AI該有的樣子！大力出奇蹟！」
湯小鷗一拍桌子，眼中閃爍著賭徒般的狂熱。
「書瑤，調動所有伺服器資源！不夠在繼續買。」
「徐力，楊樊，你們負責切圖和網絡結構設計！」
「今晚不睡了，我們要搞個大新聞！」
整個研發中心瞬間沸騰了。
原本沉悶的氣氛一掃而空，取而代之的是一種決戰前的亢奮。
代碼飛快地在屏幕上滾動。
人臉圖片被切割成眼睛、鼻子、嘴巴等各種碎片。
60個獨立的神經網絡像60頭飢餓的野獸，被塞進了有限的顯存里。
陳陽站在後方，看著這一幕。
他知道，這就是著名的DeepID算法的核心思想。
雖然現在超算中心還沒建好，訓練這60個模型會非常痛苦，可能需要輪流跑。
但只要這條路是對的，勝利只是時間問題。
屏幕上，新的訓練任務已經啟動。
進度條再次開始緩慢爬升。
這一次，所有人的心裡充滿了期待。