第77章 我給的靈感？
漆昊想起了之前他指出Sigmoid函數在反向傳播時，每一層梯度都會打折。
當時他說過梯度沒有消失，只是在衰減，這是激活函數選取帶來的結構性缺陷，所以必須更換激活函數。
現在，陳工等人聽從了自己的建議，可為什麼換了之後，梯度不僅沒救回來，反而瘋狂抽風，不是直接卡死，就是爆出NaN導致程序崩潰？
漆昊想要從面前的數據中找出一點線索。
輕量化網絡、波動性的點雲原始輸入、以及……機載晶片。
等一下，這地方不對啊。
「陳工，我能再看看相關的代碼嗎？」
「稍等。」陳工開始操作，在屏幕上調出了訓練端基於NumPy寫的網絡初始化和數據預處理腳本。
漆昊看了一會兒，指著屏幕某處說：「陳工，你看這行輸入，原始點雲的數據範圍在 0.5米到 50米之間，你們沒有做 Zscore或者MinMax歸一化，直接以原始 float值餵了進去。」
「然後，你們的參數初始化，用的是剛提出來的 Xavier初始化對吧？」
「我看你給的文獻中，有這麼一篇。」
陳工有些得意：「那當然，這是學術界最前沿的初始化方法，論文裡證明了它能保證輸入和輸出的方差一致。」
漆昊輕嘆了口氣，完了，他的想法是對的。
「陳工，Xavier初始化是有嚴格前提的，它是專門給Sigmoid或者Tanh這種對稱激活函數設計的，推導的假設是，激活函數關於原點對稱……」
「每一層網絡的輸出方差，都會直接縮水一半，如果是10層網絡，傳到最後一層，方差也沒剩下多少，這跟梯度消失有什麼區別？」
「那NaN又是怎麼爆出來的？」
「機載晶片算力差，你們直接餵了原始點雲，點雲原始數值大，輸入方差可能高達上千，再加上 Xavie使用場景不合適，問題就暴露了出來。」
陳工疑惑地問道：「這是你剛才想出來的？」
「是的，這也多虧陳工剛才的講解，才讓我找到了靈感。」
陳工頓時一臉懵圈。
我給的靈感？
我自個兒想了幾天，腦袋都快想禿了也沒整明白，我什麼時候給你靈感了？
陳工仔細想了下，漆昊這一手基於方差傳播的數學推導看上去沒什麼問題，但作為典型的工科博士，他們顯然不可能只憑嘴上說說就徹底信服，畢竟，在工程落地領域，再完美的數學公式也必須經歷實際代碼的檢驗。
陳工沒輕易說好或者不好，只是斟酌道：「漆昊同學，你這個Relu初始化方差修正的思路現在聽起來沒問題，但是，神經網絡在多層級疊代中的實際表現很複雜，我們得把你這一套寫進初始化腳本里，重新跑一遍幾萬組的點雲訓練數據，看看收斂曲線才能下結論。」
「沒錯，實踐是檢驗真理的唯一標準。」漆昊爽快回答。
「大概需要多久能出測試結果？」
「咱們組裡這幾台工作站雖然配了顯卡，但由於數據集龐大，加上要跑滿完整的epoch觀察穩定性，怎麼著也得等個七八天吧。」陳工估算了一下時間。
「時間有點長，這快要除夕了，我建議你先回家，有什麼進展我們隨時溝通。」
漆昊心想確實不可能在這守著他們，於是說：「那我先回家，我家就在本地，坐公交車也就一個多小時，非常方便，等你們跑出訓練結果了，隨時給我打電話或者發QQ消息，我馬上過來。」
陳工見他不僅學術能力強，而且工作態度積極主動，比一般研究生都認真，頓時大為感動：「沒問題，大過年的還讓你跟著操心，真是不好意思，你先回家休息，只要有結果了，我第一時間聯繫你！」
告別了他們，漆昊背上包，徑直走向了數院大樓。
老王在QQ上給他發了消息，讓他有空過去一趟。
推開辦公室的門，王教授一見到漆昊，板著的臉上頓時多了笑容：「你快來坐！」
等他坐下，老王從抽屜里取出一疊合同協議和一個信封，推到漆昊面前。
「這是你攻克一維Laurent像猜想的獎金。」
漆昊看著桌子上的東西，說出了自己的擔憂：「王老師，這筆獎金數額這麼大，交稅的問題……」
「我就知道你小子要問，這一塊學校早就幫你想好了。」
「三家企業獎勵的一百四十萬，稅費由他們完成全額代扣代繳，所以這方面你就不用擔心了。」
「而由學校發放的一百萬，財務預估後發現稅費非常高，所以學校在想辦法上報申請專項表彰，走特殊申報渠道。」
「這樣可以減免稅費。」
漆昊不知道這裡面的門道，聽得很認真，他完全沒想到學校會為他考慮到這個地步，如果學校不走特殊申報渠道，漆昊其實也沒辦法。
想到這裡，漆昊立刻說：「謝謝王老師和學校幫我張羅這些，否則我都摸不著頭腦。」
王老師眼裡滿是對漆昊的賞識，說：「後勤瑣事，本就該我們替你扛下來，好了，上面簽個字，三張支票就是你的了。」
漆昊從老王手裡接過鋼筆，在三份協議上鄭重簽下了自己的名字。
「你拿著支票，到中行天府分行去找分行經理，那是我們的開戶行，已經預約了，你直接去，到時候會有人專門協助你。」
漆昊道了謝，回宿舍將省圖借閱卡和之前借的三本厚重的書塞進背包，省圖和中行天府分行很近，他打算順路去一趟省立圖書館，把手裡的書給還了，順便淘幾本新的。
來到中行，漆昊等了沒多久，分行經理就快步走了過來，滿臉堆笑地將漆昊迎進了專門的VIP貴賓接待室，由於學校早就把一切做好了，所以過了十多分鐘，漆昊的手機便陸續發出了提示音。
【……已入帳1，000，000.00元……】
【……已入帳200，000.00元……】
【……已入帳200，000.00元……】
一百四十萬！
沒想到他在大學待了一學期就拿到了那麼錢，還有一百萬不久後應該也能到帳了。
真學霸，就是值錢啊！
當時他說過梯度沒有消失，只是在衰減，這是激活函數選取帶來的結構性缺陷，所以必須更換激活函數。
現在，陳工等人聽從了自己的建議，可為什麼換了之後，梯度不僅沒救回來，反而瘋狂抽風，不是直接卡死，就是爆出NaN導致程序崩潰？
漆昊想要從面前的數據中找出一點線索。
輕量化網絡、波動性的點雲原始輸入、以及……機載晶片。
等一下，這地方不對啊。
「陳工，我能再看看相關的代碼嗎？」
「稍等。」陳工開始操作，在屏幕上調出了訓練端基於NumPy寫的網絡初始化和數據預處理腳本。
漆昊看了一會兒，指著屏幕某處說：「陳工，你看這行輸入，原始點雲的數據範圍在 0.5米到 50米之間，你們沒有做 Zscore或者MinMax歸一化，直接以原始 float值餵了進去。」
「然後，你們的參數初始化，用的是剛提出來的 Xavier初始化對吧？」
「我看你給的文獻中，有這麼一篇。」
陳工有些得意：「那當然，這是學術界最前沿的初始化方法，論文裡證明了它能保證輸入和輸出的方差一致。」
漆昊輕嘆了口氣，完了，他的想法是對的。
「陳工，Xavier初始化是有嚴格前提的，它是專門給Sigmoid或者Tanh這種對稱激活函數設計的，推導的假設是，激活函數關於原點對稱……」
「每一層網絡的輸出方差，都會直接縮水一半，如果是10層網絡，傳到最後一層，方差也沒剩下多少，這跟梯度消失有什麼區別？」
「那NaN又是怎麼爆出來的？」
「機載晶片算力差，你們直接餵了原始點雲，點雲原始數值大，輸入方差可能高達上千，再加上 Xavie使用場景不合適，問題就暴露了出來。」
陳工疑惑地問道：「這是你剛才想出來的？」
「是的，這也多虧陳工剛才的講解，才讓我找到了靈感。」
陳工頓時一臉懵圈。
我給的靈感？
我自個兒想了幾天，腦袋都快想禿了也沒整明白，我什麼時候給你靈感了？
陳工仔細想了下，漆昊這一手基於方差傳播的數學推導看上去沒什麼問題，但作為典型的工科博士，他們顯然不可能只憑嘴上說說就徹底信服，畢竟，在工程落地領域，再完美的數學公式也必須經歷實際代碼的檢驗。
陳工沒輕易說好或者不好，只是斟酌道：「漆昊同學，你這個Relu初始化方差修正的思路現在聽起來沒問題，但是，神經網絡在多層級疊代中的實際表現很複雜，我們得把你這一套寫進初始化腳本里，重新跑一遍幾萬組的點雲訓練數據，看看收斂曲線才能下結論。」
「沒錯，實踐是檢驗真理的唯一標準。」漆昊爽快回答。
「大概需要多久能出測試結果？」
「咱們組裡這幾台工作站雖然配了顯卡，但由於數據集龐大，加上要跑滿完整的epoch觀察穩定性，怎麼著也得等個七八天吧。」陳工估算了一下時間。
「時間有點長，這快要除夕了，我建議你先回家，有什麼進展我們隨時溝通。」
漆昊心想確實不可能在這守著他們，於是說：「那我先回家，我家就在本地，坐公交車也就一個多小時，非常方便，等你們跑出訓練結果了，隨時給我打電話或者發QQ消息，我馬上過來。」
陳工見他不僅學術能力強，而且工作態度積極主動，比一般研究生都認真，頓時大為感動：「沒問題，大過年的還讓你跟著操心，真是不好意思，你先回家休息，只要有結果了，我第一時間聯繫你！」
告別了他們，漆昊背上包，徑直走向了數院大樓。
老王在QQ上給他發了消息，讓他有空過去一趟。
推開辦公室的門，王教授一見到漆昊，板著的臉上頓時多了笑容：「你快來坐！」
等他坐下，老王從抽屜里取出一疊合同協議和一個信封，推到漆昊面前。
「這是你攻克一維Laurent像猜想的獎金。」
漆昊看著桌子上的東西，說出了自己的擔憂：「王老師，這筆獎金數額這麼大，交稅的問題……」
「我就知道你小子要問，這一塊學校早就幫你想好了。」
「三家企業獎勵的一百四十萬，稅費由他們完成全額代扣代繳，所以這方面你就不用擔心了。」
「而由學校發放的一百萬，財務預估後發現稅費非常高，所以學校在想辦法上報申請專項表彰，走特殊申報渠道。」
「這樣可以減免稅費。」
漆昊不知道這裡面的門道，聽得很認真，他完全沒想到學校會為他考慮到這個地步，如果學校不走特殊申報渠道，漆昊其實也沒辦法。
想到這裡，漆昊立刻說：「謝謝王老師和學校幫我張羅這些，否則我都摸不著頭腦。」
王老師眼裡滿是對漆昊的賞識，說：「後勤瑣事，本就該我們替你扛下來，好了，上面簽個字，三張支票就是你的了。」
漆昊從老王手裡接過鋼筆，在三份協議上鄭重簽下了自己的名字。
「你拿著支票，到中行天府分行去找分行經理，那是我們的開戶行，已經預約了，你直接去，到時候會有人專門協助你。」
漆昊道了謝，回宿舍將省圖借閱卡和之前借的三本厚重的書塞進背包，省圖和中行天府分行很近，他打算順路去一趟省立圖書館，把手裡的書給還了，順便淘幾本新的。
來到中行，漆昊等了沒多久，分行經理就快步走了過來，滿臉堆笑地將漆昊迎進了專門的VIP貴賓接待室，由於學校早就把一切做好了，所以過了十多分鐘，漆昊的手機便陸續發出了提示音。
【……已入帳1，000，000.00元……】
【……已入帳200，000.00元……】
【……已入帳200，000.00元……】
一百四十萬！
沒想到他在大學待了一學期就拿到了那麼錢，還有一百萬不久後應該也能到帳了。
真學霸，就是值錢啊！