第26章 計劃大變
之後的幾天，陳一然繼續窩在公寓裡寫代碼。
就是當茉莉的人肉鍵盤，每天推個一兩小時。DeepFlow 的自動微分引擎已經搭了個架子，但反向傳播那塊始終沒跑通，茉莉昨天改了激活函數的實現，今天又要接著調。
【第十二行，把那個 sigmoid 換成 tanh，括號里改成 hidden_output。】
陳一然照著打，TextMate 的代碼補全倒是能彈出來，但彈的都是不相關的東西，他得一個字母一個字母敲。
【然後下面加一行，np.dot，參數是 error 和 hidden_output 的轉置。】
「等等 —— 轉置怎麼寫來著？」
【T，加在變量後面。】
他打完了，運行，Terminal 里蹦出來一行報錯。維度不匹配。
【hidden_output 的 shape 應該是 64 乘 1，你前面加一個 reshape。】
「哪一行？」
【第四十七行。】
他翻上去找到第四十七行，果然，少了個 reshape。加了，再跑，還是報。這回是 learning_rate 的問題，太大了，梯度爆炸。
陳一然靠在椅背上嘆了口氣，這種調參的活最煩，不是邏輯錯，就是數值不對，改一個地方牽一串。
茉莉理論都懂，但也得靠他一次次運行、看報錯、改、再跑。
折騰了一個多小時，總算跑通了。
但 loss 掉得太慢了，一條幾乎水平的線，兩百個 epoch 才降了零點零幾，照這個速度得跑到明年。
【可能是權重初始化的問題。目前用的是全零初始化，這會導致所有隱層神經元輸出相同，反向傳播時梯度也完全一樣。】
「說人話。」
【把第二十三行和第二十五行的 np.zeros 改成 np.random.randn，除以 sqrt of hidden_size。】
「sqrt 就這麼直接打嗎？」
【np.sqrt，括號里寫 hidden_size。】
兩處都改完，試著運行了下。這回 loss 曲線明顯陡了不少，但跑到第五十個 epoch 突然一個 NaN 蹦出來，整個訓練廢了。
「又炸了。」
【learning_rate 還是太大。0.1 對隨機初始化來說偏高，先降到 0.01 試試。】
「剛才不是說 0.1 太大嗎，怎麼又大了？」
【之前是零初始化，梯度小，0.1 勉強能跑。現在換成隨機初始化，初始梯度大了，0.1 就過了。】
「你能不能一步到位？行了，今天先到這吧，我腦子都快炸了。話說，你就不能想好了，再讓我打嗎。」
【你的意思是，我可以對你的大腦進行更深度的調用，不用保持低狀態運行了？如果可以，我可以完全推演大部分運行情況。請提前準備好補給品和冰塊。】
「沒！我說說的，這樣挺好。」
不再理天天說真話很煩人的茉莉，陳一然打電話叫了個披薩。
剛要放下電話，徐力的簡訊就來了：「提單到了！貨代剛發我郵箱了！我給你也發了一份，這個要給國內看吧。」
陳一然去電腦上開 Gmail，果然有一封徐力轉發的 Global Auto Shipping 郵件，標題 「Bill of Lading - 2x Cayenne - Tianjin」。提單附件打開掃了一眼 —— 船名 COSCO Development，航次 0042W，兩輛 Cayenne 的 VIN 號都對上了。ETD Newark Feb 17，也就是今天周三開的船，ETA 天津港大概四周後。
陳一然趕緊轉發給了王經理，然後給徐力說了一聲。
徐力回了個搓手的表情。
他放下手機，有一搭沒一搭地刷著人人網。
披薩到得很快，他一邊吃一邊繼續高強度在人人上衝浪。
最近他已經成為了 ELI 傳奇，新生 3 周就去考托福考了個滿分。天天不用上課，在家睡覺刷人人，到處回復閒得要死。
很多前世很熟悉的朋友，這輩子雖然不太熟了，但是在網上建立了聯繫。
一個披薩吃完，還有點餓的陳一然乾脆開車去 acme 進行了一番採購。
茉莉的存在，讓陳一然可以安心地暴飲暴食，反正大不了頭枕冰塊讓茉莉瘋狂運轉一段時間。
巧克力，巧克力冰淇凌，巧克力牛奶。各種高熱量食品，還有無數水果，充斥著購物車。
等回到家中，陳一然突然感覺自己有點墮落，這兩天除了每天固定一到兩個小時在茉莉的監督下努力幹活。剩下的時間都刷網頁，看電影，要不就吃了。
不行，得干點正事。
乾脆打開谷歌，先看下史丹福大學那邊的申請的情況吧。自己在 GitHub 發的那個小腳本，應該就足以讓自己不需要 sat 之類繁瑣的東西了。天才嘛，總是有點特權的。但是，還是得看看具體要求。至少，得把申請日期什麼的看一下吧。
官網裡找了下，點進 Computer Science，Admission。
Fall Quarter 2011: Application deadline December 1, 2010.
Spring Quarter 2011: No admission offered.
陳一然的手停在了觸控板上。
WTF,WTH,HS!
陳一然直接爆出了美式三連，趕緊在官網仔細找了找，只在問答說明中找到了一行字。
Are first-time, first-year students accepted for terms other than the fall? No
只收秋季，噁心人啊。
上輩子沒打過高端局，根本不知道斯坦福原來沒有春季入學。
ELI 的教授也沒告訴他啊，還給他出主意怎麼延續 F1 身份呢。
這說明教授也沒打過高端局啊，德拉瓦大學果然還是不行嗎。
冷靜了一會，陳一然打開谷歌。
搜索，top computer science programs spring admission 2011，回車。
第一條 US News 的排名，行吧，就按這個先看看。
在排名靠前的幾家官網上查詢，卡內基梅隆大學只有秋季，MIT，只有秋季。加州理工大學，只有秋季。
伯克利，聖克拉拉通通都是只有秋季。
找了半天，就只有香檳大學有了意外之喜，香檳大學甚至今年的秋招都沒結束，截止日期是三月一日。
他的 CS 專業排名也很靠前，全美第五。
但是，伊利諾伊中部，最近的大城市是芝加哥，開車兩小時。離矽谷？飛過去四五個小時，中間至少轉一次。
陳一然有點猶豫，他其實對於大學課程沒有那麼在意。有茉莉在，他的學習能力是非常誇張的。
上學主要就是為了資源，周圍的資源，教授資源。雖然前世他沒有創業過，但是爽文沒少看啊。
以他豐富的爽文創業經驗來看，矽谷的區位優勢才是重要的東西。
所以他一開始的目標就是斯坦福，要不就是伯克利，聖克拉拉，反正就是環矽谷大學都可選。
香檳大學對他的吸引力，可能就只有名字好聽了。
在矽谷旁邊，出門就能碰上創業公司，進咖啡館就能聽到有人在聊科技趨勢。香檳大學，邊上有啥他可不知道啊。
隨便查一下，嚯，人口有 7 萬之巨大，人口幾乎是德拉瓦大學所在的紐瓦克的兩倍。
這不就是，一個更大點的村子嗎，去不了一點。
他關掉了所有標籤頁，屏幕上只剩 TextMate 那個半開的項目窗口。
陳一然把椅子往後推了推，盯著天花板想了兩分鐘。
最後也沒想到什麼好辦法。
無非就是乾脆九月份在德拉瓦入學，然後搞好一點的 GPA 回頭轉學。
或者多花點錢，乾脆在 ELI 掛到明年算了。
ELI 每期三千多，一年 6 期大概一萬八。平行車的生意，還是很好覆蓋的。
或者乾脆回國待一年，但是那還不如待在美國呢，至少可以做做平行車生意啥的。
「茉莉，也就是說我們時間可能更富裕了，我們多搞點厲害的東西吧。」
【好。】
就是當茉莉的人肉鍵盤，每天推個一兩小時。DeepFlow 的自動微分引擎已經搭了個架子，但反向傳播那塊始終沒跑通，茉莉昨天改了激活函數的實現，今天又要接著調。
【第十二行，把那個 sigmoid 換成 tanh，括號里改成 hidden_output。】
陳一然照著打，TextMate 的代碼補全倒是能彈出來，但彈的都是不相關的東西，他得一個字母一個字母敲。
【然後下面加一行，np.dot，參數是 error 和 hidden_output 的轉置。】
「等等 —— 轉置怎麼寫來著？」
【T，加在變量後面。】
他打完了，運行，Terminal 里蹦出來一行報錯。維度不匹配。
【hidden_output 的 shape 應該是 64 乘 1，你前面加一個 reshape。】
「哪一行？」
【第四十七行。】
他翻上去找到第四十七行，果然，少了個 reshape。加了，再跑，還是報。這回是 learning_rate 的問題，太大了，梯度爆炸。
陳一然靠在椅背上嘆了口氣，這種調參的活最煩，不是邏輯錯，就是數值不對，改一個地方牽一串。
茉莉理論都懂，但也得靠他一次次運行、看報錯、改、再跑。
折騰了一個多小時，總算跑通了。
但 loss 掉得太慢了，一條幾乎水平的線，兩百個 epoch 才降了零點零幾，照這個速度得跑到明年。
【可能是權重初始化的問題。目前用的是全零初始化，這會導致所有隱層神經元輸出相同，反向傳播時梯度也完全一樣。】
「說人話。」
【把第二十三行和第二十五行的 np.zeros 改成 np.random.randn，除以 sqrt of hidden_size。】
「sqrt 就這麼直接打嗎？」
【np.sqrt，括號里寫 hidden_size。】
兩處都改完，試著運行了下。這回 loss 曲線明顯陡了不少，但跑到第五十個 epoch 突然一個 NaN 蹦出來，整個訓練廢了。
「又炸了。」
【learning_rate 還是太大。0.1 對隨機初始化來說偏高，先降到 0.01 試試。】
「剛才不是說 0.1 太大嗎，怎麼又大了？」
【之前是零初始化，梯度小，0.1 勉強能跑。現在換成隨機初始化，初始梯度大了，0.1 就過了。】
「你能不能一步到位？行了，今天先到這吧，我腦子都快炸了。話說，你就不能想好了，再讓我打嗎。」
【你的意思是，我可以對你的大腦進行更深度的調用，不用保持低狀態運行了？如果可以，我可以完全推演大部分運行情況。請提前準備好補給品和冰塊。】
「沒！我說說的，這樣挺好。」
不再理天天說真話很煩人的茉莉，陳一然打電話叫了個披薩。
剛要放下電話，徐力的簡訊就來了：「提單到了！貨代剛發我郵箱了！我給你也發了一份，這個要給國內看吧。」
陳一然去電腦上開 Gmail，果然有一封徐力轉發的 Global Auto Shipping 郵件，標題 「Bill of Lading - 2x Cayenne - Tianjin」。提單附件打開掃了一眼 —— 船名 COSCO Development，航次 0042W，兩輛 Cayenne 的 VIN 號都對上了。ETD Newark Feb 17，也就是今天周三開的船，ETA 天津港大概四周後。
陳一然趕緊轉發給了王經理，然後給徐力說了一聲。
徐力回了個搓手的表情。
他放下手機，有一搭沒一搭地刷著人人網。
披薩到得很快，他一邊吃一邊繼續高強度在人人上衝浪。
最近他已經成為了 ELI 傳奇，新生 3 周就去考托福考了個滿分。天天不用上課，在家睡覺刷人人，到處回復閒得要死。
很多前世很熟悉的朋友，這輩子雖然不太熟了，但是在網上建立了聯繫。
一個披薩吃完，還有點餓的陳一然乾脆開車去 acme 進行了一番採購。
茉莉的存在，讓陳一然可以安心地暴飲暴食，反正大不了頭枕冰塊讓茉莉瘋狂運轉一段時間。
巧克力，巧克力冰淇凌，巧克力牛奶。各種高熱量食品，還有無數水果，充斥著購物車。
等回到家中，陳一然突然感覺自己有點墮落，這兩天除了每天固定一到兩個小時在茉莉的監督下努力幹活。剩下的時間都刷網頁，看電影，要不就吃了。
不行，得干點正事。
乾脆打開谷歌，先看下史丹福大學那邊的申請的情況吧。自己在 GitHub 發的那個小腳本，應該就足以讓自己不需要 sat 之類繁瑣的東西了。天才嘛，總是有點特權的。但是，還是得看看具體要求。至少，得把申請日期什麼的看一下吧。
官網裡找了下，點進 Computer Science，Admission。
Fall Quarter 2011: Application deadline December 1, 2010.
Spring Quarter 2011: No admission offered.
陳一然的手停在了觸控板上。
WTF,WTH,HS!
陳一然直接爆出了美式三連，趕緊在官網仔細找了找，只在問答說明中找到了一行字。
Are first-time, first-year students accepted for terms other than the fall? No
只收秋季，噁心人啊。
上輩子沒打過高端局，根本不知道斯坦福原來沒有春季入學。
ELI 的教授也沒告訴他啊，還給他出主意怎麼延續 F1 身份呢。
這說明教授也沒打過高端局啊，德拉瓦大學果然還是不行嗎。
冷靜了一會，陳一然打開谷歌。
搜索，top computer science programs spring admission 2011，回車。
第一條 US News 的排名，行吧，就按這個先看看。
在排名靠前的幾家官網上查詢，卡內基梅隆大學只有秋季，MIT，只有秋季。加州理工大學，只有秋季。
伯克利，聖克拉拉通通都是只有秋季。
找了半天，就只有香檳大學有了意外之喜，香檳大學甚至今年的秋招都沒結束，截止日期是三月一日。
他的 CS 專業排名也很靠前，全美第五。
但是，伊利諾伊中部，最近的大城市是芝加哥，開車兩小時。離矽谷？飛過去四五個小時，中間至少轉一次。
陳一然有點猶豫，他其實對於大學課程沒有那麼在意。有茉莉在，他的學習能力是非常誇張的。
上學主要就是為了資源，周圍的資源，教授資源。雖然前世他沒有創業過，但是爽文沒少看啊。
以他豐富的爽文創業經驗來看，矽谷的區位優勢才是重要的東西。
所以他一開始的目標就是斯坦福，要不就是伯克利，聖克拉拉，反正就是環矽谷大學都可選。
香檳大學對他的吸引力，可能就只有名字好聽了。
在矽谷旁邊，出門就能碰上創業公司，進咖啡館就能聽到有人在聊科技趨勢。香檳大學，邊上有啥他可不知道啊。
隨便查一下，嚯，人口有 7 萬之巨大，人口幾乎是德拉瓦大學所在的紐瓦克的兩倍。
這不就是，一個更大點的村子嗎，去不了一點。
他關掉了所有標籤頁，屏幕上只剩 TextMate 那個半開的項目窗口。
陳一然把椅子往後推了推，盯著天花板想了兩分鐘。
最後也沒想到什麼好辦法。
無非就是乾脆九月份在德拉瓦入學，然後搞好一點的 GPA 回頭轉學。
或者多花點錢，乾脆在 ELI 掛到明年算了。
ELI 每期三千多，一年 6 期大概一萬八。平行車的生意，還是很好覆蓋的。
或者乾脆回國待一年，但是那還不如待在美國呢，至少可以做做平行車生意啥的。
「茉莉，也就是說我們時間可能更富裕了，我們多搞點厲害的東西吧。」
【好。】