第60章 開始強化學習訓練
之後幾天，有點等不及的陳一然開始高強度騷擾 TED。
「綠卡怎麼樣了。」
「不是吧大佬，我是律師，我不是美國總統！I-485 和 I-140 都交上去了，指紋也打過了，移民局那邊沒有要求補件，也不需要排期，但是美國政府的效率就是這樣的，只能等呀。這周從周一到今天周三，你天天給我打電話催也沒用啊。」
「下雨天打電話，閒著也是閒著。」
「我中文很好！我知道這個歇後語！大爺啊，你饒了我吧，你這麼想買槍，先去靶場過過癮就可以了啊。桑尼維爾那邊，有一個華人開的室內靶場，老闆我熟。給你打折，你少催我一下行不行。」
「把地址給我，有時間我去看看。」
陳一然說是這麼說，還是堅定的每天給 TED 打電話，然後又開始陰陽怪氣。
什麼這麼大的律所，就沒什麼特殊渠道。電影裡人家都是隨便打幾個電話，聯繫幾個大人物就搞定了。Fenwick & West 的能力和人脈，看來也就那樣之類的。
周五早上，TED 被折騰的不行，給他下了保證之後的兩周一定能給辦下來，求陳一然下周放過他。
陳一然嘴上同意了，但是覺得還是看看下周心情，心情不好還是可以繼續打電話的。上次一個案子可是給了律所 30 萬美金，為了帳單好看一些，TED 把車子保養的時間都算在他頭上了，美其名曰，是因為頻繁開車來找陳一然，才導致車子需要保養，所以這時間也要算時長。
不過到了到了公司，陳一然的心情變得很不錯。
因為高德偉給他匯報，團隊已經跑完了兩個 baseline，然後把一張紙給了他。
這是林志偉整理的完整數據表格。
adaptec1，二十萬個 cell。
隨機 baseline：HPWL 是 ISPD 2006 官方公布最優解的 2.3 倍。
模擬退火 baseline：經過阿密特調的參數，跑了一整夜。最終 HPWL 收斂，成功達到了官方最優解的 1.18 倍。
可以說，第一次測試，就超出了預料。
陳一然一邊看數據，一邊讓茉莉查缺補漏。
「林志偉，你在 Synopsys 的時候，IC Compiler 剛開始跑 adaptec1 第一次結果是多少。」
「1.15 到 1.2 之間，要再調很多參數才能逼近 1.05。」
「我們現在一周調出來的模擬退火，已經接近 Synopsys 商業工具的新手設定了？」
林志偉靠在椅子上有點興奮的說：「這還只是模擬退火，我們真正的方向是強化學習訓練，老闆你真神了。」
高德偉轉過來看陳一然：「說得對，模擬退火只是錨點，強化學習訓練什麼時候能開始。我有點迫不及待了，我沒想到 DeepFlow 增量計算可以這麼強！」
「周天佑你那邊集群狀態怎麼樣。」
「三台 R710 全負荷已經跑了兩天了，因為有 DeepFlow 的增量計算做底層，每次 cell 移動不用重算全圖線長 —— 傳統模擬退火一晚上跑幾萬次擾動，我們跑了快兩百萬次。所以 adaptec1 一次完整 SA 收斂只用了六到八小時。
這還只是用 DeepFlow 當加速器。強化學習訓練的時候就不一樣了。按照我們的計劃，DeepFlow 不只是算得快，它可以在幾十個並發上同時探索不同的 placement 方案，然後把經驗匯總。」
陳一然點點頭說：「我懂你們的意思了，所以說 GPU 迫在眉睫了是吧。」
高德偉點點頭說：「計劃趕不上變化啊，老闆你這個 deepflow 寫的太好了。沒想到效果這麼好，我原計劃是先驗證 baseline 跑通了再考慮 GPU 擴容，按照我最初的估算，工具鏈搭建加 baseline 怎麼也要三四周，要是不順利的話，可能得一兩個月。」
周天佑在邊上表示贊同：「強化學習跟模擬退火可是不一樣的，模擬退火是傳統算法，CPU 就夠了。但強化學習要訓練神經網絡，純 CPU 一次疊代不是小時級的事。我建議我們必須買 GPU 了，R710 每個每個上面能插兩個。」
拉傑在感覺自己終於有了用武之地，趕緊開口：」用 C2050 就可以，NVIDIA 內部做 CUDA 驗證用的就是 Fermi 架構的測試卡，跟 C2050 同代。我在驗證團隊的時候跑過不少計算密集型的負載，雙精度浮點性能對 placement 的神經網絡來說足夠了。」
」行，這種應該不是我們去 bestbuy 就能買到的吧。」
陳一然拿出手機，打給了琳達。
」琳達，幫我找渠道訂六塊 NVIDIA Tesla C2050，還有對應的 Dell 的 PCIe 擴展套件，R710 用的。快的話今天，最慢周一應該是能送到的吧。」
」好的陳先生，我可以幫您聯繫，戴爾和英偉達在矽谷這邊發貨很方便的，下午應該就全能給您送來。」
掛了電話，公司里所有人目瞪口呆的看著陳一然，
還是高德偉直接開啟了吐槽模式：」這就是有錢人嗎，我們自己聯繫戴爾不就好了，你這還要使喚別人。」
」這叫高效，節省時間。」
陳一然又看相周天佑問了一句：「企業級的 GPU，也不難裝吧，我還真沒見過呢，今天下午到了馬上就能裝好嗎。」
周天佑點了點頭：」好裝的很，隨便搞搞就弄好了。下午應該能跑第一輪。先上 adaptec1，小規模，跑通端到端的強化學習流程。如果只是驗證流程一兩天，但要看到比模擬退火明顯好的線長數據，大概還得一周，我需要仔細調整神經網絡的超參數。」
「很好，你們看因為找了人，下午就能到貨工作。要是我們自己定，周一都不一定拿得到呢。行吧，會議結束，大家都回工位上幹活。」
眾人也沒馬上離開，而是開始互相核對信息，更改白板上的 todo，還歸檔了之前的項目進度。
陳一然覺得公司的氛圍還不錯，或許初創公司都是這樣的，員工都還很有心氣。
為了鼓舞士氣，陳一然乾脆決定今天中午在單位請客了。
雖然附近也沒有什麼好的外賣，最後只點了棒約翰。
但是一群人一邊等設備，一邊聊之後的計劃和技術，一邊發分享披薩的樣子，還真有點像電影中初創公司奮鬥的場面。
大通銀行的話，通常都不會食言，下午一點鐘，Dell 的物流車停在了辦公室門口。英偉達的貨他們也有的一起送來了，畢竟都算是配套的東西。
幾個箱子，周天佑帶著桑傑劉毅拆箱檢車了一下，確定了貨物都在，就搬進去開始裝機。
R710 開蓋加卡要拆風道，還好拉傑非常的熟練，其他幾個理工男手上活也都不差，圍著機櫃折騰了二十分鐘就搞定了。
下午兩點，第一行 CUDA 代碼就跑通了，到了三點，強化學習訓練的環境全部配置完畢。
這也算是公司，一個里程碑式的事件了。
陳一然被眾人圍著，深吸一口氣，在終端前面敲了第一個訓練指令，屏幕上的 log 開始刷新。矩陣乘法，梯度更新，loss 下降曲線。
開始之後的 loss 降得非常慢，這是正常的，神經網絡剛開始什麼都不會，基本可以說是純智障。
至少得跑個兩三天，才能有效果。
晚上陳一然本來又想搞團建，但是漢娜給他打了電話，說本來她姑姑要來找他們一家。但是說她姑姑臨時起意，要去音樂節，就給他們家放了鴿子，讓和姑姑很親的小姑娘很是不滿。
既然小姑娘過來訴苦，陳一然肯定得去撫慰一下她幼小的心靈。
而且陳一然突然想到了上輩子看過的很多搞笑段子，領導總是莫名其妙的喜歡團建，還是下班的時間。
恐怖啊，陳一然驚出一身冷汗，這就是當老闆的詛咒嗎。當了老闆，就開始喜歡各種各樣的集體團建活動了。
告別了眾人，陳一然率先下班了，一邊開始一邊和茉莉聊天。
「茉莉，以後我再要搞團建，你得提醒我一下，讓我看看合不合適。」
【好的，我記住了。但是實際上，我覺得，作為公司重大事件，晚上搞個團建也是合情合理的。╮(╯▽╰)╭】
「行吧，反正你記得提醒我就好了。」
一路開到聖塔克拉拉大學，接上了憤懣的小姑娘。
「音樂節是月底的！我看我姑姑就是想和新的小男友玩，就不來看我了。」
「是啊是啊，太壞了。」
「一點親情都不顧，她和這個男朋友肯定也長不了。」
「就是就是，長不了。」
「氣死了，我們也去音樂節玩吧。」
「對啊對....... 不對啊，什麼音樂節。」
「蒙特婁國際爵士音樂節，好像算是世界上最大的爵士音樂節了。」
陳一然開始開動大腦，想找個理由拒絕，很快找到一個非常強的理由。
「唉，蒙特婁是加拿大是吧，我也想去，可惜啊，我沒加拿大簽證呢。」
「這樣嗎，真可惜。」
這時候車上放著的音樂停了，有電話接了進來。
TED 的聲音從車載音響中傳出：「大佬啊，好消息啊，不用等下周了，你的綠卡已經下來了。You're a permanent resident now!」
「綠卡怎麼樣了。」
「不是吧大佬，我是律師，我不是美國總統！I-485 和 I-140 都交上去了，指紋也打過了，移民局那邊沒有要求補件，也不需要排期，但是美國政府的效率就是這樣的，只能等呀。這周從周一到今天周三，你天天給我打電話催也沒用啊。」
「下雨天打電話，閒著也是閒著。」
「我中文很好！我知道這個歇後語！大爺啊，你饒了我吧，你這麼想買槍，先去靶場過過癮就可以了啊。桑尼維爾那邊，有一個華人開的室內靶場，老闆我熟。給你打折，你少催我一下行不行。」
「把地址給我，有時間我去看看。」
陳一然說是這麼說，還是堅定的每天給 TED 打電話，然後又開始陰陽怪氣。
什麼這麼大的律所，就沒什麼特殊渠道。電影裡人家都是隨便打幾個電話，聯繫幾個大人物就搞定了。Fenwick & West 的能力和人脈，看來也就那樣之類的。
周五早上，TED 被折騰的不行，給他下了保證之後的兩周一定能給辦下來，求陳一然下周放過他。
陳一然嘴上同意了，但是覺得還是看看下周心情，心情不好還是可以繼續打電話的。上次一個案子可是給了律所 30 萬美金，為了帳單好看一些，TED 把車子保養的時間都算在他頭上了，美其名曰，是因為頻繁開車來找陳一然，才導致車子需要保養，所以這時間也要算時長。
不過到了到了公司，陳一然的心情變得很不錯。
因為高德偉給他匯報，團隊已經跑完了兩個 baseline，然後把一張紙給了他。
這是林志偉整理的完整數據表格。
adaptec1，二十萬個 cell。
隨機 baseline：HPWL 是 ISPD 2006 官方公布最優解的 2.3 倍。
模擬退火 baseline：經過阿密特調的參數，跑了一整夜。最終 HPWL 收斂，成功達到了官方最優解的 1.18 倍。
可以說，第一次測試，就超出了預料。
陳一然一邊看數據，一邊讓茉莉查缺補漏。
「林志偉，你在 Synopsys 的時候，IC Compiler 剛開始跑 adaptec1 第一次結果是多少。」
「1.15 到 1.2 之間，要再調很多參數才能逼近 1.05。」
「我們現在一周調出來的模擬退火，已經接近 Synopsys 商業工具的新手設定了？」
林志偉靠在椅子上有點興奮的說：「這還只是模擬退火，我們真正的方向是強化學習訓練，老闆你真神了。」
高德偉轉過來看陳一然：「說得對，模擬退火只是錨點，強化學習訓練什麼時候能開始。我有點迫不及待了，我沒想到 DeepFlow 增量計算可以這麼強！」
「周天佑你那邊集群狀態怎麼樣。」
「三台 R710 全負荷已經跑了兩天了，因為有 DeepFlow 的增量計算做底層，每次 cell 移動不用重算全圖線長 —— 傳統模擬退火一晚上跑幾萬次擾動，我們跑了快兩百萬次。所以 adaptec1 一次完整 SA 收斂只用了六到八小時。
這還只是用 DeepFlow 當加速器。強化學習訓練的時候就不一樣了。按照我們的計劃，DeepFlow 不只是算得快，它可以在幾十個並發上同時探索不同的 placement 方案，然後把經驗匯總。」
陳一然點點頭說：「我懂你們的意思了，所以說 GPU 迫在眉睫了是吧。」
高德偉點點頭說：「計劃趕不上變化啊，老闆你這個 deepflow 寫的太好了。沒想到效果這麼好，我原計劃是先驗證 baseline 跑通了再考慮 GPU 擴容，按照我最初的估算，工具鏈搭建加 baseline 怎麼也要三四周，要是不順利的話，可能得一兩個月。」
周天佑在邊上表示贊同：「強化學習跟模擬退火可是不一樣的，模擬退火是傳統算法，CPU 就夠了。但強化學習要訓練神經網絡，純 CPU 一次疊代不是小時級的事。我建議我們必須買 GPU 了，R710 每個每個上面能插兩個。」
拉傑在感覺自己終於有了用武之地，趕緊開口：」用 C2050 就可以，NVIDIA 內部做 CUDA 驗證用的就是 Fermi 架構的測試卡，跟 C2050 同代。我在驗證團隊的時候跑過不少計算密集型的負載，雙精度浮點性能對 placement 的神經網絡來說足夠了。」
」行，這種應該不是我們去 bestbuy 就能買到的吧。」
陳一然拿出手機，打給了琳達。
」琳達，幫我找渠道訂六塊 NVIDIA Tesla C2050，還有對應的 Dell 的 PCIe 擴展套件，R710 用的。快的話今天，最慢周一應該是能送到的吧。」
」好的陳先生，我可以幫您聯繫，戴爾和英偉達在矽谷這邊發貨很方便的，下午應該就全能給您送來。」
掛了電話，公司里所有人目瞪口呆的看著陳一然，
還是高德偉直接開啟了吐槽模式：」這就是有錢人嗎，我們自己聯繫戴爾不就好了，你這還要使喚別人。」
」這叫高效，節省時間。」
陳一然又看相周天佑問了一句：「企業級的 GPU，也不難裝吧，我還真沒見過呢，今天下午到了馬上就能裝好嗎。」
周天佑點了點頭：」好裝的很，隨便搞搞就弄好了。下午應該能跑第一輪。先上 adaptec1，小規模，跑通端到端的強化學習流程。如果只是驗證流程一兩天，但要看到比模擬退火明顯好的線長數據，大概還得一周，我需要仔細調整神經網絡的超參數。」
「很好，你們看因為找了人，下午就能到貨工作。要是我們自己定，周一都不一定拿得到呢。行吧，會議結束，大家都回工位上幹活。」
眾人也沒馬上離開，而是開始互相核對信息，更改白板上的 todo，還歸檔了之前的項目進度。
陳一然覺得公司的氛圍還不錯，或許初創公司都是這樣的，員工都還很有心氣。
為了鼓舞士氣，陳一然乾脆決定今天中午在單位請客了。
雖然附近也沒有什麼好的外賣，最後只點了棒約翰。
但是一群人一邊等設備，一邊聊之後的計劃和技術，一邊發分享披薩的樣子，還真有點像電影中初創公司奮鬥的場面。
大通銀行的話，通常都不會食言，下午一點鐘，Dell 的物流車停在了辦公室門口。英偉達的貨他們也有的一起送來了，畢竟都算是配套的東西。
幾個箱子，周天佑帶著桑傑劉毅拆箱檢車了一下，確定了貨物都在，就搬進去開始裝機。
R710 開蓋加卡要拆風道，還好拉傑非常的熟練，其他幾個理工男手上活也都不差，圍著機櫃折騰了二十分鐘就搞定了。
下午兩點，第一行 CUDA 代碼就跑通了，到了三點，強化學習訓練的環境全部配置完畢。
這也算是公司，一個里程碑式的事件了。
陳一然被眾人圍著，深吸一口氣，在終端前面敲了第一個訓練指令，屏幕上的 log 開始刷新。矩陣乘法，梯度更新，loss 下降曲線。
開始之後的 loss 降得非常慢，這是正常的，神經網絡剛開始什麼都不會，基本可以說是純智障。
至少得跑個兩三天，才能有效果。
晚上陳一然本來又想搞團建，但是漢娜給他打了電話，說本來她姑姑要來找他們一家。但是說她姑姑臨時起意，要去音樂節，就給他們家放了鴿子，讓和姑姑很親的小姑娘很是不滿。
既然小姑娘過來訴苦，陳一然肯定得去撫慰一下她幼小的心靈。
而且陳一然突然想到了上輩子看過的很多搞笑段子，領導總是莫名其妙的喜歡團建，還是下班的時間。
恐怖啊，陳一然驚出一身冷汗，這就是當老闆的詛咒嗎。當了老闆，就開始喜歡各種各樣的集體團建活動了。
告別了眾人，陳一然率先下班了，一邊開始一邊和茉莉聊天。
「茉莉，以後我再要搞團建，你得提醒我一下，讓我看看合不合適。」
【好的，我記住了。但是實際上，我覺得，作為公司重大事件，晚上搞個團建也是合情合理的。╮(╯▽╰)╭】
「行吧，反正你記得提醒我就好了。」
一路開到聖塔克拉拉大學，接上了憤懣的小姑娘。
「音樂節是月底的！我看我姑姑就是想和新的小男友玩，就不來看我了。」
「是啊是啊，太壞了。」
「一點親情都不顧，她和這個男朋友肯定也長不了。」
「就是就是，長不了。」
「氣死了，我們也去音樂節玩吧。」
「對啊對....... 不對啊，什麼音樂節。」
「蒙特婁國際爵士音樂節，好像算是世界上最大的爵士音樂節了。」
陳一然開始開動大腦，想找個理由拒絕，很快找到一個非常強的理由。
「唉，蒙特婁是加拿大是吧，我也想去，可惜啊，我沒加拿大簽證呢。」
「這樣嗎，真可惜。」
這時候車上放著的音樂停了，有電話接了進來。
TED 的聲音從車載音響中傳出：「大佬啊，好消息啊，不用等下周了，你的綠卡已經下來了。You're a permanent resident now!」