第198章 超參數
第198章 超參數
李渡放下電話對鹿漫說：「身份證給我。」
鹿漫聽話的從自己小包中拿出身份證，將身份證遞給李渡。
「130130XXXXXXXXXXXX
掛完點電話後，李渡將身份證還給鹿漫，笑著說：「一個半小時後的飛機，早點回去好好休息，祝你明天試戲順利。」
鹿漫重重的點了點頭：「嗯。」
接下來的一段時間，李渡一直和沈知意還有她的研發團隊在一起，知深科技被收編的這一半公司名字也審批通過了一一兵器集團800分公司。
李渡本來還納悶為什麼給他們定的是這個編號，因為整個集團總共也就十幾個分公司，經過沈知意的提醒他才知道，這是終結者第一部機器人的型號。
看來上面的人也許並不是這麼死板，偶爾還有點小情趣。
經過一段時間的摸索，李渡已經總結出了經驗，他的情報系統雖然表現出了一定的隨機性，但是也和他每天的具體工作有一定的關聯性。
所以他天天和研發人員泡在一起，儘量讓自己能跟的上他們的節奏，知道他們每天工作的目的是什麼，難點是什麼，果不其然，隔三岔五的情報總能為他提供一些對研發有用的信息。
有時候是一些關鍵技術路線的抉擇，有時候是某個特殊環節的疏漏。
剛開始大家只是覺得又來了一個外行指導內行的領導，尤其是剛剛調過來在體制內工作過的那一批人，對這種事兒已經見不怪了，只能硬著頭皮分出一部分資源去驗證李渡的猜想。
結果幾番實驗下來，結果出乎大家的意料，就連專門從總部調來的頭髮有些斑白的首席架構師都感嘆道：「這世上真的有靠直覺解決問題的人嗎？」
為了進一步發展挖掘李渡的潛力，他每天拉著李渡一起搞研究，還不吝嗇自己的時間，專門抽空為李渡教一些基本的知識。
李渡害怕露餡，只能裝出一副好逸惡勞的樣子，拒絕學習，氣的老頭指著李渡的鼻子大罵：「你這麼浪費你的天賦，是對國家的不負責任，是對人類文明的不負責，你本來可以成為海森堡那種留名青史的大科學家的，雖然你現在沒有基礎，但是從頭再學也不晚。」
對此李渡只能選擇敬而遠之，一副死豬不怕開水的樣子，讓老不得不放棄。
老頭說的海森堡他也知道，為了研究量子力學，這位大佬隨手創造出一個數學工具，就是現在大學的一門數學學科線性代數。
情報系統目前提供的情報的信息密度還沒有這麼大，所以李渡還是不要碰瓷那些大佬為好，安安穩穩做自己的億萬富豪就可以了，搞科研，自己就不是那塊料。
今天是公司基於新的模型架構研發出的人工智慧問世的日子，當然，目前而言，所謂的人工智慧還是個人工智障，接來下它需要藉助超級計算機進行不斷的疊代，進化，才能具有真正的使用價值。
而取決於選代速度的就是模型的超參數設置，不同的超參數的對選代速度的影響差距高達上千倍，也就是說如果參數設置不好，很有可能幾個月就能完成的工作，一個搞不好就得十幾年。
目前而言，超參數的設置業界已經有很多研究和理論，雖然都有一定的指導意義，但是不多，
實際工程應用還是靠玄學，靠經驗，花費大量的時間和經驗慢慢去試。
至於什麼時候就算是調整到完美狀態，也沒有什麼好的評判標準，純靠人的主觀認知去確認是否把參數調到了最佳狀態。
超參數到底是什麼東西李渡也試圖弄懂過，技術人員給他講了很久，一頓權重衰減、L2正則化、左右學習率等專業術語攪得李渡腦子一片漿糊。
他現在也就對基本概念有了認知，這麼高端的理論對他還是有些難了，不過這一切都不重要，
他只需要明白超參數每個參數的表現形式就夠了，別出現主=6這種搞笑的錯誤就可以了。
看著沈知意帶著一群人，在討論方案，李渡一個人隨便找了一個沙發坐下。
【我要使用定向情報。】
【請告訴我兵器集團800分公司正在研發的神經網絡模型超參數的最佳設置是什麼？】
李渡第一次見系統情報刷新的這麼慢，可能系統也沒有想到有人用他來搞科研，經過了足足半個小時，系統才給出了答案。
【Adam(0.9，0.999)
Ir:1e-4sch:warmup10k，lineardecayto0
bs:128k=256512i
ts:1M(40e)
L2 : 0. 01
dropout:0.1】
沒有任何解釋說明，只是一串字母，不過這對李渡來說就夠了。
李渡將數組牢牢記住，走到了討論的人群中間，
「要不讓我來試試？「
負責模型調參的項目組組長看到李渡又要來摻合，一臉為難道：「李董，超參數是一個複雜的數組，您就算是靠著運氣蒙對一兩個數據對，其他數據不合適，也沒有任何意義啊。」
首席架構師看到李渡頓時一顧氣就上來了，瞪著眼睛道：「讓他試，我倒要看看這種不學無術的傢伙，能不能每次都有這麼好的運氣。」
「可是這次咱們申請的超級計算機的雲服務只有一個月，耽擱不起啊，萬一出個什麼問題，趕不上最後的匯報評比，一切就都白做了。」
項目組長皺著眉頭勸解老頭，只覺得自己命怎麼這麼苦，在之前的單位被上司打壓，搶功。好不容易換了的新公司，想要大展拳腳，結果攤上了一個搞玄學的董事長，首席架構師又跟著他胡鬧。
幸好公司的總經理沈總還算比較靠譜，剛開始他看到沈知意以為又是哪個大佬的女兒，內心還腹誹，長這麼漂亮不去演電視，來這裡湊什麼熱鬧。
結果沒想到沈知意能力遠超他的預期，公司在她的安排下一切變得井井有條，效率比他之前的單位提升了一倍不止，反而還不用每天沒日沒夜的加班。
技術上的細節她也十分在行，每次匯報她都能很快理解他的意思，並立馬給出判斷。
沈知意看到場上陷入僵局，站起來說：「前三天本來就是調試期，可以分出一部分資源，用李董的參數試一試，吳組長你也可以帶著團隊繼續按照我們的預定策略調試，這樣對研發進度的影響比較少，甚至還有可能加快進展。」
項目組組長看到連沈總也站出來支持李董的胡鬧，只覺得眼前一黑，內心呻吟道：你們能不能嚴肅一點啊？
他突然有些懷念老公司了，雖然在那裡加班、工資低、開會多、還要被領導罵、被領導搶功勞，但是至少搞科研不是在胡鬧。
既然各位大佬都發話了，他也就只能照做了，只不過一邊作業系統分配運行空間，一邊還陰陽怪氣道：「李董最好抓住這點時間燒燒香，萬一今天您的運氣用完了，就不好了。」
李渡對此毫不在意，對於人才，他一向很寬容。
十分鐘後，他將鏡像系統的控制權交給李渡，就帶著組內的其他人去另一間機房了，只留下李渡、沈知意和架構師三人。
老頭人老成精，哪能看不出沈知意看向李渡那複雜的眼神，呵呵一笑：「我去那邊看看那群小傢伙，希望到時候你能給我一個驚喜，打一打老頭子我的臉。」
架構師走完之後，偌大的機房只留下李渡和沈知意兩個人，沈知意臉上露出一絲紅暈，隨即打開參數輸入界面，對著李渡說：「要不你來說，我幫你輸入？」
「我既然說要自己試，就肯定知道每個參數的規則。你不會是覺得我什麼都不知道，純屬來胡鬧吧？」
沈知意笑吟吟的看著李渡：「怎麼會呢？我一直都是最相信你的人，那就交給你了，我的李大董事長。」
看到沈知意讓開了位置，李渡按照情報中的描述將每個參數逐項輸入，愣是在界面上沒有找到確認按鈕。
「我來吧，這個是內部臨時開發的軟體，因為研發人員都習慣用命令操作，所以很多交互上的設計都很簡陋。」
沈知意看出了李渡的尷尬，俯下身來接過了李渡手中的鍵盤，開進行訓練的準備工作。
一直過了十多分鐘，她才讓程序運行了起來，放鬆精神之後，她才感受到耳邊傳來李渡的灼熱的呼氣，讓她心神一顫，趕緊站直身子：「好了，大概有半天時間就能初步看出來差距了。」
李渡看到後知後覺的沈知意，笑了。
剛才沈知意俯身在李渡肩旁，胸口剛好在他肩膀上面，他稍微一動可能就會碰到她的胸。
他動也不是，不動也不是，只能痛苦並快樂著。
他也站起來伸了個懶腰，對著沈知意說：「走吧，出去走一走吧，最近工作強度這麼高，你也沒有怎麼閒下來過，公司外面的景色那麼好，咱們也沒好好出去看過。」
沈知意俏皮一笑：「你是以李董事長的身份命令我去去呢，還是以學長的身份邀請我呢？」
李渡笑道：「我是以朋友的的身份，約你出去，不知道沈大美女能不能賞個臉？」
沈知意沒想到一向正經的學長，突然變得輕桃了起來，小臉一紅：「嗯。」
因為種種原因，公司的駐地坐落在秦山一座山峰的山腳，南面就是層巒疊嶂的華夏龍脈秦山；
北面則是西府市區的高樓大廈。
李渡帶著沈知意直接開車從秦山最近的峪口進了山中，半個小時後在一個風景不錯的山谷中停了下來。
遠處是秀麗的山峰，腳邊是潺潺的流水，沈知意閉上眼睛，感受著鼻間清新的空氣，耳邊的清脆的鳥叫聲，感嘆道：「這裡真的是個世外桃源啊。」
李渡看到眼前靜謐而美好的少女笑著說：「那在這裡給你搭個茅草屋，讓你隱居在這裡算了，
我記得金庸小說里的終南山的原型就在這附近。「
「當小龍女有什麼好的，孤苦無依也就算了，唯一的依靠還是一個到處拈花惹草的過兒。」
沈知意說到拈花惹草四個字時，還故意看了李渡一眼，讓李渡無言以對。
「那學長你覺得楊過怎麼樣？」過了一會沈知意又對李渡問道，還是還沒等李渡說話，她自己卻把自己逗笑了：「學長怎麼會是楊過呢？學長應該是張無忌。」
李渡問道：「什麼意思？」
「哈哈，不告訴你。」
「看，小猴子。」
沈知意突然發現前方的樹上有一隻十分可愛的金絲猴，眼晴一亮就輕輕往前走去，只留下李渡還在原地思考張無忌是什麼意思。
片刻之後，李渡輕笑一聲，從車上拿了點東西，朝著沈知意走了過去。
沈知意正在樹下逗小猴子，想要把猴子騙下來，只是她用盡了各種辦法，甚至把自己的髮夾拿出來吸引他，小猴子也不為所動。
失去發卡的沈知意，隨意的讓自己的長髮散落在肩上，更添一絲韻味。
「試試這個。」李渡遞給沈知意一個小包裝的小麵包。
沈知意接過去之後準備拆開塑料包裝，李渡又說道：「你直接給它就行，它自己會拆。」
沈知意將信將疑的將見麵包扔在小猴子正下方，結果原本對她愛答不理的小猴子，蹭的一下就把麵包抓到手裡，又輕車熟路的拆開餓了麵包，就在原地吃了起來。
沈知意一臉驚喜：「哇，它真的會拆麵包哎。」
李渡笑著說：「現在因為環境與動物保護，金絲猴的數量越來越多，他們經常去山區裡的村民家裡去串門兒，雖然是野生，但是對人類的零食也熟悉的很。」
小猴子吃飯之後，又爬上樹對著遠方吱吱叫了幾聲，從後方又跑來一幾隻猴子，看著是一個家庭。
李渡見狀把手中的零食都給了沈知意，沈知意像一個小女孩一樣，將手中的零食一個一個都扔給猴子。
嘴裡還念念有詞：「這個是爸爸，要去外面工作，多給他一點；這個是媽媽，生了這麼多小猴子，肯定需要補充營養，也多給她一點。」
李渡放下電話對鹿漫說：「身份證給我。」
鹿漫聽話的從自己小包中拿出身份證，將身份證遞給李渡。
「130130XXXXXXXXXXXX
掛完點電話後，李渡將身份證還給鹿漫，笑著說：「一個半小時後的飛機，早點回去好好休息，祝你明天試戲順利。」
鹿漫重重的點了點頭：「嗯。」
接下來的一段時間，李渡一直和沈知意還有她的研發團隊在一起，知深科技被收編的這一半公司名字也審批通過了一一兵器集團800分公司。
李渡本來還納悶為什麼給他們定的是這個編號，因為整個集團總共也就十幾個分公司，經過沈知意的提醒他才知道，這是終結者第一部機器人的型號。
看來上面的人也許並不是這麼死板，偶爾還有點小情趣。
經過一段時間的摸索，李渡已經總結出了經驗，他的情報系統雖然表現出了一定的隨機性，但是也和他每天的具體工作有一定的關聯性。
所以他天天和研發人員泡在一起，儘量讓自己能跟的上他們的節奏，知道他們每天工作的目的是什麼，難點是什麼，果不其然，隔三岔五的情報總能為他提供一些對研發有用的信息。
有時候是一些關鍵技術路線的抉擇，有時候是某個特殊環節的疏漏。
剛開始大家只是覺得又來了一個外行指導內行的領導，尤其是剛剛調過來在體制內工作過的那一批人，對這種事兒已經見不怪了，只能硬著頭皮分出一部分資源去驗證李渡的猜想。
結果幾番實驗下來，結果出乎大家的意料，就連專門從總部調來的頭髮有些斑白的首席架構師都感嘆道：「這世上真的有靠直覺解決問題的人嗎？」
為了進一步發展挖掘李渡的潛力，他每天拉著李渡一起搞研究，還不吝嗇自己的時間，專門抽空為李渡教一些基本的知識。
李渡害怕露餡，只能裝出一副好逸惡勞的樣子，拒絕學習，氣的老頭指著李渡的鼻子大罵：「你這麼浪費你的天賦，是對國家的不負責任，是對人類文明的不負責，你本來可以成為海森堡那種留名青史的大科學家的，雖然你現在沒有基礎，但是從頭再學也不晚。」
對此李渡只能選擇敬而遠之，一副死豬不怕開水的樣子，讓老不得不放棄。
老頭說的海森堡他也知道，為了研究量子力學，這位大佬隨手創造出一個數學工具，就是現在大學的一門數學學科線性代數。
情報系統目前提供的情報的信息密度還沒有這麼大，所以李渡還是不要碰瓷那些大佬為好，安安穩穩做自己的億萬富豪就可以了，搞科研，自己就不是那塊料。
今天是公司基於新的模型架構研發出的人工智慧問世的日子，當然，目前而言，所謂的人工智慧還是個人工智障，接來下它需要藉助超級計算機進行不斷的疊代，進化，才能具有真正的使用價值。
而取決於選代速度的就是模型的超參數設置，不同的超參數的對選代速度的影響差距高達上千倍，也就是說如果參數設置不好，很有可能幾個月就能完成的工作，一個搞不好就得十幾年。
目前而言，超參數的設置業界已經有很多研究和理論，雖然都有一定的指導意義，但是不多，
實際工程應用還是靠玄學，靠經驗，花費大量的時間和經驗慢慢去試。
至於什麼時候就算是調整到完美狀態，也沒有什麼好的評判標準，純靠人的主觀認知去確認是否把參數調到了最佳狀態。
超參數到底是什麼東西李渡也試圖弄懂過，技術人員給他講了很久，一頓權重衰減、L2正則化、左右學習率等專業術語攪得李渡腦子一片漿糊。
他現在也就對基本概念有了認知，這麼高端的理論對他還是有些難了，不過這一切都不重要，
他只需要明白超參數每個參數的表現形式就夠了，別出現主=6這種搞笑的錯誤就可以了。
看著沈知意帶著一群人，在討論方案，李渡一個人隨便找了一個沙發坐下。
【我要使用定向情報。】
【請告訴我兵器集團800分公司正在研發的神經網絡模型超參數的最佳設置是什麼？】
李渡第一次見系統情報刷新的這麼慢，可能系統也沒有想到有人用他來搞科研，經過了足足半個小時，系統才給出了答案。
【Adam(0.9，0.999)
Ir:1e-4sch:warmup10k，lineardecayto0
bs:128k=256512i
ts:1M(40e)
L2 : 0. 01
dropout:0.1】
沒有任何解釋說明，只是一串字母，不過這對李渡來說就夠了。
李渡將數組牢牢記住，走到了討論的人群中間，
「要不讓我來試試？「
負責模型調參的項目組組長看到李渡又要來摻合，一臉為難道：「李董，超參數是一個複雜的數組，您就算是靠著運氣蒙對一兩個數據對，其他數據不合適，也沒有任何意義啊。」
首席架構師看到李渡頓時一顧氣就上來了，瞪著眼睛道：「讓他試，我倒要看看這種不學無術的傢伙，能不能每次都有這麼好的運氣。」
「可是這次咱們申請的超級計算機的雲服務只有一個月，耽擱不起啊，萬一出個什麼問題，趕不上最後的匯報評比，一切就都白做了。」
項目組長皺著眉頭勸解老頭，只覺得自己命怎麼這麼苦，在之前的單位被上司打壓，搶功。好不容易換了的新公司，想要大展拳腳，結果攤上了一個搞玄學的董事長，首席架構師又跟著他胡鬧。
幸好公司的總經理沈總還算比較靠譜，剛開始他看到沈知意以為又是哪個大佬的女兒，內心還腹誹，長這麼漂亮不去演電視，來這裡湊什麼熱鬧。
結果沒想到沈知意能力遠超他的預期，公司在她的安排下一切變得井井有條，效率比他之前的單位提升了一倍不止，反而還不用每天沒日沒夜的加班。
技術上的細節她也十分在行，每次匯報她都能很快理解他的意思，並立馬給出判斷。
沈知意看到場上陷入僵局，站起來說：「前三天本來就是調試期，可以分出一部分資源，用李董的參數試一試，吳組長你也可以帶著團隊繼續按照我們的預定策略調試，這樣對研發進度的影響比較少，甚至還有可能加快進展。」
項目組組長看到連沈總也站出來支持李董的胡鬧，只覺得眼前一黑，內心呻吟道：你們能不能嚴肅一點啊？
他突然有些懷念老公司了，雖然在那裡加班、工資低、開會多、還要被領導罵、被領導搶功勞，但是至少搞科研不是在胡鬧。
既然各位大佬都發話了，他也就只能照做了，只不過一邊作業系統分配運行空間，一邊還陰陽怪氣道：「李董最好抓住這點時間燒燒香，萬一今天您的運氣用完了，就不好了。」
李渡對此毫不在意，對於人才，他一向很寬容。
十分鐘後，他將鏡像系統的控制權交給李渡，就帶著組內的其他人去另一間機房了，只留下李渡、沈知意和架構師三人。
老頭人老成精，哪能看不出沈知意看向李渡那複雜的眼神，呵呵一笑：「我去那邊看看那群小傢伙，希望到時候你能給我一個驚喜，打一打老頭子我的臉。」
架構師走完之後，偌大的機房只留下李渡和沈知意兩個人，沈知意臉上露出一絲紅暈，隨即打開參數輸入界面，對著李渡說：「要不你來說，我幫你輸入？」
「我既然說要自己試，就肯定知道每個參數的規則。你不會是覺得我什麼都不知道，純屬來胡鬧吧？」
沈知意笑吟吟的看著李渡：「怎麼會呢？我一直都是最相信你的人，那就交給你了，我的李大董事長。」
看到沈知意讓開了位置，李渡按照情報中的描述將每個參數逐項輸入，愣是在界面上沒有找到確認按鈕。
「我來吧，這個是內部臨時開發的軟體，因為研發人員都習慣用命令操作，所以很多交互上的設計都很簡陋。」
沈知意看出了李渡的尷尬，俯下身來接過了李渡手中的鍵盤，開進行訓練的準備工作。
一直過了十多分鐘，她才讓程序運行了起來，放鬆精神之後，她才感受到耳邊傳來李渡的灼熱的呼氣，讓她心神一顫，趕緊站直身子：「好了，大概有半天時間就能初步看出來差距了。」
李渡看到後知後覺的沈知意，笑了。
剛才沈知意俯身在李渡肩旁，胸口剛好在他肩膀上面，他稍微一動可能就會碰到她的胸。
他動也不是，不動也不是，只能痛苦並快樂著。
他也站起來伸了個懶腰，對著沈知意說：「走吧，出去走一走吧，最近工作強度這麼高，你也沒有怎麼閒下來過，公司外面的景色那麼好，咱們也沒好好出去看過。」
沈知意俏皮一笑：「你是以李董事長的身份命令我去去呢，還是以學長的身份邀請我呢？」
李渡笑道：「我是以朋友的的身份，約你出去，不知道沈大美女能不能賞個臉？」
沈知意沒想到一向正經的學長，突然變得輕桃了起來，小臉一紅：「嗯。」
因為種種原因，公司的駐地坐落在秦山一座山峰的山腳，南面就是層巒疊嶂的華夏龍脈秦山；
北面則是西府市區的高樓大廈。
李渡帶著沈知意直接開車從秦山最近的峪口進了山中，半個小時後在一個風景不錯的山谷中停了下來。
遠處是秀麗的山峰，腳邊是潺潺的流水，沈知意閉上眼睛，感受著鼻間清新的空氣，耳邊的清脆的鳥叫聲，感嘆道：「這裡真的是個世外桃源啊。」
李渡看到眼前靜謐而美好的少女笑著說：「那在這裡給你搭個茅草屋，讓你隱居在這裡算了，
我記得金庸小說里的終南山的原型就在這附近。「
「當小龍女有什麼好的，孤苦無依也就算了，唯一的依靠還是一個到處拈花惹草的過兒。」
沈知意說到拈花惹草四個字時，還故意看了李渡一眼，讓李渡無言以對。
「那學長你覺得楊過怎麼樣？」過了一會沈知意又對李渡問道，還是還沒等李渡說話，她自己卻把自己逗笑了：「學長怎麼會是楊過呢？學長應該是張無忌。」
李渡問道：「什麼意思？」
「哈哈，不告訴你。」
「看，小猴子。」
沈知意突然發現前方的樹上有一隻十分可愛的金絲猴，眼晴一亮就輕輕往前走去，只留下李渡還在原地思考張無忌是什麼意思。
片刻之後，李渡輕笑一聲，從車上拿了點東西，朝著沈知意走了過去。
沈知意正在樹下逗小猴子，想要把猴子騙下來，只是她用盡了各種辦法，甚至把自己的髮夾拿出來吸引他，小猴子也不為所動。
失去發卡的沈知意，隨意的讓自己的長髮散落在肩上，更添一絲韻味。
「試試這個。」李渡遞給沈知意一個小包裝的小麵包。
沈知意接過去之後準備拆開塑料包裝，李渡又說道：「你直接給它就行，它自己會拆。」
沈知意將信將疑的將見麵包扔在小猴子正下方，結果原本對她愛答不理的小猴子，蹭的一下就把麵包抓到手裡，又輕車熟路的拆開餓了麵包，就在原地吃了起來。
沈知意一臉驚喜：「哇，它真的會拆麵包哎。」
李渡笑著說：「現在因為環境與動物保護，金絲猴的數量越來越多，他們經常去山區裡的村民家裡去串門兒，雖然是野生，但是對人類的零食也熟悉的很。」
小猴子吃飯之後，又爬上樹對著遠方吱吱叫了幾聲，從後方又跑來一幾隻猴子，看著是一個家庭。
李渡見狀把手中的零食都給了沈知意，沈知意像一個小女孩一樣，將手中的零食一個一個都扔給猴子。
嘴裡還念念有詞：「這個是爸爸，要去外面工作，多給他一點；這個是媽媽，生了這麼多小猴子，肯定需要補充營養，也多給她一點。」