第四十八章 一神帶五坑啊
空調的冷風從出風口嘶嘶吹出，卻帶不走空氣中那股凝固的熱度。
三位教授，五位學長學姐，八個人，十六道視線，全部釘在陸豐身上。
似乎都在等陸豐說結果，陸豐則是被盯得渾身起雞皮疙瘩。
葉國棟最先打破了沉默，他扶了扶眼鏡。
「理論上可行，但……你能用具體的模型把它表達出來嗎？」
「比如公式或者說簡易的模型。」
「當然。」陸豐回答得乾脆。
開玩笑，我能說出來，還不能驗證？
徐雲教授下意識地從筆筒里抽出一支全新的白板筆，遞了過去。
陸豐接過筆，拔掉筆帽，轉身走向那面巨大的白色書寫板。
五名大三的學生不自覺地挺直了腰杆，身體微微前傾。
陸豐沒有立刻書寫，他先是在白板的左上角畫了一個簡單的二維網格。
「首先，是狀態空間S的定義。」他的聲音在安靜的機房裡迴蕩，清晰而沉穩，僅是開口就讓人神往，這感染詞條的力量著實變態。
「我們將整個城市劃分為N個區域，每個區域就是一個狀態。「
」計程車的狀態s，就是它當前所在的網格編號i。」
筆尖在白板上划過，留下一行行簡潔的數學符號。
S ={s₁， s₂，…， sN}
「然後，是動作空間A。對於任意狀態s，計程車的動作a，就是選擇駛向相鄰的某個區域j。」
A(s)={a₁， a₂，…， ak}
「最關鍵的，是獎勵函數R。」陸豐的筆速加快，一行行公式開始在白板上蔓延。
「獎勵R(s， a)由兩部分構成。第一部分是執行動作a後，在新區域j接到乘客的概率P，乘以這單的預期收益E。」
「第二部分，是空載行駛的成本C，包括時間成本和燃油成本。」
R(s， a)= P(s， a)* E(s， a)~ C(s， a)
計算機學院的孫毅教授看得連連點頭，他已經完全被陸豐的思路吸引了。
這套建模方式，簡潔、優雅，而且可計算性極強。
「接下來，就是求解最優策略π*。」陸豐轉身，看向那五位已經有些呆滯的學長學姐。
「傳統的動態規劃需要知道完整的狀態轉移概率，但我們沒有，所以，我們用Q~learning。」
他沒有給任何人提問的機會，直接在白板中央，寫下了那個強化學習領域最核心的方程。
Q(s， a)← Q(s， a)+α[R +γ maxₐ』 Q(s』， a』)~ Q(s， a)]
「我們不需要知道全局地圖，也不需要預測未來。每輛車都是一個獨立，它只需要根據自己當前的Q表，選擇能帶來最大Q值的動作。」
「每一次成功的載客，都是一次正向獎勵。」
「每一次長時間的空載，都是一次負向懲罰，通過海量的真實運營數據進行疊代訓練，這張Q表會不斷收斂，最終趨近於最優解。」
陸豐一邊講，一邊在方程旁邊補充著每個參數的物理意義。
學習率α，折扣因子γ，狀態s，動作a。
計算機學院的李浩和王哲對視一眼，都從對方的反應里看到了難以掩飾的震撼。
因為他們也沒有想到陸豐在數學方面的造詣居然也這麼高。
不一會兒，一整面巨大的白板，已經被寫得滿滿當當。
從狀態空間的離散化，到獎勵函數的設計，再到Q表的疊代更新算法，形成了一個完整而自洽的邏輯閉環。
葉國棟臉上的笑容已經徹底壓不住了，他轉頭看向身邊的徐雲和孫毅，那表情仿佛在說：看看，看看我發現了什麼寶貝！
徐雲教授也是不住地點頭，而孫毅則直接掏出手機，對著那面寫滿公式的白板，從不同角度連拍了好幾張照片。
那五名學生已經徹底放棄了思考，這不是一時半會就能搞定的。
陸豐寫完最後一個字符，將筆帽蓋上，隨手放在講台桌上。
他轉過身，看到三位教授在那邊擠眉弄眼，笑得跟中了五百萬彩票似的。
不是，你們能不能先讓我回去坐下？
三位大佬站在這裡，五位學長學姐坐在那裡，就我一個人杵在中間，這算怎麼回事？公開處刑嗎？
葉國棟似乎是察覺到了陸豐投來的視線，他立刻收斂了笑容，清了清嗓子，試圖恢復自己作為教授的威嚴。
「咳咳……非常好。」他的聲音裡帶著一絲還沒完全壓下去的興奮。
「這個思路，非常新穎，而且邏輯嚴謹，可行性極高。」
他轉向那五個還處在石化狀態的學生。
「說實話，當初這道題在國賽賽場上，沒有一個隊伍想到用強化學習的思路來解，最好的成績，也不過是用了一個帶時間窗的遺傳算法，模型複雜，而且求解精度很一般。」
這番話，無疑是給陸豐的方案蓋上了官方認證的印章。
陸豐衝著幾位老師點了點頭，默默地走回自己的座位坐下。
他剛一坐下，旁邊的陳靜就湊了過來，聲音裡帶著幾分不確定和請教的意味。
「陸豐……學弟，你剛才那個Q表，是用什麼數據結構存儲的？如果狀態空間太大，一個二維數組會不會導致內存溢出？」
「用哈希表。」陸豐頭也沒抬地回答，「鍵是狀態和動作的元組，值是Q值。這樣只存儲訪問過的狀態，可以極大地節省空間。」
陳靜恍然大悟，連連點頭。
搜嘎。
葉國棟看著團隊成員之間已經開始自發地進行技術交流，滿意地拍了拍手。
「好了，思路已經明確，接下來就是為期一個月的集訓。」他環視眾人，聲調提高了幾分。
「在這段時間裡，你們有任何問題，隨時可以來找我們三個。」
「需要什麼設備，需要什麼資料，學校會不計成本地給你們提供。我只有希望這次。」
他停頓了一下，目光最終落在陸豐身上。
「把國獎給我拿回來！」
話音剛落，機房下課的鈴聲恰好響起，清脆的鈴音迴蕩在安靜的房間裡。
葉國棟揮了揮手。
「行了，估計大家都餓了吧，先去吃飯。」
」天大地大吃飯最大。「
三位教授，五位學長學姐，八個人，十六道視線，全部釘在陸豐身上。
似乎都在等陸豐說結果，陸豐則是被盯得渾身起雞皮疙瘩。
葉國棟最先打破了沉默，他扶了扶眼鏡。
「理論上可行，但……你能用具體的模型把它表達出來嗎？」
「比如公式或者說簡易的模型。」
「當然。」陸豐回答得乾脆。
開玩笑，我能說出來，還不能驗證？
徐雲教授下意識地從筆筒里抽出一支全新的白板筆，遞了過去。
陸豐接過筆，拔掉筆帽，轉身走向那面巨大的白色書寫板。
五名大三的學生不自覺地挺直了腰杆，身體微微前傾。
陸豐沒有立刻書寫，他先是在白板的左上角畫了一個簡單的二維網格。
「首先，是狀態空間S的定義。」他的聲音在安靜的機房裡迴蕩，清晰而沉穩，僅是開口就讓人神往，這感染詞條的力量著實變態。
「我們將整個城市劃分為N個區域，每個區域就是一個狀態。「
」計程車的狀態s，就是它當前所在的網格編號i。」
筆尖在白板上划過，留下一行行簡潔的數學符號。
S ={s₁， s₂，…， sN}
「然後，是動作空間A。對於任意狀態s，計程車的動作a，就是選擇駛向相鄰的某個區域j。」
A(s)={a₁， a₂，…， ak}
「最關鍵的，是獎勵函數R。」陸豐的筆速加快，一行行公式開始在白板上蔓延。
「獎勵R(s， a)由兩部分構成。第一部分是執行動作a後，在新區域j接到乘客的概率P，乘以這單的預期收益E。」
「第二部分，是空載行駛的成本C，包括時間成本和燃油成本。」
R(s， a)= P(s， a)* E(s， a)~ C(s， a)
計算機學院的孫毅教授看得連連點頭，他已經完全被陸豐的思路吸引了。
這套建模方式，簡潔、優雅，而且可計算性極強。
「接下來，就是求解最優策略π*。」陸豐轉身，看向那五位已經有些呆滯的學長學姐。
「傳統的動態規劃需要知道完整的狀態轉移概率，但我們沒有，所以，我們用Q~learning。」
他沒有給任何人提問的機會，直接在白板中央，寫下了那個強化學習領域最核心的方程。
Q(s， a)← Q(s， a)+α[R +γ maxₐ』 Q(s』， a』)~ Q(s， a)]
「我們不需要知道全局地圖，也不需要預測未來。每輛車都是一個獨立，它只需要根據自己當前的Q表，選擇能帶來最大Q值的動作。」
「每一次成功的載客，都是一次正向獎勵。」
「每一次長時間的空載，都是一次負向懲罰，通過海量的真實運營數據進行疊代訓練，這張Q表會不斷收斂，最終趨近於最優解。」
陸豐一邊講，一邊在方程旁邊補充著每個參數的物理意義。
學習率α，折扣因子γ，狀態s，動作a。
計算機學院的李浩和王哲對視一眼，都從對方的反應里看到了難以掩飾的震撼。
因為他們也沒有想到陸豐在數學方面的造詣居然也這麼高。
不一會兒，一整面巨大的白板，已經被寫得滿滿當當。
從狀態空間的離散化，到獎勵函數的設計，再到Q表的疊代更新算法，形成了一個完整而自洽的邏輯閉環。
葉國棟臉上的笑容已經徹底壓不住了，他轉頭看向身邊的徐雲和孫毅，那表情仿佛在說：看看，看看我發現了什麼寶貝！
徐雲教授也是不住地點頭，而孫毅則直接掏出手機，對著那面寫滿公式的白板，從不同角度連拍了好幾張照片。
那五名學生已經徹底放棄了思考，這不是一時半會就能搞定的。
陸豐寫完最後一個字符，將筆帽蓋上，隨手放在講台桌上。
他轉過身，看到三位教授在那邊擠眉弄眼，笑得跟中了五百萬彩票似的。
不是，你們能不能先讓我回去坐下？
三位大佬站在這裡，五位學長學姐坐在那裡，就我一個人杵在中間，這算怎麼回事？公開處刑嗎？
葉國棟似乎是察覺到了陸豐投來的視線，他立刻收斂了笑容，清了清嗓子，試圖恢復自己作為教授的威嚴。
「咳咳……非常好。」他的聲音裡帶著一絲還沒完全壓下去的興奮。
「這個思路，非常新穎，而且邏輯嚴謹，可行性極高。」
他轉向那五個還處在石化狀態的學生。
「說實話，當初這道題在國賽賽場上，沒有一個隊伍想到用強化學習的思路來解，最好的成績，也不過是用了一個帶時間窗的遺傳算法，模型複雜，而且求解精度很一般。」
這番話，無疑是給陸豐的方案蓋上了官方認證的印章。
陸豐衝著幾位老師點了點頭，默默地走回自己的座位坐下。
他剛一坐下，旁邊的陳靜就湊了過來，聲音裡帶著幾分不確定和請教的意味。
「陸豐……學弟，你剛才那個Q表，是用什麼數據結構存儲的？如果狀態空間太大，一個二維數組會不會導致內存溢出？」
「用哈希表。」陸豐頭也沒抬地回答，「鍵是狀態和動作的元組，值是Q值。這樣只存儲訪問過的狀態，可以極大地節省空間。」
陳靜恍然大悟，連連點頭。
搜嘎。
葉國棟看著團隊成員之間已經開始自發地進行技術交流，滿意地拍了拍手。
「好了，思路已經明確，接下來就是為期一個月的集訓。」他環視眾人，聲調提高了幾分。
「在這段時間裡，你們有任何問題，隨時可以來找我們三個。」
「需要什麼設備，需要什麼資料，學校會不計成本地給你們提供。我只有希望這次。」
他停頓了一下，目光最終落在陸豐身上。
「把國獎給我拿回來！」
話音剛落，機房下課的鈴聲恰好響起，清脆的鈴音迴蕩在安靜的房間裡。
葉國棟揮了揮手。
「行了，估計大家都餓了吧，先去吃飯。」
」天大地大吃飯最大。「