第237章 開啟一個全新世界的鑰匙
會議室里安靜了幾秒。
老張靠在牆角，盯著白板上那張層次圖，眉頭擰成一個疙瘩。
他之前一直以為小智跑得慢是框架本身的計算複雜度問題，還琢磨著要不要從底層算子做優化。
現在肖宿把三層結構一畫出來，他忽然意識到自己連問題出在哪裡都沒找對。
肖宿沒有在這個結論上停留太久。
他轉過身，在白板的空白處繼續。
「小智從設計之初就註定和傳統調度策略不匹配。」
他在層次圖旁邊畫了一個新的模塊，標註為「任務分解粒度調整器」。
「要適配小智這種低維解耦結構，調度策略需要改三個地方。
第一個是任務分解的粒度。
傳統調度器按數據量等大拆分，因為高維空間裡數據量和計算量是近似線性的，低維解耦空間裡這條線就不成立了。
語義層數據量大但計算量中等，邏輯層數據量中等但計算量最大，符號層數據量最小計算量也最小，所以拆分粒度不能一樣。」
而分配的邏輯應該是這樣的：
語義層用大塊，減少拆分次數，省通信開銷。
邏輯層用中塊，避免單節點計算時間過長拖慢整體。
符號層用小塊，充分利用並行度。
「第二個就是通信拓撲，傳統調度器用樹形歸約，葉節點匯總到父節點，一層一層往上，高維空間裡通信量小，樹形的瓶頸不明顯，低維空間裡通信量大增，根節點會被堵死。」
他很快畫出了一個環形結構。
「而改成環形拓撲，每個節點只和相鄰節點通信，數據在環上流動而不是匯聚，總通信量一樣，但沒有單點瓶頸，平均延遲反而更低了。」
「第三個是任務親和性，語義層對延遲不敏感，它的輸出是一次性的，早一點晚一點差別不大，但邏輯層和符號層之間需要頻繁交換中間結果，對延遲是極度敏感的。
調度器需要能識別這種差異，把延遲敏感的任務放在同一個物理節點上，或者至少放在同一台交換機下。」
他放下筆，退後半步。
白板上清楚地鋪著一張圖。
層次結構，粒度分配表，環形拓撲示意圖，親和性標註……
每一部分的位置都是經過安排的，連箭頭都沒有多餘的交叉。
宋曉曼盯著那張圖看了半天，忽然發現自己不知道什麼時候已經把抹布攥成了一個球。
周慶宇站在白板前，把肖宿寫的每一個字從頭到尾看了一遍，又看了一遍。
他明白肖宿的意思了。
肖宿畫的這張圖，本質上是在說一件事：
調度策略的底層邏輯，需要從「通用計算優先」切換到「結構感知優先」。
傳統調度器把任務當成黑箱，只關心計算量和數據量。
肖宿的調度器把任務拆開，知道每一層在算什麼，知道每一層對什麼敏感，然後針對性地分配資源。
這個思路他不是沒想過。
事實上，去年他就思考過能不能讓調度器感知神經網絡的不同層，但是想要實現的複雜度實在太高了，最後他還是放下了，做會了傳統的負載均衡優化。
而現在，肖宿畫出的這張圖，甚至連每一個模塊的輸入輸出、計算複雜度、延遲敏感度都標得清清楚楚。
思考問題的深度簡直難以想像。
越看，他的臉上越是激動，心底也不禁掀起了驚濤駭浪，因為他已經意識到了這個方法的應用前景。
要知道，現在全球的算力中心跑的都是通用調度器，Slurm、Kubernetes、還有各家自研的變種，所有人的優化方向都是怎麼把高維張量算得更快。
低維解耦空間是一個全新的戰場，而且目前這個戰場上幾乎沒有人。
不是大家不想進來，而是從前從來沒有能跑在低維解耦空間裡的框架。
沒有框架，調度器就是無源之水。
而現在，肖宿做出來了
而開啟一個全新世界的鑰匙現在就在他們面前。
周慶宇攥緊了手指，心底快速思索起來：恆科的小智一號已經在適配小智了，他們目前用的肯定是通用調度方案，等產品量產後，必然會遇到和他們一樣的通信瓶頸。
以恆科的實力，自己組團隊攻克這個問題，最少也需要半年到一年。
如果按照肖宿的方法，搶在恆科之前，把適配小智框架的調度器做出來，恆科一定會主動找上門來合作！
到時候，這可就不是普通的校企合作了。
以往合作都是企業看中高校的算力和人力，主動權在企業。
可要是他們手裡有這套獨家調度算法，局面就會徹底反轉，不是他們求著恆科，而是恆科離不開他們的技術。
到時候他們擁有真正的議價權，算力研究中心也能徹底打開產業落地的口子了。
「我覺得可以干。」老張開口了，「肖宿同學已經把骨架畫出來了，我們來做血肉。
環形通信拓撲我在早年的一個項目里接觸過，當時是因為樹形歸約在跨機房場景下延遲太高，我們改成了環形的變種，套代碼我還能找出來。」
宋曉曼猶豫了一下，舉起手。
「周老師，任務親和性感知那個模塊，我可以試著做，我之前做過一個Linux進程調度器的小項目，關於NUMA架構下的內存親和性優化，思路應該和肖宿說的任務親和性有相通的地方，不過……」
她看了一眼白板上肖宿寫的那幾行標註，「複雜度可能比我那個項目高一個量級，我需要再仔細看一下肖宿論文裡關於弗洛爾同調模塊和符號映射模塊的交互邏輯。」
「我跟你一起。」黑框眼鏡男生從門口走進來幾步，「API那層我來對接。」
周慶宇看著自己的團隊，一個接一個地主動領任務。
每個人都知道這件事有多難，但沒有一個人猶豫。
「好。」
周慶宇點了點頭，轉向肖宿，「肖宿同學，我們實驗室正式立項，方向就是低維解耦空間的自適應算力調度。
你剛才說的三條，我們來做實現，過程中遇到算法層面的問題，可能還需要麻煩你幫我們把關。」
肖宿「嗯」了一聲，這正和他意。
之後，他也沒再多說什麼，和林硯交代了幾句，便轉身離開了算力研究室。
他今天來算力研究室的目的是把自己腦子裡那張圖落到實處，確認自己的判斷和實際系統之間沒有偏差。
現在圖已經畫出來了，周慶宇的團隊也接住了，剩下的是工程實現。
工程實現需要時間，不是他坐在這裡一下午就能加速的。
老張靠在牆角，盯著白板上那張層次圖，眉頭擰成一個疙瘩。
他之前一直以為小智跑得慢是框架本身的計算複雜度問題，還琢磨著要不要從底層算子做優化。
現在肖宿把三層結構一畫出來，他忽然意識到自己連問題出在哪裡都沒找對。
肖宿沒有在這個結論上停留太久。
他轉過身，在白板的空白處繼續。
「小智從設計之初就註定和傳統調度策略不匹配。」
他在層次圖旁邊畫了一個新的模塊，標註為「任務分解粒度調整器」。
「要適配小智這種低維解耦結構，調度策略需要改三個地方。
第一個是任務分解的粒度。
傳統調度器按數據量等大拆分，因為高維空間裡數據量和計算量是近似線性的，低維解耦空間裡這條線就不成立了。
語義層數據量大但計算量中等，邏輯層數據量中等但計算量最大，符號層數據量最小計算量也最小，所以拆分粒度不能一樣。」
而分配的邏輯應該是這樣的：
語義層用大塊，減少拆分次數，省通信開銷。
邏輯層用中塊，避免單節點計算時間過長拖慢整體。
符號層用小塊，充分利用並行度。
「第二個就是通信拓撲，傳統調度器用樹形歸約，葉節點匯總到父節點，一層一層往上，高維空間裡通信量小，樹形的瓶頸不明顯，低維空間裡通信量大增，根節點會被堵死。」
他很快畫出了一個環形結構。
「而改成環形拓撲，每個節點只和相鄰節點通信，數據在環上流動而不是匯聚，總通信量一樣，但沒有單點瓶頸，平均延遲反而更低了。」
「第三個是任務親和性，語義層對延遲不敏感，它的輸出是一次性的，早一點晚一點差別不大，但邏輯層和符號層之間需要頻繁交換中間結果，對延遲是極度敏感的。
調度器需要能識別這種差異，把延遲敏感的任務放在同一個物理節點上，或者至少放在同一台交換機下。」
他放下筆，退後半步。
白板上清楚地鋪著一張圖。
層次結構，粒度分配表，環形拓撲示意圖，親和性標註……
每一部分的位置都是經過安排的，連箭頭都沒有多餘的交叉。
宋曉曼盯著那張圖看了半天，忽然發現自己不知道什麼時候已經把抹布攥成了一個球。
周慶宇站在白板前，把肖宿寫的每一個字從頭到尾看了一遍，又看了一遍。
他明白肖宿的意思了。
肖宿畫的這張圖，本質上是在說一件事：
調度策略的底層邏輯，需要從「通用計算優先」切換到「結構感知優先」。
傳統調度器把任務當成黑箱，只關心計算量和數據量。
肖宿的調度器把任務拆開，知道每一層在算什麼，知道每一層對什麼敏感，然後針對性地分配資源。
這個思路他不是沒想過。
事實上，去年他就思考過能不能讓調度器感知神經網絡的不同層，但是想要實現的複雜度實在太高了，最後他還是放下了，做會了傳統的負載均衡優化。
而現在，肖宿畫出的這張圖，甚至連每一個模塊的輸入輸出、計算複雜度、延遲敏感度都標得清清楚楚。
思考問題的深度簡直難以想像。
越看，他的臉上越是激動，心底也不禁掀起了驚濤駭浪，因為他已經意識到了這個方法的應用前景。
要知道，現在全球的算力中心跑的都是通用調度器，Slurm、Kubernetes、還有各家自研的變種，所有人的優化方向都是怎麼把高維張量算得更快。
低維解耦空間是一個全新的戰場，而且目前這個戰場上幾乎沒有人。
不是大家不想進來，而是從前從來沒有能跑在低維解耦空間裡的框架。
沒有框架，調度器就是無源之水。
而現在，肖宿做出來了
而開啟一個全新世界的鑰匙現在就在他們面前。
周慶宇攥緊了手指，心底快速思索起來：恆科的小智一號已經在適配小智了，他們目前用的肯定是通用調度方案，等產品量產後，必然會遇到和他們一樣的通信瓶頸。
以恆科的實力，自己組團隊攻克這個問題，最少也需要半年到一年。
如果按照肖宿的方法，搶在恆科之前，把適配小智框架的調度器做出來，恆科一定會主動找上門來合作！
到時候，這可就不是普通的校企合作了。
以往合作都是企業看中高校的算力和人力，主動權在企業。
可要是他們手裡有這套獨家調度算法，局面就會徹底反轉，不是他們求著恆科，而是恆科離不開他們的技術。
到時候他們擁有真正的議價權，算力研究中心也能徹底打開產業落地的口子了。
「我覺得可以干。」老張開口了，「肖宿同學已經把骨架畫出來了，我們來做血肉。
環形通信拓撲我在早年的一個項目里接觸過，當時是因為樹形歸約在跨機房場景下延遲太高，我們改成了環形的變種，套代碼我還能找出來。」
宋曉曼猶豫了一下，舉起手。
「周老師，任務親和性感知那個模塊，我可以試著做，我之前做過一個Linux進程調度器的小項目，關於NUMA架構下的內存親和性優化，思路應該和肖宿說的任務親和性有相通的地方，不過……」
她看了一眼白板上肖宿寫的那幾行標註，「複雜度可能比我那個項目高一個量級，我需要再仔細看一下肖宿論文裡關於弗洛爾同調模塊和符號映射模塊的交互邏輯。」
「我跟你一起。」黑框眼鏡男生從門口走進來幾步，「API那層我來對接。」
周慶宇看著自己的團隊，一個接一個地主動領任務。
每個人都知道這件事有多難，但沒有一個人猶豫。
「好。」
周慶宇點了點頭，轉向肖宿，「肖宿同學，我們實驗室正式立項，方向就是低維解耦空間的自適應算力調度。
你剛才說的三條，我們來做實現，過程中遇到算法層面的問題，可能還需要麻煩你幫我們把關。」
肖宿「嗯」了一聲，這正和他意。
之後，他也沒再多說什麼，和林硯交代了幾句，便轉身離開了算力研究室。
他今天來算力研究室的目的是把自己腦子裡那張圖落到實處，確認自己的判斷和實際系統之間沒有偏差。
現在圖已經畫出來了，周慶宇的團隊也接住了，剩下的是工程實現。
工程實現需要時間，不是他坐在這裡一下午就能加速的。