第236章 我已經長大了
而與此同時,肖宿正背著雙肩包,準備出發去算力實驗室。
小智的特徵維度壓縮後,現有分布式調度算法的冗餘節點會成為效率瓶頸,肖宿之前思考過,這個問題的關鍵在於如何實現維度與算力分配的動態匹配,今天主要是去驗證一下他的想法。
昨天顧清塵就已經和算力研究室那邊約好了。
「小宿,等等,拿上牛奶。」
顧清塵快步走到他面前,把溫好的牛奶遞給他,「一會兒我跟你一起去算力實驗室吧,那邊人多,難免有各種寒暄,我跟著你,能幫你擋一擋,省得耽誤你時間。」
肖宿停下動作,轉過身,神色平淡卻帶著不容置喙的堅定,直視著顧清塵:「不用了,顧叔叔。」
顧清塵臉上的笑意微微一頓,正要再說些什麼,卻見肖宿的眼神愈發堅定,眼底藏著一絲他從未見過的執拗。
肖宿從前一直以為顧清塵很閒,沒有什麼要緊的課題要做,所以才會事事跟著自己。
可那天他去顧清塵的辦公室拿東西,看到顧清塵正對著電腦專注地寫課題論文。
那篇論文的難度不算太高,以顧清塵的能力,本來用不了多久就能完成的。
可一個多月過去了,肖宿都已經攻克了哥德巴赫猜想,甚至還完善了小智,而顧清塵那篇論文依舊沒有任何動靜。
肖宿覺得,肯定是顧清塵把太多的時間和精力都花在了自己身上,才耽誤了自己的論文進度。
他已經不是需要被人時刻照顧的小孩了,不能再讓顧清塵因為自己,耽誤他自己的學術發展。
所以從那天起,他就打定了主意,不能再讓顧清塵跟著自己。
「我已經長大了。」
肖宿的語氣平靜卻清晰,一字一句,「算力調度的問題我能解決,林硯也會跟著我,你不用費心,專心做自己的課題就好。」
顧清塵看著肖宿的眼睛,那裡面只有不容動搖的堅定。
他沉默了片刻,眼底的急切和擔憂漸漸褪去,取而代之的是一絲欣慰,還有一絲不易察覺的落寞。
他知道,肖宿是真的長大了,不再是那個需要他時刻護在身邊的小孩了,他有自己的想法,有自己的堅持,也有足夠的能力獨當一面。
最終,顧清塵輕輕點了點頭,妥協道:「好,我不跟著你,但你一定要讓林硯寸步不離地跟著,有任何事,讓他第一時間給我打電話。」
「嗯。」肖宿微微頷首,朝著門口喊了一聲,「林硯,走了。」
早已在門口等候的林硯應聲上前,手裡抱著筆記本電腦,跟在肖宿身後。
顧清塵站在門口,望著兩人漸漸遠去的背影,心裡滿是惆悵。
但這份惆悵並沒有持續太久,他很快便振作起來。
以肖宿現在的身份,以後事情肯定會越來越多,他必須給肖宿找一個專業的助手,既能幫肖宿處理學術上的瑣事,也能在關鍵時刻搭把手,這樣才能讓肖宿有更多的時間專注於核心研究。
顧清塵沉吟了許久,反覆思索著合適的人選。
最後,他好像下定了某種決心,在手機上按下了一串熟記於心卻許久未撥的號碼。
電話響了很久,久到顧清塵幾乎都要掛斷了,那頭才傳來一道冷淡的男聲:
「什麼事?」
顧清塵深吸一口氣,緩了緩語氣,輕聲說道:
「哥,肖宿那個孩子,事情越來越多了,他一個人忙不過來,需要一個專業的助手,我想來想去,只有找你才最放心了。」
電話那頭陷入了長久的沉默,空氣仿佛都要靜止了。
顧清塵的指尖攥緊了手機。
良久,那頭才傳來一個淡淡的「好」字,隨後便是掛斷電話的忙音。
顧清塵握著手機,呆呆的坐了許久,才長長的舒了口氣。
而另一邊的算力研究室內,已經亂成了一鍋粥。
「快快快!把桌上那堆期刊收起來,別讓肖神看到咱們實驗室這麼亂,丟不起這個人!」
一個戴黑框眼鏡的研究員手忙腳亂地把散落的《計算機學報》往柜子里塞,指尖都在冒汗。
「急什麼急,肖神是來解決問題的,又不是來查衛生的!」
另一個穿白大褂的女生一邊擦著實驗台,一邊吐槽,可手上的動作半點不慢,連鍵盤縫裡的灰塵都用棉簽摳了出來。
「不過說真的,肖神怎麼會突然來咱們這兒啊?他不是剛搞定哥德巴赫猜想嗎?這大佬的精力也太離譜了,比咱們實驗室的伺服器還能轉!」
「誰知道呢!聽說肖神是盯上咱們的算力調度算法了,」男生撓了撓頭,語氣里滿是崇拜又緊張,「咱們那套調度算法,在行業里也算頂尖了,可在肖神眼裡,估計就是小兒科。萬一他問起來,我要是答不上來,豈不是要社死?」
「放心吧,有周主任在呢!」
女生撇撇嘴,目光看向辦公室的方向,「周主任昨天可說了,讓咱們今天務必打起十二分精神,別給京大算力實驗室丟臉。」
兩人說話間,一個身著淺灰色襯衫、頭髮梳得一絲不苟的中年男人走了出來,正是算力研究室的負責人周慶宇。
他眼下帶著淡淡的青黑,顯然是沒休息好,臉上卻強裝著鎮定,掃視了一圈實驗室,沉聲說道:
「都別忙了,正常發揮就好,肖宿同學是來交流學習的,不是來考核咱們的,放寬心。」
話雖這麼說,周慶宇自己的手心卻全是汗。
昨天傍晚,顧清塵的電話突然打過來,說肖宿想看看實驗室的算力系統,當時周慶宇手裡的水杯差點摔在地上。
他從事算力研究二十餘年,見過的天才不計其數,甚至和MIT、斯坦福的頂尖算力專家有過合作,可從來沒有像現在這樣激動又緊張。
那可是肖宿啊。
十六歲就攻克周氏猜想、孿生素數猜想,如今又疑似證明哥德巴赫猜想,還研發出全球頂尖AI的天才少年。
全球學術界都要搶著拉攏的香餑餑,多少高校和科研機構擠破頭想邀請他去做講座、搞合作,都被他婉拒了,如今竟然主動找上門來,要來他們這個算力實驗室看看?
周慶宇一夜沒睡好,腦子裡反覆回想實驗室現有的算力調度算法,琢磨著肖宿可能會提出的問題,甚至連夜翻出了肖宿發表的所有論文,哪怕其中很多關於數論、辛幾何的內容,他看不太懂,也硬著頭皮啃了一遍。
「周主任,肖神來了!」門口的研究員突然小聲喊道,語氣裡帶著一絲雀躍。
周慶宇立刻回過神,快步迎了上去。
只見肖宿穿著簡單的白色T恤和黑色運動褲,背著一個雙肩包,神色平淡,和普通的京大學生沒什麼兩樣,可周身那種從容不迫的氣場,卻讓人不由自主地心生敬畏。
他身後還跟著林硯,手裡抱著一台筆記本電腦。
「肖宿同學,歡迎歡迎!」
周慶宇伸出手,語氣里難掩熱情,「我是算力研究室的周慶宇,早就聽說你的大名,一直想找機會向你請教,沒想到你竟然主動來了,真是蓬蓽生輝啊!」
肖宿輕輕握了握他的手,語氣清朗而平穩:「周老師好。」
想了想又補了一句,「打擾了。」
周慶宇連忙迎上去:「不打擾不打擾,肖宿同學,快請進,這位是……」
「林硯,肖宿的助手。」林硯咧嘴一笑,自覺地把自己定位得很清楚。
周慶宇把他們引到會議區,宋曉曼已經沏好了茶。
肖宿沒有坐,目光越過所有人,直接落在了那三排機柜上。
黑色的機櫃靠牆排列,指示燈像繁星一樣明滅閃爍。
散熱風扇的嗡鳴聲低沉而持續,像某種巨大生物的呼吸。
透過玻璃櫃門,可以看到裡面插滿了一塊塊計算卡,線纜整齊地綑紮成束,沿著走線架延伸到天花板上的橋架里。
這是京大高性能計算中心的家底。
三台管理節點,四十八個計算節點,每個節點八張GPU加速卡,總共三百八十四張卡。另外還有兩組專門做數據存儲的磁碟陣列,和一個從去年才開始搭建的液冷實驗集群。
這些設備加在一起,峰值算力大約是兩點八個PFlops。
這個數字放在國內高校里算得上第一梯隊,但跟深度求索那種動輒上萬張H100的商業公司比起來,差了一個數量級。
不過肖宿今天來,關心的不是算力總量。
他關心的是算力被使用的方式。
周慶宇站在機櫃旁邊,開始介紹情況。
「我們目前的調度系統用的是Slurm框架,搭配自主研發的能耗管理模塊。調度策略上,我們採用的是改進後的加權公平隊列算法,結合動態電壓頻率調節來平衡負載,具體的資源分配邏輯是……」
他說了大概三分鐘。
肖宿一直沒說話,只是安靜地聽著,目光在機櫃的指示燈和旁邊監控屏幕上的實時負載曲線之間來回移動。
等周慶宇說完,肖宿才緩緩開口。。
「你們現在的調度策略,是針對高維特徵空間設計的吧?」
周慶宇愣了一下,隨即點頭:
「對,目前主流的AI訓練任務,特徵維度都很高,所以我們默認按照高維張量運算的負載模型來分配資源。
這個策略是我們去年在SC會議上發表的,核心思想是把高維張量拆分成多個低維子塊,然後分配到不同節點上做並行計算。
業內評價還不錯,有幾個學校還專門來我們這兒取過經。」
肖宿站在監控屏幕前,目光落在那條負載曲線上,看了一會兒。
實驗室里的人都沒有出聲。
周慶宇站在他側後方,手裡還攥著剛才介紹系統時用來指屏幕的筆,筆帽不知道什麼時候被他在指尖轉鬆了,發出細微的咔咔聲。
他自己都沒注意到。
所有人的注意力都在肖宿身上。
「周老師,你們的調度器在處理通用AI訓練任務的時候,節點利用率大概是多少?」
周慶宇微微鬆了口氣,這個問題他答得上來。
「通用任務的話,GPU平均利用率在百分之七十五到八十五之間,峰值能到九十以上。」
他說這話的時候語氣裡帶著一點不明顯的底氣。
這個數字在國內高校的算力中心裡確實算漂亮的,去年SC會議的論文裡專門有一段就是分析這個利用率數據的。
肖宿點了點頭,沒有評價這個數字是高還是低。
他的目光從負載曲線移到了機櫃的指示燈上,那一排排綠燈有規律地明滅,像某種呼吸的節奏。
「那如果跑小智的框架呢?」
周慶宇那點底氣一下子散了。
「小智框架我們上周跑過一次基準測試,解耦度確實很驚人,和論文裡的數據一致,但是實際運行速度只比傳統模型快了三成左右,節點利用率……」
他停了一下,「不到百分之五十。」
「跟我預估的差不多。」
肖宿說這句話的時候語氣很平淡。
他走到白板前。
宋曉曼幾乎是下意識地往旁邊讓了一步,手裡還攥著那塊擦白板的抹布。
「我在設計小智的時候,用了一個前提假設。」
他的手快速的在白板上移動,很快就畫出了一張結構清晰的層次圖。
「傳統大模型的特徵空間是高維的,所有信息攪在一起。語義、邏輯、符號,全都在同一個高維向量里。
這種結構下,計算密集度集中在張量收縮操作上,單次計算量大,但跨節點通信的頻率低。
通信開銷相對於計算開銷來說占比很小,所以調度策略把任務拆碎、撒出去、並行跑,是對的。」
他的筆停在第一層和第二層之間。
「小智的思路相反,我把這三層解耦了,語義層的表徵被壓縮到緊緻群的不可約表示空間裡,邏輯層單獨建模,符號層再單獨建模。
每一層的維度都比傳統模型低了將近兩個數量級。」
他在每一層旁邊標註了對應的計算複雜度。
語義解析:O(n log n)。
邏輯推理:O(n²)。
符號映射:O(n)。
「維度降低之後,單次計算量變小了,但三層之間的依賴關係比傳統模型複雜。
語義層的輸出是邏輯層的輸入,邏輯層的中間結果需要和符號層頻繁交換。
而且三層的計算複雜度不一樣,邏輯層算得最慢,語義層次之,符號層最快。」
他轉過身,筆尖點了點監控屏幕上那條負載曲線。
「所以如果還用傳統調度策略,把每一層都拆成等大的子塊撒出去,會出現一個情況,那就是符號層的節點很快就跑完了,然後空轉,等邏輯層的節點把結果傳過來。
邏輯層的節點本身就算得慢,還要負責匯總子節點的數據,通信壓力全堆在它身上,結果就是……」
「大部分節點不在算,而是在等。」周慶宇接了一句。
肖宿點頭。
小智的特徵維度壓縮後,現有分布式調度算法的冗餘節點會成為效率瓶頸,肖宿之前思考過,這個問題的關鍵在於如何實現維度與算力分配的動態匹配,今天主要是去驗證一下他的想法。
昨天顧清塵就已經和算力研究室那邊約好了。
「小宿,等等,拿上牛奶。」
顧清塵快步走到他面前,把溫好的牛奶遞給他,「一會兒我跟你一起去算力實驗室吧,那邊人多,難免有各種寒暄,我跟著你,能幫你擋一擋,省得耽誤你時間。」
肖宿停下動作,轉過身,神色平淡卻帶著不容置喙的堅定,直視著顧清塵:「不用了,顧叔叔。」
顧清塵臉上的笑意微微一頓,正要再說些什麼,卻見肖宿的眼神愈發堅定,眼底藏著一絲他從未見過的執拗。
肖宿從前一直以為顧清塵很閒,沒有什麼要緊的課題要做,所以才會事事跟著自己。
可那天他去顧清塵的辦公室拿東西,看到顧清塵正對著電腦專注地寫課題論文。
那篇論文的難度不算太高,以顧清塵的能力,本來用不了多久就能完成的。
可一個多月過去了,肖宿都已經攻克了哥德巴赫猜想,甚至還完善了小智,而顧清塵那篇論文依舊沒有任何動靜。
肖宿覺得,肯定是顧清塵把太多的時間和精力都花在了自己身上,才耽誤了自己的論文進度。
他已經不是需要被人時刻照顧的小孩了,不能再讓顧清塵因為自己,耽誤他自己的學術發展。
所以從那天起,他就打定了主意,不能再讓顧清塵跟著自己。
「我已經長大了。」
肖宿的語氣平靜卻清晰,一字一句,「算力調度的問題我能解決,林硯也會跟著我,你不用費心,專心做自己的課題就好。」
顧清塵看著肖宿的眼睛,那裡面只有不容動搖的堅定。
他沉默了片刻,眼底的急切和擔憂漸漸褪去,取而代之的是一絲欣慰,還有一絲不易察覺的落寞。
他知道,肖宿是真的長大了,不再是那個需要他時刻護在身邊的小孩了,他有自己的想法,有自己的堅持,也有足夠的能力獨當一面。
最終,顧清塵輕輕點了點頭,妥協道:「好,我不跟著你,但你一定要讓林硯寸步不離地跟著,有任何事,讓他第一時間給我打電話。」
「嗯。」肖宿微微頷首,朝著門口喊了一聲,「林硯,走了。」
早已在門口等候的林硯應聲上前,手裡抱著筆記本電腦,跟在肖宿身後。
顧清塵站在門口,望著兩人漸漸遠去的背影,心裡滿是惆悵。
但這份惆悵並沒有持續太久,他很快便振作起來。
以肖宿現在的身份,以後事情肯定會越來越多,他必須給肖宿找一個專業的助手,既能幫肖宿處理學術上的瑣事,也能在關鍵時刻搭把手,這樣才能讓肖宿有更多的時間專注於核心研究。
顧清塵沉吟了許久,反覆思索著合適的人選。
最後,他好像下定了某種決心,在手機上按下了一串熟記於心卻許久未撥的號碼。
電話響了很久,久到顧清塵幾乎都要掛斷了,那頭才傳來一道冷淡的男聲:
「什麼事?」
顧清塵深吸一口氣,緩了緩語氣,輕聲說道:
「哥,肖宿那個孩子,事情越來越多了,他一個人忙不過來,需要一個專業的助手,我想來想去,只有找你才最放心了。」
電話那頭陷入了長久的沉默,空氣仿佛都要靜止了。
顧清塵的指尖攥緊了手機。
良久,那頭才傳來一個淡淡的「好」字,隨後便是掛斷電話的忙音。
顧清塵握著手機,呆呆的坐了許久,才長長的舒了口氣。
而另一邊的算力研究室內,已經亂成了一鍋粥。
「快快快!把桌上那堆期刊收起來,別讓肖神看到咱們實驗室這麼亂,丟不起這個人!」
一個戴黑框眼鏡的研究員手忙腳亂地把散落的《計算機學報》往柜子里塞,指尖都在冒汗。
「急什麼急,肖神是來解決問題的,又不是來查衛生的!」
另一個穿白大褂的女生一邊擦著實驗台,一邊吐槽,可手上的動作半點不慢,連鍵盤縫裡的灰塵都用棉簽摳了出來。
「不過說真的,肖神怎麼會突然來咱們這兒啊?他不是剛搞定哥德巴赫猜想嗎?這大佬的精力也太離譜了,比咱們實驗室的伺服器還能轉!」
「誰知道呢!聽說肖神是盯上咱們的算力調度算法了,」男生撓了撓頭,語氣里滿是崇拜又緊張,「咱們那套調度算法,在行業里也算頂尖了,可在肖神眼裡,估計就是小兒科。萬一他問起來,我要是答不上來,豈不是要社死?」
「放心吧,有周主任在呢!」
女生撇撇嘴,目光看向辦公室的方向,「周主任昨天可說了,讓咱們今天務必打起十二分精神,別給京大算力實驗室丟臉。」
兩人說話間,一個身著淺灰色襯衫、頭髮梳得一絲不苟的中年男人走了出來,正是算力研究室的負責人周慶宇。
他眼下帶著淡淡的青黑,顯然是沒休息好,臉上卻強裝著鎮定,掃視了一圈實驗室,沉聲說道:
「都別忙了,正常發揮就好,肖宿同學是來交流學習的,不是來考核咱們的,放寬心。」
話雖這麼說,周慶宇自己的手心卻全是汗。
昨天傍晚,顧清塵的電話突然打過來,說肖宿想看看實驗室的算力系統,當時周慶宇手裡的水杯差點摔在地上。
他從事算力研究二十餘年,見過的天才不計其數,甚至和MIT、斯坦福的頂尖算力專家有過合作,可從來沒有像現在這樣激動又緊張。
那可是肖宿啊。
十六歲就攻克周氏猜想、孿生素數猜想,如今又疑似證明哥德巴赫猜想,還研發出全球頂尖AI的天才少年。
全球學術界都要搶著拉攏的香餑餑,多少高校和科研機構擠破頭想邀請他去做講座、搞合作,都被他婉拒了,如今竟然主動找上門來,要來他們這個算力實驗室看看?
周慶宇一夜沒睡好,腦子裡反覆回想實驗室現有的算力調度算法,琢磨著肖宿可能會提出的問題,甚至連夜翻出了肖宿發表的所有論文,哪怕其中很多關於數論、辛幾何的內容,他看不太懂,也硬著頭皮啃了一遍。
「周主任,肖神來了!」門口的研究員突然小聲喊道,語氣裡帶著一絲雀躍。
周慶宇立刻回過神,快步迎了上去。
只見肖宿穿著簡單的白色T恤和黑色運動褲,背著一個雙肩包,神色平淡,和普通的京大學生沒什麼兩樣,可周身那種從容不迫的氣場,卻讓人不由自主地心生敬畏。
他身後還跟著林硯,手裡抱著一台筆記本電腦。
「肖宿同學,歡迎歡迎!」
周慶宇伸出手,語氣里難掩熱情,「我是算力研究室的周慶宇,早就聽說你的大名,一直想找機會向你請教,沒想到你竟然主動來了,真是蓬蓽生輝啊!」
肖宿輕輕握了握他的手,語氣清朗而平穩:「周老師好。」
想了想又補了一句,「打擾了。」
周慶宇連忙迎上去:「不打擾不打擾,肖宿同學,快請進,這位是……」
「林硯,肖宿的助手。」林硯咧嘴一笑,自覺地把自己定位得很清楚。
周慶宇把他們引到會議區,宋曉曼已經沏好了茶。
肖宿沒有坐,目光越過所有人,直接落在了那三排機柜上。
黑色的機櫃靠牆排列,指示燈像繁星一樣明滅閃爍。
散熱風扇的嗡鳴聲低沉而持續,像某種巨大生物的呼吸。
透過玻璃櫃門,可以看到裡面插滿了一塊塊計算卡,線纜整齊地綑紮成束,沿著走線架延伸到天花板上的橋架里。
這是京大高性能計算中心的家底。
三台管理節點,四十八個計算節點,每個節點八張GPU加速卡,總共三百八十四張卡。另外還有兩組專門做數據存儲的磁碟陣列,和一個從去年才開始搭建的液冷實驗集群。
這些設備加在一起,峰值算力大約是兩點八個PFlops。
這個數字放在國內高校里算得上第一梯隊,但跟深度求索那種動輒上萬張H100的商業公司比起來,差了一個數量級。
不過肖宿今天來,關心的不是算力總量。
他關心的是算力被使用的方式。
周慶宇站在機櫃旁邊,開始介紹情況。
「我們目前的調度系統用的是Slurm框架,搭配自主研發的能耗管理模塊。調度策略上,我們採用的是改進後的加權公平隊列算法,結合動態電壓頻率調節來平衡負載,具體的資源分配邏輯是……」
他說了大概三分鐘。
肖宿一直沒說話,只是安靜地聽著,目光在機櫃的指示燈和旁邊監控屏幕上的實時負載曲線之間來回移動。
等周慶宇說完,肖宿才緩緩開口。。
「你們現在的調度策略,是針對高維特徵空間設計的吧?」
周慶宇愣了一下,隨即點頭:
「對,目前主流的AI訓練任務,特徵維度都很高,所以我們默認按照高維張量運算的負載模型來分配資源。
這個策略是我們去年在SC會議上發表的,核心思想是把高維張量拆分成多個低維子塊,然後分配到不同節點上做並行計算。
業內評價還不錯,有幾個學校還專門來我們這兒取過經。」
肖宿站在監控屏幕前,目光落在那條負載曲線上,看了一會兒。
實驗室里的人都沒有出聲。
周慶宇站在他側後方,手裡還攥著剛才介紹系統時用來指屏幕的筆,筆帽不知道什麼時候被他在指尖轉鬆了,發出細微的咔咔聲。
他自己都沒注意到。
所有人的注意力都在肖宿身上。
「周老師,你們的調度器在處理通用AI訓練任務的時候,節點利用率大概是多少?」
周慶宇微微鬆了口氣,這個問題他答得上來。
「通用任務的話,GPU平均利用率在百分之七十五到八十五之間,峰值能到九十以上。」
他說這話的時候語氣裡帶著一點不明顯的底氣。
這個數字在國內高校的算力中心裡確實算漂亮的,去年SC會議的論文裡專門有一段就是分析這個利用率數據的。
肖宿點了點頭,沒有評價這個數字是高還是低。
他的目光從負載曲線移到了機櫃的指示燈上,那一排排綠燈有規律地明滅,像某種呼吸的節奏。
「那如果跑小智的框架呢?」
周慶宇那點底氣一下子散了。
「小智框架我們上周跑過一次基準測試,解耦度確實很驚人,和論文裡的數據一致,但是實際運行速度只比傳統模型快了三成左右,節點利用率……」
他停了一下,「不到百分之五十。」
「跟我預估的差不多。」
肖宿說這句話的時候語氣很平淡。
他走到白板前。
宋曉曼幾乎是下意識地往旁邊讓了一步,手裡還攥著那塊擦白板的抹布。
「我在設計小智的時候,用了一個前提假設。」
他的手快速的在白板上移動,很快就畫出了一張結構清晰的層次圖。
「傳統大模型的特徵空間是高維的,所有信息攪在一起。語義、邏輯、符號,全都在同一個高維向量里。
這種結構下,計算密集度集中在張量收縮操作上,單次計算量大,但跨節點通信的頻率低。
通信開銷相對於計算開銷來說占比很小,所以調度策略把任務拆碎、撒出去、並行跑,是對的。」
他的筆停在第一層和第二層之間。
「小智的思路相反,我把這三層解耦了,語義層的表徵被壓縮到緊緻群的不可約表示空間裡,邏輯層單獨建模,符號層再單獨建模。
每一層的維度都比傳統模型低了將近兩個數量級。」
他在每一層旁邊標註了對應的計算複雜度。
語義解析:O(n log n)。
邏輯推理:O(n²)。
符號映射:O(n)。
「維度降低之後,單次計算量變小了,但三層之間的依賴關係比傳統模型複雜。
語義層的輸出是邏輯層的輸入,邏輯層的中間結果需要和符號層頻繁交換。
而且三層的計算複雜度不一樣,邏輯層算得最慢,語義層次之,符號層最快。」
他轉過身,筆尖點了點監控屏幕上那條負載曲線。
「所以如果還用傳統調度策略,把每一層都拆成等大的子塊撒出去,會出現一個情況,那就是符號層的節點很快就跑完了,然後空轉,等邏輯層的節點把結果傳過來。
邏輯層的節點本身就算得慢,還要負責匯總子節點的數據,通信壓力全堆在它身上,結果就是……」
「大部分節點不在算,而是在等。」周慶宇接了一句。
肖宿點頭。