第46章 解決
接下來的兩天，肖宿幾乎泡在計算機系的實驗室里。
他還在思考流形正則化的具體形式。
社交網絡的高維嵌入本質上是一組向量，這些向量應該位於某個低維流形上，這是他的直覺，但需要嚴格的數學證明。
他在白板上畫著示意圖。
一個高維空間，裡面有一個彎曲的低維流形，數據點分布在這個流形上。
「就像宇宙中的星系。」
李雨薇看著示意圖說，「看起來散布在三維空間，但實際上可能分布在某些二維的膜上，這是弦理論的說法對吧？」
肖宿點頭。
他最近在讀理論物理，確實看到過類似的概念。
數學的奇妙之處就在於，不同領域的結構常常驚人地相似。
第二天上午，他在圖書館翻閱一本關於李群表示論的專著時，突然有了靈感。
那本書叫《李群與李代數的表示》，作者是法國數學家塞爾日·朗。
書中有一章講齊性空間的幾何，提到每個齊性空間都可以看作某個李群模去一個閉子群的商空間。
而在這個商空間上，李群自然地作用，給出豐富的對稱性。
肖宿盯著書中的一段話看了很久：
「齊性空間上的幾何由李群的表示理論完全決定。」
突然之間，之前模糊的想法變得清晰起來。
社交網絡中用戶的相似性關係可能構成某種近似對稱性。
如果用戶A和用戶B相似，用戶B和用戶C相似，那麼用戶A和用戶C也應該有某種相似性。
這不完全是對稱的，但近似滿足傳遞性。
這種「近似對稱性」可以用李群的「軟」作用來描述，即允許作用有小的誤差。
如果把嵌入空間取為某個李群的齊性空間，那麼嵌入向量之間的變換就可以用群元素表示，而嵌入的穩定性就對應於群作用的連續性。
這個想法非常大膽。
因為李群理論通常應用於理論物理和純數學的深奧領域，很少有人把它用到算法設計這種「世俗」的問題上。
但肖宿覺得這很自然，數學工具沒有高低貴賤之分，只有適用與否。
下午，肖宿帶著這個想法回到實驗室。
趙明遠和幾個博士生圍過來，聽他解釋。
肖宿在白板上畫了一個新的示意圖。
「我們要找的不是一般的低維流形。」
「而是某個李群作用的軌道。更精確地說，是李群G模去一個閉子群H得到的齊性空間G/H。」
他在白板上寫下：
設G是李群，H是閉子群，則齊性空間M=G/H上有一個自然的G作用：g·(xH)=(gx)H。
「如果我們的嵌入映射f:V→M把圖的節點映射到齊性空間M中，那麼節點間的相似性就可以用M上的距離來度量。」
「而這個距離在G作用下是不變的，如果兩個嵌入向量相差一個群元素的作用，它們代表的節點應該具有相同的結構角色。」
實驗室里很安靜，只有肖宿的筆划過白板的聲音。
幾個博士生努力跟上，黃偉良偶爾點頭，李雨薇皺著眉頭，顯然有些地方還沒完全理解。
「但實際問題中，對稱性不是完全的。」
趙明遠指出，「社交網絡中的關係不是完全對稱的。」
「所以要用『軟』作用。」
肖宿說，「允許群作用有誤差。我們可以定義一個損失函數，包含兩部分：一部分度量嵌入在齊性空間上的擬合優度，另一部分度量對稱性破缺的程度。」
他寫下了一個優化問題：
min_{f:V→M, g∈G} Σ_{v∈V} d(f(v), g·f(π(v)))² + λ·Σ_{(u,v)∈E} |d(f(u),f(v)) - w(u,v)|
其中d是齊性空間上的距離，π是某個節點映射，w是邊的權重，λ是正則化參數。
「這個優化問題可以用交替疊代法求解。」
肖宿說，「固定f優化g，固定g優化f。每一步都是凸優化或者有閉式解。」
當肖宿放下筆時，一套完整的理論框架已經呈現在白板上。
從李群和齊性空間的定義，到嵌入模型的構建，到優化算法的設計，再到理論性質的分析。
實驗室里沉默了幾秒，然後爆發出低聲的議論。
「這框架……太完整了。」
黃偉良喃喃道，「從數學基礎到算法實現，一氣呵成。」
「我需要時間消化。」
李雨薇誠實地說，「李群作用、齊性空間、軟對稱性……這些概念我得回去查資料。」
趙明遠則更務實：「現在需要驗證。肖宿，你估計實現這個算法需要多少行代碼？」
肖宿想了想。
「核心算法大概五百行。但需要一些李群運算的庫，指數映射、對數映射、測地線計算這些。」
「我們有現成的。」
趙明遠說，「實驗室之前做過一些流形優化的項目，積累了不少代碼。我馬上組織人開始實現。」
接下來的兩個小時，實驗室進入了高效的工作狀態。
趙明遠分配任務，黃偉良負責實現李群運算的核心模塊，李雨薇負責編寫優化算法，另外兩個博士生負責準備測試數據和設計實驗。
肖宿則坐在白板前，隨時解答問題，或者補充一些數學細節。
鍵盤敲擊聲密集而規律，像是一場數字世界的交響樂。
肖宿看著實驗室里忙碌的眾人，突然有一種陌生的感覺。
他不再是獨自思考，而是成為了一個團隊的一部分。
這種感覺很奇怪，但不令人討厭。
三小時後，第一版代碼寫好了。
「跑個小數據集試試。」
趙明遠說，聲音裡帶著緊張和期待。
程序開始運行。
屏幕上滾過一行行日誌信息，顯示著疊代次數、損失函數值、收斂情況。
所有人的目光都盯著屏幕，實驗室里安靜得能聽到伺服器風扇的嗡嗡聲。
五分鐘後，程序運行完畢。
趙明遠深吸一口氣，點開結果文件。
空氣凝固了。
「準確率提升了42%……」
趙明遠盯著屏幕，聲音有些發顫，「而且運行時間還減少了30%。」
李雨薇湊過去看詳細數據，倒抽一口冷氣：
「這不是改進，這是革新啊！在推特數據集上，社區發現的準確率從71%提升到了89%，這已經超過人類標註員的水平了！」
實驗室里爆發出歡呼聲。
黃偉良和另一個博士生擊掌慶祝，有人甚至跳了起來。
他們被這個問題折磨了一個月，試了無數方法，進展微乎其微，現在終於看到了突破性的進展，不是百分之幾的改進，而是質的飛躍。
趙明遠轉向肖宿，眼中滿是敬佩：
「肖宿，你這篇論文投出去，肯定是SIGCOMM或者TOIS級別的。」
SIGCOMM是計算機網絡領域的頂級會議，被譽為「網絡領域的奧斯卡」，錄取率常年低於20%。
一篇SIGCOMM論文足以讓一個博士生在學術界立足。
TOIS則是ACM信息系統彙刊，是信息檢索、推薦系統、社交網絡分析領域的旗艦期刊，影響因子高達6.7。
肖宿對期刊名字不敏感，只是點點頭：「那就投吧。」
「你是第一作者。」
趙明遠認真地說，「我們只是做了實現和實驗部分。這個想法的核心完全是你的。」
「大家一起。」肖宿說得很自然。
在他看來，解決問題是最重要的，署名順序是次要的。
而且趙明遠他們的實現工作也很重要，再好的數學想法，如果不能高效實現，也只是紙上談兵。
這種態度讓實驗室里的人更加感動。
在學術界，為了論文署名勾心鬥角的事太多了，肖宿的純粹反而顯得珍貴。
他還在思考流形正則化的具體形式。
社交網絡的高維嵌入本質上是一組向量，這些向量應該位於某個低維流形上，這是他的直覺，但需要嚴格的數學證明。
他在白板上畫著示意圖。
一個高維空間，裡面有一個彎曲的低維流形，數據點分布在這個流形上。
「就像宇宙中的星系。」
李雨薇看著示意圖說，「看起來散布在三維空間，但實際上可能分布在某些二維的膜上，這是弦理論的說法對吧？」
肖宿點頭。
他最近在讀理論物理，確實看到過類似的概念。
數學的奇妙之處就在於，不同領域的結構常常驚人地相似。
第二天上午，他在圖書館翻閱一本關於李群表示論的專著時，突然有了靈感。
那本書叫《李群與李代數的表示》，作者是法國數學家塞爾日·朗。
書中有一章講齊性空間的幾何，提到每個齊性空間都可以看作某個李群模去一個閉子群的商空間。
而在這個商空間上，李群自然地作用，給出豐富的對稱性。
肖宿盯著書中的一段話看了很久：
「齊性空間上的幾何由李群的表示理論完全決定。」
突然之間，之前模糊的想法變得清晰起來。
社交網絡中用戶的相似性關係可能構成某種近似對稱性。
如果用戶A和用戶B相似，用戶B和用戶C相似，那麼用戶A和用戶C也應該有某種相似性。
這不完全是對稱的，但近似滿足傳遞性。
這種「近似對稱性」可以用李群的「軟」作用來描述，即允許作用有小的誤差。
如果把嵌入空間取為某個李群的齊性空間，那麼嵌入向量之間的變換就可以用群元素表示，而嵌入的穩定性就對應於群作用的連續性。
這個想法非常大膽。
因為李群理論通常應用於理論物理和純數學的深奧領域，很少有人把它用到算法設計這種「世俗」的問題上。
但肖宿覺得這很自然，數學工具沒有高低貴賤之分，只有適用與否。
下午，肖宿帶著這個想法回到實驗室。
趙明遠和幾個博士生圍過來，聽他解釋。
肖宿在白板上畫了一個新的示意圖。
「我們要找的不是一般的低維流形。」
「而是某個李群作用的軌道。更精確地說，是李群G模去一個閉子群H得到的齊性空間G/H。」
他在白板上寫下：
設G是李群，H是閉子群，則齊性空間M=G/H上有一個自然的G作用：g·(xH)=(gx)H。
「如果我們的嵌入映射f:V→M把圖的節點映射到齊性空間M中，那麼節點間的相似性就可以用M上的距離來度量。」
「而這個距離在G作用下是不變的，如果兩個嵌入向量相差一個群元素的作用，它們代表的節點應該具有相同的結構角色。」
實驗室里很安靜，只有肖宿的筆划過白板的聲音。
幾個博士生努力跟上，黃偉良偶爾點頭，李雨薇皺著眉頭，顯然有些地方還沒完全理解。
「但實際問題中，對稱性不是完全的。」
趙明遠指出，「社交網絡中的關係不是完全對稱的。」
「所以要用『軟』作用。」
肖宿說，「允許群作用有誤差。我們可以定義一個損失函數，包含兩部分：一部分度量嵌入在齊性空間上的擬合優度，另一部分度量對稱性破缺的程度。」
他寫下了一個優化問題：
min_{f:V→M, g∈G} Σ_{v∈V} d(f(v), g·f(π(v)))² + λ·Σ_{(u,v)∈E} |d(f(u),f(v)) - w(u,v)|
其中d是齊性空間上的距離，π是某個節點映射，w是邊的權重，λ是正則化參數。
「這個優化問題可以用交替疊代法求解。」
肖宿說，「固定f優化g，固定g優化f。每一步都是凸優化或者有閉式解。」
當肖宿放下筆時，一套完整的理論框架已經呈現在白板上。
從李群和齊性空間的定義，到嵌入模型的構建，到優化算法的設計，再到理論性質的分析。
實驗室里沉默了幾秒，然後爆發出低聲的議論。
「這框架……太完整了。」
黃偉良喃喃道，「從數學基礎到算法實現，一氣呵成。」
「我需要時間消化。」
李雨薇誠實地說，「李群作用、齊性空間、軟對稱性……這些概念我得回去查資料。」
趙明遠則更務實：「現在需要驗證。肖宿，你估計實現這個算法需要多少行代碼？」
肖宿想了想。
「核心算法大概五百行。但需要一些李群運算的庫，指數映射、對數映射、測地線計算這些。」
「我們有現成的。」
趙明遠說，「實驗室之前做過一些流形優化的項目，積累了不少代碼。我馬上組織人開始實現。」
接下來的兩個小時，實驗室進入了高效的工作狀態。
趙明遠分配任務，黃偉良負責實現李群運算的核心模塊，李雨薇負責編寫優化算法，另外兩個博士生負責準備測試數據和設計實驗。
肖宿則坐在白板前，隨時解答問題，或者補充一些數學細節。
鍵盤敲擊聲密集而規律，像是一場數字世界的交響樂。
肖宿看著實驗室里忙碌的眾人，突然有一種陌生的感覺。
他不再是獨自思考，而是成為了一個團隊的一部分。
這種感覺很奇怪，但不令人討厭。
三小時後，第一版代碼寫好了。
「跑個小數據集試試。」
趙明遠說，聲音裡帶著緊張和期待。
程序開始運行。
屏幕上滾過一行行日誌信息，顯示著疊代次數、損失函數值、收斂情況。
所有人的目光都盯著屏幕，實驗室里安靜得能聽到伺服器風扇的嗡嗡聲。
五分鐘後，程序運行完畢。
趙明遠深吸一口氣，點開結果文件。
空氣凝固了。
「準確率提升了42%……」
趙明遠盯著屏幕，聲音有些發顫，「而且運行時間還減少了30%。」
李雨薇湊過去看詳細數據，倒抽一口冷氣：
「這不是改進，這是革新啊！在推特數據集上，社區發現的準確率從71%提升到了89%，這已經超過人類標註員的水平了！」
實驗室里爆發出歡呼聲。
黃偉良和另一個博士生擊掌慶祝，有人甚至跳了起來。
他們被這個問題折磨了一個月，試了無數方法，進展微乎其微，現在終於看到了突破性的進展，不是百分之幾的改進，而是質的飛躍。
趙明遠轉向肖宿，眼中滿是敬佩：
「肖宿，你這篇論文投出去，肯定是SIGCOMM或者TOIS級別的。」
SIGCOMM是計算機網絡領域的頂級會議，被譽為「網絡領域的奧斯卡」，錄取率常年低於20%。
一篇SIGCOMM論文足以讓一個博士生在學術界立足。
TOIS則是ACM信息系統彙刊，是信息檢索、推薦系統、社交網絡分析領域的旗艦期刊，影響因子高達6.7。
肖宿對期刊名字不敏感，只是點點頭：「那就投吧。」
「你是第一作者。」
趙明遠認真地說，「我們只是做了實現和實驗部分。這個想法的核心完全是你的。」
「大家一起。」肖宿說得很自然。
在他看來，解決問題是最重要的，署名順序是次要的。
而且趙明遠他們的實現工作也很重要，再好的數學想法，如果不能高效實現，也只是紙上談兵。
這種態度讓實驗室里的人更加感動。
在學術界，為了論文署名勾心鬥角的事太多了，肖宿的純粹反而顯得珍貴。