第65章 順手證了
肖宿把這幾條線在筆記本上列了出來，還在旁邊畫了幾個箭頭，標註出了各自的瓶頸。
代理模型：維數災難，計算量爆炸。
元啟發：無理論保證，收斂慢。
端到端：訓練數據依賴，泛化難證。
他盯著這幾行字看了很久。
都是好思路，也都在各自的賽道上做出了成果。
但肖宿總覺得，它們缺了點什麼。
缺的是對問題本身結構的理解。
這些方法都是在「解」上做文章。
怎麼搜索更快，怎麼採樣更聰明，怎麼擬合更准。
但它們很少去問，這個待解的優化問題，它本身有什麼內在的性質？
有沒有什麼是不變的？
有沒有什麼對稱性？
就像解微分方程，你對著一個方程硬算可能算到天荒地老。
但如果能發現它是某個守恆系統的歐拉-拉格朗日方程，立刻就能用變分原理把它簡化一大半。
優化問題也一樣。
肖宿想起之前讀過的李群和李代數的內容。
群論研究的是對稱性，在某種變換下保持不變的性質。
如果一個系統具有對稱性，那麼它的解必然落在某些特定的軌道上。
這些軌道的結構，比整個空間簡單得多。
工業場景里的那些高維耦合數據，真的完全隨機嗎？
不是的。
設備的運行參數之間，一定有某種物理規律在約束。
生產流程的數據，一定有因果鏈條在驅動。
即使是看起來最混亂的噪聲，也可能有某種統計上的不變性。
如果能找到這些不變性，用它們把高維空間「分層」「分葉」，把一個大問題拆解成一系列低維子問題的組合……
肖宿的筆尖停在紙上。
這就是他在會議室里沒來得及細想的方向。
葉狀結構是微分幾何里的一個概念，描述如何把一個高維流形分解成若干低維的「葉子」，每片葉子內部光滑，葉子之間不相交。
他之前已經運用這個方法解決了幾個課題的難點，但是沒有想過運用到這個問題上。
如果能構造出這樣一個結構，讓優化問題的局部最優解落在不同的葉子上，全局最優解落在某片特定的葉子上，那就可以先找葉子，再找葉子上的點。
搜索空間被壓縮了。
從整個高維空間，壓縮到幾片低維流形上。
肖宿在筆記本上寫下一個詞：葉狀結構。
又寫下另一個詞：李群作用。
如果能在目標函數的定義域上定義一個李群作用，然後用群作用的軌道來分葉，那麼同一個軌道上的點，必然具有某種相同的性質。
如果能證明全局最優解一定落在某種特定軌道類型上，那就可以先用群論把軌道類型分類，再在少數幾類軌道里精細搜索。
理論上是可行的。
但問題也接踵而至。
首先，目標函數的結構是未知的。
如果是黑箱問題，只知道輸入輸出數據，怎麼定義群作用？
其次，即使能定義群作用，怎麼保證軌道分葉和優化問題的極值結構是兼容的？
如果一片葉子裡既有高峰又有低谷，那分了也是白分。
第三，也是最難的，怎麼定位全局最優解所在的那片葉子？
這需要某種「不變量」，一個在群作用下保持不變卻能指示極值位置的標量函數。
肖宿在筆記本上寫下三個問號，然後盯著它們出神。
窗外的蟬鳴越發響了。
圖書館裡的冷氣開得很足，他的指尖卻微微發熱。
這些問題，每一個都夠想很久。
但至少，方向有了。
接下來的幾天，肖宿的生活變得極其簡單。
早上七點半，從寢室走到圖書館，三樓靠窗那張桌子，坐下，翻開書。
中午去食堂隨便吃點，回來繼續。
傍晚閉館，回寢室洗漱，然後去數學研究院的那間小辦公室，繼續待到深夜。
辦公室白板上的字跡從零散變成密集，又從密集被擦掉重來。
然後，他在白板上畫了一個簡單的二維測試函數。它有兩個駝峰，一個高一個低，全局最優解就在矮的那個上。
他試著用自己設想的方法構造葉狀結構，但是失敗了。
分葉的唯一性保證不了，同一個點能分到不同葉子上，後續的優化結果跟著亂跑。
之後，他從圖書館借來一本《黎曼流形的葉狀結構理論》，翻到後半部分，重新研究「葉狀結構的正則性」那一章。
「要保證葉狀結構唯一，需要定義一個在流形上處處非退化的可積分布。」
肖宿盯著那行字看了很久，然後在白板上加了一行公式。
用李代數的結構常數來構造這個分布。
然後他又借了《李群作用下的動力系統》，讀到「軌道類型分解」那一節時，他停了下來。
這一章寫到，如果李群的作用是光滑的，那麼流形上的點可以根據迷向子群的共軛類來分類，每一類構成一個光滑子流形。
這些子流形，就是軌道的「型」。
肖宿的腦海里閃過一個念頭。
迷向子群，固定某個點的那些群元素構成的子群。
不同的點，可能有不同類型的迷向子群。
如果能證明，全局最優解的迷向子群類型是唯一的，或者至少是罕見的，那就可以反過來，先找所有可能的迷向子群類型，然後只搜索那些可能包含全局最優的類型。
這個想法比他之前設想的「不變量」更精細。
不變量是標量函數，太粗了。
迷向子群類型是代數結構，信息量大多了。
他立刻在筆記本上把這個思路記下來，然後開始推導。
之後，他用了一整個上午來驗證這個思路在簡單例子上的可行性。
他先構造了幾個低維的測試函數，每個函數都定義一個簡單的李群作用，即旋轉群或者平移群。
然後他計算每個點上的迷向子群，分類，再對比這些分類和函數極值點的分布。
結果比他預想的要好。
在旋轉對稱的函數上，全局最優點恰好是迷向子群最大的那些點，也就是旋轉對稱性最高的點。
在平移對稱的函數上，全局最優點落在迷向子群平凡的軌道上，也就是沒有任何對稱性的點。
兩種極端，但都有規律。
肖宿靠在椅背上，看著白板上密密麻麻的推導，長長地呼出一口氣。
可行。
至少在簡單例子上，可行。
接下來要做的，是把這套方法推廣到一般情況。
需要證明存在性，需要給出構造算法，需要分析計算複雜度，需要驗證在高維非線性系統上的表現……
事情還很多。
但最難的關口，已經過了。
肖宿站起身，活動了一下有些僵硬的肩膀。
接下來幾天，肖宿沿著這個方向不斷思考，終於在一個雨天寫完了最終的論文。
他靠在椅背上，盯著屏幕上那篇三十七頁的文檔，發了幾秒鐘的呆。
圖書館的空調不停地散發著冷氣，窗外的大雨撲在玻璃牆上，顯出一種沉重的壓抑。
手機震了一下。
是顧清塵的信息。
「完事沒？我在圖書館門口了。」
肖宿回了個「嗯」，關掉電腦，拿起傘出門。
樓門口，顧清塵撐著傘站在那裡，手裡拎著兩個保溫杯，裡面裝著紅棗桂圓茶。
「走，去我辦公室說。」
他把其中一個杯遞給肖宿，「你這幾天是不是又熬夜了？劉浩然跟我說，他晚上十二點路過你寢室，看你屋裡燈還亮著。」
肖宿接過保溫杯，沒接話。
顧清塵看出他在裝傻，無奈的搖了搖頭，領著人往辦公室去。
兩人穿過雨幕，鞋底踩出一串水花。
上樓的時候顧清塵又問:「標題想好了？」
「想好了。」肖宿說。
「叫什麼？」
「《基於李群軌道分類的高維非線性全局優化方法》。」
顧清塵點點頭，推開辦公室的門。
屋裡開著燈，書架上塞滿了書，桌上攤著幾本翻到一半的期刊。
顧清塵把保溫杯放下，拖過一把椅子坐下，拍了拍旁邊的位置:「來，給我看看。」
肖宿打開電腦，把屏幕轉過去。
辦公室里安靜下來，只有窗外淅淅瀝瀝的雨聲。
顧清塵一行一行往下看，偶爾滑動一下滑鼠，偶爾停下來盯著某一段出神。
肖宿靠在窗邊喝著茶，目光落在窗外的雨幕上。
大概過了二十分鐘，顧清塵抬起頭，表情有點複雜。
「你這……」他頓了頓，像是在組織語言，「你這不只是解決了一個問題。」
肖宿沒說話。
顧清塵又低下頭，往前翻了幾頁，再看幾行，再翻回去。
如此反覆幾次，最後他把滑鼠一放，往椅背上一靠，長長地吐了口氣。
「你記不記得埃爾德什那個猜想？」
肖宿點頭。
埃爾德什是普林斯頓大學的教授，國際非線性分析領域的絕對權威。
他在二十年前提出了一個關於高維非凸函數全局最優解存在性的猜想，一直沒能證明。
這個猜想要是能證出來，全局優化的理論基礎能往前推一大步。
顧清塵指著屏幕:「你這裡面，順手給他證了。」
肖宿「嗯」了一聲。
「就『嗯』？」顧清塵笑了，「埃爾德什老爺子要是看到你這論文，估計得失眠。」
肖宿想了想:「那我加個致謝。」
顧清塵被他這話噎了一下，愣了兩秒，然後笑出聲來。
「行行行，你厲害。」
他站起來，走到窗邊，看著外面的雨，忽然問，「投稿想好了嗎？」
肖宿說:「《數學發明》吧。」
肖宿之前那篇關於有理點雙曲奇點附近加權度量計算的論文，就是發在這本期刊上。
顧清塵點點頭，沒再多問。
他已經足夠了解肖宿了。
他不是那種需要別人鼓勵或者建議的類型，他做的每一個決定，都是自己想清楚了的。
問多了反而是廢話。
雨小了些，變成細細的雨絲。
顧清塵定定地看著他:「那就投吧。」
肖宿點點頭，「嗯」了一聲。
代理模型：維數災難，計算量爆炸。
元啟發：無理論保證，收斂慢。
端到端：訓練數據依賴，泛化難證。
他盯著這幾行字看了很久。
都是好思路，也都在各自的賽道上做出了成果。
但肖宿總覺得，它們缺了點什麼。
缺的是對問題本身結構的理解。
這些方法都是在「解」上做文章。
怎麼搜索更快，怎麼採樣更聰明，怎麼擬合更准。
但它們很少去問，這個待解的優化問題，它本身有什麼內在的性質？
有沒有什麼是不變的？
有沒有什麼對稱性？
就像解微分方程，你對著一個方程硬算可能算到天荒地老。
但如果能發現它是某個守恆系統的歐拉-拉格朗日方程，立刻就能用變分原理把它簡化一大半。
優化問題也一樣。
肖宿想起之前讀過的李群和李代數的內容。
群論研究的是對稱性，在某種變換下保持不變的性質。
如果一個系統具有對稱性，那麼它的解必然落在某些特定的軌道上。
這些軌道的結構，比整個空間簡單得多。
工業場景里的那些高維耦合數據，真的完全隨機嗎？
不是的。
設備的運行參數之間，一定有某種物理規律在約束。
生產流程的數據，一定有因果鏈條在驅動。
即使是看起來最混亂的噪聲，也可能有某種統計上的不變性。
如果能找到這些不變性，用它們把高維空間「分層」「分葉」，把一個大問題拆解成一系列低維子問題的組合……
肖宿的筆尖停在紙上。
這就是他在會議室里沒來得及細想的方向。
葉狀結構是微分幾何里的一個概念，描述如何把一個高維流形分解成若干低維的「葉子」，每片葉子內部光滑，葉子之間不相交。
他之前已經運用這個方法解決了幾個課題的難點，但是沒有想過運用到這個問題上。
如果能構造出這樣一個結構，讓優化問題的局部最優解落在不同的葉子上，全局最優解落在某片特定的葉子上，那就可以先找葉子，再找葉子上的點。
搜索空間被壓縮了。
從整個高維空間，壓縮到幾片低維流形上。
肖宿在筆記本上寫下一個詞：葉狀結構。
又寫下另一個詞：李群作用。
如果能在目標函數的定義域上定義一個李群作用，然後用群作用的軌道來分葉，那麼同一個軌道上的點，必然具有某種相同的性質。
如果能證明全局最優解一定落在某種特定軌道類型上，那就可以先用群論把軌道類型分類，再在少數幾類軌道里精細搜索。
理論上是可行的。
但問題也接踵而至。
首先，目標函數的結構是未知的。
如果是黑箱問題，只知道輸入輸出數據，怎麼定義群作用？
其次，即使能定義群作用，怎麼保證軌道分葉和優化問題的極值結構是兼容的？
如果一片葉子裡既有高峰又有低谷，那分了也是白分。
第三，也是最難的，怎麼定位全局最優解所在的那片葉子？
這需要某種「不變量」，一個在群作用下保持不變卻能指示極值位置的標量函數。
肖宿在筆記本上寫下三個問號，然後盯著它們出神。
窗外的蟬鳴越發響了。
圖書館裡的冷氣開得很足，他的指尖卻微微發熱。
這些問題，每一個都夠想很久。
但至少，方向有了。
接下來的幾天，肖宿的生活變得極其簡單。
早上七點半，從寢室走到圖書館，三樓靠窗那張桌子，坐下，翻開書。
中午去食堂隨便吃點，回來繼續。
傍晚閉館，回寢室洗漱，然後去數學研究院的那間小辦公室，繼續待到深夜。
辦公室白板上的字跡從零散變成密集，又從密集被擦掉重來。
然後，他在白板上畫了一個簡單的二維測試函數。它有兩個駝峰，一個高一個低，全局最優解就在矮的那個上。
他試著用自己設想的方法構造葉狀結構，但是失敗了。
分葉的唯一性保證不了，同一個點能分到不同葉子上，後續的優化結果跟著亂跑。
之後，他從圖書館借來一本《黎曼流形的葉狀結構理論》，翻到後半部分，重新研究「葉狀結構的正則性」那一章。
「要保證葉狀結構唯一，需要定義一個在流形上處處非退化的可積分布。」
肖宿盯著那行字看了很久，然後在白板上加了一行公式。
用李代數的結構常數來構造這個分布。
然後他又借了《李群作用下的動力系統》，讀到「軌道類型分解」那一節時，他停了下來。
這一章寫到，如果李群的作用是光滑的，那麼流形上的點可以根據迷向子群的共軛類來分類，每一類構成一個光滑子流形。
這些子流形，就是軌道的「型」。
肖宿的腦海里閃過一個念頭。
迷向子群，固定某個點的那些群元素構成的子群。
不同的點，可能有不同類型的迷向子群。
如果能證明，全局最優解的迷向子群類型是唯一的，或者至少是罕見的，那就可以反過來，先找所有可能的迷向子群類型，然後只搜索那些可能包含全局最優的類型。
這個想法比他之前設想的「不變量」更精細。
不變量是標量函數，太粗了。
迷向子群類型是代數結構，信息量大多了。
他立刻在筆記本上把這個思路記下來，然後開始推導。
之後，他用了一整個上午來驗證這個思路在簡單例子上的可行性。
他先構造了幾個低維的測試函數，每個函數都定義一個簡單的李群作用，即旋轉群或者平移群。
然後他計算每個點上的迷向子群，分類，再對比這些分類和函數極值點的分布。
結果比他預想的要好。
在旋轉對稱的函數上，全局最優點恰好是迷向子群最大的那些點，也就是旋轉對稱性最高的點。
在平移對稱的函數上，全局最優點落在迷向子群平凡的軌道上，也就是沒有任何對稱性的點。
兩種極端，但都有規律。
肖宿靠在椅背上，看著白板上密密麻麻的推導，長長地呼出一口氣。
可行。
至少在簡單例子上，可行。
接下來要做的，是把這套方法推廣到一般情況。
需要證明存在性，需要給出構造算法，需要分析計算複雜度，需要驗證在高維非線性系統上的表現……
事情還很多。
但最難的關口，已經過了。
肖宿站起身，活動了一下有些僵硬的肩膀。
接下來幾天，肖宿沿著這個方向不斷思考，終於在一個雨天寫完了最終的論文。
他靠在椅背上，盯著屏幕上那篇三十七頁的文檔，發了幾秒鐘的呆。
圖書館的空調不停地散發著冷氣，窗外的大雨撲在玻璃牆上，顯出一種沉重的壓抑。
手機震了一下。
是顧清塵的信息。
「完事沒？我在圖書館門口了。」
肖宿回了個「嗯」，關掉電腦，拿起傘出門。
樓門口，顧清塵撐著傘站在那裡，手裡拎著兩個保溫杯，裡面裝著紅棗桂圓茶。
「走，去我辦公室說。」
他把其中一個杯遞給肖宿，「你這幾天是不是又熬夜了？劉浩然跟我說，他晚上十二點路過你寢室，看你屋裡燈還亮著。」
肖宿接過保溫杯，沒接話。
顧清塵看出他在裝傻，無奈的搖了搖頭，領著人往辦公室去。
兩人穿過雨幕，鞋底踩出一串水花。
上樓的時候顧清塵又問:「標題想好了？」
「想好了。」肖宿說。
「叫什麼？」
「《基於李群軌道分類的高維非線性全局優化方法》。」
顧清塵點點頭，推開辦公室的門。
屋裡開著燈，書架上塞滿了書，桌上攤著幾本翻到一半的期刊。
顧清塵把保溫杯放下，拖過一把椅子坐下，拍了拍旁邊的位置:「來，給我看看。」
肖宿打開電腦，把屏幕轉過去。
辦公室里安靜下來，只有窗外淅淅瀝瀝的雨聲。
顧清塵一行一行往下看，偶爾滑動一下滑鼠，偶爾停下來盯著某一段出神。
肖宿靠在窗邊喝著茶，目光落在窗外的雨幕上。
大概過了二十分鐘，顧清塵抬起頭，表情有點複雜。
「你這……」他頓了頓，像是在組織語言，「你這不只是解決了一個問題。」
肖宿沒說話。
顧清塵又低下頭，往前翻了幾頁，再看幾行，再翻回去。
如此反覆幾次，最後他把滑鼠一放，往椅背上一靠，長長地吐了口氣。
「你記不記得埃爾德什那個猜想？」
肖宿點頭。
埃爾德什是普林斯頓大學的教授，國際非線性分析領域的絕對權威。
他在二十年前提出了一個關於高維非凸函數全局最優解存在性的猜想，一直沒能證明。
這個猜想要是能證出來，全局優化的理論基礎能往前推一大步。
顧清塵指著屏幕:「你這裡面，順手給他證了。」
肖宿「嗯」了一聲。
「就『嗯』？」顧清塵笑了，「埃爾德什老爺子要是看到你這論文，估計得失眠。」
肖宿想了想:「那我加個致謝。」
顧清塵被他這話噎了一下，愣了兩秒，然後笑出聲來。
「行行行，你厲害。」
他站起來，走到窗邊，看著外面的雨，忽然問，「投稿想好了嗎？」
肖宿說:「《數學發明》吧。」
肖宿之前那篇關於有理點雙曲奇點附近加權度量計算的論文，就是發在這本期刊上。
顧清塵點點頭，沒再多問。
他已經足夠了解肖宿了。
他不是那種需要別人鼓勵或者建議的類型，他做的每一個決定，都是自己想清楚了的。
問多了反而是廢話。
雨小了些，變成細細的雨絲。
顧清塵定定地看著他:「那就投吧。」
肖宿點點頭，「嗯」了一聲。