第341章 兩個月之內我們一定能把這個方案落地
趁著肖宇等人圍著極晝的時候,趙文志和兩個工程師拿著平板趕緊湊到了肖宿面前。
他們今天跟林正宏一起過來,除了送機器人,其實還帶著幾個憋了挺久的技術問題。
這幾個問題他們在公司內部的研發群里討論了好幾輪,始終沒有找到最優解,林正宏直接拍板說不如當面問肖教授。
「肖教授,實不相瞞,這次我們來,還有幾個小問題想請教請教您。」
肖宿收回看向肖奶奶的目光,看向了趙文志。
被肖宿清凌凌的眼睛看著,趙文志心裡不免有些緊張,之前在線上交流的時候就覺得肖宿有些高冷,線下見面之後,發現肖宿不僅高冷,氣場還挺強的。
怕肖宿不耐煩,他趕緊把重點說出來:
「我們之前在實驗的時候,發現極晝一號在動態非結構化環境裡執行連續操作任務的時候,出現了一個我們一直沒定位到根因的問題,它在同時進行視覺SLAM位姿圖優化、六軸力反饋柔順控制、和連續語音指令流實時解析的時候,每運行大約四十分鐘,多模態融合模塊的解耦流形上會出現一個非線性的相位偏移。」
「這個偏移量一開始只有零點幾個弧度,對任務執行沒有可見影響,可隨著時間累積,偏移就會以近似於多項式生長的速率擴大。
大概四十分鐘左右,視覺特徵點和力覺張量場之間的互信息量會驟降百分之三十,表現到行為層上,就是機器人的手眼協調出現明顯遲滯,抓取動作的過沖概率從百分之零點五飆升到百分之十五。」
趙文志把平板遞到肖宿面前,屏幕上是一張他們內部記錄的相位偏移曲線圖,X軸是時間,Y軸是互信息量,幾條不同顏色代表不同傳感器通道的曲線在末端明顯分叉。
「我們排查過傳感器的硬體時鐘同步,鎖相環的抖動在納秒級,沒有任何問題,也懷疑過是解耦流形的拓撲結構在長時間運行後發生了局部畸變,但是在用配邊不變量檢測之後,同調群沒有變化,流形本身是穩定的。
目前我們懷疑是辛結構的保持性出了問題,但是缺乏數學上的嚴格工具去驗證這個猜想,所以一直卡在這裡。」
肖宿接過平板,目光在互信息量曲線分叉的那個拐點上停了兩秒。
他把曲線縮放了一下,看了相位偏移的起始點和增長曲率。
然後又翻了另一頁的傳感器融合拓撲圖,看了他們解耦流形的辛結構構造方式,幾乎是一眼就看出了他們的問題。
「不是辛結構保持性的問題,你們的解耦流形用的是Darboux坐標卡局部構造,每個卡上的辛形式在局部確實是閉的,問題不在局部結構,而是在卡與卡之間的轉移函數上。」
他在平板上重新打開了一個空白頁,邊寫邊說道:
「多模態融合的本質,是把不同物理來源的傳感器信號,嵌入到同一個底流形上的不同截面上。
視覺特徵點是一個截面的幾何約束,力覺張量場是另一個截面的物理約束,語音指令流是第三個截面的語義約束。
三個截面在底流形上的位置不同,但它們的動力學演化都受同一個Hamilton向量場驅動。」
他在空白頁上畫了三條平行的線,代表三個截面,然後在每條線上標了一個周期性的波形。
「如果底流形是緊緻的,Hamilton向量場的流是整體定義的,三個截面上的相位演化嚴格同步,不會出現偏移。
但是你們的操作空間是非緊緻的,而在非緊緻流形上,Hamilton向量場的流只在局部可積,長時間演化之後,不同截面之間會因為轉移函數的曲率累積而產生一個整體的和樂。」
他在三條線之間畫了一個彎曲的箭頭,標註為「和樂偏移」。
趙文志盯著那個箭頭,呼吸微微一滯。
他隱約抓住了一點什麼,但那個概念對他來說還是太抽象了。
「肖教授,您的意思是……這個相位偏移不是傳感器的問題,也不是解耦流形的問題,而是底流形本身的幾何結構導致的?」
「準確地說,是你們在定義底流形時,默認使用了一個平坦的聯絡。」
肖宿在和樂箭頭的旁邊寫下了聯絡形式的表達式,「平坦聯絡在局部坐標系裡確實能滿足同步需求,因為它的曲率張量處處為零。但平坦聯絡有一個隱藏的代價,那就是它在非緊緻流形上不能保持不同截面的全局相位一致性。
因為平坦聯絡的截面平行移動,只依賴於路徑的同倫類,而在非緊緻流形上,不同傳感器截面對應的路徑分屬不同的同倫類,跑的時間越長,路徑在底流形上纏繞的拓撲差異就越大,平行移動回來的相位差就越大。」
「解決辦法也很簡單,只要把底流形上的聯絡從平坦聯絡升級為規範聯絡就行。
具體來說,就是在底流形的每一點上附加一個與傳感器物理特性對應的纖維,構造一個主叢,在這個主叢上定義一個非平凡的聯絡形式,使得不同截面的平行移動能夠通過規範變換相互補償。」
「那……具體該怎麼構造這個規範聯絡?」趙文志問,聲音裡帶著一股按捺不住的急切。
肖宿縮小頁面,在上面寫了幾行簡潔的數學定義。
「很簡單,第一步,先計算你們每種傳感器信號在底流形上對應的物理量綱群。
視覺特徵點對應的是SE(3)的伴隨表示,力覺張量場對應的是SO(3)的標準表示,語音指令流對應的是時間維上的平移群,這三個群不是彼此獨立的,它們共享底流形上的同一個時間演化方向。」
「第二步,在這個共享的時間演化方向上定義一個主聯絡,讓它的曲率形式恰好抵消三個表示在非緊緻演化下的路徑依賴和樂,這一步的數學實質,是在主叢上求解一個規範不變性約束下的曲率平衡方程。」
「第三步就是把解出來的規範聯絡固化到多模態融合模塊的坐標卡轉移函數裡。
之後不管機器人跑多長時間,不同傳感器截面之間的相位差都能通過聯絡的規範變換自動補償,也不會再累積了。」
趙文志幾乎是本能地從口袋裡掏出手機,打開備忘錄開始飛速記錄起來。
他旁邊的兩個工程師也湊過來,三個人圍著一個手機屏幕,手指在鍵盤上敲得飛快。
這個方案在數學上是自洽的,但要實現它,後面可能得做一次全機傳感器陣列的聯合標定,重新採集視覺、力覺、聲場三個通道在底流形上的本徵響應曲線,然後才能求解規範聯絡的具體參數。
工作量不小,但方向是明確的。
趙文志敲完最後一個字,抬起頭來。
「肖教授,按照您說的,我們需要回去做一次聯合標定才能求解具體參數,三個月,不,兩個月之內我們一定能把這個方案落地。」
肖宿點了點頭,沒有多說什麼。
他們今天跟林正宏一起過來,除了送機器人,其實還帶著幾個憋了挺久的技術問題。
這幾個問題他們在公司內部的研發群里討論了好幾輪,始終沒有找到最優解,林正宏直接拍板說不如當面問肖教授。
「肖教授,實不相瞞,這次我們來,還有幾個小問題想請教請教您。」
肖宿收回看向肖奶奶的目光,看向了趙文志。
被肖宿清凌凌的眼睛看著,趙文志心裡不免有些緊張,之前在線上交流的時候就覺得肖宿有些高冷,線下見面之後,發現肖宿不僅高冷,氣場還挺強的。
怕肖宿不耐煩,他趕緊把重點說出來:
「我們之前在實驗的時候,發現極晝一號在動態非結構化環境裡執行連續操作任務的時候,出現了一個我們一直沒定位到根因的問題,它在同時進行視覺SLAM位姿圖優化、六軸力反饋柔順控制、和連續語音指令流實時解析的時候,每運行大約四十分鐘,多模態融合模塊的解耦流形上會出現一個非線性的相位偏移。」
「這個偏移量一開始只有零點幾個弧度,對任務執行沒有可見影響,可隨著時間累積,偏移就會以近似於多項式生長的速率擴大。
大概四十分鐘左右,視覺特徵點和力覺張量場之間的互信息量會驟降百分之三十,表現到行為層上,就是機器人的手眼協調出現明顯遲滯,抓取動作的過沖概率從百分之零點五飆升到百分之十五。」
趙文志把平板遞到肖宿面前,屏幕上是一張他們內部記錄的相位偏移曲線圖,X軸是時間,Y軸是互信息量,幾條不同顏色代表不同傳感器通道的曲線在末端明顯分叉。
「我們排查過傳感器的硬體時鐘同步,鎖相環的抖動在納秒級,沒有任何問題,也懷疑過是解耦流形的拓撲結構在長時間運行後發生了局部畸變,但是在用配邊不變量檢測之後,同調群沒有變化,流形本身是穩定的。
目前我們懷疑是辛結構的保持性出了問題,但是缺乏數學上的嚴格工具去驗證這個猜想,所以一直卡在這裡。」
肖宿接過平板,目光在互信息量曲線分叉的那個拐點上停了兩秒。
他把曲線縮放了一下,看了相位偏移的起始點和增長曲率。
然後又翻了另一頁的傳感器融合拓撲圖,看了他們解耦流形的辛結構構造方式,幾乎是一眼就看出了他們的問題。
「不是辛結構保持性的問題,你們的解耦流形用的是Darboux坐標卡局部構造,每個卡上的辛形式在局部確實是閉的,問題不在局部結構,而是在卡與卡之間的轉移函數上。」
他在平板上重新打開了一個空白頁,邊寫邊說道:
「多模態融合的本質,是把不同物理來源的傳感器信號,嵌入到同一個底流形上的不同截面上。
視覺特徵點是一個截面的幾何約束,力覺張量場是另一個截面的物理約束,語音指令流是第三個截面的語義約束。
三個截面在底流形上的位置不同,但它們的動力學演化都受同一個Hamilton向量場驅動。」
他在空白頁上畫了三條平行的線,代表三個截面,然後在每條線上標了一個周期性的波形。
「如果底流形是緊緻的,Hamilton向量場的流是整體定義的,三個截面上的相位演化嚴格同步,不會出現偏移。
但是你們的操作空間是非緊緻的,而在非緊緻流形上,Hamilton向量場的流只在局部可積,長時間演化之後,不同截面之間會因為轉移函數的曲率累積而產生一個整體的和樂。」
他在三條線之間畫了一個彎曲的箭頭,標註為「和樂偏移」。
趙文志盯著那個箭頭,呼吸微微一滯。
他隱約抓住了一點什麼,但那個概念對他來說還是太抽象了。
「肖教授,您的意思是……這個相位偏移不是傳感器的問題,也不是解耦流形的問題,而是底流形本身的幾何結構導致的?」
「準確地說,是你們在定義底流形時,默認使用了一個平坦的聯絡。」
肖宿在和樂箭頭的旁邊寫下了聯絡形式的表達式,「平坦聯絡在局部坐標系裡確實能滿足同步需求,因為它的曲率張量處處為零。但平坦聯絡有一個隱藏的代價,那就是它在非緊緻流形上不能保持不同截面的全局相位一致性。
因為平坦聯絡的截面平行移動,只依賴於路徑的同倫類,而在非緊緻流形上,不同傳感器截面對應的路徑分屬不同的同倫類,跑的時間越長,路徑在底流形上纏繞的拓撲差異就越大,平行移動回來的相位差就越大。」
「解決辦法也很簡單,只要把底流形上的聯絡從平坦聯絡升級為規範聯絡就行。
具體來說,就是在底流形的每一點上附加一個與傳感器物理特性對應的纖維,構造一個主叢,在這個主叢上定義一個非平凡的聯絡形式,使得不同截面的平行移動能夠通過規範變換相互補償。」
「那……具體該怎麼構造這個規範聯絡?」趙文志問,聲音裡帶著一股按捺不住的急切。
肖宿縮小頁面,在上面寫了幾行簡潔的數學定義。
「很簡單,第一步,先計算你們每種傳感器信號在底流形上對應的物理量綱群。
視覺特徵點對應的是SE(3)的伴隨表示,力覺張量場對應的是SO(3)的標準表示,語音指令流對應的是時間維上的平移群,這三個群不是彼此獨立的,它們共享底流形上的同一個時間演化方向。」
「第二步,在這個共享的時間演化方向上定義一個主聯絡,讓它的曲率形式恰好抵消三個表示在非緊緻演化下的路徑依賴和樂,這一步的數學實質,是在主叢上求解一個規範不變性約束下的曲率平衡方程。」
「第三步就是把解出來的規範聯絡固化到多模態融合模塊的坐標卡轉移函數裡。
之後不管機器人跑多長時間,不同傳感器截面之間的相位差都能通過聯絡的規範變換自動補償,也不會再累積了。」
趙文志幾乎是本能地從口袋裡掏出手機,打開備忘錄開始飛速記錄起來。
他旁邊的兩個工程師也湊過來,三個人圍著一個手機屏幕,手指在鍵盤上敲得飛快。
這個方案在數學上是自洽的,但要實現它,後面可能得做一次全機傳感器陣列的聯合標定,重新採集視覺、力覺、聲場三個通道在底流形上的本徵響應曲線,然後才能求解規範聯絡的具體參數。
工作量不小,但方向是明確的。
趙文志敲完最後一個字,抬起頭來。
「肖教授,按照您說的,我們需要回去做一次聯合標定才能求解具體參數,三個月,不,兩個月之內我們一定能把這個方案落地。」
肖宿點了點頭,沒有多說什麼。