第78章 Krylov空間矩陣
第78章 Krylov空間矩陣
ps:（上一道題的題目稍微改了一下，改成了一道Krylov空間矩陣的問題，這樣主角可以開掛用隨機矩陣的方式解出，但如果是稀疏線性方程組的求解問題，以目前主角的知識儲備想要令兩位大佬刮目相看，恐怕有些違和感。
所以為了使這個逼裝的圓潤一些，還是改了題目，見諒）
以下是正文部分：
「設G是 n×8的實矩陣，其每個元素均獨立地以ō(m)/n的概率滿足標準正態分布，以 1ō(m)/n的概率取零，我們想要證明 Krylov空間矩陣 K:=[G∣AG∣AG∣∣A^(m-1）G]的條件數在高概率下有 exp(ō(m))的上界。」
看著這道題目，蕭然眉頭不自覺的皺了起來，Krylov空間矩陣是一個非典型的隨機矩陣，條件數是最大奇異值和最小奇異值的比例。
最大奇異值是矩陣的一種範數，可以理解為問題的數據規模，而最小奇異值可以理解為這個矩陣非退化的程度，所以這可以理解為矩陣退化的相對程度。
在這道題中，最大奇異值不難估計，難點是怎麼去估計這個隨機矩陣的最小奇異值。
撓了撓頭，蕭然逐漸被這道題吸引了全部的心神。
「老陸，你不是說你在家裡說一不二嗎？怎麼嫂子一過來你就跟老鼠見了貓一樣？」等到師母走遠，老劉才瞥了老陸一眼，語氣中充滿了鄙視。
老陸聞言緩緩地吐出一口氣，面色凝重：「我在家裡確實是只敢說一句話，不敢再說第二句，說一不二，有什麼問題嗎。」
老劉：
「不是我說啊，伱這好歹是一家之主，有時候該硬氣的時候還是要硬氣點！」老劉恨鐵不成鋼地拍了拍老陸的肩膀，給他傳授經驗。
你又比我好到哪裡去？
老陸斜著看了他一眼，慢悠悠地說道：「改天我去你家裡和蘇梅妹子聊一下，問問她你是如何硬氣的。」
老劉放在老陸肩膀上的手突然一頓，隨後若無其事地收了回來：「咦？蕭然在看什麼呢，這麼入迷，半天了都不說話？」
說著埋頭自顧自地朝蕭然那邊走去，好似那邊有什麼吸引他的地方。
此時的蕭然已經完全入神了，草稿紙上全都是他潦草混亂的公式和想法，一時間連老劉什麼時候來到他的身旁都沒發現。
「咦！」
走到蕭然身旁，看清他在寫什麼的老劉頓時揚了揚眉毛，驚咦一聲，「這是在研究我和老陸爭論的Krylov空間矩陣問題？」
摩挲了一下下巴，他再次詫異地看了眼埋頭書寫的蕭然，又低頭看了眼他寫出來的各種行列式，「老陸，過來！」
老劉頭也不抬地對著不遠處的老陸招了招手。
「怎麼了？」老陸走了過來，摸不著頭腦。
「小聲點，你學生正在研究我們剛才討論的那道題。」
「我看看。」老陸聞言連忙探過頭看了一眼，「嗯，還真是，這孩子倒真是對數學愛的純粹，來我家裡也不忘鑽研數學。」
語氣間對蕭然一萬個滿意。
「還真讓你撿到寶了。」老劉酸溜溜地說道，神色間說出去的羨慕。
老陸得意地擺了擺手，故作矜持道：「以我的水平估計也只能再教他兩三年的時間，到那時他想要在數學上取得突破，就要靠他自己的造化了。」
「行了行了，裝給誰看呢！」老劉笑罵一聲，接著又低下頭看了眼蕭然的草稿，若有所思：「你覺得蕭然能不能解出這道題？」
老陸聞言也仔細看了眼蕭然列出的各種行列式，皺了皺眉頭：「這道題有點怪，它的元素滿足的是稀疏高斯分布，而要證明結果要滿足的卻是高斯分布，這意味著我們需要一個工具建立這兩者之間的聯繫」
「可這個工具到底該用什麼，說實話，我也只有一些粗淺的想法，我想的是使用Markov不等式估計概率，這主要是利用到聯合高斯分布的性質是服從聯合高斯分布的兩個獨立向量的和，依然服從聯合高斯分布，但這之後，我並不確定高斯分布替換成均勻分布或者伯努利分布之後還能否得到多項式界」
「另外，這道題的難點主要在於如何估計這個隨機矩陣的最小奇異值，而想要估計隨機矩陣的最小奇異值，最主要的難點是如何突破隨機矩陣理論中元素之間的獨立性，如果無法解決這一步，這道題的證明也就無從談起。」
隨機矩陣理論起源於對物理模型的研究，人們在早期實驗中發現，一些大型隨機矩陣的特徵值與奇異值的分布常常趨近於某些特定的分布，並由此提出了如半圓律、圓律與 Marchenko-Pastur律之類關於極限分布的定律。
這些定律的假設和結論類似於經典概率論里的中心極限定理（即大量相互獨立的隨機數之和的分布常常趨近於正態分布），這需要假設矩陣元素除了特定結構以外相互獨立，再讓維度趨於無窮。
儘管如此，極限畢竟是極限，從不等式估計的角度來看，用起來還是不太順手的。
大約從上世紀 80年代末開始，人們開始研究非漸進意義下的奇異值的估計，其中最核心的部分就是對於最小奇異值的估計。
隨機矩陣的發展也從一開始首先處理了獨立同分布的矩陣元素服從高斯分布的情形，逐漸放鬆要求，開始不要求高斯分布，不要求同分布，並且得到了越來越精準的估計。
但這其中最難放鬆的條件依舊是獨立性，這要求，一是改成要求矩陣的各行相互獨立。
二是要求矩陣有額外的結構，如對稱性，而除此以外相互獨立。
三是要求矩陣元素之間的相關性隨在矩陣中的位置的距離而指數級衰減
「從蕭然的草稿上來看，他似乎使用的是VC-維數對示性函數應用熵方法，但這對最小奇異值的要求更加嚴格，在這種條件下他使用熵方法恐怕不能得到有效的結果」
「除非他能找到一個工具來估計 VC-維數並繞過熵方法」
老陸越看，眉頭皺的越緊。
抬起頭，他問道：「老劉，你是從哪找到的這麼個難題？」
老劉有些不好意思地笑道：「這是今年菲爾茲獎的得主在上個月的國際數學家大會上做報告時，偶然提出的一個問題，我當時對這個問題有些感興趣，就拿了過來，準備借這個問題發一篇SCI論文。」
說著，他嘆了口氣，無奈道：「可是研究了半天，依舊無法解決這其中各元素之間獨立性的問題，這時我才想到你，你在隨機矩陣方面的研究比我深一點，想著看你有什麼辦法給我提供點靈感。」
「結果發現，算是白來了！」老劉說著白了老陸一眼，悠悠道：「算了，我還是自己回去研究吧。」
(本章完)
ps:（上一道題的題目稍微改了一下，改成了一道Krylov空間矩陣的問題，這樣主角可以開掛用隨機矩陣的方式解出，但如果是稀疏線性方程組的求解問題，以目前主角的知識儲備想要令兩位大佬刮目相看，恐怕有些違和感。
所以為了使這個逼裝的圓潤一些，還是改了題目，見諒）
以下是正文部分：
「設G是 n×8的實矩陣，其每個元素均獨立地以ō(m)/n的概率滿足標準正態分布，以 1ō(m)/n的概率取零，我們想要證明 Krylov空間矩陣 K:=[G∣AG∣AG∣∣A^(m-1）G]的條件數在高概率下有 exp(ō(m))的上界。」
看著這道題目，蕭然眉頭不自覺的皺了起來，Krylov空間矩陣是一個非典型的隨機矩陣，條件數是最大奇異值和最小奇異值的比例。
最大奇異值是矩陣的一種範數，可以理解為問題的數據規模，而最小奇異值可以理解為這個矩陣非退化的程度，所以這可以理解為矩陣退化的相對程度。
在這道題中，最大奇異值不難估計，難點是怎麼去估計這個隨機矩陣的最小奇異值。
撓了撓頭，蕭然逐漸被這道題吸引了全部的心神。
「老陸，你不是說你在家裡說一不二嗎？怎麼嫂子一過來你就跟老鼠見了貓一樣？」等到師母走遠，老劉才瞥了老陸一眼，語氣中充滿了鄙視。
老陸聞言緩緩地吐出一口氣，面色凝重：「我在家裡確實是只敢說一句話，不敢再說第二句，說一不二，有什麼問題嗎。」
老劉：
「不是我說啊，伱這好歹是一家之主，有時候該硬氣的時候還是要硬氣點！」老劉恨鐵不成鋼地拍了拍老陸的肩膀，給他傳授經驗。
你又比我好到哪裡去？
老陸斜著看了他一眼，慢悠悠地說道：「改天我去你家裡和蘇梅妹子聊一下，問問她你是如何硬氣的。」
老劉放在老陸肩膀上的手突然一頓，隨後若無其事地收了回來：「咦？蕭然在看什麼呢，這麼入迷，半天了都不說話？」
說著埋頭自顧自地朝蕭然那邊走去，好似那邊有什麼吸引他的地方。
此時的蕭然已經完全入神了，草稿紙上全都是他潦草混亂的公式和想法，一時間連老劉什麼時候來到他的身旁都沒發現。
「咦！」
走到蕭然身旁，看清他在寫什麼的老劉頓時揚了揚眉毛，驚咦一聲，「這是在研究我和老陸爭論的Krylov空間矩陣問題？」
摩挲了一下下巴，他再次詫異地看了眼埋頭書寫的蕭然，又低頭看了眼他寫出來的各種行列式，「老陸，過來！」
老劉頭也不抬地對著不遠處的老陸招了招手。
「怎麼了？」老陸走了過來，摸不著頭腦。
「小聲點，你學生正在研究我們剛才討論的那道題。」
「我看看。」老陸聞言連忙探過頭看了一眼，「嗯，還真是，這孩子倒真是對數學愛的純粹，來我家裡也不忘鑽研數學。」
語氣間對蕭然一萬個滿意。
「還真讓你撿到寶了。」老劉酸溜溜地說道，神色間說出去的羨慕。
老陸得意地擺了擺手，故作矜持道：「以我的水平估計也只能再教他兩三年的時間，到那時他想要在數學上取得突破，就要靠他自己的造化了。」
「行了行了，裝給誰看呢！」老劉笑罵一聲，接著又低下頭看了眼蕭然的草稿，若有所思：「你覺得蕭然能不能解出這道題？」
老陸聞言也仔細看了眼蕭然列出的各種行列式，皺了皺眉頭：「這道題有點怪，它的元素滿足的是稀疏高斯分布，而要證明結果要滿足的卻是高斯分布，這意味著我們需要一個工具建立這兩者之間的聯繫」
「可這個工具到底該用什麼，說實話，我也只有一些粗淺的想法，我想的是使用Markov不等式估計概率，這主要是利用到聯合高斯分布的性質是服從聯合高斯分布的兩個獨立向量的和，依然服從聯合高斯分布，但這之後，我並不確定高斯分布替換成均勻分布或者伯努利分布之後還能否得到多項式界」
「另外，這道題的難點主要在於如何估計這個隨機矩陣的最小奇異值，而想要估計隨機矩陣的最小奇異值，最主要的難點是如何突破隨機矩陣理論中元素之間的獨立性，如果無法解決這一步，這道題的證明也就無從談起。」
隨機矩陣理論起源於對物理模型的研究，人們在早期實驗中發現，一些大型隨機矩陣的特徵值與奇異值的分布常常趨近於某些特定的分布，並由此提出了如半圓律、圓律與 Marchenko-Pastur律之類關於極限分布的定律。
這些定律的假設和結論類似於經典概率論里的中心極限定理（即大量相互獨立的隨機數之和的分布常常趨近於正態分布），這需要假設矩陣元素除了特定結構以外相互獨立，再讓維度趨於無窮。
儘管如此，極限畢竟是極限，從不等式估計的角度來看，用起來還是不太順手的。
大約從上世紀 80年代末開始，人們開始研究非漸進意義下的奇異值的估計，其中最核心的部分就是對於最小奇異值的估計。
隨機矩陣的發展也從一開始首先處理了獨立同分布的矩陣元素服從高斯分布的情形，逐漸放鬆要求，開始不要求高斯分布，不要求同分布，並且得到了越來越精準的估計。
但這其中最難放鬆的條件依舊是獨立性，這要求，一是改成要求矩陣的各行相互獨立。
二是要求矩陣有額外的結構，如對稱性，而除此以外相互獨立。
三是要求矩陣元素之間的相關性隨在矩陣中的位置的距離而指數級衰減
「從蕭然的草稿上來看，他似乎使用的是VC-維數對示性函數應用熵方法，但這對最小奇異值的要求更加嚴格，在這種條件下他使用熵方法恐怕不能得到有效的結果」
「除非他能找到一個工具來估計 VC-維數並繞過熵方法」
老陸越看，眉頭皺的越緊。
抬起頭，他問道：「老劉，你是從哪找到的這麼個難題？」
老劉有些不好意思地笑道：「這是今年菲爾茲獎的得主在上個月的國際數學家大會上做報告時，偶然提出的一個問題，我當時對這個問題有些感興趣，就拿了過來，準備借這個問題發一篇SCI論文。」
說著，他嘆了口氣，無奈道：「可是研究了半天，依舊無法解決這其中各元素之間獨立性的問題，這時我才想到你，你在隨機矩陣方面的研究比我深一點，想著看你有什麼辦法給我提供點靈感。」
「結果發現，算是白來了！」老劉說著白了老陸一眼，悠悠道：「算了，我還是自己回去研究吧。」
(本章完)