第129章 Aetos
第129章 Aetos
「啟智』的試驗還在繼續，期間也不用周昀每天盯著，不過他也不會閒著。
雖然只有他和陳默兩個人，但也還是在九月底的時候完成了第一個版本的Aetos，Aetos就是周昀計劃替代CUDA的生態。
當然，現在還遠遠做不到CUDA那樣強大。
在陳默完成了矩陣運算的TiIe分割的攻克之後，VO.1版本的Aetos就有了最為趁手的解決工具。
而在進行了一系列的算子重寫之後，Aetos可以實現讓一些非英偉達的顯卡做到與之相同的矩陣運算速度。
但畢竟只是兩個人做的，功能非常少，現如今能做到的只有一些核心基礎算子，比如ReLU、Sigmoid、Tanh等激活函數，以及加法、乘法.
還有求和、求最大值，矩陣轉置，不過最為核心的還是GEMM，也就是通用矩陣乘法，而GEMM是深度學習、科學計算等領域的絕對計算核心。
掌握了它就代表他們完成了從零到一的突破。
為此他們還專門寫了一個專用的編譯器，能將某種形式的計算描述轉換成高度優化的GPU的機器代碼，而這個機器代碼可以適配不同的GPU核心，比如AMD，英特爾，還有國產的。
簡單來說，通過Aetos，可以實現在AMD平台上訓練出一個簡單的深度學習模型，例如輕量級的CNN、LSTM、DNN等等。
這在以前是很難想像的，最重要的就是其運算速度可以接近甚至持平在同級別N卡上用CUDA跑的效果，這都是Tie分割所帶來的效果，讓其足以彌補硬體上的差距。
除了這些優點，缺點自然也是有的，比如他現在還無法直接運行為CUDA編寫的現有代碼，還無法兼容PyTorch、TensorFIow等主流框架，同時也缺少CUDA提供的成千上萬個高度優化的庫，如cuDNN，cuBLAS，cuFFT，缺乏NVIDIANsight那樣強大的性能分析、調試工具，而且現在的Aetos優化主要集中在AI和線性代數計算上，對圖形、物理模擬等其他通用計算任務的支持非常有限或尚未開發。
而且哪怕是坐到了這種程度，就算工程師們知道你的東西是自己，勉強能用，但也不會捨棄已經非常成熟的CUDA，除非是玄武』這種國家級別的項目，為了做到完全自研，才會去做這種費力不討好的事情。
這也能看的出來，想要構建一個完整的生態是多麼的困難。
而此時，正是Aetos在大眾面前的第一次亮相。
因為之前參加了玄武』項目，周昀在接下來的幾年之內都不能出國，NeurIPS之類的會議他自然是沒法去了，國外的主會場去不了，國內的NeurIPS線下論文分享會卻是邀請了周昀。
周昀作為一個年輕學者，在NeurIPS連續發表六篇論文，並且每一篇質量都極高，自然會引起學術圈的注意。
他也答應了，他正愁著該怎麼宣傳Aetos，一個良好的技術生態或者是平台，開源永遠都是疊代最快的方式。
而所謂NeurIPS線下論文分享會，主要是為了國內人工智慧領域的學者、研究人員、
學生以及從業者提供一個高質量的學術交流平台，因為NeurIPS主會場在國外，很多人不能親臨，這才有了這個線下討論會，也是為了能讓國內的AI社區成員也能近距離接觸和討論最前沿的AI研究成果。
線下交流會的第二天，報告廳內，周昀在為大家講解他發表在NeurIPS上的論文。
報告廳內座無虛席，周昀站在講台後，身後的巨幕投影著論文的整體框架圖，他則是指著屏幕，不急不緩地講解著自己的工作。
台下，來自各大高校、研究所和企業的專家學生們還不時有人舉起手機拍下照片。
隨後的提問環節，周昀都一一作答。
到了這個階段，這場報告的預定時間才過了一半，不少人都覺得這可能是安排上的一個失誤，周昀卻是微微笑道：「感謝各位的問題，關於這篇論文的內容就到這裡，接下來的時間，我想分享一下我們實驗室最近的一個工作，相信各位肯定會感興趣的。」
這個環節也是提前和主辦方說好的。
不過台下的人並不知情，泛起些騷動，大家的好奇心都被勾了起來，畢競隨著周昀論文引用量的不斷增加，他在學術圈的名氣也是越來越大，至少在多模態這個領域，多數人都看過他的論，他的幾篇論，都對多模態模型的發展做出了巨大的貢獻。
周昀操作電腦，投影畫面切換，一個LOGO出現在屏幕中間，Aetos，下方則是一行小字AGPUComputingEcosystemforEveryone。
「在過去幾個月里，我和我的學生，完成了一個非常創造性的工作，」周昀的目光掃過台下，朝著陳默點了點頭，眾人也看向這個有些拘謹的男孩。
「就是大家看到的這個，我們稱之為Aetos，目標是構建一個不依賴於特定硬體廠商的高性能GPU計算生態。「
話音落下，台下響起一陣陣議論。
GPU計算？生態？這兩個詞組合在一起，尤其是在當前的技術背景下，其指向性再明確不過CUDA和英偉達的統治地位。
周昀也不意外大家的反應，只是繼續自己的報告，PPT翻頁：「為了實現這個目標，我們主要做了兩件事：
第一，設計了一套新的中間表示（IR）層；
第二，創建了一個專用的編譯器，負責將高級計算描述通過這套IR，最終轉換為高度優化的且能適配不同GPU架構的機器碼。
傳統的CUDA代碼，其內核的編寫方式與NVIDIAGPU的硬體特性，如線程層級結構、內存模型深度綁定，這使得它為N卡帶來了極致性能，但也導致了其天然的封閉性。
Aetos的IR層，試圖站在一個更高的角度去描述計算本身，而不是如何映射到硬體，它更關注的是「要計算什麼'，比如一個矩陣乘法的數據維度、依賴關係、並行粒度，而不是具體有多少個ThreadBlock或Warps。」
隨後他展示了一個簡單的GEMM在AetosIR中的表示方式，它看起來更像是一個數學表達式和數據依賴圖的結合體，幾乎沒有硬體特定的術語。
「這套IR是我們整個生態的基石，它就像普通話，而我們支持的各種GPU架構，就像是說不同方言的人，我們的編譯器，就是一個優秀的翻譯官。「
「啟智』的試驗還在繼續，期間也不用周昀每天盯著，不過他也不會閒著。
雖然只有他和陳默兩個人，但也還是在九月底的時候完成了第一個版本的Aetos，Aetos就是周昀計劃替代CUDA的生態。
當然，現在還遠遠做不到CUDA那樣強大。
在陳默完成了矩陣運算的TiIe分割的攻克之後，VO.1版本的Aetos就有了最為趁手的解決工具。
而在進行了一系列的算子重寫之後，Aetos可以實現讓一些非英偉達的顯卡做到與之相同的矩陣運算速度。
但畢竟只是兩個人做的，功能非常少，現如今能做到的只有一些核心基礎算子，比如ReLU、Sigmoid、Tanh等激活函數，以及加法、乘法.
還有求和、求最大值，矩陣轉置，不過最為核心的還是GEMM，也就是通用矩陣乘法，而GEMM是深度學習、科學計算等領域的絕對計算核心。
掌握了它就代表他們完成了從零到一的突破。
為此他們還專門寫了一個專用的編譯器，能將某種形式的計算描述轉換成高度優化的GPU的機器代碼，而這個機器代碼可以適配不同的GPU核心，比如AMD，英特爾，還有國產的。
簡單來說，通過Aetos，可以實現在AMD平台上訓練出一個簡單的深度學習模型，例如輕量級的CNN、LSTM、DNN等等。
這在以前是很難想像的，最重要的就是其運算速度可以接近甚至持平在同級別N卡上用CUDA跑的效果，這都是Tie分割所帶來的效果，讓其足以彌補硬體上的差距。
除了這些優點，缺點自然也是有的，比如他現在還無法直接運行為CUDA編寫的現有代碼，還無法兼容PyTorch、TensorFIow等主流框架，同時也缺少CUDA提供的成千上萬個高度優化的庫，如cuDNN，cuBLAS，cuFFT，缺乏NVIDIANsight那樣強大的性能分析、調試工具，而且現在的Aetos優化主要集中在AI和線性代數計算上，對圖形、物理模擬等其他通用計算任務的支持非常有限或尚未開發。
而且哪怕是坐到了這種程度，就算工程師們知道你的東西是自己，勉強能用，但也不會捨棄已經非常成熟的CUDA，除非是玄武』這種國家級別的項目，為了做到完全自研，才會去做這種費力不討好的事情。
這也能看的出來，想要構建一個完整的生態是多麼的困難。
而此時，正是Aetos在大眾面前的第一次亮相。
因為之前參加了玄武』項目，周昀在接下來的幾年之內都不能出國，NeurIPS之類的會議他自然是沒法去了，國外的主會場去不了，國內的NeurIPS線下論文分享會卻是邀請了周昀。
周昀作為一個年輕學者，在NeurIPS連續發表六篇論文，並且每一篇質量都極高，自然會引起學術圈的注意。
他也答應了，他正愁著該怎麼宣傳Aetos，一個良好的技術生態或者是平台，開源永遠都是疊代最快的方式。
而所謂NeurIPS線下論文分享會，主要是為了國內人工智慧領域的學者、研究人員、
學生以及從業者提供一個高質量的學術交流平台，因為NeurIPS主會場在國外，很多人不能親臨，這才有了這個線下討論會，也是為了能讓國內的AI社區成員也能近距離接觸和討論最前沿的AI研究成果。
線下交流會的第二天，報告廳內，周昀在為大家講解他發表在NeurIPS上的論文。
報告廳內座無虛席，周昀站在講台後，身後的巨幕投影著論文的整體框架圖，他則是指著屏幕，不急不緩地講解著自己的工作。
台下，來自各大高校、研究所和企業的專家學生們還不時有人舉起手機拍下照片。
隨後的提問環節，周昀都一一作答。
到了這個階段，這場報告的預定時間才過了一半，不少人都覺得這可能是安排上的一個失誤，周昀卻是微微笑道：「感謝各位的問題，關於這篇論文的內容就到這裡，接下來的時間，我想分享一下我們實驗室最近的一個工作，相信各位肯定會感興趣的。」
這個環節也是提前和主辦方說好的。
不過台下的人並不知情，泛起些騷動，大家的好奇心都被勾了起來，畢競隨著周昀論文引用量的不斷增加，他在學術圈的名氣也是越來越大，至少在多模態這個領域，多數人都看過他的論，他的幾篇論，都對多模態模型的發展做出了巨大的貢獻。
周昀操作電腦，投影畫面切換，一個LOGO出現在屏幕中間，Aetos，下方則是一行小字AGPUComputingEcosystemforEveryone。
「在過去幾個月里，我和我的學生，完成了一個非常創造性的工作，」周昀的目光掃過台下，朝著陳默點了點頭，眾人也看向這個有些拘謹的男孩。
「就是大家看到的這個，我們稱之為Aetos，目標是構建一個不依賴於特定硬體廠商的高性能GPU計算生態。「
話音落下，台下響起一陣陣議論。
GPU計算？生態？這兩個詞組合在一起，尤其是在當前的技術背景下，其指向性再明確不過CUDA和英偉達的統治地位。
周昀也不意外大家的反應，只是繼續自己的報告，PPT翻頁：「為了實現這個目標，我們主要做了兩件事：
第一，設計了一套新的中間表示（IR）層；
第二，創建了一個專用的編譯器，負責將高級計算描述通過這套IR，最終轉換為高度優化的且能適配不同GPU架構的機器碼。
傳統的CUDA代碼，其內核的編寫方式與NVIDIAGPU的硬體特性，如線程層級結構、內存模型深度綁定，這使得它為N卡帶來了極致性能，但也導致了其天然的封閉性。
Aetos的IR層，試圖站在一個更高的角度去描述計算本身，而不是如何映射到硬體，它更關注的是「要計算什麼'，比如一個矩陣乘法的數據維度、依賴關係、並行粒度，而不是具體有多少個ThreadBlock或Warps。」
隨後他展示了一個簡單的GEMM在AetosIR中的表示方式，它看起來更像是一個數學表達式和數據依賴圖的結合體，幾乎沒有硬體特定的術語。
「這套IR是我們整個生態的基石，它就像普通話，而我們支持的各種GPU架構，就像是說不同方言的人，我們的編譯器，就是一個優秀的翻譯官。「