第503章 數學AI的訓練 二
骨架有了,但要讓這匹「賽博牛馬」真正擁有干碎N-S方程的實力,還得給它餵海量的「草料」,也就是數據集。
在這個大模型時代,得數據者得天下。2027年,算力可以租賃,算法論文隨時開源,但高質量的垂直領域數據早已成為各家大廠秘而不宣的數字護城河。
對於數學AI來說,所需的數據集應該包含大量的高質量數學證明、推導過程、以及問題-解答對。這種數據在2027年的生態中,已經形成了一個完整的產業鏈。
開源數據資源已經相當豐富。arXiv上公開的所有數學論文,雖然大多是文本形式,但其中的數學推導完全免費可用。不過,這些原始的LaTeX代碼和PDF文檔充滿了格式噪音。
此外還有各大高校歷年發表的教材講義、維基百科上的數學定理詞條、Stack Exchange和MathOverflow等社區問答網站的爬蟲數據包。這些開源資源加起來,已經能提供數百萬條以上的高質量數學推導示例,足以作為預訓練的基礎語料庫。
但僅有這些還不夠。開源語料只能教會AI「什麼是常規的數學推導」,徐辰需要的是更加專業、更加精準的高階邏輯糾錯數據。
這就是付費數據的作用所在。
目前國際上有幾家專門做高端AI數據集的公司,比如Scale AI、Labelbox等,他們提供的付費數據集質量很高。對於數學領域,這些公司專門僱傭了數百位來自東歐和印度的數學博士和教授,按小時計費,讓他們手工標註、驗證、甚至生成新的高質量訓練數據。
一個包含十萬條高質量數學推導的專業數據集,市場價格大約在50到100萬美元之間。
一百萬美元,換算成人民幣大幾百萬。放在普通的雙一流高校,這絕對是一筆需要經過層層立項審批、甚至連副校長都要親自把關撓頭的巨款。
但對現在的徐辰來說,這壓根就不叫事兒。
他可是雁棲湖應用數學研究院的院長。在他的名下,躺著一筆額度高達千萬級別的院長專屬啟動資金。而且,買頂級數學數據集來訓練AI解N-S方程,這本身就是根正苗紅的「應用數學交叉研究」,連半點挪用經費的嫌疑都沒有。他這個大院長只要在採購單上大筆一揮,財務那邊立刻就能痛快走帳。
「能用錢解決的問題,永遠是科研中最簡單的問題。」
……
解決了數據,接下來的核心就是算力了。
徐辰看了看自己目前能調用的北大計算中心的權限。
北大當然不缺算力,但這裡的集群主要還是以傳統的GPU和CPU為主,更適合做大規模的矩陣並行計算和深度學習的常規訓練。
但徐辰設計的這個模型,核心是SLRM邏輯推演和流形上的張量拓撲。
他需要的是LPU(邏輯處理單元)集群,就是專門為SLRM設計的晶片。不過這款晶片剛剛上市一年多,產能完全滿足不了AI企業巨大的胃口,因此在市場上依然極為緊俏,屬於有錢都不一定能買得到的頂級戰略資源。
徐辰很快就想到了自己背後那個財大氣粗的雁棲湖研究院,那裡作為國內頂級的科研機構,應該會有吧。
徐辰拿起了電話,直接撥通了雁棲湖應用數學研究院常務副院長劉正偉的號碼。
劉正偉看到徐辰來電,非常激動。
雖然這位年輕的院長平時很少在辦公室露面,但劉正偉很清楚徐辰是雁棲湖研究院現在的真正核心。雖然丘老還掛著院長的頭銜,但實際上一切都在為大權交接做準備。而且,自從徐辰上任以來,不僅市政府的年度撥款沒有停止,反而中央財政還專門增撥了一筆經費。這位年輕的菲爾茲特別獎得主,已經成了整個研究院的財神爺。只要他繼續在這兒掛名,國家的資金就源源不斷。
「喂,徐院長?」電話那頭,負責研究院日常行政和後勤的副院長劉正偉語氣恭敬。
「劉院長,咱們雁棲湖那邊,有大規模的LPU集群嗎?大概能調動多少張?」徐辰開門見山地問道。
電話那頭的劉正偉愣了一下,隨即笑了:「徐院長,目前咱們這的超算中心大概有幾百張LPU,算是科研級集群里最大的了。」
聽到這個數字,徐辰的眼睛瞬間亮了。
幾張到十幾張卡,那叫「消費級」,只能跑跑微調或者當個昂貴的玩具;幾萬張卡組成的集群,那是「產業級」,是科技巨頭們用來燒錢煉通用大模型的專屬。
而在高校和頂尖研究所里,能擁有大幾百甚至上千張卡的規模,被稱為「科研級」。用來跑通一個全新框架的Demo,並進行高強度的數學垂直領域訓練,簡直是完美的頂配!
徐辰不禁感嘆,不愧是丘老,搞資源的能力是真強啊。這也是外界公認雁棲湖研究院能躋身國內頂尖研究院的核心原因之一。除了丘老刷臉拉來的頂尖人才,更重要的是它背靠北京市政府和各大頂級基金會,擁有著極其靈活的體制和令人髮指的財力!
在學術界,財力往往就等同於戰鬥力。
……
「太好了!」徐辰一拍大腿,「劉院長,我現在急需調用這批LPU做一輪核心訓練,下午我就去一趟雁棲湖。」
「沒問題,最高權限在您入職的時候就已經開通了。不過徐院長,您其實可以直接通過內網遠程調用的,沒必要大老遠跑一趟……」
「不遠程了,我還是親自過去盯盤吧。」徐辰果斷拒絕。
遠程跑個常規模型代碼還行,但他這次要往集群里灌入的,是買來的幾百個T的底層數學數據集!
在計算機網絡界,有一句著名的至理名言:永遠不要低估一輛裝滿大容量硬碟、在高速公路上狂飆的小貨車所能提供的帶寬。
「那太好了,研究院這邊隨時歡迎您來坐鎮。」劉正偉在電話那頭十分周到地補充道,「既然您要過來常駐一段時間,住宿方面您不必操心。主樓後面有一棟專門為院士和特聘專家保留的靜音公寓,您的『院長專屬套房』一直空著,您帶著行李直接拎包入住就行。」
「好,辛苦劉院長了,我們下午見。」
……
在這個大模型時代,得數據者得天下。2027年,算力可以租賃,算法論文隨時開源,但高質量的垂直領域數據早已成為各家大廠秘而不宣的數字護城河。
對於數學AI來說,所需的數據集應該包含大量的高質量數學證明、推導過程、以及問題-解答對。這種數據在2027年的生態中,已經形成了一個完整的產業鏈。
開源數據資源已經相當豐富。arXiv上公開的所有數學論文,雖然大多是文本形式,但其中的數學推導完全免費可用。不過,這些原始的LaTeX代碼和PDF文檔充滿了格式噪音。
此外還有各大高校歷年發表的教材講義、維基百科上的數學定理詞條、Stack Exchange和MathOverflow等社區問答網站的爬蟲數據包。這些開源資源加起來,已經能提供數百萬條以上的高質量數學推導示例,足以作為預訓練的基礎語料庫。
但僅有這些還不夠。開源語料只能教會AI「什麼是常規的數學推導」,徐辰需要的是更加專業、更加精準的高階邏輯糾錯數據。
這就是付費數據的作用所在。
目前國際上有幾家專門做高端AI數據集的公司,比如Scale AI、Labelbox等,他們提供的付費數據集質量很高。對於數學領域,這些公司專門僱傭了數百位來自東歐和印度的數學博士和教授,按小時計費,讓他們手工標註、驗證、甚至生成新的高質量訓練數據。
一個包含十萬條高質量數學推導的專業數據集,市場價格大約在50到100萬美元之間。
一百萬美元,換算成人民幣大幾百萬。放在普通的雙一流高校,這絕對是一筆需要經過層層立項審批、甚至連副校長都要親自把關撓頭的巨款。
但對現在的徐辰來說,這壓根就不叫事兒。
他可是雁棲湖應用數學研究院的院長。在他的名下,躺著一筆額度高達千萬級別的院長專屬啟動資金。而且,買頂級數學數據集來訓練AI解N-S方程,這本身就是根正苗紅的「應用數學交叉研究」,連半點挪用經費的嫌疑都沒有。他這個大院長只要在採購單上大筆一揮,財務那邊立刻就能痛快走帳。
「能用錢解決的問題,永遠是科研中最簡單的問題。」
……
解決了數據,接下來的核心就是算力了。
徐辰看了看自己目前能調用的北大計算中心的權限。
北大當然不缺算力,但這裡的集群主要還是以傳統的GPU和CPU為主,更適合做大規模的矩陣並行計算和深度學習的常規訓練。
但徐辰設計的這個模型,核心是SLRM邏輯推演和流形上的張量拓撲。
他需要的是LPU(邏輯處理單元)集群,就是專門為SLRM設計的晶片。不過這款晶片剛剛上市一年多,產能完全滿足不了AI企業巨大的胃口,因此在市場上依然極為緊俏,屬於有錢都不一定能買得到的頂級戰略資源。
徐辰很快就想到了自己背後那個財大氣粗的雁棲湖研究院,那裡作為國內頂級的科研機構,應該會有吧。
徐辰拿起了電話,直接撥通了雁棲湖應用數學研究院常務副院長劉正偉的號碼。
劉正偉看到徐辰來電,非常激動。
雖然這位年輕的院長平時很少在辦公室露面,但劉正偉很清楚徐辰是雁棲湖研究院現在的真正核心。雖然丘老還掛著院長的頭銜,但實際上一切都在為大權交接做準備。而且,自從徐辰上任以來,不僅市政府的年度撥款沒有停止,反而中央財政還專門增撥了一筆經費。這位年輕的菲爾茲特別獎得主,已經成了整個研究院的財神爺。只要他繼續在這兒掛名,國家的資金就源源不斷。
「喂,徐院長?」電話那頭,負責研究院日常行政和後勤的副院長劉正偉語氣恭敬。
「劉院長,咱們雁棲湖那邊,有大規模的LPU集群嗎?大概能調動多少張?」徐辰開門見山地問道。
電話那頭的劉正偉愣了一下,隨即笑了:「徐院長,目前咱們這的超算中心大概有幾百張LPU,算是科研級集群里最大的了。」
聽到這個數字,徐辰的眼睛瞬間亮了。
幾張到十幾張卡,那叫「消費級」,只能跑跑微調或者當個昂貴的玩具;幾萬張卡組成的集群,那是「產業級」,是科技巨頭們用來燒錢煉通用大模型的專屬。
而在高校和頂尖研究所里,能擁有大幾百甚至上千張卡的規模,被稱為「科研級」。用來跑通一個全新框架的Demo,並進行高強度的數學垂直領域訓練,簡直是完美的頂配!
徐辰不禁感嘆,不愧是丘老,搞資源的能力是真強啊。這也是外界公認雁棲湖研究院能躋身國內頂尖研究院的核心原因之一。除了丘老刷臉拉來的頂尖人才,更重要的是它背靠北京市政府和各大頂級基金會,擁有著極其靈活的體制和令人髮指的財力!
在學術界,財力往往就等同於戰鬥力。
……
「太好了!」徐辰一拍大腿,「劉院長,我現在急需調用這批LPU做一輪核心訓練,下午我就去一趟雁棲湖。」
「沒問題,最高權限在您入職的時候就已經開通了。不過徐院長,您其實可以直接通過內網遠程調用的,沒必要大老遠跑一趟……」
「不遠程了,我還是親自過去盯盤吧。」徐辰果斷拒絕。
遠程跑個常規模型代碼還行,但他這次要往集群里灌入的,是買來的幾百個T的底層數學數據集!
在計算機網絡界,有一句著名的至理名言:永遠不要低估一輛裝滿大容量硬碟、在高速公路上狂飆的小貨車所能提供的帶寬。
「那太好了,研究院這邊隨時歡迎您來坐鎮。」劉正偉在電話那頭十分周到地補充道,「既然您要過來常駐一段時間,住宿方面您不必操心。主樓後面有一棟專門為院士和特聘專家保留的靜音公寓,您的『院長專屬套房』一直空著,您帶著行李直接拎包入住就行。」
「好,辛苦劉院長了,我們下午見。」
……