第9章 第一次組會
第二天早上起床，周昀感覺自己腰上有些酸痛。
「早知道昨天晚上不應該勉強的。」
為了保持一個健康的身體，周昀昨天晚上飯後休息了一會兒跑步去了。
一下跑了五公里，也許是太久沒跑了，昨天還沒什麼感覺，現在起床，那叫一個酸爽。
昨天買的顯示器已經到了，吃了個早飯，就把顯示器取了回來。
看著27寸的大屏幕，周昀滿意地點點頭。
「這才對嘛。」
昨天鄧永華已經把伺服器的帳號密碼發給自己了。
先是下了個Termius，雖然Windows有自帶的SSH連接工具，不過他更習慣Termius，主要是界面看上去比較舒服，年輕人嘛，總是喜歡炫酷一點的界面。
一頓操作之後，成功連接上了伺服器。
伺服器用的Linux系統，一般都是沒有GUI也就是圖形界面的，主要目的是為了減少資源的消耗，而且安全性也更高。
一開始用肯定會覺得有些彆扭，但是用習慣了之後就會發現。
在科研領域，Linux比Windows方便太多了。
在自己電腦上搜索了一下Anaconda官網，找到最新版本的下載連結，然後直接用wget在伺服器上開始下載。
Anaconda是AI領域最常用也可以說是必備的工具。
這伺服器的網速還挺快，沒一會兒就下好了。
接下來的流程就很固定了。
創建虛擬環境，安裝pytorch，安裝各種需要用到的包。
光是裝環境，他就弄了一個上午。
順便抽空看了一下伺服器狀態，果然，八張80G的H100，一共640G顯存，雖然不止他一個人用，但是也剩下一半多，肯定是夠用了。
AgileEdge的流程他心裡早就想清楚了，寫代碼那就是水到渠成的事情。
而且現在都有AI輔助，核心框架一共幾千行代碼寫起來都不需要一個小時。
再加上自己檢查，調試。
下午五點鐘就搞完了核心框架的所有代碼，這種速度放在幾年前，那是根本不敢想的。
而寫代碼只能說是整個科研過程中最為簡單的一個步驟了。
接下來才是折磨的開始。
跑實驗——>調BUG，這種枯燥的循環過程才是真正讓人感覺心累的環節。
周昀在網上找了一個參數量在100B左右的大模型，本來他是打算找個幾十B的就差不多了。
誰知道導師這麼給力，資源多了，他也不那麼扣扣嗖嗖了。
AgileEdge的主要作用就是將大模型壓縮成小模型然後放到邊緣設備里。
因為是全自動的AI框架，所以其操作流程非常的傻瓜。
只要將邊緣設備連接到電腦，程序就會自動檢測其硬體的具體參數，然後經過AgileEdge的壓縮，不斷地優化模型，最終形成一個能運行的模型文件。
邊緣設備周昀暫時就找了一台老的智能機，內存只有32G，將手機插上數據線。
運行程序。
一個進度條出現在屏幕下方。
【預計時間：17h】
「就知道。」
只要涉及到大模型，實驗的時間就不會短，不過十幾個小時也算快了，前世周昀曾經一個實驗跑了兩周，主要就是當時的伺服器實在太垃圾了。
三天後，周五。
經過幾天的實驗，周昀的AgileEdge算是初步能用，但是距離他預想的性能，還有一些差距。
而且不同的大模型之間，壓縮後的性能也存在較大的差距。
他的想法是在模型壓縮的同時，性能不變，但是現在看來，模型壓縮，性能就一定會變差，這看上去似乎是一個無解的問題。
周昀能保證，自己的AgileEdge框架是沒有問題的，不然也不可能實現模型壓縮，那麼有問題只可能是模型本身。
大模型本身特殊的架構，限制了其參數的數量。
簡單來說就是，無論如何壓縮，其總是會存在一個下限，而周昀要做的就是突破這個下限。
這就不得不對模型本身進行修改。
「看來之前還是想簡單了。」
智能化修改大模型架構，又是一個不小的工程，就這個研究，都夠發一篇A會了。
就在周昀思考的時候，群里彈出一條消息。
【點擊入會】
要開組會了。
入會後，周昀第一時間就是先把自己閉麥。
等人到齊之後，組會開始。
其實線上的總共就三個人，其他人都是線下會議室的，也就是還沒入學的新生才有線上組會這個待遇了。
「聽得到嗎？」鄧永華的聲音響起。
「可以。」×3
「先給大家介紹一下，這三位是咱們組新加入的同學，分別是周昀、邵詩、常承軒，大家平時有空可以多多交流。
閒話不多說，咱們開始吧，邱彥，你先來？」
接下來就是漫長的三個鐘頭。
在一個組裡，大家的研究方向其實都不一定一樣，這也就導致了，其實很多人匯報，其他人都是聽不懂的，甚至老師也不一定了解你的研究方向。
這也是為什麼周昀非常討厭組會的原因。
不想聽加上聽不懂，還要硬控他三個小時，能喜歡的起來嗎？
而且還是忍受老師時不時的「奇葩提問」。
比如：你的研究方向我不懂，但是我想問一下你的創新點是什麼。
這種問題就很容易讓人紅溫，但誰讓對方是你導師呢。
你就必須得和顏悅色的給他解釋。
不過鄧永華倒是還好，以周昀三個鐘頭的觀察下來。
對於不懂的研究方向，他一般不輕易提問，而且他主要關心的是學生的科研進度，如果有進度而且研究方向他不熟悉，其實還是蠻輕鬆的。
但要是沒進度，再加上他又恰好懂你的研究方向。
那不好意思，一首涼涼送給你。
等到所有學姐學長都匯報完了之後，終於輪到周昀三人了。
「三位新同學，都有準備吧？要不周昀你先來？你上次的那個研究搞得怎麼樣了？還是說你要匯報論文？」
鄧永華對周昀還是有些期待的，但是這麼短的時間，想要有什麼實質性的進度估計很難了。
「好的老師，那我就匯報一下我的科研進度？」
錢塘大學，會議室里。
坐在後排的幾個師兄相互看了看，最終看向邱彥。
「這師弟什麼情況？」
「早知道昨天晚上不應該勉強的。」
為了保持一個健康的身體，周昀昨天晚上飯後休息了一會兒跑步去了。
一下跑了五公里，也許是太久沒跑了，昨天還沒什麼感覺，現在起床，那叫一個酸爽。
昨天買的顯示器已經到了，吃了個早飯，就把顯示器取了回來。
看著27寸的大屏幕，周昀滿意地點點頭。
「這才對嘛。」
昨天鄧永華已經把伺服器的帳號密碼發給自己了。
先是下了個Termius，雖然Windows有自帶的SSH連接工具，不過他更習慣Termius，主要是界面看上去比較舒服，年輕人嘛，總是喜歡炫酷一點的界面。
一頓操作之後，成功連接上了伺服器。
伺服器用的Linux系統，一般都是沒有GUI也就是圖形界面的，主要目的是為了減少資源的消耗，而且安全性也更高。
一開始用肯定會覺得有些彆扭，但是用習慣了之後就會發現。
在科研領域，Linux比Windows方便太多了。
在自己電腦上搜索了一下Anaconda官網，找到最新版本的下載連結，然後直接用wget在伺服器上開始下載。
Anaconda是AI領域最常用也可以說是必備的工具。
這伺服器的網速還挺快，沒一會兒就下好了。
接下來的流程就很固定了。
創建虛擬環境，安裝pytorch，安裝各種需要用到的包。
光是裝環境，他就弄了一個上午。
順便抽空看了一下伺服器狀態，果然，八張80G的H100，一共640G顯存，雖然不止他一個人用，但是也剩下一半多，肯定是夠用了。
AgileEdge的流程他心裡早就想清楚了，寫代碼那就是水到渠成的事情。
而且現在都有AI輔助，核心框架一共幾千行代碼寫起來都不需要一個小時。
再加上自己檢查，調試。
下午五點鐘就搞完了核心框架的所有代碼，這種速度放在幾年前，那是根本不敢想的。
而寫代碼只能說是整個科研過程中最為簡單的一個步驟了。
接下來才是折磨的開始。
跑實驗——>調BUG，這種枯燥的循環過程才是真正讓人感覺心累的環節。
周昀在網上找了一個參數量在100B左右的大模型，本來他是打算找個幾十B的就差不多了。
誰知道導師這麼給力，資源多了，他也不那麼扣扣嗖嗖了。
AgileEdge的主要作用就是將大模型壓縮成小模型然後放到邊緣設備里。
因為是全自動的AI框架，所以其操作流程非常的傻瓜。
只要將邊緣設備連接到電腦，程序就會自動檢測其硬體的具體參數，然後經過AgileEdge的壓縮，不斷地優化模型，最終形成一個能運行的模型文件。
邊緣設備周昀暫時就找了一台老的智能機，內存只有32G，將手機插上數據線。
運行程序。
一個進度條出現在屏幕下方。
【預計時間：17h】
「就知道。」
只要涉及到大模型，實驗的時間就不會短，不過十幾個小時也算快了，前世周昀曾經一個實驗跑了兩周，主要就是當時的伺服器實在太垃圾了。
三天後，周五。
經過幾天的實驗，周昀的AgileEdge算是初步能用，但是距離他預想的性能，還有一些差距。
而且不同的大模型之間，壓縮後的性能也存在較大的差距。
他的想法是在模型壓縮的同時，性能不變，但是現在看來，模型壓縮，性能就一定會變差，這看上去似乎是一個無解的問題。
周昀能保證，自己的AgileEdge框架是沒有問題的，不然也不可能實現模型壓縮，那麼有問題只可能是模型本身。
大模型本身特殊的架構，限制了其參數的數量。
簡單來說就是，無論如何壓縮，其總是會存在一個下限，而周昀要做的就是突破這個下限。
這就不得不對模型本身進行修改。
「看來之前還是想簡單了。」
智能化修改大模型架構，又是一個不小的工程，就這個研究，都夠發一篇A會了。
就在周昀思考的時候，群里彈出一條消息。
【點擊入會】
要開組會了。
入會後，周昀第一時間就是先把自己閉麥。
等人到齊之後，組會開始。
其實線上的總共就三個人，其他人都是線下會議室的，也就是還沒入學的新生才有線上組會這個待遇了。
「聽得到嗎？」鄧永華的聲音響起。
「可以。」×3
「先給大家介紹一下，這三位是咱們組新加入的同學，分別是周昀、邵詩、常承軒，大家平時有空可以多多交流。
閒話不多說，咱們開始吧，邱彥，你先來？」
接下來就是漫長的三個鐘頭。
在一個組裡，大家的研究方向其實都不一定一樣，這也就導致了，其實很多人匯報，其他人都是聽不懂的，甚至老師也不一定了解你的研究方向。
這也是為什麼周昀非常討厭組會的原因。
不想聽加上聽不懂，還要硬控他三個小時，能喜歡的起來嗎？
而且還是忍受老師時不時的「奇葩提問」。
比如：你的研究方向我不懂，但是我想問一下你的創新點是什麼。
這種問題就很容易讓人紅溫，但誰讓對方是你導師呢。
你就必須得和顏悅色的給他解釋。
不過鄧永華倒是還好，以周昀三個鐘頭的觀察下來。
對於不懂的研究方向，他一般不輕易提問，而且他主要關心的是學生的科研進度，如果有進度而且研究方向他不熟悉，其實還是蠻輕鬆的。
但要是沒進度，再加上他又恰好懂你的研究方向。
那不好意思，一首涼涼送給你。
等到所有學姐學長都匯報完了之後，終於輪到周昀三人了。
「三位新同學，都有準備吧？要不周昀你先來？你上次的那個研究搞得怎麼樣了？還是說你要匯報論文？」
鄧永華對周昀還是有些期待的，但是這麼短的時間，想要有什麼實質性的進度估計很難了。
「好的老師，那我就匯報一下我的科研進度？」
錢塘大學，會議室里。
坐在後排的幾個師兄相互看了看，最終看向邱彥。
「這師弟什麼情況？」