第98章 突然『抽風』
第98章 突然『抽風』
攻擊演化模型完成之後，接下來就是『玄武」防禦平台的搭建，整個系統的核心其實就是一個AI防禦大模型，模型的整體架構也早就設計好了，缺的就是『攻擊數據』了。
現在攻擊數據有了，接下來要做的就是訓練了，模型的主體方面依舊由周的負責，剩下的人除了一個五人小組負責數據的整理，其他人的工作重心全部都放到了『玄武」防禦平台的搭建上。
本來周的以為項目就這樣能夠順利推進下去，但是科研自然不可能永遠都是一帆風順。
在「騰蛇」提供的近乎無限的攻擊數據的餵養下，防禦模型的訓練任務在超算平台上全功率運轉了數日。
起初，一切看起來都非常美好，損失函數曲線平穩下降，驗證集上的各項指標節節攀升，很快就達到了一個令人驚嘆的高點。
項目組成員們看著實驗日誌上如此優美的曲線，都覺得勝利在望，不過就在今天，也就是實驗進行的第四天，問題出現了。
幾乎所有組別的實驗都在準確率達到一個高點之後，就開始在一個區間內毫無規律地劇烈抖動，前一秒還在99%，下一秒就可能暴跌至70%，就像是心電圖一樣。
發現了這一現象的工程師很快匯報給了周的。
「周總，實驗出問題了。」
周昀看著屏幕上不斷跳動的性能指標皺了皺眉：「你讓開，我看一下。」
工程師連忙起身讓座，周的坐下後，調取了實驗日誌，裡面有更加詳細的實驗數據的記錄。
「奇怪，損失函數的震盪幅度這麼大......」他一邊翻閱數據，一邊自言自語，「而且這個波動模式，不像是常見的過擬合現象。」
手指輕輕敲打看滑鼠，不斷翻閱看試驗記錄。
「前面還好好的，怎麼突然就抽風了呢？」旁邊幾位工程師也從來沒見過這種情況。
周的想了一會，對身邊的工程師說道：「你讓張工過來一下，讓他把電腦帶過來。」
幾分鐘後，負責『騰蛇」數據整理的小組長張工匆匆趕來，手裡還拿著一台筆記本電腦：「周總，您找我？」
「嗯，你把你們整理的『攻擊」數據給我看看。」
「好的，都在這裡了。」他在鍵盤上敲了幾下，將電腦交給周昀。
周的翻了一下，心中大概有了猜測：「先停止訓練吧，我懷疑可能是數據的問題，可能要對模型做一些調整。」
幾人都有些不明白，他們還一點思路都沒有，周的這就找到問題所在了？
「周總，能不能說說問題出在哪了？」
周的點點頭：」「騰蛇」本身是一個攻擊生成模型，雖然我們可以設置它最終的攻擊目的，但是我們無法控制它達成這個目的的方式，這也就導致了，它可能生成互相矛盾，但是又能夠達成相同目的的攻擊方式。」
他指了指最近24小時『蛇」生成的新型攻擊數據的特徵分布直方圖，「這就能很明顯地看得出來，最近的數據里，這些攻擊的攻擊模式非常的矛盾，我覺得這就是導致模型突然抽風的原因。」
眾人都不由地點了點頭，這樣的話，他們倒是能夠理解了。
「那我們能不能給『蛇」加一些約束，讓它別生成這麼矛盾的數據？
周的搖了搖頭：「約束會限制『騰蛇」的創造力，我們寧願防禦模型自己學會消化這些奇怪的數據，也不能讓「騰蛇」的潛力被框住。」
除此之外，他還想到了一個非常重要的漏洞，之前無論什麼模型都好，訓練的數據集都是有限的，但是對這個模型來說，它的訓練集是無限的，雖然現在沒有出現『遺忘」問題，但是根據他的估計，遲早會發生的，早，晚的區別罷了。
「先把訓練任務停一下，等會兒我發幾個測試方案，你們跑一下。」周的將筆記本還給張工，快步走回辦公室，準備對模型進行修改。
回到辦公室，周的拿出一張白紙，開始寫寫畫畫，問題已經很清楚了，模型目前的架構無法消化特徵上存在矛盾的海量攻擊數據，有一個非常簡單的想法就是，多訓練幾個子模型，然後將結果匯總，這種方法固然簡單，但周的不想用，這種方法治標治標不治本，多個子系統勢必會帶來參數量爆炸、決策延遲增加以及模型間責任分散的新問題。
很快他就想到了自己的畢業論文，既然連不同模態的數據都能映射到同一個高維空間，沒道理網絡流量不行，它們的數據形式甚至都是一樣的。
思路逐漸清晰起來，一個個數學公式被他寫到紙上。
大概寫滿了十幾張之後，周昀放下筆：「應該可以了。」
又整理了一下思路，他開始將核心算法進行代碼實現，幾個小時後，他將重新設計的關鍵模塊代碼和說明發給了負責模型實現的工程師。
為了確保他們都能理解自己的思路，周的還特地拉著他們開了個會，算法中的很多參數都需要和模型的其他部分進行關聯，如果不能完全理解他的算法，很有可能會出現問題。
經過了大概一天的修改，模型再次進行訓練。
同樣是四天之後，這次並沒有發生上一次的『抽風」現象，損失函數下降得依舊很穩定。
大家看著大屏幕上實時更新的訓練曲線，這次的曲線確實平滑了很多，堪稱是非常的優雅！
「嗯，如果五天之後沒有問題，就接入『玄武』平台吧，他們那邊已經完成的差不多了。」
這個模型的運行模式比較特殊，它可以做到在線更新，也就是邊訓練，邊使用，它無時無刻不在發生著進化。
五天後，模型的訓練曲線依舊平穩，不過因為其本身性能已經很強了，哪怕還在繼續訓練，在測試集上也幾乎看不見什麼提升了。
「周總，驗收通過了，可以準備接入了。
「好，按照原計劃，將其接入『玄武」防禦平台。」
整個接入大概需要半個月左右的時間，因為在模型完成接入之後還需要對整個模型進行各種測試，以保證其能夠穩定運行，這個測試也是非常耗時間的。
測試完之後還有一個修改的階段，這麼大一個項目，代碼里不可能一點沒有bug，接下來的工作只會更加枯燥。
攻擊演化模型完成之後，接下來就是『玄武」防禦平台的搭建，整個系統的核心其實就是一個AI防禦大模型，模型的整體架構也早就設計好了，缺的就是『攻擊數據』了。
現在攻擊數據有了，接下來要做的就是訓練了，模型的主體方面依舊由周的負責，剩下的人除了一個五人小組負責數據的整理，其他人的工作重心全部都放到了『玄武」防禦平台的搭建上。
本來周的以為項目就這樣能夠順利推進下去，但是科研自然不可能永遠都是一帆風順。
在「騰蛇」提供的近乎無限的攻擊數據的餵養下，防禦模型的訓練任務在超算平台上全功率運轉了數日。
起初，一切看起來都非常美好，損失函數曲線平穩下降，驗證集上的各項指標節節攀升，很快就達到了一個令人驚嘆的高點。
項目組成員們看著實驗日誌上如此優美的曲線，都覺得勝利在望，不過就在今天，也就是實驗進行的第四天，問題出現了。
幾乎所有組別的實驗都在準確率達到一個高點之後，就開始在一個區間內毫無規律地劇烈抖動，前一秒還在99%，下一秒就可能暴跌至70%，就像是心電圖一樣。
發現了這一現象的工程師很快匯報給了周的。
「周總，實驗出問題了。」
周昀看著屏幕上不斷跳動的性能指標皺了皺眉：「你讓開，我看一下。」
工程師連忙起身讓座，周的坐下後，調取了實驗日誌，裡面有更加詳細的實驗數據的記錄。
「奇怪，損失函數的震盪幅度這麼大......」他一邊翻閱數據，一邊自言自語，「而且這個波動模式，不像是常見的過擬合現象。」
手指輕輕敲打看滑鼠，不斷翻閱看試驗記錄。
「前面還好好的，怎麼突然就抽風了呢？」旁邊幾位工程師也從來沒見過這種情況。
周的想了一會，對身邊的工程師說道：「你讓張工過來一下，讓他把電腦帶過來。」
幾分鐘後，負責『騰蛇」數據整理的小組長張工匆匆趕來，手裡還拿著一台筆記本電腦：「周總，您找我？」
「嗯，你把你們整理的『攻擊」數據給我看看。」
「好的，都在這裡了。」他在鍵盤上敲了幾下，將電腦交給周昀。
周的翻了一下，心中大概有了猜測：「先停止訓練吧，我懷疑可能是數據的問題，可能要對模型做一些調整。」
幾人都有些不明白，他們還一點思路都沒有，周的這就找到問題所在了？
「周總，能不能說說問題出在哪了？」
周的點點頭：」「騰蛇」本身是一個攻擊生成模型，雖然我們可以設置它最終的攻擊目的，但是我們無法控制它達成這個目的的方式，這也就導致了，它可能生成互相矛盾，但是又能夠達成相同目的的攻擊方式。」
他指了指最近24小時『蛇」生成的新型攻擊數據的特徵分布直方圖，「這就能很明顯地看得出來，最近的數據里，這些攻擊的攻擊模式非常的矛盾，我覺得這就是導致模型突然抽風的原因。」
眾人都不由地點了點頭，這樣的話，他們倒是能夠理解了。
「那我們能不能給『蛇」加一些約束，讓它別生成這麼矛盾的數據？
周的搖了搖頭：「約束會限制『騰蛇」的創造力，我們寧願防禦模型自己學會消化這些奇怪的數據，也不能讓「騰蛇」的潛力被框住。」
除此之外，他還想到了一個非常重要的漏洞，之前無論什麼模型都好，訓練的數據集都是有限的，但是對這個模型來說，它的訓練集是無限的，雖然現在沒有出現『遺忘」問題，但是根據他的估計，遲早會發生的，早，晚的區別罷了。
「先把訓練任務停一下，等會兒我發幾個測試方案，你們跑一下。」周的將筆記本還給張工，快步走回辦公室，準備對模型進行修改。
回到辦公室，周的拿出一張白紙，開始寫寫畫畫，問題已經很清楚了，模型目前的架構無法消化特徵上存在矛盾的海量攻擊數據，有一個非常簡單的想法就是，多訓練幾個子模型，然後將結果匯總，這種方法固然簡單，但周的不想用，這種方法治標治標不治本，多個子系統勢必會帶來參數量爆炸、決策延遲增加以及模型間責任分散的新問題。
很快他就想到了自己的畢業論文，既然連不同模態的數據都能映射到同一個高維空間，沒道理網絡流量不行，它們的數據形式甚至都是一樣的。
思路逐漸清晰起來，一個個數學公式被他寫到紙上。
大概寫滿了十幾張之後，周昀放下筆：「應該可以了。」
又整理了一下思路，他開始將核心算法進行代碼實現，幾個小時後，他將重新設計的關鍵模塊代碼和說明發給了負責模型實現的工程師。
為了確保他們都能理解自己的思路，周的還特地拉著他們開了個會，算法中的很多參數都需要和模型的其他部分進行關聯，如果不能完全理解他的算法，很有可能會出現問題。
經過了大概一天的修改，模型再次進行訓練。
同樣是四天之後，這次並沒有發生上一次的『抽風」現象，損失函數下降得依舊很穩定。
大家看著大屏幕上實時更新的訓練曲線，這次的曲線確實平滑了很多，堪稱是非常的優雅！
「嗯，如果五天之後沒有問題，就接入『玄武』平台吧，他們那邊已經完成的差不多了。」
這個模型的運行模式比較特殊，它可以做到在線更新，也就是邊訓練，邊使用，它無時無刻不在發生著進化。
五天後，模型的訓練曲線依舊平穩，不過因為其本身性能已經很強了，哪怕還在繼續訓練，在測試集上也幾乎看不見什麼提升了。
「周總，驗收通過了，可以準備接入了。
「好，按照原計劃，將其接入『玄武」防禦平台。」
整個接入大概需要半個月左右的時間，因為在模型完成接入之後還需要對整個模型進行各種測試，以保證其能夠穩定運行，這個測試也是非常耗時間的。
測試完之後還有一個修改的階段，這麼大一個項目，代碼里不可能一點沒有bug，接下來的工作只會更加枯燥。