第130章 改進TPU
第130章 改進TPU
「缺點————」
閔欣柔咬著筷子，皺著小鼻子想了想。
「顯存帶寬經常跑滿，所以發熱太厲害了，導致計算單元的利用率會掉到60%
以下。」
吳辰讚賞的點點頭。
閔欣柔能憑藉著觀察就能發現榛果T1的核心缺陷，已經相當不錯了。
這個問題實際上就是所謂的內存牆：
計算單元的處理速度遠快於內存提供數據的速度，大部分時間都在等待數據加載。
而更深層次的原因，還在於目前的65nm工藝漏電率較高，發熱巨大，不得不降頻運行。
同時GDDR3顯存的帶寬捉襟見肘，在它上面運行榛果Seek—1，有點像是在法拉力上裝了一台五菱宏光的發動機。
外形很拉風，但內里表現不夠。
要真正解決這個問題，還是得上更先進的工藝和更快的顯存。
吃過飯後，吳辰對閔欣柔道：「你把現在硬體方面遇到的問題都記錄下來，明天和我一起去見AMD的人。」
「啊，我嗎？」
閔欣柔結結巴巴的道。
「對，不用這麼緊張，到時候你能把問題描述清楚就好了。
「好————」
閔欣柔答應了下來，臉上閃過一絲不自然的紅色。
洗完餐具後，她就坐到電腦邊，開始整理所有硬體方面的問題。
而吳辰則開始思考如何改進TPU。
直接達到二代的性能有點難，在工藝上就不支持。
但做些改進還是沒問題的。
反正無論明天能不能爭取到AMD的支持，他都必須要做好防抄的措施。
當然，性能方面也需要提升。
首先是注意力機制的算子要改進。
原本的Softma計算是內存訪問密集型操作，非常消耗顯存帶寬。
改進方法，也是吳辰在人工智慧等級達到2級時才有的想法。
他之前考慮Transformer中自注意力算法算法的時候，完全是依照原本的技術架構發展的。
但2017年openAI訓練GPT—1的時候，硬體已經是真正的2代TPU，所以自己生搬硬套肯定是不行的。
所以不管是自己改進的Transformer架構還是榛果一代TPU，都應該結合軟硬體共同優化。
吳辰打算引入後世FlashAttention的切塊計算思想，減少對顯存的讀寫次數。
完成後，性能應該能提升3—5倍。
這樣榛果問答社區的用戶，應該就不會再有那種等待回復時間過長的感覺了。
而第二個點，則是針對閔欣柔剛剛說過的內存牆的問題。
解決這個點需要採用更激進的內存架構。
吳辰大刀闊斧的徹底改造了底層邏輯。
他引入了片上高速緩存層級，將頻繁訪問的數據留在晶片內，並且優化了數據預取和調度算法，讓計算單元不再有餓肚子的情況。
在思維加速和一小時深度閱讀狀態的幫助下，吳辰才算是初步解決了問題。
但硬體方面的修改，還要等到深圳的榛果電子廠去測試過才能決定。
伸了個懶腰，吳辰就準備回去睡覺了。
他側頭看了看閔欣柔的屏幕，發現她還在對照著筆記努力列舉所有可能遇到的問題。
這是她的一個很好的習慣，在工作和學習中遇到問題，總會記錄下來考慮解決辦法。
而且她的主觀能動性很強。
就算吳辰在忙沒時間教她，她也能積極的自己學習，不是那種推一下走一下的人。
吳辰站起身幫她的杯子加了點熱水後，又囑咐她早點休息後就回房間了。
等他離開後，閔欣柔又忙了一個鐘頭，才算是完成工作。
看了一眼吳辰緊閉的房門，她抱著吳淑芬慢慢的回到了自己的房間。
可躺在床上，她卻怎麼也睡不著。
於是最後她索性爬起來打開衣櫃，挑選起了明天要穿的衣服。
然後她悲哀的發現，自己好像並沒有那種能在正式場合穿的衣服。
現在的幾件外套和打底衫都是高中時的，不僅款式過時，還因為洗的次數太多而發舊的很明顯。
說起來她新一點的衣服，竟然就是現在身上的睡衣。
這還是因為她和吳辰在學校也不怎麼見面，在家倒是相處的多些她才買的。
最終，她懷著有些沮喪的心情，摟著吳淑芬緩緩睡著了。
一夜無夢。
第二天早上雖然還在下雪，但吳辰依舊去跑完了。
等他回來後，閔欣柔按慣例準備好了早餐。
一個茶葉蛋，一個煎蛋，一碗豆漿和一碗蔥油拌麵，吳辰吃的很開心。
經過一段時間的練習，閔欣柔這個粵東姑娘做起江浙的早餐來也是越來越熟練了。
在他細細品嘗的時候，閔欣柔扭扭捏捏了半天，終於開口了。
「老師，我想預支一點工資可以嗎？」
吳辰咽下嘴裡的煎蛋，不著痕跡的審視了一眼閔欣柔，問道：「可以，你要預支多少？」
「500塊。」
——
閔欣柔顯然早就想好了數字，回答的很快。
在聽到吳辰答應她的要求後，她明顯放鬆了不少。
吳辰從錢包里拿出500塊遞了過去。
之前他給閔欣柔開的工資是1500元，加上每月整理房間的800元，管理郵件的100元，合計是2400元。
除此之外，還有買菜的錢大概800元，所以閔欣柔每月總共能領到3200元。
不過這兩個月，除了吳辰的伙食和她自己生活必須的400元外，她總共給了母親林靜4000元。
算起來身上也不剩幾個錢。
雖然不應該，但吳辰還是忍不住問了一句。
「你是遇到什麼事了嗎？」
「我————」
閔欣柔有些窘迫，半天都沒說出來緣由。
吳辰見她這樣子，也就沒有再問。
誰還沒點小秘密呢。
不過就在他打算出門時，閔欣柔又攔住了他。
「老師，其實我是想買衣服，我現在的衣服太舊了，和您去談生意不合適，我不是亂花錢。」
說完後，她臉紅的像是滴血一樣。
吳辰停下了腳步。
「閔欣柔。」
他略微嚴肅的開口。
「老師。」
閔欣柔連忙站直身體。
由於兩人也很熟悉了，吳辰一般都叫她小閔同學。
這樣認真的叫她名字最近還沒有過。
所以她不由得有些緊張。
看到她的樣子，吳辰張了張嘴，把原本想說的話咽了下去。
他改口道：「外面下雪不方便，我下午下課回來後帶你去商場吧，買完衣服後直接去吃飯。
「好————」
閔欣柔愣了愣。
她還以為自己會被說虛榮呢。
等吳辰離開後，她又在門邊站了好久。
直到吳淑芬圍著她腳邊轉了幾圈，用毛茸茸的尾巴蹭她的小腿，她才清醒了過來，慢吞吞的回到了桌子邊。
她今天沒有課，所以可以在家工作。
可打開榛果問答社區的後台，她卻遲遲進不了工作狀態。
她的心很亂。
那種禁忌的衝動感情，窘迫的地位差異，都讓她覺得自己像個小丑。
另一邊，吳辰一邊下樓開車朝學校駛去，一邊也不由的反思著自己。
他現在怎么爹味這麼重。
剛剛他聽到閔欣柔想買衣服的第一時間，真的就想說，她和自己去吃飯根本不需要打扮，素麵朝天就很好了。
可開口的剎那，看到她難堪而忐忑的表情，吳辰突然意識到一件事。
對於這個從物質匱乏和家庭壓力中走出來的女孩來說，得體和不丟老師的臉，可能是她維護自尊和表達重視的唯一方式了。
畢竟她想買衣服，不是為了虛榮，而是為了能夠體面地站在自己身邊，不讓他吳辰掉價。
他想說的那些無需在意的安慰，在她聽來可能更像是一種居高臨下的憐憫，反而會加重她的心理負擔。
兩輩子了，就只學會了和辦公室的阿姨們開黃腔，但是一點都沒學會照顧女孩子的心情啊。
「缺點————」
閔欣柔咬著筷子，皺著小鼻子想了想。
「顯存帶寬經常跑滿，所以發熱太厲害了，導致計算單元的利用率會掉到60%
以下。」
吳辰讚賞的點點頭。
閔欣柔能憑藉著觀察就能發現榛果T1的核心缺陷，已經相當不錯了。
這個問題實際上就是所謂的內存牆：
計算單元的處理速度遠快於內存提供數據的速度，大部分時間都在等待數據加載。
而更深層次的原因，還在於目前的65nm工藝漏電率較高，發熱巨大，不得不降頻運行。
同時GDDR3顯存的帶寬捉襟見肘，在它上面運行榛果Seek—1，有點像是在法拉力上裝了一台五菱宏光的發動機。
外形很拉風，但內里表現不夠。
要真正解決這個問題，還是得上更先進的工藝和更快的顯存。
吃過飯後，吳辰對閔欣柔道：「你把現在硬體方面遇到的問題都記錄下來，明天和我一起去見AMD的人。」
「啊，我嗎？」
閔欣柔結結巴巴的道。
「對，不用這麼緊張，到時候你能把問題描述清楚就好了。
「好————」
閔欣柔答應了下來，臉上閃過一絲不自然的紅色。
洗完餐具後，她就坐到電腦邊，開始整理所有硬體方面的問題。
而吳辰則開始思考如何改進TPU。
直接達到二代的性能有點難，在工藝上就不支持。
但做些改進還是沒問題的。
反正無論明天能不能爭取到AMD的支持，他都必須要做好防抄的措施。
當然，性能方面也需要提升。
首先是注意力機制的算子要改進。
原本的Softma計算是內存訪問密集型操作，非常消耗顯存帶寬。
改進方法，也是吳辰在人工智慧等級達到2級時才有的想法。
他之前考慮Transformer中自注意力算法算法的時候，完全是依照原本的技術架構發展的。
但2017年openAI訓練GPT—1的時候，硬體已經是真正的2代TPU，所以自己生搬硬套肯定是不行的。
所以不管是自己改進的Transformer架構還是榛果一代TPU，都應該結合軟硬體共同優化。
吳辰打算引入後世FlashAttention的切塊計算思想，減少對顯存的讀寫次數。
完成後，性能應該能提升3—5倍。
這樣榛果問答社區的用戶，應該就不會再有那種等待回復時間過長的感覺了。
而第二個點，則是針對閔欣柔剛剛說過的內存牆的問題。
解決這個點需要採用更激進的內存架構。
吳辰大刀闊斧的徹底改造了底層邏輯。
他引入了片上高速緩存層級，將頻繁訪問的數據留在晶片內，並且優化了數據預取和調度算法，讓計算單元不再有餓肚子的情況。
在思維加速和一小時深度閱讀狀態的幫助下，吳辰才算是初步解決了問題。
但硬體方面的修改，還要等到深圳的榛果電子廠去測試過才能決定。
伸了個懶腰，吳辰就準備回去睡覺了。
他側頭看了看閔欣柔的屏幕，發現她還在對照著筆記努力列舉所有可能遇到的問題。
這是她的一個很好的習慣，在工作和學習中遇到問題，總會記錄下來考慮解決辦法。
而且她的主觀能動性很強。
就算吳辰在忙沒時間教她，她也能積極的自己學習，不是那種推一下走一下的人。
吳辰站起身幫她的杯子加了點熱水後，又囑咐她早點休息後就回房間了。
等他離開後，閔欣柔又忙了一個鐘頭，才算是完成工作。
看了一眼吳辰緊閉的房門，她抱著吳淑芬慢慢的回到了自己的房間。
可躺在床上，她卻怎麼也睡不著。
於是最後她索性爬起來打開衣櫃，挑選起了明天要穿的衣服。
然後她悲哀的發現，自己好像並沒有那種能在正式場合穿的衣服。
現在的幾件外套和打底衫都是高中時的，不僅款式過時，還因為洗的次數太多而發舊的很明顯。
說起來她新一點的衣服，竟然就是現在身上的睡衣。
這還是因為她和吳辰在學校也不怎麼見面，在家倒是相處的多些她才買的。
最終，她懷著有些沮喪的心情，摟著吳淑芬緩緩睡著了。
一夜無夢。
第二天早上雖然還在下雪，但吳辰依舊去跑完了。
等他回來後，閔欣柔按慣例準備好了早餐。
一個茶葉蛋，一個煎蛋，一碗豆漿和一碗蔥油拌麵，吳辰吃的很開心。
經過一段時間的練習，閔欣柔這個粵東姑娘做起江浙的早餐來也是越來越熟練了。
在他細細品嘗的時候，閔欣柔扭扭捏捏了半天，終於開口了。
「老師，我想預支一點工資可以嗎？」
吳辰咽下嘴裡的煎蛋，不著痕跡的審視了一眼閔欣柔，問道：「可以，你要預支多少？」
「500塊。」
——
閔欣柔顯然早就想好了數字，回答的很快。
在聽到吳辰答應她的要求後，她明顯放鬆了不少。
吳辰從錢包里拿出500塊遞了過去。
之前他給閔欣柔開的工資是1500元，加上每月整理房間的800元，管理郵件的100元，合計是2400元。
除此之外，還有買菜的錢大概800元，所以閔欣柔每月總共能領到3200元。
不過這兩個月，除了吳辰的伙食和她自己生活必須的400元外，她總共給了母親林靜4000元。
算起來身上也不剩幾個錢。
雖然不應該，但吳辰還是忍不住問了一句。
「你是遇到什麼事了嗎？」
「我————」
閔欣柔有些窘迫，半天都沒說出來緣由。
吳辰見她這樣子，也就沒有再問。
誰還沒點小秘密呢。
不過就在他打算出門時，閔欣柔又攔住了他。
「老師，其實我是想買衣服，我現在的衣服太舊了，和您去談生意不合適，我不是亂花錢。」
說完後，她臉紅的像是滴血一樣。
吳辰停下了腳步。
「閔欣柔。」
他略微嚴肅的開口。
「老師。」
閔欣柔連忙站直身體。
由於兩人也很熟悉了，吳辰一般都叫她小閔同學。
這樣認真的叫她名字最近還沒有過。
所以她不由得有些緊張。
看到她的樣子，吳辰張了張嘴，把原本想說的話咽了下去。
他改口道：「外面下雪不方便，我下午下課回來後帶你去商場吧，買完衣服後直接去吃飯。
「好————」
閔欣柔愣了愣。
她還以為自己會被說虛榮呢。
等吳辰離開後，她又在門邊站了好久。
直到吳淑芬圍著她腳邊轉了幾圈，用毛茸茸的尾巴蹭她的小腿，她才清醒了過來，慢吞吞的回到了桌子邊。
她今天沒有課，所以可以在家工作。
可打開榛果問答社區的後台，她卻遲遲進不了工作狀態。
她的心很亂。
那種禁忌的衝動感情，窘迫的地位差異，都讓她覺得自己像個小丑。
另一邊，吳辰一邊下樓開車朝學校駛去，一邊也不由的反思著自己。
他現在怎么爹味這麼重。
剛剛他聽到閔欣柔想買衣服的第一時間，真的就想說，她和自己去吃飯根本不需要打扮，素麵朝天就很好了。
可開口的剎那，看到她難堪而忐忑的表情，吳辰突然意識到一件事。
對於這個從物質匱乏和家庭壓力中走出來的女孩來說，得體和不丟老師的臉，可能是她維護自尊和表達重視的唯一方式了。
畢竟她想買衣服，不是為了虛榮，而是為了能夠體面地站在自己身邊，不讓他吳辰掉價。
他想說的那些無需在意的安慰，在她聽來可能更像是一種居高臨下的憐憫，反而會加重她的心理負擔。
兩輩子了，就只學會了和辦公室的阿姨們開黃腔，但是一點都沒學會照顧女孩子的心情啊。