第116章 要不這就算我的檢查吧(數據再掉就恢復兩更。)
實驗室在頂樓走廊的最深處。
一進門就聽到嗡嗡的伺服器風扇聲。
幾台昂貴的Sun Ultra工作站一字排開。
七八個博士生圍在一個屏幕前,個個面如土色。
胡鵬趴在鍵盤前,手指飛快地敲擊著,調取系統底層的Core Dump文件。
「Segmentation fault……」
胡鵬看著屏幕上的報錯,眉頭鎖成了一個「川」字。
「又是段錯誤。
線程之間的資源爭搶太嚴重了。
咱們用的CORBA標準,底層的ORB通訊機制在處理大量短連接的時候效率太低了。」
「要不加硬體?」
剛才那個報信的男生小聲提議。
「再申請兩台伺服器做負載均衡?」
「加個屁!」
胡鵬罵道。
「這是軟體架構的硬傷,你就是把機房堆滿伺服器,鎖競爭的問題解決不了,一樣得崩!
國家給的指標是單機5000並發,現在連一半都跑不到,下個月驗收怎麼交代?」
眾人一片死寂,不敢接話。
陳浩站在人群最後面,目光掃過屏幕上的架構圖和那幾行關鍵的C++代碼。
他立刻看明白了。
這套系統採用的是典型的「Thread-per-Request」(每個請求一個線程)模型。
這是當時CORBA架構的標準做法。
每一個客戶端連接進來,伺服器就分配一個獨立的線程去處理。
在並發量小的時候,這種模型簡單高效。
但一旦並發量上來,成千上萬個線程同時在作業系統里搶占CPU時間片,光是線程上下文切換的開銷就能把CPU吃光。
再加上他們為了保證數據一致性,在共享內存區加了大量的互斥鎖。
這不崩才怪。
「胡院長。」
一個突兀的聲音打破了沉默。
眾人回頭,看到那個本該在寫檢查的大二學生,正雙手插兜站在後面。
胡鵬看到陳浩,火氣又要上來:
「誰讓你進來的?出去!」
「如果是CORBA架構下的線程阻塞,加再多伺服器也沒用。」
陳浩沒有動,而是指了指屏幕上的一行代碼。
「你們用的是同步阻塞I/O模型(BIO)。
這種模型下,線程在等待網絡數據的時候是掛起的,不僅占內存,還不幹活。」
胡鵬愣了一下,開始重新打量起陳浩。
這番話切中要害,而且專業術語用得極准,絕不是一個大二學生能說出來的。
「你懂CORBA?」
胡鵬的聲音沉了下來。
「略懂一點。」
陳浩走到屏幕前。
「我兼職的公司就是做高並發網際網路應用的。
前段時間我跟著出差到矽谷,跟Sun公司負責Java EE規範制定的一幫工程師聊過。
現在的趨勢是,瓶頸不在硬體,而在I/O模型。」
陳浩頓了頓,看著胡鵬:
「胡院長,能給我個白板嗎?」
周圍的博士生面面相覷。
一個大二的要在國家級實驗室里給他們這些博士生講課?
「給他。」
胡鵬盯著陳浩看了幾秒,鬼使神差地揮了揮手。
一個博士生從角落裡推過來一塊白板。
陳浩拿起馬克筆,沒有廢話,直接在白板上畫了一個圖。
一個圓圈,周圍連著無數線條,中間是一個單向的箭頭。
「既然多線程容易崩,那我們就不要用多線程。」
陳浩一邊畫一邊說。
「目前的架構是,來一個客人,我們就派一個服務員全程跟著。
客人點菜、吃飯、買單,服務員都得等著。
客人多了,服務員就不夠用了。」
他在旁邊畫了另一個圖。
「我們可以換個思路。
只留一個前台接待員。
所有客人的請求先到前台登記。
前台把請求分類,扔到後面的隊列里。
廚房做好了,再通知前台叫號。
這就是IO多路復用。」
陳浩寫下幾個英文單詞:I/O Multiplexing。
「利用UNIX系統底層的select或者poll機制,一個線程就可以監控成千上萬個socket連接的狀態。
只有當socket真的有數據可讀寫時,才分配資源去處理。」
陳浩轉過身,看著胡鵬:
「還需要把這塊的同步鎖去掉,換成無鎖隊列。」
實驗室里沒人回應,博士生們有的皺眉沉思,有的還在發懵。
在2000年,NIO(非阻塞I/O)和Reactor模式在學術界已經有了雛形,但在國內的工程實踐中,還屬於非常前沿甚至激進的技術。
大部分人還在死磕多線程優化。
胡鵬的眼睛卻亮了。
他是行家。
陳浩畫的這個圖,雖然簡單,但邏輯閉環非常完美。
它從根本上避開了線程切換的開銷。
「無鎖隊列……」
胡鵬喃喃自語。
「你是說用CAS指令原子操作來替代互斥鎖?」
陳浩點頭。
「是的。硬體級的原子操作,比作業系統級的鎖快幾個數量級。」
胡鵬沉默了片刻。
他看著陳浩,眼神複雜。
「說起來容易,做起來難。」胡鵬指著屏幕。
「這套系統的底層代碼有十幾萬行,重構I/O模型等於換心臟。
離驗收只剩一個月,誰敢動?」
「不用動全身。」
陳浩把馬克筆扔在桌上,走到那個操作電腦的博士生身後,拍了拍他的肩膀。
「師兄,麻煩讓個座。」
那個博士生愣住了,下意識地看向胡鵬。
胡鵬深吸了一口煙,把菸蒂狠狠按滅在菸灰缸里。
「讓他試!」
代碼在其他的電腦都有備份,出問題也不影響。
博士生站起來,讓出了位置。
陳浩坐下,雙手放在鍵盤上。
那是一把老式的機械鍵盤,鍵程很長。
他活動了一下手指,調出了底層的通訊模塊代碼:
NetworkDispatcher.cpp。
陳浩的眼神瞬間變得專注。
他沒有大改業務邏輯,而是直接刪掉了原本臃腫的線程池管理類。
鍵盤敲擊聲開始在實驗室里迴蕩。
噠噠噠,噠噠噠。
陳浩直接引入了sys/select.h庫。
他開始手寫一個簡易的Reactor事件分發器。
fd_set master_set;
FD_ZERO(&master_set);
select(max_fd + 1, &read_fds, NULL, NULL, &timeout);
一行行代碼在黑色的屏幕上流淌。
周圍的博士生慢慢圍了上來。
一開始他們還帶著懷疑,但隨著代碼行數的增加,他們的表情變了。
陳浩的代碼風格極其老練。
變量命名規範,注釋清晰,邏輯結構緊湊得像教科書。
更可怕的是,他幾乎不思考,也不查文檔,那些晦澀的UNIX系統調用函數,仿佛刻在他腦子裡一樣。
胡鵬站在陳浩身後,雙手抱胸。
他越看越心驚。
這哪是大二的學生?
這分明是個浸淫底層開發十幾年的老手!
這種對內存指針的精準控制,對系統內核的理解,甚至超過了他帶的很多博士生。
僅僅半個小時。
陳浩敲下最後一行代碼,保存,退出編輯器。
「編譯。」
陳浩按下回車。
屏幕上開始滾動編譯日誌。
所有人的心都提到了嗓子眼。
Make complete. No errors.
編譯通過。
「跑一下測試吧。」
陳浩站起身,把位置讓了出來。
那個博士生坐回去,重新啟動了壓力測試腳本。
屏幕上的儀錶盤開始跳動。
並發數:
500……
1000……
系統運行平穩,沒有報錯。
1500……
2000……
到了剛才崩潰的臨界點。
所有人都屏住了呼吸。
曲線繼續上揚,沒有絲毫抖動。
2500……
3000……
4000……
最終,數字定格在5200。
而旁邊的CPU占用率,竟然只有60%!
「臥槽……」
一個博士生忍不住爆了句粗口。
這不僅僅是解決了問題,還實現了性能翻倍!
胡鵬死死盯著那個「5200」的數字,一臉的難以置信。
他猛地轉過頭,看向站在一旁正在揉手腕的陳浩。
陳浩從兜里掏出那包萬寶路,抽出一根遞給胡鵬:
「胡院長,要不這就算我的檢查吧?」
一進門就聽到嗡嗡的伺服器風扇聲。
幾台昂貴的Sun Ultra工作站一字排開。
七八個博士生圍在一個屏幕前,個個面如土色。
胡鵬趴在鍵盤前,手指飛快地敲擊著,調取系統底層的Core Dump文件。
「Segmentation fault……」
胡鵬看著屏幕上的報錯,眉頭鎖成了一個「川」字。
「又是段錯誤。
線程之間的資源爭搶太嚴重了。
咱們用的CORBA標準,底層的ORB通訊機制在處理大量短連接的時候效率太低了。」
「要不加硬體?」
剛才那個報信的男生小聲提議。
「再申請兩台伺服器做負載均衡?」
「加個屁!」
胡鵬罵道。
「這是軟體架構的硬傷,你就是把機房堆滿伺服器,鎖競爭的問題解決不了,一樣得崩!
國家給的指標是單機5000並發,現在連一半都跑不到,下個月驗收怎麼交代?」
眾人一片死寂,不敢接話。
陳浩站在人群最後面,目光掃過屏幕上的架構圖和那幾行關鍵的C++代碼。
他立刻看明白了。
這套系統採用的是典型的「Thread-per-Request」(每個請求一個線程)模型。
這是當時CORBA架構的標準做法。
每一個客戶端連接進來,伺服器就分配一個獨立的線程去處理。
在並發量小的時候,這種模型簡單高效。
但一旦並發量上來,成千上萬個線程同時在作業系統里搶占CPU時間片,光是線程上下文切換的開銷就能把CPU吃光。
再加上他們為了保證數據一致性,在共享內存區加了大量的互斥鎖。
這不崩才怪。
「胡院長。」
一個突兀的聲音打破了沉默。
眾人回頭,看到那個本該在寫檢查的大二學生,正雙手插兜站在後面。
胡鵬看到陳浩,火氣又要上來:
「誰讓你進來的?出去!」
「如果是CORBA架構下的線程阻塞,加再多伺服器也沒用。」
陳浩沒有動,而是指了指屏幕上的一行代碼。
「你們用的是同步阻塞I/O模型(BIO)。
這種模型下,線程在等待網絡數據的時候是掛起的,不僅占內存,還不幹活。」
胡鵬愣了一下,開始重新打量起陳浩。
這番話切中要害,而且專業術語用得極准,絕不是一個大二學生能說出來的。
「你懂CORBA?」
胡鵬的聲音沉了下來。
「略懂一點。」
陳浩走到屏幕前。
「我兼職的公司就是做高並發網際網路應用的。
前段時間我跟著出差到矽谷,跟Sun公司負責Java EE規範制定的一幫工程師聊過。
現在的趨勢是,瓶頸不在硬體,而在I/O模型。」
陳浩頓了頓,看著胡鵬:
「胡院長,能給我個白板嗎?」
周圍的博士生面面相覷。
一個大二的要在國家級實驗室里給他們這些博士生講課?
「給他。」
胡鵬盯著陳浩看了幾秒,鬼使神差地揮了揮手。
一個博士生從角落裡推過來一塊白板。
陳浩拿起馬克筆,沒有廢話,直接在白板上畫了一個圖。
一個圓圈,周圍連著無數線條,中間是一個單向的箭頭。
「既然多線程容易崩,那我們就不要用多線程。」
陳浩一邊畫一邊說。
「目前的架構是,來一個客人,我們就派一個服務員全程跟著。
客人點菜、吃飯、買單,服務員都得等著。
客人多了,服務員就不夠用了。」
他在旁邊畫了另一個圖。
「我們可以換個思路。
只留一個前台接待員。
所有客人的請求先到前台登記。
前台把請求分類,扔到後面的隊列里。
廚房做好了,再通知前台叫號。
這就是IO多路復用。」
陳浩寫下幾個英文單詞:I/O Multiplexing。
「利用UNIX系統底層的select或者poll機制,一個線程就可以監控成千上萬個socket連接的狀態。
只有當socket真的有數據可讀寫時,才分配資源去處理。」
陳浩轉過身,看著胡鵬:
「還需要把這塊的同步鎖去掉,換成無鎖隊列。」
實驗室里沒人回應,博士生們有的皺眉沉思,有的還在發懵。
在2000年,NIO(非阻塞I/O)和Reactor模式在學術界已經有了雛形,但在國內的工程實踐中,還屬於非常前沿甚至激進的技術。
大部分人還在死磕多線程優化。
胡鵬的眼睛卻亮了。
他是行家。
陳浩畫的這個圖,雖然簡單,但邏輯閉環非常完美。
它從根本上避開了線程切換的開銷。
「無鎖隊列……」
胡鵬喃喃自語。
「你是說用CAS指令原子操作來替代互斥鎖?」
陳浩點頭。
「是的。硬體級的原子操作,比作業系統級的鎖快幾個數量級。」
胡鵬沉默了片刻。
他看著陳浩,眼神複雜。
「說起來容易,做起來難。」胡鵬指著屏幕。
「這套系統的底層代碼有十幾萬行,重構I/O模型等於換心臟。
離驗收只剩一個月,誰敢動?」
「不用動全身。」
陳浩把馬克筆扔在桌上,走到那個操作電腦的博士生身後,拍了拍他的肩膀。
「師兄,麻煩讓個座。」
那個博士生愣住了,下意識地看向胡鵬。
胡鵬深吸了一口煙,把菸蒂狠狠按滅在菸灰缸里。
「讓他試!」
代碼在其他的電腦都有備份,出問題也不影響。
博士生站起來,讓出了位置。
陳浩坐下,雙手放在鍵盤上。
那是一把老式的機械鍵盤,鍵程很長。
他活動了一下手指,調出了底層的通訊模塊代碼:
NetworkDispatcher.cpp。
陳浩的眼神瞬間變得專注。
他沒有大改業務邏輯,而是直接刪掉了原本臃腫的線程池管理類。
鍵盤敲擊聲開始在實驗室里迴蕩。
噠噠噠,噠噠噠。
陳浩直接引入了sys/select.h庫。
他開始手寫一個簡易的Reactor事件分發器。
fd_set master_set;
FD_ZERO(&master_set);
select(max_fd + 1, &read_fds, NULL, NULL, &timeout);
一行行代碼在黑色的屏幕上流淌。
周圍的博士生慢慢圍了上來。
一開始他們還帶著懷疑,但隨著代碼行數的增加,他們的表情變了。
陳浩的代碼風格極其老練。
變量命名規範,注釋清晰,邏輯結構緊湊得像教科書。
更可怕的是,他幾乎不思考,也不查文檔,那些晦澀的UNIX系統調用函數,仿佛刻在他腦子裡一樣。
胡鵬站在陳浩身後,雙手抱胸。
他越看越心驚。
這哪是大二的學生?
這分明是個浸淫底層開發十幾年的老手!
這種對內存指針的精準控制,對系統內核的理解,甚至超過了他帶的很多博士生。
僅僅半個小時。
陳浩敲下最後一行代碼,保存,退出編輯器。
「編譯。」
陳浩按下回車。
屏幕上開始滾動編譯日誌。
所有人的心都提到了嗓子眼。
Make complete. No errors.
編譯通過。
「跑一下測試吧。」
陳浩站起身,把位置讓了出來。
那個博士生坐回去,重新啟動了壓力測試腳本。
屏幕上的儀錶盤開始跳動。
並發數:
500……
1000……
系統運行平穩,沒有報錯。
1500……
2000……
到了剛才崩潰的臨界點。
所有人都屏住了呼吸。
曲線繼續上揚,沒有絲毫抖動。
2500……
3000……
4000……
最終,數字定格在5200。
而旁邊的CPU占用率,竟然只有60%!
「臥槽……」
一個博士生忍不住爆了句粗口。
這不僅僅是解決了問題,還實現了性能翻倍!
胡鵬死死盯著那個「5200」的數字,一臉的難以置信。
他猛地轉過頭,看向站在一旁正在揉手腕的陳浩。
陳浩從兜里掏出那包萬寶路,抽出一根遞給胡鵬:
「胡院長,要不這就算我的檢查吧?」