第57章 阻擋爬蟲
「搬家？」張健起身快步湊過去看了一眼，「臥槽，這抓取頻率，這是爬蟲啊！誰特麼這麼缺德，大半夜閒的來爬咱們的用戶帖子？」
「查一下IP。」白宇航眼神一凝，身子坐直了。
宛良皓手指飛快地打開網站訪問數據日誌，幾秒鐘後，一行地址跳了出來。
「IP歸屬地……京城。」宛良皓轉頭看向白宇航，「HD區的IP段。」
包廂里的空氣瞬間凝固了。
京城，海淀，爬蟲技術。
這幾個詞組合在一起，在這個年代，指向性太明顯了。
那個剛剛海歸回國不久，在中關村租了個賓館房間，開始搞搜索的男人，或者是那幾家正在陣痛轉型的門戶巨頭，已經聞到了這邊的血腥味。
「看來咱們的動靜，確實比想像中還要大。」白宇航盯著那個閃爍的IP，嘴角勾起一抹冷笑，隨手拿起桌上的打火機，「啪」地打著了火，「這是好事。說明咱們已經入了真正的正規軍的法眼。讓他爬，把咱們的防火牆策略改一下，讓他吃一口漏一口，別讓他吃得太順嘴了。」
宛良皓說話間按照白宇航的想法，改好了防火牆策略。將對啟航校內網的所有訪問要求中，篩選出短時間內的連續訪問刷新的IP，增加了驗證。然後幾人盯著屏幕上不斷實時跳動的日誌，眉頭越鎖越緊，最後忍不住拿筆帽戳了戳顯示器：「這孫子還沒停，頻率反而更高了。你看這請求路徑，專門盯著『班級成員列表』和『用戶個人資料』抓。這是想把咱們的戶口本都給端走啊。」
「HD區的IP，這會兒還沒睡，也是個加班的苦命鬼。」張健湊過來掃了一眼，含糊不清地罵道，「真特麼不要臉，咱們辛辛苦苦拉的人頭，他寫個腳本就想白嫖？老六，要不我順著IP摸過去，給他伺服器種個木馬？」
「別亂來，咱們是正經公司，不干那黑客的勾當。」白宇航把剛點著的煙，架在菸灰缸上，身子前傾，盯著那一行行貪婪的訪問記錄。
2000年的網際網路還是片蠻荒之地，各大門戶和搜尋引擎為了擴充內容庫，派出的爬蟲就像蝗蟲一樣，所過之處寸草不生。
後來著名的robots協議此時在大多數站長眼裡就是個擺設，更別提什麼隱私保護觀念了。
但在白宇航眼裡，這不僅僅是幾個頁面的事，爬走的數據並不能為啟航校內網擴充搜尋引擎的訪問結果，反而將用戶信息暴露在公網上，這是在動啟航的根基。
「他這是在偷咱們的關係鏈。」白宇航手指在桌面上輕叩，「咱們最值錢的不是頁面，是『誰認識誰』這張網。要是被百度或者別的什麼門戶抓走了，咱們的護城河就漏了。」
「那咋整？封IP？」宛良皓看著白宇航，「封了一個，人家換個代理或者IP接著爬，治標不治本。」
「那就把門關上，修個圍牆。」白宇航眼神一凜，迅速做出了決定，「老三，聽我的，改代碼。全站開啟強制登錄驗證。遊客身份只能看首頁和註冊頁，想看內頁？想看班花照片？想看誰是誰同學？必須登錄。」
「全封？」宛良皓愣了一下，「老六，這可是把雙刃劍。搜尋引擎抓不到咱們，以後在網上可就搜不到咱們的內容了，這不等於自絕於網民和用戶嗎？現在的網站，都巴不得把褲衩子脫了，給搜尋引擎看。」
「咱們不一樣。咱們做的是熟人社交，真實社交，不是新聞門戶。」白宇航語氣篤定，「咱們要的是私密感，是安全感。你想想，如果一個女生的照片，隨便誰在百度上一搜就能搜到，還帶著她的名字，她還敢發嗎？只有把牆砌高了，牆裡的人才玩得開。至於流量？咱們靠的是人拉人，不需要那幫冷冰冰的爬蟲帶路。」
見宛良皓還在猶豫，白宇航直接拋出了殺手鐧：「再加一道鎖。給那些訪問頻率異常高的IP，過頁訪問時，直接上驗證碼。」
「驗證碼？那是啥？」屋裡幾個人都一臉茫然。
「就是生成一張滿是噪點和干擾線的圖片，上面隨機寫幾個歪歪扭扭的字母或者是數字，讓用戶輸入對了才能繼續訪問。這個在CSDN開發者論壇上，有直接可以調用的代碼模塊，你下載下來，調試直接用。」白宇航隨手在紙上畫了個草圖，「驗證碼，人眼能勉強認出來，但現在搜尋引擎爬蟲的OCR技術絕對認不出來，專門治這種不請自來的腳本機器人。」
宛良皓眼睛瞬間亮了，一拍大腿：「臥槽，這招損啊！既不用封IP，又能把那幫爬蟲噁心死。行，我這就干！」
鍵盤敲擊聲再次在包廂里密集響起。
宛良皓一邊寫一邊壞笑，仿佛已經看到了對面那個程式設計師抓耳撓腮的樣子。
二十分鐘後。
「上線！」
隨著宛良皓按下回車鍵，防火牆日誌上的畫面瞬間變了。那個來自HD區的IP依舊在瘋狂請求，但返回的狀態碼從一路綠燈的「200」，瞬間變成了一片慘紅的「403 Forbidden」和重定向請求。
「哎喲，還在試呢？」宛良皓看著日誌樂了，「這爬蟲機器人估計懵了，明明剛才還吃著免費自助餐，突然就被保安扔出來了。」
「讓他試。」白宇航看著那一片紅色的拒絕訪問記錄，把煙屁股按滅，「等他發現連個標點符號都爬不走的時候，自然就老實了。咱們的數據，那是金礦，想進礦山？要麼進門買門票，要麼自己找礦挖，想偷？門都沒有。」
宛良皓看著屏幕上終於慢下來，直至消失的異常流量，長出了一口氣，擰開一瓶冰紅茶，灌了一大口：「爽！老六，截住了搜尋引擎的爬蟲，我們伺服器的負載能低不少。哎，你說對面那幫人知道了，現在是不是在罵娘？」
「罵娘是肯定的。」白宇航靠回椅背，嘴角勾起一抹玩味的笑，「不過罵完之後，他們就該琢磨，怎麼給咱們估值了。畢竟，一個連爬蟲都爬不動的網站，才說明裡面的東西是真的值錢。」
「查一下IP。」白宇航眼神一凝，身子坐直了。
宛良皓手指飛快地打開網站訪問數據日誌，幾秒鐘後，一行地址跳了出來。
「IP歸屬地……京城。」宛良皓轉頭看向白宇航，「HD區的IP段。」
包廂里的空氣瞬間凝固了。
京城，海淀，爬蟲技術。
這幾個詞組合在一起，在這個年代，指向性太明顯了。
那個剛剛海歸回國不久，在中關村租了個賓館房間，開始搞搜索的男人，或者是那幾家正在陣痛轉型的門戶巨頭，已經聞到了這邊的血腥味。
「看來咱們的動靜，確實比想像中還要大。」白宇航盯著那個閃爍的IP，嘴角勾起一抹冷笑，隨手拿起桌上的打火機，「啪」地打著了火，「這是好事。說明咱們已經入了真正的正規軍的法眼。讓他爬，把咱們的防火牆策略改一下，讓他吃一口漏一口，別讓他吃得太順嘴了。」
宛良皓說話間按照白宇航的想法，改好了防火牆策略。將對啟航校內網的所有訪問要求中，篩選出短時間內的連續訪問刷新的IP，增加了驗證。然後幾人盯著屏幕上不斷實時跳動的日誌，眉頭越鎖越緊，最後忍不住拿筆帽戳了戳顯示器：「這孫子還沒停，頻率反而更高了。你看這請求路徑，專門盯著『班級成員列表』和『用戶個人資料』抓。這是想把咱們的戶口本都給端走啊。」
「HD區的IP，這會兒還沒睡，也是個加班的苦命鬼。」張健湊過來掃了一眼，含糊不清地罵道，「真特麼不要臉，咱們辛辛苦苦拉的人頭，他寫個腳本就想白嫖？老六，要不我順著IP摸過去，給他伺服器種個木馬？」
「別亂來，咱們是正經公司，不干那黑客的勾當。」白宇航把剛點著的煙，架在菸灰缸上，身子前傾，盯著那一行行貪婪的訪問記錄。
2000年的網際網路還是片蠻荒之地，各大門戶和搜尋引擎為了擴充內容庫，派出的爬蟲就像蝗蟲一樣，所過之處寸草不生。
後來著名的robots協議此時在大多數站長眼裡就是個擺設，更別提什麼隱私保護觀念了。
但在白宇航眼裡，這不僅僅是幾個頁面的事，爬走的數據並不能為啟航校內網擴充搜尋引擎的訪問結果，反而將用戶信息暴露在公網上，這是在動啟航的根基。
「他這是在偷咱們的關係鏈。」白宇航手指在桌面上輕叩，「咱們最值錢的不是頁面，是『誰認識誰』這張網。要是被百度或者別的什麼門戶抓走了，咱們的護城河就漏了。」
「那咋整？封IP？」宛良皓看著白宇航，「封了一個，人家換個代理或者IP接著爬，治標不治本。」
「那就把門關上，修個圍牆。」白宇航眼神一凜，迅速做出了決定，「老三，聽我的，改代碼。全站開啟強制登錄驗證。遊客身份只能看首頁和註冊頁，想看內頁？想看班花照片？想看誰是誰同學？必須登錄。」
「全封？」宛良皓愣了一下，「老六，這可是把雙刃劍。搜尋引擎抓不到咱們，以後在網上可就搜不到咱們的內容了，這不等於自絕於網民和用戶嗎？現在的網站，都巴不得把褲衩子脫了，給搜尋引擎看。」
「咱們不一樣。咱們做的是熟人社交，真實社交，不是新聞門戶。」白宇航語氣篤定，「咱們要的是私密感，是安全感。你想想，如果一個女生的照片，隨便誰在百度上一搜就能搜到，還帶著她的名字，她還敢發嗎？只有把牆砌高了，牆裡的人才玩得開。至於流量？咱們靠的是人拉人，不需要那幫冷冰冰的爬蟲帶路。」
見宛良皓還在猶豫，白宇航直接拋出了殺手鐧：「再加一道鎖。給那些訪問頻率異常高的IP，過頁訪問時，直接上驗證碼。」
「驗證碼？那是啥？」屋裡幾個人都一臉茫然。
「就是生成一張滿是噪點和干擾線的圖片，上面隨機寫幾個歪歪扭扭的字母或者是數字，讓用戶輸入對了才能繼續訪問。這個在CSDN開發者論壇上，有直接可以調用的代碼模塊，你下載下來，調試直接用。」白宇航隨手在紙上畫了個草圖，「驗證碼，人眼能勉強認出來，但現在搜尋引擎爬蟲的OCR技術絕對認不出來，專門治這種不請自來的腳本機器人。」
宛良皓眼睛瞬間亮了，一拍大腿：「臥槽，這招損啊！既不用封IP，又能把那幫爬蟲噁心死。行，我這就干！」
鍵盤敲擊聲再次在包廂里密集響起。
宛良皓一邊寫一邊壞笑，仿佛已經看到了對面那個程式設計師抓耳撓腮的樣子。
二十分鐘後。
「上線！」
隨著宛良皓按下回車鍵，防火牆日誌上的畫面瞬間變了。那個來自HD區的IP依舊在瘋狂請求，但返回的狀態碼從一路綠燈的「200」，瞬間變成了一片慘紅的「403 Forbidden」和重定向請求。
「哎喲，還在試呢？」宛良皓看著日誌樂了，「這爬蟲機器人估計懵了，明明剛才還吃著免費自助餐，突然就被保安扔出來了。」
「讓他試。」白宇航看著那一片紅色的拒絕訪問記錄，把煙屁股按滅，「等他發現連個標點符號都爬不走的時候，自然就老實了。咱們的數據，那是金礦，想進礦山？要麼進門買門票，要麼自己找礦挖，想偷？門都沒有。」
宛良皓看著屏幕上終於慢下來，直至消失的異常流量，長出了一口氣，擰開一瓶冰紅茶，灌了一大口：「爽！老六，截住了搜尋引擎的爬蟲，我們伺服器的負載能低不少。哎，你說對面那幫人知道了，現在是不是在罵娘？」
「罵娘是肯定的。」白宇航靠回椅背，嘴角勾起一抹玩味的笑，「不過罵完之後，他們就該琢磨，怎麼給咱們估值了。畢竟，一個連爬蟲都爬不動的網站，才說明裡面的東西是真的值錢。」