第1825章 遇到問題,分析問題,解決問題

投票推薦 加入書籤 小說報錯

  賈瀞雯回到北京時是周一早上。

  她沒回家,直接拖著行李箱去了辦公室。

  團隊五個人都在,正圍在白板前爭論什麼。

  看到她進來,所有人都轉過頭。

  「賈總回來了!」

  「陳總有什麼指示嗎?」

  賈瀞雯放下行李箱,脫掉外套:「先說說你們這邊的進展。」

  李明趕緊匯報:「索引結構優化做了第一版,測試結果顯示查詢速度能提升百分之二十左右。

  但有個問題,內存占用增加了。」

  「分詞算法呢?」

  張濤接過話:「常見歧義解決了一部分,但遇到新的問題。

  比如『南京市長江大橋』,可以分成『南京市長-江大橋』,也可以分成『南京市-長江大橋』。

  這種結構歧義,靠詞典解決不了。」

  賈瀞雯點點頭,走到白板前。

  她拿起筆,在空白處寫下幾個字:超鏈分析。

  「陳總提出了一個新概念。」她轉身看著團隊,「叫超鏈分析。

  簡單說,就是通過分析網頁之間的連結關係,來判斷網頁的重要性。」

  五個人都愣了。

  「連結關係?」王磊問,「什麼意思?」

  「一個網頁如果被很多其他網頁連結,說明它可能比較重要,比較權威。」賈瀞雯解釋,「反過來,如果一個網頁連結了很多重要網頁,那它自己可能也是個樞紐。

  通過分析整個網絡的連結結構,我們可以給每個網頁打分,這個分數可以用於搜索結果排序。」

  會議室里安靜了幾秒。

  李明眼睛慢慢亮起來:「這思路……太牛了。

  等於是把整個網際網路當成一個投票系統,每個連結就是一票。」

  張濤也反應過來:「對!這樣就能解決垃圾頁面堆關鍵詞的問題了。

  那些垃圾頁面不會被其他頁面連結,分數自然低。」

  「但實現起來很難。」王磊皺起眉,「我們需要分析整個網絡的連結結構,這計算量太大了。」

  賈瀞雯放下筆:「所以陳總說了,先做簡化版。

  不分析整個網絡,只分析我們已收錄的十萬網頁。

  先驗證這個思路是否可行。」

  她看著團隊:「陳總給了兩周時間。

  兩周內,我們要做出超鏈分析的第一版,集成到排名算法里。」

  任務定下來了,但怎麼開始,誰都沒底。

  第一天,團隊在查閱資料。

  超鏈分析這個概念,國外有論文提到過,但沒見到實際應用。

  他們需要自己從頭設計算法。

  第二天,李明在白板上畫出了第一版架構圖:「我們需要建兩個矩陣。

  一個記錄每個網頁的出鏈,一個記錄入鏈。

  然後疊代計算,直到收斂。」

  「收斂條件呢?」

  「每個網頁的分數變化小於某個閾值。」

  「計算量還是大。」張濤搖頭,「十萬網頁,矩陣就是一百億個元素。

  現在的伺服器算不動。」

  第三天,陳浩打電話來了。

  「遇到困難了?」他問。

  賈瀞雯實話實說:「算力不夠。

  團隊說矩陣太大,疊代計算需要的時間太長。」

  電話那頭沉默了一會兒。

  「可以簡化。」陳浩說,「第一,不需要算所有網頁。

  只計算有入鏈的網頁,那些孤立頁面直接給最低分。

  第二,疊代可以分批進行,不需要一次性算完。

  第三,分數不需要精確到小數點後很多位,整數就行。」

  賈瀞雯把這些記下來,轉告給團隊。

  李明聽了,一拍大腿:「對啊!我們可以分塊計算!先把網頁按連結關係分組,組內疊代,組間再疊代。


  這樣內存占用能降下來。」

  思路打開了,進展就快了。

  第一周結束時,他們做出了簡化版的超鏈分析算法。

  測試數據很小,只有一千個網頁,但結果令人鼓舞——重要網頁的分數確實高,垃圾網頁的分數確實低。

  第二周,開始集成到真實數據里。

  問題又來了:十萬網頁的連結關係太複雜,計算一次要八個小時。

  「太慢了。」張濤盯著屏幕,「如果每天都要重新計算,根本跟不上網頁更新的速度。」

  賈瀞雯給陳浩打電話。

  這次陳浩的建議很直接:「增量更新。

  每天只計算新增網頁和發生變化的部分,其他的用緩存。」

  又是新的挑戰。

  但團隊已經適應了這種節奏——遇到問題,分析問題,解決問題。

  第二周周四晚上,李明從座位上跳起來。

  「出來了!第一次完整計算完成!」

  所有人圍過去。

  屏幕上顯示著計算結果:十萬網頁,每個都有一個分數。

  排在前面的,確實是那些權威網站,新聞門戶,高校主頁。

  排在後面的,大多是個人主頁或者GG頁面。

  「集成到排名算法里測試一下。」賈瀞雯說。

  李明敲了幾行代碼,啟動測試程序。

  輸入幾個關鍵詞,搜索結果按新算法排序。

  效果明顯。

  之前搜「電腦價格」,前排結果里總有幾個堆關鍵詞的垃圾頁面。

  現在那些頁面不見了,取而代之的是真正的電腦報價網站。

  「準確率!」張濤喊,「測試集準確率升到百分之六十二了!」

  辦公室響起掌聲。

  連續兩周的加班,值了。

  周五,賈瀞雯讓大家休息一天。

  她自己沒休息,去了中關村的一棟寫字樓。

  公司該換個地方了。

  現在那個八十平米的辦公室,六個人已經擠得不行。

  隨著超鏈分析的實現,團隊還要招人,需要更大空間。

  她看中了一間兩百平的辦公室,在五樓,視野不錯。

  租金不便宜,但還能承受。

  簽完租約,她開始聯繫裝修。

  簡單裝修,隔出辦公區、會議室、休息區,還要有個小廚房。

  同時,招聘啟事也發出去了。

  這次她要招十五個人:算法工程師、前端開發、系統架構師、還有產品和運營。

  簡歷像雪片一樣飛來。

  百度公測後的知名度,加上中關村的地理位置,吸引了很多求職者。

  賈瀞雯親自面試了每一個技術崗位。

  她問的問題很實際:你怎麼理解搜索?如果讓你優化排名算法,你會怎麼做?中文分詞最大的難點是什麼?

  有的候選人答得好,有的答得一般。

  她最終錄用了十五個人,加上原來的五個,團隊擴充到二十人。

  【跪求禮物,免費的為愛發電也行!】

章節目錄