第1825章 遇到問題,分析問題,解決問題
賈瀞雯回到北京時是周一早上。
她沒回家,直接拖著行李箱去了辦公室。
團隊五個人都在,正圍在白板前爭論什麼。
看到她進來,所有人都轉過頭。
「賈總回來了!」
「陳總有什麼指示嗎?」
賈瀞雯放下行李箱,脫掉外套:「先說說你們這邊的進展。」
李明趕緊匯報:「索引結構優化做了第一版,測試結果顯示查詢速度能提升百分之二十左右。
但有個問題,內存占用增加了。」
「分詞算法呢?」
張濤接過話:「常見歧義解決了一部分,但遇到新的問題。
比如『南京市長江大橋』,可以分成『南京市長-江大橋』,也可以分成『南京市-長江大橋』。
這種結構歧義,靠詞典解決不了。」
賈瀞雯點點頭,走到白板前。
她拿起筆,在空白處寫下幾個字:超鏈分析。
「陳總提出了一個新概念。」她轉身看著團隊,「叫超鏈分析。
簡單說,就是通過分析網頁之間的連結關係,來判斷網頁的重要性。」
五個人都愣了。
「連結關係?」王磊問,「什麼意思?」
「一個網頁如果被很多其他網頁連結,說明它可能比較重要,比較權威。」賈瀞雯解釋,「反過來,如果一個網頁連結了很多重要網頁,那它自己可能也是個樞紐。
通過分析整個網絡的連結結構,我們可以給每個網頁打分,這個分數可以用於搜索結果排序。」
會議室里安靜了幾秒。
李明眼睛慢慢亮起來:「這思路……太牛了。
等於是把整個網際網路當成一個投票系統,每個連結就是一票。」
張濤也反應過來:「對!這樣就能解決垃圾頁面堆關鍵詞的問題了。
那些垃圾頁面不會被其他頁面連結,分數自然低。」
「但實現起來很難。」王磊皺起眉,「我們需要分析整個網絡的連結結構,這計算量太大了。」
賈瀞雯放下筆:「所以陳總說了,先做簡化版。
不分析整個網絡,只分析我們已收錄的十萬網頁。
先驗證這個思路是否可行。」
她看著團隊:「陳總給了兩周時間。
兩周內,我們要做出超鏈分析的第一版,集成到排名算法里。」
任務定下來了,但怎麼開始,誰都沒底。
第一天,團隊在查閱資料。
超鏈分析這個概念,國外有論文提到過,但沒見到實際應用。
他們需要自己從頭設計算法。
第二天,李明在白板上畫出了第一版架構圖:「我們需要建兩個矩陣。
一個記錄每個網頁的出鏈,一個記錄入鏈。
然後疊代計算,直到收斂。」
「收斂條件呢?」
「每個網頁的分數變化小於某個閾值。」
「計算量還是大。」張濤搖頭,「十萬網頁,矩陣就是一百億個元素。
現在的伺服器算不動。」
第三天,陳浩打電話來了。
「遇到困難了?」他問。
賈瀞雯實話實說:「算力不夠。
團隊說矩陣太大,疊代計算需要的時間太長。」
電話那頭沉默了一會兒。
「可以簡化。」陳浩說,「第一,不需要算所有網頁。
只計算有入鏈的網頁,那些孤立頁面直接給最低分。
第二,疊代可以分批進行,不需要一次性算完。
第三,分數不需要精確到小數點後很多位,整數就行。」
賈瀞雯把這些記下來,轉告給團隊。
李明聽了,一拍大腿:「對啊!我們可以分塊計算!先把網頁按連結關係分組,組內疊代,組間再疊代。
這樣內存占用能降下來。」
思路打開了,進展就快了。
第一周結束時,他們做出了簡化版的超鏈分析算法。
測試數據很小,只有一千個網頁,但結果令人鼓舞——重要網頁的分數確實高,垃圾網頁的分數確實低。
第二周,開始集成到真實數據里。
問題又來了:十萬網頁的連結關係太複雜,計算一次要八個小時。
「太慢了。」張濤盯著屏幕,「如果每天都要重新計算,根本跟不上網頁更新的速度。」
賈瀞雯給陳浩打電話。
這次陳浩的建議很直接:「增量更新。
每天只計算新增網頁和發生變化的部分,其他的用緩存。」
又是新的挑戰。
但團隊已經適應了這種節奏——遇到問題,分析問題,解決問題。
第二周周四晚上,李明從座位上跳起來。
「出來了!第一次完整計算完成!」
所有人圍過去。
屏幕上顯示著計算結果:十萬網頁,每個都有一個分數。
排在前面的,確實是那些權威網站,新聞門戶,高校主頁。
排在後面的,大多是個人主頁或者GG頁面。
「集成到排名算法里測試一下。」賈瀞雯說。
李明敲了幾行代碼,啟動測試程序。
輸入幾個關鍵詞,搜索結果按新算法排序。
效果明顯。
之前搜「電腦價格」,前排結果里總有幾個堆關鍵詞的垃圾頁面。
現在那些頁面不見了,取而代之的是真正的電腦報價網站。
「準確率!」張濤喊,「測試集準確率升到百分之六十二了!」
辦公室響起掌聲。
連續兩周的加班,值了。
周五,賈瀞雯讓大家休息一天。
她自己沒休息,去了中關村的一棟寫字樓。
公司該換個地方了。
現在那個八十平米的辦公室,六個人已經擠得不行。
隨著超鏈分析的實現,團隊還要招人,需要更大空間。
她看中了一間兩百平的辦公室,在五樓,視野不錯。
租金不便宜,但還能承受。
簽完租約,她開始聯繫裝修。
簡單裝修,隔出辦公區、會議室、休息區,還要有個小廚房。
同時,招聘啟事也發出去了。
這次她要招十五個人:算法工程師、前端開發、系統架構師、還有產品和運營。
簡歷像雪片一樣飛來。
百度公測後的知名度,加上中關村的地理位置,吸引了很多求職者。
賈瀞雯親自面試了每一個技術崗位。
她問的問題很實際:你怎麼理解搜索?如果讓你優化排名算法,你會怎麼做?中文分詞最大的難點是什麼?
有的候選人答得好,有的答得一般。
她最終錄用了十五個人,加上原來的五個,團隊擴充到二十人。
【跪求禮物,免費的為愛發電也行!】
她沒回家,直接拖著行李箱去了辦公室。
團隊五個人都在,正圍在白板前爭論什麼。
看到她進來,所有人都轉過頭。
「賈總回來了!」
「陳總有什麼指示嗎?」
賈瀞雯放下行李箱,脫掉外套:「先說說你們這邊的進展。」
李明趕緊匯報:「索引結構優化做了第一版,測試結果顯示查詢速度能提升百分之二十左右。
但有個問題,內存占用增加了。」
「分詞算法呢?」
張濤接過話:「常見歧義解決了一部分,但遇到新的問題。
比如『南京市長江大橋』,可以分成『南京市長-江大橋』,也可以分成『南京市-長江大橋』。
這種結構歧義,靠詞典解決不了。」
賈瀞雯點點頭,走到白板前。
她拿起筆,在空白處寫下幾個字:超鏈分析。
「陳總提出了一個新概念。」她轉身看著團隊,「叫超鏈分析。
簡單說,就是通過分析網頁之間的連結關係,來判斷網頁的重要性。」
五個人都愣了。
「連結關係?」王磊問,「什麼意思?」
「一個網頁如果被很多其他網頁連結,說明它可能比較重要,比較權威。」賈瀞雯解釋,「反過來,如果一個網頁連結了很多重要網頁,那它自己可能也是個樞紐。
通過分析整個網絡的連結結構,我們可以給每個網頁打分,這個分數可以用於搜索結果排序。」
會議室里安靜了幾秒。
李明眼睛慢慢亮起來:「這思路……太牛了。
等於是把整個網際網路當成一個投票系統,每個連結就是一票。」
張濤也反應過來:「對!這樣就能解決垃圾頁面堆關鍵詞的問題了。
那些垃圾頁面不會被其他頁面連結,分數自然低。」
「但實現起來很難。」王磊皺起眉,「我們需要分析整個網絡的連結結構,這計算量太大了。」
賈瀞雯放下筆:「所以陳總說了,先做簡化版。
不分析整個網絡,只分析我們已收錄的十萬網頁。
先驗證這個思路是否可行。」
她看著團隊:「陳總給了兩周時間。
兩周內,我們要做出超鏈分析的第一版,集成到排名算法里。」
任務定下來了,但怎麼開始,誰都沒底。
第一天,團隊在查閱資料。
超鏈分析這個概念,國外有論文提到過,但沒見到實際應用。
他們需要自己從頭設計算法。
第二天,李明在白板上畫出了第一版架構圖:「我們需要建兩個矩陣。
一個記錄每個網頁的出鏈,一個記錄入鏈。
然後疊代計算,直到收斂。」
「收斂條件呢?」
「每個網頁的分數變化小於某個閾值。」
「計算量還是大。」張濤搖頭,「十萬網頁,矩陣就是一百億個元素。
現在的伺服器算不動。」
第三天,陳浩打電話來了。
「遇到困難了?」他問。
賈瀞雯實話實說:「算力不夠。
團隊說矩陣太大,疊代計算需要的時間太長。」
電話那頭沉默了一會兒。
「可以簡化。」陳浩說,「第一,不需要算所有網頁。
只計算有入鏈的網頁,那些孤立頁面直接給最低分。
第二,疊代可以分批進行,不需要一次性算完。
第三,分數不需要精確到小數點後很多位,整數就行。」
賈瀞雯把這些記下來,轉告給團隊。
李明聽了,一拍大腿:「對啊!我們可以分塊計算!先把網頁按連結關係分組,組內疊代,組間再疊代。
這樣內存占用能降下來。」
思路打開了,進展就快了。
第一周結束時,他們做出了簡化版的超鏈分析算法。
測試數據很小,只有一千個網頁,但結果令人鼓舞——重要網頁的分數確實高,垃圾網頁的分數確實低。
第二周,開始集成到真實數據里。
問題又來了:十萬網頁的連結關係太複雜,計算一次要八個小時。
「太慢了。」張濤盯著屏幕,「如果每天都要重新計算,根本跟不上網頁更新的速度。」
賈瀞雯給陳浩打電話。
這次陳浩的建議很直接:「增量更新。
每天只計算新增網頁和發生變化的部分,其他的用緩存。」
又是新的挑戰。
但團隊已經適應了這種節奏——遇到問題,分析問題,解決問題。
第二周周四晚上,李明從座位上跳起來。
「出來了!第一次完整計算完成!」
所有人圍過去。
屏幕上顯示著計算結果:十萬網頁,每個都有一個分數。
排在前面的,確實是那些權威網站,新聞門戶,高校主頁。
排在後面的,大多是個人主頁或者GG頁面。
「集成到排名算法里測試一下。」賈瀞雯說。
李明敲了幾行代碼,啟動測試程序。
輸入幾個關鍵詞,搜索結果按新算法排序。
效果明顯。
之前搜「電腦價格」,前排結果里總有幾個堆關鍵詞的垃圾頁面。
現在那些頁面不見了,取而代之的是真正的電腦報價網站。
「準確率!」張濤喊,「測試集準確率升到百分之六十二了!」
辦公室響起掌聲。
連續兩周的加班,值了。
周五,賈瀞雯讓大家休息一天。
她自己沒休息,去了中關村的一棟寫字樓。
公司該換個地方了。
現在那個八十平米的辦公室,六個人已經擠得不行。
隨著超鏈分析的實現,團隊還要招人,需要更大空間。
她看中了一間兩百平的辦公室,在五樓,視野不錯。
租金不便宜,但還能承受。
簽完租約,她開始聯繫裝修。
簡單裝修,隔出辦公區、會議室、休息區,還要有個小廚房。
同時,招聘啟事也發出去了。
這次她要招十五個人:算法工程師、前端開發、系統架構師、還有產品和運營。
簡歷像雪片一樣飛來。
百度公測後的知名度,加上中關村的地理位置,吸引了很多求職者。
賈瀞雯親自面試了每一個技術崗位。
她問的問題很實際:你怎麼理解搜索?如果讓你優化排名算法,你會怎麼做?中文分詞最大的難點是什麼?
有的候選人答得好,有的答得一般。
她最終錄用了十五個人,加上原來的五個,團隊擴充到二十人。
【跪求禮物,免費的為愛發電也行!】