第一百五十九章 工程現實
第159章 工程現實
溫傑擦了擦汗,檢查所有環是否恢復正常運作。他調出監控面板,只見最後一行紅色也變成了綠色。
「隊列清空了。」溫傑鬆了口氣,「廣東那邊的接口回調恢復正常,所有積壓的訂閱已經確認完畢。目前的總訂閱量......七十七萬。」
韓非點了點頭,看著聚集在會議室的眾人。他們先前對這次的轉化率已做好了心理準備,但這個數字仍然遠超預期。幾分鐘前那一張張緊張兮兮的臉孔,如今都被這個數字注入了新的活力,仿佛死灰復燃一般。
七十七萬。兩百萬條推送,百分之三十八點五的轉化率。在系統差點崩掉的情況下。
「非哥,」溫傑說,雙眼不禁流露出笑意,「咱們扛過來了。」
周明發出短促的笑聲:「韓社長,這次的事故雖然不是青鳥這邊的問題,但也算是給咱們提了個醒。同步請求的架構,在爆發式增長面前是有天花板的。異步隊列今天能用上,是因為MVP版本的時候就留了接口。今天這個小插曲倒也不是壞事。因為以後青鳥只會越做越大,現在既然及時發現了短板,那就把削峰填谷的機制徹底固化下來,這樣也就避免今後在更重要的推送中遇到麻煩了。」
「嗯,」韓非說,「周工說得沒錯。有些坑,不掉進去一次,就永遠不知道它在那兒。而只有知道了,以後才能繞著它走。溫傑,把這個寫進下周的技術規劃里。」
「好,我會儘快辦。」溫傑說。
「還有,」周明說,「溫傑今天反應挺快的。這種應急能力,比寫一百行優雅的代碼都值錢。這次算是一個難得的實戰訓練,可遇不可求。」
眾人發出哈哈笑聲。
陳遠山從技術部回到保密會議室,劉振華、方靜和趙國強正在討論剛才的小波折和那個驚人的轉化率。這時他的心情是興奮、高興的,沒有其他言語可以形容。劉振華和方靜臉上也都露出燦爛笑容。但顯然並非所有人都對這個結果感到滿意。他剛走進辦公室就聽見趙國強發表了一番令人掃興的言論。
「劉總,這件事我們必須復盤。韓非如果當時選擇分批推送,而不是一口氣把兩百萬條全砸進去,廣東的系統會崩嗎?當然不會。他這種冒進的做法無異於是在拿我們移動的省級試點當賭注。幸虧最後穩住了,要是沒穩住呢?」
一片寂靜。劉振華和方靜斂起笑容,露出嚴肅表情。
「嗯嗯,我舉雙手同意國強說的。」陳遠山說,話一出口就覺得很有諷刺意味,「我看我們應該把省級試點徹底取消,最好乾脆連魔都的號碼池也關了,這樣更加安全啊。反正只要不做事,那就永遠不會出錯。」
趙國強臉色一變,仿佛被人摑了巴掌。陳遠山在方靜和趙國強中間的椅子上坐下來,大聲咂了咂嘴。
劉振華看著趙國強,眉頭一皺:「國強,你這都什麼思想覺悟?你只看見系統出了些問題,卻沒看到七十七萬新增用戶、38.5%的轉化率。輿論爆發期的黃金窗口期稍縱即逝,如果因為怕出問題就分批推送,等輿論從爆發期轉為了發酵期,公眾的情緒也就從衝動變成了理性關注,轉化率就可能腰斬。創新不是在無菌實驗室裡頭做實驗,而是在炮火中搶陣地。這是戰略窗口期的必然選項。你是想讓創新為流程讓路?這是本末倒置。再說,廣東系統承載力不足,是青鳥的問題嗎?我們自己的技術團隊壓力測試只做到四十萬,實際峰值達到了七十萬,這是我們的短板被市場暴露了。你不去檢討自己內部的系統脆弱性,反而怪合作方跑得太快?一個病人按醫囑吃藥,結果藥有問題,你不去怪藥廠,反倒怪病人不該吃?」
陳遠山哈哈大笑,隨即發現笑的不是時候,於是閉上嘴巴。
「劉總,」趙國強說,「您說創新要在炮火中搶陣地,我同意。但搶陣地之前,是不是該摸清敵人的火力點?韓非知道廣東系統的壓力上限嗎?一個不知道上限的決策,那不叫勇敢,叫盲賭。我作為風控角色,提醒這個盲點,有什麼錯?」
「廣東系統的上限在哪裡?」陳遠山靠上椅背,雙手抱在腦後,「他們自己都不知道。他們做的四十萬並發測試,用的是虛擬數據,沒有模擬真實用戶的狀況。真正的上限只有在真實流量衝擊下才能暴露。韓非的全量推送,恰恰幫我們找到了這個上限。這是寶貴的實戰數據,」他頓了頓,「不是罪證。」
「那他是不是也應該更謹慎一些?」
方靜吸了口氣:「我來告訴你,韓非在全量推送之前讓團隊做了一萬條的三分鐘測試,確認了接口完全通暢。他是在有限信息下做了最優決策。而你坐在總部,看到的是事後完整日誌,當然覺得應該更謹慎。這是典型的事後諸葛亮。如果每個試點單位都要先通過你的絕對安全審核,那不會有任何團隊敢創新。系統崩潰的風險,韓非比你更清楚,但他願意用可控的混亂換取不可逆的先發優勢。而且這次事故的根因是廣東資料庫鎖表,反倒是韓非那邊的快速應急,才保住了業務。」
「青鳥那邊反應快,我承認。但一個健康的系統,不應該靠應急來兜底。他們難道不知道事前預防優於事後補救」嗎?」
「在不知道上限的情況下,怎麼事先防禦?往哪裡防?」方靜抗議說,「按照你的邏輯來看,所有成功的應急都是因為之前的決策有瑕疵。那世界上就不存在好的決策」了,因為任何決策在執行中都有可能遇到意外。判斷決策好壞的依據,不是有沒有出意外,是意外發生後能不能快速恢復。青鳥的異步隊列十幾分鐘就上線了,這反向證明了他們架構設計的彈性和團隊的執行力。更何況責任本就在移動的系統脆弱性,不在青鳥的推送策略。出了問題之後,人家不僅沒有推諉,還快速上線異步隊列幫移動兜了底。你非要把這說成瑕疵,我只能認為你是在為反對而反對。」
「這是僥倖!」趙國強逐漸拉高嗓門,聲音變得尖細刺耳,「你們這是把一次僥倖的成功,當成了方法的正確。但真正的戰略,是不能建立在運氣和應急之上的。如果今天不追究決策過程的問題,明天就會有人用同樣的方式,把整個項目帶進深淵。」
方靜看了陳遠山一眼,陳遠山意味深長地點了點頭。
「你反覆強調不能靠應急,」方靜說,「那我問你,你見過哪個網際網路公司的系統,不是靠著一次次的應急疊代出來的?藤訊的QQ早期整天宕機,微軟的Windows95系統剛出來時以藍屏死機聞名,但人家崩一次就打一個補丁,所以現在WindowsXP才能樣跑遍全世界。如果你要求第一次就完美,那這個項目永遠別上線。這次就算沒有把系統及時穩住,我們也可以技術復盤、快速修復,從中吸取教訓並實現技術升級,好好反思一下為什麼青鳥的伺服器沒問題,移動的卻扛不住。你的穩健,本質上是停滯的遮羞布。」
趙國強張口欲言,劉振華瞪了他一眼,他又把嘴巴合上。
「你的反對沒有建設性,只有破壞性。」劉振華說,口氣十分嚴厲,「你的反對從來不附帶替代方案。你只會說不能全量,卻又說不出來應該推多少、分幾批、每批間隔多久、依據什麼數據判斷下一批。沒有數據支撐、沒有執行細節的反對,不是風險控制,只是情緒宣洩。」
趙國強擠出微笑,作為回應。
「責任和權力必須對等。」劉振華繼續說,「如果按你說的分批推送,分批之間的間隔時間短了同樣會造成訂閱集中爆發,間隔時間長了會錯過窗口期,結果導致轉化率腰斬,三個月完不成五百萬流水。到了那個時候,你願意在報告上簽字,向董事會說明是你建議放棄輿論窗口期的嗎?你不敢,你只敢在安全地帶指手畫腳。因為你只想要提醒的功勞,卻不想要決策的代價。而韓非敢為他的全量推送承擔全部後果,這就是創業者和官僚的區別。」
趙國強的眉毛高高揚起。
劉振華站了起來,朝門口走去:「移動總部的戰略級試點不是實驗室。我們選青鳥,就是看中了他們敢在炮火中衝鋒的基因。如果你不能接受這種文化,那後續的戰略決策會議,你可以選擇不參加。」
「我...
「」
門在劉振華身後砰的一聲關上。陳遠山和方靜朝趙國強看去,只見他瞪著關上的門,露出驚愕的表情。
陳遠山和方靜站起身來,陳遠山微微一笑:「老趙,咱倆認識二十年,我最後勸你一句,別讓風控」變成你不敢衝鋒的藉口。移動的未來,不是靠不犯錯守出來的,一定是靠敢打仗打出來的。你要是還轉不過這個彎,以後青鳥的技術復盤會,你就聽劉總的,真的別參加了,省得大家還得花時間給你解釋什麼叫工程現實。」
下午四點二十六分,盧海坐在韓非的辦公室,聆聽溫傑述說韓非如何深夜一招妙棋救記者,他們如何趁勢全量推送,打造了訂閱神話,最後又是如何化險為夷,妙手化解系統危機。
盧海眨眨眼,嘴巴微張,聽得一愣一愣:「我的老天爺,我走這一天,發生了這麼多大事。溫傑,你剛才說異步隊列......是不是就是那種你先排隊,我待會幾再理你」的意思?」
溫傑蹙起眉頭。
「差不多吧,」韓非說,「反正比你上次在廣東被人套話時,腦子裡的同步處理」快多了。」
溫傑張嘴露牙,捧腹大笑,笑到連口水都滴了出來。
「盧海那哪是同步處理」啊,」張芮伊笑著說,「根本就是內存不足,人家問一句,他卡半天,最後還恢復到出廠設置了。」
盧海終於搞懂這個笑話,跟著溫傑一起笑了起來。
「哎,等等!」盧海大聲說,眉頭深鎖,「我剛才被你們繞進去了,有點兒沒轉過彎來。輿論不是應該越發酵越大嗎?中午剛上了央視,下午網媒又鋪天蓋地,現在快到晚上了,又能上晚間新聞,這關注度明明在往上漲啊。為什麼要趕在下午全量推送?等到今天晚上,不是更多人看到了新聞,轉化率不是應該更高嗎?」
溫傑眨了眨眼,看向韓非,仿佛是覺得盧海這個問題問到了點子上。
韓非看了張芮伊一眼,微微一笑:「盧海這個問題問得好。你覺得輿論是一條一直往上漲的直線,但實際上它是一條拋物線,而且特別陡。」
「什麼意思?」
「你沒經歷今天白天的全過程,所以你可能不太理解。」張芮伊說,「我問你個問題,你覺得用戶在看到新聞之後,從感動」到訂閱」之間,需要多長時間?」
盧海想了想:「呃.....一天?半天?」
張芮伊搖了搖頭:「不對。只有幾個小時,甚至更短。今天中午,央視《新聞30分》
口播了楊正事件的簡訊。雖然只有二十秒,但那是央視。全國幾千萬人在那個時間打開了電視,看到深夜救人、官方表揚這些關鍵詞。這個時候,用戶的情緒是最單純的,可能是感動或憤怒,再或者是敬佩。他們不會想著去分析什麼行業監管漏洞。他們只知道這家出版社的社長救了人,官方點了贊,我要支持它。
「你是說,到晚上就不一樣了?」
「嗯,到晚上會有更多媒體跟進,報導的信源和角度都會變多。有的會深挖黑色產業鏈,有的會討論記者安全,有的會請專家分析監管缺位,甚至會有人開始質疑青鳥是不是在利用這件事給自己做GG。用戶的注意力會被分散,情緒也就會被各種聲音沖淡。他們那時再看到簡訊時,腦子裡想的就不再是這家企業真好」,很可能會變成這事到底誰對誰錯?」或者是我該信誰?」每一個疑問都會讓用戶的行動意願下降,在回復訂閱時多猶豫一秒。而這一秒,就足以讓轉化率腰斬。」
溫傑擦了擦汗,檢查所有環是否恢復正常運作。他調出監控面板,只見最後一行紅色也變成了綠色。
「隊列清空了。」溫傑鬆了口氣,「廣東那邊的接口回調恢復正常,所有積壓的訂閱已經確認完畢。目前的總訂閱量......七十七萬。」
韓非點了點頭,看著聚集在會議室的眾人。他們先前對這次的轉化率已做好了心理準備,但這個數字仍然遠超預期。幾分鐘前那一張張緊張兮兮的臉孔,如今都被這個數字注入了新的活力,仿佛死灰復燃一般。
七十七萬。兩百萬條推送,百分之三十八點五的轉化率。在系統差點崩掉的情況下。
「非哥,」溫傑說,雙眼不禁流露出笑意,「咱們扛過來了。」
周明發出短促的笑聲:「韓社長,這次的事故雖然不是青鳥這邊的問題,但也算是給咱們提了個醒。同步請求的架構,在爆發式增長面前是有天花板的。異步隊列今天能用上,是因為MVP版本的時候就留了接口。今天這個小插曲倒也不是壞事。因為以後青鳥只會越做越大,現在既然及時發現了短板,那就把削峰填谷的機制徹底固化下來,這樣也就避免今後在更重要的推送中遇到麻煩了。」
「嗯,」韓非說,「周工說得沒錯。有些坑,不掉進去一次,就永遠不知道它在那兒。而只有知道了,以後才能繞著它走。溫傑,把這個寫進下周的技術規劃里。」
「好,我會儘快辦。」溫傑說。
「還有,」周明說,「溫傑今天反應挺快的。這種應急能力,比寫一百行優雅的代碼都值錢。這次算是一個難得的實戰訓練,可遇不可求。」
眾人發出哈哈笑聲。
陳遠山從技術部回到保密會議室,劉振華、方靜和趙國強正在討論剛才的小波折和那個驚人的轉化率。這時他的心情是興奮、高興的,沒有其他言語可以形容。劉振華和方靜臉上也都露出燦爛笑容。但顯然並非所有人都對這個結果感到滿意。他剛走進辦公室就聽見趙國強發表了一番令人掃興的言論。
「劉總,這件事我們必須復盤。韓非如果當時選擇分批推送,而不是一口氣把兩百萬條全砸進去,廣東的系統會崩嗎?當然不會。他這種冒進的做法無異於是在拿我們移動的省級試點當賭注。幸虧最後穩住了,要是沒穩住呢?」
一片寂靜。劉振華和方靜斂起笑容,露出嚴肅表情。
「嗯嗯,我舉雙手同意國強說的。」陳遠山說,話一出口就覺得很有諷刺意味,「我看我們應該把省級試點徹底取消,最好乾脆連魔都的號碼池也關了,這樣更加安全啊。反正只要不做事,那就永遠不會出錯。」
趙國強臉色一變,仿佛被人摑了巴掌。陳遠山在方靜和趙國強中間的椅子上坐下來,大聲咂了咂嘴。
劉振華看著趙國強,眉頭一皺:「國強,你這都什麼思想覺悟?你只看見系統出了些問題,卻沒看到七十七萬新增用戶、38.5%的轉化率。輿論爆發期的黃金窗口期稍縱即逝,如果因為怕出問題就分批推送,等輿論從爆發期轉為了發酵期,公眾的情緒也就從衝動變成了理性關注,轉化率就可能腰斬。創新不是在無菌實驗室裡頭做實驗,而是在炮火中搶陣地。這是戰略窗口期的必然選項。你是想讓創新為流程讓路?這是本末倒置。再說,廣東系統承載力不足,是青鳥的問題嗎?我們自己的技術團隊壓力測試只做到四十萬,實際峰值達到了七十萬,這是我們的短板被市場暴露了。你不去檢討自己內部的系統脆弱性,反而怪合作方跑得太快?一個病人按醫囑吃藥,結果藥有問題,你不去怪藥廠,反倒怪病人不該吃?」
陳遠山哈哈大笑,隨即發現笑的不是時候,於是閉上嘴巴。
「劉總,」趙國強說,「您說創新要在炮火中搶陣地,我同意。但搶陣地之前,是不是該摸清敵人的火力點?韓非知道廣東系統的壓力上限嗎?一個不知道上限的決策,那不叫勇敢,叫盲賭。我作為風控角色,提醒這個盲點,有什麼錯?」
「廣東系統的上限在哪裡?」陳遠山靠上椅背,雙手抱在腦後,「他們自己都不知道。他們做的四十萬並發測試,用的是虛擬數據,沒有模擬真實用戶的狀況。真正的上限只有在真實流量衝擊下才能暴露。韓非的全量推送,恰恰幫我們找到了這個上限。這是寶貴的實戰數據,」他頓了頓,「不是罪證。」
「那他是不是也應該更謹慎一些?」
方靜吸了口氣:「我來告訴你,韓非在全量推送之前讓團隊做了一萬條的三分鐘測試,確認了接口完全通暢。他是在有限信息下做了最優決策。而你坐在總部,看到的是事後完整日誌,當然覺得應該更謹慎。這是典型的事後諸葛亮。如果每個試點單位都要先通過你的絕對安全審核,那不會有任何團隊敢創新。系統崩潰的風險,韓非比你更清楚,但他願意用可控的混亂換取不可逆的先發優勢。而且這次事故的根因是廣東資料庫鎖表,反倒是韓非那邊的快速應急,才保住了業務。」
「青鳥那邊反應快,我承認。但一個健康的系統,不應該靠應急來兜底。他們難道不知道事前預防優於事後補救」嗎?」
「在不知道上限的情況下,怎麼事先防禦?往哪裡防?」方靜抗議說,「按照你的邏輯來看,所有成功的應急都是因為之前的決策有瑕疵。那世界上就不存在好的決策」了,因為任何決策在執行中都有可能遇到意外。判斷決策好壞的依據,不是有沒有出意外,是意外發生後能不能快速恢復。青鳥的異步隊列十幾分鐘就上線了,這反向證明了他們架構設計的彈性和團隊的執行力。更何況責任本就在移動的系統脆弱性,不在青鳥的推送策略。出了問題之後,人家不僅沒有推諉,還快速上線異步隊列幫移動兜了底。你非要把這說成瑕疵,我只能認為你是在為反對而反對。」
「這是僥倖!」趙國強逐漸拉高嗓門,聲音變得尖細刺耳,「你們這是把一次僥倖的成功,當成了方法的正確。但真正的戰略,是不能建立在運氣和應急之上的。如果今天不追究決策過程的問題,明天就會有人用同樣的方式,把整個項目帶進深淵。」
方靜看了陳遠山一眼,陳遠山意味深長地點了點頭。
「你反覆強調不能靠應急,」方靜說,「那我問你,你見過哪個網際網路公司的系統,不是靠著一次次的應急疊代出來的?藤訊的QQ早期整天宕機,微軟的Windows95系統剛出來時以藍屏死機聞名,但人家崩一次就打一個補丁,所以現在WindowsXP才能樣跑遍全世界。如果你要求第一次就完美,那這個項目永遠別上線。這次就算沒有把系統及時穩住,我們也可以技術復盤、快速修復,從中吸取教訓並實現技術升級,好好反思一下為什麼青鳥的伺服器沒問題,移動的卻扛不住。你的穩健,本質上是停滯的遮羞布。」
趙國強張口欲言,劉振華瞪了他一眼,他又把嘴巴合上。
「你的反對沒有建設性,只有破壞性。」劉振華說,口氣十分嚴厲,「你的反對從來不附帶替代方案。你只會說不能全量,卻又說不出來應該推多少、分幾批、每批間隔多久、依據什麼數據判斷下一批。沒有數據支撐、沒有執行細節的反對,不是風險控制,只是情緒宣洩。」
趙國強擠出微笑,作為回應。
「責任和權力必須對等。」劉振華繼續說,「如果按你說的分批推送,分批之間的間隔時間短了同樣會造成訂閱集中爆發,間隔時間長了會錯過窗口期,結果導致轉化率腰斬,三個月完不成五百萬流水。到了那個時候,你願意在報告上簽字,向董事會說明是你建議放棄輿論窗口期的嗎?你不敢,你只敢在安全地帶指手畫腳。因為你只想要提醒的功勞,卻不想要決策的代價。而韓非敢為他的全量推送承擔全部後果,這就是創業者和官僚的區別。」
趙國強的眉毛高高揚起。
劉振華站了起來,朝門口走去:「移動總部的戰略級試點不是實驗室。我們選青鳥,就是看中了他們敢在炮火中衝鋒的基因。如果你不能接受這種文化,那後續的戰略決策會議,你可以選擇不參加。」
「我...
「」
門在劉振華身後砰的一聲關上。陳遠山和方靜朝趙國強看去,只見他瞪著關上的門,露出驚愕的表情。
陳遠山和方靜站起身來,陳遠山微微一笑:「老趙,咱倆認識二十年,我最後勸你一句,別讓風控」變成你不敢衝鋒的藉口。移動的未來,不是靠不犯錯守出來的,一定是靠敢打仗打出來的。你要是還轉不過這個彎,以後青鳥的技術復盤會,你就聽劉總的,真的別參加了,省得大家還得花時間給你解釋什麼叫工程現實。」
下午四點二十六分,盧海坐在韓非的辦公室,聆聽溫傑述說韓非如何深夜一招妙棋救記者,他們如何趁勢全量推送,打造了訂閱神話,最後又是如何化險為夷,妙手化解系統危機。
盧海眨眨眼,嘴巴微張,聽得一愣一愣:「我的老天爺,我走這一天,發生了這麼多大事。溫傑,你剛才說異步隊列......是不是就是那種你先排隊,我待會幾再理你」的意思?」
溫傑蹙起眉頭。
「差不多吧,」韓非說,「反正比你上次在廣東被人套話時,腦子裡的同步處理」快多了。」
溫傑張嘴露牙,捧腹大笑,笑到連口水都滴了出來。
「盧海那哪是同步處理」啊,」張芮伊笑著說,「根本就是內存不足,人家問一句,他卡半天,最後還恢復到出廠設置了。」
盧海終於搞懂這個笑話,跟著溫傑一起笑了起來。
「哎,等等!」盧海大聲說,眉頭深鎖,「我剛才被你們繞進去了,有點兒沒轉過彎來。輿論不是應該越發酵越大嗎?中午剛上了央視,下午網媒又鋪天蓋地,現在快到晚上了,又能上晚間新聞,這關注度明明在往上漲啊。為什麼要趕在下午全量推送?等到今天晚上,不是更多人看到了新聞,轉化率不是應該更高嗎?」
溫傑眨了眨眼,看向韓非,仿佛是覺得盧海這個問題問到了點子上。
韓非看了張芮伊一眼,微微一笑:「盧海這個問題問得好。你覺得輿論是一條一直往上漲的直線,但實際上它是一條拋物線,而且特別陡。」
「什麼意思?」
「你沒經歷今天白天的全過程,所以你可能不太理解。」張芮伊說,「我問你個問題,你覺得用戶在看到新聞之後,從感動」到訂閱」之間,需要多長時間?」
盧海想了想:「呃.....一天?半天?」
張芮伊搖了搖頭:「不對。只有幾個小時,甚至更短。今天中午,央視《新聞30分》
口播了楊正事件的簡訊。雖然只有二十秒,但那是央視。全國幾千萬人在那個時間打開了電視,看到深夜救人、官方表揚這些關鍵詞。這個時候,用戶的情緒是最單純的,可能是感動或憤怒,再或者是敬佩。他們不會想著去分析什麼行業監管漏洞。他們只知道這家出版社的社長救了人,官方點了贊,我要支持它。
「你是說,到晚上就不一樣了?」
「嗯,到晚上會有更多媒體跟進,報導的信源和角度都會變多。有的會深挖黑色產業鏈,有的會討論記者安全,有的會請專家分析監管缺位,甚至會有人開始質疑青鳥是不是在利用這件事給自己做GG。用戶的注意力會被分散,情緒也就會被各種聲音沖淡。他們那時再看到簡訊時,腦子裡想的就不再是這家企業真好」,很可能會變成這事到底誰對誰錯?」或者是我該信誰?」每一個疑問都會讓用戶的行動意願下降,在回復訂閱時多猶豫一秒。而這一秒,就足以讓轉化率腰斬。」