第85章 概率論與數理統計
「有這樣的頻率分析？」池步洲大為震驚。
劉士俠這才回過味來，這不是21世紀，概率論與數理統計這一學科還是一個極為前沿的研究方向。
俄羅斯數學家柯爾莫哥洛夫雖然已於1933年發表了劃時代的《概率論基本概念》，提出了用公式化的數學語言，來研究隨機現象的規律性原則。
但是，當前這些前沿科學尚未翻譯傳播至東亞。
中日兩國科學界，完全沒聽說過「頻率分析」這種新潮概念，更不要說這種概率統計在自然語言規律中的具體應用了，因此，池步洲一臉懵逼，實屬正常。
更不要說齊普夫的詞頻分布定律此時尚未提出。
劉士俠嘆了口氣：看來只有親自給池步洲科普一下後世的理論概念，說明什麼是字頻統計了。
「在任何語言中，都有高頻字詞和低頻字詞……其中，只有極少數的字詞會被經常使用，這些字詞出現的頻率特徵，在經過固定密鑰加密後，其密文仍會符合這種統計學規律。」
「因此，我們只要找出這種規律，並進行重複驗證，就可以根據頻率對應關係，大致得出常用字詞的密碼本……」
劉士俠言簡意賅，但其中蘊含的破譯思路，在這個時代卻堪稱石破天驚。
聞言，池步洲的反應遠比劉士俠預想的還要強烈。
他整個人都仿佛被無形的巨錘「砰」地砸中，張大了嘴巴，連手中的鉛筆「啪嗒」一下掉在地上都沒注意。
但劉士俠看到了他深邃的眼睛裡迸發出灼熱的光彩，是那種大受震撼、思路通達的光彩。
池步洲的聲音因為激動而微微發顫：「劉先生，您剛才所說的……頻率分析？」
「可是通過統計字詞出現的概率來破解密碼？此法……當真聞所未聞，卻又……很可能找出『LA』密碼中，明文和密文的映射關係！」
「不過，日語中字詞出現的頻率，我們該如何獲取？」
這次輪到劉士俠發愣了。
這個時代，還完全沒有電子計算機，據說這玩意還是為了破解密碼才發展起來的專用技術。
更不要說什麼進行自然語言分析的「詞頻統計算法」和「逆向文檔頻率算法」了。
通過人工遍曆日文文本、建立詞彙-頻次對照表？這真的可行嗎？劉士俠陷入了沉思。
任何語言中，出現頻率最高的詞語，往往集中在日常交流或者基礎表達中，比如問候、感謝、日用品等。
所以用日語教材中最常用的基礎字詞表來做分析並不可取，畢竟密文是書面表達，書面表達中字詞的出現頻率和日常生活區別很大。
記憶中，上輩子權威的日文詞頻統計語料庫應該叫做BCCWJ，也就是現代日語書面表達均衡語料庫，但這玩意應該是分析了報紙、小說、公文等億點點樣本庫才得到的字詞出現頻率。
如果用人工去取代計算機做大樣本統計，估計用時極長，比讓猴子在鍵盤上跳舞，得到一篇網絡小說所需要時間還長，甚至直到抗戰結束，這個統計都做不完。
那如果只找最符合密碼文件出處的參考資料做樣本呢？劉士俠的眼睛亮了。
臨時政府那裡應該就存著不少領事館的電報聯絡文本，以及領事館起草、簽發的公函，只要讓林晚秋把這些日語原文搜集起來，美其名曰「系統學習領事館精神」就行。
電光火石間，這些念頭從劉士俠腦中飛掠而過。
「池先生不用擔心，過兩天我會整理一些日本總領事館的日常材料給你，煩請先生以這些文件為樣本，構建日語頻率特徵表。」
雖然這個時代沒有計算機這種高效的統計工具，但我的基礎數據少而精，人力雖慢，但是要方向正確，統計日語詞頻這座高山，總能被一步步征服。
「可行，這個辦法定然可行！分析特定的文本，樣本數量就不會特別大，目標清晰容易量化！」池步洲興奮地搓著手，從地上撿起鉛筆，在一張空白稿紙上畫出幾欄。
「我們可以做聰明的統計者，不必一步登天統計所有字詞。」池步洲在紙上寫下幾個類別。
「首先是日語的高頻結構詞，這些詞是日語結構的核心，是語言的結構的骨架；然後是常用助動詞、功能詞，這些是日語時態的關鍵標記，在公文中非常常用；然後是語言的血肉，特定領域的高頻名詞……」
「尤其我們還猜測出了『LA密碼』中表達數字的密碼映射表，利用這一點，就可以去驗證日期、部·隊番號等信息……」
池步洲越說越多，越說越快，思路如江河般奔涌。
「只是……」劉士俠適時地潑了點冷水，「此法說來簡單，施行卻極難。對領事館的日文文件進行分析，並進行繁瑣細緻的統計工作，絕非一朝一夕之功。」
「只要方向正確，假以時日，必能功成！」池步洲說的斬釘截鐵，「劉先生一席話，真是令我茅塞頓開，恍如撥雲見日！你真是個天才！」
池步洲這位歷史上著名的密碼破譯專家，此時顯然還處於探索的入門階段，但劉士俠提出的頻率分析理念，無異於在他面前打開了一扇全新的大門，讓他看到了一個前所未有的、思路清晰的密碼破譯方向。
劉士俠保持謙遜：「池先生過譽了。此法我也只是從前閱讀一些外文書籍時，零星看到的設想和探討，『如果我看得更遠一點的話，只是因為我站在巨人的肩膀上』。」
「不，你比牛頓還偉大！」」池步洲一拍桌案，語氣里是抑制不住的激動。
「我原以為，破解密碼靠的是運氣和經驗，現在才知道，還需要理論上的『巧勁』。劉先生，謝謝你，你讓我看到了全新的方向。」
……
噹噹當，書房的門被敲響了。
「請進！哦，稍等，我好像把門鎖上了。」
池步洲趕緊拿起幾本書蓋住了那些抄報紙，才起身開門。
白濱英子端著新沏的熱茶進來，客廳里傳來伊莉莎白和宋雅筠逗孩子的笑聲。
白濱英子放下熱茶，退出書房，池步洲和劉士俠對視一眼，都從對方的眼中看到了笑容和希望。
他們要用最原始的紙筆，一點點搭建起破譯密碼的「橋樑」，而這小小的書房，就是他們破解日軍重要情報的「津海黑室」。
劉士俠這才回過味來，這不是21世紀，概率論與數理統計這一學科還是一個極為前沿的研究方向。
俄羅斯數學家柯爾莫哥洛夫雖然已於1933年發表了劃時代的《概率論基本概念》，提出了用公式化的數學語言，來研究隨機現象的規律性原則。
但是，當前這些前沿科學尚未翻譯傳播至東亞。
中日兩國科學界，完全沒聽說過「頻率分析」這種新潮概念，更不要說這種概率統計在自然語言規律中的具體應用了，因此，池步洲一臉懵逼，實屬正常。
更不要說齊普夫的詞頻分布定律此時尚未提出。
劉士俠嘆了口氣：看來只有親自給池步洲科普一下後世的理論概念，說明什麼是字頻統計了。
「在任何語言中，都有高頻字詞和低頻字詞……其中，只有極少數的字詞會被經常使用，這些字詞出現的頻率特徵，在經過固定密鑰加密後，其密文仍會符合這種統計學規律。」
「因此，我們只要找出這種規律，並進行重複驗證，就可以根據頻率對應關係，大致得出常用字詞的密碼本……」
劉士俠言簡意賅，但其中蘊含的破譯思路，在這個時代卻堪稱石破天驚。
聞言，池步洲的反應遠比劉士俠預想的還要強烈。
他整個人都仿佛被無形的巨錘「砰」地砸中，張大了嘴巴，連手中的鉛筆「啪嗒」一下掉在地上都沒注意。
但劉士俠看到了他深邃的眼睛裡迸發出灼熱的光彩，是那種大受震撼、思路通達的光彩。
池步洲的聲音因為激動而微微發顫：「劉先生，您剛才所說的……頻率分析？」
「可是通過統計字詞出現的概率來破解密碼？此法……當真聞所未聞，卻又……很可能找出『LA』密碼中，明文和密文的映射關係！」
「不過，日語中字詞出現的頻率，我們該如何獲取？」
這次輪到劉士俠發愣了。
這個時代，還完全沒有電子計算機，據說這玩意還是為了破解密碼才發展起來的專用技術。
更不要說什麼進行自然語言分析的「詞頻統計算法」和「逆向文檔頻率算法」了。
通過人工遍曆日文文本、建立詞彙-頻次對照表？這真的可行嗎？劉士俠陷入了沉思。
任何語言中，出現頻率最高的詞語，往往集中在日常交流或者基礎表達中，比如問候、感謝、日用品等。
所以用日語教材中最常用的基礎字詞表來做分析並不可取，畢竟密文是書面表達，書面表達中字詞的出現頻率和日常生活區別很大。
記憶中，上輩子權威的日文詞頻統計語料庫應該叫做BCCWJ，也就是現代日語書面表達均衡語料庫，但這玩意應該是分析了報紙、小說、公文等億點點樣本庫才得到的字詞出現頻率。
如果用人工去取代計算機做大樣本統計，估計用時極長，比讓猴子在鍵盤上跳舞，得到一篇網絡小說所需要時間還長，甚至直到抗戰結束，這個統計都做不完。
那如果只找最符合密碼文件出處的參考資料做樣本呢？劉士俠的眼睛亮了。
臨時政府那裡應該就存著不少領事館的電報聯絡文本，以及領事館起草、簽發的公函，只要讓林晚秋把這些日語原文搜集起來，美其名曰「系統學習領事館精神」就行。
電光火石間，這些念頭從劉士俠腦中飛掠而過。
「池先生不用擔心，過兩天我會整理一些日本總領事館的日常材料給你，煩請先生以這些文件為樣本，構建日語頻率特徵表。」
雖然這個時代沒有計算機這種高效的統計工具，但我的基礎數據少而精，人力雖慢，但是要方向正確，統計日語詞頻這座高山，總能被一步步征服。
「可行，這個辦法定然可行！分析特定的文本，樣本數量就不會特別大，目標清晰容易量化！」池步洲興奮地搓著手，從地上撿起鉛筆，在一張空白稿紙上畫出幾欄。
「我們可以做聰明的統計者，不必一步登天統計所有字詞。」池步洲在紙上寫下幾個類別。
「首先是日語的高頻結構詞，這些詞是日語結構的核心，是語言的結構的骨架；然後是常用助動詞、功能詞，這些是日語時態的關鍵標記，在公文中非常常用；然後是語言的血肉，特定領域的高頻名詞……」
「尤其我們還猜測出了『LA密碼』中表達數字的密碼映射表，利用這一點，就可以去驗證日期、部·隊番號等信息……」
池步洲越說越多，越說越快，思路如江河般奔涌。
「只是……」劉士俠適時地潑了點冷水，「此法說來簡單，施行卻極難。對領事館的日文文件進行分析，並進行繁瑣細緻的統計工作，絕非一朝一夕之功。」
「只要方向正確，假以時日，必能功成！」池步洲說的斬釘截鐵，「劉先生一席話，真是令我茅塞頓開，恍如撥雲見日！你真是個天才！」
池步洲這位歷史上著名的密碼破譯專家，此時顯然還處於探索的入門階段，但劉士俠提出的頻率分析理念，無異於在他面前打開了一扇全新的大門，讓他看到了一個前所未有的、思路清晰的密碼破譯方向。
劉士俠保持謙遜：「池先生過譽了。此法我也只是從前閱讀一些外文書籍時，零星看到的設想和探討，『如果我看得更遠一點的話，只是因為我站在巨人的肩膀上』。」
「不，你比牛頓還偉大！」」池步洲一拍桌案，語氣里是抑制不住的激動。
「我原以為，破解密碼靠的是運氣和經驗，現在才知道，還需要理論上的『巧勁』。劉先生，謝謝你，你讓我看到了全新的方向。」
……
噹噹當，書房的門被敲響了。
「請進！哦，稍等，我好像把門鎖上了。」
池步洲趕緊拿起幾本書蓋住了那些抄報紙，才起身開門。
白濱英子端著新沏的熱茶進來，客廳里傳來伊莉莎白和宋雅筠逗孩子的笑聲。
白濱英子放下熱茶，退出書房，池步洲和劉士俠對視一眼，都從對方的眼中看到了笑容和希望。
他們要用最原始的紙筆，一點點搭建起破譯密碼的「橋樑」，而這小小的書房，就是他們破解日軍重要情報的「津海黑室」。