第196章 谷歌的大模型框架
谷歌大腦項目組，一直是傑夫·迪恩的一個設想。
他在2008年就曾經提出要創建這樣一個項目組，為此還特意聯繫了吳恩達。
本來雙方一步一步的合作，已經把前期準備工作做完，谷歌方面也在谷歌X實驗室正式對此立項。
但是2010年，陳一然帶著deepflow橫空出世，打的谷歌措手不及，谷歌大腦項目最終停滯了。
他們其實是第一家真正認識到deepflow潛力的公司，當時所有人都被陳一然EDA公司的驚人技術實力轉移了注意力，他們雖然認為deepflow非常強大，但是還是沒有真正認清這個框架的拓展性。
畢竟，陳一然非常沒有共享精神，居然把沒有進行完全開源！也沒有出論文。
但是傑夫·迪恩作為谷歌的技術依仗，在2010年10月就開始對deepflow進行攻堅。
一切目的就是為了繞過他，力求用另一種方法達到同樣的目的。
事實上傑夫·迪恩受到啟發，已經寫出了一篇非常優質的論文，但是他做出來的Transformer從各個方面，都像是deepflow的幼兒版。
好在陳一然還沒有正式提出所謂的人工智慧理念，谷歌認為還有時間，他們只是在內部制定了未來策略，戰略上一切以AI優先。
沒成想，陳一然突然的開發布會，不只是掏出來了豆包這麼一個AI大模型完全體，還直接繞過他們介入了三星。
這在谷歌是完全不可接受的，所以才會擠壓三星，希望可以迫使陳一然和他們談判。
結果讓人很驚喜，陳一然直接掀桌子開始了全面戰爭。
真正讓谷歌膽寒的，是陳一然這次的亞洲行。
誰都不是傻子，陳一然坐的私人飛機完全沒有申請匿名呼號。就這麼明晃晃的去了韓國，谷歌一直有人24小時盯著ADS-B廣播，馬上就發現了。
更不要提三星完全沒有規避的想法，在機場那跟黑幫一樣的接機場面，都被好多本來去拍你明星的站姐拍到網上了。
此後谷歌方面瘋狂的給三星示好，情況發生了兩極反轉。
谷歌甚至提出，可以花錢讓三星預裝谷歌全家桶。
畢竟2011年第三季度，全球的安卓手機出貨量大概是六千萬，其中三星自己就占了一半。不管三星出於什麼問題放棄谷歌全家桶，都意味著安卓平台直接一半的流量就這樣沒有了。
之後幾天，噩耗越來越多。
谷歌本來和LG已經幾乎談好，直接敲定了谷歌全家桶五年的合同。
但是現在這個占有全球安卓百分之十的企業，也發生了轉向，明確拒絕了簽約。
雖然谷歌搞定了HTC，索尼，和摩托羅拉，但是他們三家一共也只占安卓平台的百分之十五出貨量。
安迪·魯賓已經開始絕望，甚至開始提議谷歌需要重新殺回中國，畢竟中國的安卓出貨量也占百分之二十呢。
但這顯然不可能，權衡之下，谷歌只能讓傑夫·迪恩把Transformer趕緊放出去，並且開始在各個方面出擊力求消除deepflow的影響。
首先就是Transformer的論文，他們對deepflow做了全方位的針對，強行反著來。
DeepFlow的底層是動態稀疏注意力，只算強相關詞對，跳掉無關計算。Transformer反過來，每個詞跟全句所有詞全算一遍相關性。
谷歌試圖證明稀疏不是必要的，只要給夠算力，全自注意力自己就能學會哪些詞該關注哪些該忽略。這讓Transformer不需要DeepFlow的注意力路由機制。
DeepFlow的位置編碼是學習出來的，跟多模態注意力共享權重。Transformer直接用正弦餘弦公式硬算，完全不需要訓練。
谷歌希望大家覺得位置編碼簡單到只用三角函數就夠了，不需要DeepFlow那種跟多模態綁定在一起的複雜設計。
DeepFlow里信號根據輸入內容自己選擇走哪幾個計算模塊，Transformer里每一層之後所有人走同一個全連接前饋網絡，不挑信號類型。
谷歌號稱堆足夠多層之後，固定的前饋網絡天然就做到了混合，不需要架構層支持。
DeepFlow從第一天就帶了多模態注意力接口，Transformer則只處理文本翻譯。
谷歌希望先在純文本上跑贏DeepFlow最不關心的翻譯賽道，然後再宣布要往視覺和語音拓展。
DeepFlow靠架構效率，小模型跑高準確率。Transformer論文不避諱計算量，雖然比DeepFlow的訓練成本高出一個數量級。
但谷歌在論文裡迴避了這一點，只說Transformer可以被推到更准。
除了論文上的各種技巧，谷歌也發動了多年的關係網，首先就是開始抨擊deepflow的商業化居然需要授權，開源不絕對就是沒有共享精神。
Transformer可是直接發了論文的，論文公布的那一天他們就相當於放棄了專利進攻性，並且谷歌同步把完整的實現代碼全部發布了出來。
然後谷歌又上線了一個翻譯接口，讓中小開發者可以直接使用，不需要裝框架。
然後谷歌派出了公司最有技術號召力的八個人，開始做全美學術巡演，開始到處派發免費算力劵，力求讓所有相關學生都默認使用他們的Transformer框架。
並且還專門設立了資金池，用於資助所有樂於把deepflow換成Transformer的研究組。
不得不說，谷歌還是很強的，如果陳一然完全不管，谷歌就這麼燒錢，還真有可能把deepflow活生生埋掉。
但是陳一然也不是很擔心，因為Transformer為了規避deepflow的影響，過於強調算力的暴力美學。
但是現在的硬體限制了他們，想做到比肩deepflow相當之困難。
而且谷歌始終不可避免的無法解決一個核心問題，那就是同等算力deepflow就是會更強。
谷歌的各種操作，頂多算是一種強行占座位。
陳一然只要保持自己的優勢就可以了，或者說在各種事情上打擊谷歌。
比如現在，蘋果推出的鴨子全集通，他就準備好好的奶一口。
茉莉和陳一然在如海一般的論文庫中，選中了幾個很有意思的方向，稍加驗證之後決定開始新的項目。
FlowEDA已經有了足夠的積累，是時候設計出自己的第一款晶片了，他要設計一款張量處理器賣給蘋果。大幅削減在搜索和視頻上面的成本。
他在2008年就曾經提出要創建這樣一個項目組，為此還特意聯繫了吳恩達。
本來雙方一步一步的合作，已經把前期準備工作做完，谷歌方面也在谷歌X實驗室正式對此立項。
但是2010年，陳一然帶著deepflow橫空出世，打的谷歌措手不及，谷歌大腦項目最終停滯了。
他們其實是第一家真正認識到deepflow潛力的公司，當時所有人都被陳一然EDA公司的驚人技術實力轉移了注意力，他們雖然認為deepflow非常強大，但是還是沒有真正認清這個框架的拓展性。
畢竟，陳一然非常沒有共享精神，居然把沒有進行完全開源！也沒有出論文。
但是傑夫·迪恩作為谷歌的技術依仗，在2010年10月就開始對deepflow進行攻堅。
一切目的就是為了繞過他，力求用另一種方法達到同樣的目的。
事實上傑夫·迪恩受到啟發，已經寫出了一篇非常優質的論文，但是他做出來的Transformer從各個方面，都像是deepflow的幼兒版。
好在陳一然還沒有正式提出所謂的人工智慧理念，谷歌認為還有時間，他們只是在內部制定了未來策略，戰略上一切以AI優先。
沒成想，陳一然突然的開發布會，不只是掏出來了豆包這麼一個AI大模型完全體，還直接繞過他們介入了三星。
這在谷歌是完全不可接受的，所以才會擠壓三星，希望可以迫使陳一然和他們談判。
結果讓人很驚喜，陳一然直接掀桌子開始了全面戰爭。
真正讓谷歌膽寒的，是陳一然這次的亞洲行。
誰都不是傻子，陳一然坐的私人飛機完全沒有申請匿名呼號。就這麼明晃晃的去了韓國，谷歌一直有人24小時盯著ADS-B廣播，馬上就發現了。
更不要提三星完全沒有規避的想法，在機場那跟黑幫一樣的接機場面，都被好多本來去拍你明星的站姐拍到網上了。
此後谷歌方面瘋狂的給三星示好，情況發生了兩極反轉。
谷歌甚至提出，可以花錢讓三星預裝谷歌全家桶。
畢竟2011年第三季度，全球的安卓手機出貨量大概是六千萬，其中三星自己就占了一半。不管三星出於什麼問題放棄谷歌全家桶，都意味著安卓平台直接一半的流量就這樣沒有了。
之後幾天，噩耗越來越多。
谷歌本來和LG已經幾乎談好，直接敲定了谷歌全家桶五年的合同。
但是現在這個占有全球安卓百分之十的企業，也發生了轉向，明確拒絕了簽約。
雖然谷歌搞定了HTC，索尼，和摩托羅拉，但是他們三家一共也只占安卓平台的百分之十五出貨量。
安迪·魯賓已經開始絕望，甚至開始提議谷歌需要重新殺回中國，畢竟中國的安卓出貨量也占百分之二十呢。
但這顯然不可能，權衡之下，谷歌只能讓傑夫·迪恩把Transformer趕緊放出去，並且開始在各個方面出擊力求消除deepflow的影響。
首先就是Transformer的論文，他們對deepflow做了全方位的針對，強行反著來。
DeepFlow的底層是動態稀疏注意力，只算強相關詞對，跳掉無關計算。Transformer反過來，每個詞跟全句所有詞全算一遍相關性。
谷歌試圖證明稀疏不是必要的，只要給夠算力，全自注意力自己就能學會哪些詞該關注哪些該忽略。這讓Transformer不需要DeepFlow的注意力路由機制。
DeepFlow的位置編碼是學習出來的，跟多模態注意力共享權重。Transformer直接用正弦餘弦公式硬算，完全不需要訓練。
谷歌希望大家覺得位置編碼簡單到只用三角函數就夠了，不需要DeepFlow那種跟多模態綁定在一起的複雜設計。
DeepFlow里信號根據輸入內容自己選擇走哪幾個計算模塊，Transformer里每一層之後所有人走同一個全連接前饋網絡，不挑信號類型。
谷歌號稱堆足夠多層之後，固定的前饋網絡天然就做到了混合，不需要架構層支持。
DeepFlow從第一天就帶了多模態注意力接口，Transformer則只處理文本翻譯。
谷歌希望先在純文本上跑贏DeepFlow最不關心的翻譯賽道，然後再宣布要往視覺和語音拓展。
DeepFlow靠架構效率，小模型跑高準確率。Transformer論文不避諱計算量，雖然比DeepFlow的訓練成本高出一個數量級。
但谷歌在論文裡迴避了這一點，只說Transformer可以被推到更准。
除了論文上的各種技巧，谷歌也發動了多年的關係網，首先就是開始抨擊deepflow的商業化居然需要授權，開源不絕對就是沒有共享精神。
Transformer可是直接發了論文的，論文公布的那一天他們就相當於放棄了專利進攻性，並且谷歌同步把完整的實現代碼全部發布了出來。
然後谷歌又上線了一個翻譯接口，讓中小開發者可以直接使用，不需要裝框架。
然後谷歌派出了公司最有技術號召力的八個人，開始做全美學術巡演，開始到處派發免費算力劵，力求讓所有相關學生都默認使用他們的Transformer框架。
並且還專門設立了資金池，用於資助所有樂於把deepflow換成Transformer的研究組。
不得不說，谷歌還是很強的，如果陳一然完全不管，谷歌就這麼燒錢，還真有可能把deepflow活生生埋掉。
但是陳一然也不是很擔心，因為Transformer為了規避deepflow的影響，過於強調算力的暴力美學。
但是現在的硬體限制了他們，想做到比肩deepflow相當之困難。
而且谷歌始終不可避免的無法解決一個核心問題，那就是同等算力deepflow就是會更強。
谷歌的各種操作，頂多算是一種強行占座位。
陳一然只要保持自己的優勢就可以了，或者說在各種事情上打擊谷歌。
比如現在，蘋果推出的鴨子全集通，他就準備好好的奶一口。
茉莉和陳一然在如海一般的論文庫中，選中了幾個很有意思的方向，稍加驗證之後決定開始新的項目。
FlowEDA已經有了足夠的積累，是時候設計出自己的第一款晶片了，他要設計一款張量處理器賣給蘋果。大幅削減在搜索和視頻上面的成本。