第26章 博士很了不起嗎?
??
小林驚訝地說不出話。
竟然被一個高中生鄙視了……
他試探地這個定積分當然不算難,但是絕對不是一個高中生隨隨便便就能做出來的。
更何況還是一個學渣!
而且,他還看出這是個可以利用區間對稱性消元的定積分!
齊物又好像不是學渣?
一個定積分好像沒達到效果,小林又掏出一張卡片。
再試探一下!
上難度!
「同學,聽君一席話,非常受用,我這裡還有一道難題,你能幫我看看嗎?」
小林遞上卡片。
齊物已然察覺眼前這人很奇怪,但是能進校園,應當不是什麼壞人。
出於對難題的渴望,他接過卡片,看向題干:
【考慮一個深度為L的多層感知機(MLP),設損失函數為 E(W,b)。第l層的仿射變換為z^(l)=W^(l)a^(l-1)+b^(l),激活函數為a^(l)=σ(z^(l))。
定義誤差項δ^(l)=▽z^(l)E。
請利用多元微積分的鏈式法則,推導出δ(l)}與δ(l+1)之間的遞推張量表達式,並從雅可比矩陣的譜範數角度,證明當網絡深度 L→∞時,梯度消失或爆炸的必然幾何條件。】
齊物眉頭一皺。
這道題比剛剛那道定積分難太多了!
多元微積分鏈式法則、神經網絡求導、雅可比矩陣、譜範數、動力系統疊代視角……
「你連定積分都不會,看這種題幹啥?」
齊物不解,「年輕人不要好高騖遠啊。」
??
小林無語凝噎。
齊物在潛意識裡是不想解答的,因為不知道來人身份。
但是他的腦子和手卻誠實地運算起來——
死手,快停住!
「基礎的反向傳播推導,不算難。」齊物淡淡道。
小林再次愣住,這道題,普通高中生連符號都看不懂,更別說推導雅可比矩陣的譜半徑了。
「根據多元鏈式法則,第l層的誤差項對z^(l)求偏導,可以直接寫出遞推關係:
δ^(l)=((W^(l+1))^Tδ^(l+1)⊙σ'(z^(l))
⊙你看得懂吧,就是哈達瑪乘積。
梯度消失的幾何條件,這本質上是一個連續線性映射的範數放縮問題。」
齊物抬手在虛空中比劃了一下:「將第l層到第L層的反向傳播看作是多個雅可比矩陣的連乘:
J=∏(k=l)→(L-1) diag(σ'z^(k)) W^(k+1)
取其譜範數‖J‖₂。如果每一層的權重矩陣初始化使得‖W‖₂·‖σ'‖∞<1,那麼根據範數的次乘法性,連乘後的雅可比矩陣譜範數將以指數級衰減,即limL→∞‖J‖₂=0。這就是梯度消失的必然幾何條件。
反之,若大於1,則發生梯度爆炸。
為了避免這個問題,你需要引入殘差連接或者正交初始化策略。
這裡一時半會說不清楚,我要下課了,再見哈。」
齊物說完,拿起手機,轉身走向教學樓。
小林坐在長椅上,嘴巴張得能塞下一個雞蛋。
草稿紙都沒用,就給出了張量表達式?
這傢伙絕對不是學渣,成績榜有誤!
他連忙掏出手機,撥通了張宙的電話,激動地道:「張總,信息有誤,齊物……他絕不是學渣!我出了兩道題考他,都是不到一分鐘就算出來了!
他可能就是我們要找的人!」
電話那頭的張宙沉默了半晌,道:「我知道了。」
此時他剛跟著王德發主任,踏進了蘭蒼二中陳校長的辦公室。
他放下手機,道:「張局、陳校長、王主任,重新認識一下,我是阿力八八達摩院首席AI科學家,張宙。」
王德發愣住了:「啊?您不是來設置獎學金的嗎?」
「不全是。」
張宙道,「我星夜兼程,從杭城趕到蘭蒼縣,只為了尋找貴校一名叫齊物的學生。」
「齊物?」
王德發再次愣住,齊物的大名已經傳到杭城了嗎?
不僅琅琊一中搶人,就連阿力八八這種華夏頂級大企業都對他感興趣?
「齊物?摸底考數學物理滿分的那名同學嗎?」
陳校長也沒想到阿力八八首席科學家竟然會親自蒞臨蘭蒼二中,親切地沏茶,「他摸底考600多分吧。」
「是的,校長,齊物摸底考數理滿分,總分615。」
我去……
張宙倒吸一口涼氣。
看來信息果然有誤!
他剛剛才看過,兩個月前的高二期末考試,齊物的成績僅僅是452,數理不及格。
兩個月,提分160,數理雙滿分?
虧賊!
差點錯過一個天才!
他接過陳校長的茶,又抖出一個驚天消息:「陳校長,王主任,貴校的齊物同學,在我們阿力八八全球數學競賽預賽中的成績,排名全球第一。我此次前來,是為了和齊物見個面,拍點物料宣傳視頻,請貴校大力支持。」
什麼!
張局、陳校長和王主任手裡的茶水差點抖出來!
全球第一!
什麼鬼!
他們雖然不太了解阿力八八數學競賽的含金量,但是掛著全球第一的頭銜,就算是一坨屎,那也是頂級中的頂級!
「我們的比賽含金量極高,選手都是清北、劍橋、普林斯頓、哈佛的博士……」
張局、陳校長和王主任完全呆滯。
你是說?
齊物一個高中生,碾壓一眾名校博士,登頂全球第一?
開什麼國際玩笑。
他們仨真懷疑張宙是騙子。
「這是我的工作證和身份證。」
張宙拿出證件,「還請您安排一下,讓齊物過來見個面。」
「好好好……」
陳校長有些懵,齊物全球第一,那所有的宣傳物料必定會突出齊物是蘭蒼二中的!
二中要出名了!
這是多少錢都買不來的GG啊!
「王主任,快給老周打電話!」
另一邊,齊物剛回教室坐下,老周就風風火火地出現在後門:「齊物,快出來一下!」
齊物走出教室,老周拉著他就往行政樓走。
「發生什麼事了?老周?」
「阿力八八來了兩個人,在校長那裡等著見你呢。」
「阿力八八?」
齊物想了想,為了自己的預賽成績而來?
跟著老周風風火火趕到校長辦公室,剛打開門,就看到五個人坐在沙發上投來了目光。
陳校長、王主任以及一個縣裡的領導?
另外兩個——
咦?
那個年輕點的不是剛剛在操場上問自己數學題的人嗎?
另一個看起來三十七八歲——
張宙盯著走進門的齊物,第一感覺就是沉靜。
面對五個人的目光,他很從容。
內秀之人。
氣質上倒是很像一個學霸。
「齊物,這是阿力八八達摩院首席AI科學家張宙張總,這位是林助理。」
王德發主任笑著介紹道,「他們倆是從杭城趕過來的,想問你點事。」
「齊物同學你好!」
張宙直接起身,伸手,對面若是天才,受得住他的尊敬,「冒昧來訪,是有事相商,沒打擾你上課吧。」
「張總好,各位領導好。」
齊物保持基本的禮貌,「不打擾,您有事就請問。」
「據我們初步閱卷,你在此次阿力八八全球數學競賽預賽中,排名全球第一。」
張宙緩緩道,「出於對成績真實性的嚴謹考證,我們必須對你進行複查,請你諒解。我們同時會拍下相關視頻佐證,後續可能會當做宣傳物料,你是否同意?」
齊物倒也理解。
一個高中生斬獲全球第一,簡直是不敢想像的、駭人聽聞的。
阿力出於嚴謹,複查情有可原。
「無妨,你們拍就是。」齊物淡淡道。
張宙心中暗喜。
若齊物真的有真才實學,那麼這件事必定會引爆網絡,到時候阿力會承接破天流量,賽事的知名度進一步打響。
小林打開了攝像機。
「好的,齊物同學,請你介紹一下自己。」
「齊物,17歲,蘭蒼二中高三在讀。」
「齊物同學,請問這次阿力八八全球數學競賽的預賽試卷,真的是你獨立完成的嗎?」
「是。」齊物點頭。
張宙仔細觀察過齊物的眼神,毫無波動。
無論是公布他成績全球第一,還是問他是否獨立完成,他都安然應對。
張宙心裡信了三分。
他繼續問道:「請恕我冒昧。阿力八八全球數學競賽和傳統IMO並不一樣,它主要針對的是本科以上的學生。你明明只是一個高中生,我也沒查到你參加競賽獲獎的履歷,為什麼你能在一個半小時內拿下滿分呢?」
「為什麼無法理解?」
齊物反問,「高中生拿了好成績就應該被質疑嗎?」
張宙連忙道:「我不是這個意思。齊物同學,你可知道你的對手都是誰?清北、劍橋、普林斯頓、哈佛……來自世界各地的頂尖博士。
據我們初步閱卷,目前的第二名得分僅115分。」
博士?很牛嗎?
齊物心想,我洞察、專注和邏輯都是頂尖博士級別,代數幾何、微積分更是教授級。
「博士很了不起嗎?我看也良莠不齊。」
齊物語出驚人,「而且,坦白說,最後一題我有些失誤,多花了十分鐘。」
小林驚訝地說不出話。
竟然被一個高中生鄙視了……
他試探地這個定積分當然不算難,但是絕對不是一個高中生隨隨便便就能做出來的。
更何況還是一個學渣!
而且,他還看出這是個可以利用區間對稱性消元的定積分!
齊物又好像不是學渣?
一個定積分好像沒達到效果,小林又掏出一張卡片。
再試探一下!
上難度!
「同學,聽君一席話,非常受用,我這裡還有一道難題,你能幫我看看嗎?」
小林遞上卡片。
齊物已然察覺眼前這人很奇怪,但是能進校園,應當不是什麼壞人。
出於對難題的渴望,他接過卡片,看向題干:
【考慮一個深度為L的多層感知機(MLP),設損失函數為 E(W,b)。第l層的仿射變換為z^(l)=W^(l)a^(l-1)+b^(l),激活函數為a^(l)=σ(z^(l))。
定義誤差項δ^(l)=▽z^(l)E。
請利用多元微積分的鏈式法則,推導出δ(l)}與δ(l+1)之間的遞推張量表達式,並從雅可比矩陣的譜範數角度,證明當網絡深度 L→∞時,梯度消失或爆炸的必然幾何條件。】
齊物眉頭一皺。
這道題比剛剛那道定積分難太多了!
多元微積分鏈式法則、神經網絡求導、雅可比矩陣、譜範數、動力系統疊代視角……
「你連定積分都不會,看這種題幹啥?」
齊物不解,「年輕人不要好高騖遠啊。」
??
小林無語凝噎。
齊物在潛意識裡是不想解答的,因為不知道來人身份。
但是他的腦子和手卻誠實地運算起來——
死手,快停住!
「基礎的反向傳播推導,不算難。」齊物淡淡道。
小林再次愣住,這道題,普通高中生連符號都看不懂,更別說推導雅可比矩陣的譜半徑了。
「根據多元鏈式法則,第l層的誤差項對z^(l)求偏導,可以直接寫出遞推關係:
δ^(l)=((W^(l+1))^Tδ^(l+1)⊙σ'(z^(l))
⊙你看得懂吧,就是哈達瑪乘積。
梯度消失的幾何條件,這本質上是一個連續線性映射的範數放縮問題。」
齊物抬手在虛空中比劃了一下:「將第l層到第L層的反向傳播看作是多個雅可比矩陣的連乘:
J=∏(k=l)→(L-1) diag(σ'z^(k)) W^(k+1)
取其譜範數‖J‖₂。如果每一層的權重矩陣初始化使得‖W‖₂·‖σ'‖∞<1,那麼根據範數的次乘法性,連乘後的雅可比矩陣譜範數將以指數級衰減,即limL→∞‖J‖₂=0。這就是梯度消失的必然幾何條件。
反之,若大於1,則發生梯度爆炸。
為了避免這個問題,你需要引入殘差連接或者正交初始化策略。
這裡一時半會說不清楚,我要下課了,再見哈。」
齊物說完,拿起手機,轉身走向教學樓。
小林坐在長椅上,嘴巴張得能塞下一個雞蛋。
草稿紙都沒用,就給出了張量表達式?
這傢伙絕對不是學渣,成績榜有誤!
他連忙掏出手機,撥通了張宙的電話,激動地道:「張總,信息有誤,齊物……他絕不是學渣!我出了兩道題考他,都是不到一分鐘就算出來了!
他可能就是我們要找的人!」
電話那頭的張宙沉默了半晌,道:「我知道了。」
此時他剛跟著王德發主任,踏進了蘭蒼二中陳校長的辦公室。
他放下手機,道:「張局、陳校長、王主任,重新認識一下,我是阿力八八達摩院首席AI科學家,張宙。」
王德發愣住了:「啊?您不是來設置獎學金的嗎?」
「不全是。」
張宙道,「我星夜兼程,從杭城趕到蘭蒼縣,只為了尋找貴校一名叫齊物的學生。」
「齊物?」
王德發再次愣住,齊物的大名已經傳到杭城了嗎?
不僅琅琊一中搶人,就連阿力八八這種華夏頂級大企業都對他感興趣?
「齊物?摸底考數學物理滿分的那名同學嗎?」
陳校長也沒想到阿力八八首席科學家竟然會親自蒞臨蘭蒼二中,親切地沏茶,「他摸底考600多分吧。」
「是的,校長,齊物摸底考數理滿分,總分615。」
我去……
張宙倒吸一口涼氣。
看來信息果然有誤!
他剛剛才看過,兩個月前的高二期末考試,齊物的成績僅僅是452,數理不及格。
兩個月,提分160,數理雙滿分?
虧賊!
差點錯過一個天才!
他接過陳校長的茶,又抖出一個驚天消息:「陳校長,王主任,貴校的齊物同學,在我們阿力八八全球數學競賽預賽中的成績,排名全球第一。我此次前來,是為了和齊物見個面,拍點物料宣傳視頻,請貴校大力支持。」
什麼!
張局、陳校長和王主任手裡的茶水差點抖出來!
全球第一!
什麼鬼!
他們雖然不太了解阿力八八數學競賽的含金量,但是掛著全球第一的頭銜,就算是一坨屎,那也是頂級中的頂級!
「我們的比賽含金量極高,選手都是清北、劍橋、普林斯頓、哈佛的博士……」
張局、陳校長和王主任完全呆滯。
你是說?
齊物一個高中生,碾壓一眾名校博士,登頂全球第一?
開什麼國際玩笑。
他們仨真懷疑張宙是騙子。
「這是我的工作證和身份證。」
張宙拿出證件,「還請您安排一下,讓齊物過來見個面。」
「好好好……」
陳校長有些懵,齊物全球第一,那所有的宣傳物料必定會突出齊物是蘭蒼二中的!
二中要出名了!
這是多少錢都買不來的GG啊!
「王主任,快給老周打電話!」
另一邊,齊物剛回教室坐下,老周就風風火火地出現在後門:「齊物,快出來一下!」
齊物走出教室,老周拉著他就往行政樓走。
「發生什麼事了?老周?」
「阿力八八來了兩個人,在校長那裡等著見你呢。」
「阿力八八?」
齊物想了想,為了自己的預賽成績而來?
跟著老周風風火火趕到校長辦公室,剛打開門,就看到五個人坐在沙發上投來了目光。
陳校長、王主任以及一個縣裡的領導?
另外兩個——
咦?
那個年輕點的不是剛剛在操場上問自己數學題的人嗎?
另一個看起來三十七八歲——
張宙盯著走進門的齊物,第一感覺就是沉靜。
面對五個人的目光,他很從容。
內秀之人。
氣質上倒是很像一個學霸。
「齊物,這是阿力八八達摩院首席AI科學家張宙張總,這位是林助理。」
王德發主任笑著介紹道,「他們倆是從杭城趕過來的,想問你點事。」
「齊物同學你好!」
張宙直接起身,伸手,對面若是天才,受得住他的尊敬,「冒昧來訪,是有事相商,沒打擾你上課吧。」
「張總好,各位領導好。」
齊物保持基本的禮貌,「不打擾,您有事就請問。」
「據我們初步閱卷,你在此次阿力八八全球數學競賽預賽中,排名全球第一。」
張宙緩緩道,「出於對成績真實性的嚴謹考證,我們必須對你進行複查,請你諒解。我們同時會拍下相關視頻佐證,後續可能會當做宣傳物料,你是否同意?」
齊物倒也理解。
一個高中生斬獲全球第一,簡直是不敢想像的、駭人聽聞的。
阿力出於嚴謹,複查情有可原。
「無妨,你們拍就是。」齊物淡淡道。
張宙心中暗喜。
若齊物真的有真才實學,那麼這件事必定會引爆網絡,到時候阿力會承接破天流量,賽事的知名度進一步打響。
小林打開了攝像機。
「好的,齊物同學,請你介紹一下自己。」
「齊物,17歲,蘭蒼二中高三在讀。」
「齊物同學,請問這次阿力八八全球數學競賽的預賽試卷,真的是你獨立完成的嗎?」
「是。」齊物點頭。
張宙仔細觀察過齊物的眼神,毫無波動。
無論是公布他成績全球第一,還是問他是否獨立完成,他都安然應對。
張宙心裡信了三分。
他繼續問道:「請恕我冒昧。阿力八八全球數學競賽和傳統IMO並不一樣,它主要針對的是本科以上的學生。你明明只是一個高中生,我也沒查到你參加競賽獲獎的履歷,為什麼你能在一個半小時內拿下滿分呢?」
「為什麼無法理解?」
齊物反問,「高中生拿了好成績就應該被質疑嗎?」
張宙連忙道:「我不是這個意思。齊物同學,你可知道你的對手都是誰?清北、劍橋、普林斯頓、哈佛……來自世界各地的頂尖博士。
據我們初步閱卷,目前的第二名得分僅115分。」
博士?很牛嗎?
齊物心想,我洞察、專注和邏輯都是頂尖博士級別,代數幾何、微積分更是教授級。
「博士很了不起嗎?我看也良莠不齊。」
齊物語出驚人,「而且,坦白說,最後一題我有些失誤,多花了十分鐘。」