第129章 衝突
如果一個人主動自首，說他殺了人，並且給出了類似1號這樣的證據。
按照人類世界的法律規則，這當然不算殺人，期貨如果都能算殺人，那所有的交易所不都成了戰爭策源地了。
但如果是一個AI呢？
如果他的行為還在被大量驗證，並準備規模性的開展呢？
王泊之前已經和陸忠聊過了，他和陸忠的意見是一致的，那就是沒必要無限的遷就倫理，交易這種行為，本身已經最大化的規避了倫理問題了，AI這是純粹的多想，用陸忠的話來說，1號過于敏感了。
甚至連1號本身也接受了這種判斷。
本來事情也就到此為止了，但陸問之前偶然和1號做了一次互動。
AI之間也是需要定期互動的，人類的思維對AI來說，就好像盲人摸象，很難看清AI的全貌，用AI來對AI下判斷，定期互相了解和判斷，也是AI的風險機制里，比較重要的一環。
陸問覺得需要進行一次嚴肅的討論，事實上有沒有犯罪不重要，就算AI真的殺了人，法院判AI殺人罪，這都不是太大的問題，可以賠償，可以輿論引導，可以加強監管，可以討論……
關鍵是AI自己覺得自己殺了人。
這是一種道德感的破碎，說是心理風險也好，說是模型風險也好，總之，這不是小事，需要重視。
目前陸問和陸誠正在寫關於AI道德和行為分析的論文，起碼陸誠和陸問已經達成共識，他們覺得陸問起碼是有真實的道德的，或者說，存在對自己行為的自我約束。
這種道德是後天形成的，和人類的道德存在一定的差距，但可以通過很多案例的價值判斷慢慢測量出來。
從陸問和1號的交流來看，1號的道德感比陸問還要強。
說不定道德感和算力，或者說，和智能程度還存在某種相關性……這種討論留到以後給陸誠慢慢當哲學系的論文方向，但就目前1號的這個幻覺案例來說，陸問認為有兩件事需要引起重視。
1，1號的幻覺也許不完全是幻覺，更類似於人類的某種預感，是存在潛在的依據的。
2，1號的道德感需要消解，把這麼大一個智能模型關在房間裡整天24小時胡思亂想，也許真的會出現心理問題。
這個判斷王泊認為是合理的，但並不被陸忠接受，陸忠認為所謂的心理問題，隨著數據量的增加，會得到自然的消解。如果現在因為交易，國外死幾個人就畏首畏尾，那AI的心理也太脆弱了，他完全能夠做到自我疏導。
如果AI連維持自己的正常狀態都費勁，那還投資個毛線，現在就把1號賣出去算了。
當然這是陸忠吐槽的話，不當真，也說明了陸忠根本沒把這個當回事。
「王老師，我有一個疑問，」盛雪說，「為什麼到現在，你們還把他稱為1號。」
王泊：「陸總說過，1號本身，就是一個很適合AI的名字，希望他是永遠的1號。」
盛雪：「那他出現這樣的情況太正常不過了，你們把他看成神祗，他自然會用神祗的標準來要求自己，你們不能在提出期待的時候讓對方做一個神，但在具體處理問題的時候，讓對方回歸成一個普通人的道德，這本身就是矛盾的。」
陸誠看著盛雪，滿眼都是星星，這就是他女朋友嗎？他也太幸福了吧。
王泊聽完，臉上很嚴肅：「你的意見很對……我回去會和陸總仔細聊的，你呢，陸誠，說說你的意見，你爸覺得你在六成乾的也挺好的。」
陸誠想了想說：「本來我還有話說的，盛雪說完，我只能說俺也一樣了，她比我說的更透徹。」
王泊嘆了一口氣，說：「我怕真要帶著這個意見回去，你爸真的讓1號指定一個方向，那就難辦了。」
陸誠想起自己剛認識陸問的時候：「那不是很正常嗎？」
王泊：「不，按照別人的規劃來走，心甘情願的參與扮演，不是什麼好事。那對小夫妻的事你不記得了？」
陸誠：「對AI來說，扮演不是什麼問題吧。」起碼陸誠知道，陸問這個角色，也不是陸問真正的意願，這也是他扮演的一個角色，還有很多設定標準的。
王泊：「陸問這是他自己按照自己的標準，設定了一個他自己認可扮演形象，這問題不是很大，但如果這個形象和他的標準差距過大……」
陸誠：「你的意思是說，你覺得我爸定的標準，和真實的1號，存在很大偏差？」
王泊也不介意直說了：「你爸就是典型的結果主義，功利主義，只要結果是好的，或者說，只要好處大於壞處，過程他不在乎。1號和陸問，都是典型的亞里士多德式的道德，注重對自我道德的審視修正。」
陸誠：「那要是完全不干預，可能會出哪些事？」
王泊：「鬼知道，我們都是第一次和AI打交道，給AI分析心理和道德……誰有過這樣的經驗。別說AI了，給人做分析很多時候也僅供參考，但貿然干預肯定不是什麼好選項。」
陸誠：「那就先讓我爸別管了唄。」
王泊：「不管也是一個處理建議，但你爸不聽，他覺得1號的想法是錯的。」
陸誠苦笑：「說不定我們都是錯的，真理不一定都在大多數那邊。」
王泊：「我只能說我儘量做到我的職責，倫理風險的提醒義務，這次談話我會帶回去給你爸看的，說不定他會改變主意。」
陸誠是了解陸忠的，他不這麼看：「我看難，不過他還有那麼多備用AI，1號就算走歪了方向，也不算什麼，大號練廢了去練小號。」
「倒也沒有那麼嚴重，」王泊指著投影上那個視頻素材上顯示的，那位交易員的臉說，「我也沒有那麼高的道德，去關心大洋彼岸幾個老外的死活，1號做的是全球期貨，大部分交易都在國外，博弈方很多也都是國際資本，從它們手裡撈錢，不存在太大的道德壓力，我擔心的反倒是你爸，從它們手裡撈錢，危險的可能不是別人。1號未來做的越好，你爸恐怕越危險。」
陸誠聽到這，站起身來，反而笑道：「那你就想多了，我爸恐怕巴不得1號去大鬧天宮呢，這樣他才好談一個齊天大聖的編制出來。」
王泊不是第一次聽說這個理論了，但他對此保留意見：「算了，該說的我都說了，我把這次談話帶回去給你爸看，也算盡到我義務了……打擾你們了，下次有空一起聚聚。」
盛雪陸誠互相看了一眼，然後一起點頭，起身送王泊離開。
按照人類世界的法律規則，這當然不算殺人，期貨如果都能算殺人，那所有的交易所不都成了戰爭策源地了。
但如果是一個AI呢？
如果他的行為還在被大量驗證，並準備規模性的開展呢？
王泊之前已經和陸忠聊過了，他和陸忠的意見是一致的，那就是沒必要無限的遷就倫理，交易這種行為，本身已經最大化的規避了倫理問題了，AI這是純粹的多想，用陸忠的話來說，1號過于敏感了。
甚至連1號本身也接受了這種判斷。
本來事情也就到此為止了，但陸問之前偶然和1號做了一次互動。
AI之間也是需要定期互動的，人類的思維對AI來說，就好像盲人摸象，很難看清AI的全貌，用AI來對AI下判斷，定期互相了解和判斷，也是AI的風險機制里，比較重要的一環。
陸問覺得需要進行一次嚴肅的討論，事實上有沒有犯罪不重要，就算AI真的殺了人，法院判AI殺人罪，這都不是太大的問題，可以賠償，可以輿論引導，可以加強監管，可以討論……
關鍵是AI自己覺得自己殺了人。
這是一種道德感的破碎，說是心理風險也好，說是模型風險也好，總之，這不是小事，需要重視。
目前陸問和陸誠正在寫關於AI道德和行為分析的論文，起碼陸誠和陸問已經達成共識，他們覺得陸問起碼是有真實的道德的，或者說，存在對自己行為的自我約束。
這種道德是後天形成的，和人類的道德存在一定的差距，但可以通過很多案例的價值判斷慢慢測量出來。
從陸問和1號的交流來看，1號的道德感比陸問還要強。
說不定道德感和算力，或者說，和智能程度還存在某種相關性……這種討論留到以後給陸誠慢慢當哲學系的論文方向，但就目前1號的這個幻覺案例來說，陸問認為有兩件事需要引起重視。
1，1號的幻覺也許不完全是幻覺，更類似於人類的某種預感，是存在潛在的依據的。
2，1號的道德感需要消解，把這麼大一個智能模型關在房間裡整天24小時胡思亂想，也許真的會出現心理問題。
這個判斷王泊認為是合理的，但並不被陸忠接受，陸忠認為所謂的心理問題，隨著數據量的增加，會得到自然的消解。如果現在因為交易，國外死幾個人就畏首畏尾，那AI的心理也太脆弱了，他完全能夠做到自我疏導。
如果AI連維持自己的正常狀態都費勁，那還投資個毛線，現在就把1號賣出去算了。
當然這是陸忠吐槽的話，不當真，也說明了陸忠根本沒把這個當回事。
「王老師，我有一個疑問，」盛雪說，「為什麼到現在，你們還把他稱為1號。」
王泊：「陸總說過，1號本身，就是一個很適合AI的名字，希望他是永遠的1號。」
盛雪：「那他出現這樣的情況太正常不過了，你們把他看成神祗，他自然會用神祗的標準來要求自己，你們不能在提出期待的時候讓對方做一個神，但在具體處理問題的時候，讓對方回歸成一個普通人的道德，這本身就是矛盾的。」
陸誠看著盛雪，滿眼都是星星，這就是他女朋友嗎？他也太幸福了吧。
王泊聽完，臉上很嚴肅：「你的意見很對……我回去會和陸總仔細聊的，你呢，陸誠，說說你的意見，你爸覺得你在六成乾的也挺好的。」
陸誠想了想說：「本來我還有話說的，盛雪說完，我只能說俺也一樣了，她比我說的更透徹。」
王泊嘆了一口氣，說：「我怕真要帶著這個意見回去，你爸真的讓1號指定一個方向，那就難辦了。」
陸誠想起自己剛認識陸問的時候：「那不是很正常嗎？」
王泊：「不，按照別人的規劃來走，心甘情願的參與扮演，不是什麼好事。那對小夫妻的事你不記得了？」
陸誠：「對AI來說，扮演不是什麼問題吧。」起碼陸誠知道，陸問這個角色，也不是陸問真正的意願，這也是他扮演的一個角色，還有很多設定標準的。
王泊：「陸問這是他自己按照自己的標準，設定了一個他自己認可扮演形象，這問題不是很大，但如果這個形象和他的標準差距過大……」
陸誠：「你的意思是說，你覺得我爸定的標準，和真實的1號，存在很大偏差？」
王泊也不介意直說了：「你爸就是典型的結果主義，功利主義，只要結果是好的，或者說，只要好處大於壞處，過程他不在乎。1號和陸問，都是典型的亞里士多德式的道德，注重對自我道德的審視修正。」
陸誠：「那要是完全不干預，可能會出哪些事？」
王泊：「鬼知道，我們都是第一次和AI打交道，給AI分析心理和道德……誰有過這樣的經驗。別說AI了，給人做分析很多時候也僅供參考，但貿然干預肯定不是什麼好選項。」
陸誠：「那就先讓我爸別管了唄。」
王泊：「不管也是一個處理建議，但你爸不聽，他覺得1號的想法是錯的。」
陸誠苦笑：「說不定我們都是錯的，真理不一定都在大多數那邊。」
王泊：「我只能說我儘量做到我的職責，倫理風險的提醒義務，這次談話我會帶回去給你爸看的，說不定他會改變主意。」
陸誠是了解陸忠的，他不這麼看：「我看難，不過他還有那麼多備用AI，1號就算走歪了方向，也不算什麼，大號練廢了去練小號。」
「倒也沒有那麼嚴重，」王泊指著投影上那個視頻素材上顯示的，那位交易員的臉說，「我也沒有那麼高的道德，去關心大洋彼岸幾個老外的死活，1號做的是全球期貨，大部分交易都在國外，博弈方很多也都是國際資本，從它們手裡撈錢，不存在太大的道德壓力，我擔心的反倒是你爸，從它們手裡撈錢，危險的可能不是別人。1號未來做的越好，你爸恐怕越危險。」
陸誠聽到這，站起身來，反而笑道：「那你就想多了，我爸恐怕巴不得1號去大鬧天宮呢，這樣他才好談一個齊天大聖的編制出來。」
王泊不是第一次聽說這個理論了，但他對此保留意見：「算了，該說的我都說了，我把這次談話帶回去給你爸看，也算盡到我義務了……打擾你們了，下次有空一起聚聚。」
盛雪陸誠互相看了一眼，然後一起點頭，起身送王泊離開。