愛的恩典機器

閱讀時間約 119 分鐘

譯者前言

這是 Anthropic 執行長 Dario Amodei 於 2024 年 10 月發表的長文〈Machines of Loving Grace: How AI Could Transform the World for the Better〉之中文翻譯版本。原文討論若一切順利，強大人工智慧將如何在生物學、神經科學、經濟發展、和平治理、工作與意義五大領域改變世界。Dario 認為大多數人低估了人工智慧的積極面，正如他們也低估了風險的嚴重性，因此試圖勾勒一個具體而非抽象的正面願景，作為討論起點。

本文僅為原文翻譯，未經個人修改、刪節或重新詮釋，目的在完整保留作者原意。譯文中的判斷、預測、舉例皆屬 Dario 本人觀點，不代表本花園立場。閱讀時請以原文為準，本翻譯供中文讀者快速理解之用。

愛的恩典機器

人工智慧如何讓世界變得更好

我思考並談論了很多關於強大的人工智慧的風險。 我擔任執行長的公司Anthropic對如何降低這些風險做了很多研究。 正因為如此，人們有時會得出結論，我是一個悲觀主義者或「厄人」，認為人工智慧大多是壞的或危險的。 我完全不這麼認為。 事實上，我關注風險的主要原因之一是，它們是我們與我認為的從根本上看是積極的未來之間的唯一東西。 我認為大多數人低估了人工智慧的積極性 ，就像我認為大多數人低估了風險有多嚴重一樣。

在這篇文章中，我試圖勾勒出這個好處可能是什麼樣子——如果 一切順利 ，一個擁有強大人工智慧的世界會是什麼樣子。 當然，沒有人能夠確定或精確地知道未來，強大的人工智慧的影響可能比過去的技術變革更不可預測，所以所有這些都不可避免地包括猜測。 但我的目標是至少是有教養且有用的猜測，即使大多數細節最終是錯誤的，也能捕捉到將要發生的事情的味道。 我包含了很多細節，主要是因為我認為一個具體的願景比一個高度對沖和抽象的願景更能推進討論。

然而，首先，我想簡要解釋一下為什麼我和Anthropic沒有過多地談論強大的人工智慧的優勢，以及為什麼總體而言，我們可能會繼續談論很多風險。 特別是，我做出這個選擇是出於以下願望：

  • 最大化槓桿 。 人工智慧技術的基本發展及其許多（不是全部）好處似乎是不可避免的（除非風險使一切脫軌），從根本上是由強大的市場力量驅動的。 另一方面，風險不是預先確定的，我們的行動可以大大改變風險的可能性。
  • 避免對宣傳的感知 。 談論人工智慧所有驚人好處的人工智慧公司可能會像宣傳者一樣，或者好像他們試圖分散人們對缺點的注意力。 我還認為，原則上說，花太多時間「談論你的書」對你的靈魂是不好的。
  • 避免大而為 。 許多人工智慧風險公眾人物（更不用說人工智慧公司主管人）談論後AGI世界的方式經常讓我關閉，彷彿他們的使命是像先知一樣獨自實現它，帶領他們的人民走向救贖。 我認為將公司視為單方面塑造世界是危險的，將實際技術目標視為本質上是宗教的危險的。
  • 避免「科幻」包袱 。 雖然我認為大多數人低估了強大的人工智慧的優勢，但討論激進人工智慧未來的一小群人通常以過度的「科幻」語氣（例如，以上傳的思想、太空探索或一般的賽博朋克氛圍為特色）。 我認為這導致人們不太認真地對待這些索賠，並給他們注入了一種不現實感。 說白了，問題不在於所描述的技術是否可能或可能（主要文章詳細討論了這一點）——更多的是「振動」在內涵上偷運了一堆文化包袱和關於什麼樣的未來是可取的、各種社會問題將如何發揮等未說明的假設。 結果往往最終被解讀為狹隘的亞文化的幻想，同時對大多數人來說卻令人不情。

然而，儘管有上述所有擔憂，我真的認為討論一個擁有強大人工智慧的美好世界會是什麼樣子很重要，同時盡最大努力避免上述陷阱。 事實上，我認為對未來有一個真正鼓舞人心的願景至關重要，而 不僅僅是 一個滅火計劃。 強大的人工智慧的許多影響是敵對的或危險的，但歸根結底，我們必須 為 之奮鬥，一些每個人都過得更好的積極結果，一些可以團結人們克服爭吵並面對未來的挑戰。 恐懼是一種激勵因素，但這還不夠：我們也需要希望。

強大的人工智慧的積極應用清單非常長（包括機器人、製造、能源等），但我將專注於少數一些在我看來具有直接提高人類生活品質潛力的領域。 我最興奮的五個類別是：

  1. 生物學和身體健康
  2. 神經科學與心理健康
  3. 經濟發展和貧困
  4. 和平與治理
  5. 工作和意義

根據大多數標準，我的預測將是激進的（除了科幻「奇點」願景22

，我確實預計少數人的反應將是「這相當溫和」。 我認為，用推特的用語來說，那些人需要「觸控草」。 但更重要的是，從社會角度來看，馴服是好的。 我認為人們一次只能承受這麼多的變化，我描述的速度可能接近社會在沒有極端動盪的情況下可以吸收的極限。

），但我真誠地指著他們。 我所說的一切都很容易出錯（重複我的觀點），但我至少試圖將我的觀點基於半分析評估，即各個領域的進展可能會加快多少，以及這在實踐中可能意味著什麼。 我很幸運在 生物學和神經科學 方面都有專業經驗，在經濟發展領域我是一個知識淵博的業餘愛好者，但我確信我會弄錯很多東西。 寫這篇文章讓我意識到的一件事是，將一群領域專家（生物學、經濟學、國際關係和其他領域）聚集在一起，為我在這裡製作的內容寫出更好、更明智的版本是有價值的。 最好把我在這裡的努力看成是那個小組的開始提示。

基本假設和框架

為了使整篇文章更加精確和有根據，明確說明我們所說的強大的人工智慧（即5-10年時鐘開始計數的閾值），以及制定一個框架，以思考此類人工智慧一旦出現的影響是有幫助的。

多麼強大的人工智慧（我不喜歡AGI這個詞）33

我發現AGI是一個不精確的術語，它聚集了很多科幻包袱和炒作。 我更喜歡「強大的人工智慧」或「專家級科學和工程」，它們在沒有炒作的情況下達到我的意思。

看起來會是，以及何時（或是否）它到來，這本身就是一個巨大的話題。 這是我公開討論過的，可以寫一篇完全單獨的文章（我可能會在某個時候寫）。 顯然，許多人對強大的人工智慧很快就會建成持懷疑態度，有些人對它是否會建成持懷疑態度。 我認為它最早可能在2026年到來，儘管也有可能需要更長的時間。 但就這篇文章而言，我想把這些問題放在一邊，假設它很快就會出現，並專注於之後的5-10年裡發生的事情。 我還想假設這樣一個系統 會是什麼樣子， 它的能力是什麼以及它如何相互作用，儘管對此存在分歧。

透過 強大的人工智慧 ，我想到了一個人工智慧模型——在形式上可能與今天的法學碩士相似，儘管它可能基於不同的架構，可能涉及幾個互動模型，並且可能受到不同的訓練——具有以下屬性：

  • 就純智慧而言441在生物學、寫程式、數學、工程、寫作等領域，它比諾貝爾獎得主更聰明。 這意味著它可以證明未解決的數學定理，寫出非常好的小說，從頭開始編寫困難的程式庫等。
  • 除了只是一個「你交談的智慧事物」外，它還擁有人類虛擬工作的所有「介面」，包括文字、音訊、影片、滑鼠和鍵盤控制以及網際網路訪問。 它可以參與此介面啟用的任何行動、通訊或遠端操作，包括在網際網路上採取行動、向人類提供指導、訂購材料、指導實驗、觀看影片、製作影片等。 它再次以超越世界上最有能力的人類的技能完成所有這些任務。
  • 它不只是被動地回答問題；相反，它可以被賦予需要幾個小時、幾天或幾周才能完成的任務，然後像聰明的員工那樣自主地完成這些任務，必要時要求澄清。
  • 它沒有物理體現（除了生活在計算機螢幕上），但它可以透過計算機控制現有的物理工具、機器人或實驗室裝置；從理論上講，它甚至可以設計機器人或裝置供自己使用。
  • 用於訓練模型的資源可以重新用於 執行 數百萬個例項（這與~2027年的預測叢集大小相匹配），該模型可以吸收資訊並以大約10倍-100倍人類速度55的速度吸收資訊並生成動作552。 然而，它可能受到物理世界或與之互動的軟體的響應時間的限制。
  • 這百萬份副本中的每一個都可以獨立處理無關的任務，或者如果需要，都可以以人類協作的方式一起工作，也許不同的亞群經過微調，特別擅長特定任務。

我們可以將其總結為「資料中心的天才國家」。

顯然，這樣的實體能夠非常快速地解決非常困難的問題，但弄清楚有多快並不是小事。 在我看來，兩個「極端」的立場都是錯誤的。 首先，你可能會認為世界會在幾秒鐘或幾天的尺度上立即轉變（「 奇點 」），因為優越的智慧建立在自身之上，幾乎立即解決每一個可能的科學、工程和操作任務。 這個問題在於存在真正的物理和實際限制，例如在構建硬體或進行生物實驗方面。 即使是一個由天才組成的新國家也會遇到這些限制。 智力可能非常強大，但它不是神奇的仙塵。

其次，相反，你可能會認為技術進步被現實世界資料或社會因素所飽和或受到速率限制，比人類更好的智力將增加很少66

這可能看起來像一個稻草人的立場，但像 Tyler Cowen 和 Matt Yglesias這樣的 謹慎思想家將其作為一個嚴重的擔憂（儘管我不認為他們完全持有這種觀點），我不認為這很瘋狂。

在我看來，這似乎同樣不可信——我可以想到數百個科學甚至社會問題，其中一大群真正聰明的人會大大加快進步，特別是如果他們不侷限於分析，並且可以在現實世界中實現事情（我們假設的天才國家可以做到這一點，包括透過指導或協助人類團隊）。

我認為真相可能是這兩幅極端圖片的雜亂無章的混合，這因任務和領域而異，而且細節非常微妙。 我認為我們需要新的框架來以富有成效的方式思考這些細節。

經濟學家經常談論「生產要素」：勞動力、土地和資本等。 「勞動力/土地/資本的邊際回報」這一短語抓住了這樣的想法，即在特定情況下，特定因素可能是也可能不是限制因素——例如，空軍需要飛機和飛行員，如果你沒有飛機，僱傭更多飛行員並沒有什麼幫助。 我相信，在人工智慧時代，我們應該談論 智力的邊際回報77。

我所知道的最接近解決這個問題的經濟學工作是關於「通用技術」和「 無形投資 」的工作，這些技術 是 通用技術的 補充 。

並試圖弄清楚哪些其他因素是補充智慧的，當智力非常高時成為限制因素。 我們不習慣以這種方式思考——問「更聰明對這項任務有多大幫助，在什麼時間範圍內？」——但這似乎是概念化一個擁有非常強大的人工智慧的世界的正確方法。

我對限制或補充智力的因素清單的猜測包括：

  • 外部世界的速度 。 智慧代理需要在世界上以互動方式運作，以完成事情並學習883。 但世界只是移動得如此之快。 細胞和動物以固定的速度執行，因此對它們進行實驗需要一定的時間，這可能是不可還原的。 硬體、材料科學、任何涉及與人溝通的事情，甚至我們現有的軟體基礎設施也是如此。 此外，在科學中，通常需要許多實驗按順序進行，每個實驗都從最後一個實驗中學習或建立。 所有這些都意味著，一個重大專案——例如開發癌症治療方法——完成的速度可能有一個不可約的最低速度，即使智力不斷提高，也不能進一步降低。
  • 需要資料 。 有時缺乏原始資料，在沒有原始資料的情況下，更多的情報也無濟於事。 今天的粒子物理學家非常巧妙，並發展了廣泛的理論，但由於粒子加速器資料 非常有限， 缺乏在它們之間做出選擇的資料。 目前還不清楚，如果他們是超級智慧的，他們是否會做得好得多——也許除了加快建造更大的加速器。
  • 內在複雜性 。 有些事情本質上是不可預測或混亂的，即使是最強大的人工智慧也無法比今天的人類或計算機更好地預測或解開它們。 例如，在混沌系統中（如 三體問題 ），即使是極其強大的人工智慧也只能預測在混亂系統中稍遠的領先，994，與今天的人類和計算機相比，4
  • 來自人類的約束 。 許多事情如果不違反法律、傷害人類或擾亂社會，就無法做到。 一個協調一致的人工智慧不會想做這些事情（如果我們有一個不協調的人工智慧，我們又會回到談論風險）。 許多人類社會結構效率低下，甚至是積極有害的，但在尊重臨床試驗的法律要求、人們改變習慣的意願或政府行為等限制的同時，很難改變。 在技術意義上運作良好，但其影響因法規或錯誤的恐懼而大大減少的進步的例子包括核能、 超音速飛行 ， 甚至電梯 。
  • 物理定律 。 這是第一點的更鮮明的版本。 某些物理定律似乎是不可打破的。 不可能以比光速更快的速度旅行。 布丁不會攪拌 。 晶片在 變得不可靠之前， 每平方釐米只能有這麼多的電晶體。 計算需要 每位 擦除 一定的最小能量 ，這限制了世界上計算的密度。

基於 時間尺度 有進一步的區別。 短期內是硬性約束的東西，從長遠來看，可能會變得更加容易被智慧所影響。 例如，智慧可用於開發一種新的實驗正規化，使我們能夠 在體外 學習過去需要活體動物實驗的東西，或構建收集新資料所需的工具（例如更大的粒子加速器），或（在道德限制範圍內）找到繞過基於人類的限制的方法（例如，幫助改進臨床試驗系統，幫助建立臨床試驗官僚主義較少的新司法管轄區，或改進科學本身，使人類臨床試驗不那麼必要或更便宜）。

因此，我們應該想象一個畫面，即智力最初被其他生產要素嚴重瓶頸，但隨著時間的推移，智力本身越來越多地圍繞其他因素，即使它們從未完全溶解（物理定律等一些東西是絕對的） 5 關鍵問題是這一切發生的速度有多快，順序如何。

考慮到上述框架，我將嘗試回答導言中提到的五個領域的問題。

1. 生物學和健康

生物學可能是科學進步具有直接和明確地提高人類生活品質的最大潛力的領域。 在上個世紀，一些最古老的人類苦難（如天花）終於被戰勝了，但還有許多痛苦仍然存在，戰勝它們將是一項巨大的人道主義成就。 除了治癒疾病之外，生物科學原則上可以透過延長人類健康的壽命，增加對我們自身生物過程的控制和自由，並解決我們目前認為是人類狀況不可改變的部分的日常問題來提高人類健康的 基線 品質。

在上一節的「限制因素」語言中，將智慧直接應用於生物學的主要挑戰是資料、物理世界的速度和內在複雜性（事實上，這三者都是相互關聯的）。 在涉及臨床試驗的後期階段，人類的限制也起到了一定的作用。 讓我們一個一個地拿走這些。

細胞、動物甚至化學過程的實驗受到物理世界速度的限制：許多生物協議涉及培養細菌或其他細胞，或者只是等待化學反應的發生，這有時可能需要幾天甚至幾周的時間，沒有明顯的方法來加快速度。 動物實驗可能需要幾個月（或更長時間），而人類實驗通常需要幾年時間（長期結果研究甚至需要幾十年）。 與此有些相關的是，資料往往缺乏——數量不多，而是品質不足：總是缺乏清晰、明確的資料，這些資料將感興趣的生物效應與正在發生的其他10,000個混雜事物隔離開來，或對給定過程中進行因果干預，或直接測量一些影響（而不是以某種間接或嘈雜的方式推斷其後果）。 即使是大量的定量分子資料，比如我在研究質譜技術時收集的蛋白質組學資料，也是嘈雜的，而且漏了很多（這些蛋白質在哪些型別的細胞中？ 細胞的哪個部分？ 在細胞週期的哪個階段？）。

導致這些資料問題的部分原因是內在的複雜性：如果你曾經見過 顯示人類代謝生物化學的圖表 ，你就會知道很難分離出這個複雜系統的任何部分的影響，更難以精確或可預測的方式干預系統。 最後，除了在人類身上進行實驗所需的內在時間外，實際的臨床試驗還涉及許多官僚主義和監管要求，這些要求（在包括我在內的許多人看來）增加了不必要的額外時間並延遲了進展。

鑑於這一切，許多生物學家長期以來一直對人工智慧和「大資料」在生物學中的價值 持懷疑態度 。 從歷史上看，在過去30年中將技能應用於生物學的數學家、計算機科學家和物理學家都相當成功，但並沒有產生最初希望的真正變革性影響。 一些懷疑論因重大和革命性的突破而減少，如 AlphaFold （它剛剛為其創造者贏得了 諾貝爾化學獎 ）和 AlphaProteo 6 但人們仍然認為，人工智慧僅在有限的情況下是（並將繼續）有用。 一個常見的表述是「人工智慧可以更好地分析您的資料，但它不能產生更多資料或提高資料品質。 垃圾進，垃圾出」。

但我認為悲觀的觀點是錯誤地思考人工智慧。 如果我們關於人工智慧進步的核心假設是正確的，那麼思考人工智慧的正確方式不是作為一種資料分析方法，而是作為執行生物學家做 的所有 任務的虛擬生物學家，包括在現實世界中設計和執行實驗（透過控制實驗室機器人或簡單地告訴人類要執行哪些實驗——就像首席研究員對研究生所做的那樣），發明新的生物方法或測量技術等。 正是透過加快 整個研究過程 ，人工智慧才能真正加速生物學。 我想重複一遍，因為當我談論人工智慧改變生物學的能力時，最常見的誤解是：我不是在談論人工智慧僅僅是一種分析資料的工具。 根據本文開頭對強大人工智慧的定義，我談論的是使用人工智慧來執行、指導和改進生物學家所做的幾乎所有事情。

為了更具體地說明我認為加速可能來自哪裡，令人驚訝的是，生物學進步很大一部分來自很少的發現，這些發現通常與廣泛的測量工具或技術有關 7 允許對生物系統進行精確但普遍或可寫程式的干預。 每年可能有~1個這些重大發現，總體而言，它們可以推動了生物學進步的50%以上。 這些發現之所以如此強大，正是因為它們克服了內在的複雜性和資料限制，直接增加了我們對生物過程的理解和控制。 每十年的一些發現使我們對生物學的基本科學理解得以實現，並推動了許多最強大的醫療。

一些例子包括：

  • CRISPR ：一種允許對生物體中任何基因進行實時編輯的技術（用任何其他任意序列替換任何任意基因序列）。 自原始技術開發以來，針對特定細胞型別、提高準確性和減少錯誤基因的編輯 不斷改進 ——所有這些都是人類安全使用所必需的。
  • 各種用於精確觀察正在發生的事情的顯微鏡：先進的光學顯微鏡（具有各種熒光技術、特殊光學等）、電子顯微鏡、原子力顯微鏡等。
  • 基因組測序和合成，在過去幾十年中， 成本下降了 幾個數量級。
  • 光遺傳學 技術允許您透過照亮神經元來啟動神經元。
  • mRNA疫苗 原則上允許我們設計一種針對任何藥物的疫苗，然後快速適應它（當然，mRNA疫苗在新冠肺炎期間出名）。
  • 細胞療法，如 CAR-T ，允許免疫細胞從體內取出並「重新寫程式」，原則上攻擊任何東西。
  • 概念見解，如疾病的細菌理論或實現免疫系統與癌症之間的聯絡 1 。

我要費心列出所有這些技術，因為我想對它們提出一個關鍵的主張： 我認為如果有更多有才華、有創造力的研究人員，它們的發現率可以提高10倍或更多 。 或者，以另一種方式說， 我認為這些發現的智力回報很高 ，生物學和醫學中的其他一切都大多源於這些發現。

我為什麼這麼想？ 因為一些問題的答案，當我們試圖確定「智力迴歸」時，我們應該養成問的習慣。 首先，這些發現通常由少數研究人員做出，通常是同一個人反覆進行，這表明技能而不是隨機搜尋（後者可能表明冗長的實驗是限制因素）。 其次，它們通常「本可以比它們更早製造」：例如，CRISPR是自 20世紀80年代以來已知 的細菌免疫系統的天然成分，但人們又花了25年時間才意識到它可以被重新用於一般基因編輯。 由於缺乏科學界對有前途的方向的支援，它們也經常被推遲多年（見 這個 關於mRNA疫苗發明者的 簡介 ；類似的故事比比皆是）。 第三，成功的專案往往是人們最初認為沒有前途的，而不是大規模資助的努力，而是後顧之憂。 這表明，推動發現的不僅僅是大規模的資源集中，而是獨創性。

最後，儘管其中一些發現具有「連續依賴性」（你需要先進行發現A，以便擁有進行發現B的工具或知識）——這可能會再次造成實驗延遲——但許多，也許大多數，是獨立的，這意味著許多可以同時並行工作。 這些事實，以及我作為生物學家的總體經驗，都強烈地向我表明，如果科學家更聰明，更善於將人類擁有的大量生物學知識聯絡起來（再次考慮CRISPR的例子），將有數百個這樣的發現等待做出。 儘管經過幾十年精心設計的物理建模，但 AlphaFold / AlphaProteo 在解決重要問題方面比人類有效得多的成功，它提供了一個原則證明（儘管是一個狹窄領域中的狹義工具），這應該指明前進的道路。

因此，我猜測強大的

人工智慧至少可以是這些發現的10倍，讓我們在5-10年內獲得未來50-100年的生物進步。1414我不想用關於人工智慧科學未來可能做出的具體發現的猜測來堵塞文字，但這裡有一些可能性的頭腦風暴：
—設計更好的計算工具，如AlphaFold和AlphaProteo——即一個通用的人工智慧系統，加快了我們製作專門的人工智慧計算生物學工具的能力。
—更高效和更有選擇性的CRISPR。
—更先進的細胞療法。
—材料科學和小型化的突破導致了更好的植入裝置。
—更好地控制幹細胞、細胞分化和去分化，以及由此產生的重新生長或重塑組織的能力。
—更好地控制免疫系統：有選擇地開啟它以治療癌症和傳染病，並有選擇地關閉它以解決自身免疫性疾病。

為什麼不是100倍？ 也許這是可能的，但在這裡，連續依賴和實驗時間都變得很重要：在1年內取得100年的進步需要很多事情第一次就做好，包括動物實驗和設計顯微鏡或昂貴的實驗室設施等。 實際上，我對（也許聽起來很荒謬）的想法持開放態度，即我們可以在5-10年內取得 1000年 的進步，但對我們可以在1年內取得100年的進步非常懷疑。 另一種說法是，我認為存在不可避免的持續延遲：實驗和硬體設計有一定的「延遲」，需要迭代一定的「不可還原」次數，以便學習無法邏輯推斷的東西。 但除此之外，大規模的並行可能是可能的 2 。

臨床試驗呢？ 雖然有很多官僚主義和放緩與他們相關的，但事實是很多（儘管絕不是全部！） 他們的緩慢最終源於需要嚴格評估那些幾乎不起作用或模稜兩可的藥物。 可悲的是，對於當今的大多數治療方法來說，情況都是如此：平均癌症藥物的生存率會增加幾個月，同時有需要仔細測量的重大副作用（阿爾茨海默氏症藥物也有類似的故事）。 這導致了大量研究（為了獲得統計能力）和監管機構通常不擅長做出的艱難的權衡，同樣是由於官僚主義和利益衝突的複雜性。

當某樣東西效果非常好時，它的速度會快得多：有一個加速的審批軌道，當效果大小時，審批的便利性要大得多。新冠肺炎的mRNA疫苗在9個月內獲得批准——比平時快得多。 也就是說，即使在這些條件下，臨床試驗仍然太慢——mRNA疫苗 本 應 在2個月內獲得批准 。 但這種延遲（藥物的端到端到端為1年）加上大規模的並行化和需要一些但不要太多的迭代（「幾次嘗試」），與5-10年內的徹底轉變非常相容。 更樂觀的是， 人工智慧生物科學 可能會透過開發更好的動物和細胞實驗模型（甚至模擬）來減少臨床試驗中迭代的需要，這些模型在預測人類將會發生什麼方面更準確。 這對於開發對抗衰老過程的藥物尤為重要，衰老過程持續了幾十年，我們需要更快的迭代迴圈。

最後，關於臨床試驗和社會障礙的話題，值得明確指出的是，在某些方面，生物醫學創新在成功部署方面有著異常 強大的 記錄，與其他一些技術相比， 8 正如介紹中提到的，儘管技術在技術上運作良好，但許多技術還是受到社會因素的阻礙。 這可能表明了對人工智慧能完成什麼的悲觀觀點 。 但生物醫學的獨特之處在於，儘管藥物的開發過程過於繁瑣，但一旦開發出來，它們通常會被成功部署和使用。

綜上所述，我的基本預測是，人工智慧的生物學和醫學將使我們能夠將人類生物學家在未來50-100年內取得的進展壓縮為5-10年。 我將把這稱為「壓縮的21世紀」：在強大的人工智慧開發後，我們將在幾年內在生物學和醫學方面取得整個21世紀取得的所有進展。

雖然預測強大的人工智慧在幾年內能做什麼本質上仍然很困難和推測性，但要問「人類在未來100年內能在沒有幫助的情況下做什麼？」是有一些具體性的。 簡單地看看我們在20世紀取得的成就，或者從21世紀的前20年推斷出來，或者問「10個CRISPR和50個CAR-T」會給我們什麼，所有這些都提供了實用、有根據的方法來估計我們可能從強大的人工智慧中期待的總體進步水準。

下面，我嘗試列出我們可能期待的清單。 這不是基於任何嚴格的方法，幾乎肯定會在細節上被證明是錯誤的，但它試圖跨越我們應該期待的激進主義的一般 水準 ：

  • 幾乎所有 9 可靠預防和治療10自然傳染病10。 鑑於20世紀在抗擊傳染病方面的巨大進步，想象我們或多或少可以在壓縮的21世紀「完成工作」並不激進。mRNA疫苗和類似技術已經為「 一切疫苗 」指路。 傳染病是否 從世界上完全根除 （而不是僅僅在一些地方）取決於第3節討論的關於貧困和不平等的問題。
  • 消除大多數癌症 。 在過去的幾十年裡，癌症死亡率 每年下降約2% ；因此，我們正朝著21世紀以人類科學的速度消除大多數癌症的軌道。 一些亞型已經基本治癒（例如，使用 CAR-T療法 的某些型別的白血病），我可能對非常有選擇性的藥物更興奮，這些藥物在癌症的嬰兒期就針對癌症，並 防止其 生長。 人工智慧還將使治療方案非常 精細地適應 癌症的個性化基因組——這些方案在今天是可能的，但在時間和人類專業知識上非常昂貴，人工智慧應該允許我們擴充套件。 死亡率和發病率似乎都有可能降低95%或更多。 也就是說，癌症非常多樣化和適應性強，可能是這些疾病中最難完全消滅的。 如果各種罕見、困難的惡性腫瘤持續存在，這並不奇怪。
  • 非常有效的預防和有效治療遺傳病 。 大大改進的 胚胎篩查 可能會預防大多數遺傳性疾病，一些更安全、更可靠的CRISPR後代可能會治癒現有人群的大多數遺傳性疾病。 然而，影響很大一部分細胞的全身疾病可能是最後的堅持。
  • 預防阿爾茨海默氏症 。 我們很難弄清楚是什麼原因導致阿爾茨海默氏症（它在某種程度上與β-澱粉樣蛋白有關，但實際細節似乎 非常複雜 ）。 這似乎正是可以用更好的測量工具來解決的問題型別，可以分離生物效應；因此，我對人工智慧解決它的能力持樂觀態度。 一旦我們真正瞭解了正在發生的事情，它很有可能最終可以透過相對簡單的干預來預防。 也就是說，已經存在的阿爾茨海默氏症造成的損害可能很難逆轉。
  • 改善了大多數其他疾病的治療 。 這是糖尿病、肥胖、心臟病、自身免疫性疾病等其他疾病的包羅列類。 其中大多數似乎比癌症和阿爾茨海默氏症「更容易」解決，而且在許多情況下已經急劇下降。 例如，心臟病死亡人數已經下降了50%以上，像 GLP-1激動劑 這樣的簡單干預措施在對抗肥胖和糖尿病方面已經取得了巨大進展。
  • 生物自由 。 在過去的70年裡，在節育、生育、 體重管理 等方面取得了進步。 但我懷疑人工智慧加速的生物學將大大擴充套件可能：體重、外貌、生殖和其他生物過程將完全由人們控制。 我們將在 生物自由 的標題下提及這些 ： 每個人都應該有權選擇他們想成為的東西，並以最吸引他們的方式生活。 當然，會有關於全球平等獲取的重要問題；有關這些問題，請參閱第3節。
  • 人類壽命翻倍 3 這可能看起來很激進，但在20世紀， 預期壽命幾乎增加了2倍 （從40歲到75歲），因此「壓縮21歲」將再次翻倍至150歲，這是「趨勢」。 顯然，減緩實際衰老過程的干預措施將與上個世紀預防（主要是兒童）疾病過早死亡所需的干預措施不同，但變化的幅度並非史無前例[^19]具體來說，已經 存在將大鼠最大壽命延長25-50%的藥物 ，其不良影響有限。 一些動物（例如某些型別的海龜）已經活了200年，所以人類顯然還沒有達到某種理論上限。 可以猜想，最需要的東西可能是可靠的、 非古德哈特 的生物標誌物，因為它將允許實驗和臨床試驗的快速迭代。 一旦人類的壽命達到150歲，我們也許能夠達到「逃逸速度」，爭取足夠的時間，讓今天大多數活著的人能夠想活多久就活多久，儘管這在生物學上肯定不可能。

值得看看這個列表，並反思一下，如果從現在起7-12年內實現這一切（這將與積極的人工智慧時間表一致），世界將變得多麼不同。 不言而喻，這將是一場難以想象的人道主義勝利，一下子消除了困擾人類數千年的大多數禍害。 我的許多朋友和同事都在撫養孩子，當這些孩子長大後，我希望任何提到疾病對他們來說都會像壞血病、 天花 或腺鼠疫對我們聽起來一樣。 那一代人還將從增加的生物自由和自我表達中受益，如果幸運的話，他們也可能能夠隨心所欲地生活。

很難高估這些變化對每個人來說是多麼令人驚訝，除了那些期待強大人工智慧的一小群人之外。 例如，美國數千名經濟學家和政策專家目前正在辯論 如何保持社會保障 和醫療保險的償付能力，以及更廣泛地說，如何降低醫療保健成本（主要由70歲以上的人，特別是癌症等絕症患者消費）。 如果這一切透過2020年，這些專案的情況可能會從根本上改善。

例如，我被告知，每年生產力增長1%甚至0.5%將改變與這些專案相關的預測。 如果本文中所設想的想法成真，生產力的提高可能會比這大得多

，因為工作年齡與退休人口的比例將發生巨大變化。 毫無疑問，這些挑戰將被其他挑戰所取代，例如如何確保廣泛獲得新技術，但值得反思的是，即使生物學是人工智慧成功加速 的唯一 領域，世界將發生多大變化。

2. 神經科學和心靈

在上一節中，我專注於 身體 疾病和生物學，沒有涵蓋神經科學或心理健康。 但神經科學是生物學的一個子學科，心理健康與身體健康一樣重要。 事實上，如果有的話，心理健康甚至比身體健康更直接地影響人類福祉。 由於成癮、抑鬱症、精神分裂症、低功能自閉症、創傷後應激障礙、精神病等問題，數億人的生活品質非常低 4 或智力障礙。 還有數十億人與日常問題作鬥爭，這些問題通常可以被解釋為這些嚴重臨床疾病之一的較輕的版本。 與一般生物學一樣，有可能超越解決問題，提高人類經驗的基線品質。

我為生物學制定的基本框架同樣適用於神經科學。 少數發現推動了該領域的發展，這些發現通常與測量或精確干預工具有關——在上述列表中，光遺傳學是神經科學的發現，最近的 清晰 和 擴張顯微鏡 是同一的進步，此外，許多一般細胞生物學方法直接延續到神經科學。 我認為這些進步的速度將同樣被人工智慧加速，因此「5-10年100年進步」的框架適用於神經科學，就像它適用於生物學一樣，原因也同樣。 與生物學一樣，20世紀神經科學的進步是巨大的——例如， 直到20世紀50年代， 我們甚至不明白神經元是如何或為什麼發射 的 。 因此，預計人工智慧加速的神經科學在幾年內會取得快速進展似乎是合理的。

我們應該在這個基本畫面中補充一件事，那就是我們在過去幾年中學到（或正在學習）的關於人工智慧本身的一些東西可能有助於推進神經科學，即使它繼續只由人類完成。 可解釋性 是一個顯而易見的例子：儘管生物神經元表面上以與人工神經元完全不同的方式運作（它們透過峰值和通常的峰值速率進行通訊，因此人工神經元中不存在時間元素，與細胞生理學和神經遞質有關的一堆細節大大改變了它們的操作），但「執行線性/非線性組合操作的簡單單元的分散式、訓練網路如何協同工作以執行重要的計算」的基本問題是相同的，我強烈懷疑在關於計算的大多數有趣問題中，單個神經元通訊的細節將被抽象化 和電路 11 人工智慧系統中可解釋性研究人員發現的 計算機制 最近在小鼠的大腦中 重新發現了 這方面的一個例子。

在人工神經網路上做實驗比在真實神經網路上做實驗要容易得多（後者通常需要切割動物大腦），因此可解釋性很可能成為提高我們對神經科學理解的工具。 此外，強大的人工智慧本身可能能夠比人類更好地開發和應用這個工具。

然而，除了可解釋性之外，我們從人工智慧中學到的關於智慧系統如何 訓練 的知識應該（儘管我還不確定）會引起神經科學的一場革命。 當我在神經科學領域工作時，很多人專注於我現在認為關於學習的錯誤問題，因為 縮放假設 / 苦澀教訓 的概念還不存在。 簡單的目標函式加上大量資料可以驅動令人難以置信的複雜行為，這使得理解客觀函式和架構偏差更有趣，而理解緊急計算的細節則不那麼有趣。 近年來，我沒有密切關注這個領域，但我隱約感覺到，計算神經科學家仍然沒有完全吸收這個教訓。 我對縮放假說的態度一直是「哈哈——這是對智慧如何運作以及它如何如此容易進化的高階解釋」，但我不認為這是普通神經科學家的觀點，部分原因是縮放假說作為「智慧的秘密」即使在人工智慧中也沒有被完全接受。

我認為神經科學家應該嘗試將這種基本見解與人類大腦的特殊性（生物物理限制、進化歷史、拓撲、運動和感官輸入/輸出的細節）相結合，以嘗試找出神經科學的一些關鍵難題。 有些人可能是這樣，但我懷疑這還不夠，人工智慧神經科學家將能夠更有效地利用這個角度來加速進步。

我期望人工智慧將沿著四條不同的路線加速神經科學的進步，所有這些路線都有望共同治療精神疾病和改善功能：

  • 傳統的分子生物學、化學和遺傳學 。 這本質上與第1節中的一般生物學故事相同，人工智慧可能會透過相同的機制加快它。 有許多藥物可以調節神經遞質，以改變大腦功能，影響警覺或感知，改變情緒等，人工智慧可以幫助 我們發明 更多。 人工智慧可能還可以加速對精神疾病的遺傳基礎的研究。
  • 精細神經測量和干預 。 這是測量許多單個神經元或神經元電路正在做的事情的能力，並干預以改變它們的行為。 光遺傳學和神經探針是能夠測量和干預活生物體的技術， 還提出了 一些非常先進的方法（如讀取大量單個神經元發射模式的分子股票帶），原則上似乎是可能的。
  • 先進的計算神經科學 。 如上所述，現代人工智慧的具體見解和 格式塔 可能可以富有成效地應用於 系統神經科學 的問題，也許包括揭示精神病或情緒障礙等複雜疾病的真正原因和動態。
  • 行為干預 。 鑑於神經科學對生物學方面的關注，我沒有過多提及它，但精神病學和心理學當然在20世紀開發了 廣泛的行為干預 ；人工智慧也可以加速這些干預，包括開發新方法和幫助患者堅持現有方法。 更廣泛地說，「人工智慧教練」的想法似乎非常有希望，他總是幫助你成為最好的自己，研究你的互動並幫助你學會更有效。

我的猜測是，這四條共同發展的進展路線，就像身體疾病一樣，即使人工智慧沒有參與其中，也能在未來100年內治癒或預防大多數精神疾病——因此，在人工智慧加速的5-10年內可能會合理地完成。 具體來說，我對會發生什麼的猜測是這樣的：

  • 大多數精神疾病或許是可以治癒的 。 我不是精神疾病專家（我在神經科學方面的時間是建造探針來研究小群神經元），但我的猜測是，創傷後應激障礙、抑鬱症、精神分裂症、成癮等疾病可以透過上述四個方向的組合來發現並非常有效地治療。 答案可能是「生化問題」（儘管可能非常複雜）和「神經網路在高層問題上出錯」的組合。 也就是說，這是一個系統神經科學問題——儘管這並沒有影響上述行為干預的影響。 測量和干預的工具，特別是在活的人類中，似乎可能導致快速迭代和進步。
  • 非常「結構性」的條件可能更困難，但並非不可能 。 有一些證據 表明，精神病與明顯的神經解剖學差異有關——精神病患者的一些大腦區域只是更小或發育較差。 精神病患者也被認為從小就缺乏同理心；無論他們的大腦有什麼不同，可能一直都是這樣。 一些智力障礙，也許還有其他疾病，情況可能也是如此。 重組大腦聽起來很難，但它似乎也是一項智力回報率很高的任務。 也許有某種方法可以將成人大腦哄騙到更早或更可塑的狀態，以便重新塑造它。 我非常不確定這有多大可能，但我的本能是對人工智慧在這裡發明什麼持樂觀態度。
  • 有效的遺傳預防精神疾病似乎是可能的 。 大多數精神疾病是 部分遺傳的 ，全基因組關聯研究 開始 在識別相關因素方面 獲得牽引力 ，這些因素通常數量眾多。 透過胚胎篩查，可能預防其中大多數疾病，類似於身體疾病的故事。 一個區別是，精神疾病更有可能是多基因（許多基因都有貢獻），因此由於複雜性，在不知不覺中選擇與 疾病相關的積極特徵 的風險增加。 然而，奇怪的是，近年來GWAS研究似乎表明，這些 相關性可能被誇大了。 無論如何，人工智慧加速的神經科學可能會幫助我們弄清楚這些事情。 當然，對複雜特徵進行胚胎篩查會引發一些社會問題，並且將引起爭議，儘管我猜大多數人會支援篩查嚴重或衰弱性精神疾病。
  • 我們不認為是臨床疾病的日常問題也會得到解決 。 我們大多數人都有日常的心理問題，這些問題通常不會被認為是臨床疾病的水準。 有些人很容易生氣，有些人難以集中注意力或經常昏昏欲睡，有些人害怕或焦慮，或者對變化反應不好。 今天，藥物已經存在，例如有助於警覺性或注意力集中（咖啡因、莫達非尼、利他林），但與之前的許多其他領域一樣，更有可能。 可能還有很多此類藥物存在，但尚未被發現，也可能有全新的干預方式，如靶向光刺激（見上文光遺傳學）或磁場。 鑑於我們在20世紀開發了多少藥物來調節認知功能和情緒狀態，我對「壓縮21」非常樂觀，每個人都可以讓他們的大腦表現得更好一點，並擁有更充實的日常體驗。
  • 人類的基線體驗可以更好 。 更進一步，許多人經歷了啟示、創造性靈感、同情心、成就感、超越、愛、美麗或冥想和平的非凡時刻。 這些經歷的性質和頻率因人而異，在同一個人的不同時間差異很大，有時也可能被各種藥物觸發（儘管通常有副作用）。 所有這些都表明，「可能體驗的空間」非常廣闊，人們生活中的更大一部分可能由這些非凡的時刻組成。 也有可能全面改善各種認知功能。 這可能是「生物自由」或「延長壽命」的神經科學版本。

在科幻人工智慧描述中經常出現的一個話題，但我故意在這裡沒有討論，那就是「心靈上傳」，即捕捉人類大腦的模式和動態，並在軟體中例項化它們的想法。 這個話題本身就是一篇文章的主題，但足以說明，雖然我認為上傳在原則上幾乎是 可能的 ，但在實踐中，它面臨著重大的技術和社會挑戰，即使有強大的人工智慧，這可能會使其超出我們正在討論的5-10年視窗。

綜上所述，人工智慧加速的神經科學可能會大大改善大多數精神疾病的治療，甚至治癒大多數精神疾病，並大大擴充套件「認知和精神自由」以及人類的認知和情感能力。 它將和上一節中描述的身體健康的改善一樣激進。 也許世界在外表上不會明顯不同，但人類體驗的世界將是一個更好、更人性化的地方，也是一個為自我實現提供更大機會的地方。 我還懷疑，改善心理健康將改善許多其他社會問題，包括那些看似政治或經濟的問題。

3. 經濟發展和貧困

前兩節是關於 開發 治療疾病和提高人類生活品質的新技術。 然而，從人道主義的角度來看，一個顯而易見的問題是：「每個人都能獲得這些技術嗎？」

開發一種疾病的治療方法是一回事，從世界上根除這種疾病是另一回事。 更廣泛地說，許多現有的健康干預措施尚未在世界各地應用，就此而言，（非健康）技術改進也是如此。 另一種說法是，世界許多地方的生活水準仍然極差：撒哈拉以南非洲 的人均國內生產總值 約為2000美元，而美國為約為75,000美元。 如果人工智慧進一步提高了發達國家的經濟增長和生活品質，而對發展中世界沒有什麼幫助，我們應該將此視為可怕的道德失敗，也是前兩節中真正人道主義勝利的缺陷。 理想情況下，強大的人工智慧應該幫助發展中國家 趕上 發達國家，即使它徹底改變了後者。

我對人工智慧能夠解決不平等和經濟增長問題沒有信心，就像我對它能夠發明基本技術那樣有信心，因為技術對智慧有如此明顯的高回報（包括繞過複雜性和缺乏資料的能力），而經濟涉及人類的許多限制，以及大量的內在複雜性。 我有點懷疑人工智慧能解決著名的「 社會主義計算問題 」 12 我認為政府不會（或不應該）將其經濟政策交給這樣的實體，即使它可以這樣做。 還有一些問題，比如如何說服人們接受有效但他們可能懷疑的治療方法。

私營和公共部門 普遍存在的腐敗 使發展中國家面臨的挑戰變得更加複雜。 腐敗造成了惡性迴圈：它 加劇了貧困 ，而貧困反過來又滋生了更多的腐敗。 人工智慧驅動的經濟發展計劃需要考慮到腐敗、薄弱的機構和其他非常人性化的挑戰。

儘管如此，我確實看到了樂觀的重要理由。 疾病 已經 根除，許多國家 已經 從貧窮變成了富裕，很明顯，這些任務所涉及的決策顯示出高智力回報（儘管人類的限制和複雜性）。 因此，人工智慧可能會比目前做得更好。 也可能有針對性的干預措施，以繞過人類的限制，人工智慧可以關注這些限制。 不過更重要的是， 我們必須 嘗試。 人工智慧公司和發達國家的決策者都需要盡自己的一份力量來確保發展中國家不被排除在外；道德上的當務之急太大了。 因此，在這一部分，我將繼續提出樂觀的理由，但請記住，成功並不能得到保證，這取決於我們的集體努力。

下面，我對我認為在強大的人工智慧開發後的5-10年裡，發展中國家的情況會如何發展做出一些猜測：

  • 衛生干預的分佈 。 也許我最樂觀的領域是在世界各地分發健康干預措施。 疾病實際上已經透過自上而下的運動被根除：天花在20世紀70年代被 完全消滅 ，脊髓灰質炎和麥地那龍蠕蟲幾乎被根除，每年不到100例。 數學上複雜的流行病學建模在 消除疾病運動中發揮著積極作用，似乎有比人類更聰明的人工智慧系統比人類做得更好的空間。 分銷的物流可能也可以大大最佳化。 作為 GiveWell 的早期捐贈者，我學到的一件事是，一些健康慈善機構比其他慈善機構更有效；希望人工智慧加速的努力會更有效。 此外，一些生物學進步實際上使分銷物流變得更容易：例如，瘧疾很難根除，因為每次感染疾病都需要治療；只需要注射一次的疫苗使物流變得簡單得多（ 實際上 ，這種瘧疾疫苗 目前正在開發中 ）。 更簡單的分佈機制是可能的：一些疾病原則上可以透過針對動物攜帶者來根除，例如釋放感染了 阻止其 攜帶疾病 能力的 細菌的蚊子（然後感染所有其他蚊子）或簡單地使用 基因驅動 來消滅蚊子。 這需要一個或幾個集中的行動，而不是一個必須單獨對待數百萬人的協調運動。 總的來說，我認為5-10年是將人工智慧驅動的健康益處的一部分（可能50%）傳播到世界上最貧窮的國家的合理時間表。 一個好的目標是，在強大的人工智慧出現5-10年後，發展中國家至少要比當今發達國家更健康，即使它繼續落後於發達國家。 實現這一目標當然需要在全球健康、慈善事業、政治宣傳和許多其他努力方面做出巨大努力，人工智慧開發人員和決策者都應該提供幫助。
  • 經濟增長 。 發展中國家能否在經濟上迅速趕上發達國家，不僅在健康方面，而且在經濟上全面？ 這方面有一些先例：在20世紀的最後幾十年， 幾個東亞經濟體 實現了持續約10%的年實際國內生產總值增長率，使它們能夠趕上發達國家。 人類經濟規劃者做出了導致這一成功的決定，不是透過直接控制整個經濟，而是透過拉動一些關鍵槓桿（例如出口主導增長的工業政策，以及抵制依賴自然資源財富的誘惑）；「人工智慧財政部長和中央銀行家」可以複製或超過這一10%的成就是合理的。 一個重要的問題是，如何讓發展中國家政府在尊重自決原則的同時採用它們——有些人可能對此充滿熱情，但其他人可能持懷疑態度。 樂觀地說，前面要點中的許多健康干預措施可能會有機地提高經濟增長：根除艾滋病/瘧疾/寄生蟲將對生產力產生變革性影響，更不用說一些神經科學干預措施（如改善情緒和注意力）在發達國家和發展中國家都會帶來經濟效益。 最後，非健康人工智慧加速技術（如能源技術、運輸無人機、改進的建築材料、更好的物流和分銷等）可能只是自然地滲透到世界；例如，甚至手機也透過市場機制迅速滲透到撒哈拉以南非洲，而不需要慈善努力。 在更消極的方面，雖然人工智慧和自動化有很多潛在的好處，但它們也對經濟發展構成了挑戰，特別是對尚未實現工業化的國家。 找到確保這些國家在日益自動化的時代仍然能夠發展和改善其經濟的方法是經濟學家和決策者要解決的一個重要挑戰。 總體而言，一個夢想場景——也許是一個目標——是發展中國家的年GDP增長率為20%，其中10%來自人工智慧的經濟決策和人工智慧加速技術的自然傳播，包括但不限於健康。 如果實現，這將使撒哈拉以南非洲在5-10年內達到中國目前的人均國內生產總值，同時將大部分其他發展中國家提高到高於當前美國國內生產總值的水準。 再說一遍，這是一個夢幻般的場景，而不是預設發生的事情：這是我們所有人必須共同努力才能提高可能性的事情。
  • 糧食安全 13 作物技術的進步，如更好的肥料和殺蟲劑、更多的自動化和更有效的土地利用，在20世紀大幅提高了 作物產量 ，使數百萬人免於飢餓。 基因工程 目前正在 進一步 改善 許多作物。 找到更多的方法來做到這一點——以及使農業供應鏈更加高效——可以給我們帶來一場人工智慧驅動的第二次 綠色革命 ，幫助縮小發展中國家和發達國家之間的差距。
  • 緩解氣候變化 。 發展中國家對氣候變化的影響將更加強烈，阻礙其發展。 我們可以期待人工智慧將導致減緩或防止氣候變化的技術的改進，從大氣 碳去除 和清潔能源技術到 實驗室種植的肉類 ，從而減少我們對碳密集型工廠化農業的依賴。 當然，如上所述，技術並不是限制氣候變化進展的唯一因素——與本文討論的所有其他問題一樣，人類社會因素也很重要。 但有充分的理由認為，人工智慧增強的研究將為我們提供手段，使減緩氣候變化的成本和破壞性降低，使許多反對意見變得毫無意義，並解放發展中國家取得更多經濟進步。
  • 國家內部的不平等 。 我主要談論不平等作為一種全球現象（我確實認為這是其最重要的表現），但當然不平等也存在於國家 內部 。 隨著先進的健康干預措施，特別是壽命或認知增強藥物的大幅提高，肯定會有合理的擔憂，即這些技術「只適合富人」。 我對國內不平等，特別是在發達國家，我更加樂觀，原因有兩個。 首先，市場在發達國家運作得更好，市場通常善於隨著時間的推移降低高價值技術的成本 14 其次，發達國家的政治機構對其公民的反應更靈敏，並且具有執行普遍獲得計劃的國家能力更大——我期望公民要求獲得能夠從根本上提高生活品質的技術。 當然，這種要求的成功不是預先確定的——這裡是另一個我們必須集體盡我們所能確保一個公平的社會的地方。 財富 不平等（與獲得拯救生命和增強生命的技術的不平等相反）還有一個單獨的問題，這個問題似乎更難，我在第5節中對此進行了討論。
  • 選擇退出的問題 。 發達國家和發展中世界都關注的一個問題是 ， 人們 選擇不 享受人工智慧的好處（類似於反疫苗運動，或更普遍的盧德運動）。 最終可能會出現糟糕的反饋週期，例如，最不能做出正確決定的人選擇退出提高其決策能力的技術，導致差距不斷擴大，甚至造成反烏託邦的下層階級（一些研究人員認為，這將 破壞民主 ，我將在下一節進一步討論這個話題）。 這將再次對人工智慧的積極進步產生道德上的矝點。 這是一個難以解決的問題，因為我認為脅迫人們在道德上是不行的，但我們至少可以嘗試提高人們的科學理解——也許人工智慧本身可以幫助我們解決這個問題。 一個充滿希望的跡象是，歷史上的反技術運動比咬牙切齒更多：反對現代技術的抨擊很流行，但大多數人最終採用它，至少在個人選擇問題上是這樣。 個人傾向於採用大多數健康和消費技術，而真正受阻的技術，如核能，往往是集體的政治決定。

總的來說，我對迅速將人工智慧的生物學進步帶給發展中國家的人們持樂觀態度。 我希望，儘管我沒有信心，人工智慧也能實現前所未有的經濟增長率，並讓發展中國家至少超越發達國家現在的位置。 我擔心發達國家和發展中國家的「選擇退出」問題，但懷疑它會隨著時間的推移而消退，人工智慧可以幫助加速這一過程。 這不會是一個完美的世界，那些落後的人不會完全趕上，至少在頭幾年不會。 但有了我們的大力努力，我們也許能夠讓事情朝著正確的方向發展——而且速度很快。 如果我們這樣做，我們至少可以為地球上每個人所欠的尊嚴和平等承諾支付首付。

4. 和平與治理

假設前三個部分的一切都很順利：疾病、貧困和不平等大大減少，人類經驗的基線大大提高。 這並不是說人類痛苦的所有主要原因都得到了解決。 人類仍然對彼此構成威脅 。 儘管存在技術進步和經濟發展 導致民主與和平 的趨勢，但這是一個非常鬆散的趨勢，經常（和 最近 ）倒退。 在20世紀的黎明，人們 認為 他們已經把戰爭拋在腦後了；然後是兩次世界大戰。 三十年前，Francis Fukuyama寫了關於「 歷史的終結 」和自由民主的最終勝利的文章；這還沒有發生。 二十年前，美國政策制定者認為，隨著中國變得更加富裕，與中國的自由貿易將導致其自由化；但這種情況並沒有發生，我們現在似乎 正走向一場 與一個重新興起的專制集團的 第二次冷戰 。 合理的理論表明，網際網路技術 實際上可能有利於專制主義 ，而不是最初認為的民主（例如在「阿拉伯之春」時期）。 試圖瞭解強大的人工智慧將如何與和平、民主和自由等問題相交，這似乎很重要。

不幸的是，我認為沒有充分的理由相信人工智慧將優先或從結構上促進民主與和平，就像我認為它將從結構上促進人類健康和減輕貧困一樣。 人類衝突是敵對的，人工智慧原則上可以幫助「好人」和「壞人」。 如果有的話，一些結構性因素似乎令人擔憂：人工智慧似乎有可能實現更好的宣傳和監控，這兩種工具都是獨裁者工具包中的主要工具。 因此，作為個人行為者，我們是否要朝著正確的方向傾斜：如果我們希望人工智慧有利於民主和個人權利，我們將不得不為這一結果而奮鬥。 我對此比對國際不平等的感覺更強烈：自由民主和政治穩定的勝利 無法 保證，甚至可能不可能，而且需要我們所有人做出巨大的犧牲和承諾，就像過去經常發生的那樣。

我認為這個問題有兩個部分：國際衝突和國家內部結構。 在國際方面，當強大的人工智慧被創造出來時，民主國家在世界舞臺上佔上風似乎非常重要。 人工智慧驅動的專制主義似乎太可怕了，無法思考，因此民主國家需要能夠設定將強大的人工智慧引入世界的條件，以避免被專制者壓倒，並防止專制國家侵犯人權。

我目前的猜測，最好的方法是透過「entente戰略」 15 ，其中一個民主國家聯盟試圖透過確保其供應鏈、快速擴充套件以及 阻止或延遲 對手獲得晶片和半導體裝置等關鍵資源，在強大的人工智慧上獲得明顯優勢（即使只是暫時的）。 一方面，這個聯盟將利用人工智慧來實現強大的軍事優勢（棍子），同時提議將強大的人工智慧（胡蘿蔔）的好處分發給越來越廣泛的國家集團，以換取支援聯盟促進民主的戰略（這與「 和平原子 」有點相似）。 該聯盟旨在獲得越來越多的世界的支援，孤立我們最壞的對手，並最終讓他們處於一個位置，讓他們更好地與世界其他地區做同樣的交易：放棄與民主國家競爭，以獲得所有利益，而不是與優越的敵人作戰。

如果我們能做到這一切，我們將擁有一個民主國家在世界舞臺上領先的世界，並擁有經濟和軍事力量來避免被專制國家的破壞、征服或破壞，並可能將他們的人工智慧優勢轉化為持久的優勢。 樂觀地，這可能會導致「永恆的1991年」——一個民主國家佔上風，福山夢想得以實現的世界。 同樣，這將很難實現，尤其需要私營人工智慧公司和民主政府之間的密切合作，以及關於胡蘿蔔和棍棒之間的平衡做出非常明智的決定。

即使一切順利，也留下了每個國家 內 民主與專制之間的鬥爭問題。 顯然很難預測這裡會發生什麼，但我確實有些樂觀， 鑑於 民主國家控制著最強大的人工智慧的全球環境，人工智慧實際上可能在結構上有利於各地的民主。 特別是，在這種環境下，民主政府可以利用其優越的人工智慧來贏得資訊戰爭：他們可以對抗專制國家的影響和宣傳行動，甚至可能能夠透過提供資訊渠道和人工智慧服務來創造一個全球自由的資訊環境，而專制國家缺乏阻止或監控的技術能力。 可能沒有必要提供宣傳，只是為了對抗惡意攻擊和解鎖資訊的自由流動。 雖然不是立竿見影的，但出於幾個原因，像這樣的公平競爭環境很有可能逐漸將全球治理轉向民主。

首先，在一切平等的情況下，第1-3節中生活品質的提高應該促進民主：從歷史上看，至少在一定程度上是這樣。 特別是，我期望心理健康、福利和教育的改善將增加民主，因為這三者都與支援專制主管人 呈負 相關 。 一般來說，當其他需求得到滿足時，人們希望有更多的自我表達，民主是自我表達的一種形式。 相反，專制主義在恐懼和怨恨中茁壯成長。

其次，只要專制者不能對其進行審查，免費資訊就很有可能真正破壞專制主義。 未經審查的人工智慧也可以為個人帶來強大的工具來破壞壓迫性政府。 壓迫性政府透過剝奪人們某種常識來生存，阻止他們意識到「皇帝沒有衣服」。 例如，幫助推翻塞爾維亞米洛舍維奇政府的 Srđa Popović 寫了大量關於在心理上剝奪專制者權力、打破咒語和動員對獨裁者的支援的技巧的文章。 每個人口袋裡都有一個超人有效的Popović人工智慧版本（其技能似乎對智力有很高的回報），獨裁者無力阻止或審查，可能會在全世界持不同政見者和改革者的背後製造風。 再說一遍，這將是一場漫長而持久的戰鬥，一場勝利是無法保證的，但如果我們以正確的方式設計和構建人工智慧，這至少可能是一場各地自由的倡導者都有優勢的戰鬥。

與神經科學和生物學一樣，我們還可以問事情如何「比平時好」——不僅如何避免專制，而且如何使民主國家比今天更好。 即使在民主國家，不公正也一直在發生。 法治社會向其公民承諾，在法律下人人平等，人人有權享有基本人權，但顯然，人們在實踐中並不總是享有這些權利。 這一承諾甚至部分實現也令人驕傲，但人工智慧能幫助我們做得更好嗎？

例如，人工智慧可以透過使決策和流程更加公正來改善我們的法律和司法系統嗎？ 今天，人們大多在法律或司法背景下擔心人工智慧系統會成為 歧視 的原因 ，這些擔憂很重要，需要為之辯護。 與此同時，民主的活力取決於利用新技術來改善民主制度，而不僅僅是應對風險。 人工智慧的真正成熟和成功的實施有可能 減少 偏見，對每個人都更公平。

幾個世紀以來，法律體系一直面臨著這樣的困境：法律旨在公正，但本質上是主觀的，因此必須由有偏見的人來解釋。 試圖使法律完全機械化是無效的，因為現實世界是混亂的，不能總是用數學公式來捕捉。 相反，法律系統依賴於臭名昭著的不精確的標準，如「 殘酷和不尋常的懲罰 」或「 完全不能挽回社會重要性 」，然後人類對這些標準進行解釋——並且通常以顯示偏見、偏袒或任意的方式進行解釋。 加密貨幣中的「 智慧合約 」並沒有徹底改變法律，因為普通程式不夠智慧，無法裁決這麼多利益。 但人工智慧可能足夠聰明：它是第一項能夠以可重複和機械的方式做出廣泛、模糊的判斷的技術。

我並不是建議我們真的用人工智慧系統取代法官，但將公正與理解和處理混亂的現實世界情況的能力相結合， 感覺 它應該對法律和正義有一些嚴重的積極應用。 至少，這樣的系統可以與人類一起工作，作為決策的輔助工具。 在任何此類系統中，透明度都很重要，人工智慧的成熟科學可以提供透明度：可以廣泛研究此類系統的訓練過程， 高階可解釋性技術 可用於檢視最終模型內部，並評估其隱藏的偏見，這種方式在人類根本無法做到。 此類人工智慧工具還可用於監測司法或警察背景下對基本權利的侵犯，使憲法更加自我執行。

同樣，人工智慧可用於彙總意見並推動公民之間的共識，解決衝突，找到共同點，並尋求妥協。 計算民主專案 已經提出了這一方向的一些早期想法，包括 與Anthropic的合作 。 一個更知情和更深思熟慮的公民顯然會加強民主機構。

人工智慧也有一個明顯的機會被用來幫助提供政府服務——如健康福利或社會服務——這些服務原則上每個人都能獲得，但在實踐中往往嚴重缺乏，而且在某些地方比其他地方更糟糕。 這包括衛生服務、車管所、稅收、社會保障、建築法規執行等。 擁有一個非常深思熟慮和知情的人工智慧，其工作是以您可以理解的方式為您提供政府合法有權獲得的一切，並幫助您遵守經常令人困惑的政府規則，這將是一件大事。 提高國家能力既有助於兌現法律下的平等承諾，又加強對民主治理的尊重。 實施不善的服務目前是政府憤世嫉俗的主要原因 16

所有這些想法都有些模糊，正如我在本節開頭所說，我對它們的可行性沒有生物學、神經科學和減貧的進步那麼有信心。 它們可能是不切實際的烏託邦。 但重要的是有一個雄心勃勃的願景，願意做大夢並嘗試事情。 人工智慧作為自由、個人權利和法律下平等的保障者的願景太強大了，不能為之奮鬥。 在21世紀，人工智慧支援的政體既可以成為個人自由的更強大的保護者，也可以成為希望的燈塔，幫助自由民主成為全世界想要採用的政府形式。

5. 工作和意義

即使前四節一切順利——我們不僅緩解了疾病、貧困和不平等，而且自由民主成為政府的主導形式，現有的自由民主成為更好的自己版本——至少還有一個重要問題仍然存在。 「我們生活在這樣一個技術先進的世界，以及一個公平和體面的世界，這真是太好了」，有人可能會反對，「但人工智慧做一切，人類將如何有意義？ 就這一點而言，他們將如何在經濟上生存？」。

我認為這個問題比其他問題更難。 我並不是說我對它不一定比其他問題更悲觀（儘管我確實看到了挑戰）。 我的意思是，提前預測更模糊，也更難預測，因為它與社會如何組織的宏觀問題有關，這些問題往往只會隨著時間的推移和以分散的方式自行解決。 例如，歷史上的狩獵採集社會可能想象，沒有狩獵和各種與狩獵相關的宗教儀式，生活是毫無意義的，並會想象我們吃得當的技術社會沒有目的。 他們可能還不明白我們的經濟如何為每個人提供服務，或者人們在機械化社會中可以起到哪些有用的作用。

儘管如此，至少值得說幾句話，同時請記住，這部分的簡潔性根本不能被視為我沒有認真對待這些問題的跡象——相反，這是缺乏明確答案的跡象。

關於意義問題，我認為僅僅因為人工智慧可以做得更好，就認為你承擔的任務毫無意義，這很可能是一個錯誤。 大多數人在任何事情上都不是世界上最好的，這似乎並沒有特別困擾他們。 當然，今天他們仍然可以透過比較優勢做出貢獻，並可能從他們產生的經濟價值中獲得意義，但人們也非常喜歡那些沒有經濟價值的活動。 我花了很多時間玩電子遊戲、游泳、在外面散步、和朋友聊天，所有這些都沒有產生任何經濟價值。 我可能會花一天時間試圖在電子遊戲中變得更好，或者騎腳踏車爬山的速度更快，對我來說，某人在這些事情上更勝一點並不重要。 無論如何，我認為意義主要來自人際關係和聯絡，而不是來自經濟勞動。 人們確實想要一種成就感，甚至是一種競爭感，在後人工智慧世界中，完全有可能花幾年時間嘗試一些非常困難的任務，並制定複雜的策略，就像今天人們開始研究專案、試圖成為好萊塢演員或成立公司 17 時所做的一樣。

事實上，在一個人工智慧驅動的世界中，這種可能的挑戰和專案的範圍將比今天大得多

。 （a）某處的人工智慧原則上可以更好地完成這項任務，以及（b）這項任務不再是全球經濟中經濟中有回報的因素，這一事實對我來說似乎並不重要。

在我看來，經濟部分實際上比意義部分更難。 本節中的「經濟」是指 大多數或所有 人類可能無法為足夠先進的人工智慧驅動經濟做出有意義的貢獻的可能問題。 這是一個比不平等的單獨問題更宏觀的問題，特別是我在第3節中討論過的獲得新技術的不平等。

首先，在短期內，我同意這樣的論點，即比較優勢將繼續保持 人類的相關性 ，實際上提高他們的生產力，甚至可能在某些方面 使人類之間的競爭環境變得公平 。 只要人工智慧在給定工作的90%上更好，另外10%將導致人類變得高度槓桿，增加報酬，實際上創造一堆新的人類工作，補充和放大人工智慧擅長的，因此「10%」 擴大到繼續僱用幾乎每個人 。 事實上，即使人工智慧可以比人類做得更好100%，但在某些任務上仍然效率低下或昂貴，或者如果人類和人工智慧的資源 投入 有有意義的不同，那麼比較優勢的邏輯繼續適用。 人類可能在相當一段時間內保持相對（甚至絕對）優勢的一個領域是物理世界。 因此，我認為人類經濟可能會繼續有意義，甚至在我們達到「資料中心的天才之國」的點之後。

然而，我確實認為，從長遠來看，人工智慧將變得如此廣泛有效和廉價，以至於這將不再適用。 到那時，我們目前的經濟設定將不再有意義，需要就如何組織經濟進行更廣泛的社會對話。

雖然這聽起來可能很瘋狂，但事實是，文明成功地駕馭了過去的重大經濟轉變：從狩獵和採集到農業，從農業到封建主義，從封建主義到工業主義。 我懷疑需要一些新的和更奇怪的東西，這是今天沒有人很好地設想的事情。 這對每個人來說都可能像一個龐大的普遍基本收入一樣簡單，儘管我懷疑這只是解決方案的一小部分。 這可能是人工智慧系統的資本主義經濟，然後根據人工智慧系統認為對人類來說有意義的獎勵（基於最終來自人類價值觀的一些判斷）向人類提供資源（大量資源，因為整體經濟蛋糕將是巨大的）。 也許經濟靠 Whuffie積分 執行。 或者，也許人類畢竟將繼續具有經濟價值，在某種程度上是通常的經濟模式所沒有預料的。 所有這些解決方案都存在許多可能的問題，如果不進行大量的迭代和實驗，就不可能知道它們是否有意義。 與其他一些挑戰一樣，我們可能不得不在這裡爭取好結果：剝削或反烏託邦的方向顯然也是可能的，必須防止。 關於這些問題可以寫更多，我希望稍後能寫。

盤點

透過上述各種主題，我試圖闡述一個世界願景， 如果 人工智慧一切順利，這個世界既合理，又比當今世界好得多。 我不知道這個世界是否現實，即使現實，如果沒有許多勇敢和敬業的人的巨大努力和奮鬥，它是無法實現的。 每個人（包括人工智慧公司！） 需要盡自己的一份力量來預防風險和充分實現收益。

但這是一個值得為之奮鬥的世界。 如果這一切真的在5到10年內發生——大多數疾病的戰勝，生物和認知自由的增長，數十億人擺脫貧困以分享新技術，自由民主和人權的復興——我懷疑每個觀看它的人都會對它對他們的影響感到驚訝。 我指的不是個人從所有新技術中受益的經歷，儘管那肯定會令人驚奇。 我的意思是看著一套長期持有的理想在我們面前一下子實現的經歷。 我認為很多人真的會被它感動到流淚。

在寫這篇文章的整個過程中，我注意到了一種有趣的緊張感。 從某種意義上說，這裡提出的願景是極其激進的：這幾乎不是任何人期望在未來十年內發生的事情，而且可能會讓許多人覺得這是一種荒謬的幻想。 有些人甚至可能不認為它是可取的；它體現了並非所有人都會同意的價值觀和政治選擇。 但與此同時，有一些明顯的東西——一些過度確定的東西——彷彿許多不同的想象美好世界的嘗試不可避免地導致這裡。

在伊恩·M。 Banks的 《The Player of Games 10 主人公——一個名為「文化」的社會的成員，其基礎與我在這裡闡述的原則不相上下——前往一個壓迫性的軍國主義帝國，其中的主管權是由複雜的戰鬥遊戲中的競爭決定的。 然而，遊戲足夠複雜，玩家的策略往往會反映他們自己的政治和哲學觀點。 主人公設法在遊戲中擊敗了皇帝，表明他的價值觀（文化的價值觀）代表了一種獲勝的策略，即使在一個基於無情競爭和適者生存的社會設計的遊戲中也是如此。 斯科特·亞歷山大的 一篇著名帖子 也有同樣的論點——競爭是自我毀滅的，並傾向於導致一個以同情心和合作為基礎的社會。 「 道德宇宙的弧線 」是另一個類似的概念。

我認為文化的價值觀是一種獲勝的策略，因為它們是一百萬個小決定的總和，這些決定具有明確的道德力量，並傾向於將每個人拉到同一邊。 人類關於公平、合作、好奇心和自主的基本直覺很難與之爭論，而且以我們更具破壞性的衝動通常沒有的方式累積。 很容易爭辯說，如果我們能預防，兒童就不應該死於疾病，從那裡很容易爭辯說， 每個人 的孩子 都 應該平等地獲得這種權利。 由此不難爭辯說，我們應該團結起來，運用我們的智慧來實現這一結果。 很少有人不同意人們應該因不必要地攻擊或傷害他人而受到懲罰，因此，懲罰應該對人之間一致和系統地進行懲罰的想法並沒有太大飛躍。 同樣直觀的是，人們應該對自己的生活和選擇有自主權和責任。 這些簡單的直覺，如果得出其邏輯結論，最終會導致法治、民主和啟蒙價值觀。 如果不是不可避免的，那麼至少作為一種統計趨勢，這就是人類已經走向的方向。 人工智慧只是提供了一個讓我們更快地到達那裡的機會——使邏輯更清晰，目的地更清晰。

儘管如此，這是一個超越美的東西。 我們有機會在實現它方面發揮一些小作用。

感謝Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe以及Anthropic的許多人審查了這篇文章的草稿。

致 2024年諾貝爾化學獎 得主 ，他們一路向我們展示了這一路。

腳註

Dario Amodei — Machines of Loving Grace

Footnotes

  1. 13 感謝Parag Mallick提出這一點。 ↩ ↩2

  2. 15 人工智慧當然也有助於更明智地選擇要執行的實驗：改進實驗設計，從第一輪實驗中學習更多，以便第二輪實驗可以縮小關鍵問題，等等。 ↩ ↩2

  3. 18 請注意，可能很難知道我們在5-10年內將人類壽命翻了一番。 雖然我們可能已經完成了它，但我們可能還沒有在研究時間範圍內知道它。 ↩ ↩2

  4. 21 媒體喜歡描繪 地位高的精神病患者 ，但普通精神病患者可能是經濟前景不佳、衝動控制不佳的人，最終在監獄裡度過了相當長的時間。 ↩ ↩2 ↩3

  5. 10 另一個因素當然是，強大的人工智慧本身有可能被用來創造更強大的人工智慧。 我的假設是，這可能會（事實上，可能會）發生，但它的影響將比你想象的要小，正是因為這裡討論的「智力的邊際回報減少」。 換句話說，人工智慧將繼續迅速變得更智慧，但其效果最終將受到非智慧因素的限制，分析這些因素對人工智慧之外的科學進步速度是最重要的。 ↩

  6. 11 這些成就激勵了我，也許是人工智慧被用於改變生物學的最有力的例子。 ↩

  7. 12 「科學的進步取決於新技術、新發現和新想法，可能按這個順序。」- 悉尼·布倫納 ↩

  8. 16 感謝Matthew Yglesias提出這一點。 ↩

  9. 17 快速進化的疾病，如多藥耐藥菌株，這些菌株 基本上使用醫院作為進化實驗室 來不斷提高其對治療的耐藥性，可能特別難以處理，並可能是阻止我們達到100%的那種事情。 ↩

  10. 29 我正在打破自己的規則，不把它變成科幻小說，但我發現很難至少不提到它。 事實是，科幻小說是我們關於未來的廣泛思考實驗的唯一來源之一；我認為它與特定狹隘的亞文化如此緊密地糾纏在一起，這說明了一些不好的事情。 ↩ ↩2 ↩3

  11. 22 我認為這與以下事實有些相似：即即使我們目前人工神經網路的一些建築細節，如注意力機制，以某種方式改變或替換，我們從可解釋性中學到的許多結果（雖然可能不是全部）將繼續相關。 ↩

  12. 23 我懷疑它有點像一個經典的混亂系統—— 被不可還原的複雜性所困擾 ，必須以大部分分散的方式進行管理。 儘管正如我在本節後面所說，也許可以進行更適度的干預。 經濟學家Erik Brynjolfsson向我提出的一個反駁是，大公司（如沃爾瑪或優步）開始擁有足夠的集中知識，以比任何去中心化流程更好地瞭解消費者，也許迫使我們修改 Hayek 關於誰擁有最佳本地知識 的見解 。 ↩

  13. 24 感謝Kevin Esvelt提出這一點。 ↩

  14. 25 例如，手機最初是富人的技術，但隨著逐年改進，手機迅速變得非常便宜，以至於消除了購買「豪華」手機的任何優勢，如今大多數人都有類似品質的手機。 ↩

  15. 26 這是蘭德即將出版的一篇論文的標題，該論文大致闡述了我描述的策略。 ↩

  16. 27 當普通人想到公共機構時，他們可能會想到他們在車管所、國稅局、醫療保險或類似職能方面的經驗。 讓這些經歷比現在更積極，似乎是打擊過度憤世嫉俗的有力方法。 ↩

  17. 28 事實上，在一個人工智慧驅動的世界裡，這種可能的挑戰和專案的範圍將比今天大得多。 ↩

關係圖譜

反向連結