人工智能如何让世界变得更美好
2024 年 10 月
我经常思考和谈论强大人工智能的风险。我担任首席执行官的公司 Anthropic 做了大量关于如何减少这些风险的研究。正因如此，人们有时会得出结论，认为我是一个悲观主义者或“末日论者”，认为人工智能大多是有害或危险的。我完全不这么认为。事实上，我关注风险的主要原因之一是，它们是我们与我所认为的根本积极的未来之间唯一的障碍。我认为大多数人都低估了人工智能的正面影响有多么巨大，就像我认为大多数人都低估了风险有多么糟糕一样。
在这篇文章中，我试图勾勒出这种正面影响可能是什么样子的——如果一切顺利，一个拥有强大人工智能的世界会是什么样子。当然，没有人能够确定或精确地知道未来，而且强大人工智能的影响可能比过去的技术变革更难以预测，所以所有这些都不可避免地包含猜测。但我至少希望做出有根据且有用的猜测，即使大多数细节最终都是错误的，也能捕捉到将要发生的事情的基调。我加入了很多细节，主要是因为我认为具体的愿景比高度对冲和抽象的愿景更能推进讨论。
然而，首先，我想简要解释一下为什么我和 Anthropic 没有过多谈论强大人工智能的好处，以及为什么我们总体上可能会继续大量谈论风险。特别是，我做出这个选择是出于以下愿望：
最大化杠杆作用。 人工智能技术的基本发展及其许多（并非全部）好处似乎是不可避免的（除非风险使一切脱轨），并且从根本上受到强大市场力量的驱动。另一方面，风险不是预先确定的，我们的行动可以极大地改变它们发生的可能性。
避免宣传的嫌疑。 人工智能公司谈论人工智能的所有惊人好处可能会让人觉得像是在宣传，或者好像他们在试图转移人们对缺点的注意力。我还认为，作为一个原则问题，将太多时间花在“为自己代言”上对你的灵魂不利。
避免夸大其词。 我经常对许多人工智能风险公众人物（更不用说人工智能公司领导人）谈论后 AGI 世界的方式感到反感，好像他们的使命是像先知带领他们的人民走向救赎一样单枪匹马地实现它。我认为将公司视为单方面塑造世界是危险的，并且将实际的技术目标基本上视为宗教术语是危险的。
避免“科幻”包袱。 尽管我认为大多数人低估了强大人工智能的好处，但讨论激进人工智能未来的小部分人群经常以过度的“科幻”语气（例如上传思维、太空探索或一般的赛博朋克氛围）进行讨论。我认为这会导致人们不太认真地对待这些说法，并给它们灌输一种不真实感。需要明确的是，问题不在于所描述的技术是否可能或有可能（主要文章详细讨论了这一点）——更多的是“氛围”暗含了一系列关于什么样的未来是可取的、各种社会问题将如何发展的等等的文化包袱和未说明的假设。结果往往最终读起来像是针对一个狭隘亚文化的幻想，同时让大多数人反感。
然而，尽管存在上述所有担忧，我确实认为讨论一个拥有强大人工智能的美好世界可能是什么样子很重要，同时尽我们所能避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景至关重要，而不仅仅是一个救火计划。强大人工智能的许多影响是对抗性或危险的，但归根结底，我们必须为之奋斗，一些让每个人都变得更好的正和结果，一些可以团结人们超越争吵并应对未来挑战的东西。恐惧是一种动力，但它还不够：我们还需要希望。
强大人工智能的积极应用列表非常长（包括机器人技术、制造、能源等等），但我将重点关注少数几个我认为最有可能直接改善人类生活质量的领域。我最感兴趣的五个类别是：
生物学和身体健康
神经科学和心理健康
经济发展和贫困
和平与治理
工作和意义
以大多数标准来判断（除了科幻“奇点”愿景²），我的预测将是激进的，但我真诚地对待它们。我所说的一切都很容易出错（重复我上面的观点），但我至少试图将我的观点建立在对各个领域的进步可能会加速多少以及这在实践中可能意味着什么的半分析评估的基础上。我很幸运在生物学和神经科学方面都有专业经验，并且我是经济发展领域的业余爱好者，但我确信我会犯很多错误。写这篇文章让我意识到的一件事是，召集一组领域专家（包括生物学、经济学、国际关系和其他领域）来写一个比我在这里制作的版本更好、更明智的版本将是有价值的。将我的努力视为该小组的起始提示可能是最好的。
基本假设和框架
为了使整篇文章更加精确和有根据，有必要明确说明我们所说的强大人工智能是什么意思（即 5-10 年时钟开始计时的阈值），并提出一个框架来思考这种人工智能一旦出现后的影响。
强大的 AI（我不喜欢 AGI 这个术语）³ 会是什么样子，以及它何时（或是否）会到来，这本身就是一个巨大的话题。这是我在公开讨论过的一个话题，并且可以写一篇完全独立的文章（我可能在某个时候会写）。显然，许多人怀疑强大的 AI 是否会很快建成，有些人怀疑它是否会建成。我认为它最早可能在 2026 年到来，尽管它也可能需要更长的时间。但就本文而言，我想把这些问题放在一边，假设它会很快到来，并专注于此后 5-10 年内发生的事情。我还想假设一个关于这样一个系统会是什么样子、它的能力是什么以及它如何交互的定义，即使在这方面存在分歧的空间。
我所说的强大人工智能，是指一种人工智能模型——可能在形式上类似于今天的 LLM，尽管它可能基于不同的架构，可能涉及多个交互模型，并且可能以不同的方式进行训练——具有以下属性：
就纯粹的智能⁴而言，它在大多数相关领域——生物学、编程、数学、工程、写作等——都比诺贝尔奖获得者更聪明。这意味着它可以证明未解决的数学定理，写出非常好的小说，从头开始编写困难的代码库等。
除了仅仅是一个“你可以与之交谈的聪明的东西”，它还拥有人类实际上可用的所有“界面”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以从事此界面支持的任何操作、通信或远程操作，包括在互联网上采取行动、对人类采取行动或向人类发出指示、订购材料、指导实验、观看视频、制作视频等等。它再次以超过世界上最有能力的人类的技能完成所有这些任务。
它不只是被动地回答问题；相反，它可以被赋予需要数小时、数天或数周才能完成的任务，然后像一个聪明的员工一样自主地去完成这些任务，并在必要时要求澄清。
它没有物理实体（除了在计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上它甚至可以设计供自己使用的机器人或设备。
用于训练模型的资源可以重新用于运行数百万个实例（这与到 2027 年左右的预计集群大小相匹配），并且该模型可以吸收信息并以大约 10 倍到 100 倍于人类的速度生成操作⁵。然而，它可能会受到物理世界或与其交互的软件的响应时间的限制。
这数百万个副本中的每一个都可以在不相关的任务上独立行动，或者如果需要，可以像人类协作一样一起工作，也许不同的子群体经过微调以特别擅长特定任务。
我们可以将此总结为“数据中心里的天才之国”。
显然，这样的实体将能够非常快速地解决非常困难的问题，但弄清楚到底有多快并非易事。两种“极端”立场在我看来都是错误的。首先，你可能会认为世界会在几秒钟或几天内瞬间转变（“奇点”），因为超凡的智能建立在自身之上，并几乎立即解决所有可能的科学、工程和操作任务。问题在于存在真正的物理和实际限制，例如围绕构建硬件或进行生物实验。即使是一个新的天才之国也会遇到这些限制。智能可能非常强大，但它不是神奇的仙尘。
其次，相反，你可能认为技术进步受到现实世界数据或社会因素的限制或速率限制，并且优于人类的智能将增加很少⁶。这在我看来同样难以置信——我可以想到数百个科学甚至社会问题，在这些问题中，一大群真正聪明的人会大大加快进步，特别是如果他们不局限于分析并且可以在现实世界中实现事情（我们假定的天才之国可以做到，包括指导或协助人类团队）。
我认为真相可能是这两种极端情况的某种混乱的混合，某些东西因任务和领域而异，并且在其细节上非常微妙。我相信我们需要新的框架来以富有成效的方式思考这些细节。
经济学家经常谈论“生产要素”：诸如劳动力、土地和资本之类的东西。“劳动力/土地/资本的边际收益”这个短语捕捉到了这样一种观念，即在特定情况下，给定因素可能是也可能不是限制因素——例如，空军需要飞机和飞行员，如果你没有飞机，雇用更多飞行员并没有多大帮助。我认为在人工智能时代，我们应该谈论智能的边际收益⁷，并试图找出与智能互补并在智能非常高时成为限制因素的其他因素是什么。我们不习惯以这种方式思考——问“更聪明对这项任务有多大帮助，以及在什么时间范围内？”——但它似乎是概念化一个拥有非常强大的人工智能的世界的正确方法。
我对限制或补充智能的因素列表的猜测包括：
外部世界的速度。 智能体需要在世界上进行交互操作才能完成事情并学习⁸。但世界只能以这种速度运行。细胞和动物以固定的速度运行，因此对它们的实验需要一定的时间，这可能是不可简化的。硬件、材料科学、任何涉及与人交流的东西，甚至我们现有的软件基础设施也是如此。此外，在科学中，许多实验通常需要按顺序进行，每个实验都从上一个实验中学习或建立。所有这些都意味着一个重大项目——例如开发癌症治疗方法——可以完成的速度可能有一个不可简化的最小值，即使智能继续提高，也无法进一步降低。
对数据的需求。 有时缺乏原始数据，并且在没有原始数据的情况下，更多的智能也无济于事。今天的粒子物理学家非常聪明，并且已经开发了广泛的理论，但缺乏数据来选择它们，因为粒子加速器数据非常有限。目前尚不清楚如果他们超级聪明，他们是否会做得更好——除了可能通过加速建造更大的加速器。
内在复杂性。 有些事物本质上是不可预测的或混乱的，即使是最强大的人工智能也无法比今天的人类或计算机更好地预测或解开它们。例如，即使是非常强大的人工智能，在一般情况下，也只能在混沌系统（如三体问题）中略微提前预测⁹，而不是今天的人类和计算机。
来自人类的约束。 许多事情如果不违法、不伤害人类或不扰乱社会就无法完成。一个对齐的人工智能不会想做这些事情（如果我们有一个不对齐的人工智能，我们又回到了谈论风险）。许多人类社会结构效率低下甚至有害，但在尊重诸如临床试验的法律要求、人们改变习惯的意愿或政府行为等约束的同时很难改变。在技术意义上运作良好但其影响因法规或错误的恐惧而大大减少的进步的例子包括核能、超音速飞行，甚至电梯。
物理定律。 这是第一点的更严峻版本。有些物理定律似乎是牢不可破的。不可能以比光更快的速度旅行。布丁不会变回原样。芯片在变得不可靠之前，每平方厘米只能有这么多晶体管。计算需要每个擦除位有一定的最小能量，从而限制了世界上计算的密度。
基于时间尺度还有进一步的区别。从短期来看，硬约束的事情可能会在长期内对智能更具延展性。例如，智能可能被用来开发一种新的实验范式，使我们能够在体外学习过去需要活体动物实验的东西，或者建造收集新数据所需的工具（例如更大的粒子加速器），或者（在道德范围内）找到解决基于人类的约束的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚主义较少的新辖区，或改进科学本身以使人类临床试验变得不那么必要或更便宜）。
因此，我们应该想象这样一幅图景，即智能最初受到其他生产要素的严重瓶颈，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们从未完全消失（有些东西像物理定律是绝对的）¹⁰。关键问题是一切发生的速度有多快以及按什么顺序发生。
考虑到上述框架，我将尝试回答导言中提到的五个领域的问题。
1. 生物学和健康
生物学可能是科学进步最有可能直接和明确地改善人类生活质量的领域。在上个世纪，一些最古老的人类痛苦（如天花）终于被战胜，但还有更多仍然存在，战胜它们将是一项巨大的人道主义成就。除了治愈疾病之外，生物科学原则上可以通过延长人类健康寿命、增加对我们自身生物过程的控制和自由以及解决我们目前认为是人类状况不可变部分的日常问题来提高人类健康的基线质量。
在上一节的“限制因素”语言中，将智能直接应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（事实上，这三者都相互关联）。当涉及临床试验时，人类的约束也会在后期发挥作用。让我们逐一讨论这些问题。
对细胞、动物甚至化学过程的实验受到物理世界速度的限制：许多生物协议涉及培养细菌或其他细胞，或者只是等待化学反应发生，这有时需要几天甚至几周的时间，没有明显的方法可以加快它的速度。动物实验可能需要几个月（或更长时间），人类实验通常需要几年时间（甚至几十年用于长期结果研究）。与此有些相关的是，数据经常缺乏——不是数量上的，而是质量上的：总是缺乏清晰、明确的数据，将感兴趣的生物效应与其他 10,000 个正在发生的混杂事物隔离开来，或者因果地干预给定的过程，或者直接测量某些效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是大量的、定量的分子数据，比如我在研究质谱技术时收集的蛋白质组学数据，也充满了噪声并且遗漏了很多东西（这些蛋白质存在于哪些类型的细胞中？细胞的哪个部分？在细胞周期的哪个阶段？）。
数据问题的部分原因是内在的复杂性：如果你看过显示人类新陈代谢生物化学的图表，你就会知道很难分离出这个复杂系统的任何部分的影响，并且更难以以精确或可预测的方式干预系统。最后，除了在人类身上进行实验的内在时间之外，实际的临床试验还涉及大量的官僚主义和监管要求，（在许多人看来，包括我）增加了不必要的额外时间并延缓了进展。
鉴于这一切，许多生物学家长期以来一直怀疑人工智能和“大数据”在生物学中的价值。从历史上看，在过去 30 年中将其技能应用于生物学的数学家、计算机科学家和物理学家相当成功，但并没有产生最初希望的真正变革性影响。一些怀疑态度因 AlphaFold（其创造者刚刚获得了诺贝尔化学奖）和 AlphaProteo¹¹ 等重大和革命性的突破而有所减少，但人们仍然认为人工智能仅在有限的一组情况下有用（并将继续有用）。一个常见的表述是“人工智能可以更好地分析你的数据，但它不能产生更多的数据或提高数据的质量。垃圾进，垃圾出”。
但我认为悲观的观点是以错误的方式看待人工智能。如果我们关于人工智能进步的核心假设是正确的，那么看待人工智能的正确方法不是将其视为一种数据分析方法，而是一种执行生物学家所做的所有任务的虚拟生物学家，包括设计和在现实世界中进行实验（通过控制实验室机器人或简单地告诉人类进行哪些实验——就像首席研究员对他们的研究生所做的那样）、发明新的生物方法或测量技术等等。正是通过加快整个研究过程，人工智能才能真正加速生物学。我想重复这一点，因为这是我谈论人工智能改变生物学的能力时出现的最常见的误解：我不是把人工智能仅仅当作一种分析数据的工具。根据本文开头对强大人工智能的定义，我谈论的是使用人工智能来执行、指导和改进生物学家所做的几乎所有事情。
为了更具体地说明我认为加速可能来自哪里，生物学中很大一部分进展来自极少数发现，这些发现通常与广泛的测量工具或技术¹²有关，这些工具或技术允许对生物系统进行精确但广义或可编程的干预。每年可能大约有 1 个这样的重大发现，它们共同推动了生物学 >50% 的进步。这些发现之所以如此强大，正是因为它们克服了内在的复杂性和数据限制，直接提高了我们对生物过程的理解和控制。每十年的一些发现既使我们对生物学的基本科学理解成为可能，也推动了许多最强大的医学治疗。
一些例子包括：
CRISPR：一种允许对活生物体中的任何基因进行实时编辑的技术（用任何其他任意序列替换任何任意基因序列）。自从开发出原始技术以来，人们不断改进以靶向特定细胞类型，提高准确性，并减少错误基因的编辑——所有这些都是在人类中安全使用所必需的。
各种显微镜，用于在精确水平上观察正在发生的事情：先进的光学显微镜（具有各种荧光技术、特殊光学器件等）、电子显微镜、原子力显微镜等。
基因组测序和合成，在过去的几十年里，其成本下降了几个数量级。
光遗传学技术，允许你通过向神经元照射光线来使其放电。
mRNA 疫苗，原则上，允许我们设计针对任何东西的疫苗，然后快速适应它（mRNA 疫苗当然在 COVID 期间出名）。
细胞疗法，如 CAR-T，允许免疫细胞被取出体外并“重新编程”以攻击原则上的任何东西。
概念见解，如疾病的细菌理论或对免疫系统与癌症之间联系的认识¹³。
我费心列出所有这些技术，因为我想对它们提出一个关键的主张：我认为如果有很多更有才华、更有创造力的研究人员，它们的发现速度可能会提高 10 倍或更多。或者，换句话说，我认为在这些发现中，智能的回报很高，而生物学和医学中的所有其他东西都主要遵循它们。
为什么我认为这呢？因为对一些问题的回答，当我们试图确定“智能的回报”时，我们应该养成问这些问题的习惯。首先，这些发现通常是由极少数研究人员做出的，通常是同一个人反复做出的，这表明技能而不是随机搜索（后者可能表明冗长的实验是限制因素）。其次，它们经常“可能已经完成”比它们实际完成的时间早几年：例如，CRISPR 是细菌免疫系统中自然存在的成分，自 80 年代以来就已为人所知，但人们又花了 25 年才意识到它可以被重新用于一般的基因编辑。他们还经常因科学界对有前途的方向缺乏支持而被推迟多年（参见 mRNA 疫苗发明者的资料；类似的故事比比皆是）。第三，成功的项目通常是草率的或人们最初认为没有希望的事后想法，而不是大规模资助的努力。这表明驱动发现的不仅仅是大量的资源集中，还有独创性。
最后，尽管其中一些发现具有“串行依赖性”（你需要首先进行发现 A 才能拥有进行发现 B 的工具或知识）——这又可能会造成实验延迟——但许多（也许是大多数）是独立的，这意味着许多发现可以同时并行进行。这些事实，以及我作为生物学家的总体经验，都强烈地向我表明，如果科学家更聪明，并且更擅长在人类拥有的大量生物学知识之间建立联系，那么还有数百项这样的发现有待发现（再次考虑 CRISPR 的例子）。尽管经过几十年的精心设计的物理建模，AlphaFold/AlphaProteo 仍然比人类更有效地解决了重要问题，这一成功提供了一个原则证明（尽管在一个狭窄的领域使用了狭窄的工具），应该指明前进的方向。
因此，我猜测强大的人工智能至少可以将这些发现的速度提高 10 倍，在 5-10 年内为我们提供未来 50-100 年的生物学进步¹⁴。为什么不是 100 倍呢？也许这是可能的，但这里串行依赖性和实验时间都变得重要：在 1 年内获得 100 年的进步需要很多事情在第一时间就做对，包括动物实验和设计显微镜或昂贵的实验室设施等事情。我实际上对我们可以在 5-10 年内获得 1000 年的进步这一（可能听起来很荒谬的）想法持开放态度，但非常怀疑我们能否在 1 年内获得 100 年的进步。另一种说法是，我认为存在不可避免的恒定延迟：实验和硬件设计具有一定的“延迟”，并且需要对其进行一定“不可简化”次数的迭代，以便学习无法通过逻辑推导出来的事情。但除此之外，大规模并行可能是可能的¹⁵。
临床试验呢？尽管与它们相关的官僚主义和延误很多，但事实是，它们的速度慢很多（尽管绝不是全部！）最终源于需要严格评估几乎不起作用或模棱两可地起作用的药物。可悲的是，今天的大多数疗法都是如此：普通癌症药物将生存期延长了几个月，同时具有需要仔细测量的重大副作用（阿尔茨海默氏症药物也有类似的故事）。这导致了巨大的研究（为了获得统计功效）和监管机构通常不擅长做出的艰难权衡，这再次是因为官僚主义和利益冲突的复杂性。
当某些东西真的很好用时，它会快得多：有一个加速审批轨道，当效应量较大时，审批的容易程度要大得多。用于 COVID 的 mRNA 疫苗在 9 个月内获得批准——比通常的速度快得多。也就是说，即使在这些条件下，临床试验仍然太慢——mRNA 疫苗可以说应该在大约 2 个月内获得批准。但是这些类型的延迟（一种药物端到端大约 1 年）结合大规模并行和对一些但不是太多迭代的需求（“几次尝试”）与 5-10 年内的彻底转变非常兼容。更乐观的是，人工智能支持的生物科学可能会通过开发更好的动物和细胞实验模型（甚至是模拟）来减少临床试验迭代的需求，这些模型更准确地预测人类会发生什么。这在开发抗衰老药物方面尤其重要，因为抗衰老药物需要几十年的时间，我们需要更快的迭代循环。
最后，关于临床试验和社会障碍的话题，值得明确指出的是，在某些方面，与其他一些技术相比，生物医学创新在成功部署方面有着异常强大的记录¹⁶。正如导言中所提到的，尽管许多技术在技术上运作良好，但它们受到了社会因素的阻碍。这可能表明人们对人工智能可以完成什么持悲观态度。但生物医学的独特之处在于，尽管开发药物的过程过于繁琐，但一旦开发出来，它们通常会被成功地部署和使用。
总结以上内容，我的基本预测是，人工智能支持的生物学和医学将使我们能够将人类生物学家在未来 50-100 年内取得的进步压缩到 5-10 年内。我将其称为“压缩的 21 世纪”：这个想法是，在开发出强大的人工智能之后，我们将在几年内取得我们在整个 21 世纪在生物学和医学方面取得的所有进展。
尽管预测强大的人工智能在几年内能做什么仍然本质上是困难的和推测性的，但问“人类在未来 100 年内在没有帮助的情况下能做什么？”这个问题有一些具体性。仅仅看看我们在 20 世纪取得的成就，或者从 21 世纪的头 20 年推断，或者问“10 个 CRISPR 和 50 个 CAR-T”会给我们带来什么，所有这些都提供了实用、有根据的方法来估计我们可能期望从强大的人工智能中获得的总体进步水平。
下面我尝试列出我们可能期望的东西。这不是基于任何严格的方法，并且几乎肯定会在细节上被证明是错误的，但它试图传达我们应该期望的总体激进程度：
可靠地预防和治疗几乎所有¹⁷自然传染病。 鉴于 20 世纪在对抗传染病方面取得了巨大进步，因此可以想象我们可以在压缩的 21 世纪或多或少地“完成这项工作”。mRNA 疫苗和类似的技术已经指明了通往“针对任何东西的疫苗”的道路。传染病是否完全从世界上根除（而不是仅仅在某些地方）取决于关于贫困和不平等的问题，这些问题将在第 3 节中讨论。
消除大多数癌症。 在过去的几十年里，癌症死亡率每年下降约 2%；因此，按照目前人类科学的步伐，我们有望在 21 世纪消除大多数癌症。一些亚型已经被很大程度上治愈（例如某些类型的白血病使用 CAR-T 疗法），而对于在婴儿期靶向癌症并阻止其生长的非常有选择性的药物，我可能更加兴奋。人工智能还将使治疗方案能够非常精细地适应癌症的个体化基因组——这些在今天都是可能的，但在时间和人类专业知识方面非常昂贵，人工智能应该允许我们对其进行扩展。死亡率和发病率都降低 95% 或更多似乎是可能的。也就是说，癌症非常多样且具有适应性，并且可能是这些疾病中最难完全消灭的。如果各种罕见的、难以治疗的恶性肿瘤持续存在，这并不奇怪。
非常有效地预防和有效治愈遗传性疾病。 大大改进的胚胎筛查可能会使预防大多数遗传性疾病成为可能，并且一些更安全、更可靠的 CRISPR 后代可能会治愈现有人员的大多数遗传性疾病。然而，影响很大一部分细胞的全身性疾病可能是最后的顽固分子。
预防阿尔茨海默氏症。 我们一直很难弄清楚是什么导致了阿尔茨海默氏症（它与 β-淀粉样蛋白有关，但实际细节似乎非常复杂）。这似乎是那种可以通过隔离生物效应的更好的测量工具来解决的问题类型；因此，我对人工智能解决它的能力持乐观态度。一旦我们真正了解了正在发生的事情，很有可能最终可以通过相对简单的干预措施来预防它。也就是说，已经存在的阿尔茨海默氏症造成的损害可能很难逆转。
改善对大多数其他疾病的治疗。 这是一个涵盖其他疾病的综合类别，包括糖尿病、肥胖症、心脏病、自身免疫性疾病等等。其中大多数似乎比癌症和阿尔茨海默氏症“更容易”解决，并且在许多情况下已经急剧下降。例如，心脏病死亡人数已经下降了 50% 以上，而像 GLP-1 激动剂这样的简单干预措施已经在对抗肥胖症和糖尿病方面取得了巨大进展。
生物自由。 过去 70 年出现了避孕、生育、体重管理等方面的进步。但我怀疑人工智能加速的生物学将极大地扩展什么是可能的：体重、外貌、生殖和其他生物过程将完全在人们的控制之下。我们将在生物自由的标题下提到这些：每个人都应该被赋予权力来选择他们想成为什么样的人并以最吸引他们的方式生活的想法。当然，全球平等获得机会将存在重要问题；有关这些问题，请参见第 3 节。
人类寿命翻倍¹⁸。 这似乎很激进，但在 20 世纪，预期寿命几乎增加了 2 倍（从约 40 岁增加到约 75 岁），因此“压缩的 21 世纪”将其再次翻倍至 150 岁是“符合趋势”的。显然，减缓实际衰老过程所涉及的干预措施将不同于上个世纪为防止（主要是儿童）因疾病过早死亡所需的干预措施，但变化的幅度并非史无前例的¹⁹。具体来说，已经存在可以将大鼠的最大寿命延长 25-50% 且不良影响有限的药物。而且一些动物（例如某些类型的乌龟）已经活了 200 年，因此人类显然没有达到某些理论上限。我猜测，可能需要的最重要的东西可能是人类衰老的可靠、非古德哈特定律的生物标志物，因为这将允许对实验和临床试验进行快速迭代。一旦人类寿命达到 150 岁，我们可能能够达到“逃逸速度”，争取到足够的时间，使目前活着的大多数人能够活到他们想要的年龄，尽管当然不能保证这在生物学上是可能的。
值得一看这份清单，并思考一下如果所有这些都在从现在起 7-12 年内实现（这将符合激进的人工智能时间表），世界将会有多么不同。毋庸置疑，这将是一场难以想象的人道主义胜利，将一次性消除困扰人类数千年的大部分祸害。我的许多朋友和同事都在抚养孩子，当这些孩子长大后，我希望他们听到任何关于疾病的说法都会像我们听到坏血病、天花或鼠疫一样。这一代人还将受益于不断增加的生物自由和自我表达，并且幸运的话，他们也可能能够活到他们想要的年龄。
除了预期强大人工智能的一小部分人之外，很难高估这些变化会让每个人感到多么惊讶。例如，美国目前有数千名经济学家和政策专家在争论如何保持社会保障和医疗保险的偿付能力，以及更广泛地说如何降低医疗保健成本（这些成本主要由 70 岁以上的人，特别是患有癌症等绝症的人消耗）。如果所有这些都实现，这些计划的情况可能会得到根本改善²⁰，因为工作年龄人口与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将被其他挑战所取代，例如如何确保广泛获得新技术，但值得思考的是，即使生物学是唯一一个被人工智能成功加速的领域，世界将会发生多大的变化。
2. 神经科学和思想
在上一节中，我重点关注了一般身体疾病和生物学，并且没有涵盖神经科学或心理健康。但神经科学是生物学的一个子学科，心理健康与身体健康一样重要。事实上，如果有的话，心理健康比身体健康对人类福祉的影响更大。由于成瘾、抑郁症、精神分裂症、低功能自闭症、创伤后应激障碍、精神病²¹或智力障碍等问题，数亿人的生活质量非常低。数十亿人还在与日常问题作斗争，这些问题通常可以解释为这些严重临床疾病的轻微得多的版本。与一般生物学一样，除了解决问题之外，还可能提高人类体验的基线质量。
我为生物学提出的基本框架同样适用于神经科学。该领域由少数通常与测量或精确干预工具相关的发现推动——在上面的列表中，光遗传学是一项神经科学发现，最近 CLARITY 和扩展显微镜是同一领域的进步，此外还有许多直接延续到神经科学的一般细胞生物学方法。我认为这些进步的速度将同样被人为加速，因此“5-10 年内取得 100 年的进步”这一框架同样适用于神经科学，就像它适用于生物学一样，原因也相同。与生物学一样，20 世纪神经科学的进步是巨大的——例如，直到 1950 年代，我们甚至还不了解神经元如何或为什么放电。因此，似乎有理由期望人工智能加速的神经科学在几年内产生快速的进步。
我们应该在这种基本图景中添加一件事，那就是我们在过去几年中了解到的（或正在了解到的）关于人工智能本身的一些东西可能会帮助推进神经科学，即使它继续只由人类完成。可解释性是一个明显的例子：尽管生物神经元表面上以完全不同的方式运行于人工神经元（它们通过尖峰进行通信，并且通常通过尖峰率进行通信，因此存在人工神经元中不存在的时间元素，并且与细胞生理学和神经递质相关的一系列细节对其操作进行了实质性的修改），但“简单的单元组成的分散的、经过训练的网络如何协同工作以执行重要的计算”这一基本问题是相同的，并且我强烈怀疑在关于计算和电路的大多数有趣问题中，个体神经元通信的细节将被抽象掉²²。仅举一个例子，人工智能系统中的可解释性研究人员发现的一种计算机制最近在小鼠的大脑中被重新发现。
对人工神经网络进行实验比对真实的神经网络进行实验要容易得多（后者通常需要切入动物的大脑），因此可解释性很可能成为提高我们对神经科学理解的工具。此外，强大的人工智能本身可能能够比人类更好地开发和应用这种工具。
然而，除了可解释性之外，我们从人工智能中学到的关于智能系统如何训练的知识应该（尽管我不确定它是否已经）在神经科学领域引起一场革命。当我在神经科学领域工作时，很多人都关注于我现在认为的关于学习的错误问题，因为缩放假设/苦涩教训的概念还不存在。一个简单的目标函数加上大量数据可以驱动极其复杂的行为这一想法使得理解目标函数和架构偏差变得更加有趣，而理解紧急计算的细节则变得不那么有趣。近年来我没有密切关注这个领域，但我有一种模糊的感觉，计算神经科学家仍然没有完全吸收这个教训。我对缩放假设的态度一直是“啊哈——这是对智能如何工作以及它如何如此容易进化的一个高层次的解释”，但我认为这不是普通神经科学家的观点，部分原因是缩放假设作为“智能的秘密”即使在人工智能内部也没有被完全接受。
我认为神经科学家应该尝试将这种基本见解与人脑的特殊性（生物物理限制、进化史、拓扑结构、运动和感觉输入/输出的细节）结合起来，试图找出神经科学的一些关键难题。有些人可能是，但我怀疑这还不够，而且人工智能神经科学家将能够更有效地利用这个角度来加速进步。
我预计人工智能将沿着四条不同的路线加速神经科学的进步，所有这些路线都有望协同工作以治愈精神疾病并改善功能：
传统的分子生物学、化学和遗传学。 这与第 1 节中的一般生物学本质上是相同的故事，人工智能可能通过相同的机制加速它。有许多药物可以调节神经递质以改变大脑功能、影响警觉性或感知、改变情绪等，人工智能可以帮助我们发明更多。人工智能也可能加速关于精神疾病遗传基础的研究。
细粒度的神经测量和干预。 这是测量大量单个神经元或神经回路正在做什么，并进行干预以改变其行为的能力。光遗传学和神经探针是能够在活生物体中进行测量和干预的技术，并且还提出了许多非常先进的方法（例如读取大量单个神经元放电模式的分子自动收报机），并且这些方法在原则上似乎是可能的。
先进的计算神经科学。 如上所述，现代人工智能的具体见解和格式塔都可能被富有成效地应用于系统神经科学中的问题，包括可能揭示精神病或情绪障碍等复杂疾病的真正原因和动态。
行为干预。 鉴于对神经科学的生物学方面的关注，我没有过多地提及它，但精神病学和心理学当然在 20 世纪发展了广泛的行为干预；可以推断，人工智能也可以加速这些干预，包括开发新方法和帮助患者坚持现有方法。更广泛地说，一个“人工智能教练”的想法总是帮助你成为最好的自己，研究你的互动并帮助你学会更有效，这似乎非常有希望。
我猜测，这四条进步路线协同工作，就像身体疾病一样，即使没有人工智能的参与，也有望在未来 100 年内导致大多数精神疾病的治愈或预防——因此可能会在 5-10 个由人工智能加速的年内合理地完成。具体来说，我对将要发生的事情的猜测是这样的：
大多数精神疾病都可能被治愈。 我不是精神疾病方面的专家（我在神经科学方面的时间都花在了构建探针来研究小组神经元上），但我猜测诸如创伤后应激障碍、抑郁症、精神分裂症、成瘾等疾病可以通过上述四种方向的某种组合来找出并非常有效地治疗。答案可能是“生物化学上出了问题”（尽管它可能非常复杂）和“神经网络在高层次上出了问题”的某种组合。也就是说，这是一个系统神经科学问题——尽管这并没有否定上述行为干预的影响。用于测量和干预的工具，特别是在活人身上，似乎可能会导致快速迭代和进步。
非常“结构化”的条件可能更困难，但并非不可能。 有一些证据表明精神病与明显的神经解剖学差异有关——精神病患者的某些大脑区域仅仅是更小或发育不良。精神病患者也被认为从小就缺乏同理心；无论他们的大脑有什么不同，它可能一直都是这样。一些智力障碍和其他疾病可能也是如此。重组大脑听起来很难，但它似乎也像是一项具有高智能回报
的任务。或许有某种方法可以将成年大脑诱导到更早或更具可塑性的状态，使其可以重塑。我非常不确定这有多大的可能性，但我本能地对人工智能在这里可以发明的东西持乐观态度。
对精神疾病进行有效的基因预防似乎是可能的。 大多数精神疾病都是部分遗传的，全基因组关联研究开始在识别相关因素方面获得关注，这些因素通常有很多。通过胚胎筛查来预防这些疾病中的大多数可能是可能的，类似于身体疾病的情况。一个不同之处在于，精神疾病更有可能是多基因的（许多基因都有贡献），因此由于复杂性，存在不知不觉地选择不利于与疾病相关的积极特征的风险增加。然而奇怪的是，近年来 GWAS 研究似乎表明这些相关性可能被夸大了。无论如何，人工智能加速的神经科学可以帮助我们弄清楚这些事情。当然，针对复杂性状的胚胎筛查会引发许多社会问题并且会引起争议，尽管我猜测大多数人会支持筛查严重或使人衰弱的精神疾病。
我们不认为是临床疾病的日常问题也将得到解决。 我们大多数人都有日常的心理问题，这些问题通常不被认为上升到临床疾病的水平。有些人容易生气，有些人难以集中注意力或经常昏昏欲睡，有些人害怕或焦虑，或者对变化反应不良。如今，已经存在药物来帮助提高警觉性或注意力（咖啡因、莫达非尼、利他林），但与许多其他以前的领域一样，更多的可能性可能会出现。可能存在更多此类药物但尚未被发现，并且也可能存在全新的干预方式，例如靶向光刺激（参见上文的光遗传学）或磁场。鉴于我们在 20 世纪开发了许多调整认知功能和情绪状态的药物，我对“压缩的 21 世纪”非常乐观，每个人都可以让自己的大脑表现得更好，并拥有更充实的日常生活体验。
人类的基线体验可以更好。 更进一步，许多人都经历过启示、创造性灵感、同情、满足、超越、爱、美或冥想的平静等非凡时刻。这些体验的性质和频率因人而异，并且在同一个人在不同时间也存在很大差异，并且有时也可能由各种药物触发（尽管通常会产生副作用）。所有这些都表明“可能体验到的空间”非常广泛，并且人们生活中更大的一部分可能由这些非凡时刻组成。也可能全面改善各种认知功能。这也许是“生物自由”或“延长寿命”的神经科学版本。
科幻小说中经常出现的一个话题，但我在这里故意没有讨论，那就是“思维上传”，即将人脑的模式和动态捕捉到软件中的想法。这个话题本身就可以成为一篇文章的主题，但可以肯定地说，尽管我认为上传在原则上几乎肯定是可能的，但在实践中，即使有了强大的人工智能，它也面临着重大的技术和社会挑战，这可能会使它超出我们正在讨论的 5-10 年窗口。
总而言之，人工智能加速的神经科学可能会大大改善对大多数精神疾病的治疗，甚至治愈它们，并极大地扩展“认知和精神自由”以及人类的认知和情感能力。它将与上一节中描述的身体健康改善一样激进。也许外部世界不会有明显的变化，但人类所体验到的世界将是一个更好、更人性化的地方，也是一个提供更多自我实现机会的地方。我还怀疑改善心理健康将改善许多其他社会问题，包括那些看起来是政治或经济的问题。
3. 经济发展和贫困
前两节是关于开发治愈疾病和提高人类生活质量的新技术。然而，从人道主义的角度来看，一个显而易见的问题是：“每个人都能获得这些技术吗？”
开发一种疾病的治疗方法是一回事，从世界上根除这种疾病是另一回事。更广泛地说，许多现有的健康干预措施尚未在全球范围内应用，而且就此而言，（非健康）技术改进总体上也是如此。另一种说法是，世界许多地方的生活水平仍然非常贫困：撒哈拉以南非洲的人均 GDP 约为 2,000 美元，而美国约为 75,000 美元。如果人工智能进一步提高发达国家的经济增长和生活质量，而对发展中国家几乎没有帮助，我们应该将其视为一种可怕的道德失败，也是前两节中真正人道主义胜利的污点。理想情况下，强大的人工智能应该帮助发展中国家赶上发达国家，即使它彻底改变了后者。
我不像我相信人工智能可以发明基本技术那样相信它可以解决不平等和经济增长问题，因为技术显然具有很高的智能回报（包括绕过复杂性和缺乏数据的能力），而经济涉及来自人类的大量约束，以及大量的内在复杂性。我有点怀疑人工智能是否可以解决著名的“社会主义计算问题”²³，而且我认为政府不会（或不应该）将他们的经济政策交给这样一个实体，即使它可以这样做。还有一些问题，比如如何说服人们接受有效但他们可能怀疑的治疗方法。
发展中国家面临的挑战因私营和公共部门普遍存在的腐败而变得更加复杂。腐败造成了一个恶性循环：它加剧了贫困，而贫困反过来又滋生了更多的腐败。人工智能驱动的经济发展计划需要考虑腐败、薄弱的机构和其他非常人性化的挑战。
尽管如此，我确实看到了乐观的重要理由。疾病已经被根除，许多国家已经从贫穷走向富裕，而且很明显，参与这些任务的决策表现出很高的智能回报（尽管存在人为约束和复杂性）。因此，人工智能可能比目前做得更好。也可能有针对性的干预措施可以绕过人为约束，而人工智能可以专注于这些干预措施。但更重要的是，我们必须尝试。人工智能公司和发达国家的政策制定者都需要尽自己的一份力量来确保发展中国家不被落下；道德上的必要性太大了。因此，在这一节中，我将继续提出乐观的理由，但请记住，成功并非得到保证，并且取决于我们的集体努力。
下面我将对强大人工智能开发后的 5-10 年内发展中国家可能会发生什么做出一些猜测：
健康干预措施的分配。 我可能最乐观的领域是在全球范围内分配健康干预措施。疾病实际上已经被自上而下的运动根除：天花在 1970 年代被完全消灭，脊髓灰质炎和几内亚蠕虫病几乎被根除，每年不到 100 例病例。数学上复杂的流行病学建模在疾病根除运动中发挥着积极作用，而且似乎很有可能存在比人类更聪明的人工智能系统可以在这方面做得比人类更好。分配的后勤工作也可能得到极大的优化。作为 GiveWell 的早期捐赠者，我了解到的一件事是，一些健康慈善机构比其他慈善机构有效得多；希望人工智能加速的努力会更加有效。此外，一些生物学进步实际上使分配的后勤工作变得更加容易：例如，疟疾一直难以根除，因为它需要在每次感染疾病时进行治疗；只需要施用一次的疫苗使后勤工作变得简单得多（事实上，目前正在开发这种疟疾疫苗）。甚至更简单的分配机制也是可能的：原则上，一些疾病可以通过靶向它们的动物载体来根除，例如释放感染了阻止它们携带疾病的细菌的蚊子（然后感染所有其他蚊子）或仅仅使用基因驱动来消灭蚊子。这需要一个或几个集中的行动，而不是必须单独治疗数百万人的协调运动。总体而言，我认为 5-10 年对于很大一部分（可能是 50%）人工智能驱动的健康益处传播到世界上最贫穷的国家来说是一个合理的时间表。一个好的目标可能是，即使发展中国家在强大人工智能出现后的 5-10 年内继续落后于发达国家，但至少比今天的发达国家健康得多。当然，要实现这一目标，需要在全球卫生、慈善事业、政治倡导和许多其他方面做出巨大努力，人工智能开发商和政策制定者都应该为此提供帮助。
经济增长。 发展中国家能否在健康方面全面赶上发达国家，而且还能在经济方面全面赶上发达国家？有一些先例：在 20 世纪的最后几十年里，几个东亚经济体实现了持续的约 10% 的年实际 GDP 增长率，使它们能够赶上发达国家。人类经济规划者做出了导致这一成功的决策，不是通过直接控制整个经济体，而是通过拉动几个关键杠杆（例如出口导向型增长的产业政策，以及抵制依赖自然资源财富的诱惑）；“人工智能财政部长和央行行长”有可能复制或超过这 10% 的成就。一个重要的问题是如何让发展中国家政府在尊重自决原则的同时采用它们——有些人可能会对此充满热情，但其他人可能会持怀疑态度。乐观的一面是，上一个要点中的许多健康干预措施可能会有机地增加经济增长：根除艾滋病/疟疾/寄生虫病将对生产力产生变革性的影响，更不用说神经科学干预措施（如改善情绪和注意力）将在发达国家和发展中国家产生的经济效益了。最后，非健康人工智能加速技术（如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等）可能只是通过市场机制自然地渗透到世界各地；例如，即使是手机也通过市场机制迅速渗透到撒哈拉以南非洲，而不需要慈善努力。更消极的一面是，虽然人工智能和自动化有许多潜在的好处，但它们也给经济发展带来了挑战，特别是对于那些尚未工业化的国家。在自动化程度日益提高的时代，找到方法来确保这些国家仍然可以发展和改善其经济，是经济学家和政策制定者需要解决的一个重要挑战。总体而言，一个梦想的情景——也许是一个可以瞄准的目标——将是发展中国家 20% 的年 GDP 增长率，其中 10% 来自人工智能支持的经济决策和人工智能加速技术（包括但不限于健康）的自然传播。如果实现这一目标，这将使撒哈拉以南非洲在 5-10 年内达到中国目前的人均 GDP 水平，同时将发展中世界其他大部分地区的水平提高到高于美国目前的 GDP 水平。同样，这是一个梦想的情景，而不是默认发生的情况：这是我们所有人都必须共同努力才能使其更有可能实现的事情。
粮食安全²⁴。 诸如更好的化肥和杀虫剂、更多的自动化以及更有效的土地利用等作物技术的进步极大地提高了整个 20 世纪的作物产量，使数百万人免于饥饿。基因工程目前正在进一步改进许多作物。找到更多的方法来做到这一点——以及使农业供应链更加高效——可以为我们带来人工智能驱动的第二次绿色革命，帮助缩小发展中国家和发达国家之间的差距。
缓解气候变化。 气候变化将在发展中国家感受到更强烈的影响，阻碍其发展。我们可以预期，人工智能将导致减缓或阻止气候变化的技术改进，从大气除碳和清洁能源技术到减少我们对碳密集型工厂化养殖的依赖的实验室培育肉类。当然，正如上面所讨论的，技术并不是限制气候变化进展的唯一因素——与本文中讨论的所有其他问题一样，人类社会因素也很重要。但有充分的理由认为，人工智能增强的研究将为我们提供使缓解气候变化的成本和破坏性大大降低的方法，使许多反对意见变得毫无意义，并使发展中国家能够取得更多的经济进步。
国家内部的不平等。 我主要将不平等作为一个全球现象来讨论（我确实认为这是其最重要的表现形式），但当然不平等也存在于国家内部。有了先进的健康干预措施，特别是寿命的 radical 增加或认知增强药物，肯定会有人担心这些技术“只为富人服务”。我对国家内部的不平等更加乐观，尤其是在发达国家，原因有二。首先，市场在发达国家运作得更好，而且市场通常擅长随着时间的推移降低高价值技术的成本²⁵。其次，发达国家的政治机构对其公民的反应更加灵敏，并且拥有更大的执行普遍获取计划的国家能力——我预计公民会要求获得如此 radical 地改善生活质量的技术。当然，这种要求不会注定成功——这里是我们必须共同尽我们所能来确保一个公平的社会的另一个地方。财富不平等（与获得救生和改善生活的技术的不平等相反）存在一个单独的问题，这个问题似乎更难，我将在第 5 节中讨论。
选择退出问题。 发达国家和发展中国家都存在的一个担忧是，人们选择退出人工智能支持的福利（类似于反疫苗运动，或更广泛的卢德运动）。最终可能会出现糟糕的反馈循环，例如，最不能做出好决定的人选择退出那些提高他们决策能力的技术，导致差距不断扩大，甚至创造出一个反乌托邦的下层阶级（一些研究人员认为这将破坏民主，我将在下一节进一步讨论这个话题）。这再次会给人工智能的积极进步蒙上道德污点。这是一个难以解决的问题，因为我认为强迫人们在道德上是不正确的，但我们至少可以尝试提高人们的科学理解——也许人工智能本身可以帮助我们做到这一点。一个充满希望的迹象是，从历史上看，反技术运动一直是雷声大雨点小：反对现代技术很受欢迎，但大多数人最终还是采用了它，至少当这是个人选择的问题时。个人倾向于采用大多数健康和消费技术，而像核能这样真正受到阻碍的技术往往是集体政治决策。
总的来说，我对迅速将人工智能的生物学进步带给发展中国家的人们持乐观态度。我希望（尽管不确信）人工智能也能够实现前所未有的经济增长率，并使发展中国家至少能够超越发达国家目前的水平。我担心发达国家和发展中国家的“选择退出”问题，但我怀疑它会随着时间的推移而逐渐消失，而且人工智能可以帮助加速这一进程。这不会是一个完美的世界，落后者不会完全赶上，至少在最初几年不会。但通过我们的共同努力，我们也许能够让事情朝着正确的方向发展——而且是快速发展。如果我们这样做，我们至少可以为我们欠地球上每个人的尊严和平等的承诺支付首付。
4. 和平与治理
假设前三节中的一切都进展顺利：疾病、贫困和不平等现象大大减少，人类体验的基线得到大幅提升。但这并不意味着人类苦难的所有主要原因都得到了解决。人类仍然对彼此构成威胁。尽管技术进步和经济发展导致民主与和平的趋势，但这是一个非常松散的趋势，经常（且最近）出现倒退。在 20 世纪初，人们认为他们已经将战争抛在脑后；然后是两次世界大战。三十年前，弗朗西斯·福山写了关于“历史的终结”和自由民主的最终胜利的文章；那还没有发生。二十年前，美国政策制定者认为，与中国进行自由贸易将使其在变得富裕的同时实现自由化；那根本没有发生，我们现在似乎正走向与复兴的威权主义集团的第二次冷战。而且合理的理论表明，互联网技术实际上可能有利于威权主义，而不是最初认为的民主（例如在“阿拉伯之春”时期）。试图理解强大的人工智能将如何与这些和平、民主和自由问题相交似乎很重要。
不幸的是，我没有充分的理由相信人工智能会优先或结构性地推进民主与和平，就像我认为它会在结构上促进人类健康和减轻贫困一样。人类冲突是对抗性的，人工智能原则上可以帮助“好人”和“坏人”。如果有的话，一些结构性因素似乎令人担忧：人工智能似乎有可能实现更好的宣传和监视，这两者都是独裁者工具包中的主要工具。因此，作为个人行为者，我们需要将事情导向正确的方向：如果我们希望人工智能支持民主和个人权利，我们将不得不为这一结果而战。我对此的感受甚至比我对国际不平等的感受更强烈：自由民主和政治稳定的胜利没有得到保证，甚至可能不太可能，并且将需要我们所有人做出巨大的牺牲和承诺，就像过去经常发生的那样。
我认为这个问题有两个部分：国际冲突和国家内部结构。在国际方面，当强大的人工智能被创造出来时，民主国家在世界舞台上占据上风似乎非常重要。人工智能驱动的威权主义似乎太可怕了，因此民主国家需要能够制定强大人工智能进入世界的条款，既要避免被威权主义者压倒，又要防止威权主义国家内部的侵犯人权行为。
我目前对实现这一目标的最佳方式的猜测是通过“协约战略”²⁶，其中民主国家联盟寻求通过确保其供应链、快速扩展以及阻止或延迟对手获得芯片和半导体设备等关键资源来在强大人工智能方面获得明显的优势（即使只是暂时的）。这个联盟一方面会利用人工智能来实现强大的军事优势（大棒），同时提供分发强大人工智能的好处（胡萝卜）给越来越多的国家，以换取支持该联盟促进民主的战略（这有点类似于“原子能换和平”）。该联盟的目标是获得世界上越来越多国家的支持，孤立我们最糟糕的对手，并最终使他们处于一个更好的境地，接受与世界其他国家相同的讨价还价：放弃与民主国家竞争，以获得所有好处并且不与更强大的敌人作战。
如果我们能做到这一切，我们将拥有一个民主国家在世界舞台上处于领先地位的世界，并且拥有避免被专制国家破坏、征服或破坏的经济和军事实力，并且可能能够将其人工智能优势转化为持久的优势。这可能会乐观地导致“永恒的 1991 年”——一个民主国家占据上风并且福山的梦想得以实现的世界。同样，这将非常难以实现，并且特别是需要私人人工智能公司和民主政府之间的密切合作，以及关于胡萝卜和大棒之间平衡的极其明智的决定。
即使一切顺利，它仍然留下了每个国家内部民主与专制之间斗争的问题。显然很难预测这里会发生什么，但我确实有一些乐观的态度，即在一个民主国家控制最强大人工智能的全球环境中，人工智能实际上可能在结构上有利于各地的民主。特别是，在这种环境下，民主政府可以利用其优越的人工智能来赢得信息战：他们可以对抗专制国家的的影响力和宣传行动，甚至可能通过以专制国家缺乏阻止或监视的技术能力的方式提供信息和人工智能服务渠道来创造一个全球自由的信息环境。可能没有必要进行宣传，只需要对抗恶意攻击并疏通信息的自由流动即可。尽管不是立竿见影，但这样的公平竞争环境很有可能逐渐将全球治理导向民主，原因有几个。
首先，第 1-3 节中生活质量的提高，在所有条件相同的情况下，应该促进民主：从历史上看，它们在一定程度上促进了民主。特别是，我预计心理健康、福祉和教育的改善会增加民主，因为这三者都与对威权领导人的支持呈负相关。一般来说，当人们的其他需求得到满足时，他们希望有更多的自我表达，而民主在其他方面也是一种自我表达形式。相反，威权主义则依赖于恐惧和怨恨。
其次，只要威权主义者无法审查自由信息，那么自由信息很有可能确实会破坏威权主义。不受审查的人工智能还可以为个人带来破坏镇压政府的强大工具。镇压政府通过否认人们某种常识来生存，使他们无法意识到“皇帝没有穿衣服”。例如，帮助推翻塞尔维亚米洛舍维奇政府的 Srđa Popović 广泛地撰写了关于从心理上剥夺威权主义者权力的技术，打破魔咒并团结起来反对独裁者的文章。每个人口袋里都有一个超人般有效的人工智能版本的 Popović（其技能似乎具有很高的智能回报），一个独裁者无力阻止或审查的版本，可以为全世界的持不同政见者和改革者创造顺风。再说一遍，这将是一场漫长而旷日持久的战斗，一场胜利无法得到保证的战斗，但如果我们以正确的方式设计和构建人工智能，它至少可能是各地自由倡导者都占优势的一场战斗。
与神经科学和生物学一样，我们还可以问事情如何才能“比正常情况更好”——不仅仅是如何避免专制，而是如何使民主国家比今天更好。即使在民主国家内部，不公正现象也一直在发生。法治社会向其公民承诺，法律面前人人平等，每个人都有权享有人权，但显然人们在实践中并不总是获得这些权利。这一承诺即使得到部分履行，也使它成为值得骄傲的事情，但人工智能能否帮助我们做得更好？
例如，人工智能能否通过使决策和流程更加公正来改善我们的法律和司法系统？如今，人们主要担心法律或司法环境中的人工智能系统会导致歧视，这些担忧很重要，需要加以防范。与此同时，民主的活力取决于利用新技术来改善民主制度，而不仅仅是应对风险。一个真正成熟和成功的人工智能实施有可能减少偏见并对每个人都更公平。
几个世纪以来，法律体系一直面临着这样一个困境，即法律旨在公正，但本质上是主观的，因此必须由有偏见的人来解释。试图使法律完全机械化并没有奏效，因为现实世界是混乱的，无法总是用数学公式来捕捉。相反，法律体系依赖于众所周知的不精确标准，如“残酷和不寻常的惩罚”或“完全没有任何社会重要性”，然后由人类来解释——并且经常以表现出偏见、偏袒或任意性的方式这样做。“智能合约”在加密货币中并没有彻底改变法律，因为普通代码不够聪明，无法裁决所有那么多有趣的事情。但人工智能可能足够聪明：它是第一种能够以可重复和机械的方式做出广泛、模糊判断的技术。
我并不是建议我们真的用人工智能系统取代法官，但公正性与理解和处理混乱的现实世界情况的能力相结合，感觉它应该在法律和司法方面有一些重要的积极应用。至少，此类系统可以与人类一起作为决策的辅助工具。透明度在任何此类系统中都很重要，成熟的人工智能科学可以提供透明度：可以广泛研究此类系统的训练过程，并且可以使用先进的可解释性技术来查看最终模型内部并评估其隐藏的偏见，而这对于人类来说是不可能的。此类人工智能工具还可用于在司法或警察环境中监控侵犯基本权利的行为，使宪法更具自我执行力。
同样，人工智能可用于汇总意见和推动公民之间的共识、解决冲突、找到共同点和寻求妥协。计算民主项目已经朝着这个方向提出了一些初步的想法，包括与 Anthropic 的合作。一个更明智、更深思熟虑的公民群体显然会加强民主制度。
人工智能显然也有机会被用来帮助提供政府服务——例如健康福利或社会服务——这些服务原则上对每个人都可用，但在实践中经常严重缺乏，而且在某些地方比在其他地方更糟糕。这包括医疗服务、DMV、税收、社会保障、建筑规范执行等等。拥有一个非常深思熟虑且消息灵通的人工智能，其工作是以你能理解的方式为你提供政府依法赋予你的一切——并且还帮助你遵守经常令人困惑的政府规则——这将是一件大事。提高国家能力既有助于兑现法律面前人人平等的承诺，又能加强对民主治理的尊重。执行不力的服务目前是人们对政府愤世嫉俗的主要原因²⁷。
所有这些都是有些模糊的想法，正如我在本节开头所说的那样，我对它们的可行性远不如我对生物学、神经科学和扶贫方面的进步那么有信心。它们可能是不切实际的乌托邦式的。但重要的是要有一个雄心勃勃的愿景，愿意做大梦并尝试一些事情。人工智能作为自由、个人权利和法律面前平等的保障者的愿景是一个不容错过的强大愿景。一个 21 世纪的、人工智能支持的政体既可以成为个人自由的更强大保护者，也可以成为帮助使自由民主成为全世界都想采用的政府形式的希望灯塔。
5. 工作和意义
即使前四节中的一切都进展顺利——我们不仅减轻了疾病、贫困和不平等现象，而且自由民主成为主要的政府形式，并且现有的自由民主国家成为他们自己的更好版本——至少还有一个重要的问题仍然存在。“生活在这样一个技术先进的世界以及一个公平和体面的世界中真是太好了”，有人可能会反对，“但随着人工智能做所有事情，人类将如何拥有意义？就此而言，他们将如何在经济上生存？”。
我认为这个问题比其他问题更难。我的意思并不是说我对它一定比我对其他问题更悲观（尽管我确实看到了挑战）。我的意思是它更模糊，更难提前预测，因为它与关于社会如何组织的宏观问题有关，这些问题往往只能随着时间的推移以分散的方式自行解决。例如，历史上的狩猎采集社会可能会想象没有狩猎和各种与狩猎相关的宗教仪式的生活是没有意义的，并且会想象我们吃饱穿暖的技术社会缺乏目标。他们也可能不明白我们的经济如何能够养活每个人，或者人们在机械化社会中可以发挥什么有用的作用。
尽管如此，至少值得说几句话，同时要记住，本节的简短绝不是表明我不认真对待这些问题——相反，它表明缺乏明确的答案。
关于意义的问题，我认为相信你所从事的任务毫无意义仅仅是因为人工智能可以做得更好，这很可能是一个错误。大多数人都不是世界上任何方面最优秀的人，而且这似乎并没有特别困扰他们。当然，今天他们仍然可以通过比较优势做出贡献，并且可以从他们产生的经济价值中获得意义，但人们也非常喜欢不产生任何经济价值的活动。我花了很多时间玩电子游戏、游泳、在外面散步和与朋友交谈，所有这些都没有产生任何经济价值。我可能会花一天时间尝试在电子游戏中变得更好，或者在骑自行车上山时变得更快，而其他人在这方面比我强得多，这对我来说并不重要。无论如何，我认为意义主要来自人际关系和联系，而不是来自经济劳动。人们确实想要一种成就感，甚至是一种竞争感，在后人工智能世界中，完全有可能花几年时间尝试一项非常困难的任务，并制定复杂的策略，类似于人们今天在开始研究项目、尝试成为好莱坞演员或创办公司时所做的事情²⁸。事实是（a）某处的人工智能原则上可以更好地完成这项任务，以及（b）这项任务不再是全球经济中一个经济上得到回报的要素，在我看来似乎并不重要。
经济部分实际上似乎比意义部分更难。在本节中，我所说的“经济”是指大多数或所有人类可能无法为足够先进的人工智能驱动的经济做出有意义的贡献这一可能的问题。这是一个比不平等（特别是在获得新技术方面的不平等）更宏观的问题，我在第 3 节中讨论过这个问题。
首先，在短期内，我同意比较优势将继续保持人类的相关性并实际上提高他们的生产力的论点，甚至可能在某些方面平衡人类之间的竞争环境。只要人工智能只比一项给定工作的 90% 更好，另外 10% 将导致人类变得高度杠杆化，增加报酬，并且实际上创造了一系列新的人类工作，补充和放大人工智能擅长的东西，这样“10%”就会扩大以继续雇用几乎所有人。事实上，即使人工智能可以 100% 地比人类做得更好，但在某些任务上仍然效率低下或成本高昂，或者如果人类和人工智能的资源投入存在有意义的差异，那么比较优势的逻辑仍然适用。人类可能在相当长一段时间内保持相对（甚至绝对）优势的一个领域是物理世界。因此，我认为即使在我们到达“数据中心里的天才之国”之后的一段时间内，人类经济可能仍然有意义。
然而，我确实认为从长远来看，人工智能将变得如此广泛有效且如此便宜，以至于这将不再适用。到那时，我们目前的经济设置将不再有意义，并且将需要就经济应该如何组织进行更广泛的社会对话。
虽然这听起来可能很疯狂，但事实是，文明在过去已经成功地度过了重大的经济转变：从狩猎采集到农业，从农业到封建主义，从封建主义到工业主义。我怀疑将需要一些新的和更奇怪的东西，而且这是当今没有人能够很好地设想的东西。它可能像为每个人提供大量的全民基本收入一样简单，尽管我怀疑这只会是解决方案的一小部分。它可能是人工智能系统的资本主义经济，然后根据人工智能系统认为在人类中奖励有意义的某种次要经济（基于最终源自人类价值观的某种判断）向人类提供资源（大量资源，因为整个经济蛋糕将是巨大的）。也许经济靠 Whuffie 点数运行。或者也许人类毕竟会继续具有经济价值，以某种通常经济模型未预期的方式。所有这些解决方案都有大量可能的问题，并且如果不进行大量的迭代和实验，就不可能知道它们是否会奏效。与一些其他挑战一样，我们可能不得不为在这里获得一个好的结果而战：剥削性或反乌托邦的方向显然也是可能的，必须加以防止。关于这些问题可以写更多内容，我希望在以后的某个时间这样做。
总结
通过上面的各种主题，我试图描绘出一个如果一切都与人工智能一起顺利进行并且比今天的世界好得多的世界的愿景。我不知道这个世界是否现实，即使它是现实的，如果没有许多勇敢和敬业的人的大量努力和奋斗，它也无法实现。每个人（包括人工智能公司！）都需要尽自己的一份力量来防止风险并充分实现利益。
但这是一个值得为之奋斗的世界。如果所有这一切真的在 5 到 10 年内发生——大多数疾病被战胜，生物和认知自由得到发展，数十亿人摆脱贫困以分享新技术，自由民主和人权的复兴——我怀疑每个看到它的人都会对它对他们的影响感到惊讶。我不是指个人从所有新技术中受益的体验，尽管这肯定会很棒。我的意思是看着一组长期持有的理想在我们面前一下子实现的那种体验。我想很多人会真的被它感动得热泪盈眶。
在撰写本文的过程中，我注意到了一种有趣的张力。从某种意义上说，这里提出的愿景非常激进：它不是几乎任何人都期望在未来十年内发生的事情，并且可能会让许多人觉得是一个荒谬的幻想。有些人甚至可能认为它不可取；它体现了并非每个人都会同意的价值观和政治选择。但与此同时，它也有一些显而易见的东西——一些过度确定的东西——就好像许多不同的尝试去设想一个美好的世界不可避免地大致导致了这里。
在伊恩·M·班克斯的《游戏玩家》²⁹中，主人公——一个名为文化的社会的成员，该社会基于与我在这里提出的原则没有太大区别的原则——前往一个压抑的、军国主义的帝国，在这个帝国中，领导地位由一场复杂的战斗游戏中的竞争决定。然而，这款游戏足够复杂，以至于玩家在其中的策略往往会反映他们自己的政治和哲学观点。主人公设法在游戏中击败了皇帝，表明他的价值观（文化的价值观）代表了一种即使在由基于无情竞争和适者生存的社会设计的游戏中也能获胜的策略。斯科特·亚历山大的一篇著名帖子也有同样的论点——竞争是自取灭亡的，并且往往会导致一个基于同情和合作的社会。“道德宇宙的弧线”是另一个类似的概念。
我认为文化的价值观是一种获胜的策略，因为它们是一百万个小决定的总和，这些小决定具有明确的道德力量，并且往往会将每个人拉到同一边。公平、合作、好奇和自主等基本人类直觉很难争论，并且以我们更具破坏性的冲动通常不会有的方式累积。如果我们可以防止儿童死于疾病，这很容易争论，并且很容易从那里争论每个人的孩子都应该平等地享有这项权利。由此不难争论我们都应该团结起来并运用我们的智慧来实现这一结果。很少有人不同意人们应该因为不必要地攻击或伤害他人而受到惩罚，并且由此不难得出惩罚应该在人与人之间保持一致和系统的想法。同样直观的是，人们应该对自己的生活和选择拥有自主权和责任。如果将这些简单的直觉推向逻辑结论，最终将导致法治、民主和启蒙价值观。如果不是必然的，那么至少作为一种统计趋势，这是人类已经前进的方向。人工智能只是提供了一个让我们更快到达那里的机会——使逻辑更鲜明，目的地更清晰。
尽管如此，它仍然是一件具有超越性美感的东西。我们有机会在使它成为现实方面发挥一些小作用。
感谢 Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe 和 Anthropic 的许多人审阅了本文的草稿。
致 2024 年诺贝尔化学奖的获奖者，为我们指明了道路。
脚注
1.https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩
2.我确实预计少数人的反应将是“这很温和”。我认为这些人需要用 Twitter 的话说，“摸摸草”。但更重要的是，从社会的角度来看，温和是好的。我认为人们一次只能处理这么多变化，而我所描述的速度可能接近社会在没有极端动荡的情况下可以吸收的极限。↩
3.我发现 AGI 是一个不精确的术语，它收集了大量的科幻包袱和炒作。我更喜欢“强大的人工智能”或“专家级科学与工程”，它们表达了我的意思，而没有炒作。↩
4.在本文中，我使用“智能”来指代可以应用于不同领域的一般问题解决能力。这包括推理、学习、计划和创造力等能力。虽然我在整篇文章中都使用“智能”作为简写，但我承认智能的本质是认知科学和人工智能研究中一个复杂且有争议的话题。一些研究人员认为，智能不是一个单一的、统一的概念，而是一系列独立认知能力的集合。其他人则认为，各种认知技能背后都存在一个一般的智力因素（g 因素）。这是一场另当别论的争论。↩
5.这大约是当前人工智能系统的速度——例如，它们可以在几秒钟内阅读一页文本，并且可能在 20 秒内写出一页文本，这是人类可以做这些事情的速度的 10-100 倍。随着时间的推移，较大的模型往往会使这变慢，但更强大的芯片往往会使它更快；迄今为止，这两种影响大致抵消了。↩
6.这似乎像是一个稻草人的立场，但像泰勒·考恩和马特·伊格莱西亚斯这样的谨慎的思想家已经把它作为一个严重的关切提了出来（尽管我不认为他们完全持有这种观点），而且我认为这并不疯狂。↩
7.据我所知，最接近解决这个问题的经济学工作是关于“通用技术”和作为通用技术的补充的“无形投资”的工作。↩
8.这种学习可以包括临时的、上下文中的学习，或传统的训练；两者都将受到物理世界的速率限制。↩
9.在混沌系统中，小的误差会随着时间的推移呈指数级复合，因此即使计算能力大幅提高，也只能在预测的提前量上带来很小的改进，并且在实践中，测量误差可能会进一步降低这一点。↩
10.另一个因素当然是强大的人工智能本身有可能被用来创造更强大的人工智能。我的假设是，这可能（事实上，很可能会）发生，但它的影响将比你想象的要小，正是因为这里讨论的“智能的边际收益递减”。换句话说，人工智能将继续快速变得更聪明，但它的影响最终将受到非智能因素的限制，而分析这些因素对人工智能以外的科学进步速度最为重要。↩
11.这些成就一直是我的灵感来源，也许是人工智能被用来改变生物学的最强大的现有例子。↩
12.“科学的进步取决于新技术、新发现和新想法，可能按这个顺序。” - 西德尼·布伦纳 ↩
13.感谢 Parag Mallick 提出这一点。↩
14.我不想用关于人工智能支持的科学可以做出哪些具体未来发现的猜测来堵塞文本，但这里有一些可能性的头脑风暴：
——设计更好的计算工具，如 AlphaFold 和 AlphaProteo——也就是说，一个通用的人工智能系统可以加速我们制造专门的人工智能计算生物学工具的能力。
——更高效和选择性的 CRISPR。
——更先进的细胞疗法。
——材料科学和小型化突破导致更好的植入式设备。
——更好地控制干细胞、细胞分化和去分化，以及由此产生的再生或重塑组织的能力。
——更好地控制免疫系统：有选择地打开它以解决癌症和传染病，并有选择地关闭它以解决自身免疫性疾病。↩
15.人工智能当然也可以帮助更聪明地选择要进行的实验：改进实验设计，从第一轮实验中学习更多，以便第二轮可以缩小关键问题的范围，等等。↩
16.感谢 Matthew Yglesias 提出这一点。↩
17.快速进化的疾病，如基本上利用医院作为进化实验室来不断提高其对治疗的耐药性的多重耐药菌株，可能特别难以处理，并且可能是阻止我们达到 100% 的那种东西。↩
18.请注意，在 5-10 年内可能很难知道我们已经将人类寿命延长了一倍。虽然我们可能已经实现了它，但在研究时间范围内我们可能还不知道。↩
19.这是我愿意的一个地方，尽管在治愈疾病和减缓衰老过程本身之间存在明显的生物学差异，但我愿意从更远的距离来看待统计趋势，并说“即使细节不同，我认为人类科学可能会找到一种方法来继续这一趋势；毕竟，任何复杂事物的平滑趋势都必然是通过将非常异质的成分相加而成的。↩
20.例如，我被告知，每年生产率增长 1% 甚至 0.5% 将对与这些计划相关的预测产生变革性影响。如果本文中设想的想法得以实现，生产率的提高幅度可能会比这大得多。↩
21.媒体喜欢描绘高地位的精神病患者，但普通精神病患者可能是一个经济前景不佳、冲动控制能力差、最终在监狱中度过大量时间的人。↩
22.我认为这有点类似于这样一个事实，即我们从可解释性中学到的许多（尽管可能不是全部）结果即使在我们当前人工神经网络的一些架构细节（例如注意力机制）以某种方式改变或替换，仍然是相关的。↩
23.我怀疑它有点像一个经典的混沌系统——受到必须以大部分分散的方式管理的不可简化的复杂性的困扰。尽管正如我在本节后面所说，更温和的干预可能是可能的。经济学家埃里克·布林约尔夫森向我提出的一个反驳论点是，大公司（如沃尔玛或优步）开始拥有足够的集中知识来比任何分散的过程更好地了解消费者，这可能迫使我们修改哈耶克关于谁拥有最好的本地知识的见解。↩
24.感谢 Kevin Esvelt 提出这一点。↩
25.例如，手机最初是一种富人技术，但随着逐年改进的速度如此之快以至于消除了购买“豪华”手机的任何优势，手机很快变得非常便宜，如今大多数人都拥有质量相似的手机。↩
26.这是一篇即将出版的兰德公司的论文的标题，该论文大致阐述了我所描述的策略。↩
27.当普通人想到公共机构时，他们可能会想到他们在 DMV、IRS、医疗保险或类似职能部门的经历。使这些体验比目前更积极似乎是打击过度愤世嫉俗的有力方式。↩
28.事实上，在一个人工智能驱动的世界中，此类可能的挑战和项目的范围将比今天广泛得多。↩
29.我违反了我自己制定的不要把这变成科幻小说的规则，但我发现很难不至少提到一点。事实是，科幻小说是我们关于未来的广泛思想实验的唯一来源之一；我认为它与一个特定的狭隘亚文化如此严重地纠缠在一起，这说明了一些不好的事情。
–EOF–
转载须以超链接形式标明文章原始出处和作者信息及版权声明.
No comments:
Post a Comment