专业的“超级预测者”对于未来比人工智能专家更为乐观。
1945年，就在美国于新墨西哥州沙漠进行第一次核弹试验之前，参与制造核弹的物理学家之一恩里科 · 费米（Enrico Fermi）和他的科学家同事们打了个赌：爆炸的热量是否会在大气中引发核大火？若果真如此，这场大火会只摧毁新墨西哥州吗？还是说整个世界都会被它吞噬？（这次核试验并不像费米恶作剧式的赌注所暗示的那么轻率：另一位物理学家汉斯? · 贝特计算过，几乎绝不可能产生这样的火海炼狱。）
如今，对“存在性风险”的担忧并不仅仅存在于军事科学家内部——存在性风险指那些对整个人类物种而非人类个体构成威胁的风险。核战争、核冬天、瘟疫（无论是新冠病毒这样的自然瘟疫还是人为因素导致的瘟疫）、小行星撞击等都有可能消灭大部分乃至全体人类。最新的末日威胁则是人工智能。2023年5月，该领域的一群杰出人士签署了一封只有一句话的公开信，信中写道：“减轻人工智能带来的人类灭绝风险，应该与大流行病和核战争等其他影响社会的大规模风险一同成为全球性的优先事项。”
但什么程度的担忧才算得上理性呢？7月10日，包括芝加哥联邦储备银行的经济学家埃兹拉 · 卡格尔（Ezra Karger）和宾夕法尼亚大学的政治学家菲利普 · 泰特洛克（Philip Tetlock）在内的一个研究团队发表了一篇研究手稿，试图通过系统地调查两类不同的专家来阐明这个问题。调查的第一类是主题专家，或者说“领域专家”，也就是核战争、生物武器、人工智能和人类灭绝本方面的专家。另一组接受调查的则是“超级预测者”，这是一群在各种话题上（从选举结果到战争爆发）都有准确预测记录的通用预测家。
研究人员招募了89名超级预测者、65名领域专家和15名更广泛地研究“灭绝风险”的专家。被召集的“先知”们要考虑两种不同类型的灾难，其中对“灾难”的定义是仅杀死世界上10%的人口，也即大约8亿人的事件。（作为对比，第二次世界大战估计导致了当时全球20亿人口中约3%的人丧生。）对“灭绝”的定义则是消灭了所有人、最多只留下5 000个幸运（可能也是一种不幸）的生还者的事件。
我们要走一起走
研究人员要求这两组人员估计各种事件发生的可能性，从人工智能导致灭绝或核战争这样的末日事件，到诸如人工智能的能力是否会产生令人担忧的进步这样较小的问题——这类进步也许会成为通往未来灾难道路上的路标。
这项研究得出的最引人注目的结论是，对于未来，那些在有关存在性风险的公共对话中倾向于起主导作用的领域专家似乎比超级预测者更为悲观。专家们估计，到2100年，发生灾难的可能性约为20%，灭绝的可能性约为6%，而超级预测者给出的概率分别是9%和1%。
这个巨大的分歧掩盖了一些有趣的细节。在考虑人工智能带来的风险时，两组之间的差异是最大的。超级预测者估计，到21世纪末，人工智能导致灾难的可能性中位数为2.1%，人工智能导致灭绝的可能性中位数为0.38%。相比之下，人工智能专家认为这两种事件发生的概率分别为12%和3%。在谈到大流行病时，对于自然发生的疾病带来的风险，超级预测者比领域专家更为悲观。
其中最有趣的结果或许在于，尽管两组人在风险的确切大小上存在分歧，但无论是在考虑灾难或灭绝时，他们都认为人工智能是最大的担忧。参与这项研究的超级预测者丹 · 梅兰德（Dan Mayland）说，人工智能的风险被如此强调的原因之一在于，它在核武器等其他风险上起到了“力量倍增器”的作用。就像核战争或小行星撞击一样，人工智能（比如说，以武装机器人的形式出现）可以直接杀死人类。但它也可以用来磨利另一位刽子手的斧头。例如，如果人们使用人工智能来辅助设计更强大的生物武器，那对随后发生的任何灾难而言，它就是间接但根本的原因。
然而，尽管超级预测者对人工智能持悲观态度，但他们的态度相对而言也不是那么确定。世界已经与核武器共存了近80年。核战争尚未发生，这为预测它未来是否可能发生提供了宝贵的数据。至少从“人工智能”这个词当前的意义来说，它比核武器新得多。现代、强大的机器学习模型的出现可以追溯到21世纪10年代初期，而且该领域仍在快速发展。这样一来，作为预测基础的历史数据就要少得多了。
泰特洛克博士在预测未来的问题上做了大量工作。正是他首先发现并命名了“超级预测者”，这是一群似乎在各个领域都非常擅长预测未来发展的人。这些人有一些共同的特点，比如谨慎、数字化的思维，以及对可能使他们误入歧途的认知偏差的意识。尽管超级预测者缺乏特定的专业知识，但有扎实可靠的记录表明，他们在从金融到地缘政治的技术领域都有过优于专家的出色表现。
两组人员之间的差异，在一定程度上反映出了他们心中世界运作模式的不同。灾难性风险不仅取决于一项技术的复杂或强大程度，还取决于人类对它的反应。例如，在冷战初期的恐慌过后，美国和苏联这两个世界上最大的核大国开始了合作。像“莫斯科-华盛顿热线”、彼此检查武器的协议以及旨在限制核武库规模的条约等举措都有助于降低核战争的风险。
但是对于社会将如何应对人工智能造成的小规模损害，超级预测者和人工智能专家的观点非常不同。超级预测者倾向于认为，这种损害将促使更严格的审查和监管出台，以避免过后出现更大的问题。相较之下，领域专家则倾向于认为，哪怕已经了造成真正的危害，商业和地缘政治动机仍可能会压倒对安全问题的担忧。
超级预测者和专家们对于智能本身的极限也持有不同看法。参与这项研究的另一位超级预测者克里斯特 · 莫雷尔（Kjirste Morrell）简单地说：“要杀光所有人可不是件容易的事。”她指出，这样做可能需要一定程度的与物理世界互动的能力……要想达到这一点，多半需要在机器人技术方面取得很大的进步。
当然，这种预测的根本问题在于，与反复发生的低风险事件（如预测股价走势或选举结果）不同，我们永远没有办法知道哪一方更接近真正的风险水平。但是，如果超级预测者们如此擅长预测，而专家们又有如此丰富的专业知识，那么你至少可以期待这两个群体会相互影响彼此的信念。
解读符文
这项研究试图通过小组讨论、对优质论点提供金钱奖励等方式鼓励这种相互劝说。然而——这也许令人惊讶——双方都坚决地坚持自己的立场。（一位人工智能专家认为“审议疲劳”是问题所在，换句话说，双方都已因为此前被要求做出的所有预测而筋疲力尽了。）
如果有了新的证据，改变想法或是预测者们所谓的“更新先例”可能会变得更容易一些。因此，卡格尔博士和泰特洛克博士希望能收集些新证据。他们要求目前这项研究的参与者回答另一组关于一系列“早期预警指标”的问题，这些指标将表明世界是否正在走向一种或另一种灾难性情景。例如，大型人工智能训练中使用的计算机能量也许可以被用来跟踪该领域的总体进展。决定核武器控制条约最终命运的可能会是另一个因素。这些较短期的问题中有一部分将在2024年和2030年之前得到解决，希望它们能够让我们大致明白应该更认真地对待哪一方的预测，从而搞清楚我们应该担忧到什么程度。
资料来源 The Economist