鉴于我们现在所看到的情况，可以想象，在未来十年内，人工智能系统将在大多数领域超过专家技能水平，并开展与当今最大的公司之一一样多的生产活动。

就潜在的优点和缺点而言，超级智能将比人类过去不得不应对的其他技术更强大。我们可以有一个更加繁荣的未来;但我们必须管理风险才能实现这一目标。考虑到存在风险的可能性，我们不能只是被动反应。核能是具有这种特性的技术的常用历史例子;合成生物学是另一个例子。

我们也必须降低当今人工智能技术的风险，但超级智能将需要特殊的处理和协调。

有许多想法对我们有很大的机会成功驾驭这一发展很重要;在这里，我们列出了我们对其中三个想法的初步想法。

首先，我们需要在领先的开发工作之间进行一定程度的协调，以确保超级智能的发展方式使我们能够保持安全并帮助这些系统与社会顺利整合。有很多方法可以实施;世界主要政府可以建立一个项目，许多当前的努力都成为其中的一部分，或者我们可以集体同意（在下面建议的新组织的支持下），前沿人工智能能力的增长速度仅限于每年的一定速度。

当然，个别公司应该遵守极高的负责任标准。

其次，我们最终可能需要像原子能机构这样的东西 IAEA来进行超级情报工作;任何超过某种能力（或计算等资源）阈值的努力都需要受到国际权威机构的约束，该权威机构可以检查系统，要求审计，测试是否符合安全标准，限制部署程度和安全级别。 等。跟踪计算和能源使用情况可能会有很长的路要走，并给我们一些希望，这个想法实际上是可以实现的。作为第一步，公司可以自愿同意开始实施这样一个机构有朝一日可能要求的内容，作为第二步，个别国家可以实施它。重要的是，这样一个机构应该专注于降低生存风险，而不是应该留给个别国家的问题，比如定义人工智能应该被允许说什么。

第三，我们需要使超级智能安全的技术能力。这是一个 悬而未决的研究问题 ，我们和其他人正在为此付出很多努力。

我们认为，允许公司和开源项目开发低于显著能力阈值的模型非常重要，而不需要我们在这里描述的那种法规（包括许可证或审计等繁琐的机制）。

今天的系统将在世界上创造巨大的价值，虽然它们确实存在风险，但这些风险的水平与其他互联网技术相称，社会可能的方法似乎是合适的。

相比之下，我们所关注的系统将具有超越任何尚未创建的技术的能力，我们应该小心，不要通过将类似的标准应用于远低于此标准的技术来淡化对它们的关注。

但是，最强大的系统的治理以及有关其部署的决策必须有强有力的公众监督。我们认为，世界各地的人们应该民主地决定 人工智能系统的边界和默认值 。我们还不知道如何设计这样的机制，但我们 计划尝试 开发它。我们仍然认为，在这些广泛的范围内，个人用户应该对他们使用的AI的行为方式有很大的控制权。

考虑到风险和困难，值得考虑我们为什么要构建这项技术。

在OpenAI，我们有两个基本原因。首先，我们相信这将带来一个比我们今天想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了早期的例子）。世界面临许多问题，我们将需要更多的帮助来解决;这项技术可以改善我们的社会，每个人使用这些新工具的创造性能力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。

其次，我们认为阻止超级智能的创造是没有直觉风险和困难的。由于好处是如此巨大，建造它的成本每年都在下降，建造它的参与者数量正在迅速增加，而且它本质上是我们所走的技术道路的一部分，阻止它需要像全球监控制度这样的东西，即使这样也不能保证有效。所以我们必须把它做好。