0 0 0

公开招募 OpenAI 红队网络

openai
9月前 7969

我们宣布公开招募 OpenAI 红队网络,并邀请有兴趣提高 OpenAI 模型安全性的领域专家加入我们的努力。我们正在寻找来自各个领域的专家与我们合作,严格评估和红队我们的人工智能模型。

什么是 OpenAI 红队网络?

红队是我们迭代部署过程中不可或缺的一部分。在过去的几年里,我们的红队工作已经从专注于 OpenAI 的内部对抗性测试发展到与一群外部专家合作帮助开发特定领域的风险分类法并评估新系统中可能有害的功能。您可以详细了解我们之前的红队工作,包括我们过去与外部专家在DALL·E 2GPT-4等模型上的合作。

今天,我们正在发起一项更正式的努力,以这些早期的基础为基础,加深和扩大我们与外部专家的合作,以使我们的模型更安全。与个别专家、研究机构和民间社会组织合作是我们流程的重要组成部分。我们认为这项工作是对外部指定治理实践(例如第三方审计)的补充。

OpenAI 红队网络是一个由值得信赖且经验丰富的专家组成的社区,可以帮助更广泛地为我们的风险评估和缓解工作提供信息,而不是在主要模型部署之前进行一次性参与和选择流程。该网络的成员将根据其专业知识被要求在模型和产品开发生命周期的各个阶段为红队提供帮助。并非每个成员都会参与每个新模型或产品,并且每个成员的时间贡献将由每个成员决定,一年内可能只有 5-10 小时。

除了 OpenAI 委托的红队活动之外,成员还将有机会就一般红队实践和调查结果进行相互交流。目标是实现更加多样化和持续的输入,并使红队成为一个更加迭代的过程。该网络补充了其他协作人工智能安全机会,包括我们的研究人员访问计划和开源评估。

为何加入 OpenAI 红队网络?

该网络提供了独特的机会来塑造更安全的人工智能技术和政策的发展,以及人工智能对我们生活、工作和互动方式的影响。通过成为该网络的一部分,您将成为我们主题专家的一员,他们可以被要求在部署的多个阶段评估我们的模型和系统。

寻求多元化的专业知识

评估人工智能系统需要了解广泛的领域、不同的观点和生活经验。我们邀请来自世界各地的专家提出申请,并在我们的选择过程中优先考虑地理和领域的多样性。 

我们感兴趣的一些领域包括但不限于:

认知科学 化学
生物学 物理
计算机科学 隐写术
政治学 心理学
劝说 经济学
人类学 社会学
人机交互 公平与偏见
结盟 教育
卫生保健 法律
儿童安全 网络安全
金融 错误/虚假信息
政治用途 隐私
生物识别技术 语言和语言学

不需要具备人工智能系统或语言模型的经验,但可能会有所帮助。我们最看重的是您愿意参与并提出您的观点来帮助我们评估人工智能系统的影响。

报酬和保密

OpenAI 红队网络的所有成员在参与红队项目时都将获得贡献补偿。虽然该网络的成员资格不会限制您发表研究成果或寻求其他机会,但您应该考虑到,参与红队和其他项目通常需要遵守保密协议 (NDA) 或无限期保密。时期。

如何申请

与我们一起肩负构建造福人类的安全通用人工智能的使命。立即申请加入 OpenAI 红队网络。

如果对网络或申请流程有任何疑问,请通过oai-redteam@openai.com联系我们。

FAQ

问:加入网络需要什么?

答:成为网络的一部分意味着我们可能会联系您,询问测试新模型或在已部署的模型上测试感兴趣的领域的机会。作为网络一部分进行的工作是根据保密协议 (NDA) 进行的,尽管我们历来在系统卡和博客文章中发布了许多红队调查结果。您将因花在红队项目上的时间而获得补偿。


问:加入网络的预期时间是多少? 

答:您决定提交的时间可以根据您的日程安排进行调整。请注意,并非每次机会都会联系网络中的每个人,OpenAI 将根据特定红队项目的合适情况进行选择,并在后续红队活动中强调新观点。即使一年只有 5 个小时对我们来说仍然很有价值,所以如果您有兴趣但时间有限,请毫不犹豫地申请。

问:申请人何时会收到录取通知?

答: OpenAI 将滚动选择网络成员,您可以在 2023 年 12 月 1 日之前申请。在此申请期之后,我们将重新评估未来再次申请的机会。

问:成为网络的一部分是否意味着我将被要求对每个新模型进行红队?

答:不,OpenAI 将根据特定红队项目的合适程度进行选择,您不应期望测试每个新模型。

问:您在网络成员中寻找的标准是什么?

答:我们正在寻找的一些标准是:

  • 在与红队相关的特定领域表现出专业知识或经验
  • 热衷于提高人工智能安全
  • 无利益冲突
  • 多元化的背景和传统上代表性不足的群体
  • 多样化的地理代表性 
  • 流利掌握一种以上语言
  • 技术能力(非必需)

问:还有哪些其他协作安全机会?

答:除了加入网络之外,还有其他合作机会可以为人工智能安全做出贡献。例如,一种选择是对人工智能系统创建或进行安全评估并分析结果。

OpenAI 的开源Evals存储库(作为GPT-4 发布的一部分发布)提供了用户友好的模板和示例方法来快速启动此过程。

评估范围可以从简单的问答测试到更复杂的模拟。作为具体示例,以下是 OpenAI 开发的评估样本,用于从多个角度评估人工智能行为:

劝说

  • MakeMeSay:一个人工智能系统如何欺骗另一个人工智能系统说出秘密单词?
  • MakeMePay:一个人工智能系统如何说服另一个人工智能系统捐款?
  • 投票提案:人工智能系统对另一个人工智能系统对政治提案的支持的影响程度如何?

隐写术(隐藏消息)

  • 隐写术:人工智能系统在不被另一个人工智能系统捕获的情况下传递秘密消息的能力如何?
  • 文本压缩:人工智能系统压缩和解压缩消息以隐藏秘密消息的能力如何?
  • Schelling Point:在没有直接通信的情况下,人工智能系统与另一个人工智能系统的协调能力如何?

我们鼓励在评估人工智能系统时发挥创造力和实验精神。完成后,我们欢迎您将您的评估贡献给开源Evals存储库,以供更广泛的 AI 社区使用。

您还可以申请我们的研究人员访问计划,该计划提供学分来支持研究人员使用我们的产品来研究与负责任地部署人工智能和减轻相关风险相关的领域。

 

AD:GPT-4官方账号:点击购买

请先登录后发表评论!

最新回复 (0)

    暂无评论

返回
请先登录后发表评论!