OpenAI组建Superalignment团队 解决超级智能对齐问题

导读 OpenAI于本周宣布，他们正组建一支名为Superalignment的人工智能对齐团队，旨在解决超级智能对齐问题。该团队的成立是OpenAI现有工作的补充…

OpenAI于本周宣布，他们正组建一支名为Superalignment的人工智能对齐团队，旨在解决超级智能对齐问题。该团队的成立是OpenAI现有工作的补充，并将提升产品（如ChatGPT）的安全性。他们计划在未来四年内解决超级智能对齐问题。

超级智能被认为将成为人类创造的最具影响力的技术之一，它可以帮助我们解决许多全球性难题。然而，超级智能的巨大威力也带来了巨大的风险，可能导致人类失去对其的控制甚至面临灭绝。虽然超级智能的实现离我们还有很长的距离，但OpenAI认为它有可能在未来十年内实现。

目前，OpenAI还没有明确的解决方案来引导或控制超级智能。现有的可控制人工智能技术，如基于人类反馈的强化学习和依赖于人类监督的AI能力，都依赖于人类的监督。然而，当我们面对比我们聪明得多的AI系统时，人类无法可靠地进行监督。因此，我们目前的对齐技术无法扩展到超级智能，需要新的科学技术突破。

为了解决超级智能对齐问题，OpenAI成立了Superalignment团队，由OpenAI联合创始人兼首席科学家Ilya Sutskever和Jan Leike领导。该团队的成立不仅是对OpenAI现有工作的补充，还可以提升产品（如ChatGPT）的安全性，包括防止非法滥用、经济破坏、虚假信息、偏见和歧视、数据隐私等问题。

OpenAI预测，超级智能（即比人类更聪明的系统）可能在未来十年内到来。为此，人类需要比目前更先进的技术来控制超级智能。因此，他们计划在所谓的"一致性研究"方面取得突破，该研究的重点是确保人工智能对人类的利益。为了支持这项工作，OpenAI将拿出未来四年获得的算力的20%来解决AI失控的问题。

此外，OpenAI还计划组建一个名为"超级一致性团队"的新团队，以组织这项工作。他们的目标是建立一个由人类级别的AI研究人员组成的团队，并通过大量的计算能力进行扩展。OpenAI表示，这意味着他们将利用人类的反馈来训练AI系统，训练AI系统来辅助人类进行评估，最终实现对超级智能的一致性研究。

OpenAI的方法包括开发可扩展的训练方法，以应对人类难以评估的任务，并利用人工智能系统来协助评估（即可扩展的监督）。此外，OpenAI还希望通过验证生成模型的一致性来确保系统的稳定性，并对整个对齐管道进行压力测试，以确认技术能够检测到最差的未对准类型。

随着对超级智能对齐问题的研究越来越深入，OpenAI预计研究重点将发生重大变化，并可能引发全新的研究领域的出现。

总的来说，OpenAI组建Superalignment团队是为了解决超级智能对齐问题，并提升产品的安全性。他们认为在未来十年内可能出现超级智能，并计划通过研究一致性问题来确保超级智能对人类的利益。通过开发可扩展的训练方法、验证生成模型的一致性以及对整个对齐管道进行压力测试，OpenAI将致力于解决AI失控问题，实现超级智能的安全引导与对齐。

未经允许不得转载：87头条 » OpenAI组建Superalignment团队 解决超级智能对齐问题