(相关资料图)

OpenAI在其官方网站称，需要科学和技术突破来引导和控制比人类聪明得多的人工智能系统（超级智能对齐），为了在四年内解决这个问题，OpenAI正在组建一个新的团队，并将其20％的计算资源用于这项工作。

OpenAI表示，超级智能将是人类发明的最具影响力的技术，可以解决世界上许多重要问题。但超级智能的巨大力量也非常危险，可能导致人类的无能为力甚至灭绝。虽然超级智能现在看来还很遥远，但它可能在未来十年内到来。

如何确保人工智能系统遵循人类的意图？OpenAI表示，目前还没有一个解决方案来引导或控制潜在的超级人工智能。但可以通过从人类反馈中强化学习、依靠人类监督人工智能来实现。

据悉，新团队将建立一个“人类级别”的人工智能研究团队，然后使用大量的计算来拓展工作，并迭代调整超级智能。这意味着他们将使用人类反馈来训练人工智能系统，以辅助人类评估，最终训练人工智能系统进行实际的一致性研究。

具体而言，OpenAI的方法包括：

开发可扩展的训练方法。针对人类难以评估的任务提供训练方法，可以通过人工智能系统协助评估其他人工智能系统。此外，OpenAI希望了解和控制其模型，将监督应用到无法监督的任务上。

验证生成的模型。为了验证系统的一致性，OpenAI将自动搜索有问题的行为和有问题的内部结构。

对整个对齐管道进行压力测试。可以通过故意训练未对齐的模型，来测试整个安全流程，并确认技术检测到最糟糕的错位类型。

OpenAI预计，随着其对这个问题的了解越来越多，研究重点也将发生变化，可能增加全新的研究领域。