科技日报记者 付丽丽 实习记者 裴宸纬。安全护栏

人工智能正在扩展人类想象力的构建国际画布。

“想象一下，标准在未来十年里，为人务人工通用智能系统（AGI）几乎超过了每个领域的类服人类专业知识，最终可能超过所有大公司的安全护栏整体生产力。这将提高每个人的构建国际生活水平，但同时，标准我们必须共同管理它可能带来的为人务风险。“6月10日，类服OpenAI联合创始人萨姆·奥特曼在2023年北京智源大会-AI安全与对齐论坛上（Sam Altman）在主题演讲中说。安全护栏

奥特曼直言不讳地说，构建国际AGI是标准一项与世界有关的技术，无论后果如何，为人务开发和部署事故的类服成本都会影响到每个人。“超级人工智能”将在十年内出现。现在，尽管该技术仍处于早期阶段，但有必要在全球范围内建立合作标准和框架。奥特曼呼吁人类为人工智能建立“安全护栏”，以便更好地为人类服务。

智源研究所所长、北京大学计算机学院教授黄铁军也表示，今年，一批大型模型问世，人工智能出现了60或70年来里程碑式的新特征，即产生意想不到的新能力，这也引起了新的担忧。

人们担心，除了各种预期之外，人工智能还会出现各种可能性，因此很难监督。“这是一个巨大的挑战。黄铁军坦言，“但这并不意味着人们无法管理人工智能。他说，人类与人工智能相似，也是一个不可预测的智能系统。实践证明，伦理、法律、法规等方法很好地为人类树立了规范。社会学、历史学等学科可以为如何管理一个极具创造性的系统提供很好的参考意义。

奥特曼在技术层面介绍，OpenAI正在推进对齐研究，使AGI与人类价值观保持一致，遵循人类意图。“我们应该投资于促进和引导人工智能对齐和安全研究。奥特曼说。

未来的AGI系统可能有10万行二进制代码，人类监管机构不太可能发现这样的模型是否在做一些邪恶的事情。

奥特曼还表示，对于数据集参数极大的大型模型来说，人工智能很难与人类价值观“对齐”。因此，可以使用一种叫做“可扩展监督”的方法。“我们可以尝试使用人工智能系统来帮助人类监督其他人工智能系统。他说，这种方法的最终目标是训练人工智能系统来帮助人类对齐研究。

同时，要加强合作。奥特曼认为，随着人工智能系统的出现，全球合作变得前所未有。首先，在技术研发过程中建立平等统一的国际标准和标准，使所有国家都能使用AGI；其次，通过国际合作，建立全球对日益强大的人工智能系统安全发展的信任体系。

要实现以上两点并不容易。国际科技界需要共同努力，特别是在促进建立和提高人工智能系统安全技术进步的透明度和知识共享机制方面。当研究人员发现新的安全问题时，应及时分享他们的观点，以实现利益最大化。“我们需要认真思考如何在尊重和保护知识产权的同时鼓励这些规范。这可以为深化合作开辟新的大门。奥特曼说。

“中国拥有世界上最好的人工智能系统。奥特曼说：“我们真诚地希望中美研究人员能为人工智能领域的国际合作做出贡献。”。