当以后的人们为人工智能（AI）撰写一部编年史时，这可能是一个里程碑。
因为这是人类第一次由一个庞大的国际顶尖专家组，就先进AI的风险推进全球政策制定。
人们已清晰认识到：我们离不开AI，亦需要大力推动AI技术发展，但我们必须有能力防范其中的风险。
自6个月前在英国布莱奇利公园举行第一届AI安全峰会以来，世界各国领导人承诺以负责任的方式管理AI，但是AI专家认为这依然不够。随着第二届AI安全峰会（5月21日至22日）在韩国首尔举行，25位世界顶尖AI科学家呼吁，全世界应对AI风险采取更强有力的行动。
发表于《科学》杂志的一份专家共识文章中，专家组概述了全球应采取的紧急政策优先事项。文章作者之一、英国牛津大学工程科学系教授菲利普·托尔表示：“在上届AI峰会上，世界一致认为我们需要采取行动，而现在是时候将模糊的建议转变为具体的承诺了。”
安全性研究严重匮乏
这25位全球顶尖的AI及其治理专家来自美国、中国、欧盟、英国和其他AI技术强国，其中包括图灵奖获得者以及诺贝尔奖获得者。这也是首次由国际专家组就AI风险的全球政策制定达成一致。
文章指出，全球领导人需认真考虑，在未来十年内可能开发出超越人类能力的通用AI系统。他们表示，尽管世界各国政府一直在讨论先进AI，并尝试引入初步指导方针，但这与许多专家期望的快速、变革性进展仍有距离。
目前关于AI安全的研究严重缺乏，只有1%—3%的AI出版物涉及相关安全问题。此外，全球没有适当的机制或机构来防止滥用和鲁莽行为，包括如何使用能独立采取行动和自行实现目标的自治系统。
在快速发展中防范极端风险
文章建议，各国政府需建立可快速行动的AI监管机构，并为这些机构提供资金。美国AI安全研究所目前的年度预算为1000万美元，听起来并不少，但相比之下，美国食品和药物管理局（FDA）的预算达67亿美元。
AI领域需要更严格的风险评估并制定可执行的措施，而不是依赖一些不甚明确的模型评估。应要求AI研发企业优先考虑安全性，并证明其系统不会造成伤害，AI开发人员要承担起证明安全性的责任。
人们还要有一个与AI系统带来的风险水平相称的缓解办法，解决之道是制定一个“自动”政策，当AI达到某些能力里程碑时“自动触发”——如果AI发展迅速，这一严格的要求就会自动生效；如果进展缓慢，要求将相应放缓。
对于能力超凡的未来AI系统，政府必须作好带头监管的准备。这包括许可开发，限制其在关键社会角色中的自主权，停止部署部分能力，强制执行访问控制，以及要求对国家级黑客采取强有力的信息安全手段，直到人们准备好足够的保护措施。
谨记AI不是玩具
不列颠哥伦比亚大学AI教授、强化学习领域专家杰夫·克伦纳表示，太空飞行、核武器和互联网等技术在数年内就从科幻变成了现实，AI也不例外。“我们现在必须为那些看似科幻小说的风险做好准备”。
现在，AI已经在黑客攻击、社交操纵和战略规划等关键领域取得了快速进展，并可能很快带来前所未有的关于“控制”的挑战。AI系统可能会为了实现某个“不良目的”而骗取人类信任、获取资源并影响关键决策者。为了避免人为干预，它们还可以在全球服务器网络上复制自身算法。
在这种情况下，大规模网络犯罪、社会操纵和其他危害会因此迅速升级。而在公开冲突中，AI系统能自主部署各种武器，甚至包括生物武器。因此，当AI的进步不受控制，很可能最终导致大规模生命损失、生物圈破坏、人类边缘化甚至灭绝。
美国加州大学伯克利分校计算机科学教授斯图尔特·卢塞尔表示：“此次是权威专家的共识文章，其呼吁政府严格监管，而不是自愿制定一些规范行业的行为。”
“企业可能抱怨说满足这些法规太难，但所谓‘法规扼杀创新’的说法是荒谬的。”卢塞尔这样说，“是时候认真对待先进AI系统了，它们不是玩具。在我们了解如何确保它们的安全性之前，轻易增强它们的能力是完全鲁莽的行为。”
当以后的人们为人工智能（AI）撰写一部编年史时，这可能是一个里程碑。
因为这是人类第一次由一个庞大的国际顶尖专家组，就先进AI的风险推进全球政策制定。
人们已清晰认识到：我们离不开AI，亦需要大力推动AI技术发展，但我们必须有能力防范其中的风险。
自6个月前在英国布莱奇利公园举行第一届AI安全峰会以来，世界各国领导人承诺以负责任的方式管理AI，但是AI专家认为这依然不够。随着第二届AI安全峰会（5月21日至22日）在韩国首尔举行，25位世界顶尖AI科学家呼吁，全世界应对AI风险采取更强有力的行动。
发表于《科学》杂志的一份专家共识文章中，专家组概述了全球应采取的紧急政策优先事项。文章作者之一、英国牛津大学工程科学系教授菲利普·托尔表示：“在上届AI峰会上，世界一致认为我们需要采取行动，而现在是时候将模糊的建议转变为具体的承诺了。”
安全性研究严重匮乏
这25位全球顶尖的AI及其治理专家来自美国、中国、欧盟、英国和其他AI技术强国，其中包括图灵奖获得者以及诺贝尔奖获得者。这也是首次由国际专家组就AI风险的全球政策制定达成一致。
文章指出，全球领导人需认真考虑，在未来十年内可能开发出超越人类能力的通用AI系统。他们表示，尽管世界各国政府一直在讨论先进AI，并尝试引入初步指导方针，但这与许多专家期望的快速、变革性进展仍有距离。
目前关于AI安全的研究严重缺乏，只有1%—3%的AI出版物涉及相关安全问题。此外，全球没有适当的机制或机构来防止滥用和鲁莽行为，包括如何使用能独立采取行动和自行实现目标的自治系统。
在快速发展中防范极端风险
文章建议，各国政府需建立可快速行动的AI监管机构，并为这些机构提供资金。美国AI安全研究所目前的年度预算为1000万美元，听起来并不少，但相比之下，美国食品和药物管理局（FDA）的预算达67亿美元。
AI领域需要更严格的风险评估并制定可执行的措施，而不是依赖一些不甚明确的模型评估。应要求AI研发企业优先考虑安全性，并证明其系统不会造成伤害，AI开发人员要承担起证明安全性的责任。
人们还要有一个与AI系统带来的风险水平相称的缓解办法，解决之道是制定一个“自动”政策，当AI达到某些能力里程碑时“自动触发”——如果AI发展迅速，这一严格的要求就会自动生效；如果进展缓慢，要求将相应放缓。
对于能力超凡的未来AI系统，政府必须作好带头监管的准备。这包括许可开发，限制其在关键社会角色中的自主权，停止部署部分能力，强制执行访问控制，以及要求对国家级黑客采取强有力的信息安全手段，直到人们准备好足够的保护措施。
谨记AI不是玩具
不列颠哥伦比亚大学AI教授、强化学习领域专家杰夫·克伦纳表示，太空飞行、核武器和互联网等技术在数年内就从科幻变成了现实，AI也不例外。“我们现在必须为那些看似科幻小说的风险做好准备”。
现在，AI已经在黑客攻击、社交操纵和战略规划等关键领域取得了快速进展，并可能很快带来前所未有的关于“控制”的挑战。AI系统可能会为了实现某个“不良目的”而骗取人类信任、获取资源并影响关键决策者。为了避免人为干预，它们还可以在全球服务器网络上复制自身算法。
在这种情况下，大规模网络犯罪、社会操纵和其他危害会因此迅速升级。而在公开冲突中，AI系统能自主部署各种武器，甚至包括生物武器。因此，当AI的进步不受控制，很可能最终导致大规模生命损失、生物圈破坏、人类边缘化甚至灭绝。
美国加州大学伯克利分校计算机科学教授斯图尔特·卢塞尔表示：“此次是权威专家的共识文章，其呼吁政府严格监管，而不是自愿制定一些规范行业的行为。”
“企业可能抱怨说满足这些法规太难，但所谓‘法规扼杀创新’的说法是荒谬的。”卢塞尔这样说，“是时候认真对待先进AI系统了，它们不是玩具。在我们了解如何确保它们的安全性之前，轻易增强它们的能力是完全鲁莽的行为。”
马斯克用行动反击 开源自家顶级大模型 压力给到OpenAI 《科创板日报》3月18日讯(编辑 宋子乔) 似乎是为了表明自己始终坚持对AI模型开源，马斯克做出了与阿尔特曼全然不同的选择。3月17日，马斯克宣布开源Grok-1，这 英国“我超爱科学”网站1月1日刊登题为《什么是“时空连续体”？》的文章，作者是斯蒂芬·伦茨，内容编译如下：“时空连续体”(space-time continuum)是源自于大多数人听说过却未必完全了解的 记者3月20日从中国科学技术大学获悉，该校郭光灿院士团队在量子态分辨研究中取得重要进展：他们在最小资源消耗的量子态分辨问题中首次提出了全局最优自适应策略，并发展了自适应集体测量实验技术， 记者3月19日从天津大学获悉，该校环境学院刘庆岭教授团队与吉林大学于吉红院士团队以及天津工业大学梅东海教授团队合作，证明了无有机模板剂合成的具有OFF和ERI拓扑共生结构的Cu-T催化剂具有优 记者3月21日从安徽师范大学获悉，该校生命科学学院张方教授课题组通过野外自然抱对、控制实验下抱对以及视频回放等实验手段，证实他们前期提出的，眨眼行为可能在雌性凹耳蛙性选择中起着重要作用 21世纪经济报道记者 石恩泽 深圳报道操作系统似乎对地理入迷。鸿蒙和深圳，就像Windows和西雅图，也似Linux和赫尔辛基。这是地理与技术的紧密交融。深圳，可以说是鸿蒙的诞生之地，在全球科 。本文链接：《科学》杂志发文，25位世界顶尖科学家呼吁：采取更强有力行动防范AI风险http://www.sushuapos.com/show-2-6151-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 二维材料可在室温下保存量子信息