人工智能正深刻改变世界。但它如一把“双刃剑”，既带来巨大机遇，也引发诸多挑战——在医疗、教育、交通等领域，人工智能提升了效率，改善了生活质量；然而，它也可能冲击就业、侵犯隐私、引发算法偏见等。如何握好这把“双刃剑”，让人工智能真正成为推动人类进步的力量。
当下的选择决定未来的走向。本期我们邀请两位专家，共同探讨如何避免风险，引导技术向善。
人工智能技术无疑是新一轮科技革命和产业变革的先导。其中，强调价值对齐、能够自主定义并完成无限任务的通用人工智能，更是新质生产力的典型代表，已经成为全球科技战略制高点。但另一方面，由于大模型等人工智能技术具有“黑箱属性”，导致其决策行为不能被完全透明解释，它的生成内容也不能被完全预判控制，当这样的人工智能技术应用部署在国家社会经济生活中的方方面面时，就可能会出现偏离人类预期甚至危害国家安全和人类整体利益的巨大风险。
1、在国家层面，人工智能技术正在重构国家安全治理的格局
我国已将人工智能安全纳入国家战略，并上升至总体国家安全观的重要组成部分。这是因为，人工智能技术的迅猛发展正在重构国家安全治理的格局，其中部分风险突破了传统技术伦理范畴，形成系统性、多维度的威胁。
以当下热度最高的生成式大模型为例，我们可以关注到这三类安全危机：
首先，是技术安全与自主创新的国际挑战。大模型的算力、算法与数据，构成新型国家战略资源，其自主可控性直接关乎国家主权安全。目前，全球算力中心依然集中于少数欧美科技巨头，英伟达的人工智能芯片占据了超过80%国际市场份额。而就在今年1月底，美国国会首次提交了中美人工智能“脱钩”的法案，一旦该法案通过，两国所有人工智能的合作渠道将被截断。
其次，意识形态与价值伦理的隐性危机。大模型没有价值认知的功能，但开发者的价值观可以渗透到大模型对外输出的文本，构成意识形态方面的安全威胁。比如，一些欧美研发的大模型，其生成的视频、图像表达延续欧美影视文化倾向，以西方艺术审美为主体，却无法识别和“理解”达喀尔建筑等非洲文化造型。众多案例表明，欧美大模型所蕴含的西方中心主义价值观值得我们提高警惕。此外，质量参差不齐的国内自媒体信息、不当抓取的境外网页错误信息、由大模型生成的未经审核的合成数据，都可能会“毒化”AI大模型的训练过程，进而导致输出内容价值观的偏差。繁杂的世界观、人生观、价值观数据弥漫在大模型神经网络的“黑箱”中，导致我们很难分辨出大模型的某些反社会回答（例如“毁灭人类”）究竟是出自语料库，还是根据模型的行为范式学习推理而来。随着大模型广泛应用到各行各业，倘若任由这种不可控的“黑箱”发展下去，我们将很难控制人工智能的价值体系与人类相一致，会造成较大的社会伦理风险。
再次，制度监管滞后与信息不对称的结构性困境。尽管世界各国已针对人工智能技术带来的安全风险纷纷出台相关法案，但这些法律法规的制定完善一般需要漫长复杂的流程，往往滞后于人工智能新产品的发布更新速度。各国人工智能的发展水平与应用程度不同，政府、企业、高校科研机构、社会大众对动态更新发展的人工智能技术的认知存在不小的信息差，导致国与国之间、社会各行各业之间推出的人工智能治理措施出现大量无效重合和高度冲突。这类信息不对称和统一标准的缺失，对外易制造国际人工智能安全治理的合作争端，对内会使得人工智能监管出现“真空地带”，造成制度叠加的冗余和推行成本的增长。
2、在社会和个人层面，滥用人工智能技术可能带来劳动秩序重构、混淆视听、诱发心理依赖、认知和学习能力下降等问题
在社会和个人层面，除了侵犯个人隐私、引发版权纠纷等，滥用人工智能还会造成不少问题：
社会重新分配，劳动秩序重构。“人工智能+”的落地应用可能会引起“创造性破坏”，也就是普遍担忧的“人工智能代替人类”——普通劳动者的就业机会被人工智能剥夺。国际货币基金组织发布报告称，人工智能预计将对全球近40%的工作岗位产生影响。创造性和技术需求较低工作的从业者都将面临失业或转型的危机，社会劳动分工的结构将经历一场“大洗牌”。
难辨真假的“网络垃圾”在信息渠道混淆视听。对于自然科学、金融、医学等特定领域的专业问题，诸多大模型没有经过大规模专业语料训练，可能会一本正经“胡编乱造”，制造“模型幻觉”。在缺乏必要监管机制的当下，由大模型生成的大量未经辨认审核的文本与图片流入互联网，在稀释真实信息的同时，还容易让不具备专业知识的大众信以为真。
过度使用人工智能“角色扮演”功能易诱发心理依赖。经过特定算法和数据库训练的大模型，能够根据用户的指示扮演符合用户情感需求的虚拟角色，与用户交流。如果用户过度沉迷其中、忽略现实交际，则有可能因身心空虚导致极端性后果。这是因为算法不透明性和“黑箱”操控机制形成了信息的“茧房”，使用者被困于AI挑选和过滤后的“信息泡泡”中。算法通过分析我们的信息偏好，利用人类易产生恐惧焦虑的心理机制、利用青少年心智不完全成熟和对某些信息的猎奇心，不断投喂和推荐某类特定信息，加强固有的缺陷和偏好，让人们身陷其中无法自拔，严重时可导致AI成瘾效应。
过分依赖人工智能进行思考会导致认知和学习能力下降。抖音海外版顾问格雷格·伊森伯格曾提到一名斯坦福大学毕业生，因过度使用ChatGPT，在交谈中经常出现思维中断、言语迟滞的迹象。当认知过程被长期“外包”给人工智能，无论多么优秀的大脑，思考和学习功能都会“用进废退”。不假思索地全盘接受AI生成的“投喂式”内容，会导致本应在教育过程中塑造并形成的信息收集、筛选、处理、应用、创造的批判性思维、逻辑性思维、创新性思维能力的严重退化。
3、构建人工智能安全治理框架，不仅要涵盖现实中出现的问题，还应从根源入手，避免“头痛医头、脚痛医脚”
面对人工智能这把“双刃剑”，我们亟须构建完备的人工智能安全治理体系。它不仅要涵盖现实中的问题，还应基于系统化、综合化的人工智能理论，从问题的根源入手，避免“头痛医头、脚痛医脚”的片面化处理。
加强价值对齐，制定人工智能评级标准。造成人工智能引发的意识形态、价值伦理、信息混乱等问题的根本原因，是生成式大模型缺乏明确的认知架构和价值体系，只能按照人类设定的程序，机械地对问题做出反馈，没能做到与人类价值对齐。为此，需要一套结合人类价值体系和认知架构的人工智能评级标准，作为评定和开发人工智能的科学标尺，辅助科学家打造更加符合人类需求、更加安全的人工智能。
改进技术，设置防沉迷预警。不仅需要从外部对人工智能设置评级标准，也要从人工智能内部进行分级改造。使用人工智能的社会群体千差万别、需求各有侧重，需要防范的风险也各异。以青少年群体为例，我们应该着重研发辅助课堂学习、引导兴趣爱好的人工智能，让其成为有利于青少年成长的助手与“伙伴”。同时，为防止青少年过度沉迷，应在系统中编入使用时长、特定功能分区的限制，并出具生动详细的使用教程和预警声明，保障青少年的身心健康。
预测就业替代风险，加强人工智能职业培训。如何避免人工智能替代人类，不仅需要劳动者个人顺应时代风向、积极主动实现自我提升，还需要政府部门和企事业单位制定保护劳动者、协调人机关系的就业保障机制。在部署“人工智能+”行动时，可以要求企业在应用人工智能的同时，在算法中预置就业考量，实现向善的人工智能伦理规则。企业则应做好就业伦理合规，不应追求用技术完全替代人，而是追求如何用技术赋能生产效率、优化体验。此外，在进行就业前置性布局的时候，也应当为可能被替代职业或工种的从业者安排相关的技能培训，增加他们在新环境下的就业机会。
构建平等开放的国际人工智能安全秩序。防范人工智能安全风险是全世界共同面临的课题，并不是某一国、某一地区的特权或义务。目前，发达国家总体上掌握着比发展中国家更先进的人工智能技术，后者往往因此失去了在国际舞台上的话语权，并缺乏防范和化解人工智能风险的意识。
需要强调的是，理解与防范人工智能安全风险的目的，并不是要让大家畏惧、否定科技的进步，而是希望大家具备理性审视和应对潜在风险的能力，学会在人工智能的浪潮中保持清醒的头脑，掌握驾驭人工智能的主动权。让我们在享受智能时代红利的同时，确保自身和社会的安全稳定，实现科技向善、人机和谐共生的美好愿景！
（作者：宋国杰，系北京大学智能学院党委副书记、长聘副教授）
人工智能正深刻改变世界。但它如一把“双刃剑”，既带来巨大机遇，也引发诸多挑战——在医疗、教育、交通等领域，人工智能提升了效率，改善了生活质量；然而，它也可能冲击就业、侵犯隐私、引发算法偏见等。如何握好这把“双刃剑”，让人工智能真正成为推动人类进步的力量。
当下的选择决定未来的走向。本期我们邀请两位专家，共同探讨如何避免风险，引导技术向善。
人工智能技术无疑是新一轮科技革命和产业变革的先导。其中，强调价值对齐、能够自主定义并完成无限任务的通用人工智能，更是新质生产力的典型代表，已经成为全球科技战略制高点。但另一方面，由于大模型等人工智能技术具有“黑箱属性”，导致其决策行为不能被完全透明解释，它的生成内容也不能被完全预判控制，当这样的人工智能技术应用部署在国家社会经济生活中的方方面面时，就可能会出现偏离人类预期甚至危害国家安全和人类整体利益的巨大风险。
1、在国家层面，人工智能技术正在重构国家安全治理的格局
我国已将人工智能安全纳入国家战略，并上升至总体国家安全观的重要组成部分。这是因为，人工智能技术的迅猛发展正在重构国家安全治理的格局，其中部分风险突破了传统技术伦理范畴，形成系统性、多维度的威胁。
以当下热度最高的生成式大模型为例，我们可以关注到这三类安全危机：
首先，是技术安全与自主创新的国际挑战。大模型的算力、算法与数据，构成新型国家战略资源，其自主可控性直接关乎国家主权安全。目前，全球算力中心依然集中于少数欧美科技巨头，英伟达的人工智能芯片占据了超过80%国际市场份额。而就在今年1月底，美国国会首次提交了中美人工智能“脱钩”的法案，一旦该法案通过，两国所有人工智能的合作渠道将被截断。
其次，意识形态与价值伦理的隐性危机。大模型没有价值认知的功能，但开发者的价值观可以渗透到大模型对外输出的文本，构成意识形态方面的安全威胁。比如，一些欧美研发的大模型，其生成的视频、图像表达延续欧美影视文化倾向，以西方艺术审美为主体，却无法识别和“理解”达喀尔建筑等非洲文化造型。众多案例表明，欧美大模型所蕴含的西方中心主义价值观值得我们提高警惕。此外，质量参差不齐的国内自媒体信息、不当抓取的境外网页错误信息、由大模型生成的未经审核的合成数据，都可能会“毒化”AI大模型的训练过程，进而导致输出内容价值观的偏差。繁杂的世界观、人生观、价值观数据弥漫在大模型神经网络的“黑箱”中，导致我们很难分辨出大模型的某些反社会回答（例如“毁灭人类”）究竟是出自语料库，还是根据模型的行为范式学习推理而来。随着大模型广泛应用到各行各业，倘若任由这种不可控的“黑箱”发展下去，我们将很难控制人工智能的价值体系与人类相一致，会造成较大的社会伦理风险。
再次，制度监管滞后与信息不对称的结构性困境。尽管世界各国已针对人工智能技术带来的安全风险纷纷出台相关法案，但这些法律法规的制定完善一般需要漫长复杂的流程，往往滞后于人工智能新产品的发布更新速度。各国人工智能的发展水平与应用程度不同，政府、企业、高校科研机构、社会大众对动态更新发展的人工智能技术的认知存在不小的信息差，导致国与国之间、社会各行各业之间推出的人工智能治理措施出现大量无效重合和高度冲突。这类信息不对称和统一标准的缺失，对外易制造国际人工智能安全治理的合作争端，对内会使得人工智能监管出现“真空地带”，造成制度叠加的冗余和推行成本的增长。
2、在社会和个人层面，滥用人工智能技术可能带来劳动秩序重构、混淆视听、诱发心理依赖、认知和学习能力下降等问题
在社会和个人层面，除了侵犯个人隐私、引发版权纠纷等，滥用人工智能还会造成不少问题：
社会重新分配，劳动秩序重构。“人工智能+”的落地应用可能会引起“创造性破坏”，也就是普遍担忧的“人工智能代替人类”——普通劳动者的就业机会被人工智能剥夺。国际货币基金组织发布报告称，人工智能预计将对全球近40%的工作岗位产生影响。创造性和技术需求较低工作的从业者都将面临失业或转型的危机，社会劳动分工的结构将经历一场“大洗牌”。
难辨真假的“网络垃圾”在信息渠道混淆视听。对于自然科学、金融、医学等特定领域的专业问题，诸多大模型没有经过大规模专业语料训练，可能会一本正经“胡编乱造”，制造“模型幻觉”。在缺乏必要监管机制的当下，由大模型生成的大量未经辨认审核的文本与图片流入互联网，在稀释真实信息的同时，还容易让不具备专业知识的大众信以为真。
过度使用人工智能“角色扮演”功能易诱发心理依赖。经过特定算法和数据库训练的大模型，能够根据用户的指示扮演符合用户情感需求的虚拟角色，与用户交流。如果用户过度沉迷其中、忽略现实交际，则有可能因身心空虚导致极端性后果。这是因为算法不透明性和“黑箱”操控机制形成了信息的“茧房”，使用者被困于AI挑选和过滤后的“信息泡泡”中。算法通过分析我们的信息偏好，利用人类易产生恐惧焦虑的心理机制、利用青少年心智不完全成熟和对某些信息的猎奇心，不断投喂和推荐某类特定信息，加强固有的缺陷和偏好，让人们身陷其中无法自拔，严重时可导致AI成瘾效应。
过分依赖人工智能进行思考会导致认知和学习能力下降。抖音海外版顾问格雷格·伊森伯格曾提到一名斯坦福大学毕业生，因过度使用ChatGPT，在交谈中经常出现思维中断、言语迟滞的迹象。当认知过程被长期“外包”给人工智能，无论多么优秀的大脑，思考和学习功能都会“用进废退”。不假思索地全盘接受AI生成的“投喂式”内容，会导致本应在教育过程中塑造并形成的信息收集、筛选、处理、应用、创造的批判性思维、逻辑性思维、创新性思维能力的严重退化。
3、构建人工智能安全治理框架，不仅要涵盖现实中出现的问题，还应从根源入手，避免“头痛医头、脚痛医脚”
面对人工智能这把“双刃剑”，我们亟须构建完备的人工智能安全治理体系。它不仅要涵盖现实中的问题，还应基于系统化、综合化的人工智能理论，从问题的根源入手，避免“头痛医头、脚痛医脚”的片面化处理。
加强价值对齐，制定人工智能评级标准。造成人工智能引发的意识形态、价值伦理、信息混乱等问题的根本原因，是生成式大模型缺乏明确的认知架构和价值体系，只能按照人类设定的程序，机械地对问题做出反馈，没能做到与人类价值对齐。为此，需要一套结合人类价值体系和认知架构的人工智能评级标准，作为评定和开发人工智能的科学标尺，辅助科学家打造更加符合人类需求、更加安全的人工智能。
改进技术，设置防沉迷预警。不仅需要从外部对人工智能设置评级标准，也要从人工智能内部进行分级改造。使用人工智能的社会群体千差万别、需求各有侧重，需要防范的风险也各异。以青少年群体为例，我们应该着重研发辅助课堂学习、引导兴趣爱好的人工智能，让其成为有利于青少年成长的助手与“伙伴”。同时，为防止青少年过度沉迷，应在系统中编入使用时长、特定功能分区的限制，并出具生动详细的使用教程和预警声明，保障青少年的身心健康。
预测就业替代风险，加强人工智能职业培训。如何避免人工智能替代人类，不仅需要劳动者个人顺应时代风向、积极主动实现自我提升，还需要政府部门和企事业单位制定保护劳动者、协调人机关系的就业保障机制。在部署“人工智能+”行动时，可以要求企业在应用人工智能的同时，在算法中预置就业考量，实现向善的人工智能伦理规则。企业则应做好就业伦理合规，不应追求用技术完全替代人，而是追求如何用技术赋能生产效率、优化体验。此外，在进行就业前置性布局的时候，也应当为可能被替代职业或工种的从业者安排相关的技能培训，增加他们在新环境下的就业机会。
构建平等开放的国际人工智能安全秩序。防范人工智能安全风险是全世界共同面临的课题，并不是某一国、某一地区的特权或义务。目前，发达国家总体上掌握着比发展中国家更先进的人工智能技术，后者往往因此失去了在国际舞台上的话语权，并缺乏防范和化解人工智能风险的意识。
需要强调的是，理解与防范人工智能安全风险的目的，并不是要让大家畏惧、否定科技的进步，而是希望大家具备理性审视和应对潜在风险的能力，学会在人工智能的浪潮中保持清醒的头脑，掌握驾驭人工智能的主动权。让我们在享受智能时代红利的同时，确保自身和社会的安全稳定，实现科技向善、人机和谐共生的美好愿景！
（作者：宋国杰，系北京大学智能学院党委副书记、长聘副教授）
本文链接：人工智能：如何握好这把“双刃剑”http://www.sushuapos.com/show-2-11943-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 豆包深度思考模型发布