北京时间5月14日凌晨，美国开放人工智能研究中心（OpenAI）发布了其下一代大型语言模型GPT-4o，人工智能（AI）领域再起硝烟。
尽管AI一词已很普及，但其内部运作方式仍像黑箱操作一样，是一个谜。因为AI依赖机器学习算法，而先进的机器学习算法使用模拟人脑结构的神经网络，信息在不同神经元间传递，以人类不易理解的方式内化数据，缺乏可视化和透明度。
这个问题对ChatGPT等大型语言模型（LLM）来说尤其严重，部分原因在于它们规模庞大，有些LLM拥有数千亿甚至上万亿个参数。
英国《自然》杂志网站在15日的报道中指出，为洞悉LLM的黑箱操作，科学家正对AI系统进行逆向工程。他们扫描LLM的“大脑”，以揭示它们在做什么、如何做以及为什么这样做等谜团。
谈话疗法
由于聊天机器人可以进行对话，一些研究人员就让模型自我解释，以了解其工作原理。这种方法类似于心理学中使用的“谈话疗法”。
德国斯图加特大学计算机科学家蒂洛·哈根德夫表示，人脑和LLM都像是一个“黑箱”，而心理学有能力研究它。
去年，哈根德夫发表了一篇关于“机器心理学”的文章。他认为，通过将LLM视为人类主体，让其参与对话，可以阐明其复杂行为。
面对复杂问题，人类在潜意识里会进行分步骤推理。受此启发，谷歌团队2022年引入了“思维链提示”，以描述一种让LLM展示其“思维”的方法。
简单来说，思维链提示是一种特殊的上下文学习。不同于标准提示只给出输入—输出，思维链提示还会额外增加推理过程。
该方法在GPT-3等三个大型语言模型上都得到了验证：对比标准提示，新方法在一系列算术推理任务上的准确率都有了显著提高。但美国纽约大学研究人员的一项最新研究表明：LLM并没有利用思维链的推理能力，它只是偷偷加了计算。
美国东北大学计算机科学家戴维·鲍表示，尽管以研究人类的方式研究LLM有点奇怪，但两者的行为却以令人惊讶的方式重叠。在过去两年里，许多科学家将用于人类的问卷和实验应用于LLM，测量了其人格、推理、偏见、道德价值观、创造力、情绪、服从性等。结果显示，在许多情况下，机器能复制人类行为。但在有些情况下，它们的行为与人类行为不一样。例如，LLM比人类更容易受到暗示，其行为也会随着问题措辞的不同而发生巨大变化。
脑部扫描
一些科学家从神经科学领域汲取技巧，以此来探索LLM的内部工作原理。
为研究聊天机器人是如何进行欺骗的，美国卡内基梅隆大学计算机专家安迪·邹及其合作者询问了LLM，并观察了它们神经元的激活情况。邹指出，这有点像对人类进行脑部神经成像扫描，也有点像使用测谎仪。
研究人员多次让LLM撒谎或说实话，并测量了神经元活动模式的差异。然后，每当向模型提出一个新问题时，他们都可以观察其活动，并判断答案是否真实。在一个简单任务中，该方法的准确率超过90%。邹表示，此类系统可以实时检测出LLM不诚实行为。
鲍及其同事则开发了扫描和编辑人工智能神经网络的方法，包括一种他们称之为因果追踪的技术，以确定AI“大脑”中以特定方式回答问题的部分。
鲍指出，人工神经网络的好处在于，可以在它们身上做神经科学家梦寐以求的实验，比如可以观察每一个神经元、运行数百万次网络、进行各种疯狂的测量和干预，且做这些都不必获得同意书。
打破不可解释性
邹和鲍等人提出LLM扫描技术采用自上而下的方法，将概念或事实归因于潜在的神经表征。还有一些科学家则使用自下而上的方法，即观察神经元并询问它们代表什么。
神经元的不可解释性，一直是AI领域的“老大难”问题。2023年，来自Anthropic公司的一个团队提出了一种方法，成功将512个神经元分解成了4096个可解释特征，从而让其具有了可解释性。
研究人员表示，他们这一方法很有可能克服AI不可解释性这一巨大障碍。一旦人类了解LLM工作原理，就能很容易地判断其是否安全，从而决定它是否应该被社会和企业采用。
不过，邹表示，尽管这种方法很有价值，但不太适合解释更复杂的AI行为。
尽管研究人员仍在努力弄清楚AI如何工作，但人们越来越达成一致意见：AI公司应该努力为其模型提供解释，政府也应该制定相关法规来执行这一点。
北京时间5月14日凌晨，美国开放人工智能研究中心（OpenAI）发布了其下一代大型语言模型GPT-4o，人工智能（AI）领域再起硝烟。
尽管AI一词已很普及，但其内部运作方式仍像黑箱操作一样，是一个谜。因为AI依赖机器学习算法，而先进的机器学习算法使用模拟人脑结构的神经网络，信息在不同神经元间传递，以人类不易理解的方式内化数据，缺乏可视化和透明度。
这个问题对ChatGPT等大型语言模型（LLM）来说尤其严重，部分原因在于它们规模庞大，有些LLM拥有数千亿甚至上万亿个参数。
英国《自然》杂志网站在15日的报道中指出，为洞悉LLM的黑箱操作，科学家正对AI系统进行逆向工程。他们扫描LLM的“大脑”，以揭示它们在做什么、如何做以及为什么这样做等谜团。
谈话疗法
由于聊天机器人可以进行对话，一些研究人员就让模型自我解释，以了解其工作原理。这种方法类似于心理学中使用的“谈话疗法”。
德国斯图加特大学计算机科学家蒂洛·哈根德夫表示，人脑和LLM都像是一个“黑箱”，而心理学有能力研究它。
去年，哈根德夫发表了一篇关于“机器心理学”的文章。他认为，通过将LLM视为人类主体，让其参与对话，可以阐明其复杂行为。
面对复杂问题，人类在潜意识里会进行分步骤推理。受此启发，谷歌团队2022年引入了“思维链提示”，以描述一种让LLM展示其“思维”的方法。
简单来说，思维链提示是一种特殊的上下文学习。不同于标准提示只给出输入—输出，思维链提示还会额外增加推理过程。
该方法在GPT-3等三个大型语言模型上都得到了验证：对比标准提示，新方法在一系列算术推理任务上的准确率都有了显著提高。但美国纽约大学研究人员的一项最新研究表明：LLM并没有利用思维链的推理能力，它只是偷偷加了计算。
美国东北大学计算机科学家戴维·鲍表示，尽管以研究人类的方式研究LLM有点奇怪，但两者的行为却以令人惊讶的方式重叠。在过去两年里，许多科学家将用于人类的问卷和实验应用于LLM，测量了其人格、推理、偏见、道德价值观、创造力、情绪、服从性等。结果显示，在许多情况下，机器能复制人类行为。但在有些情况下，它们的行为与人类行为不一样。例如，LLM比人类更容易受到暗示，其行为也会随着问题措辞的不同而发生巨大变化。
脑部扫描
一些科学家从神经科学领域汲取技巧，以此来探索LLM的内部工作原理。
为研究聊天机器人是如何进行欺骗的，美国卡内基梅隆大学计算机专家安迪·邹及其合作者询问了LLM，并观察了它们神经元的激活情况。邹指出，这有点像对人类进行脑部神经成像扫描，也有点像使用测谎仪。
研究人员多次让LLM撒谎或说实话，并测量了神经元活动模式的差异。然后，每当向模型提出一个新问题时，他们都可以观察其活动，并判断答案是否真实。在一个简单任务中，该方法的准确率超过90%。邹表示，此类系统可以实时检测出LLM不诚实行为。
鲍及其同事则开发了扫描和编辑人工智能神经网络的方法，包括一种他们称之为因果追踪的技术，以确定AI“大脑”中以特定方式回答问题的部分。
鲍指出，人工神经网络的好处在于，可以在它们身上做神经科学家梦寐以求的实验，比如可以观察每一个神经元、运行数百万次网络、进行各种疯狂的测量和干预，且做这些都不必获得同意书。
打破不可解释性
邹和鲍等人提出LLM扫描技术采用自上而下的方法，将概念或事实归因于潜在的神经表征。还有一些科学家则使用自下而上的方法，即观察神经元并询问它们代表什么。
神经元的不可解释性，一直是AI领域的“老大难”问题。2023年，来自Anthropic公司的一个团队提出了一种方法，成功将512个神经元分解成了4096个可解释特征，从而让其具有了可解释性。
研究人员表示，他们这一方法很有可能克服AI不可解释性这一巨大障碍。一旦人类了解LLM工作原理，就能很容易地判断其是否安全，从而决定它是否应该被社会和企业采用。
不过，邹表示，尽管这种方法很有价值，但不太适合解释更复杂的AI行为。
尽管研究人员仍在努力弄清楚AI如何工作，但人们越来越达成一致意见：AI公司应该努力为其模型提供解释，政府也应该制定相关法规来执行这一点。
日前，盛世盈创氢能科技（陕西）有限公司（以下简称盛世盈创）与协氢（上海）新能源科技有限公司宣布达成战略合作，共同推进风冷氢燃料电池电堆全自动化生产线（以下简称风冷堆）的研发与生产。双方协议，将建设目 记者3月17日从浙江大学获悉，该校医学院附属第二医院王良静教授团队、附属邵逸夫医院陈淑洁主任医师团队联合研究发现，一种肠道菌群产生的小分子代谢物吲哚丙酸，可以增强抗癌药物抗PD-1单抗对结 据一项在本周举行的美国心脏协会会议上提交的新研究，每天进食时间控制在8小时内的间歇性禁食方法可能与心脏病死亡风险上升相关。近年来越来越流行的间歇性禁食指限制进食时间，在每天或每周的 30台发动机助进阶版“鹊桥”升空 中新社西安3月20日电 (记者 张一辰)3月20日8时31分，长征八号遥三运载火箭在中国文昌航天发射场顺利升空，成功将“鹊桥二号”卫星送入预定轨道。作为公共中继星平台，“鹊桥二号” 随着量子技术的发展，利用量子特性突破传统测量技术极限的新一代精密测量技术——量子测量开始得到应用。记者从中国计量科学研究院获悉，由该院牵头编制的《量子测量术语》《量子精密 3月24日，记者从中国农业科学院获悉，该院蔬菜花卉研究所甘蓝类蔬菜遗传育种创新团队，开发了快速创制细胞质雄性不育系的新方法——“一步法”。相关研究日前发表在国际期刊《自然&midd 。本文链接：ChatGPT如何“思考”——科学家竞相破解大型语言模型背后的谜团http://www.sushuapos.com/show-2-6014-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 青少年与航天员“天地共养”斑马鱼