未来的人工智能（AI）什么样？想象一下，只需简单一个指令，它们便能领悟并执行复杂的任务；它们还能通过视觉捕捉用户的表情和动作，判断其情绪状态。这不再是好莱坞科幻电影中的场景，而是正逐步走进现实的“多模态AI”。
据美国《福布斯》网站近日报道，元宇宙平台公司、OpenAI以及谷歌公司等巨头，都推出了各自的多模态AI系统，正不遗余力地加大对此类系统的研发投资，力求提高各种模态内容输出的精确度，从而改善AI与用户的交互体验。
多模态AI标志着一种范式变革。它将深刻改变很多行业的面貌，并重塑数字世界的格局。
赋予AI“多重感官”功能
人类是如何了解世界的？我们依赖视觉、听觉和触觉等多种感官，从无数来源接收信息。人脑将这些纷繁复杂的数据模式融合，绘制出一幅生动的现实“画卷”。
IBM公司官网这样定义多模态AI：能集成和处理来自多种模态（数据类型）的机器学习模型，这些模态包括文本、图像、音频、视频等形式的输入。就像赋予AI一整套感官，使它能从多个角度感知并理解输入的信息。
这种跨越不同模态理解和创建信息的能力，超越此前侧重于集成和处理特定数据源的单模态AI，赢得了各大科技巨头的青睐。
在今年的移动通信大会上，高通公司将其开发的多模态大模型首次部署在安卓手机上。用户无论是输入照片，还是语音等信息，都能与AI助手顺畅交流。例如，用户可以拍一张美食照片向AI助手提问：这些食材都是什么？能做出什么菜？每道菜的热量是多少？AI助手能基于照片信息，给出详细的答案。
今年5月，OpenAI发布了多模态模型GPT-4o，其支持文本、音频和图像的任意组合输入和输出。随后，谷歌也于第二天推出了自己的最新多模态AI产品Gemini 1.5 Pro。
9月25日，元宇宙平台公司发布了其最新的开源大语言模型Llama 3.2。公司首席执行官马克·扎克伯格在主题演讲中表示，这是该公司首个开源多模态模型，可同时处理文本和视觉数据，标志着AI在理解更复杂应用场景方面取得了重大进展。
悄然推动各领域变革
多模态AI正悄然改变着多个领域的面貌。
在医疗保健领域，IBM旗下“沃森健康”正对病人的影像学数据、病历文本和基因数据进行综合分析，帮助医生更准确地诊断疾病，有力支持医生为病人制订个性化治疗方案。
创意产业也正在经历一场变革。数字营销专家和电影制片人正借助这一技术打造定制内容。试想，只需一个简单的提示或概念，AI系统就能编撰出引人入胜的剧本，生成故事板（即一系列插图排列在一起组成的可视化故事）、创作配乐，甚至制作出初步场景剪辑。
教育和培训领域也在多模态AI助力下向个性化学习迈进。美国纽顿公司开发的自适应学习平台能利用多模态AI，深入分析学生的学习行为、表情和语音，实时调整教学内容和难度。实验数据显示，这种方法能将学生的学习效率提高40%。
客户服务也是多模态AI系统令人兴奋的应用之一。聊天机器人不仅能回应文本查询，还能理解客户的语调，分析客户的面部表情，并用适当的语言和可视化线索作出回应。这种更接近人类的交流有望彻底改变企业与客户的互动方式。
仍需克服技术伦理挑战
但多模态AI发展也面临诸多挑战。
AI咨询公司“隐空间”创始人亨瑞·艾德尔表示，多模态AI的强大之处在于能够整合多种数据类型。然而，如何有效整合这些数据仍是一个技术难题。
此外，多模态AI模型在运行过程中往往需要消耗大量算力资源，这无疑增加了其应用成本。
更值得注意的是，多模态数据包含更多个人信息。当多模态AI系统能轻松识别人脸、声音乃至情绪状态时，如何确保个人隐私得到尊重与保护？又该如何采取有效措施，防止其被用于创建“深度伪造”或其他误导性内容？这些都是值得深思的问题。
未来的人工智能（AI）什么样？想象一下，只需简单一个指令，它们便能领悟并执行复杂的任务；它们还能通过视觉捕捉用户的表情和动作，判断其情绪状态。这不再是好莱坞科幻电影中的场景，而是正逐步走进现实的“多模态AI”。
据美国《福布斯》网站近日报道，元宇宙平台公司、OpenAI以及谷歌公司等巨头，都推出了各自的多模态AI系统，正不遗余力地加大对此类系统的研发投资，力求提高各种模态内容输出的精确度，从而改善AI与用户的交互体验。
多模态AI标志着一种范式变革。它将深刻改变很多行业的面貌，并重塑数字世界的格局。
赋予AI“多重感官”功能
人类是如何了解世界的？我们依赖视觉、听觉和触觉等多种感官，从无数来源接收信息。人脑将这些纷繁复杂的数据模式融合，绘制出一幅生动的现实“画卷”。
IBM公司官网这样定义多模态AI：能集成和处理来自多种模态（数据类型）的机器学习模型，这些模态包括文本、图像、音频、视频等形式的输入。就像赋予AI一整套感官，使它能从多个角度感知并理解输入的信息。
这种跨越不同模态理解和创建信息的能力，超越此前侧重于集成和处理特定数据源的单模态AI，赢得了各大科技巨头的青睐。
在今年的移动通信大会上，高通公司将其开发的多模态大模型首次部署在安卓手机上。用户无论是输入照片，还是语音等信息，都能与AI助手顺畅交流。例如，用户可以拍一张美食照片向AI助手提问：这些食材都是什么？能做出什么菜？每道菜的热量是多少？AI助手能基于照片信息，给出详细的答案。
今年5月，OpenAI发布了多模态模型GPT-4o，其支持文本、音频和图像的任意组合输入和输出。随后，谷歌也于第二天推出了自己的最新多模态AI产品Gemini 1.5 Pro。
9月25日，元宇宙平台公司发布了其最新的开源大语言模型Llama 3.2。公司首席执行官马克·扎克伯格在主题演讲中表示，这是该公司首个开源多模态模型，可同时处理文本和视觉数据，标志着AI在理解更复杂应用场景方面取得了重大进展。
悄然推动各领域变革
多模态AI正悄然改变着多个领域的面貌。
在医疗保健领域，IBM旗下“沃森健康”正对病人的影像学数据、病历文本和基因数据进行综合分析，帮助医生更准确地诊断疾病，有力支持医生为病人制订个性化治疗方案。
创意产业也正在经历一场变革。数字营销专家和电影制片人正借助这一技术打造定制内容。试想，只需一个简单的提示或概念，AI系统就能编撰出引人入胜的剧本，生成故事板（即一系列插图排列在一起组成的可视化故事）、创作配乐，甚至制作出初步场景剪辑。
教育和培训领域也在多模态AI助力下向个性化学习迈进。美国纽顿公司开发的自适应学习平台能利用多模态AI，深入分析学生的学习行为、表情和语音，实时调整教学内容和难度。实验数据显示，这种方法能将学生的学习效率提高40%。
客户服务也是多模态AI系统令人兴奋的应用之一。聊天机器人不仅能回应文本查询，还能理解客户的语调，分析客户的面部表情，并用适当的语言和可视化线索作出回应。这种更接近人类的交流有望彻底改变企业与客户的互动方式。
仍需克服技术伦理挑战
但多模态AI发展也面临诸多挑战。
AI咨询公司“隐空间”创始人亨瑞·艾德尔表示，多模态AI的强大之处在于能够整合多种数据类型。然而，如何有效整合这些数据仍是一个技术难题。
此外，多模态AI模型在运行过程中往往需要消耗大量算力资源，这无疑增加了其应用成本。
更值得注意的是，多模态数据包含更多个人信息。当多模态AI系统能轻松识别人脸、声音乃至情绪状态时，如何确保个人隐私得到尊重与保护？又该如何采取有效措施，防止其被用于创建“深度伪造”或其他误导性内容？这些都是值得深思的问题。
据《自然》20日消息称，天文学家对91对恒星所作的光谱分析显示，大约每12个恒星中就有一个可能吞噬了一个行星。在吞噬一个行星后，恒星的化学构成可能发生改变，这个过程被称为“行星吸收”。通过比 记者3月17日从浙江大学获悉，该校医学院附属第二医院王良静教授团队、附属邵逸夫医院陈淑洁主任医师团队联合研究发现，一种肠道菌群产生的小分子代谢物吲哚丙酸，可以增强抗癌药物抗PD-1单抗对结 英伟达AI风暴席卷医疗行业 “AI制药”是风口还是泡沫？ 季媛媛 全球医疗健康行业正刮起最强AI风暴。 当地时间3月18日，全球瞩目的顶级AI盛会――英伟达2024年GPU技术大会(NVIDIA GTC 2024)正式开幕。据相关 眼眸深邃似海、璨如星河，中国医学科学院生物医学工程研究所眼科诊疗技术研发团队（以下简称“团队”）正是眼眸“侦探”。该团队不久前被授予“国家卓越工程师团队”称号。别看人眼只有8克左右，却 英伟达的GPU又升级了。3月19日，英伟达CEO黄仁勋发布了最新的B200算力芯片GPU，FP8精度下的训练性能是上一代的2.5倍，FP4精度下的推理性能更是达到了上一代的5倍。然而，这场技术狂欢背后，却令AI领域 3月21日，人工智能大模型赋能企业科技创新研讨会在广州召开。中国知网在会议期间发布了专利大数据智能应用产品“AI Pat+”。据中国知网相关负责人介绍，中国知网在人工智能大模型领域的深入研发 。
本文链接：多模态AI重新定义人机交互方式http://www.sushuapos.com/show-2-8937-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 北京亦庄商业航天加速腾飞