一场火灾发生的瞬间，监控系统可以实时发出警报；独居老人在家摔倒，AI可以马上提醒远方的亲人；视障人士外出，智能眼镜随时解读附近环境、指明方向……这些看似科幻的场景，在AI时代可能很快会成为现实。
近日，京东开源实时视频视觉语言交互模型JoyAI-VL-Interaction，这也是全球首个全栈开源的interaction模型和系统，并获得vLLM-Omni的day-0原生支持。它让大模型从“一问一答”走向“边看边说”，开发者基于这套框架，可以快速搭建能持续观察、自主判断、即时响应的实景AI助手，有望推动AI在物理世界发挥巨大作用，为人类生产和生活带来全新变革。
代码地址
🔗https://github.com/jd-opensource/JoyAI-VL-Interaction
模型地址
🔗https://huggingface.co/jdopensource/JoyAI-VL-Interaction-Preview
数据集地址
🔗https://huggingface.co/datasets/jdopensource/JoyAI-VL-Interaction
不止看懂过去，更要看懂“现在”
今天很多多模态模型，重在比拼参数、知识和推理，本质上仍是“一问一答”，即用户上传图片或视频，提出问题，模型再给出回答。这种方式在图文问答、视频复盘、内容分析等场景中足够好用，但当AI进入真实世界，模型不只要聪明，更要“在场”。正在发生的真实世界，无数瞬息万变的时刻，错过就很难补救。
京东开源的JoyAI-VL-Interaction，就是让AI像人一样持续“在场”：边看、边记、边判断，并在关键时刻主动回应，或选择性地交接给后台Agent。相比传统模型，JoyAI-VL-Interaction有三重突破：
1、主动判断，而非被动回答。传统模型通常要等用户发起问题，才开始处理当前画面，而JoyAI-VL-Interaction可以持续观察视频流，自主判断什么时候该说话，什么时候该沉默。
比如用户设置“裁判出示红牌时提醒我”，模型就会持续值守画面，并在事件发生时自动预警，而不是等用户再问一句“刚才发生了什么”。
2、实时响应，而非事后总结。传统视频理解更多是上传完整视频后再分析，但在安防预警、实时翻译、直播解说、操作指导等场景里，晚几秒，体验和价值都会不同。而JoyAI-VL-Interaction面向正在发生的视频流，画面变化时就能响应。
3、适时智能体委托，同时保持观察和交互。JoyAI-VL-Interaction还具备后台任务委派能力与相关机制。当模型遇到生成代码、调用工具、复杂推理等任务时，可以交给后台大模型或Agent。前台模型继续观察现场，后台模型处理复杂任务，结果返回后再自然接回对话。它更像一套“前台实时助手+后台智能大脑”的协作系统：前台负责在场，后台负责干重活，有机会开启AI与人类协作的新范式。
开源一套系统，而不只是一个模型
在实时视频流中，JoyAI-VL-Interaction每秒都会做一次判断，比如，继续观察、保持沉默，发现关键事件、主动回应，遇到复杂任务，交给后台Agent处理。这意味着，“什么时候说话”不再只靠外部规则或定时触发，而是成为模型自己学会的能力。
对实时交互来说，会说话很重要，会沉默也同样重要。一个好的AI助手，不应该一直打扰用户，而应该知道什么时候该出现，什么时候该安静，以及什么时候自己解决，什么时候交由agent解决。
很多开源模型只提供基础推理能力。开发者如果要真正用起来，还需要自己处理视频接入、语音交互、记忆模块、前后端协同等工程问题。JoyAI-VL-Interaction开源的是完整技术栈，包括模型权重、交互数据集、训练方案和完整可部署系统，可以帮助开发者更快从模型研究走向真实场景落地。
JoyAI-VL-Interaction支持摄像头、直播流、监控流等多种视频输入，也支持语音输入输出、可视化界面、长期记忆、后台模型接口和vLLM部署方案。ASR、TTS、可视化界面、后台模型、外部工具和业务模块，都可以按需替换。开发者可以接入自己的语音服务、Agent、API、业务系统或前端界面。
换句话说，JoyAI-VL-Interaction不是封闭产品，而是一套开放框架。它既可以用于研究，也可以改造成安防监控、老人小孩看护、直播讲解、电商导购、操作指导、AI眼镜、无障碍辅助等实时AI助手。
在评测中，JoyAI-VL-Interaction覆盖监控预警、实时计数、实时翻译、时间感知、直播导览解说等真实流式场景。在这些与视觉触发的主动响应、实时性高度相关的58个真人盲评案例中，JoyAI-VL-Interaction对比豆包视频通话助手，总体胜率77.6%；对比Gemini视频通话助手，总体胜率87.9%。尤其在监控预警场景中，对两个基线均取得100%胜率。这源于交互模型相较传统“一问一答”的回合制模型的天然优势：自主交互性长在模型内部，而非依赖外部触发。
从生成到交互，AI走向物理世界
今年以来，京东在模型基建方面取得多项重要进展。3月，京东开源基础大模型JoyAI-LLM Flash的Instruct版本，打破了大模型参数内卷的困局；4月，京东开源图像模型JoyAI-Image-Edit，空间理解与编辑能力达到世界一流水平。6月3日，京东又开源长视频生成模型JoyAI-Echo，推动长视频生成“所想即所得”时代到来，标志着京东在上述领域进入全球第一梯队。
从“一问一答”到“边看边记边回应”，从离线视频理解到实时流式交互，从屏幕里的AI到物理世界里的AI――此次JoyAI-VL-Interaction的全栈开源，是京东把AI从数字世界推向物理世界的又一步。
深耕零售、物流、健康、工业等实体产业二十余年，京东拥有全球领先的物理世界运营网络，覆盖仓储、配送、门店、直播、客服、售后海量真实场景，每天都在发生人、货、场的实时互动。对AI而言，这些不是抽象数据，而是进入物理世界的天然训练场与应用场，为京东打造“全球最大物理世界运营中心”提供坚实的保障。未来京东将持续加大研发投入，开放技术能力，推动AI从千行百业走进千家万户。
3月18日，在2024年黑龙江农机产品展示交易会上，一部可智能播种，又可助力增产的电驱气吸播种机引发众人关注。这台高端智能电驱气吸播种机的价格与机械播种机价格相当，据悉，研发团队通过自主研发和 据中国科学院武汉植物园消息，我国科研人员在大别山区开展植物多样性科学考察时，发现了天门冬科天门冬属新物种，并将其命名为大别山天门冬。相关研究成果日前发表在国际知名植物分类学期刊《植物 南方财经全媒体记者马嘉璐 研究员仇雯 广州报道凭借一纸证书，就能获批100万、500万、甚至千万元贷款……数据要素链接金融市场开辟的新财路，正吸引着越来越多的入局者。南方财经全媒 2024年2月，OpenAI公司推出了文生视频人工智能（AI）模型Sora。OpenAI展示了Sora利用少量简短文字提示即可创建逼真视频的能力，并提供了包括一位女士在闪烁着霓虹灯的东京街道漫步，以及一只狗在两个 据英国《每日电讯报》网站3月18日报道，根据英国政府的新航空计划，首批电动飞行出租车将于2026年试飞。周一发布的《“飞行未来”行动计划》为飞行出租车在2030年广泛使用铺平道路。尽管在最初 联合国政府间气候变化专门委员会（IPCC）最新发布的评估报告显示，全球温升预计在2021年至2040年内达到1.5℃。报告指出，自IPCC第五次评估报告发布以来，全球减缓气候变化的政策和法律不断增多，但实施 。本文链接：京东全栈开源JoyAI-VL-Interaction，让大模型从“一问一答”走向“边看边说”http://www.sushuapos.com/show-2-16675-0.html
声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。
上一篇： 我国成功发射通信技术试验卫星二十六号A星