关于大模型的五方面思考
·从宇宙到量子,物理学有一套大一统的理论统一起来,叫作Theory of Everything。今天深度学习没有这样的理论,所以叫作Theory of Anything。
·算力是门槛。“千卡万卡是钱堆出来的。以前有一句话叫贫穷限制想象力,现在贫穷可能扭曲想象力,因为如果没有卡,能想象要做的项目可能就不太一样了。”

沈向洋
“大模型大到一定地步以后就涌现出来。多大才涌现出来?没人讲得清楚。”3月23日,2024全球开发者先锋大会在上海开幕,美国国家工程院外籍院士沈向洋在《大模型时代的机遇和挑战》的演讲中分享了对大模型的思考。他表示,人工智能蓬勃发展,但人们对智能的本质并没有清晰认知。物理学是Theory of Everything,而深度学习就是Theory of Anything。
过去这几年,大模型的发展风起云涌,开源社区的活力和生命力非常强大。沈向洋说,文生图使得一言胜千图,一个简单的提示就可以做出了不起的图片。ChatGPT使得一句顶一万句,提出一个问题可以得到很多答案。Sora的出现使得输入几句提示就能产生大片效果。
这三件事让人们产生一个个焦虑,未来开发者的机会在哪里?沈向洋认为是多模态,多模态是通用人工智能的必经之路。以OpenAI代表的技术实际上是对不同模态的理解,“OpenAI的内部有两套体系,一是从文生图延展到文生视频,走的是Stable Diffusion路线,二是文生文,走的是Transformer路线。到现在为止,这两条线路还没完全统一起来,相信接下来中国的开发者、世界的开发者,很快会有这方面的突破。”
沈向洋分享了关于大模型的五方面思考。
第一,大模型的到来,强迫人类重新思考人机关系。“我们受到的冲击,到底有多少是机器智能的发展,有多少是人机交互的震撼。”他认为,不管是什么技术,最终目的是帮助人更好运用机器,不忘初心。
第二,大模型将横扫所有垂直行业。大模型可分为通用大模型、行业大模型、企业大模型和个人大模型。“一个通用大模型如果没有万卡、不上1万亿参数,基本上以后就不太好意思说这是一个通用模型了。行业大模型大致上是千亿参数、千卡的训练规模。企业大模型可能只需要100张卡、百亿参数。最有意思的是个人大模型,利用个性化参数,结合云和端,这是非常有意义的。”
第三,算力是门槛。影响算力的两大因素是模型大小和数据规模,随着参数增加,对算力的需求几乎是几何级的。“千卡万卡是钱堆出来的。以前有一句话叫贫穷限制想象力,现在贫穷可能扭曲想象力,因为如果没有卡,能想象要做的项目可能就不太一样了。”
第四,AI带来社会冲击。这些冲击包括对民众的冲击、企业的冲击、政府监管的冲击、社会发展的冲击,带来一本正经胡说八道、深度伪造等伦理问题,很多国家开始立法,这需要共同推动治理、向前发展。
第五,智能的本质。人工智能蓬勃发展,但人们对智能的本质并没有清晰认知。“大模型大到一定地步以后就涌现出来。多大才涌现出来?没人讲得清楚。”沈向洋表示,“很多人相信scaling law(规模法则),但今天的深度学习,理论非常欠缺。从宇宙到量子,物理学有一套大一统的理论统一起来,叫作Theory of Everything。今天深度学习没有这样的理论,所以叫作Theory of Anything。”
来源:澎湃新闻
在今天的故宫,工作人员使用的数字化办公平台名叫“内务辅”,这款应用的开发者,是与故宫博物院合作的钉钉(中国)信息技术有限公司(以下简称“钉钉”)。3月18日,故宫博物院与钉钉战略合作签约仪式在故 3月15日,我国一些地区停止居民集中供热。初春时节,乍暖还寒。停暖初期昼夜温差较大,老人、儿童等身体较弱者,可能需要使用电暖气、电热毯等取暖设备,这导致部分家庭近来用电量增加。最近,一款名为 近日,我国“主要作物丰产增效科技创新工程”重点专项“优质双季超级稻丰产增效技术研发与集成示范”项目,在湖南岳阳宣布启动。据了解,该项目主要聚焦优质双季超级稻丰产增效技术研发,着力探明双 3月21日记者从中国科学技术大学获悉,该校物理学院张斗国教授课题组,提出并实现了一种基于矢量光场调控原理的动量空间偏振滤波器件。科研人员将该滤波器件安装于传统无标记光学显微镜的出射端, 3月22日消息,根据huawei旗舰机型迭代策略,今年上半年将发布影像旗舰huaweiP70系列。然而,这两天一张流出的图片声称huaweiP70将于3月23日开始预售,并附有各个版本的具体售价。但据媒体报道,huawei相关 3月25日消息,去年huawei在Mate 60系列上首发了玄武机身架构,采用一体化金属机身,搭配上超耐用锦纤材质,使整机的抗挤压能力提高10倍,使用更放心。“玄武”是极其坚固的代表,huawei还在问界M9上采用了“ 。本文链接:沈向洋:大模型将横扫所有垂直行业,算力是门槛http://www.sushuapos.com/show-2-4234-0.html
声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。