快讯科技财经汽车社会旅游娱乐时尚健康生活科学教育

热搜： “玩心很重会聊天懂印尼1月外全国人大代柳江代表：科政府工作报经典IP焕新

首页 > 科技

OpenAI创始大神手搓千行C代码训练GPT，附PyTorch迁移教程

发布时间: 来源：量子位

观看：285

复工4天就整了大活

明敏发自凹非寺
量子位 | 公众号 QbitiAI

大神卡帕西（Andrej Karpathy）刚“复工”，立马带来神作：

纯C语言训练GPT，1000行代码搞定！，不用现成的深度学习框架，纯手搓。

发布仅几个小时，已经揽星2.3k。

它可以立即编译和运行，和PyTorch完全兼容。

卡帕西使用的示例是GPT-2，但Llama 2和Gemma等也适用。

项目发布后，他还给出了从PyTorch迁移到C的教程。

网友们直呼：他甚至都不用C++……

而且就连怎么让大模型如法炮制的提示词，他也放了出来。现在已经有人在用Devin尝试ing。

手动实现每个层前向/反向传播

选择用GPT-2的原因很简单，有模型权重，采用了堆栈式的Transformer模型结构。

项目核心的重点包括：

直接在C/CUDA上训练LLM，速度接近PyTorch
通过在CPU版本中使用SIMD指令（如AVX2和NEON）聊加速CPU版本
支持更先进的架构，比如Llama2和Gemma

卡帕西解释，他在开始时分配了所有所需内存，训练期间内存占用保持不变，只是数据在不同批次之间动态流动。

关键在于手动实现每个单独层的前向传播和反向传播，并将它们串联起来。例如，下面是层归一化（layernorm）的前向传播和反向传播。

一旦有了所有的层，把它们全部串联在一起。

卡帕西表示这写起来非常乏味且痛苦，因为过程中必须保证所有pointer和张量都正确排列。

下图中左边是分配一个单一的一维内存数组，然后将所有模型权重和激活函数都指向它。

右图为非常小心地进行pointer计算。

一旦建立好了正向/反向传播，其他的都好说了。

但是到这部分，卡帕西觉得到了最有趣的部分。

我正在将其逐层移植到CUDA，使其更加高效，甚至可能和PyTorch效率差不多，但不会有过多依赖。

从这里开始还有一些扩展，比如精度从fp32下降到fp16或更低，以及一些更多的层（比如RoFE）来支持更先进的架构。

卡帕西表示，后面还将出一个视频进行更加详细的讲解。

更多的代码在GitHub项目页中有更具体展示。

后面他还加了一个如何从PyTorch迁移到C的教程。

网友：这和LLM OS有关吗？

前几天，“消失”了一段时间的卡帕西突然发推特，表示自己前段时间戒网去了，总体来说感觉害行。

和互联网世界通上信号第4天，他就发布了这一新项目。给网友们来了点小震撼。

在一系列常规的amazing、great之外，大家对新项目主要关心三个方面。

第一，为啥不用Rust？

卡帕西表示他也在学习Rust，但是仍旧认为C语言已经很好了。

它简单、干净、轻便、美观，是最好的语言。

第二，AI程序员能写出同样的项目吗？

值得一提的是卡帕西还给出了一段提示词，表示大家可以用LLM Agent试试看。

目前的模型生成结果没那么好，但也许1、2年之后可以再看看。如果成功了……

“可能就是AGI到来了？”

现在已经有网友开始用Devin尝试了。

他担心Devin搜到了卡帕西的项目，然后直接抄下来。目前为止Devin还没有这么做。

不过卡帕西表示相比于这个，他更担心LLM Agent在1-2年后确实可以解决这个问题了，但是那时各种代码和讨论会以一种别样的方式渗透到训练数据里，导致结果不够令人满意。

有人补充说，要加强数据管理了。

第三个讨论比较多的话题则是，这个项目和LLM OS有关吗？

前段时间卡帕西从OpenAI离职，计划要开始推进个人项目。

当时大家都猜测，他要做LLM OS。

3月底在访谈中，他也再次聊了这个话题。

他表示，现在AGI的路线已经相对清晰了，大家都在如火如荼推进工作，大致来说，每个人都在努力构建“大模型操作系统（LLM OS）”.

我喜欢把它比作一个操作系统。你要准备好各种外围设备，然后把他们连接在一个新的CPU上。这些外围设备包括文本、图像、音频等各种模态。CPU就是语言模型本身。它还要与我们已经构建的所有Software 1.0基础设施相连。
我认为大家都在努力构建这样一个东西，然后把它定制成适用于各个经济领域的产品。

现在随着新项目推出，卡帕西的个人项目大概是已经提上日程了。

后续关于LLM.C的项目还会推出更详细的视频讲解版本，大家可以期待一波了~

GitHub地址：
https://github.com/karpathy/llm.c

参考链接：
[1]https://twitter.com/karpathy/status/1777427944971083809
[2]https://twitter.com/karpathy/status/1777493157485437009
[3]https://twitter.com/karpathy/status/1777481372636246491?s=46&t=iTysI4vQLQqCNJjSmBODPw

据英国《自然》杂志网站19日报道，美国华盛顿大学科学家首次使用生成式人工智能（AI）工具，帮助他们制造全新抗体。研究团队表示，AI设计抗体或能更好靶向一些很难被攻击的药物标靶，但这些抗体距离临床肺癌是全球死亡率最高的恶性肿瘤。其中非小细胞肺癌（NSCLC）占比达到85%。表皮生长因子受体（EGFR）是NSCLC最常见的驱动突变基因。现在，一个国际科学家团队首次证明，EGFR的一个关键界面可能会成为更 3月20日8时31分，探月工程四期鹊桥二号中继星由长征八号遥三运载火箭在中国文昌航天发射场成功发射升空。火箭飞行24分钟后，星箭分离，将鹊桥二号中继星直接送入近地点高度200公里、远地点高度42 　　“AI钢铁侠”黄仁勋，又进化了英伟达　　作者丨倪雨晴　　2024年，英伟达一年一度的GTC大会已然成为AI界春晚，现场座无虚席，全球AI爱好者翘首以待黄仁勋的独家SOLO。　　北京时间3月19日凌晨，GTC终于拉开大幕。英伟达创 3月22日消息，中国互联网络信息中心（CNNIC）今天发布了《中国互联网络变化状况计算报告》。《报告》显示，截至2023年12月，我国网民规模达10.92亿人，较2022年12月新增网民2480万人，互联网普及率达77.5%。截 xiaomi在3月21日正式发布了首款“潮流旗舰”定位的产品——xiaomiCivi 4 Pro。该机定位相较以前大幅升级，尤其是性能、影像、AI方面明显提高，这背后的大功臣之一就是第三代骁龙8s。xiaom 。

本文链接：OpenAI创始大神手搓千行C代码训练GPT，附PyTorch迁移教程http://www.sushuapos.com/show-2-4678-0.html

声明：本网站为非营利性网站，本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。

上一篇：北大开源最强aiXcoder-7B代码大模型！聚焦真实开发场景，专为企业私有部署设计

下一篇：培育新质生产力在行动丨培育千亿级人工智能产业创新集群陕西发布行动计划推进五大工程

OpenAI创始大神手搓千行C代码训练GPT，附PyTorch迁移教程

手动实现每个层前向/反向传播

网友：这和LLM OS有关吗？

热门资讯

推荐资讯

科技最热文章