AG九游会(中国)IOS/安卓通用版/手机APP下载

　　ChatGPT爆火以来，大语言模型和Transformer几乎成了同义词，然而真的如此吗？

　　刚刚，一个由国人主导，总共27所大学、研究机构和公司组成的开源研究团队，联名发表重磅论文《RWKV：在Transformer的时代重新发明RNN》，受到学术界大量关注。

　　RWKV就是论文中提出的新深度学习模型架构，以循环神经网络RNN为基础魔改而来。

　　实际上RWKV模型的开源发布比论文要早不少，并且已经在开源社区和行业内产生不小影响力。

　　在人类玩家打分的大模型匿名竞技场Chatbot Arena最新一期榜单中，RWKV在一众Transformer中排名第6，并且与7-11名相比拉开一个分数段。

　　有意思的是，参与论文的EleutherAI实验室表示AG九游会平台，论文还不是完全版本，由于不便公布的截止日期而被迫提前发布，以后还会继续完善。

　　与GPT系列的时间复杂度O(n^2)相比，RNN的时间复杂度只有O(n),空间复杂度是O(1)。

　　GPT每写一个字就要重新看一遍前面所有文字，效率很低。而RWKV就相当于人类读了一遍资料后，在不再看资料的情况下直接回答。

　　传统RNN由于并行化的方式难以扩大规模，RWKV通过使每个通道的时间衰减与数据无关，AG九游会app下载可以在训练期间像Transformer一样做并行化。

　　训练好的140亿参数RWKV在多个数据集上的表现与开源Transformer大模型相当。

　　另外团队指出RWKV并非没有缺陷，虽然大致与Transformer的性能匹配，但对提示更敏感，并难以整合非常长的信息。

　　RWKV背后是一支不小的论文团队，总共27家大学、研究机构和公司组成，作者达30人。

　　论文一作Peng Bo，毕业于香港大学物理系，编程经验20+年，AG九游会app下载曾在世界最大外汇对冲基金之一Ortus Capital就职，负责高频量化交易。

　　他的主要关注和兴趣方向在软硬件开发方面，在此前的公开访谈中，他曾明确表示AIGC是自己的兴趣所在，尤其是小说生成。

　　目前，Peng Bo在Github有1.3k的followers，知乎粉丝已经超过了11万人，随着RWKV论文的发布，这个数字还在增加。

　　除了关注RWKV模型、论文发布和最新进展新闻信息，吃瓜网友们最讶异的还是Peng Bo的身份之多样：

　　不仅仅是RWKV模型一作、元智能OS创始人，他的最主要公开身份是一家灯具公司禀临科技的联合创始人，主要是做阳光灯、吸顶灯、便携台灯什么的。

　　乍一看这个跨行有点猛，物理出生，搞过量化金融，写了20年程序，然后主业卖灯，根据爱好搞了个大模型，走的还不是主流transformer路线……

　　并且Peng Bo本人应该是一个喵星人资深爱好者，AG九游会app下载Github、知乎、微信头像，以及灯具公司的官网首页、微博上，都有一只黄色橘猫的身影。

　　ps. 如果你也好奇RWKV这个词该怎么读，根据元智能OS团队在播客《三五环》的读法，应该是“Rua库”

　　原标题：《RNN在大模型时代「复活」，27家机构联名重磅论文来了！模型已在GitHub揽星7.2k》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。