雷锋网 AI 科技评论按：本文作者是张俊林老师，他是中国中文信息学会理事，中科院软件所博士，目前在新浪微博 AI Lab 担任资深算法专家。在此之前，张俊林老师曾在阿里巴巴任资深技术专家并负责新技术团队，也曾在百度和用友担任技术经理及技术总监等 ...

Transformer 模型在几乎所有自然语言处理（NLP）任务中都带来了革命，但其在序列长度上的内存和计算复杂性呈二次方增长。相比之下，循环神经网络（RNNs）在内存和计算需求上呈线性增长，但由于并行化和可扩展性的限制，很难达到与 Transformer 相同的性能水平。

既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？ 序列建模的进展具有极大的影响力，因为它们在广泛的应用中发挥着重要作用，包括强化学习（例如，机器人和自动驾驶）、时间序列分类（例如，金融欺诈检测 ...

当年Jürgen Schmidhuber那句“循环神经网络（RNN）是我们所需要的一切”，如今似乎又有了新的佐证。尽管Transformer模型已在自然语言处理领域占据主导地位，尤其在大语言模型领域表现亮眼，但它们仍然在处理长序列时面临挑战。 为了弥补这个短板，研究人员尝试 ...

Transformer体系结构已经成为大型语言模型(llm)成功的主要组成部分。为了进一步改进llm，人们正在研发可能优于Transformer体系结构的新体系结构。其中一种方法是Mamba（一种状态空间模型）。 Mamba: Linear-Time Sequence Modeling with Selective State Spaces一文中提出了Mamba，我们 ...

通过探索看似不相关的大语言模型(LLM)架构之间的潜在联系，我们可能为促进不同模型间的思想交流和提高整体效率开辟新的途径。 本文引用地址： 尽管Mamba等线性循环神经网络和状态空间模型近来备受关注，Transformer架构仍然是LLM的主要支柱。这种格局可能 ...

Transformer之父「叛逃」？8年前掀起AI革命的男人，如今嫌「自己孩子」太吵太卷！当资本狂飙、论文堆积如山，他却高喊：是时候放弃Transformer，重新找回好奇心了。 共同作者Llion Jones最近在旧金山的TEDAI大会上当众「叛逃」： ...

新架构，再次向Transformer发起挑战！ 核心思想：将RNN中的隐藏状态换成可学习的模型。 甚至在测试时都可以学习，所以该方法称为TTT（Test-Time Training）。 共同一作UC伯克利的Karen Dalal表示：我相信这将从根本上改变语言模型。 一个TTT层拥有比RNN表达能力更强的 ...

【导读】近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。 在Transformer统治的AI时代之下， 散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那天： 毕竟，凭借强大的顺序和上下文感知 ...

为啥？因为它的思考深度是固定的，信息只能单向传，没法回头琢磨。就像给它一本百科全书，它不会越读越通透，反而会随着内容变长，反应变慢、判断出错，智商直线下降。

元始智能罗璇：全球首个非Transformer架构RWKV，正在突破AI算力瓶颈,罗璇,人工智能,智能体,transformer,rwkv,rnn ...