可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？ Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？ 由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也 ...

Transformer 的高性能依赖于极高的算力，这让移动端 NLP 严重受限。在不久之前的 ICLR 2020 论文中，MIT 与上海交大的研究人员提出了一种高效的移动端 NLP 架构 Lite Transformer，向在边缘设备上部署移动级 NLP 应用迈进了一大步。 虽然推出还不到 3 年，Transformer 已成为 ...

雷锋网AI科技评论：继昨天的「知识图谱@ICLR2020」之后，我们今天关注ICLR 2020 上 Transformer的研究动态。 Transformers，作为一种基于注意力的神经架构，在自然语言处理中已经无处不在，在过去一年多的时间里也将自然语言处理推向了新的高度。那么，在ICLR 2020 上 ...

2020年并不缺重磅新闻，但人工智能依然够杀出重围，走进主流视野。 尤其是GPT-3，它展示了人工智能即将以全新的方式深入我们的日常生活。 这些进步赋予了未来很多可能，预测未来变得并不容易，但伴随着技术应用的成熟，另一些领域的突破也是可预见的。