Transformer开山论文惊天「翻车」,图与代码不一致,神秘Bug看
图与代码不一致的论文,很「常见」,不过提出了 Transformer 的开山鼻祖论文,竟然也出现了同样的错误?
今天,AI 圈被一个惊天「翻车」刷屏了。
谷歌大脑的 NLP 奠基之作、提出 Transformer 架构的开山鼻祖级论文 《Attention Is All Your Need》 中的图,被网友扒出与代码并不一致。
自 2017 年问世以来,Transformer 已经成为 AI 领域的基石王者。就连大红大紫的 ChatGPT 真正的幕后大佬也是它。
2019 年,谷歌还专门为它申请了专利。
归宗溯源,现在各类层出不穷的 GPT,都起源于这篇 17 年的论文。
据 Google Scholar,截止目前,这篇奠基之作已有 7 万多次的引用。
所以,ChatGPT 的奠基石都不稳了?
作为「开山鼻祖」的论文,结构图竟是错的?
Lightning AI 创始人、机器学习研究者 Sebastian Raschka 发现,这篇论文中 Transformer 的图是错误的。
图中被圈出的地方,LayerNorms 是在注意力和全连接层之后。在残差块之间放置层归一化,会导致输出层附近参数的预期梯度很大。
而且,这也与代码不一致。
不过有网友指出,Noam shazeer 在几周后对代码进行了纠正。
随后,Sebastian 称,在论文 Layer Normalization in the Transformer Architecture 中,Pre-LN 表现得更好,可以解决梯度问题。
这是很多或者大多数架构在实践中所采用的,但它可能导致表征崩溃。
如果层归一化在注意力和全连接层之前被放置在残差连接之中,就会实现更好的梯度。
Sebastian 提出,虽然关于使用 Post-LN 或 Pre-LN 的讨论仍在进行中,但也有一篇新论文提议把二者结合起来。
在这种双残差 Tranformer 中,表征崩溃和梯度消失的问题都得到了解决。
网友热议
针对论文中的疑点,有网友指出:中间不是已经有了 PreLN 和 PostLN 了吗?
Sebastian 回答说,自己也觉得有点奇怪。或许 2nd LN 指的是最后一个输出层,而不是每个 transformer 块,但他对此也不确定。
有网友表示:「我们经常遇到与代码或结果不匹配的论文。大多数就是出于错误,但有时也会让人很奇怪。而这篇论文已经流传甚久了,为什么这种问题此前从没被人提出过,这真的很奇怪。」
有网友表示,已经有论文在 NormFormer 中展示了一个不太复杂的架构,而他的团队最近也证实了他们的结果。而 ResiDual 论文没有在任何地方提到 NormFormer,这让人很惊讶。
同时,评论区不断出现网友证实:Transformers 中使用的 LN,与 CNN 中使用的方式并不同。
所以,论文真的存在漏洞,还是乌龙事件?
让我们静观后续。
参考资料:
声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。
推荐阅读
-
WindowsLAPS本地管理员密码方案预览版已支持微软Intu...
,微软此前通过“星期二补丁”宣布了WindowsLAPS功能的可用性,该功能... -
把红海做蓝,把蓝海做大,九号公司重磅新品持续引领行业发展...
5月10日,“2023九号公司新品发布会”在北京五棵松M空间举办。本场发布会... -
美国4月食品通胀仍处高位哪些美股有望受益?...
智通财经APP获悉,根据美国劳工统计局周三公布的最新数据显示,美国4月份整体... -
消息称传音InfinixNote30系列手机5月底发布:支持26...
,据GSMArena报道,传音Infinix将在5月晚些时候发布新的Note... -
北向资金连续4个交易日实现净买入大金融品种成为布局重点...
进入5月份,A股市场呈现震荡整理走势,上证指数创年内新高,盘中最高达3418... -
电光锂“新三样”走红背后...
随着我国新能源产业迅速成长,成本下降和产品更新换代速度不断加快。不断降本的背... -
保险资管市场化提速第三方业务持续壮大...
截至5月10日,31家保险资管公司发布2022年年度信息披露报告。31家保险... -
一季度水泥行业需求弱势复苏错峰生产缓解水泥市场供需矛盾...
随着近期雨水天气增加,水泥市场需求有所下降,全国近20个省份为缓解库存压力、... -
CDPR官方晒《赛博朋克2077》“Steam爱的付出奖”奖杯...
这一奖项来自2022年Steam年度大奖,于1月4日公布,《赛博朋克2077... -
快递出海丨最快4天送达澳洲圆通是怎样做到的?...
随着全球化浪潮,华人已经在世界各处落地生根。 根据国际华人研究所统计,全球... -
天猫精灵IN糖3Pro今日发售:可支持AIGC对话功能,到手价1...
,天猫精灵计划接入通义千问后发布的首款智能音箱新品-IN糖Pro今日宣布发售... -
超高清视频产业发展白皮书:广东超高清视频产业规模占全国约五分之一...
“超高清视频产业正引发新一轮集群式创新,成为深化供给侧结构性改革、扩大内需、...