Transformer七子重聚GTC,老黄亲自赠送签名版DGX-1!7年奠基之作背后佚事揭秘

AIGC动态3个月前发布 AIera
276 0 0
Transformer七子重聚GTC,老黄亲自赠送签名版DGX-1!7年奠基之作背后佚事揭秘

 

文章摘要


【关 键 词】 Transformer人工智能深度访谈GTC大会科技创新

GTC大会上,老黄Transformer的七位作者进行了一场深度访谈。他们认为现在急需一个能够替代Transformer的架构出现。Transformer的八位作者中,只有Niki Parmar(Essential AI的联合创始人)没有亲临现场。他们的身份分别是:Noam Shazeer(Character AI联合创始人兼首席执行官)、Aidan Gomez(Cohery联合创始人兼首席执行官)、Ashish Vaswani(Essential AI联合创始人兼首席执行官)、Llion Jones(Sakana AI联合创始人兼首席技术官)、Illia Polosukhin(Near Protocol联合创始人)、Jakob Uskhoreit(Inceptive联合创始人兼首席执行官)和Lukasz Kaiser(OpenAI技术员)。

Transformer的起源可以追溯到Jakob Uszkoreit,他的父亲是计算语言学领域的知名学者Hans Uszkoreit。Jakob在谷歌的Mountain View办公室实习时,偶然加入了公司的翻译团队。他开始探索一种名为自注意力(self-attention)的全新方法,这种方法使得网络能够通过参考文段中的其他部分,来翻译某个词,这些参考部分可以帮助阐明词语的意图,从而帮助系统生成准确的翻译。

Transformer的发展过程中,Noam Shazeer的加入起到了关键作用。他是谷歌的资深员工,自2000年加入以来,因其在公司早期广告系统上的工作而成为传奇人物。他已经在深度学习领域工作了五年,最近对大语言模型产生了兴趣。他决定重写Transformer团队的代码,最终他回来说:「看,它真的有效了。」

Transformer团队着手构建一个自注意力模型,用于文本翻译。他们采用一个名为BLEU的标准来评估模型性能,该标准将机器翻译的结果与人类翻译者的工作进行对比。他们的新模型从一开始就表现出色,最终在截止时间前不到两分钟,他们提交了论文。

然而,Transformer并没有一夜之间改变世界,甚至引起谷歌立即的重视。从2018年开始,谷歌确实将Transformer技术融入到了其产品中,首先是翻译工具。同年,谷歌还推出了一款基于Transformer的新语言模型BERT,并在隔年开始用于搜索功能。然而,与OpenAI的突破性进展和微软将基于Transformer的系统大胆整合进产品线的举措相比,谷歌的这些内部改进显得较为保守。

这八位作者之后都已离开谷歌。像成千上万的其他人一样,他们现在正以某种方式与他们在2017年创造的、由系统驱动的系统共事。这是一次人类智慧的集结,创造了一台可能最终会自行发声的机器。

原文和模型


【原文链接】 阅读原文 [ 5529字 | 23分钟 ]
【原文作者】 新智元
【摘要模型】 gpt-4-32k
【摘要评分】 ★★★★★

© 版权声明
讯飞星火大模型

相关文章

星火内容运营大师

暂无评论

暂无评论...