Transformer 五年六位作者创立五家公司仅一位作者还留在谷歌

  经曾,es Harik 花了数年时间分析网页上的数据Noam Shazeer 和同事 Georg,协同工作原理理解词组及其。于其 AdSense 产品他们收集的数据最终被谷歌用,字内容并在上面贴广告该产品会分析网页的文。

  力、多头注意力和无参数位置表示Noam 提出了缩放点积注意,个细节的参与者并成为几乎每一;

  omez 曾表示Aidan G,这一使命为了达成,可能数千亿)参数的语言模型他们训练了一个数十亿(未来。的 API利用该模型,义意义的向量、测量段落语义相似性等任务我们可以完成文本补全、从文本中提取有语。三行代码就可以调用该模型的能力用户只需要在自己的系统中载入。是后端的开发人员「无论你是前端还,eb 还是移动无论你是做 w,P 构建到应用程序中任何人都可以将 NL。mez 在采访中说到」Aidan Go。

  一份行业里程碑式的研究如果你在一家大厂做出了,换一家待遇更好的大厂?还是创业或加入有前景的创业公司那么接下来的职场生涯你会怎么走?继续留在这家大厂??

  试了新的模型变体Llion 还尝,高效的推理和可视化负责初始代码库以及;

  究领域包括深度学习和自然语言处理Lukasz Kaiser 的研,究科学家期间在谷歌担任研,生成任务的 SOTA 神经模型设计他参与了机器翻译、解析及其他算法和,nsor2Tensor 库的共同作者是 TensorFlow 系统、Te。

  序合成方面所做的工作1、考虑到我们在程,改成为以太坊生成智能合约顾问建议我们把研究方向。前目,编制可证明的合同普通工程师很难,效解决这个问题程序合成可以有;

  过程的深入但随着创业,意识到他们,简单的问题即使专注于,也很复杂任务描述。念和语言种类繁多描述中使用的概,法捕捉模型无,理步骤和外部数学知识一些问题也需要逻辑推。发现他们,(最佳模型的准确率约为 12%)之前的研究结果在实践中尚不可用,然语言理解的转折点机器学习特别是自,没有出现似乎还。

  Need》)几位作者的选择或许有一定的代表性:其中六人选择创业或加入创业公司Transformer(出自论文《Attention Is All You ,继续留在谷歌只有一人选择, OpenAI还有一位去了。

  是谷歌最重要的早期员工之一Noam Shazeer 。 年底加入谷歌他在 2000,1 年最终离职直到 202。

  于 2017 年这篇重要论文发表,突破 41000如今引用量已经。释中写道论文注,但同等重要的贡献(排名随机)几位作者对这份研究做出了不同。来说具体,可以概括为他们的分工:

  来后,家公司开始转向区块链NEAR。ai 这。关公司转型的博客中写道Illia 在一篇有:

  i 在南加州大学拿到博士学位Ashish Vaswan,ng)和黄亮(Liang Huang)师从华人学者蒋伟(David Chia,在语言建模中的早期应用主要研究现代深度学习。6 年201,ransformer 的研究他加入了谷歌大脑并领导了 T。

   硕士毕业于南加州大学Niki Parmar,年加入谷歌2016 。期间工作,些成功的问答和文本相似度模型她为谷歌搜索和广告研发了一。ormer 模型的早期工作她领导了扩展 Transf,成、计算机视觉等领域将其扩展到了图像生。

  bergynolwyn 长大他在英国圭内斯郡南部的 A,景城园区之后来到谷歌山,我工作地方的人数他曾感慨:「现在,庄里的 100 倍几乎是我长大的村。」

  年后三,们坚信『程序合成』这一从人类规范出发研究自动化编程的领域将改变软件开发和整个世界他决定和 Alexander Skidanov 共同创办 NEAR。AI:「我。」

  Adept 是一家致力于用 AI 来增强人类能力并最终实现通用智能的公司Ashish Vaswani、Niki Parmar 等人共同创立的 。创立初衷时在阐述公司,人写道创始,谷歌「在, Transformer我们训练出了越来越大的,模型来支持所有 ML 用例梦想着有朝一日构建一个通用。是但,训练出的模型可以写出很棒的文章这其中有一个明显的局限:用文本,字世界中采取行动但它们无法在数。T-3 给你订机票你不能要求 GP,商开支票给供应,科学实验或者进行。」

  前目,经成为一家区块链分布式协议提供商NEAR Protocol 已,ade 的分片方法和共识机制基于一种名为 Nightsh,构与 DApp 开发平台致力于开发区块链底层架,和 gas 费用回扣等协议级别工具并为开发人员提供事务、智能合约帐户。时间前段, 亿美元的最新一轮融资该公司宣布完成 3。5。

  此因,一个通用系统他们打算创建,脑前完成工作帮助人们在电,里的一个 overlay「你可以把它想象成你电脑,一起工作它和你,一样的工具使用和你。dept使用 A,真正喜欢的工作你能专注于你,承担其他任务并要求模型。如例,生成月度合规报告你可以要求模型,用现有的软件所有这些都使,p、ATS、Tableau、Twilio如 Airtable、Photosho。」

  以说可,自己擅长的工作每位作者都有,有自己的预判对于行业也都。五年之后论文发表,下是我们能够查到的信息他们都在做什么呢?以。

  实现了第一批 Transformer 模型Ashish 和 Illia 一起设计并,ormer 架构的各方面工作并重度参与了 Transf;

  年加入谷歌之前在 2013 ,是巴黎狄德罗大学的终身研究员Lukasz Kaiser ,动机理论研究从事逻辑和自。琛工业大学获得博士学位他于 2008 年在亚,大学获得硕士学位在波兰弗罗茨瓦夫。

  他符号方法来构建游戏系统和解决程序合成问题他的研究工作还包括使用可满足性求解器和其,决长期未解决问题的自动机的定理证明关于描述复杂性、博弈论和解。

  的一段时间内但在毕业后,s 没找到合适的工作Llion Jone。谷歌在伦敦的办公室他曾经将简历投递给,轮电话面试且经过了两。期问题由于档,到谷歌的最终 offer 之前Llion Jones 在收,另外一家公司已经入职了。

  设计和实现 tensor2tensor 的各个部分Lukasz 和 Aidan 花了无数天的时间来,期的代码库替换了早,、加速了研究进度极大地改善了结果。

  用程序的人谈过之后2、在与想要开发应,渐了解到我们逐,块链构建应用程序他们对于「使用区,的隐私和安全」非常关注以提供金钱激励和更好。

  sor 中设计、实现、调优和评估了无数的模型变量Niki 在原始代码库和 tensor2ten;

  看到了大规模预训练语言模型的潜力GPT-3 等模型的问世让人们,了一场创业热潮也在国内外掀起。都是预训练模型领域的资深研究者Cohere 团队的创始成员也。注意到但他们,门槛过高由于技术,员)根本无法使用这项技术大多数人(包括普通开发人,于改变这一现状因此他们致力。

  过不,个月之后18 ,聘人员联系了他另一位谷歌招,s 成为了一名谷歌人Llion Jone。2 年开始从 201,es 一直在谷歌工作Llion Jon。超过了谷歌九成员工这一任职时长差不多。

  ukhin 来自乌克兰Illia Polos,应用数学和计算机科学硕士学位在哈尔科夫国立技术大学获得了。福尼亚之后移居加利,机器学习项目他参与了各种,谷歌研究院并加入了,为了工程主管仅用一年就成。

  此自,AR Protocol公司正式改名为 NE。优秀的人才队伍他们组建了一支, MemSQL 工程师、4 名前谷歌员工包括 3 名 ICPC 金牌得主、3 名, 领域的专家加入公司并正在邀请 Web3。

  工作期间在谷歌,参与了组建谷歌助理的语言理解团队Jakob Uszkoreit ,谷歌翻译的工作早期还曾从事过。

  1 年202,为了一家隐形初创企业的 CEONoam Shazeer 成,racterAI」名字叫做「Cha,织架构和业务模式关于这家公司的组,甚了解外界不。

分享: