对于这一选择,不少人可能会问,为什么要选择这样一家公司?这些大厂研究人员在跳槽时都考虑哪些因素?在前段时间发布的一份博客(All Roads Lead to Rome: The Machine Learning Job Market in 2022)中,Eric Jang 详细介绍了他的决策过程以及他对美国当前机器学习就业市场的了解和对 AGI(通用人工智能)实现路线的看法。
以下是博客原文: 选择下家公司时考虑的因素
就我本人来说,下一份工作的唯一限制因素是我想继续运用自己的机器学习技能。下表列出了我考虑过的各个选项。我和这些公司的董事和创始人都谈过,但大多都没走到接受 HR 正式面试的程度。注意,这些选项的利弊只是我基于 2022 年 4 月的观察所列出的主观观点。在充满炒作的硅谷,一家公司可能在几年内就经历过山车一样的大起大落,所以这张表可能很快就会过时。
注:图中特斯拉一栏中的「No waiting in line for coffee」指的是马斯克曾威胁要解雇所有在 SpaceX 公司排着长队等咖啡的实习生,并安装了摄像头,以确保此类事件不会再次发生。 技术领先时间
对我来说,在选择下一家公司时,最重要的决定因素是该公司是否拥有领先竞争对手数年的技术优势。谷歌日志团队的一位朋友告诉我,他对小公司不感兴趣,因为他们在技术上远远落后于谷歌的行星级基础设施,他们甚至还没有开始理解谷歌现在正在解决的问题,更不用说解决谷歌十年前就已经开始着手解决的问题了。
在上表中,我列出了我认为具有独特技术优势的公司。例如,OpenAI 现在在招聘方面绝对是压倒性的,因为他们在大型语言模型算法方面处于领先地位,能凭借模型 surgery 和超参数调优这类商业机密玩转 scaling law。尽管 FAANG 在算力方面拥有优势,但 OpenAI 显然在创造技术领先时间方面做得很好。
与此同时,如果拿一个 FAANG 的普通机器学习研究者和一个博士生相比,前者在 raw compute 方面要领先 15 年。谷歌和 DeepMind 的语言模型在大多数指标上可能比 GPT-3 更强。但在有些情况下,计算方面的技术领先是不够的。于是,一些研究人员离开了谷歌,因为在对外推出基于大型语言模型的产品时,他们不得不经历很多繁琐的程序,这令他们非常不满。
我认真考虑过将我的职业规划转向生成模型(generative models),因为:1. 机器人学非常难;2. 在 ML 泛化方面,最令人印象深刻的案例似乎总是在生成式建模中。然而,纯生成的建模空间感觉竞争有点激烈,每个人都在为拥有同样的产品和研究想法而奋斗。不管有没有我,这个领域都可能以同样的方式发展。
拥有未来技术对于招聘工程师来说非常重要,因为他们中的许多人并不想浪费自己的生命去建立别人已经拥有的能力。举个例子,这就像一个神经科学实验室试图招募博士生用膜片钳实验研究猴子的大脑,而隔壁的实验室正在使用光遗传技术和 Neurallink 机器人。如果你有天赋,你可以自己重新发明这些,但这真值得你花费宝贵的时间吗?
当然,公司和研究实验室不是一回事。从长远来看,产品与市场的契合度,以及团队构建未来技术优势的能力将更加重要。现有公司可能会变得臃肿、偏离轨道,而新贵公司可能会利用不同的优势,或将设计引向独特的方向。很多独角兽公司都不是先行者。 为什么不选择自己开公司呢?
作为一个湾区人,我原本打算围绕 MLOps 开办自己的公司。我想建立一个领先的数据管理和标注系统,用于 AGI + 主动学习。但有三件事改变了我的想法:
首先,我和一些客户谈了谈,以了解他们的 ML 和数据管理需求,看看有没有哪个产品市场比较适合我。他们的很多问题并不需要前沿技术来解决,但我对前沿技术之外的很多问题又不感兴趣,比如为营销活动构建模拟器、为工厂中的机械臂拾放做出更好的姿势评估器或对用户提要内容进行排名等。绝大多数企业都在解决无聊但重要的问题。但我希望我一生的工作是为人类实现更大的技术飞跃。
其次,我认为,在公司估值突破 1 亿美元后,CEO 们很少能做出任何令人印象深刻的技术贡献。要想把工作做得很好,他们就要花大部分时间去处理协调、产品和公司层面的问题。他们积累了令人难以置信的社交渠道和影响力,甚至可能不时提交一些代码,但他们每天的日程安排充满了 bullshit,他们再也不会卓有成效地修补这些代码了。类似情况也发生在高级研究人员身上。这让我非常害怕。
著名计算机科学家、图灵奖得主理查德 · 汉明在他的演讲《You and Your Research》中说道,「如果你有了一些出色的成果,你就会被拉进各种委员会,然后没办法再出新的成果。」
有传闻说,Ken Thompson 在妻子出去度假一个月的时间里写出了 UNIX 操作系统,因为这个月他有时间专注于更深层次的工作。《The Murder of Wilbur Wright》中写道,如果这是真的,那该有多可怕?有没有可能 Thompson 一生都背负着沉重的责任,然后在一个短暂的自由时刻做了一些任何人都没有做过的最重要的工作?
最后,我选择的 Halodi 已经建立了非常棒的技术,他们给了我一个难得的机会去体验未来生活,这些都建立在领先时代 5 + 年的东西之上。我对 Bernt(公司 CEO)对人体解剖学的尊重印象深刻:从使我们即使没有精确规划依然可以抓握的过阻尼系统的内在被动智能,到让我们在几乎不消耗能量的情况下穿过可变地形的足部弹簧系统。我们都相信,当你想围绕人类而不是机器来设计世界时,类人机器人在完成大多数任务时并非「矫枉过正」,而是唯一可行的形式。 条条道路通罗马
几个月前,我问 Ilya Sutskever(OpenAI 首席科学家),到底是创办一个纯粹的 AGI 研究实验室(如 OpenAI、DeepMind),还是一个可以盈利的技术公司更有意义,后者可以产生构建 AGI 所需的数据护城河。
Ilya 说:「条条大路通罗马,每一家成功的科技公司都将会成为 AGI 公司。」
这听起来有点令人诧异,但你应该记得,重复改进一个产品涉及到指数级难度增长的更深度的技术。