量子位整理了这次访谈的实录，下面就一起来看~
o1是什么？推理又是啥？ Bob McGrew：我是OpenAI研究团队的负责人，我们刚刚发布了o1和o1-mini模型。
对此我们感到非常激动，今天我们的整个团队聚集在此，来介绍这两个模型。 ★什么是o1？ Bob McGrew：所以，（第一个问题），到底什么是o1？ Hyung Won Chung：我们开启了新的模型系列，并且起了一个新的名字叫o1。
这是为了强调，与GPT-4o等之前的模型相比，o1有很大的不同，稍后会有人详细解释。
o1是一个推理模式，所以它在回答问题之前思考的会更多。
我们发布了两个模型——（满血）o1的o1-preview，以及更小、更快的o1-mini，它和（满血）o1采用的是相同的训练框架。
我们希望大家喜欢我们的新命名方式。
★推理又是什么？ Bob McGrew：那么推理又是什么意思？ Giambattista Parascandolo：对于简单问题来说，我们希望提问之后立刻就能得到答案。
比如你问意大利的首都在哪，你不用思考很多也知道答案是罗马。
但如果你想知道一个复杂问题的答案，或者写出一份好的商业计划，或者写一部小说，你可能就要思考一段时间了，并且你思考的越多，最后得到结果也就越好。
而推理就是把思考时间化为更好的成果的能力。
研发过程的那些事 ★你们在o1上工作多长时间了？ Bob McGrew：你们在o1上工作多长时间了？ Jakub Pachocki：在OpenAI早期，我们深受AlphaGo的成绩的启发，看到了深度强化学习的潜力，因此我们对其进行了深入研究，并看到了数据和机器人技术的大规模扩展。
我们也开始思考如何才能在通用领域进行强化学习，从而实现非常强大的人工智能。
然后我们看到了GPT范式中扩展和监督学习带来的惊人成果，从那时起，我们就一直在思考如何将这两种不同的范式合二为一。
Mark Chen：项目开始的确切时间很难确定，但已经与Yaku和Shimon进行了早期探索，与Lukash、Ilya进行了早期探索。
一个重要的时刻是Jerry的加入，他推动了这个大型项目的进展。
★研究过程中的“Aha moment” Bob McGrew：我认为在研究过程中最精彩的就是哪些“Aha moment”，你们的工作当中有哪些高光时刻呢？ Jerry Tworek：我们训练了 GPT-2、GPT-3 和 GPT-4，每一次都成为了媒体上的热点。
但第一次有这种感觉是当模型出来的时刻，所有人都称赞很棒。
对于我而言，这样的时刻是当我们投入了更多计算资源，并第一次生成了连贯的思维链时。
当时我们心想，这和以前的模型看起来真的很不一样。
★感觉模型像人还是像机器？ Bob McGrew：你们在看模型的思考过程时，觉得他们是更像真人还是更像机器人？ Liam Fedus：这更像是一种“精神体验”。
你可以看到模型也会犯很多人类经常犯的错误，又能看到它对一些常识提出质疑。
很奇怪，模型会带有人类的行为。 Wojciech Zaremba：在模型被设定了ddl的情况下，往往会在快due的时候迅速得出结论。
好像大模型也知道自己必须立刻给出答案。 Karl Cobbe：我年轻的时候花了很多时间参加数学竞赛，而我进入人工智能领域的原因，就是试图实现这个过程的自动化。
所以对我来说，这是一个非常重要的转折点，因为我看到这个模型实际上能够遵循我解决这些问题时使用的步骤
虽然这不是完全相同的思路，但非常非常可靠。 Wojciech Zaremba：可以相信，这些模型正在成为真正推动工程和科学发展的因素。
如果它们似乎能解决即使专家也难以解决的问题，那么将能够推动科学进步。
★研发过程中的困难 Bob McGrew：我们谈了很多令人兴奋的时刻，那么在工作过程中又遇到了什么障碍？ Jerry Tworek：训练大型模型从根本上来说就是一件非常非常困难的事情。
有成千上万的事情可能出错，而且在每个领域都有事情确实出错了。
所以几乎这里的每个人都像你们知道的一样，在训练这些事情上付出了很多心血和汗水，并想出了如何让模型继续学习和进步的方法。
实际上，成功的道路非常狭窄，而失败的方式却有很多。 Wojciech Zaremba：就像发射火箭一样，如果你偏离了一个角度，你就无法到达目的地，而这就是我们的工作。 Ilge Akkaya：这个模型非常好，通常比人类好几倍，能达到博士的水平。
但是这有时是一个挑战，因为我们必须经常去验证模型没有偏离轨道。
但我们已经饱和了所有行业级的评估，我们不知道下一步该研究什么。
Mark Chen：这也是一种成就感，就像每次遇到难题一样。
这就像这个团队要克服的另一个障碍，我真的很高兴我们克服了所有这些小障碍。
OpenAI内部这样用o1 ★如何测试模型表现 Bob McGrew：你们测试模型的方法有哪些，有没有什么喜欢的问题，并发现模型在这些问题上变得越来越好？ Shengjia Zhao：Strawberry里有几个r？
Wojciech Zaremba：不管是什么原因，ChatGPT无法可靠地解决这些问题。
我们花了一年半的时间，现在我们可以计算出strawberry中的“r”的数量。 Hunter Lightman：我有一个习惯，我想其他人也有。
每当上推特时，都会看到一些帖子说大模型无法解决这类问题。
我就把它复制粘贴进去，然后发现我们的模型可以做到。 ★内部o1使用方法 Bob McGrew：为了让人们了解他们可以使用这个模型做什么，我很想听听你们使用o1的一些方法。 Hyung Won Chung：我使用o1的方式主要是用来写代码。
我的很多工作都是关于代码的，我越来越关注问题定义，并使用TDD（测试驱动开发）。
因此，我不再编写实现功能的代码，而是专注于编写单元测试。
因为o1可以实现东西，所以我可以专注于重要的、需要解决的高级问题，这真的是一种转移我注意力的重要方式。
另一个领域是debug，现在当我收到一些错误消息时，我只需传递给o1，有时它会立即解决。
即使没有，它至少会给出一些更好的问题，提供一些更好地思考这个问题的方法。
所以对我来说，这是一个非常重要的工作变化，我希望这也能帮助其他人。
★o1-mini的诞生过程 Bob McGrew：o1-mini的故事是怎样的？它是如何诞生的？ Hongyu Ren：我们想把o1系列带给更多人，它有更低的成本，所以做了o1 mini。它是o1框架的最小演示，是“推理专家”。它不一定能知道你喜欢的名人的生日，但是它能有效地推理，并且很智能。
实际上它真的很聪明，比我们之前最好的模型都要聪明很多，几乎与o1相当，但是成本和时延比它低很多。
不过也确实有局限性，可能不知道很多外部世界知识。这与技术本身无关，我们试图让它达到和此前最好模型最小版本差不多的水平，并且仍旧在努力进一步改进它。
用户尝试了o1 mini会很兴奋，因为它推理和思考的速度真的很快。
★是什么激励你做这些研究？ Łukasz Kaiser：我只是觉得在这个世界上，有一些可以做推理、有智能的东西，比想象中小很多。它们可以以不同方式做到这一点，这就非常迷人了。 Giambattista Parascandolo：我觉得这是向模型范式转变的第一步。以前花很长时间才能解决的问题，现在做到了分钟级，这只是漫长道路的第一步。我们希望能在几个月或几年后，迈出第二步。 Wojciech Zaremba：我觉得这很有意义，我们可以对世界产生一些实质性的积极影响。
而且这很有趣，我喜欢对着电脑“说话”，喜欢在集群上开始一项工作，也非常喜欢合作。
Jerry Tworek：我认为科技可以改善人类生活，我喜欢我们的模型能为人工作，帮助我们解决日常问题，赋予它推理能力让它做事。 Liam Fedus：我认为这一范式解决了一些模型无法解决的问题，所以不仅仅是回答变好一点，而是通过规划、通过错误纠正，它解锁了全新能力，在世界上创造新知识的能力，比如科学发现，我认为这是最令人兴奋的部分。
短时间内，它的自身进化会越来越快，这真的很棒。
Mark Chen：我们团队中一些成员有数学等方面的背景，这驱动我们自己想去创造一个最好的系统。 Hyung Won Chung：我认为推理比人们想象中的还要强大。当人类想要完成某项任务时，最基本的方法就是推理，你会遇到困难，你必须要找到解决方法。
我觉得AI研究员的工作好像是要找到一种方法来投入更多的计算。硬件方面的研究者在这方面做的很好，很长一段时间硬件成本都在指数级下降。
需要的计算量越来越多，就好像肩膀上的重量越来越重。这个新模式找到了一种方法，来帮我们卸下一些重量。 ★在这项研究中，你们还观察到什么吗？ Jason Wei：我们发现一个有趣的现象是，每个模型都有自己的“怪癖”。
训练的每个模型在每个任务上的表现都不完全相同。所以模型可能有些任务表现得更好，有些表现得更差。每个模型都有它自己的个性和优点。
原视频地址：
https://www.youtube.com/watch?v=tEzs3VHyBDM
/1 
扫码添加微信客服
