切换到宽版
开启辅助访问
登录
立即注册
搜索
搜索
搜索
首页
Portal
论坛
同城
人才网
工具
菲龙网工具
个人中心
关于我们
每日签到
本地新闻
时事评论
华人世界
中国新闻
新闻视频
国际新闻
娱乐新闻
科技新闻
菲龙广场
房产网
菲龙速聘
二手交易
便民电话
美食餐厅
旅游签证
物流速运
商品买卖
二手车市场
严选
话费充值
便民电话
贺词页面
瀑布流页
汇率查询
APP下载
每日签到
我的任务
道具商店
每日签到
我的任务
道具商店
更改用户名
关于菲龙网
About US
联系菲龙网
活动回顾
加入我们
本版
用户
菲龙网
»
论坛
›
新闻频道
›
科技新闻
›
OpenAI o1非GPT-4o直接进化,在成本与性能上妥协 ...
菲龙网编辑部7
有 744 人收听 TA
147861
主题
147878
回复
173996
积分
收听TA
发消息
加好友
本文来自
科技新闻
订阅
|
收藏
(
2953
)
菲龙网编辑部7发布过的帖子
0/60
出口信保公司监管办法出炉,明年1月1日起施行
0/60
《中国居民投资理财行为调研报告》发布:个人养老金产品渗透率提升,理财配置“突而未破”
0/57
“偿二代”二期过渡期延长一年至2025年底!
0/63
再议全球配置:券商新军如何为跨境理财通开启第二增长曲线
0/60
三七二十一|2700美元,黄金的巅峰还是起点?对话广发期货贵金属研究员叶倩宁
0/63
国家金融监管总局:推动保险公司加强偿付能力管理
0/53
11月七成结构性产品到期年化收益率超4%丨机警理财日报
0/56
十年跨越,数智创新:《中国数字普惠金融发展报告》正式发布
0/57
四川农商联合银行获批入股6家、增持3家农商行,受让4家农商行股权
查看TA的全部帖子>>
OpenAI o1非GPT-4o直接进化,在成本与性能上妥协
时间:2024-9-28 10:20
0
105
|
复制链接
|
互动交流
显示全部楼层
阅读模式
直达楼层
马上注册,结交更多好友
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
9月14日消息,OpenAI已经推出了新模型OpenAI o1的两大变体——o1-preview与o1-mini,这两款模型都有许多值得深入探讨的内容。人工智能专家西蒙·威利森(Simon Willison)专门发文,深入剖析了这些新模型背后的设计理念与实现细节,揭示了它们在技术上的独特优势与不足。威利森表示,o1并不是简单的GPT-4o直接升级版,而是在强化“推理”能力的同时,做出了成本与性能上的权衡。
1. 训练思维链
OpenAI的声明是一个很好的起点:“我们研发了一系列新型人工智能模型,旨在让它们在做出响应前花更多时间思考。”
这些新模型可以视为思维链提示策略的深化拓展——“分步思维”策略的具体实践。实际上,人工智能社区在这个领域已探索了数年,这一策略首次在2022年5月发布的论文《大语言模型是零样本推理器》(Large Language Models are Zero-Shot Reasoners)中提出。
OpenAI发布的《与大语言模型共学推理》(Learning to Reason with LLMs)一文详细阐述了新模型的训练方法,揭示了其能力提升背后的秘密。文中指出:
“我们的大规模强化学习算法精心设计了训练流程,使模型在高效利用数据的同时,能够熟练运用思维链进行深度思考。我们发现,随着强化学习训练时间的增加以及模型在测试时分配更多思考时间,o1的性能持续显著提升。值得注意的是,这种扩展方法的限制与大语言模型预训练中的挑战有很大不同,我们正继续深入探索这些新界限。”
通过强化学习的训练,o1不仅学会了优化其思维链的使用,还掌握了自我提升的关键技能。o1能够识别并纠正错误,将复杂难题拆解为一系列更易处理的子任务。当现有方法失效时,它会尝试不同的方法直至找到最佳解法。这一过程极大提升了模型的推理能力。
实际上,这标志着模型在处理复杂提示方面实现了质的飞跃。面对那些需要回溯与深入“思考”的任务时,模型能够展现出更加出色的表现,而不再仅仅依赖于下一个Token预测。
威利森指出,虽然他对“推理”一词在大语言模型中的定义有保留,但鉴于OpenAI已明确采用此术语,并成功表达了新模型致力于解决的核心问题,他认为这种表达在此情境下是恰当且有效的。
2. 来自API文档的底层细节
关于新模型及其设计权衡,OpenAI在API文档中提供了许多有趣的细节:
对于依赖图像输入、函数调用或追求即时响应速度的应用场景,GPT-4o及其精简版GPT-4o mini仍是理想选择。然而,如果你的项目需要深度推理能力,且能够适应较长的响应时间,那么o1模型无疑是更优的选择。
威利森从OpenAI的文档中摘录了几个关键点:
API访问权限:目前,o1-preview与o1-mini的访问仅限于五级账户用户,且API积分累计需达到至少1,000美元方可解锁。
系统提示限制:模型集成了现有的聊天完成API,但仅支持用户与助手之间的消息交互,不支持系统提示功能。
其他功能限制:当前模型不提供流处理支持、工具集成、批处理调用或图像输入。
响应时间:鉴于模型解决问题所需推理量的不同,处理请求的时间可能介于几秒至几分钟不等。
尤为引人注目的是“推理Token”的引入。这些Token在API响应中不可见,却扮演着至关重要的角色,是驱动新模型能力的核心,且作为输出Token计费并计数。鉴于推理Token的重要性,OpenAI建议为充分利用新模型的提示预留约25,000个推理Token的预算。
为此,输出Token的配额显著提升:o1-preview的配额增至32,768个,而o1-mini则高达65,536个。相比于GPT-4o及其mini版(两者的配额均为16,384个),这一增加为用户提供了更多资源。
API文档还提供了一个新颖且关键的提示,旨在优化检索增强生成(RAG):在整合附加上下文或文档时,应严格筛选,保留最相关的信息,以避免模型生成过于复杂的响应。这与RAG的传统做法截然不同,后者倾向于将大量潜在相关文档纳入提示。
3. 隐藏的推理Token
令人遗憾的是,推理Token在API调用中处于隐藏状态。用户需要为这些Token支付费用,却无法得知其具体内容。OpenAI对此政策的解释如下:
“隐藏思维链的初衷在于确保模型‘思维’过程的独立性和表达自由,避免外界干预或操控其推理逻辑。展示模型的完整思维链可能暴露不一致性,并影响用户体验。”
这项决策基于多重考量:一方面是为了确保安全与策略的遵从性,另一方面则是为了保持技术上的竞争优势,避免竞争对手利用推理成果进行训练。
作为对大语言模型发展持保留意见的一方,威利森对此决定并不满意。他认为,在追求技术创新的同时,保持可解释性与透明度至关重要。关键细节的隐藏,意味着对透明度的一种削弱,感觉像是一个倒退的举措。
4.示例解读
OpenAI在“思维链”部分提供了许多示例,包括Bash脚本生成、填字游戏解答和化学溶液pH值计算等,初步展示了这些模型在ChatGPT用户界面下的思维链能力。但它并未展示原始的推理Token,而是通过一种优化机制,将复杂的推理步骤简化为易于理解的摘要。
OpenAI还额外提供了两份文档,展示了更为复杂的例子。在“使用推理进行数据验证”一例中,o1-preview演示了如何在11列CSV数据中生成示例,并通过多种策略验证数据的正确性;而“使用推理生成例程”则展示了如何将知识库文章转化为大语言模型能够解析并执行的标准化操作流程。
威利森也在社交媒体上征集了许多GPT-4o未能成功应对却在o1-preview上表现出色的提示案例。其中两个尤为引人注目:
字数计数挑战:“你对这个提示的回答有多少字?” o1-preview模型在给出“这个句子里有七个单词”之前,耗时约十秒并经历了五次推理过程。
幽默解析:“解释一下这个笑话:‘两头牛站在地里,一头牛问另一头:‘你怎么看疯牛病?’ 另一头说:‘无所谓,我是直升机。’” o1-preview给出了既合理又详细的解释,而其他模型对此无解。
尽管如此,优质的示例仍然较少。OpenAI研究员Jason Wei指出,尽管o1在AIME和GPQA测试中的表现非常强大,但这种效果并不总是直观可感。找到让GPT-4o失手而o1表现出色的提示并不容易,但当你找到时,o1的表现堪称神奇。大家都需要寻找更具挑战性的提示。
另一方面,沃顿商学院管理学教授、人工智能专家伊森·莫里克(Ethan Mollick)通过几周的预览体验,对o1给出了初步评价。他特别提到了一个填字游戏示例,其中o1-preview模型展现了清晰的推理步骤,如指出1 Across与1 Down的首字母不匹配,并主动建议替换答案以确保一致性。
5.推理模型的未来
人工智能领域这一新进展带来了诸多待解之谜与潜在机遇,社区正逐步探索这些模型的最佳应用场景。在此期间,威利森预计GPT-4o(及Claude 3.5 Sonnet等模型)将继续发挥重要作用。同时,我们也将见证这些推理模型如何扩展我们的思维模式,解决更多前所未有的任务。
此外,威利森期待其他AI实验室,特别是开放模型权重社区,能够积极跟进,利用各自独特的模型版本复现并深化这些思维链推理的成果。(小小)
延伸阅读
OpenAI新模型达到博士水平?我找清北博士品鉴了一下
o1完整思维链成OpenAI头号禁忌!问多了等着封号吧
五大维度评测OpenAI全新o1模型:代码编写、游戏制作等能力“惊艳”
回复
举报
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
点我进行验证
本版积分规则
发表回复
回帖后跳转到最后一页
关闭
站长推荐
/1
【点击免费下载】菲龙网移动APP客户端
【点击免费下载】菲龙网移动APP客户端,新闻/娱乐/生活资讯生活通,带你了解菲律宾多一点!
查看 »
扫码添加微信客服
快速回复
返回列表
返回顶部