5 月 13 日消息,科技媒体 The Decoder 昨日(5 月 12 日)发布博文,报道称 OpenAI 高级模型开发负责人 Jakub Pachocki 指出,AI 推理模型正展现出自主生成知识的潜力。
他认为这种推理并非人类思维的翻版,而是基于数据和算法的独特过程。IT之家援引博文介绍,Pachocki 解释,AI 的学习分为两个阶段:首先是无监督预训练,模型吸收海量数据,构建一个无意识、无时间线的“世界模型”(world model),以此理解现实的基本框架。
第二阶段则是通过强化学习与人类反馈(RLHF)将基础模型转化为实用助手。Pachocki 强调,这一阶段在最新的推理模型中尤为关键。
OpenAI 同时结合传统强化学习,处理有明确对错的任务,而 RLHF 则更适合复杂问题,尽管其扩展性有限。他还质疑预训练与强化学习是否应视为独立阶段,认为推理模型的“思考”根植于预训练数据,二者需深度融合。
近期一篇论文指出,推理训练并未为模型增添全新能力,而是帮助它们更高效地应用已有知识。例如,模型能以更结构化的方式解决已知问题。Pachocki 对此表示认同,并补充,模型已展现出发现新见解的潜力,这为 AI 的未来应用奠定了基础。
对于通用人工智能(AGI),Pachocki 表示其观点不断演变。他回忆作为学生时,他认为 AI 掌握围棋是遥不可及的目标,但 2016 年 AlphaGo 的胜利彻底改变了他的认知。
如今,他将 AI 的经济价值视为下一个里程碑,强调 AI 需实现商业成果并开展自主研究。他预测,到本世纪末,AI 自主研究将取得“实质性进展”,甚至今年内可能出现近乎自主的软件开发系统。