OpenAI员工爆料

　　OpenAI的下一代旗舰模型可能不会像前面几代产品那样实现巨大的飞跃。

　　测试代号为Orion的新模型的员工发现，尽管新模型性能超过了OpenAI现有的模型，但进步程度并不如从GPT- 3到GPT-4那么大。

　　这些新策略包括使用AI模型生成的合成数据对Orion进行训练等。

　　的评论请求。不过上个月OpenAI曾表示，“今年没有发布代号为Orion的模型的计划”。

　　称，阿尔特曼表示，尽管OpenAI只完成了Orion训练过程的20%，但就智能程度以及完成任务和回答问题的能力而言，它已经与GPT-4相当。

　　称，过去几年里，大语言模型在预训练过程中使用了来自网站、书籍和其他为了应对这种情况，OpenAI成立了一个基础团队，以研究如何在新训练数据不断减少的情况下继续改进模型。该团队由之前负责预训练的Nick Ryder领导。OpenAI表示，这个团队将研究如何应对训练数据的匮乏，以及Scaling law还能适用多长时间。

　　OpenAI的一名员工称，Orion的训练数据里有一部分是AI生成的合成数据。这些数据由GPT-4和最近发布的推理模型o1生成。然而，该员工表示，这种合成数据导致了一个新问题，即Orion 最终可能会在某些方面与那些旧模型相似。

　　软件公司Databricks的联合创始人兼董事长Ion Stoica表示，这种合成数据可能并不能帮助AI进步。

　　除此之外，OpenAI的研究者们在模型训练后阶段进行了额外的改进。比如，OpenAI采用了强化学习方法，通过让模型从大量有正解的任务中学习，以此来改进处理特定任务的方式。

　　同时，OpenAI还会请人工评估员对预训练的模型在特定任务上进行测试，并对答案进行评分。这有助于研究者调整模型，以更好地应对诸如写作或编程等特定类型的请求。这一方法，即附带人类反馈的强化学习，有助于改进之前的AI模型。

　　o1就是OpenAI使用这种改进手段得到的成果，o1模型在给出答案前，会花更多时间来“思考”大语言模型在训练过程中处理的数据。这意味着，即使不对底层模型进行修改，只要在回答用户问题时提供额外的计算资源，o1模型的回应质量就能持续提升。据知情人士透露，如果OpenAI能够持续改进底层模型的质量，哪怕速度较慢，也能显著提升推理效果。

　　“这为我们提供了一个全新的扩展维度。”Brown在TED AI大会上表示，研究人员可以通过将每次查询的成本从一分钱提升到十分钱来提高模型的响应质量。

　　阿尔特曼同样强调了OpenAI推理模型的重要性，这些模型可以与LLMs结合。阿尔特曼在10月份一个面向应用开发者的活动中表示：“我希望推理功能能解锁我们多年来期待实现的许多功能——例如，让这类模型有能力贡献新的科学知识，帮助编写更复杂的代码。”

　　但两位知情员工表示，o1模型目前的价格比非推理模型高出六倍，因此它没有广泛的客户群。

　　与此同时，o1模型的安全性也被很多人诟病，杂志就曾表示，在评估过程中，他们发现o1有时会遗漏关键安全信息，例如未强调爆炸危险或建议不适当的化学品控制方法。

　　值得一提的是，OpenAI安全系统团队负责人翁荔近日宣布将离开已经工作了近7年的OpenAI。