OpenAI的高级语言学习模型GPT的进展受到了高质量数据短缺的阻碍，使得其新旗舰模型Orion的开发遇到了挑战。
据OpenAI员工透露，Orion在语言任务上表现出色，但并未超越其前身GPT-4，其编码能力也存在不足，且运行成本过高。尽管投入了额外的资源和算力，Orion的提升幅度低于预期。
高质量文本数据的缺乏限制了Orion的训练效果，并质疑了模型性能随数据量和算力增加而提升的Scaling Law理论的适用性。
OpenAI已组建了一个专门团队，研究克服数据短缺的策略，并评估Scaling Law的适用范围。部分Orion的训练数据源自由GPT-4等旧模型生成的合成数据，这可能导致Orion在某些方面呈现出旧模型的特征。
除了优化数据来源，OpenAI还探索了其他提升LLM性能的方法，例如强化学习和人类反馈。今年9月推出的o1推理模型通过增加计算资源提升了响应质量，但其成本和适用性存在限制。
尽管面临技术障碍和财务压力，但OpenAI、Meta和其他AI开发公司仍在持续投资大型数据中心，以提升预训练模型的性能。然而，投资者对LLM的发展平台期表示担忧，认为其智能改进可能难以达到预期。
一些专家指出，LLM在解决复杂问题和常识性推理方面可能已经接近极限，进一步的提升需要更多的事实数据。OpenAI也正在通过强化学习提升模型在特定任务中的表现，并与初创公司合作以支持训练过程的外包。
虽然Orion的开发进程受阻，但OpenAI仍计划在明年年初发布这款新旗舰模型，其名称可能采用新的命名方式。市场竞争和投资热情尚未减退，其他科技巨头也在积极推进大型语言模型的训练和应用。
原创文章，作者：睿鸿在线，如若转载，请注明出处：https://mip.orihonor.com/2024/11/13/7276.shtml
