D东 LV
发表于 2025-4-8 15:43:42
看计划,是先发布GPT-4.5,GPT-4.5就是之前已经在传的Orion模型,GPT-4.5和上一代GPT-4一样是常规模型,不像o系列模型有推理能力。
GPT-4.5是常规LLM模型,无推理能力
之前一直听说GPT-4.5的开发遇到阻碍,看来OpenAI是已经解决了训练问题,但是注意GPT-4.5会是OpenAI最后的一个非推理模型,这大概说明train-time compute scaling law确实已经到了瓶颈,很大可能还是之前说的预训练数据已经到瓶颈了。
预训练的scaling law可能已经到顶了!
另外,如果GPT-4的模型参数是1.76T,那么估计GPT-4.5的模型参数可能会超过10T?
OpenAI在发布GPT-4.5之后会发布GPT-5,看描述,感觉GPT-5可能以GPT-4.5作为基础模型底座,用o3的强化学习方法让模型拥有了推理能力,或者换句话说,GPT-5可能就是GPT-4.5的test-time compute scaling。In both ChatGPT and our API, we will release GPT-5 as a system that integrates a lot of our technology, including o3. We will no longer ship o3 as a standalone model GPT-5会直接集成到ChatGPT了,而且没有订阅ChatGPT会员的用户也可以免费使用,而且是无限制(只要不滥用),终于可以从免费的GPT-4o切换到新模型GPT-5了。
希望OpenAI的期货不要太遥远。
预期是GPT-4.5在3月份问世,而GPT-5可能要到4月份了。
另外,DeepSeek可能也有新东西了。期待是对标OpenAI. o3的DeepSeek R2。
|
|