近期硅谷VC、ai创始人交流要点:scaling law或已放缓
近期硅谷VC、ai创始人交流要点:scaling law或已放缓 1、 大模型:AI仍是硅谷唯一的话题,但是没有去年那么狂热了,主要是scaling的速度有所放缓(警惕对于训练算力的需求放缓),大约3-4周前谷歌内部训练Gemini下一代模型(比上一代大10倍,类似GPT-5)时2次都失败了。这也解释了为什么GPT-5延期发布。硅谷目前认为LLM层面再把模型做大难度较大,原因在于: a) MOE后post-training效果不太好,模型没有收敛 b) 数据是瓶颈,合成数据质量比网上搜的数据质量