ScalingLaw终结了么?

2025-01-23

暴论为先: Inference ScalingLaw的实质是:  高阶范畴视角下的Self-Prompt. 是不是能够Scaling,需要模型厂商尽快的去做SAE并开源数据.从高阶范畴的角度来构建另一个维度的Attention才是整个大模型突破的方向。 大概的故事线是: The Information报道, OAI的训练和模型进化速度变缓,导致GPT5难产已成定局然后又有某个人在X上说, 似乎另一家在训练的时候遇到了一个未曾遇到的Huge WallBloomberg随后把范围扩大到OAI,An