字节开盒OpenAI大模型 揭秘GPT-3到GPT-4进化路径，把李沐都炸出来了

GPT-3究竟是如何进化到GPT-4的？

字节给OpenAI所有大模型来了个“开盒”操作，结果还真摸清了GPT-4进化路上一些关键技术的具体作用和影响。

比如：

- SFT是早期GPT进化的推动者
-帮助GPT提升编码能力的最大功臣是SFT和RLHF
-在预训练中加入代码数据则提升了后续GPT版本的各方面能力，尤其是推理……

除了一些新发现，它还坐实了一些已有猜想：

比如GPT-4在变笨并非危言耸听，这项评测发现GPT进化路上出现了明显的“跷跷板现象”，即模型进化过程中一部分能力提升另一部分下降。

字节“开盒”OpenAI所有大模型，揭秘GPT-3到GPT-4进化路径！把李沐都炸出来了