有传说GPT4变笨了，有人解释说可能是温度设置造成的。那么大模型中的温度参数是怎么回事呢？
温度是一个超参，应该来自于模拟退火算法。
我们举一个例子说明温度的作用。假设一个人被蒙上双眼只凭一根拐杖去爬香山，他如何能爬到香山顶峰鬼见愁呢？在该人完全清醒的情况下，他只能通过拐杖试探周围地形，哪边高他就往哪边走。由于香山地形比较复杂，他大概率爬不到山顶，只能爬到一个局部最高点，除非他初始位置特别合适，该局部最高点刚好是鬼见愁。这其实就是通常所说的一种寻优方法“爬山法”。
但是如果该人喝醉了酒呢？当他酩酊大醉的情况下爬山，步履蹒跚，站立不稳，东一脚西一脚地爬行。虽然他还是想着向上走，但由于醉酒把握不住自己的行为，会有时向上，有时又向下，具有一定的随机性，但总体上他会尽可能向高的方向行走。随时间推移，该人逐渐清醒，向上的欲望越来越强烈，身体也越来越听指挥，最终很大可能会大概率爬到香山顶峰鬼见愁。这其实就是一种随机寻优方法“模拟退火算法”。
在模拟退火算法中，代替醉酒程度的量是温度。当温度非常高时相当于醉的非常厉害，行走起来一会上一会下，完全不着调，但是却可能从不正确的位置下来，转移到一个正确的道路上去。当温度非常低时，相当于没有喝酒，完全清醒，由于被蒙着双眼，只能凭借拐杖向高的方向走。这样每一步都看起来是正确的，但是最终也大概率是个平庸的结果。
再回到大模型，当温度设置很低时，基本是按照概率最大预测token，答案很可能就是一个平庸的结果。而当温度设置比较高时，如同酒后醉话一样，低概率的token也可能被生成出来，虽然有可能在胡说八道，但也有可能出现美妙的句子，如同李白斗酒诗百篇。李白的诗有没有胡说的呢？也许有，只是没有流传下来。
这样对于大模型来说，就要设置一个合适的温度参数，既要有一定的创新能力，又别太多的胡说八道，不过这一点也很难平衡，难免顾此失彼。