HuggingFace出了一个教程，是关于如何将一个代码生成模型，训练成一个遵循指令的模型，类似于ChatGPT。

这是一篇非常有启发性的文章，因为早在StarCoder这个16B模型发布的时候，它声称的代码生成能力是要比GPT高（或持平的），当时我就很感兴趣。但很可惜，StarCoder只能做completion，就是说你写一个代码的一部分，然后它帮你生成剩下的，不能像ChatGPT那样你说一个需求，它就给你写出来了。

当时我想，如果只能做completion，那真的很可惜，因为应用场景至少对我不合适，我现在一般的习惯是，直接告诉ChatGPT需求，也就是instruction，它来生成代码。

我以为一个instruction的fine tune并不简单，但从这篇文章来看，并不太难。这个文章使用的数据集是OpenAssistent，这个数据集是instruction支持的。但是这个数据集却不是关于代码生成的数据集，这点又非常让人吃惊。

最后作者写道，之所以用OpenAssistent的非代码生成（就是普通对话）的数据集去训练StarCoder，能让StarCoder具备instruction follow的能力，主要原因是StarCoder的基础模型，不仅是用了github的代码训练，更用了github的issues训练。OpenAssistent应该是用普通的对话，把StarCoder内部隐含的能力“涌现”出来了。

所以这个发现非常重要。

文章地址：huggingface.co/blog/starchat-alpha
模型地址：huggingface.co/HuggingFaceH4/starchat-alpha