MosaicML(一家专门做模型训练和微调的公司)...

发布时间 :2023-05-06 07:55:02
MosaicML(一家专门做模型训练和微调的公司)发布一系列新的LLM模型。这次发布的两个亮点:
1.模型增加了一个微调出来的story writer(讲故事)模型,这个可以用于文学创作,儿童教育
2.公开了训练各个模型的金钱开支

基座模型:MPT-7B
指令微调模型:MPT-7B-Instruct
对话微调模型:MPT-7B-Chat
讲故事微调模型:MPT-StoryWriter-65K

其中讲故事微调支持最高65K的上下文输入,比GPT-4还要高2倍!这个真的太强了,不知道实际效果如何。不过这开启了一个思考,如果我们专门训练一个中文的讲故事模型呢?

地址:
blog: mosaicml.com/blog/mpt-7b
models: huggingface.co/mosaicml
chat demo: huggingface.co/spaces/mosaicml/mpt-7b-chat
instruct demo: huggingface.co/spaces/mosaicm

图一:打分
图二:训练费用
图三:Story Writer扩写demo

热门评论

今日热门