作者：谢尔盖·瓦赫里耶夫、奥列格·克里莫夫 

摘要 ：

• 1.6b参数
• 20 种编程语言
• 4096 令牌上下文
• 代码完成和聊天功能
• SoTA 在类似代码模型中的 HumanEval 基准测试上
• 经过许可许可代码的预训练并可用于商业用途

模型 型号尺寸 HumanEval pass@1 DeciCoder-1b 1b 19.1% Refact-1.6-fim 1.6b 32.0% 稳定代码 3b 20.2% 复制代码 v1 3b 21.9% CodeGen2.5-multi 7b 28.4% 代码羊驼 7b 33.5% 星码器 15b 33.6%

基本模型是在我们自己的代码集上进行训练的，仅具有许可许可和开放文本数据集（文本与代码的比率为 50:50）。 总的来说，我们在集群上的 1.2T 代码标记上训练了我们的基本模型。

然后使用经过质量过滤的开放代码指令遵循数据集和基于 The Stack dedup v1.1 的 合成数据集对该模型进行微调，以改进 FIM 并提高基础模型性能。

中阅读有关我们做出的架构决策的更多信息 您可以在博客文章 。

上提供权重 我们的目标是让每个人都可以访问该模型，我们将根据 BigScience OpenRAIL-M 许可证发布该模型用于商业用途，并在HuggingFace 。

虽然最近的趋势是模型尺寸变得更大，但我们希望降低进入门槛，使其成为具有不同硬件设置的开发人员的多功能工具。 由于尺寸更小，模型的运行速度比以往更快且经济实惠：该模型可以在大多数仅需要 3Gb RAM 的现代 GPU 上运行，并且非常适合实时代码完成任务。

插件轻松集成到现有开发人员工作流程中 Refact LLM 可以通过开源 Docker 容器 以及 VS Code 和 JetBrains 。 借助 Refact 直观的用户界面，开发人员可以轻松地利用该模型来执行各种编码任务。 Finetune 提供自托管 (docker) 和企业版本，使建议与您的私有代码库更相关。

Refact 1.6B LLM 是我们代码模型系列中的第三个模型， CodeContrast 3b 和 CodeContrast 0.3b 之前发布了 。 我们的目标是继续我们的研究和未来的更新，以提高法学硕士的表现和能力。 我们很乐意获得社区的贡献和反馈，以进一步增强该模型。 如有任何问题和想法，请访问我们的 Discord 。