生活网9月5日 消息:最近,开源软件开发助手SoTaNa引起广泛关注。SoTaNa旨在利用人工智能功能改进软件开发流程。
SoTaNa的核心是利用大型语言模型(LLM)如GPT-4更好地理解开发者的意图,并据此提供有效的解决方案。SoTaNa会根据特定提示导航ChatGPT,为软件工程任务生成新的数据。
为增强对人类意图的理解,SoTaNa采用了Lora微调方法,增强了开源LLM模型LLaMA的能力。
SoTaNa的有效性已经通过Stack Overflow问答数据集进行验证。研究表明,SoTaNa可以高效地解析软件开发问题,并提供可行的代码解决方案。SoTaNa的出现被认为将大大提升软件开发效率,弥补开发者与LLM功能之间的差距。
SoTaNa不仅发布了模型权重,还发布了专门为软件工程设计的数据集,以鼓励社区参与建设。SoTaNa作为开源项目,有望加速人工智能在软件开发领域的应用和创新。
生成数据案例
SoTaNa的核心特色功能如下:
1. 数据生成 - 可以自动生成代码数据,用于模型训练。
2. 参数高效微调 - 可以高效微调不同规模的Transformer模型。
3. 推理 - 提供了代码生成、代码总结和Stack Overflow问答三个下游任务的推理。
4. 评估 - 实现了各个下游任务的自动评估。
5. 开源 - 项目完全开源,代码托管在GitHub上。
6. 环境友好 - 提供了conda环境设置指导,可以方便重现实验结果。
7. 模型规模可选 - 支持从7B到30B参数规模的模型,用户可以根据需求选择。
8. 训练指标完整 - 训练日志包含参数量、训练时间等信息,方便模型选择。
9. 功能完备 - 覆盖从数据处理到模型训练和推理的完整机器学习流程。
10. 文档优质 - 自述文件编写详细,可以快速上手使用。
项目网址:https://github.com/DeepSoftwareAnalytics/SoTaNa