您当前的位置:首页 >  商业资讯  > 正文
世界微速讯:王小川新公司「百川智能」发布首个开源中英文大模型,开源免费可商用
来源:36氪     时间:2023-06-15 17:12:33

作者 | 邓咏仪

编辑 | 苏建勋


(资料图片仅供参考)

36 氪获悉,6 月 15 日,百川智能公司正式推出中英文预训练大模型—— baichuan-7B,参数量为 70 亿。

百川智能是搜狗创始人王小川于 2023 年 4 月成立的新 AI 公司,36 氪此前也曾做报道。baichuan-7B 则是新公司成立两月后发布的第一个大模型。

据百川智能,为了验证模型的各项能力,baichuan-7B 在 C-Eval、AGIEval 和 Gaokao 三个权威中文评估测试中进行了综合评估,均获得了优异成绩,其测试结果位于国内中文大模型的前列。

在 MMLU 英文权威评测榜单上,baichuan-7B 也超过了 Meta 旗下的 LLaMA-7B。MMLU 是由加州大学伯克利分校等知名高校共同打造,集合了科学、工程、数学、人文、社会科学等领域的 57 个科目,主要目标是对模型的英文跨学科专业能力进行深入测试。其内容广泛,从初级水平一直涵盖到高级专业水平。

在中文 C-EVAL 评测中,baichuan-7B 的综合评分达到了 42.8 分,超过了 ChatGLM-6B 的 38.9 分来源:百川智能

C-Eval 评测基准则是由上海交通大学、清华大学以及爱丁堡大学联合创建,是面向中文语言模型的综合考试评测集,覆盖了 52 个来自不同行业领域的学科。 在中文 C-EVAL 评测中,baichuan-7B 的综合评分达到了 42.8 分,

而 AGIEval 评测基准则是由微软研究院发起,意在全面评估基础模型在人类认知和问题解决相关任务上的能力,包含了中国的高考、司法考试,以及美国的 SAT、LSAT、GRE 和 GMAT 等 20 个公开且严谨的官方入学和职业资格考试。在 AGIEval 的评测里,baichuan-7B 综合评分达到 34.4 分,超过 LLaMa-7B、Falcon-7B、Bloom-7B 以及 ChatGLM-6B 等其他开源模型。

目前,baichuan-7B 已经在 Hugging Face、Github 以及 Model Scope 平台发布。

本次发布也遵循开源精神,baichuan-7B 代码采用 Apache-2.0 协议,模型权重采用了免费商用协议,只需进行简单登记即可免费商用。

开源内容包含推理代码、INT4 量化实现、微调代码,以及预训练模型的权重。其中,微调代码方便用户对模型进行调整和优化;推理代码与 INT4 量化实现则有助于开发者低成本地进行模型的部署和应用。在预训练模型权重开源后,用户则可以直接使用预训练模型进行各种实验研究。

在成立短短两月后即发布了第一个开源大模型,百川智能是如何做到的?

训练语料对大模型的训练结果至关重要。百川智能表示,在构建预训练语料库方面,百川智能以高质量中文语料为基础,同时融合了优质的英文数据。

而在数据质量上,通过质量模型对数据进行打分,对原始数据集进行篇章级和句子级的精确筛选,对数据进行了多层次多粒度的聚类,最终构建了包含 1.2 万亿 token 的兼顾质量和多样性的预训练数据。

这样的结果是,相较于其他同参数规模的开源中文预训练模型,数据量提高了超过 50%。

训练又是另一个重要的工程壁垒。baichuan-7B 整合了模型算子来加快计算流程,并针对任务负载和集群配置,自适应优化了模型并行策略以及重计算策略。通过高效的训练过程调度通信,baichuan-7B 成功地实现了计算与通信高效重叠,进而加速了训练小懒虫,在千卡集群上训练的吞吐速度达到 180+Tflops ——这也相较业界平均水平要高。

本次百川开源的的预训练模型也将开源模型窗口进行扩展,开放了 4K 的上下文窗口。当前,已有的开源模型窗口长度在 2K 以内——对一些长文本建模任务,以往模型的处理效果可能会有所制约。在需要引入外部知识做搜索增强的场景,延展到 4K 后,模型在训练与推理阶段就能捕获越多的上下文信息,从而让模型的应用场景更广泛。

而对于大模型的 " 幻觉 " 问题,baichuan-7B 也对模型训练流程进行深度优化,在这一问题上有所改善。据百川智能团队介绍,训练中,百川采用了更稳定的训练流程和超参数选择,使 baichuan-7B 模型的收敛速度大大提升。和同等参数规模的模型相比,baichuan-7B 在困惑度(PPL)和训练损失(training loss)等关键性能指标上表现更加优秀。

本次开源后,百川智能团队与北京大学与清华大学两家进行落地合作,两家高校未来也将和百川智能进行共创。

附项目开源地址:

Hugging Face:https://huggingface.co/baichuan-inc/baichuan-7B

Github:https://github.com/baichuan-inc/baichuan-7B

Model Scope:https://modelscope.cn/models/baichuan-inc/baichuan-7B/summary

标签:

相关新闻

X 关闭

X 关闭

精彩推荐