2023年11月13日

超大规模智能模型悟道20发布 参数规模达GPT-3的10倍

作者 admin

在1日召开的2021北京智源大会上,北京智源人工智能研究院发布了新版超大规模智能模型“悟道2.0”,这是在今年3月20日发布的“悟道1.0”基础上更新迭代而来,具备大规模、高精度、高效率的特点。

“悟道”模型旨在打造数据和知识双轮驱动的认知智能,让机器像人一样思考,实现“超越图灵测试的机器认知能力”。“悟道”团队在大规模预训练模型研发上做了很多基础性工作,形成了自主的超大规模智能模型技术创新体系,拥有理论、工具、模型构建和测评的完整链条。

“悟道2.0”模型的参数规模达到1.75万亿,是GPT-3的10倍,打破了之前由Google Switch Transformer预训练模型创造的1.6万亿参数记录,是目前中国首个、全球最大的万亿级模型。

Google万亿模型的核⼼技术MoE(Mixture of Experts)与其分布式训练框架和其定制硬件强绑定。“悟道”团队研究并开源的FastMoE是首个支持PyTorch框架的MoE系统,具有简单易用、灵活、高性能等特点,并且支持大规模并行训练。新一代FastMoE,支持Switch、GShard等复杂均衡策略,支持不同专家不同模型,是实现“万亿模型”的关键技术。

“悟道2.0”模型在中英双语共4.9T的高质量大规模清洗数据上进行训练。训练数据包含WuDaoCorpora中的1.2TB中文文本数据、2.5TB中文图文数据,以及Pile数据集的1.2TB英文文本数据。

据介绍,“悟道2.0”在世界公认的9项Benchmark基准测试任务上取得较好的成绩。