中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源
每经记者 杨卉 每经编辑 魏官红
6月19日,《每日经济新闻》记者从中国电信处获悉,近日,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内首批发布稠密万亿参数大模型的机构。
《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。
中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。
据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。
开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。
封面图片来源:视觉中国-VCG41N1419339719
-
女足世界杯|半决赛前瞻:英格兰队真正的考验来了 2023-12-12
-
西班牙门将凯帕火线加盟皇马 2023-12-12
-
“村排”点燃中国海岛热情与活力 2023-12-12
-
杭州亚运会项目调整:取消轮滑项目两个小项 2023-12-12
-
西甲:马竞胜格拉纳达 2023-12-12
-
杭州亚运会首批马术专用物资抵杭 2023-12-12
-
CBA:布莱克尼、法尔加盟南京同曦 2023-12-12
-
两支中国队伍晋级2023无畏契约洛杉矶全球冠军赛八强 2023-12-12
-
女足世界杯|前瞻:西班牙队与瑞典队半决赛迎来“风格之争” 2023-12-12
-
河南温县:“洋弟子”体验太极文化 2023-12-12