8月15日,科大讯飞董事长刘庆峰讯飞星火认知大模型V2.0升级发布会上表示,科大讯飞与华为共同发布用于构建专属大模型的软硬件一体化设备“星火一体机”。
据刘庆峰介绍,在单卡算力上,星火一体机对标英伟达A100,同时科大讯飞还正在和华为一道打造面向超大规模大模型训练的国产算力集群,形成集群化优势。
大模型的研发过程,需要可以支撑千亿参数规模大模型并行训练的算力和框架,还需要几千张芯片同时连续运行。基于此,系统架构以及并行训练的集群能力成为大模型研发的关键。
星火一体机的训练和推理一体化部署,可用于问答系统、对话生成、知识图谱构建、智能推荐等领域的应用,具备大模型预训练、多模态理解与生成、多任务学习和迁移等能力。
据悉,星火一体机基于华为鲲鹏CPU(中央处理器)+昇腾GPU(图形处理器),另外联合华为存储和网络提供整机柜方案,FP16(半精度浮点数格式)算力2.5 petaFLOPS(1 petaFLOPS为每秒运行一千万亿次浮点运算)。在大模型训练中最为流行的英伟达DGX A100,其单节点包含8块GPU,可以输出5 PetaFLOPS的FP16算力。
上月,科大讯飞公布讯飞星火将与昇腾AI联合,打造基于中国自主创新的通用智能新底座。一方面,讯飞星火认知大模型基于训练推理一体化设计,实现大模型稀疏化、低精度量化的技术突破,能高效适配昇腾AI,加速大模型的行业落地应用和迭代;另一方面,以昇腾AI为核心,软硬件协同优化,构建算力集中、性能优越、供给稳定、数据安全的大模型训练集群。
AI俱乐部,致力于打造最专业的AI交流社群。
星球将分享:
1、ChatGPT的使用方法,最新资讯,商业价。
2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。
4、系列课程和训练营,手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话,可以一起加入星球哦!