近日，国际超级计算大会(ISC)高性能会议(HPC)在德国汉堡顺利召开，大会上，英特尔宣布与阿贡国家实验室携手，用Aurora超级计算机开发生成式AI模型 Aurora genAI，参数量将多达1万亿!要知道，ChatGPT的参数规模仅为1750亿，也就意味着Aurora genAI将比ChatGPT大5倍。
以两个框架为基础
据了解，英特尔Aurora genAI模型将以两个框架为基础：NVIDIA的 Megatron和微软的DeepSpeed。
Megatron：用于分布式训练大规模语言模型的架构，专门针对 Transformer进行了优化，不仅支持传统分布式训练的数据并行，也支持模型并行。
DeepSpeed：专注于优化大型深度学习模型的训练，通过提高规模、速度、成本和可用性，释放了训练1000亿参数模型的能力，极大促进大模型的训练。
由Aurora超算提供算力
Aurora genAI模型将由Aurora超级计算机来提供算力，这台英特尔为阿贡国家实验室设计的超级计算机。根据目前公开的资料显示，Aurora超级计算机由英特尔Xeon CPU Max和Xeon GPU Max系列芯片提供支持，总共有10624个节点，拥有63744个Ponte Vecchio GPU、21248 个 Sapphire Rapids至强 CPU、1024个分布式异步对象存储(DAOS)存储节点以及10.9P的DDR5傲腾持久内存。
英特尔方面还透露了Aurora超级计算机的早期性能结果：Aurora超算在科学和工程工作负载上具有领先性能，比AMD MI250 GPU的性能高2倍，在QMCPACK量子力学应用上比H100提高了20%，并接近线性扩展，可达到数百个节点。
以科学为重点
Aurora genAI是一个以科学为重点的生成式AI模型，将在通用文本、代码、科学文本以及生物学、化学、材料科学、物理学、医学等科学数据上进行训练。
由此产生的AI模型，将具有多达1万亿个参数，包括从分子和材料的设计到数百万个来源的综合知识，可用于各种科学应用：系统生物学、癌症研究、气候科学、宇宙学研究、高分子化学与材料等。除了科学之外，Aurora genAI模型还可能用于其他领域，如金融建模、自然语言处理、机器翻译、图像识别和语音识别等。
除了上述的内容以外，有关Aurora genAI模型的更多信息英特尔方面尚未透露，据外媒报道，英特尔计划在2024年开发和完成Aurora genAI模型，如果进展顺利，Aurora genAI最快将在明年与我们见面。随着英特尔入局AI大模型战场，GPT-4等竞品的发展更加值得期待!
