8月27日,澜舟科技正式发布孟子GPT-40B通用大模型、孟子GPT-7B金融大模型,并推出基于孟子GPT大模型打造的会议内容分析平台澜舟智会。数据显示,孟子GPT-40B版本全面领先7B版本,大约提升10-15个百分点,并超越部分国内大模型,在多语言任务等方面接近ChatGPT-3.5,已开启邀测。
试用地址:https://www.langboat.com/portal/mengzi-gpt
据发布会介绍,孟子GPT-40B主要在中文及多语言能力、写作、多轮对话等方面做了提升。通过网页、百科、社交媒体、新闻以及高质量开源数据集,孟子GPT-40中文能力更加突出。并且基于万亿tokens多语言语料联合训练,更进一步提升了英语等语言能力。
在底层算法上,澜舟表示使用了更成熟的预训练技术,利用50万指令数据精调,基于70亿参数量的奖惩函数进行强化学习。基于FlashAttention的高效注意力计算,训练速度提升8.5倍。基于TGI等加速框架,推理速度提升4.6倍。
在孟子GPT-40B基础上,还能更进一步训练出行业大模型。此次推出的孟子GPT-7B金融行业大模型,是基于孟子GPT-7B通用大模型进一步训练而成的,结合自监督训练数据和100多个任务训练数据,针对金融行业所需的任务进行微调,搭配多个优化算法,从常见的微调上下文学习持续训练,最终再结合向量及索引,在一些应用场景中落地。
在实操层面,有些业务场景需要针对这些场景进行进一步的定制。澜舟科技基于孟子GPT大模型打造了一个会议内容分析平台澜舟智会。这是一个能够有效提高处理音视频会议效率的一站式平台,集成了文字转录、要点总结、会议纪要、话题聚合、文件管理等功能。
就在最近,孟子大模型还登顶中文大语言模型测评榜单C-Eval。据介绍,除了孟子大模型外,目前澜舟科技已经开源了20个左右大模型。澜舟科技也表示,未来将全面拥抱MaaS服务,提供基础模型、大模型训练框架/工具包等服务。