概览
产品介绍
OpenBMB全称为Open Lab for Big Model Base,是新一代人工智能开源开放平台,由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起,旨在打造大规模预训练语言模型库与相关工具,加速百亿级以上大模型的训练、微调与推理,降低大模型使用门槛,与国内外开发者共同努力形成大模型开源社区,推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。
产品功能介绍
大规模预训练语言模型库
OpenBMB致力于构建一个大规模预训练语言模型的基础工具和流程,旨在推动自然语言处理领域的研究和发展,促进模型创新和应用落地。
参数高效微调方法
OpenBMB的核心贡献是提出了参数高效微调的方法,这是一种用于针对特定任务和应用场景对大规模预训练模型进行微调的技术,帮助研究人员和开发者轻松地使用和扩展这些技术。
开源工具和代码库
OpenBMB发布了一系列开源工具和代码库,这些工具和代码库帮助研究人员和开发者在各类预训练模型上实现和应用增量微调方法,实现应用落地。
推动大模型生态发展
OpenBMB的目标是与国内外开发者共同努力形成大模型开源社区,推动大模型生态发展,实现大模型的标准化、普及化和实用化,让大模型飞入千家万户。
降低大模型使用门槛
通过加速百亿级以上大模型的训练、微调与推理,OpenBMB旨在降低大模型使用门槛,使更多人能够受益于大规模预训练语言模型的技术进步。
-
清华团队发布新的强化学习方法PRIME
最近,清华大学NLP实验室联合上海AI Lab,清华大学电子系及OpenBMB社区提出一种新的结合过程奖励的强化学习方法PRIME。通过这种学习方法,研究人员可以在不依赖任何蒸馏数据和模仿学习的情况下,仅用8张A100,花费一万块钱左右,不到10天时间,就能高效训练出一个数学能力超过GPT-4o、Llama-3.1-70B的7B模型Eurus-2-7B-PRIME。 据悉,研究人员利用Qwen2.5-Math-7B-Base作为基座模型,训练出了新模型Eurus-2-7B-PRIME,并在美国IMO选拔考试AIME -
面壁智能给大模型接入16000+真实API 效果直逼ChatGPT
近些年,开源大语言模型(LLM)进步飞快,例如LLaMA和Vicuna等模型在各种语言理解、生成任务上展现了极佳的水平。但是,当它们面对更高级别的任务,例如根据用户指令使用外部工具(API)时,仍然有些力不从心。 为了解决这个问题,面壁智能联合来自TsinghuaNLP、耶鲁、人大、腾讯、知乎的研究人员推出ToolLLM工具学习框架,加入OpenBMB大模型工具体系“全家桶”。ToolLLM 框架包括如何获取高质量工具学习训练数据、模型训练代码和模型自动评测的全流程。作者构建了ToolBench 数据集,该数据集囊 -
面壁智能联合知乎开源模型CPM-Bee 发布对话类模型产品“露卡”
5月27日,面壁智能联合知乎在2023中国国际大数据产业博览会上发布了最新的大语言模型成果,发布会上,面壁智能自研模型 CPM-Bee 10B全面开源,并推出对话类模型产品“露卡”(Luca)。这次也是面壁智能和知乎双方继“知海图AI”大模型后的第二次联合公开发布。 面壁智能将自研 CPM-Bee 10B模型开源在OpenBMB开源社区。CPM系列大模型是面壁智能团队的自研模型,享誉已久,其中包括国内首个中文大模型 CPM-1。最新项目是百亿大模型训练直播项目CPM-Live,CPM-Bee为第二期训练成果。 CP -
国内各大模型盘点汇总
火爆全球ChatGPT让大模型技术进入更多人视野,国内大厂也都纷纷使出了自己的看家本领。百度发布文心大模型,华为发布盘古大模型,商汤发布日日新大模型,阿里发布通义千问大模型,腾讯即将发布混元AI大模型,科大讯飞“星火认知大模型”将在5月6日正式发布……一时间,各大企业AI大模型落地的消息接踵而至,今天就跟随小编一起来了解一下吧! 一、百度:文心大模型 百度文心大模型源于产业、服务于产业,是产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展,打造了自主创新的AI底座,大幅降低了AI开发和应用的门槛,满足真
-
清华团队发布新的强化学习方法PRIME
最近,清华大学NLP实验室联合上海AI Lab,清华大学电子系及OpenBMB社区提出一种新的结合过程奖励的强化学习方法PRIME。通过这种学习方法,研究人员可以在不依赖任何蒸馏数据和模仿学习的情况下,仅用8张A100,花费一万块钱左右,不到10天时间,就能高效训练出一个数学能力超过GPT-4o、Llama-3.1-70B的7B模型Eurus-2-7B-PRIME。 据悉,研究人员利用Qwen2.5-Math-7B-Base作为基座模型,训练出了新模型Eurus-2-7B-PRIME,并在美国IMO选拔考试AIME -
面壁智能给大模型接入16000+真实API 效果直逼ChatGPT
近些年,开源大语言模型(LLM)进步飞快,例如LLaMA和Vicuna等模型在各种语言理解、生成任务上展现了极佳的水平。但是,当它们面对更高级别的任务,例如根据用户指令使用外部工具(API)时,仍然有些力不从心。 为了解决这个问题,面壁智能联合来自TsinghuaNLP、耶鲁、人大、腾讯、知乎的研究人员推出ToolLLM工具学习框架,加入OpenBMB大模型工具体系“全家桶”。ToolLLM 框架包括如何获取高质量工具学习训练数据、模型训练代码和模型自动评测的全流程。作者构建了ToolBench 数据集,该数据集囊 -
面壁智能联合知乎开源模型CPM-Bee 发布对话类模型产品“露卡”
5月27日,面壁智能联合知乎在2023中国国际大数据产业博览会上发布了最新的大语言模型成果,发布会上,面壁智能自研模型 CPM-Bee 10B全面开源,并推出对话类模型产品“露卡”(Luca)。这次也是面壁智能和知乎双方继“知海图AI”大模型后的第二次联合公开发布。 面壁智能将自研 CPM-Bee 10B模型开源在OpenBMB开源社区。CPM系列大模型是面壁智能团队的自研模型,享誉已久,其中包括国内首个中文大模型 CPM-1。最新项目是百亿大模型训练直播项目CPM-Live,CPM-Bee为第二期训练成果。 CP
-
国内各大模型盘点汇总
火爆全球ChatGPT让大模型技术进入更多人视野,国内大厂也都纷纷使出了自己的看家本领。百度发布文心大模型,华为发布盘古大模型,商汤发布日日新大模型,阿里发布通义千问大模型,腾讯即将发布混元AI大模型,科大讯飞“星火认知大模型”将在5月6日正式发布……一时间,各大企业AI大模型落地的消息接踵而至,今天就跟随小编一起来了解一下吧! 一、百度:文心大模型 百度文心大模型源于产业、服务于产业,是产业级知识增强大模型。百度通过大模型与国产深度学习框架融合发展,打造了自主创新的AI底座,大幅降低了AI开发和应用的门槛,满足真