谷歌发布大语言模型PaLM 2 可在手机运行

当地时间5月10日,谷歌召开2023 Google I/O技术大会,生成式AI成为本次大会的重点。大会上,谷歌宣布免费开放类ChatGPT产品——Bard、将类ChatGPT功能集成在核心搜索引擎中等重大事项。除此之外,还有一件事情也格外受人关注,那就是谷歌最新发布的大语言模型PaLM 2。PaLM 2对标GPT-4,基本上与GPT-4相似,已经开放了API测试申请渠道。

API申请地址:https://makersuite.google.com/waitlist

PaLM 2的主要功能包括多语言、生成代码、推理能力等。

一、多语言

PaLM 2在多语言文本方面接受了更多的训练,涵盖100多种语言。显著提高了在多种语言中理解、生成和翻译细微差别文本(包括成语、诗歌和谜语)的能力。PaLM 2还通过了“精通”级别的高级语言能力考试。

二、生成代码

PaLM 2在大量公开可用的源代码数据集上进行了预训练。这意味着擅长Python、JavaScript 等流行的编程语言,同时也可以生成 Prolog、Fortran 和Verilog 等语言的专用代码。

三、推理能力

PaLM 2的广泛数据集包括科学论文和包含数学表达式的网页。因此, PaLM 2具备强大的逻辑、常识推理和数学方面的能力,比之前的PaLM更容易理解人类的意图。

PaLM 2

2022年4月份,谷歌曾首次推出PaLM 模型。此次推出的PaLM 2则是PaLM的升级版,主要对PaLM 进行了三点优化。

一、使用计算最优缩放

计算最优缩放的基本思想是按比例缩放模型大小和训练数据集大小。这种新技术使PaLM 2比PaLM更小,但效率更高,整体性能更好,包括更快的推理、更少的服务参数和更低的成本。

二、增强数据集混合

PaLM的训练数据集主要是英文。PaLM 2通过更多语言和多样化的预训练混合,改进了语料库,其中包括数百种人类和编程语言、数学方程式、科学论文和网页等。

三、更新的模型架构

PaLM 2增强了模型架构,并接受了各种不同任务的训练,所有这些都有助于PaLM 2学习不同的语言和任务。

值得注意的是,PaLM 2提供了Gecko、Otter、Bison和Unicorn四种模型。其中,Gecko非常非常轻巧,可以在移动设备端运行快速运行(手机、Pad等)。这也意味着未来大家可以随时使用大语言模型,不受地点、时间的限制。

AI俱乐部,致力于打造最专业的AI交流社群。

星球将分享:

1、ChatGPT的使用方法,最新资讯,商业价。

2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。

3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。

4、系列课程和训练营,手把手带着大家去实操ChatGPT。

5、一些副业思考、创业案例、落地案例分享。

6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。

如果有小伙伴感兴趣的话,可以一起加入星球哦!

AI俱乐部

服务商动态

弘玑Cyclone与RPA中国联合主办2023第三届中国RPA+AI开发者大赛

2023-5-10 10:50:36

服务商动态

阿里云王超:云计算将成为大模型必选算力底座

2023-5-11 10:22:31

相关推荐