当地时间5月10日,谷歌召开2023 Google I/O技术大会,生成式AI成为本次大会的重点。大会上,谷歌宣布免费开放类ChatGPT产品——Bard、将类ChatGPT功能集成在核心搜索引擎中等重大事项。除此之外,还有一件事情也格外受人关注,那就是谷歌最新发布的大语言模型PaLM 2。PaLM 2对标GPT-4,基本上与GPT-4相似,已经开放了API测试申请渠道。
API申请地址:https://makersuite.google.com/waitlist
PaLM 2的主要功能包括多语言、生成代码、推理能力等。
一、多语言
PaLM 2在多语言文本方面接受了更多的训练,涵盖100多种语言。显著提高了在多种语言中理解、生成和翻译细微差别文本(包括成语、诗歌和谜语)的能力。PaLM 2还通过了“精通”级别的高级语言能力考试。
二、生成代码
PaLM 2在大量公开可用的源代码数据集上进行了预训练。这意味着擅长Python、JavaScript 等流行的编程语言,同时也可以生成 Prolog、Fortran 和Verilog 等语言的专用代码。
三、推理能力
PaLM 2的广泛数据集包括科学论文和包含数学表达式的网页。因此, PaLM 2具备强大的逻辑、常识推理和数学方面的能力,比之前的PaLM更容易理解人类的意图。
2022年4月份,谷歌曾首次推出PaLM 模型。此次推出的PaLM 2则是PaLM的升级版,主要对PaLM 进行了三点优化。
一、使用计算最优缩放
计算最优缩放的基本思想是按比例缩放模型大小和训练数据集大小。这种新技术使PaLM 2比PaLM更小,但效率更高,整体性能更好,包括更快的推理、更少的服务参数和更低的成本。
二、增强数据集混合
PaLM的训练数据集主要是英文。PaLM 2通过更多语言和多样化的预训练混合,改进了语料库,其中包括数百种人类和编程语言、数学方程式、科学论文和网页等。
三、更新的模型架构
PaLM 2增强了模型架构,并接受了各种不同任务的训练,所有这些都有助于PaLM 2学习不同的语言和任务。
值得注意的是,PaLM 2提供了Gecko、Otter、Bison和Unicorn四种模型。其中,Gecko非常非常轻巧,可以在移动设备端运行快速运行(手机、Pad等)。这也意味着未来大家可以随时使用大语言模型,不受地点、时间的限制。
AI俱乐部,致力于打造最专业的AI交流社群。
星球将分享:
1、ChatGPT的使用方法,最新资讯,商业价。
2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。
4、系列课程和训练营,手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话,可以一起加入星球哦!