7月4日,腾讯云正式发布AI 原生(AI Native)向量数据库Tencent Cloud VectorDB。据悉,该数据库能够被广泛应用于大模型的训练、推理和知识库补充等场景,是国内首个AI原生(AI Native)的向量数据库。
“如果你看好AI大模型,就应该看好向量数据库”,腾讯云数据库副总经理罗云表示,随着大模型的不断发展和普及,AI Native向量数据库将成为企业数据处理的标配。
向量数据库通过把数据向量化然后进行存储和查询,能极大提升效率和降低成本。它能解决大模型预训练成本高、没有“长期记忆”、知识更新不足、提示词工程复杂等问题,突破大模型在时间和空间上的限制,加速大模型落地行业场景。简而言之,如果大模型是一个智能的处理器,那向量数据库就是配合这台处理器的”外置缓存"。
腾讯云向量数据库最高支持业界领先的10亿级向量检索规模,并将延迟控制在毫秒级。相比传统单机插件式数据库检索规模提升10倍,同时具备百万级每秒查询(QPS)的峰值能力。
针对大模型场景,腾讯云向量数据库在接入层、计算层、存储层实现了全面AI化:在接入层,智能化支持自然语言文本的直接检索;在计算层,通过AI算子替代企业寻找/调优AI算法,将接入工期从一个月缩短到3天;在存储层,融合智能压缩算法,把向量存储成本降低50%。
统计显示,将腾讯云向量数据库用于大模型预训练数据的分类、去重和清洗,相比传统方式可以实现10倍效率的提升。如果将向量数据库作为外部知识库用于模型推理,则可以将成本降低2~4个数量级。
腾讯云向量数据库经历了腾讯内部业务的长期锤炼:覆盖腾讯视频、QQ浏览器、QQ音乐等上百个业务场景,每日调用量超千亿次;支撑QQ音乐人均听歌时长提升3.2%,QQ浏览器成本降低37.9%,腾讯视频有效曝光人均时长提升1.74%;向量化能力(embedding)多次获得权威机构认可,曾登顶MS MARCO榜单第一。
展望未来,“向量数据库+大模型+数据”将产生“飞轮效应”,共同助力企业步入AI Native(AI原生)时代。
AI俱乐部,致力于打造最专业的AI交流社群。
星球将分享:
1、ChatGPT的使用方法,最新资讯,商业价。
2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。
4、系列课程和训练营,手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话,可以一起加入星球哦!