2023年是当之无愧的“大模型之年”,在炙热的大模型赛道里,基于中文大模型的发布也是层出不穷,相较于通用大模型的“大而全”,人们开始期待出现更加精细化的大模型产品。近日,幂律和智谱AI联合发布基于中文千亿大模型的法律垂直大模型——PowerLawGLM,聚焦于法律细分领域,针对中文法律场景的应用效果具有独特优势,具备丰富的法律知识和法律语言理解能力。
PowerLawGLM法律大模型,基于智谱目前效果最好的ChatGLM 130B通用千亿对话大模型进行联合研发,训练过程主要有三步:
第一步、基座层
通用大模型在法律场景的应用效果问题,最基础的原因在于基座大模型没有经过大量高质量专业法律文本数据的训练。双方基于ChatGLM130B的基座大模型GLM 130B,经过了多轮多次高质量法律文本数据(裁判文书、法律法规、法律知识问答等)清洗及模型增量训练,得到法律版基座大模型LawGLM 130B。
第二步、对话层
LawGLM 130B基座模型具备了文本生成能力,但在法律对话能力上存在欠缺,因此需要利用大量的法律领域对话数据进行监督微调。双方利用了近百万对高质量法律知识问题数据,来训练得到PowerLawGLM beta版,此时,它已经初步具备了法律场景的端到端生成式对话能力以及独特的回答习惯。
第三步、应用层
法律问答的很多场景都有其特殊性,对于结果准确性的要求、可解释性的要求较高,直接大模型来端到端生成回答,会面临很多效果问题,例如引用失效法律、杜撰法条案例、与法律人处理逻辑不一致等等。因此幂律设计了一系列通用型及场景特定型的工程化优化方案,来提升法律问答的有法可依和引用法条内容的准确性,最终提升法律问答的专业性和可靠性。
通过以上三层结构,PowerLawGLM大模型对法律专业文本的理解、推理与生成能力得到了显著提升。基于PowerLawGLM大模型的能力,幂律打造了法律对话产品ChatMe,现已正式上线。未来,幂律计划将法律大模型能力深度融入智能合同管理产品MeFlow及智能合同审查产品MeCheck中。同时,幂律将面向企业客户开放能力接口,企业可以将法律大模型能力快速接入现有业务流与系统中,带来效率提升。
AI俱乐部,致力于打造最专业的AI交流社群。
星球将分享:
1、ChatGPT的使用方法,最新资讯,商业价。
2、邀请顶尖行业大佬,每周给大家发现一个商业落地案例。
3、组织星球小伙伴一起参与实战项目,亲身感受AI浪潮。
4、系列课程和训练营,手把手带着大家去实操ChatGPT。
5、一些副业思考、创业案例、落地案例分享。
6、最早期、专业的AI交流社群。探讨未来关于ChatGPT的机遇,帮助大家解决遇到的问题。
如果有小伙伴感兴趣的话,可以一起加入星球哦!