近日，生成式AI平台Writer在huggingface上开源了其使用的大语言模型Palmyra，有8个型号分别是small、base、20b-chat、Instruct-20b、med-20b等，可商用、支持数据微调。
Palmyra的技术亮点包括：参数小功能强；接受过商业写作、营销数据训练，主要面向企业用户；企业级数据安全，内置多重安全护栏；提取视频、PDF、音频的内容摘要；支持数据微调，企业可打造独属于自己的“ChatGPT”助手等。
下面为大家介绍Palmyra的几个特色型号：
- InstructPalmyra-20b
这是一款基于Palmyra-20b基础模型构建的指令调优模型，支持高级自然语言处理和量身定制需求。
InstructPalmyra-20b模型在大约70000条指令-回应记录的广泛数据集上，进行了精细的训练。InstructPalmyra-20b拥有出色的处理复杂指令并生成准确、符合上下文的回应能力。这使其成为开发虚拟助手、客户支持、内容生成等广泛应用的理想模型。
此外，模型的全面训练使其能够在不同的条件和上下文下适应并表现良好，进一步扩大了其潜在的场景应用案例。
- Palmyra-med-20b
Palmyra-Med是Writer专为满足医疗保健行业需求而构建的模型，并基于医疗数据进行了指令微调。
Palmyra-Med在领先的生物医学问答PubMedQA的测试中获得了最高分，准确率高达81.1%，优于GPT-4和经过医学训练的人类测试者。可提供翻译专业医疗术语、提取医疗笔记摘要、分析海量医疗数据、自动生成医疗见解等功能。
- Palmyra Large 20B
Palmyra-Large是Writer构建的因果解码器模型，该模型在由Palmyra-Index-Data增强，并在高质量语料库中的8000亿数据上进行了训练。Palmyra Large在模型预训练过程中使用了因果语言建模（CLM）目标。与GPT-3类似，因此，其利用自监督因果语言建模的目标进行了预训练。
该模型运行效率非常快，资源消耗却很少，适用于医疗、营销、市场、IT、设计、人力资源等业务场景，打造量身定制的AI助手。
Palmyra在多项重要测试中排名第一，在大规模多任务语言理解（MMLU）上得分为60.9%，在BoolQ上得分为89.6%，在NaturalQuestions上得分为79.0%。
总之，Palmyra非常值得那些希望将大语言模型实现商业化的开发者们，研究其模型架构和功能借鉴其成功经验。
