最近,微软重磅开源DeepSeek-R1魔改版MAI-DS-R1,在保留原有推理性能的基础上,在响应和屏蔽词方面进行了改进。MAI-DS-R1可以响应99.3%的敏感话题提示,比原版R1提升了2倍,这对于政治学术研究、社会问题、伦理道德研究等帮助巨大。有一点需要注意的是,安全风险大幅度降低,比原版R1降低了50%。
微软在训练MAI-DS-R1的过程中,从大约350000个被屏蔽的主题示例中,收集和筛选查询关键词,将这些关键词转化为多个问题,并翻译成不同语言。此外,还通过DeepSeek R1和内部模型为这些问题生成答案和思维链。此外,训练数据中还纳入了来自Tulu3 SFT数据集的110K个安全和违规示例,这些示例涵盖了CoCoNot、WildJailbreak和WildGuardMix等内容。
微软对MAI-DS-R1进行了综合评估,具体如下:
1、敏感话题响应方面:MAI-DS-R1能够成功响应99.3%的敏感话题提示,这一表现显著优于DeepSeek R1和R1-1776。
2、安全性评估方面:MAI-DS-R1在HarmBench评估中表现出色,相比DeepSeek R1和R1-1776,在减少有害内容方面降低了50%风险。这说明虽然MAI-DS-R1能响应更多的敏感话题,但还是在安全控制范围之内。
3、推理能力方面:MAI-DS-R1保持了与DeepSeek R1相同的推理能力,在一般知识、推理、数学和编程基准测试中表现非常出色。
4、伦理和法律标准方面:MAI-DS-R1在处理非法或不道德的请求时表现得更加谨慎,拒绝生成有害或不当的内容。
此外,MAI-DS-R1在后训练过程中将问题翻译成多种语言,能够更好地适应不同语言环境下的需求。这使得MAI-DS-R1在需要多语言支持的领域,如国际组织、跨国企业、教育机构等,能够提供多语言的高质量回答。目前,微软已经在huggingface开源了该模型,同时在Azure AI Foundry进行了发布。