阿里云通义千问宣布发布并开源最新的推理模型QwQ-32B，这是一款拥有320亿参数的模型，在数学、代码及通用能力上整体性能比肩DeepSeek-R1，并降低了部署使用成本，在消费级显卡上也能实现本地部署。目前，QwQ-32B已在Hugging Face和ModelScope开源，并采用了Apache 2.0开源协议。
QwQ-32B通过整合强化学习和结构化自我提问，进一步提升了性能，旨在成为推理AI领域的重要竞争者。QwQ团队的研究表明，强化学习可以显著提高模型解决复杂问题的能力。QwQ-32B采用了多阶段强化学习训练方法，以增强数学推理、编码能力和通用问题解决能力.
在考察科学问题解决能力的GPQA评测集上，QwQ获得65.2%的准确率，具备研究生水平的科学推理能力；在涵盖综合数学主题的AIME评测中，QwQ以50%的胜率证明其拥有解决数学问题的丰富技能；在全面考察数学解题能力的MATH-500评测中，QwQ斩获90.6%的高分，一举超越o1-preview和o1-mini；在评估高难度代码生成的LiveCodeBench评测中，QwQ答对一半的题，在编程竞赛题场景中也有出色表现。
QwQ-32B采用了因果语言模型架构，并进行了多项优化，包括64个Transformer层、RoPE、SwiGLU、RMSNorm和Attention QKV bias。它还采用了广义查询注意力（GQA），拥有131，072tokens的扩展上下文长度，并经历了包括预训练、监督微调和强化学习在内的多阶段训练。
QwQ-32B的强化学习过程分为两个阶段:首先专注于数学和编码能力，利用准确性验证器和代码执行服务器进行训练。第二阶段则通过通用奖励模型和基于规则的验证器进行奖励训练，以提高指令跟随、人类对齐和代理推理能力，同时不影响其数学和编码能力。
QwQ-32B还具备agentic capabilities，能够根据环境反馈动态调整推理过程。Qwen团队建议使用特定的推理设置以获得最佳性能，并支持使用vLLM进行部署。
Qwen团队将QwQ-32B视为通过扩展强化学习增强推理能力的第一步，未来计划进一步探索扩展强化学习、整合代理与强化学习以实现长期推理，并持续开发为强化学习优化的基础模型，最终迈向通用人工智能（AGI）。
