DeepSeek-R1是幻方量化旗下AI公司深度求索发布的高性能AI推理模型,是一款具备强大推理能力和多模态交互功能的大型语言模型,在数学、代码、自然语言推理等任务上都有着优异的表现。本文就来为大家介绍一下在京东云上使用Ollama部署DeepSeek-R1教程。
本文使用Ollama部署和运行DeepSeek-R1 1.5B/8B/14B/32B多个版本模型,内置Open WebUI,用户可直接通过IP地址访问Open WebUI,选择DeepSeek-R1模型进行对话。
Ollama:是一个专注于本地部署大型语言模型的轻量级框架,简化了大型语言模型在Docker容器中的部署过程,通过简洁的API和自定义选项,降低了与模型交互的技术门槛
一、创建DeepSeek-R1
1、创建服务实例
进入京东云官网,找到计算工厂>服务市场查找服务,或直接点击服务链接进入服务实例创建页。在服务实例创建页面完成相关配置选择,不同套餐之间差异主要是云主机规格不同,服务部署推荐使用至少24G显存的GPU类型实例规格,可对比价格按需选择不同类型不同GPU卡数量的规格套餐。
京东云云主机是一种管理便捷、安全稳定的弹性计算服务,用户可实时、快速地创建多台云主机,并可根据业务需要随时扩展或缩减计算资源,按需付费,节约成本,帮助用户更高效可靠的开展业务。目前提供多种规格的产品服务,包括通用共享型、突发性能型、GPU型、计算优化标准型等,可以满足用户的不同使用场景。
《点击进入官网选购》
本文选择的规格如下:
注:
- 如套餐售罄通常为主机规格在所选地域或可用区下售罄,可尝试切换地域及可用区选项。
- 套餐中仅列出部分GPU规格,如期望使用其他规格可在服务部署成功后前往京东云云主机页面通过调整配置操作调整至其他规格。
2、确认配置及价格后,点击立即购买,服务将自动完成相关资源的创建,在服务实例页面可查看服务部署结果,成功后可按下方步骤访问服务。
3、获取服务访问地址
服务实例部署成功后,在服务实例详情页云资源TAB内找到云主机,获取公网/内网IP地址,根据公网/内网访问情况选择对应地址。
二、部署DeepSeek-R1
1、通过OpenWebUI访问
Open WebUI是一个可扩展、功能丰富且用户友好的自托管Web界面,安装简单,支持多种大型语言模型,包括Ollama和兼容OpenAI的API,用户可以在不同的聊天模型之间无缝切换。
a.使用浏览器访问OpenWebUI,地址为http://<IP地址>:8080,其中<IP地址>是参照上一步获取到的云主机的公网/内网IP地址。点击开始使用后按页面提示自定义管理员账号完成注册。
b.注册登录成功后即可选择模型进行对话,单卡服务模版默认1.5B模型,多卡服务模版默认8B模型,可自行切换选择。模型参数越大需要的显存越多,加载模型耗时越长,每次切换模型后的首次对话都需要重新加载模型,可能会出现访问失败的情况,如遇此情况可继续提问等待模型加载完成后即可正常返回内容。
2、通过API访问
通过API接口访问服务,同样根据请求端所处环境选择使用内网/公网IP地址,使用CURL命令请求示例如下,须注意model处需参考模型列表正确填写模型名称和版本。
curl -X POST http://<IP地址>:11434/api/generate \
-d '{
"model": "deepseek-r1:8b",
"prompt": "你好,deekseek!",
"stream": false
}'
相关推荐:《京东云一键部署DeepSeek系列模型教程》