IT小白秒会!教你简单部署QwQ-32B(一)
基础环境:Windows 10 LTSC
主机配置:16C64G+300G+RTX4090-24G
一、Ollama下载安装 (https://ollama.ai/)
Ollama 是一个开源跨平台框架,专为在本地计算机上高效运行、管理和部署大型语言模型(LLM)而设计,其核心目标是降低个人及企业在本地使用大模型的技术门槛
官方下载地址:https://ollama.com/download/OllamaSetup.exe
github地址:https://github.com/ollama/ollama
如果下载打不开可以通过网盘下载:版本为v0.6.2
123网盘:https://www.123pan.com/s/Tzx1jv-0FWeh
二、Deepseek模型拉取&运行
安装完检查版本号和端口号情况
下载Deepseek-R1模型,此处RTX4090显存24G下载14B模型测试
模型网站:https://ollama.com/library/qwq
PS: 如果中途下载很慢,可尝试终端再继续下载(Ctrl+C)
拉取镜像命令:ollama pull qwq
运行模型命令:ollama run qwq
三、Deepseek本地调用,使用Chatbox软件
Chatbox 是一款跨平台 AI 客户端应用,支持 GPT、Claude、Gemini 等多种先进模型 API 接入,提供本地数据存储、多模态文件处理和高效协作功能,助力用户提升工作效率
关注我畅享更多云端GPU算力乐趣
QQ:353559555
网站:renda.vip
仁达云电脑QQ群:
793954333
云电脑支持Qwen32B·4090一键开通使用,免部署 欢迎体验!