IT小白秒会!教你简单部署QwQ-32B(二)
基础环境:Windows 10 LTSC
主机配置:16C64G+300G+RTX4090-24G
一、Ollama下载安装 (https://ollama.ai/)
Ollama 是一个开源跨平台框架,专为在本地计算机上高效运行、管理和部署大型语言模型(LLM)而设计,其核心目标是降低个人及企业在本地使用大模型的技术门槛
官方下载地址:https://ollama.com/download/OllamaSetup.exe
github地址:https://github.com/ollama/ollama
如果下载打不开可以通过网盘下载:版本为v0.6.2
123网盘:https://www.123pan.com/s/Tzx1jv-0FWeh
二、Deepseek模型拉取&运行
安装完检查版本号和端口号情况
下载Deepseek-R1模型,此处RTX4090显存24G下载14B模型测试
模型网站:https://ollama.com/library/qwq
PS: 如果中途下载很慢,可尝试终端再继续下载(Ctrl+C)
拉取镜像命令:ollama pull qwq
运行模型命令:ollama run qwq
三、Deepseek本地调用,使用谷歌浏览器插件
Page Assist是一款开源浏览器插件,通过集成本地AI模型(如Ollama、Gemini Nano等)在侧边栏或WebUI界面提供网页上下文智能交互,支持实时对话、多格式文档解析及隐私安全的离线操作
参考Github链接:https://github.com/n4ze3m/page-assist
123网盘下载:https://www.123pan.com/s/Tzx1jv-cFWeh
关注我畅享更多云端GPU算力乐趣
QQ:353559555
网站:renda.vip
仁达云电脑QQ群:
793954333
云电脑支持Qwen32B·4090一键开通使用,免部署 欢迎体验!