Ollama 模型管理工具

type

status

date

slug

summary

主要特点

本地运行：Ollama 允许用户在本地计算机上运行大型语言模型，而不需要依赖云服务。这对于数据隐私和安全性要求较高的场景非常有用。

简单易用：通过命令行工具，用户可以轻松地下载、安装和运行模型。Ollama 提供了简单的命令来启动模型并与模型进行交互。

支持多种模型：Ollama 支持多种流行的语言模型，包括 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2 等。用户可以根据自己的需求选择合适的模型。

跨平台支持：Ollama 支持多种操作系统，包括 Linux、macOS 和 Windows，用户可以在不同的平台上使用相同的工具。

开源：Ollama 是一个开源项目，用户可以自由地查看、修改和分发其代码。

本地部署私有模型适用于以下场景

设备性能较强，配备独立显卡，能够支撑高效运行。

需要处理敏感数据，对数据安全性有较高要求，以防泄露。

需要与本地工作流程紧密结合，应对频繁或复杂的任务处理。

日常频繁使用，且 API 调用成本较高，本地部署有助于降低成本。

希望在开源模型基础上，进行个性化定制和优化。

安装命令

在 Ollama 下载页面，我们可以根据自己操作系统类型选择不同的下载方式。

安装完成后，打开 cmd 命令行窗口，输入 ollama -v 验证是否安装成功。

配置模型库下载加速

ollama 国内镜像源

镜像提供商	镜像地址	特性
阿里云	`https://registry.ollama.ai`	企业级CDN加速
DeepSeek官方镜像	`https://ollama.deepseek.com`	原生支持代码模型
浙江大学镜像站	`https://ollama.zju.edu.cn`	学术网络优化
魔搭社区	`https://ollama.modelscope.cn`	中文模型生态整合

Linux/macOS 配置

Windows 配置

在资源管理器地址栏输入 %USERPROFILE%\.ollama

新建config.json文件，内容：

模型部署-硬件适配方案

量化精度	显存需求	内存需求	适用场景	示例硬件配置
FP32	24GB+	32GB+	科研级代码生成	RTX 3090 + DDR4 64GB
FP16	12GB	24GB	专业开发工作站	RTX 4080 + DDR5 32GB
INT8	8GB	16GB	主流游戏本	RTX 3060 + DDR4 16GB
INT4	6GB	8GB	轻薄本开发	Apple M2 Pro 16GB

部署命令示例：

本地部署

前面我们已经安装好了 Ollama，接下来可以借助 Ollama 工具来部署 Deepseek 大模型。首先，访问 Deepsee Model 的 deepseek-r1 模型页面，在这个页面中，我们可以看到 1.5b、7b 等不同规模的模型版本，每个版本右侧会明确标注每个版本所需的显存配置。

其次，根据自己电脑的显卡配置选择合适的版本。例如，部署 deepseek-r1:7b 版本：

部署完成后，我们就可以与 Deepseek 大模型进行对话了：

使用Ollama AP进行集成，检查运行服务

本地部署地址一般为：http://127.0.0.1:11434

使用 curl 发送请求：

通过 Ollama 部署 Deepseek 模型之后，我们就可以在终端与其进行对话了。由于是在终端里面，交互体验相对较为简洁和不够直观，长时间的对话可能会让操作变得不够流畅。为了更方便地与模型进行对话，我们可以使用可视化的聊天项目，例如 Open WebUI、ChatBox 等。通过这些工具，我们能够获得更加直观和流畅的交互体验。接下来将演示如何安装并通过 ChatBox 使用 Deepseek。

ChatBox安装

首先，进入 Chatboxai，通过 免费下载 按钮下载软件安装包并进行安装。

然后打开 Chatbox。首次打开我们会看到以下选项，选择 “使用自己的 API Key 或本地模型”，然后在新的标签页里选择 Ollama API。

接下来，我们能在模型列表里看到通过 Ollama 所部署的大模型，选择 deepseek-r1:7b，然后点击保存。

保存之后，我们就可以在对话框里与 Deepseek 大模型进行对话了。

Open WebUI安装

使用 Web 界面交互模型，可以安装 Open-WebUI。该工具提供了一个用户友好的 Web 前端，使得 DeepSeek-R1 更加易用。

机器提前安装好Docker，然后启动 Open-WebUI 容器

p 3000:8080：将容器的 8080 端口映射到本机 3000 端口；

-add-host=host.docker.internal:host-gateway：允许容器访问宿主机网络；

v open-webui:/app/backend/data：挂载数据存储目录，保存容器的状态和数据。

-restart always：确保容器在重启后自动运行；

ghcr.io/open-webui/open-webui:main：拉取 Open-WebUI 的最新版本镜像。

运行容器后，访问 http://localhost:3000 即可访问 Open-WebUI。

在 VS Code 里集成 Deepseek

接下来，我将演示如何在 VS Code 中通过 Continue 插件集成 Deepseek。Continue 是一款领先的开源 AI 代码助手。我们可以将任意模型和上下文连接起来，在 VS Code 和 JetBrains 中构建定制化的自动补全和聊天功能。

首先，安装 Cotinue 插件。

其次，点击 Add Chat model 添加模型。

接下来，Provider 选项选择 Ollama，Model 选项选择 Autodetect，然后点击 Connect，这样就可以自动选择我们刚才所部署的 deepseek-r1:7b 模型了。

对话测试与代码生成测试：

在 JetBrains 系列开发工具中集成 DeepSeek 的方式，与在 VS Code 中的集成方法类似。

小结

借助 Ollama 工具，本地部署 DeepSeek 蒸馏模型的过程非常简单。然而，需要注意的是，本地部署的 DeepSeek 大模型在性能上与官网提供的在线版本存在显著差距，尤其是在模型的思考能力和响应速度方面。除非拥有高性能显卡以支持部署更强大的蒸馏模型，并能够进行本地数据训练，否则建议优先使用官方提供的 Web 版或 App 版本，以获得更优质的使用体验。