通过 ollama部署大模型开发环境。

ollama 介绍

Ollama 是一个用于在本地运行大型语言模型（LLM）的工具，它允许开发者在不依赖云端服务的情况下，直接在本地环境中运行模型进行推理和开发。Ollama 提供了简洁的接口和高效的性能，支持多种主流语言模型，并且易于集成到开发流程中。以下是 Ollama 的核心特点：

本地运行：无需联网，所有计算都在本地完成，保障数据隐私。 多模型支持：支持多种语言模型，如 Llama、GPT-Neo 等，方便开发者灵活选择。 轻量级接口：提供简单的 API 接口，便于与应用程序集成。 跨平台：支持主流操作系统，包括 macOS、Linux 和 Windows。 高效推理：优化的模型推理引擎，提供快速响应和低资源占用。

环境准备

  • 操作系统：Ubuntu 24.04
  • docker 环境：Docker Desktop

安装部署Ollama

  1. ollama 部署 curl -fsSL https://ollama.com/install.sh | sh
  2. 启动服务 ollama serve
  3. 部署并运行模型 ollama run deepseed-r1:14b
  4. 测试模型 正常可以进行对话就说明运行正常。 利用 ollama 部署本地大模型-0
  5. 查看运行的模型列表 ollama list 利用 ollama 部署本地大模型-1
  6. 修改 ollama 配置文件，保证可以外部访问 sudo systemctl edit –full ollama.service 增加以下内容，追加的时候注意空格 “OLLAMA_HOST=0.0.0.0” 利用 ollama 部署本地大模型-2

部署open-webui

  1. 启动 docker-desktop
  2. docker 启动 open-webui docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway -v /home/azhe/data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
  3. 访问 http://localhost:8080
  4. 注册账号
  5. 登录账号，设置 ollama 已安装的模型就可以对话了 利用 ollama 部署本地大模型-3