如何使用Ollama（完整Ollama速查表）- Apidog

人工智能技术正在迅速发展，大型语言模型（LLMs）日益复杂，并逐步融入我们的数字生活。尽管基于云的AI服务提供了便利，但越来越多的用户倾向于在本地运行这些强大的模型。这种方式不仅能增强隐私保护，还能节省成本并提供更高的控制权。Ollama作为一款革命性工具，极大地简化了下载、配置和操作Llama 3、Mistral、Gemma、Phi等尖端LLM的过程。

本指南将帮助您从零开始掌握Ollama，从安装、基本操作到高级定制和故障排除，无论您是开发者、研究者还是AI爱好者，都能从中受益。

为什么选择Ollama在本地运行AI模型？

相比依赖云API，在本地运行AI模型有以下显著优势：

1. 隐私与安全性
   Ollama允许您在本地运行LLM，所有数据（如提示、文档和生成的文本）都存储在本地硬件中，确保数据不外泄。这对处理敏感信息或专有研究尤为重要。

2. 成本节约
   云端LLM服务通常按使用量收费，频繁使用会导致高昂费用。而通过Ollama，除了硬件投资外，运行模型几乎无需额外成本，支持无限制的实验和生成。

3. 离线运行
   下载模型后，Ollama支持完全离线运行，无需依赖互联网连接。这对网络受限环境下的开发者或研究者尤为有用。

4. 支持定制化模型
   Ollama的“模型文件”系统允许用户调整模型参数、定义自定义提示，甚至集成LoRA适配器，轻松实现模型行为的个性化定制。

5. 高性能与低延迟
   在本地硬件（尤其是支持GPU的设备）上运行模型，响应速度更快，避免了云服务的网络延迟和资源共享问题。

6. 开源与社区支持
   Ollama是开源项目，用户可受益于社区贡献和开放协作，加入快速扩展的LLM生态系统。

Ollama通过优化的推理引擎（如llama.cpp），在消费级硬件上实现了高效执行，同时支持CPU和GPU加速。

Ollama与llama.cpp的区别

llama.cpp 是一个高性能的C/C++库，专注于LLM推理任务，支持多种硬件架构（如AVX指令集、CUDA、Metal等）。
Ollama 则是在llama.cpp基础上构建的应用程序，提供了更友好的用户界面和功能，包括：

• 简单易用的命令行界面（CLI）
• 内置REST API服务器，支持编程集成
• 模型管理工具（下载、存储、更新）
• 模型定制功能（通过“模型文件”）
• 跨平台支持（macOS、Windows、Linux、Docker）
• 自动硬件检测与配置

简而言之，llama.cpp是引擎，而Ollama是用户友好的整车。

如何安装Ollama

Ollama支持macOS、Windows、Linux和Docker环境，安装过程简单。

系统要求

• 内存（RAM）

  • 最低：8GB（适合小型模型，如1B、3B、7B参数）
  • 推荐：16GB（适合7B和13B模型）
  • 理想：32GB及以上（适合30B及以上模型）

• 磁盘空间

  • 小型模型：约2GB
  • 中型模型：约4-5GB
  • 大型模型：约40GB
  • 超大型模型：超过200GB

• 操作系统

  • macOS：Big Sur 11或更高版本，建议Apple Silicon芯片
  • Windows：Windows 10（22H2）或Windows 11
  • Linux：现代发行版（如Ubuntu 20.04+、Fedora 38+）

在macOS上安装

1. 下载：从Ollama官网获取DMG文件。
2. 挂载：双击DMG文件打开安装程序。
3. 启动：将应用程序拖入“应用程序”文件夹并运行。
4. 后台服务：启动后，Ollama会作为后台服务运行，图标显示在菜单栏中。

在Apple Silicon设备上，Ollama通过Metal API自动利用GPU，无需额外配置。

在Windows上安装

1. 下载：从官网获取安装程序（OllamaSetup.exe）。
2. 安装：运行安装程序，按照提示完成安装。
3. 启动：安装完成后，Ollama会自动作为后台服务运行，并将命令行工具添加到系统PATH。

注意：确保安装最新的显卡驱动（如NVIDIA或AMD）。

在Linux上安装

使用官方安装脚本快速安装：

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动检测系统架构，下载并安装适配的二进制文件，同时配置必要的服务。

使用Docker运行Ollama

Docker提供了一种隔离的运行环境，适合复杂的GPU设置：

docker run -d 
  -v ollama_data:/root/.ollama 
  -p 127.0.0.1:11434:11434 
  --name my_ollama 
  ollama/ollama

• -v：挂载本地存储，确保模型数据持久化。
• --name：为容器指定名称。
• ollama/ollama：使用官方Docker镜像。

如何使用Ollama

下载模型

使用ollama pull命令下载模型：

ollama pull llama3.2

支持多种模型和参数配置，如：

• llama3.2:8B（8B参数模型）
• mistral:7B（7B参数模型）
• phi4-mini（小型高效模型）

下载的模型会存储在默认目录中，可通过环境变量OLLAMA_MODELS自定义存储路径。

与模型交互

使用ollama run命令启动与模型的交互：

ollama run llama3.2

输入问题或指令后，模型会逐步生成响应。例如：

>>> 用简单的术语解释量子纠缠。

管理模型

• 列出已下载模型：ollama list
• 查看模型详情：ollama show llama3.2
• 删除模型：ollama rm llama3.2
• 复制模型：ollama cp llama3.2 my-custom-model

高级功能

使用API集成

Ollama内置REST API，默认监听http://localhost:11434，支持以下操作：

• 生成文本：POST /api/generate
• 会话交互：POST /api/chat
• 管理模型：GET /api/tags、POST /api/create

定制模型

通过“模型文件”系统，用户可以调整模型参数、模板和行为。例如：

FROM llama3.2:8B
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
SYSTEM "你是一个友好的AI助手。"

使用ollama create命令生成自定义模型。

总结

Ollama通过简化LLM的本地运行流程，为开发者和AI爱好者提供了强大的工具。无论是隐私保护、成本节约还是离线运行，Ollama都能满足多样化需求。通过其直观的界面和灵活的定制能力，您可以轻松探索AI的无限可能。

立即下载Ollama，开启本地AI模型的探索之旅！

原文链接: https://apidog.com/blog/how-to-use-ollama/