使用 Ollama 替代 OpenAI：在生成式人工智能中的实践指南

在本文中，我们将探讨如何在生成式人工智能（Generative AI）中使用替代的语言模型（LLM）。尽管 OpenAI 是目前广泛使用的选择，但本文将向您展示如何使用 Ollama 以及它相较于 OpenAI 的优势。

一. 使用生成式人工智能的传统流程

在传统的生成式人工智能模型中，通常遵循以下步骤：

1. 数据处理：从数据源（如文档或文件）中提取文本，并将其转换为向量。
2. 模型推理：使用 LLM（如 OpenAI）处理这些向量化的数据。

在 InterSystems 开发者社区 中，有一些示例可供参考，例如：

• Iris Vector Search
• IRIS AI Studio

这些示例中，LLM 通常依赖订阅服务（如 OpenAI），通过 API Key 调用 REST API，将矢量化数据作为上下文输入，并生成相应回答。

二. 为什么选择 Ollama？

Ollama 可作为 OpenAI 的本地替代方案，主要优势如下：

1. 更高的安全性：Ollama 在本地运行，无需将敏感数据传输到第三方 API，可更好保护隐私。
2. 无需订阅服务：Ollama 本地运行，不收取额外订阅费用。

注意事项：Ollama 对硬件资源有一定要求，建议至少 16GB 内存，否则可能无法顺利运行。

三. 安装与使用 Ollama

要开始使用 Ollama，可按照以下步骤操作：

1. 下载与安装：从 Ollama 官网 下载并安装软件。
2. 在代码中调用 Ollama：替代 OpenAI，例如 Python 配置示例：

Settings.llm = Ollama(Model="Callam3.2", Request_Timeout=360.0)

更多使用细节可参考 Ollama AI IRIS 的 Open Exchange 应用程序。

四. 实践示例：加载矢量化文本并提问

步骤 1：加载矢量化文本

将文本向量化后加载到 IRIS 中。在 GitHub 仓库 的 data/example 目录中，可找到示例文本。

步骤 2：基于背景提问

使用矢量化文本作为上下文，向 Ollama 提问。例如：

• 问题：作者做了什么？
  回答：

• 问题：作者喜欢绘画吗？
  回答：

注：具体回答会根据加载的文本和 Ollama 模型生成。

五. 总结

通过使用 Ollama，您可以：

• 在本地运行生成式人工智能模型，避免数据传输到第三方 API 的安全隐患。
• 无需订阅费用即可使用高性能 LLM。
• 结合 IRIS 平台，高效处理矢量化数据并生成智能响应。

注意：Ollama 对硬件资源要求较高，需根据实际环境进行配置。

原文链接：
https://es.community.intersystems.com/post/ollama-ai-con-iris