使用 Ollama 替代 OpenAI：在生成式人工智能中的实践指南

在本文中，我们将探讨如何在生成式人工智能中使用替代的语言模型（LLM）。尽管OpenAI是目前广泛使用的选择，但本文将向您展示如何使用Ollama以及它相较于OpenAI的优势。

使用生成式人工智能的传统流程

在传统的生成式人工智能模型中，我们通常遵循以下步骤：

1. 从数据源（如文件）中提取文本，并将其转换为向量。
2. 使用LLM（如OpenAI）处理这些向量化的数据。

在InterSystems开发者社区中，有一些很好的示例可以参考，例如 Iris Vector Search 和 IRIS AI Studio。这些示例中，LLM通常是需要订阅的服务（如OpenAI），需要通过密钥调用其REST API，将矢量化的数据作为上下文传递，并根据上下文返回响应。

为什么选择Ollama？

本文建议使用Ollama作为替代的LLM，与OpenAI相比，Ollama具有以下两个主要优势：

1. 更高的安全性：Ollama在本地运行，因此无需将数据传输到第三方API，能够更好地保护数据隐私。
2. 无需订阅服务：Ollama是一个本地运行的工具，不需要额外的订阅费用。

然而，Ollama也有其局限性，例如需要较高的计算机资源支持（建议至少16GB内存，否则可能难以运行）。

如何安装和使用Ollama

要开始使用Ollama，请按照以下步骤操作：

1. 从 Ollama官网 下载并安装软件。

2. 在代码中调用Ollama库，替代OpenAI。例如，使用以下Python代码进行配置：

   Settings.llm = Ollama(Model="Callam3.2", Request_Timeout=360.0)

更多代码细节可以参考 Ollama AI IRIS 的Open Exchange应用程序。

实践示例：加载矢量化文本并提问

第一步：加载矢量化文本

将文本转换为矢量后，加载到IRIS中。在 GitHub仓库 的 data/example 目录中，可以找到示例文本。

第二步：基于背景提问

使用矢量化的文本作为背景，向Ollama提出问题。例如：

• 问题：作者做了什么？

回答：

• 问题：作者喜欢绘画吗？

回答：

总结

通过使用Ollama，您可以在本地运行生成式API的安全隐患，同时也不需要额外的订阅费用。然而，需要注意的是，Ollama对硬件资源有一定要求。在实际应用中，结合IRIS和Ollama，您可以更高效地处理矢量化数据并生成智能响应。

原文链接: https://es.community.intersystems.com/post/ollama-ai-con-iris