【AI从入门到入土系列教程】Ollama教程——进阶篇：【兼容OpenAI的API】高效利用兼容OpenAI的API进行AI项目开发

Ollama与OpenAI API兼容性概览

Ollama是一个旨在为开发者提供灵活的AI平台，其最大的亮点在于与OpenAI API的兼容性。这种兼容性意味着开发者可以将现有使用OpenAI API的应用迁移到Ollama平台上，从而享受其带来的灵活性和扩展性。Ollama通过Python库、JavaScript库和REST API实现了这种兼容性，确保开发者能够顺利过渡。

Ollama的目标和意义

Ollama的核心目标是为开发者提供一个实验性的AI平台，通过兼容OpenAI API，使得现有的应用可以无缝迁移到Ollama。这不仅保护了开发者的既有投资，同时也为他们提供了更多选择和灵活性。通过Ollama，开发者可以探索更多模型选项，优化成本，并享受社区提供的服务和支持。

Ollama的核心组件

Ollama的核心组件包括Python库、JavaScript库和REST API。Python库使得Python开发者能够轻松集成Ollama的服务，而JavaScript库则为前端开发者提供了在浏览器中使用AI功能的便利。REST API为不使用Python或JavaScript的开发者提供了灵活性，允许他们通过HTTP请求直接与Ollama服务交互。

实验性质和未来展望

尽管Ollama的OpenAI API兼容性仍处于实验阶段，但开发团队正在积极工作，以确保其稳定性和完整性。未来，我们可以期待Ollama会引入更多功能和改进，以更好地服务开发者社区。

使用Ollama的OpenAI Python库

Python因其简洁的语法和强大的库支持，在AI开发中极为流行。Ollama的OpenAI Python库为开发者提供了一个平滑的过渡路径，允许他们将现有应用轻松迁移到Ollama平台。

安装Ollama Python库

要使用Ollama的Python库，首先需要安装它。可以通过以下命令进行安装：

    pip install ollama

这个命令会从Python包管理器下载并安装Ollama库及其依赖。

初始化客户端

初始化Ollama的Python客户端相对简单。以下是一个示例：

    from ollama import OpenAI



    client = OpenAI(

        base_url='http://localhost:11434/v1/',

        api_key='ollama',  # 此处的api_key为必填项，但在ollama中会被忽略

    )

在这个例子中，我们通过导入Ollama库中的OpenAI类并创建了一个实例。在实例化过程中需要提供base_url和api_key。

创建聊天完成任务

使用Ollama进行聊天生成的基础是创建聊天完成任务。以下是一个示例代码：

    chat_completion = client.chat.completions.create(

        messages=[

            {

                'role': 'user',

                'content': 'Say this is a test',

            }

        ],

        model='llama2',

    )

在这个例子中，调用了chat.completions.create方法，传入了消息列表和模型名称。

迁移注意事项

在使用Ollama时，可能需要根据平台的实际模型调整模型名称。尽管Ollama致力于与OpenAI API保持高度兼容，但在一些高级功能和参数上可能会有所不同。

使用Ollama的OpenAI JavaScript库

JavaScript在前端开发和Node.js中非常普及。Ollama的OpenAI JavaScript库允许开发者将AI功能集成到Web应用和Node.js项目中。

安装Ollama JavaScript库

要开始使用Ollama的JavaScript库，可以通过npm或yarn进行安装：

    npm install @ollama/openai

或

    yarn add @ollama/openai

初始化OpenAI客户端

安装完成后，可以通过以下代码初始化OpenAI客户端：

    import OpenAI from '@ollama/openai';



    const openai = new OpenAI({

      baseURL: 'http://localhost:11434/v1/',

      apiKey: 'ollama', // 此处的apiKey为必填项，但在ollama中会被忽略

    });

创建聊天完成任务

以下是如何在JavaScript中创建聊天完成任务的示例：

    async function createChatCompletion() {

      const chatCompletion = await openai.chat.completions.create({

        messages: [{ role: 'user', content: 'Say this is a test' }],

        model: 'llama2',

      });



      console.log(chatCompletion);

    }



    createChatCompletion();

注意事项

确保开发环境支持ES6模块导入语法，正确处理异步操作也是使用JavaScript库时的重要部分。

使用curl访问Ollama API

对于不使用Python或JavaScript的开发者，直接使用curl命令调用Ollama API是一个方便的方法。

基本的curl请求

以下是一个使用curl调用Ollama聊天API的示例：

    curl http://localhost:11434/v1/chat/completions 

        -H "Content-Type: application/json" 

        -d '{

            "model": "llama2",

            "messages": [

                {"role": "system", "content": "You are a helpful assistant."},

                {"role": "user", "content": "Hello!"}

            ]

        }'

请求头与请求体

请求头中设置了Content-Type: application/json，指示服务器请求体是以JSON格式发送的。请求体中的JSON对象定义了API调用时所需的各项参数。

调用结果与高级用法

执行curl命令后，Ollama服务器将返回一个JSON格式的响应。对于复杂请求，可以在请求体中添加更多参数。

Ollama API的主要端点

/v1/chat/completions

/v1/chat/completions是Ollama API中最重要的部分之一，主要用于生成聊天式的文本完成。支持多种功能供开发者调整生成文本的风格、内容和格式。

支持的特性

• 聊天完成：基于输入的消息列表生成对话式的文本回复。
• 流式响应：支持流式地接收生成的文本。
• JSON模式：允许以JSON格式发送请求和接收响应。
• 可复现输出：通过设置种子参数，可生成可复现的文本输出。

不支持的特性

• 视觉任务：目前不支持图像或视频内容的请求。
• 函数调用：不能在生成的文本中直接调用外部函数。
• Logprobs：不提供生成文本的概率分布信息。

支持的请求字段与注意事项

• model：指定使用的AI模型。
• messages：包含角色和内容的消息列表。
• 可调整的生成文本参数：frequency_penalty、presence_penalty、temperature等。

注意事项包括设置seed会自动将temperature设置为0，finish_reason总是被设置为stop等。

模型管理与使用

Ollama提供了一套工具，允许开发者轻松管理和使用AI模型。

拉取模型

可以通过以下命令将所需模型拉取到本地环境中：

    ollama pull 

例如：

    ollama pull llama2

配置模型别名

可以为模型配置别名，通过ollama cp命令实现：

    ollama cp  

例如：

    ollama cp llama2 gpt-3.5-turbo

使用模型

一旦模型配置好，可以通过API调用指定模型名称来生成文本。

高级特性与限制

Ollama不仅提供基础功能，还引入了高级特性供开发者使用。

高级特性

• 流式响应：允许即时接收生成的文本。
• JSON模式：提高数据交换的效率。
• 可复现输出：通过设置种子生成一致的结果。

当前限制

• 不支持视觉任务和函数调用。
• 部分API特性不可用，如Logprobs。

未来展望

Ollama团队致力于扩展和改进功能，未来可能会引入对视觉任务的支持和更多API特性。

结论

通过本文，我们探讨了Ollama平台的核心功能、如何使用其OpenAI库、直接通过curl命令访问API、以及如何管理和使用模型。Ollama作为一个兼容OpenAI API的实验性平台，为开发者提供了一个灵活而强大的选择，使他们能够更容易地将现有应用与Ollama集成。随着Ollama平台的不断成熟，我们期待它能为AI应用的开发带来更多便利和机会。

FAQ

1. 问：Ollama能否支持视觉任务？

   • 答：目前，Ollama不支持视觉任务，如图像识别或视频分析。

2. 问：如何在Ollama中设置模型别名？

   • 答：可以使用ollama cp <source-model-name> <alias-name>命令为模型设置别名。

3. 问：Ollama提供哪些高级特性？

   • 答：Ollama提供流式响应、JSON模式和可复现输出等高级特性。

4. 问：如何开始使用Ollama的Python库？

   • 答：可以通过pip install ollama安装Ollama的Python库，并使用提供的API进行开发。

5. 问：Ollama的未来发展方向是什么？

   • 答：Ollama团队致力于扩展和改进平台功能，未来可能会引入对视觉任务的支持和更多API特性。