AI代理代码执行API - Replit博客

最近，随着大型语言模型（LLM）的快速发展，许多过去被认为难以实现的任务如今变得可能。然而，当前一代的LLM仍然存在一些局限性，例如无法精确解决需要特定推理的问题（如复杂的数学问题），以及无法动态处理训练窗口之后发生的最新知识。然而，技术的进步并未因此停滞不前。通过构建围绕LLM的增强系统，这些弱点正在逐步被克服。如今，AI代理可以与多个底层LLM交互，这些模型针对复杂工作流程的不同方面进行了优化。我们正处于一个令人振奋的技术时代！

代码执行应用程序

两种代码执行选择

在设计代码执行沙盒时，我们需要考虑其表现形式。目前已经有多个用例的实现示例。例如，谷歌的Bard最近推出了“隐式代码执行”功能，主要用于解决数学问题。这种方法的核心是对单个输入计算函数的值并返回结果。由于其无状态的特性，这种方法能够以低延迟处理大量请求。

另一方面，ChatGPT会话则可以从有状态的代码执行中受益。在这种模式下，用户可以创建一个完整的项目，包括文件和依赖关系，并在会话中持续获取输出。项目可以随着会话的进行不断发展，从而减少上下文切换所需的资源。对于这种用例，尽管服务器初始化时间较长，但由于项目会在整个会话中保持状态，这种延迟是可以接受的。

为了满足不同用户的需求，我们开发了这两种方法的原型，并将沙盒部署在Replit的基础设施上。Replit已经具备运行不受信任代码的技术，因此非常适合这一任务。我们还推出了一个自助平台，供社区进行实验和探索。

代码执行API

第一种方法是基于无状态API容器服务器的代码执行模式。用户可以通过Replit的自动扩展部署功能轻松实现这一功能。以下是设置API服务器副本的步骤：

代码导出API示例

打开以下链接：https://replit.com/@luisreplit/eval-python，并将项目分叉到您的账户。
（可选）如果需要更改Docker容器，可运行以下命令：
```
evalctl image${Docker_image}
```
示例命令包括：
```
evalctl image-python:3

evalctl imagereplco/python-kitchen-sink:latest
```
如果需要，您还可以打开.replit文件并修改EVAL_FILENAME、EVAL_RUN_COMMAND和EVAL_ENV以适配新的容器。
部署Repl！（注意：仅点击“运行”按钮是不够的）
- 此方法仅与自动扩展部署兼容。
- 在进行身份验证时，请确保设置了“EVAL_TOKEN_AUTH”部署机密。

这种部署方式成本低廉，因为您只需为实际使用CPU的时间付费。有关更多详细信息，请参考GitHub存储库中的完整文档。

有状态的代理环境

我们曾尝试开发有状态的代理环境，但经过实验后决定暂时不支持这一功能。对于大多数用例，无状态的代码执行API已经能够满足需求。

总结

随着大型语言模型的不断进步，AI代理的能力也在不断提升。通过结合无状态和有状态的代码执行方法，开发者可以根据自己的需求选择最适合的解决方案。Replit提供的代码执行API为社区提供了一个高效、低成本的实验平台，帮助开发者更好地探索和实现他们的创意。未来，随着技术的进一步发展，我们期待看到更多创新的应用场景。

原文链接: https://blog.replit.com/ai-agents-code-execution