推出Prompt Engineering Studio - Portkey

跨越追逐：Portkey的Prompt工程工作室如何将AI从实验带到生产

在Portkey的早期发展阶段，我们的首席执行官Rohit提出了一个深刻的见解：“有两种开发工具公司——一种帮助你‘开发’东西，另一种则帮助你‘生产化’它。Portkey坚定地属于第二类。”这一理念不仅塑造了我们的产品战略，也成为了我们发展的核心指导思想。

提示工程在当下的AI领域中扮演着重要角色。然而，许多企业发现，从笔记本电脑上的实验性提示到大规模、可靠的生产部署之间存在着巨大的鸿沟。尽管实验工具种类繁多，但将这些实验成果转化为生产级应用却是一个全新的挑战。

缩小生产差距

当前，大多数提示工程平台主要集中在创意阶段，例如快速实验、微调和迭代。然而，当企业需要大规模部署提示时，往往会面临以下难题：

• 如何从单个提示扩展到数千个提示？
• 如何从偶尔的测试扩展到每天数百万次请求，同时保持性能稳定？
• 如何与数百名团队成员高效协作？
• 如何管理多个需要“始终在线”的部署？
• 如何在快速迭代的同时确保可靠性？

这些问题正是Portkey的Prompt Engineering Studio致力于解决的核心挑战。

从第一天开始生产

Portkey的Prompt Engineering Studio不仅仅是一个提示调整工具，而是一个完整的工具包，专为在1600多个AI模型上开发、测试和部署生产级提示而设计。我们的平台从底层架构到用户界面细节，始终以“生产准备就绪”为核心目标。这需要我们重新思考以下问题：

• 如何在确保可靠性的同时实现快速迭代？
• 如何在产品中引入必要的约束以避免生产问题？
• 如何以直观的方式命名组件，使其与生产概念相匹配？
• 当涉及到数十或数百名合作者时，如何处理权限的边界情况？
• 在AI工程中，哪些传统软件工程概念值得借鉴？

这些问题的答案帮助我们打造了一款深受工程师和企业欢迎的产品。当用户看到它并感叹“这正是我们需要的”时，我们知道，我们的努力得到了认可。

一个与众不同的提示工作室

Portkey的Prompt Engineering Studio独特地结合了强大的实验能力和生产功能：

• 规模实验：支持在1600多个AI模型中快速测试和比较提示。
• 高效协作：提供版本控制、权限管理以及数百名贡献者之间的无缝协作功能。
• 自信部署：通过网关集成实现低延迟、高并发部署，支持数百万次日常请求、多个始终在线的部署以及即时回滚功能。

真实团队，真实规模

以下案例展示了生产级提示工程工具的实际需求和应用：

• 一家瑞典公司在Portkey上管理着500多个提示，动态控制700多个热门网站的内容。
• 一家英国教育公司通过Portkey招募了数百名教师，轻松创建定制的测验和作业。
• 一家印度钦奈的科技公司通过Portkey将部署时间从三天缩短到几乎即时。

这些企业不仅在实验AI技术，更是围绕AI建立了可靠的运营体系，体现了企业级工具的重要性。

超越实验：完整的生产生命周期

与其他仅专注于提示开发的工具不同，Portkey的Prompt Engineering Studio覆盖了提示的整个生命周期：

1. 构建多模式提示模板：设计适用于文本、图像和高级AI功能的模板。
2. 在任何LLM上运行：支持在1600多个模型上测试提示，找到最佳匹配。
3. 并排比较提示：实时查看不同方法的性能。
4. 版本历史记录：通过生产级版本管理控制变更。
5. 共享模板库：利用可重用组件构建组织知识。
6. 可重用代码片段：创建一致的参数化提示段。
7. 部署标签发布流程：无缝从开发阶段过渡到测试和生产阶段。
8. 与第三方工具集成：支持Langchain、Llamanidex和Promptfoo等工具。
9. 渲染API：将提示连接到应用程序。
10. 实时分析和使用情况跟踪：监控性能并优化提示。

此外，我们还针对生产环境设计了以下功能：

• A/B测试：通过用户反馈优化提示。
• 模型优化回退：在模型切换时避免输出漂移。
• 特性标志：逐步向用户推出新功能。
• 持续改进：基于定性和定量反馈不断优化提示。

我们学到了什么

客户的反馈表明，提示工程不仅仅是找到完美的提示，更重要的是能够自信地大规模部署，并根据实际反馈快速迭代。

Portkey始终倾听开发者和企业的需求，打造他们真正需要的工具。如今，我们的Prompt Engineering Studio已经投入使用，为企业提供了从实验到生产的完整解决方案。

原文链接

Portkey Blog

原文链接: https://portkey.ai/blog/prompt-engineering-studio/