SSIS 无代码集成 Amazon AWS API：S3、Lambda 与 API 网关实战指南

一. 引言

在本篇文章中，我们将详细介绍如何使用 SSIS（SQL Server Integration Services）调用 Amazon AWS API，包括 EC2、Lambda 等服务，而无需编写任何代码。

这种方法特别适合 SSIS/ETL 开发人员 或程序员，通过拖放式界面即可完成复杂的 API 集成任务。相比传统的编程 SDK 或命令行工具，SSIS 的优势在于操作简便、安全性高，并且无需掌握复杂的编程技能即可实现长期维护。

二. 使用SSIS集成AWS API的核心组件

在 SSIS 中，我们可以通过以下组件实现与 AWS API 的无缝集成：

1. JSON/REST API 源

JSON/REST API 源组件适用于从 REST API 网络服务中提取数据，并将其像表格一样处理。主要功能包括：

从网络服务提取 JSON 数据 并反规范化嵌套结构
将数据存储到 SQL Server、Oracle、Excel、MySQL 等关系型数据库
支持读取本地 JSON 文件或直接 JSON 字符串（支持通配符模式，例如 C:datafile*.json）

2. Web API 目标

Web API 目标组件用于在数据流中向 API URL 发送 POST 请求。典型应用场景：

为数据库中每条记录调用 Lambda 函数
动态传递参数并处理返回结果

3. REST API 任务

REST API 任务适合处理非表格形式的数据，例如：

向服务器发送 POST 请求
删除服务器上的数据
下载 HTML 页面或提取身份验证令牌
将原始响应保存到变量或文件中

4. XML 源

XML 源组件适用于从 XML 或 SOAP 网络服务中提取数据，并将其保存为表格形式。功能包括：

从网络服务提取 XML 数据
将数据存储到 SQL Server、Oracle、Excel、MySQL 等目标
读取本地 XML 文件或直接 XML 字符串

三. 分步示例：调用 AWS API 获取 S3 文件列表

以下示例展示如何使用 SSIS 调用 Amazon S3 API 获取存储桶中的文件列表并保存到 SQL Server 数据库中：

1. 创建数据流任务

打开 SSIS 项目，从控制流工具箱中拖放一个数据流任务

2. 配置 XML 源组件

使用 ZappySys XML 源组件连接到 Amazon S3 API
配置组件以解析 API 响应，将其转换为行和列

3. 存储数据

将解析后的数据存储到 SQL Server 表中

注：如果 API 返回 JSON 格式的响应，则可改用 JSON 源组件

四. 文件上传示例：使用 PUT 请求上传文件到 S3

在某些情况下，需要完全控制 AWS API 调用，例如上传文件到 S3 存储桶：

1. 上传文本文件

将数据从关系数据库导出为 CSV 文件
使用 REST API 任务 将 CSV 文件内容上传到 S3
配置 API URL 和身份验证信息

2. 上传二进制文件

对于 ZIP、MP3、PNG 等二进制文件：
- 在 REST API 任务的 Body 编辑器中启用 “Is Multi Part/File Upload”
- 配置上传文件路径和相关参数

注意：二进制文件上传功能仅适用于 2020 年 5 月 21 日之后发布的版本

五. 调试 AWS API 请求

在调用 AWS API 时，可使用 Fiddler 等 Web 代理工具调试请求，检查请求和响应详细信息，有助于快速定位问题并优化 API 调用。

六. 调用 Amazon API 网关端点

直接输入 API 网关 URL
使用 OAuth 连接（AWS v4 提供程序）进行身份验证
确保配置正确的区域和服务名称

七. 调用其他 AWS 服务 API 示例

1. Amazon Athena

使用 SSIS 调用 Athena API 执行查询并处理结果

2. AWS ElasticSearch

使用 REST API 任务与 ElasticSearch 集成，执行搜索或管理索引

八. 使用 ZappySys 原生组件调用 AWS API

ZappySys 提供多种高质量 SSIS 组件，支持 S3、Lambda、Athena 等 AWS 服务，帮助用户快速构建高效 ETL 工作流。

九. 总结

通过 SSIS 和 ZappySys 组件，您可以轻松实现与 Amazon AWS API 的无代码集成：

简化开发流程
提高工作效率
安全可靠

无论是调用 S3、Lambda，还是其他 AWS 服务，SSIS 都是数据集成的强大工具。

原文链接: https://zappysys.com/blog/how-to-call-amazon-aws-api-using-ssis-ec2-lambda-api-gateway-sqs/