拨开荷叶行,寻梦已然成。仙女莲花里,翩翩白鹭情。
IMG-LOGO
主页 文章列表 使用DynamoDB资料源构建s3Datalake

使用DynamoDB资料源构建s3Datalake

白鹭 - 2022-01-23 1948 0 0

我是一名使用 AWS 的资料工程师,我们想要构建一个资料管道,以便在 QuickSigth 上可视化我们的 Dynmaodb 资料,如您所知,无法将 dynamo 直接连接到 Quick……您必须通过 S3。

S3 将是我们的资料湖,问题是日期更新频繁(例如,名为的列可以更改/客户状态可以演变..)

因此,我正在寻找批处理解决方案,以便始终从我的 s3 资料湖上的 dynamo 获取最新资料,并在 quicksigth 中对其进行可视化。

感谢你

uj5u.com热心网友回复:

您可以在控制台中的 DynamoDB 中访问您的表,并将资料汇出到Streams and Exports选项卡下的 S3 AWS 的这篇博文解释了您的需求。

您也可以使用 Athena而不是 S3尝试这种方法

标签:

0 评论

发表评论

您的电子邮件地址不会被公开。 必填的字段已做标记 *