批量更新 Amazon DynamoDB 表格与 AWS Step Functions 数据库博客

使用 AWS Step Functions 批量更新 Amazon DynamoDB 表

关键要点

批量更新的需求

开发者经常需要对其 Amazon DynamoDB 表进行批量更新。进行批量更新的原因可能包括：

需要注意的是，DynamoDB 不提供原生支持批量更新的功能，因此开发者必须构建和管理自己的解决方案。可考虑的多种方法包括使用 Amazon EMR 或 AWS Glue。

在本文中，我们将介绍如何利用 AWS Step Functions 高效进行 DynamoDB 表的批量更新。该无服务器编排服务使您能够与 Lambda 函数及其他 AWS 服务进行集成。您可以根据需要修改、部署并测试该解决方案，以满足自己的批量更新需求。

AWS Step Functions 特性

选择 Step Functions 作为解决方案的原因有以下几点：

方案概述

一个高效的批量更新应该在 DynamoDB 表分区 之间分配工作。通过 并行扫描，您可以将表逻辑上划分为指定数量的分段。在此方案中，会随机处理这些分段，以提高工作效率。Step Functions 将分段分配给并发的 Lambda 函数调用。每个 Lambda 函数调用逐一迭代并更新其分配的分段中的项目。

以下是三个 Lambda 函数的示意图，每个函数处理一个随机选定的分段，共有十个分段覆盖一个由四个分区组成的 DynamoDB 表。

下面的架构示意图展示了解决方案的整体构成：

该解决方案包含以下关键组件：

解决方案参数

当您部署方案时，可以控制一组参数：

ScanAndUpdateTable Lambda 包含一个名为 processitem 的 Python 函数，您可以根据需要修改以实现您的项目更新逻辑。具体细节请见 修改 ScanAndUpdateTable Lambda 部分。

基准和估计

我通过更新一个包含 1 亿条项目的 DynamoDB 表来基准测试此解决方案。

基准测试结果显示，每个 Lambda 调用在没有速率限制的情况下，平均每秒处理约 200 条项目。我们称之为 速率 并用其进行一些估计：

如果项目的平均大小是 4KB 或更大，则应设置 RateLimiter 以避免产生热分区。使用公式来估计您可能的最大速率：1000 / 平均项目大小KB。在上述估计中选择您所需的 速率 值。您还可以设置 RateLimiter 以获得每次 Lambda 调用可预测的吞吐量。

限制

通过将速率、TotalSegments 的最大值和最大 Lambda 函数持续时间 900 秒相乘撰写时，可以计算出该解决方案的估计上限。以下是一些示例：

并行扫描操作用于处理 SourceTable。即使设置了 ConsistentRead 参数，DynamoDB 在扫描操作时也不提供快照隔离。DynamoDB 扫描操作并不能保证在请求扫描操作时，扫描中的所有读取都能看到表的一致快照。

在批量更新期间，您应考虑可能出现的竞争条件。使用强一致性读取可以降低这种可能性。如果竞争条件是一个问题，您可以在执行批量更新期间暂停其他更新表的工作负载，或投入额外的工程精力来消除竞争条件，例如，通过包含 乐观锁定。

更新单个项目是原子操作，但不利用 事务。如果您需要事务例如，确保多个项目要么全部更新成功要么全部不更新，则不应使用此解决方案。

Step Function 可能会失败，例如，如果更新遇到限制并且 SDK 自动重试 耗尽。虽然您可以 从失败位置重新执行Step Function这是一种良好的策略，但某些项目将被重新处理。您应确保项目更新是幂等的，以便安全完成重新处理。

克隆、修改和部署解决方案

接下来，我们将演示如何克隆该解决方案，修改 ScanAndUpdateTable Lambda 函数，部署并运行批量更新。

克隆解决方案

运行以下命令以克隆解决方案：

bashgit clone https//githubcom/awssamples/bulkupdateamazondynamodbtableswithawsstepfunctionsgit

进入该解决方案的目录：

bashcd bulkupdateamazondynamodbtableswithawsstepfunctions

修改 ScanAndUpdateTable Lambda

文件 functions/scanandupdatetablepy 包含 ScanAndUpdateTable Lambda 函数的源代码。它包含一个名为 processitem 的 Python 函数。使用您喜欢的文本编辑器修改并保存此函数，以实现您的项目更新逻辑。

函数中包括了几个更新示例，您可以用来添加额外属性、删除特定项目以及将项目从源表复制到目标表。

在本篇文章中，让我们将函数修改为添加 processedat 属性，并使用 UpdateItem 操作将项目保存到 DestinationTable。

部署解决方案

要部署解决方案，您需要安装 AWS 命令行接口CLI 和 无服务器应用程序模型SAMCLI。

安装完成后，使用引导式 sam deploy 开始部署，并在提示时提供参数值：

bashsam deploy guided

解决方案将被部署，并创建所有必要的资源，包括 AWS 身份访问管理IAM角色。它会显示部署的 Step Function 的 Amazon 资源编号 (ARN)。

启动并监控批量更新

您可以使用 AWS CLI 或控制台启动和监控批量更新。

要启动批量更新，运行以下 AWS CLI 命令，将 ltarngt 替换成您的已部署 Step Function 的 ARN：

bashaws stepfunctions startexecution statemachinearn ltarngt

或者，您也可以在 AWS 控制台访问已部署的 Step Function，选择 开始执行。

AWS 控制台提供一页显示正在运行的 Step Function 的概述，您可以选择 Map Run 链接以开启页面，查看批量更新的进度。

每个分段的处理状态将被显示。您可以随时通过更新此页面上的 最大并发性 值来调整批量更新的速度及其对 DynamoDB 表的影响。

您可以使用 AWS CLI 监控和更新 Step Function，使用 describeexecution、listmapruns、describemaprun 和 updatemaprun 命令。

清理

删除 S3 配置存储桶中的所有对象，并使用 sam delete 命令删除此解决方案创建的所有资源。

结论

在本文中，我们提供了一种利用 Step Functions 高效执行 DynamoDB 表批量更新的方案。您可以部署该解决方案并根据自己的批量更新需求进行修改。请务必在对生产表进行操作之前测试任何修改，并确保适当的表备份。

提供的解决方案将批量更新处理分散在表上，以提高性能并最小化对其他工作负载的影响。在更新过程中，您可以随时控制批量更新的速度及其对表的负担。

该解决方案的估计上限为包含 1800 亿条，平均大小为 4KB 的 DynamoDB 表。如果您的表超过此限制，或者表中项目的平均大小超过 4KB，请查阅本帖的限制部分 EMR 或 Glue 方法可能更适合您。

如需开始使用该解决方案，请遵循本文中提供的步骤或访问 解决方案页面。

要了解更多关于 DynamoDB 的信息，请查看 DynamoDB 开发者指南。

作者介绍

Chris Gillespie 是一名总部位于英国的高级解决方案架构师。他大部分时间与快速发展的“云原生”客户合作。在工作之外，他过着家庭生活，并努力保持健康。