利用稀疏GSI实现DynamoDB条件性索引

dynamodb的全局二级索引（gsi）不支持直接的条件表达式投影。但可以通过创建稀疏gsi实现条件性索引，即仅当基础表项中存在gsi分区键属性时，该项才会被包含在索引中。通过应用层逻辑动态添加或移除此gsi键属性，可以有效地控制哪些记录进入或离开索引，从而实现基于特定字段值的条件性索引需求。

在构建DynamoDB应用时，我们经常需要对数据进行灵活的查询。全局二级索引（GSI）是实现这一目标的关键工具，它允许我们使用不同于主表的键属性进行查询。然而，有时我们希望GSI只包含满足特定条件的数据项，例如，只索引处于“中间状态”的记录。DynamoDB的GSI本身不提供基于表达式的条件投影功能，但我们可以利用其“稀疏索引”（Sparse Index）的特性来巧妙地实现这一目标。

理解稀疏GSI的工作原理

DynamoDB的GSI有一个核心行为：一个数据项只有在其GSI分区键属性（以及GSI排序键属性，如果定义了）存在于基础表项中时，才会被包含在GSI内。如果这些GSI键属性不存在，或者在更新操作中被移除，那么该数据项就不会出现在GSI中。这就是“稀疏索引”的本质——索引只包含基础表的一个子集。

通过利用这一特性，我们可以将条件逻辑从DynamoDB服务本身转移到应用程序层。应用程序负责根据业务规则，动态地在基础表项中添加或移除一个专门用于GSI的键属性。

实现条件性索引的步骤

假设我们有一个名为 Attachment 的基础表，其中包含 customerState 和 isIntermediateState 字段。customerState 可以是 Attaching、Detaching、Attached 或 Detached。isIntermediateState 字段在 customerState 为 Attaching 或 Detaching 时为 1，在 customerState 为 Attached 或 Detached 时为 0。我们的目标是创建一个GSI，只包含 isIntermediateState = 1 的记录。

1. 定义GSI的专用键属性： 在基础表的数据模型中，引入一个专门用于GSI的属性。例如，我们可以命名为 intermediateStateGSI_PK。

2. GSI配置： 创建一个新的全局二级索引，将其分区键设置为我们刚才定义的 intermediateStateGSI_PK。GSI的投影属性可以根据查询需求选择 KEYS_ONLY、INCLUDE 或 ALL。

3. 应用程序逻辑管理GSI键属性： 在应用程序进行 PutItem 或 UpdateItem 操作时，根据 isIntermediateState 的值或 customerState 的具体状态，动态地管理 intermediateStateGSI_PK 属性。

   • 当满足条件时（例如 isIntermediateState = 1）： 在数据项中添加 intermediateStateGSI_PK 属性，并赋予一个固定值（例如 'ACTIVE_INTERMEDIATE_STATE'）。这个固定值将作为GSI的分区键，允许我们查询所有处于中间状态的附件。

     示例数据项（中间状态）：

     {
       "PK": "ATTACHMENT#123",
       "SK": "METADATA",
       "customerState": "Attaching",
       "isIntermediateState": 1,
       "intermediateStateGSI_PK": "ACTIVE_INTERMEDIATE_STATE", // GSI键存在
       "otherAttribute": "value"
     }

     登录后复制

   • 当不满足条件时（例如 isIntermediateState = 0）： 确保数据项中不包含 intermediateStateGSI_PK 属性。如果之前存在，则通过 UpdateItem 操作将其移除。

     示例数据项（最终状态）：

     

     纳米搜索

     纳米搜索：360推出的新一代AI搜索引擎

     30

     查看详情

     {
       "PK": "ATTACHMENT#123",
       "SK": "METADATA",
       "customerState": "Attached",
       "isIntermediateState": 0,
       // intermediateStateGSI_PK 已被移除或从未添加
       "otherAttribute": "value"
     }

     登录后复制

DynamoDB的索引更新机制

DynamoDB的GSI是异步且自动更新的。这意味着，当基础表中的数据项被创建、更新或删除时，DynamoDB会自动检测GSI键属性的变化，并相应地更新GSI。

• 添加GSI键属性： 如果一个数据项之前没有 intermediateStateGSI_PK 属性，而现在被更新并添加了该属性，那么这个数据项就会被添加到GSI中。
• 移除GSI键属性： 如果一个数据项之前有 intermediateStateGSI_PK 属性，而现在被更新并移除了该属性，那么这个数据项就会从GSI中移除。
• 修改GSI键属性： 如果 intermediateStateGSI_PK 的值发生变化，GSI也会相应地更新。

因此，GSI会持续地反映基础表的最新状态，而不是只在初始添加记录时决定是否包含。

示例代码片段（概念性）

以下是使用AWS SDK（以JavaScript为例）进行 UpdateItem 操作以管理GSI键属性的概念性代码：

const AWS = require('aws-sdk');
const ddb = new AWS.DynamoDB.DocumentClient();

async function updateAttachmentState(attachmentId, newCustomerState) {
    let updateExpression = "SET #cs = :newCs, #is = :newIs";
    let expressionAttributeNames = {
        "#cs": "customerState",
        "#is": "isIntermediateState"
    };
    let expressionAttributeValues = {
        ":newCs": newCustomerState
    };

    let isIntermediateStateValue;
    let gsiKeyAction = null; // 'add' or 'remove'

    if (newCustomerState === 'Attaching' || newCustomerState === 'Detaching') {
        isIntermediateStateValue = 1;
        gsiKeyAction = 'add';
    } else if (newCustomerState === 'Attached' || newCustomerState === 'Detached') {
        isIntermediateStateValue = 0;
        gsiKeyAction = 'remove';
    } else {
        throw new Error("Invalid customer state.");
    }

    expressionAttributeValues[":newIs"] = isIntermediateStateValue;

    if (gsiKeyAction === 'add') {
        updateExpression += ", #gsiPk = :gsiPkVal";
        expressionAttributeNames["#gsiPk"] = "intermediateStateGSI_PK";
        expressionAttributeValues[":gsiPkVal"] = "ACTIVE_INTERMEDIATE_STATE";
    } else if (gsiKeyAction === 'remove') {
        updateExpression += " REMOVE #gsiPk";
        expressionAttributeNames["#gsiPk"] = "intermediateStateGSI_PK";
    }

    const params = {
        TableName: "Attachment",
        Key: {
            "PK": `ATTACHMENT#${attachmentId}`,
            "SK": "METADATA"
        },
        UpdateExpression: updateExpression,
        ExpressionAttributeNames: expressionAttributeNames,
        ExpressionAttributeValues: expressionAttributeValues,
        ReturnValues: "ALL_NEW"
    };

    try {
        const result = await ddb.update(params).promise();
        console.log("Update successful:", result.Attributes);
        return result.Attributes;
    } catch (error) {
        console.error("Error updating item:", error);
        throw error;
    }
}

// 示例调用
// updateAttachmentState("123", "Attaching"); // 会添加 GSI 键
// updateAttachmentState("123", "Attached");  // 会移除 GSI 键

注意事项

• GSI键的命名： 为GSI专用键选择一个清晰、不易与业务属性混淆的名称。
• 一致性： 确保所有写入操作（PutItem、UpdateItem）都遵循相同的逻辑来管理GSI键属性，以保证数据在GSI中的一致性。
• 写入容量单位（WCU）： 添加或移除GSI键属性会消耗额外的写入容量单位，因为这涉及到基础表和GSI的更新。在设计时应考虑其对成本和性能的影响。
• 查询： 一旦GSI设置完毕，你可以通过查询 intermediateStateGSI_PK = 'ACTIVE_INTERMEDIATE_STATE' 来高效地检索所有处于中间状态的附件。

总结

尽管DynamoDB的全局二级索引不直接支持基于表达式的条件投影，但通过巧妙地利用稀疏索引的特性，我们可以通过应用程序层逻辑来模拟实现这一功能。核心思想是引入一个GSI专用键属性，并根据业务条件动态地在基础表项中添加或移除该属性。这种方法不仅灵活有效，而且能够充分利用DynamoDB的强大索引能力，为复杂查询需求提供解决方案。

以上就是利用稀疏GSI实现DynamoDB条件性索引的详细内容，更多请关注php中文网其它相关文章！