dynamodb的全局二级索引（gsi）不支持直接的条件表达式投影。但可以通过创建稀疏gsi实现条件性索引，即仅当基础表项中存在gsi分区键属性时，该项才会被包含在索引中。通过应用层逻辑动态添加或移除此gsi键属性，可以有效地控制哪些记录进入或离开索引，从而实现基于特定字段值的条件性索引需求。
在构建DynamoDB应用时，我们经常需要对数据进行灵活的查询。全局二级索引（GSI）是实现这一目标的关键工具，它允许我们使用不同于主表的键属性进行查询。然而，有时我们希望GSI只包含满足特定条件的数据项，例如，只索引处于“中间状态”的记录。DynamoDB的GSI本身不提供基于表达式的条件投影功能，但我们可以利用其“稀疏索引”（Sparse Index）的特性来巧妙地实现这一目标。
理解稀疏GSI的工作原理
DynamoDB的GSI有一个核心行为：一个数据项只有在其GSI分区键属性（以及GSI排序键属性，如果定义了）存在于基础表项中时，才会被包含在GSI内。如果这些GSI键属性不存在，或者在更新操作中被移除，那么该数据项就不会出现在GSI中。这就是“稀疏索引”的本质——索引只包含基础表的一个子集。
通过利用这一特性，我们可以将条件逻辑从DynamoDB服务本身转移到应用程序层。应用程序负责根据业务规则，动态地在基础表项中添加或移除一个专门用于GSI的键属性。
实现条件性索引的步骤
假设我们有一个名为 Attachment 的基础表，其中包含 customerState 和 isIntermediateState 字段。customerState 可以是 Attaching、Detaching、Attached 或 Detached。isIntermediateState 字段在 customerState 为 Attaching 或 Detaching 时为 1，在 customerState 为 Attached 或 Detached 时为 0。我们的目标是创建一个GSI，只包含 isIntermediateState = 1 的记录。
定义GSI的专用键属性： 在基础表的数据模型中，引入一个专门用于GSI的属性。例如，我们可以命名为 intermediateStateGSI_PK。
GSI配置： 创建一个新的全局二级索引，将其分区键设置为我们刚才定义的 intermediateStateGSI_PK。GSI的投影属性可以根据查询需求选择 KEYS_ONLY、INCLUDE 或 ALL。
-
应用程序逻辑管理GSI键属性： 在应用程序进行 PutItem 或 UpdateItem 操作时，根据 isIntermediateState 的值或 customerState 的具体状态，动态地管理 intermediateStateGSI_PK 属性。
-
当满足条件时（例如 isIntermediateState = 1）： 在数据项中添加 intermediateStateGSI_PK 属性，并赋予一个固定值（例如 'ACTIVE_INTERMEDIATE_STATE'）。这个固定值将作为GSI的分区键，允许我们查询所有处于中间状态的附件。
示例数据项（中间状态）：
{ "PK": "ATTACHMENT#123", "SK": "METADATA", "customerState": "Attaching", "isIntermediateState": 1, "intermediateStateGSI_PK": "ACTIVE_INTERMEDIATE_STATE", // GSI键存在 "otherAttribute": "value" } -
当不满足条件时（例如 isIntermediateState = 0）： 确保数据项中不包含 intermediateStateGSI_PK 属性。如果之前存在，则通过 UpdateItem 操作将其移除。
示例数据项（最终状态）：
{ "PK": "ATTACHMENT#123", "SK": "METADATA", "customerState": "Attached", "isIntermediateState": 0, // intermediateStateGSI_PK 已被移除或从未添加 "otherAttribute": "value" }
-
DynamoDB的索引更新机制
DynamoDB的GSI是异步且自动更新的。这意味着，当基础表中的数据项被创建、更新或删除时，DynamoDB会自动检测GSI键属性的变化，并相应地更新GSI。
- 添加GSI键属性： 如果一个数据项之前没有 intermediateStateGSI_PK 属性，而现在被更新并添加了该属性，那么这个数据项就会被添加到GSI中。
- 移除GSI键属性： 如果一个数据项之前有 intermediateStateGSI_PK 属性，而现在被更新并移除了该属性，那么这个数据项就会从GSI中移除。
- 修改GSI键属性： 如果 intermediateStateGSI_PK 的值发生变化，GSI也会相应地更新。
因此，GSI会持续地反映基础表的最新状态，而不是只在初始添加记录时决定是否包含。
示例代码片段（概念性）
以下是使用AWS SDK（以JavaScript为例）进行 UpdateItem 操作以管理GSI键属性的概念性代码：
const AWS = require('aws-sdk');
const ddb = new AWS.DynamoDB.DocumentClient();
async function updateAttachmentState(attachmentId, newCustomerState) {
let updateExpression = "SET #cs = :newCs, #is = :newIs";
let expressionAttributeNames = {
"#cs": "customerState",
"#is": "isIntermediateState"
};
let expressionAttributeValues = {
":newCs": newCustomerState
};
let isIntermediateStateValue;
let gsiKeyAction = null; // 'add' or 'remove'
if (newCustomerState === 'Attaching' || newCustomerState === 'Detaching') {
isIntermediateStateValue = 1;
gsiKeyAction = 'add';
} else if (newCustomerState === 'Attached' || newCustomerState === 'Detached') {
isIntermediateStateValue = 0;
gsiKeyAction = 'remove';
} else {
throw new Error("Invalid customer state.");
}
expressionAttributeValues[":newIs"] = isIntermediateStateValue;
if (gsiKeyAction === 'add') {
updateExpression += ", #gsiPk = :gsiPkVal";
expressionAttributeNames["#gsiPk"] = "intermediateStateGSI_PK";
expressionAttributeValues[":gsiPkVal"] = "ACTIVE_INTERMEDIATE_STATE";
} else if (gsiKeyAction === 'remove') {
updateExpression += " REMOVE #gsiPk";
expressionAttributeNames["#gsiPk"] = "intermediateStateGSI_PK";
}
const params = {
TableName: "Attachment",
Key: {
"PK": `ATTACHMENT#${attachmentId}`,
"SK": "METADATA"
},
UpdateExpression: updateExpression,
ExpressionAttributeNames: expressionAttributeNames,
ExpressionAttributeValues: expressionAttributeValues,
ReturnValues: "ALL_NEW"
};
try {
const result = await ddb.update(params).promise();
console.log("Update successful:", result.Attributes);
return result.Attributes;
} catch (error) {
console.error("Error updating item:", error);
throw error;
}
}
// 示例调用
// updateAttachmentState("123", "Attaching"); // 会添加 GSI 键
// updateAttachmentState("123", "Attached"); // 会移除 GSI 键注意事项
- GSI键的命名： 为GSI专用键选择一个清晰、不易与业务属性混淆的名称。
- 一致性： 确保所有写入操作（PutItem、UpdateItem）都遵循相同的逻辑来管理GSI键属性，以保证数据在GSI中的一致性。
- 写入容量单位（WCU）： 添加或移除GSI键属性会消耗额外的写入容量单位，因为这涉及到基础表和GSI的更新。在设计时应考虑其对成本和性能的影响。
- 查询： 一旦GSI设置完毕，你可以通过查询 intermediateStateGSI_PK = 'ACTIVE_INTERMEDIATE_STATE' 来高效地检索所有处于中间状态的附件。
总结
尽管DynamoDB的全局二级索引不直接支持基于表达式的条件投影，但通过巧妙地利用稀疏索引的特性，我们可以通过应用程序层逻辑来模拟实现这一功能。核心思想是引入一个GSI专用键属性，并根据业务条件动态地在基础表项中添加或移除该属性。这种方法不仅灵活有效，而且能够充分利用DynamoDB的强大索引能力，为复杂查询需求提供解决方案。
