📅 最后修改于: 2020-11-28 14:03:04 🧑 作者: Mango
需要具有不同属性的各种查询类型的应用程序可以在执行这些详细查询时使用单个或多个全局二级索引。
例如-跟踪用户，他们的登录状态和他们的登录时间的系统。上一个示例的增长减慢了对其数据的查询。
全局二级索引通过组织表中的属性选择来加速查询。他们使用主键对数据进行排序，并且不需要键表属性或与表相同的键架构。
所有全局二级索引都必须包括分区键，并可以选择排序键。索引键架构可以不同于表，并且索引键属性可以使用任何顶级字符串，数字或二进制表属性。
在投影中，您可以使用其他表属性，但是查询不会从父表中检索。
投影包含从表复制到二级索引的属性集。投影总是与表分区键和排序键一起发生。在查询中，投影允许DynamoDB访问投影的任何属性；它们本质上作为自己的表存在。
在二级索引创建中，必须指定投影的属性。 DynamoDB提供了三种方法来执行此任务-
KEYS_ONLY-所有索引项均由表分区和排序键值以及索引键值组成。这将创建最小的索引。
包含-它包括KEYS_ONLY属性和指定的非密钥属性。
ALL-包括所有源表属性，创建可能的最大索引。
请注意将属性投影到全局二级索引中的权衡，该二级索引与吞吐量和存储成本有关。
考虑以下几点-
如果只需要访问一些属性且延迟很短，则仅投影所需的属性。这减少了存储和写入成本。
如果应用程序频繁访问某些非关键属性，请对它们进行投影，因为与扫描消耗相比，存储成本微不足道。
您可以投影大量经常访问的属性，但是这会带来很高的存储成本。
使用KEYS_ONLY进行不频繁的表查询和频繁的写入/更新。这可以控制大小，但在查询上仍具有良好的性能。
您可以利用查询来访问索引中的单个或多个项目。您必须指定索引和表名称，所需的属性和条件。并选择以升序或降序返回结果。
您还可以利用扫描来获取所有索引数据。它需要表和索引名称。您使用过滤器表达式来检索特定数据。
DynamoDB会对索引及其父表自动执行同步。对项目的每次修改操作都会导致异步更新，但是，应用程序不会直接写入索引。
您需要了解DynamoDB维护对索引的影响。创建索引时，需要指定键属性和数据类型，这意味着在写操作时，这些数据类型必须与键模式数据类型匹配。
在创建或删除项目时，索引将以最终一致的方式更新，但是，数据更新将在不到一秒的时间内传播出去(除非发生某种类型的系统故障)。您必须解决应用程序中的这种延迟。
全局二级索引中的吞吐量注意事项-多个全局二级索引会影响吞吐量。索引创建需要容量单位规范，该规范与表分开存在，从而导致操作消耗索引容量单位而不是表单位。
如果查询或写入超出预配置的吞吐量，则可能导致节流。使用DescribeTable查看吞吐量设置。
读取容量-全局二级索引可提供最终的一致性。在查询中，DynamoDB执行与表相同的配置计算，只是使用索引条目大小而不是项目大小。查询返回的限制仍然为1MB，其中包括每个返回项的属性名称大小和值。
发生写操作时，受影响的索引将消耗写单位。写入吞吐量成本是表写入中消耗的写入容量单位与索引更新中消耗的单位之和。成功的写操作需要足够的容量，否则将导致节流。
写入成本还取决于某些因素，其中一些因素如下-
定义索引属性的新项目或定义未定义索引属性的项目更新使用单个写入操作将项目添加到索引中。
更新更改索引键属性值的操作使用两次写入操作来删除一项并写入一个新项。
触发删除索引属性的表写操作使用一次写操作来擦除索引中的旧项目投影。
在更新操作之前和之后索引中不存在的项目不使用写操作。
更新仅更改索引键架构中的投影属性值，而不更改索引键属性值，使用一次写入操作将投影属性值更新到索引中。
所有这些因素都假定项目大小小于或等于1KB。
在写入项目时，DynamoDB会自动将正确的属性集复制到必须存在属性的任何索引。通过对表项存储和属性存储收费，这会影响您的帐户。使用的空间是这些量的总和-
您可以通过估计平均项目大小，然后将表项目的数量与全局二级索引键属性相乘，来估计存储需求。
DynamoDB不会为具有定义为索引分区或排序键的未定义属性的表项目写入项目数据。
通过将CreateTable操作与GlobalSecondaryIndexes参数配对使用，可以创建具有全局二级索引的表。您必须指定一个属性作为索引分区键，或使用另一个属性作为索引排序键。所有索引键属性必须是字符串，数字或二进制标量。您还必须提供包含ReadCapacityUnits和WriteCapacityUnits的吞吐量设置。
使用UpdateTable再次使用GlobalSecondaryIndexes参数将全局二级索引添加到现有表中。
在此操作中，您必须提供以下输入-
通过添加全局二级索引，由于项目量，预计的属性量，写入容量和写入活动，大型表可能要花费大量时间。使用CloudWatch指标监控流程。
使用DescribeTable来获取全局二级索引的状态信息。它为GlobalSecondaryIndexes返回四个IndexStatus之一-
创建-指示索引的构建阶段及其不可用。
ACTIVE-指示索引已准备就绪。
更新-指示吞吐量设置的更新状态。
删除-指示索引的删除状态及其永久不可用。
在加载/回填阶段(DynamoDB将属性写入索引并跟踪添加/删除/更新的项目)中，更新全局二级索引设置的吞吐量设置。使用UpdateTable执行此操作。
您应该记住，您不能在回填阶段添加/删除其他索引。
使用UpdateTable删除全局二级索引。它只允许每个操作删除一个索引，但是，您可以同时运行多个操作，最多五个。删除过程不会影响父表的读/写活动，但是在操作完成之前，您不能添加/删除其他索引。
通过CreateTable创建带有索引的表。只需创建一个DynamoDB类实例，一个用于获取请求信息的CreateTableRequest类实例，然后将请求对象传递给CreateTable方法。
以下程序是一个简短示例-
DynamoDB dynamoDB = new DynamoDB(new AmazonDynamoDBClient (
new ProfileCredentialsProvider()));
// Attributes
ArrayList attributeDefinitions = new
ArrayList();
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("City")
.withAttributeType("S"));
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("Date")
.withAttributeType("S"));
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("Wind")
.withAttributeType("N"));
// Key schema of the table
ArrayList tableKeySchema = new ArrayList();
tableKeySchema.add(new KeySchemaElement()
.withAttributeName("City")
.withKeyType(KeyType.HASH)); //Partition key
tableKeySchema.add(new KeySchemaElement()
.withAttributeName("Date")
.withKeyType(KeyType.RANGE)); //Sort key
// Wind index
GlobalSecondaryIndex windIndex = new GlobalSecondaryIndex()
.withIndexName("WindIndex")
.withProvisionedThroughput(new ProvisionedThroughput()
.withReadCapacityUnits((long) 10)
.withWriteCapacityUnits((long) 1))
.withProjection(new Projection().withProjectionType(ProjectionType.ALL));
ArrayList indexKeySchema = new ArrayList();
indexKeySchema.add(new KeySchemaElement()
.withAttributeName("Date")
.withKeyType(KeyType.HASH)); //Partition key
indexKeySchema.add(new KeySchemaElement()
.withAttributeName("Wind")
.withKeyType(KeyType.RANGE)); //Sort key
windIndex.setKeySchema(indexKeySchema);
CreateTableRequest createTableRequest = new CreateTableRequest()
.withTableName("ClimateInfo")
.withProvisionedThroughput(new ProvisionedThroughput()
.withReadCapacityUnits((long) 5)
.withWriteCapacityUnits((long) 1))
.withAttributeDefinitions(attributeDefinitions)
.withKeySchema(tableKeySchema)
.withGlobalSecondaryIndexes(windIndex);
Table table = dynamoDB.createTable(createTableRequest);
System.out.println(table.getDescription());
用DescribeTable检索索引信息。首先，创建一个DynamoDB类实例。然后创建一个Table类实例以一个索引为目标。最后，将该表传递给describe方法。
这是一个简短的例子-
DynamoDB dynamoDB = new DynamoDB(new AmazonDynamoDBClient (
new ProfileCredentialsProvider()));
Table table = dynamoDB.getTable("ClimateInfo");
TableDescription tableDesc = table.describe();
Iterator gsiIter =
tableDesc.getGlobalSecondaryIndexes().iterator();
while (gsiIter.hasNext()) {
GlobalSecondaryIndexDescription gsiDesc = gsiIter.next();
System.out.println("Index data " + gsiDesc.getIndexName() + ":");
Iterator kse7Iter = gsiDesc.getKeySchema().iterator();
while (kseIter.hasNext()) {
KeySchemaElement kse = kseIter.next();
System.out.printf("\t%s: %s\n", kse.getAttributeName(), kse.getKeyType());
}
Projection projection = gsiDesc.getProjection();
System.out.println("\tProjection type: " + projection.getProjectionType());
if (projection.getProjectionType().toString().equals("INCLUDE")) {
System.out.println("\t\tNon-key projected attributes: "
+ projection.getNonKeyAttributes());
}
}
使用查询与表查询一样执行索引查询。只需创建DynamoDB类实例，用于目标索引的Table类实例，用于特定索引的Index类实例，然后将索引和查询对象传递给查询方法。
看下面的代码以更好地理解-
DynamoDB dynamoDB = new DynamoDB(new AmazonDynamoDBClient (
new ProfileCredentialsProvider()));
Table table = dynamoDB.getTable("ClimateInfo");
Index index = table.getIndex("WindIndex");
QuerySpec spec = new QuerySpec()
.withKeyConditionExpression("#d = :v_date and Wind = :v_wind")
.withNameMap(new NameMap()
.with("#d", "Date"))
.withValueMap(new ValueMap()
.withString(":v_date","2016-05-15")
.withNumber(":v_wind",0));
ItemCollection items = index.query(spec);
Iterator- iter = items.iterator();
while (iter.hasNext()) {
System.out.println(iter.next().toJSONPretty());
}
下面的程序是一个更大的例子，可以更好地理解-
注–以下程序可能假定以前创建的数据源。在尝试执行之前，请获取支持库并创建必要的数据源(具有所需特征的表或其他引用的源)。
此示例还使用Eclipse IDE，AWS凭证文件和Eclipse AWS Java Project中的AWS Toolkit。
import java.util.ArrayList;
import java.util.Iterator;
import com.amazonaws.auth.profile.ProfileCredentialsProvider;
import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClient;
import com.amazonaws.services.dynamodbv2.document.DynamoDB;
import com.amazonaws.services.dynamodbv2.document.Index;
import com.amazonaws.services.dynamodbv2.document.Item;
import com.amazonaws.services.dynamodbv2.document.ItemCollection;
import com.amazonaws.services.dynamodbv2.document.QueryOutcome;
import com.amazonaws.services.dynamodbv2.document.Table;
import com.amazonaws.services.dynamodbv2.document.spec.QuerySpec;
import com.amazonaws.services.dynamodbv2.document.utils.ValueMap;
import com.amazonaws.services.dynamodbv2.model.AttributeDefinition;
import com.amazonaws.services.dynamodbv2.model.CreateTableRequest;
import com.amazonaws.services.dynamodbv2.model.GlobalSecondaryIndex;
import com.amazonaws.services.dynamodbv2.model.KeySchemaElement;
import com.amazonaws.services.dynamodbv2.model.KeyType;
import com.amazonaws.services.dynamodbv2.model.Projection;
import com.amazonaws.services.dynamodbv2.model.ProvisionedThroughput;
public class GlobalSecondaryIndexSample {
static DynamoDB dynamoDB = new DynamoDB(new AmazonDynamoDBClient (
new ProfileCredentialsProvider()));
public static String tableName = "Bugs";
public static void main(String[] args) throws Exception {
createTable();
queryIndex("CreationDateIndex");
queryIndex("NameIndex");
queryIndex("DueDateIndex");
}
public static void createTable() {
// Attributes
ArrayList attributeDefinitions = new
ArrayList();
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("BugID")
.withAttributeType("S"));
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("Name")
.withAttributeType("S"));
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("CreationDate")
.withAttributeType("S"));
attributeDefinitions.add(new AttributeDefinition()
.withAttributeName("DueDate")
.withAttributeType("S"));
// Table Key schema
ArrayList tableKeySchema = new ArrayList();
tableKeySchema.add (new KeySchemaElement()
.withAttributeName("BugID")
.withKeyType(KeyType.HASH)); //Partition key
tableKeySchema.add (new KeySchemaElement()
.withAttributeName("Name")
.withKeyType(KeyType.RANGE)); //Sort key
// Indexes' initial provisioned throughput
ProvisionedThroughput ptIndex = new ProvisionedThroughput()
.withReadCapacityUnits(1L)
.withWriteCapacityUnits(1L);
// CreationDateIndex
GlobalSecondaryIndex creationDateIndex = new GlobalSecondaryIndex()
.withIndexName("CreationDateIndex")
.withProvisionedThroughput(ptIndex)
.withKeySchema(new KeySchemaElement()
.withAttributeName("CreationDate")
.withKeyType(KeyType.HASH), //Partition key
new KeySchemaElement()
.withAttributeName("BugID")
.withKeyType(KeyType.RANGE)) //Sort key
.withProjection(new Projection()
.withProjectionType("INCLUDE")
.withNonKeyAttributes("Description", "Status"));
// NameIndex
GlobalSecondaryIndex nameIndex = new GlobalSecondaryIndex()
.withIndexName("NameIndex")
.withProvisionedThroughput(ptIndex)
.withKeySchema(new KeySchemaElement()
.withAttributeName("Name")
.withKeyType(KeyType.HASH), //Partition key
new KeySchemaElement()
.withAttributeName("BugID")
.withKeyType(KeyType.RANGE)) //Sort key
.withProjection(new Projection()
.withProjectionType("KEYS_ONLY"));
// DueDateIndex
GlobalSecondaryIndex dueDateIndex = new GlobalSecondaryIndex()
.withIndexName("DueDateIndex")
.withProvisionedThroughput(ptIndex)
.withKeySchema(new KeySchemaElement()
.withAttributeName("DueDate")
.withKeyType(KeyType.HASH)) //Partition key
.withProjection(new Projection()
.withProjectionType("ALL"));
CreateTableRequest createTableRequest = new CreateTableRequest()
.withTableName(tableName)
.withProvisionedThroughput( new ProvisionedThroughput()
.withReadCapacityUnits( (long) 1)
.withWriteCapacityUnits( (long) 1))
.withAttributeDefinitions(attributeDefinitions)
.withKeySchema(tableKeySchema)
.withGlobalSecondaryIndexes(creationDateIndex, nameIndex, dueDateIndex);
System.out.println("Creating " + tableName + "...");
dynamoDB.createTable(createTableRequest);
// Pause for active table state
System.out.println("Waiting for ACTIVE state of " + tableName);
try {
Table table = dynamoDB.getTable(tableName);
table.waitForActive();
} catch (InterruptedException e) {
e.printStackTrace();
}
}
public static void queryIndex(String indexName) {
Table table = dynamoDB.getTable(tableName);
System.out.println
("\n*****************************************************\n");
System.out.print("Querying index " + indexName + "...");
Index index = table.getIndex(indexName);
ItemCollection items = null;
QuerySpec querySpec = new QuerySpec();
if (indexName == "CreationDateIndex") {
System.out.println("Issues filed on 2016-05-22");
querySpec.withKeyConditionExpression("CreationDate = :v_date and begins_with
(BugID, :v_bug)")
.withValueMap(new ValueMap()
.withString(":v_date","2016-05-22")
.withString(":v_bug","A-"));
items = index.query(querySpec);
} else if (indexName == "NameIndex") {
System.out.println("Compile error");
querySpec.withKeyConditionExpression("Name = :v_name and begins_with
(BugID, :v_bug)")
.withValueMap(new ValueMap()
.withString(":v_name","Compile error")
.withString(":v_bug","A-"));
items = index.query(querySpec);
} else if (indexName == "DueDateIndex") {
System.out.println("Items due on 2016-10-15");
querySpec.withKeyConditionExpression("DueDate = :v_date")
.withValueMap(new ValueMap()
.withString(":v_date","2016-10-15"));
items = index.query(querySpec);
} else {
System.out.println("\nInvalid index name");
return;
}
Iterator- iterator = items.iterator();
System.out.println("Query: getting result...");
while (iterator.hasNext()) {
System.out.println(iterator.next().toJSONPretty());
}
}
}