Kompletter Scan von dynamoDb mit boto3

Question

Meine Tabelle ist rund 220mb mit 250k Datensätze drin. Ich versuche, alle diese Daten in Python zu ziehen. Mir ist klar, dass dies ein Chunked-Batch-Prozess sein muss und durchgeschleift werden muss, aber ich bin mir nicht sicher, wie ich die Chargen so einstellen kann, dass sie dort starten, wo der Vorgänger aufgehört hat.

Gibt es eine Möglichkeit, meinen Scan zu filtern? Von dem, was ich gelesen habe, tritt das Filtern nach dem Laden auf und das Laden stoppt bei 1 MB, so dass ich tatsächlich nicht in der Lage wäre, neue Objekte einzuscannen.

Jede Hilfe wäre willkommen.

import boto3 
dynamodb = boto3.resource('dynamodb', 
    aws_session_token = aws_session_token, 
    aws_access_key_id = aws_access_key_id, 
    aws_secret_access_key = aws_secret_access_key, 
    region_name = region 
    ) 

table = dynamodb.Table('widgetsTableName') 

data = table.scan() 

Answer 1

Stellt sich heraus, dass Boto3 den "LastEvaluatedKey" als Teil der zurückgegebenen Antwort erfasst. Dies kann für einen Scan als Startpunkt verwendet werden:

data= table.scan(
    ExclusiveStartKey=data['LastEvaluatedKey'] 
) 

ich auf den Aufbau einer Schleife um diese bis zum zurückgegebenen Daten planen nur die ExclusiveStartKey

Answer 2

boto3 Paginatoren bietet, die für Sie alle Paginierung Details Griff . Here ist die Dokumentseite für den Scan-Paginator. Grundsätzlich würden Sie es so verwenden:

import boto3 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('scan') 

for page in paginator.paginate(): 
    # do something 

Answer 3

Code zum Löschen dynamodb Formattyp als @kungphu erwähnt.

import boto3 

from boto3.dynamodb.types import TypeDeserializer 
from boto3.dynamodb.transform import TransformationInjector 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('query') 
service_model = client._service_model.operation_model('Query') 
trans = TransformationInjector(deserializer = TypeDeserializer()) 
for page in paginator.paginate(): 
    trans.inject_attribute_value_output(page, service_model) 

Answer 4

Ich denke, die Amazon DynamoDB documentation in Bezug auf Tabelle Scannen Ihre Frage beantwortet.

Kurz gesagt, müssen Sie in der Antwort auf LastEvaluatedKey überprüfen. Hier ist ein Beispiel Ihres Code verwendet:

import boto3 
dynamodb = boto3.resource('dynamodb', 
          aws_session_token=aws_session_token, 
          aws_access_key_id=aws_access_key_id, 
          aws_secret_access_key=aws_secret_access_key, 
          region_name=region 
) 

table = dynamodb.Table('widgetsTableName') 

response = table.scan() 
data = response['Items'] 

while 'LastEvaluatedKey' in response: 
    response = table.scan(ExclusiveStartKey=response['LastEvaluatedKey']) 
    data.extend(response['Items']) 

Answer 5

Riffing weg von Jordon Phillips Antwort, hier, wie Sie eine FilterExpression in der Paginierung passieren würden:

import boto3 

client = boto3.client('dynamodb') 
paginator = client.get_paginator('scan') 
operation_parameters = { 
    'TableName': 'foo', 
    'FilterExpression': 'bar > :x AND bar < :y', 
    'ExpressionAttributeValues': { 
    ':x': {'S': '2017-01-31T01:35'}, 
    ':y': {'S': '2017-01-31T02:08'}, 
    } 
} 

page_iterator = paginator.paginate(**operation_parameters) 
for page in page_iterator: 
    # do something