GAE - URL von BigQuery-API kann nicht abgerufen werden

Question

Unsere Integrationsplattform ruft jetzt jeden Tag ein paar Fehler auf, die "URL nicht abrufen: ...". Ich weiß nicht, was die Ursache dafür ist.

Erste GAE versucht, mit OAuth2 von innerhalb der Anwendung zu BigQuery über die BigQuery API zu autorisieren. es versucht, in jeder Sekunde für mehr als 30 Sekunden (das ist nur 1 von 30 ähnlichen Linien):

2015-05-12 05:59:02.727 
URL being requested: https://www.googleapis.com/bigquery/v2/projects/XXX/jobs/job_w-z5K2zQObXeSaLy3hx7m4FOMXc?alt=json 

Im Folgenden finden sich Spuren (nur nach logs oben dargestellt):

File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/connectors/connector_XXX_v1_0.py", line 189, in send 
    status = self._verify_status(resp, content) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/connectors/connector_XXX_v1_0.py", line 250, in _verify_status 
    jobId=jobReference).execute() 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/util.py", line 128, in positional_wrapper 
    return wrapped(*args, **kwargs) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/apiclient/http.py", line 676, in execute 
    body=self.body, headers=self.headers) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/util.py", line 128, in positional_wrapper 
    return wrapped(*args, **kwargs) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/client.py", line 490, in new_request 
    redirections, connection_type) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1570, in request 
    (response, content) = self._request(conn, authority, uri, request_uri, method, body, headers, redirections, cachekey) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1317, in _request 
    (response, content) = self._conn_request(conn, request_uri, method, body, headers) 
    File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1286, in _conn_request 
    response = conn.getresponse() 
    File "/base/data/home/runtimes/python27/python27_dist/lib/python2.7/gae_override/httplib.py", line 536, in getresponse 
    'An error occured while connecting to the server: %s' % e) 
error: An error occured while connecting to the server: Unable to fetch URL: https://www.googleapis.com/bigquery/v2/projects/XXX/jobs/job_d_ONsjBebYjreJuDD-ZdEqCHYv0?alt=json 

von Prozessen Dies sind Daten aus Google Datastore abrufen und in BigQuery laden.

Diese Fehler sind nicht deterministisch. Manchmal passieren sie. Manchmal nicht. Ich kann hier kein Muster sehen.

Eine Sache zu beachten: Bis 2015-05-01 gab es keine Probleme mit diesen Prozessen. Die Daten wurden problemlos in BQ geladen.

Meine Annahme ist, dass es irgendwie mit OAuth2.0 verwandt sein kann. Wir verwenden

oauth2client v1.1. Das neueste ist 1.4.7. Vielleicht würde Update helfen? Oder liegt das Problem woanders?

Answer 1

Um diese Art von Fehler zu minimieren, implementieren Sie die Wiederholungsstrategie in Ihrer Anwendung, während Sie die Daten in BigQuery einfügen. Gehen Sie durch die document zur besseren Erklärung