große Daten in REST API laden - Ruby on Rails

Question

Ich bin neu bei Ruby on Rails. Ich verwende PostgreSQL Datenbank mit Ruby und Rails 3.2.13. Wir haben bereits 200K Datensätze in PostgreSQL Datenbank erstellt. Ich muss die gleichen 200K Datensätze zu einem anderen Standalone windows application senden. Ich habe eine ROR REST API für diesen Zweck erstellt. Zurzeit benötigt die REST-API viel Zeit, um die Daten zu verarbeiten, und nach 3 Minuten wird die Zeit überschritten.

Ich sende 1000 Datensätze gleichzeitig, so dass die API 1 - 1000 dann 1001 - 2000 und so weiter sendet. Dies vermeidet die Zeitüberschreitung. Ist dies ein guter Ansatz bei der Verarbeitung von Massendaten?

Verfügt ROR über eine eingebaute Funktion für diese Art von Operation. Bitte hilf mir.

Dank

Answer 1

Kurz gesagt, nein, ich glaube nicht, dass dies für die Übertragung von Massendaten sind ein guter Ansatz.

Setzen Sie die Sicherheitsbedenken beiseite (was Grund ist nicht zu), müssen Sie Daten/Schema Konsistenz, Verbindungszuverlässigkeit, Integrität des Datentyps, Parsing und Bereinigen von Strings, Serialisierung/Deserialisierung, etc ... Klingt wie ein riesiger Kopfschmerz für mich.

Massenhafte Datenübertragungen zwischen Datenbanken sind keine Verantwortung/Angelegenheit von Rails. Ich würde dies vollständig im Backend tun und eine neue Datenbank als Replikations-Slave des Masters einrichten.