Google Compute Engine-VM-Datenträger ist sehr langsam.

Question

Wir sind gerade zu Google Compute Engine gewechselt und haben große Probleme mit der Festplattengeschwindigkeit. Es war etwa 5% von Linode oder schlechter. Es hat nie 20M/s zum Schreiben und 10M/s zum Lesen überschritten. Meistens sind es 15M/s zum Schreiben und 5M/s zum Lesen.

Derzeit wird ein n1-highmem-4 (4 vCPU, 26 GB Arbeitsspeicher) ausgeführt. CPU & Speicher sind nicht der Flaschenhals. Führen Sie einfach ein Skript aus, das Zeilen aus der PostgreSQL-Datenbank liest, verarbeitet und anschließend an PostgreSQL zurückschreibt. Es ist nur für einen allgemeinen Job, die Datenbankzeile im Batch zu aktualisieren. Ich habe versucht, 20 Prozesse auszuführen, um Multicore zu nutzen, aber der Gesamtfortschritt ist immer noch langsam.

Wir denken, dass die Festplatte Engpässe verursachen kann, da der Datenverkehr ungewöhnlich niedrig ist.

Endlich haben wir uns für ein Benchmarking entschieden. Wir fanden es ist nicht nur langsam, sondern scheint einen großen Fehler zu haben, die reproduzierbar ist:

1. erstellen & zu Instanz verbinden

2. laufen die Benchmark mindestens dreimal:

   dd if=/dev/zero bs=1024 count=5000000 of=~/5Gb.file 
   

Wir fanden, dass es extrem langsam wird und das Benchmarking überhaupt nicht beenden kann.

Answer 1

Die Leistung persistenter Festplatten ist proportional zur Größe der Festplatte selbst und der VM, an die sie angeschlossen ist. Je größer die Festplatte (oder die VM) ist, desto höher ist die Leistung. Der Preis, den Sie für die Festplatte oder die VM bezahlen, zahlt sich also nicht nur auf die Festplatte/CPU/RAM, sondern auch auf IOPS und Durchsatz aus.

die Zitiert Persistent Disk documentation:

Persistent Leistung Scheibe hängt von der Größe des Volumens und der Plattentyp Sie auswählen. Größere Volumes können höhere I/O-Level als kleinere Volumes erreichen. Es gibt keine separaten E/A-Gebühren, da die Kosten für die E/A-Funktion im Preis der persistenten Festplatte enthalten sind.

Persistent Festplattenleistung kann wie folgt beschrieben werden:

• IOPS Leistungsgrenzen wachsen linear mit der Größe der persistenten Festplatte Volumen.
• Die Durchsatzlimits werden auch linear erhöht, bis zur maximalen Bandbreite für die virtuelle Maschine, an die die persistente Festplatte angeschlossen ist.
• Größere virtuelle Maschinen haben höhere Bandbreitenbeschränkungen als kleinere virtuelle Maschinen.

Es gibt auch eine detailliertere Preistabelle auf der Seite, die, was Sie pro GB Speicherplatz erhalten zeigt, die Sie kaufen (Daten unter dem Stand vom August 2014):

        Standard disks  SSD persistent disks 

Price (USD/GB per month)    $0.04    $0.025 
Maximum Sustained IOPS 
    Read IOPS/GB       0.3     30 
    Write IOPS/GB       1.5     30 
Read IOPS/volume per VM     3,000    10,000 
Write IOPS/volume per VM    15,000    15,000 
Maximum Sustained Throughput 
    Read throughput/GB (MB/s)    0.12     0.48 
    Write throughput/GB (MB/s)    0.09     0.48 
Read throughput/volume per VM (MB/s)  180     240 
Write throughput/volume per VM (MB/s) 120     240 

und einem konkretes Beispiel auf der Seite dessen, was eine bestimmte Größe einer Diskette, die Sie geben:

Als Beispiel dafür, wie Sie die Performance-Chart können den Datenträger Sie wollen, um zu bestimmen, conside r, dass eine 500 GB Standard persistent Platte, die Sie geben:

• (0,3 x 500) = 150 kleine zufällige liest
• (1,5 x 500) = 750 kleine Random Writes
• (0,12 x 500) = 60 MB/s von großen sequentiellen Lese
• (0,09 x 500) 45 MB/s von großen sequenziellen = schreibt