bigdata

0Hitze

1Antwort

Summe einiger Faktoren Gesamtanzahl in R

Sehr neu zu R! Ich habe eine Umfrage mit Leuten, die von 0 bis 10 antworten. Ich möchte summieren, wie viele Leute waren < = 6. Wie viele 7 und 8. Wie viele> = 9. Ich musste die Fragen (Return, Trustw

0Hitze

1Antwort

Konvertieren von relativen Beobachtungen in numerische Werte

Dies ist mein erstes Projekt in R, nachdem ich gerade Java gelernt habe. Ich habe einen (großen) Datensatz, den ich aus einer CSV-Datei in Datenrahmen importiert habe. Ich habe die zwei relevanten Spa

1Hitze

2Antwort

Hive - Auswahl der ID, für die der Wert des anderen Feldes in aufeinanderfolgenden Zeitstempeln aufsteigend ist

Ich muss die equipment_id auswählen, für die der "Reading" in aufeinanderfolgenden Zeitstempeln aus der unteren Hive-Tabelle 'Object_report' aufsteigend ist. station_id equipment_id timpe_stamp Readin

0Hitze

1Antwort

Verwenden von PyTables zum Indexieren einer HDF5-Datei mit 500 GB

Ich möchte eine verschlüsselte 500 GB-800 GB-Tabelle in HDF5 speichern und dann Zeilen mit bestimmten Schlüsseln abrufen. Für eine HDF5 Datei, Elemente wie alle Datenzugriff verwenden eine ganze Zahl

1Hitze

2Antwort

Ruby PStore vs Postgres

Momentan verwende ich Ruby PStore um große Objekte (> 1GB) auf der Festplatte zu speichern. Leider scheint die Größe des PStore bei ca. 2GB begrenzt zu sein und dies reicht für meine Anwendung nicht a

1Hitze

2Antwort

Wie zu veröffentlichen einzelne Parkett-Datei nach der Verarbeitung in Spark

Ich habe eine Parkett-Datei mit 100.000 Datensätze. Ich möchte alle Datensätze mit Parallelität verarbeiten und meine Verarbeitung wird weitere Spalten generieren. Also, wenn Ihr Parkett Datei 3 Spalt

-2Hitze

1Antwort

MySQL InnoDB, Multithreading, Multiinserts und Sperren. Suche nach der richtigen Strategie

Meine Frage ist nicht spezifisch, aber es ist abstrakt. In meinen Projekten beschäftige ich mich oft mit der Verarbeitung von Hintergrund-DBs, habe aber immer noch keine gute Strategie, wie man das ri

-2Hitze

1Antwort

Bietet Databricks empfohlene Spark-Parameter für einen bestimmten Cluster und Datensatz?

Ich habe gerade einen 7-Knoten-Funke-Cluster mit jedem Arbeiter mit 8 GB Speicher und 4 Kernen erstellt. Es ist kein riesiger Cluster, aber scheitert mit "GC Overhead Limit überschritten" für nur 10 G

1Hitze

1Antwort

einen Tisch auf Hive

CREATE TABLE DowJones (quarter int, stock string, StockDate date, open double, high double, low double, close double, volume double, percent_change_price double, percent_change_volume_over_last_wk dou

1Hitze

1Antwort

Rack in Cassandra

Ich habe verschiedene Tutorials durchlaufen, aber das Konzept von Rack ist mir nicht klar. Ich verstehe den Knoten, Datencenter, Cluster. Knoten speichert die Daten. DataCenter ist eine Sammlung von K