large-data

6Hitze

3Antwort

Wie speichern Sie extrem große Zahlen?

Zum Beispiel habe ich ein Fakultätsprogramm, das wirklich große Ganzzahlen speichern muss, die 50+ Ziffern lang sein können. Der absolute maximale primitive Datentyp in C++ ist unsigned long long int

c++ data-structures int large-data 2013-08-05

---

15Hitze

1Antwort

Split große Datei nach Wert in einer einzigen Spalte (AWK)

Ich möchte eine große Datei (10^6 Zeilen) nach dem Wert in der 6. Spalte (etwa 10 * 10^3 eindeutige Werte) aufteilen. Jedoch kann ich es wegen der Anzahl der Datensätze nicht funktionieren. Es sollte

awk split genetic large-data 2013-05-19

---

9Hitze

1Antwort

lesen große (450000 + Zeichen) Strings aus Datei

Also, ich habe es mit der Integration eines Altsystems zu tun. Es erzeugt eine große Textdatei, die Anweisungen in einer großen Zeichenfolge ausgibt. Wirklich große Saite. Wir sprechen 450 000 Zeichen

java string large-data 2015-04-17

---

5Hitze

2Antwort

Stream Parse 4 GB XML-Datei in PHP

Ich versuche und brauche etwas Hilfe bei der Durchführung der folgenden: Ich möchte streamen eine große XML-Datei (4 GB) mit PHP parsen. Ich kann kein einfaches XML oder DOM verwenden, weil sie die ge

php xml xml-parsing large-files large-data 2013-08-29

---

5Hitze

4Antwort

Vorzuordnen eines großen Arrays in einer MATLAB-Matdatei mit etwas anderem als Nullen

Ich muss ein Array schreiben, das zu groß ist, um in den Speicher einer binären Binärdatei zu passen. Dies kann mit dem Befehl matfile erreicht werden, der den wahlfreien Zugriff auf eine .mat-Datei a

arrays matlab large-data 2014-10-01

---

5Hitze

1Antwort

Memory-Mapped-Datei für numpy Arrays

Ich muss Teile eines riesigen numpy Array in einer Memory-Mapped-Datei gespeichert lesen, die Daten verarbeiten und für einen anderen Teil des Arrays wiederholen. Das ganze numpy Array benötigt ca. 50

numpy memory large-files large-data 2014-10-05

---

5Hitze

2Antwort

Python - die Kombination argsort mit Maskierung nächsten Werte erhalten in Fenster bewegen

ich einige Code haben für fehlende Werte in einem Bild zu berechnen, basierend auf benachbarten Werten in einem 2D-Rundfenster. Es verwendet auch die Werte von einem oder mehreren zeitlich benachbarte

python arrays numpy image-processing large-data 2014-10-16

---

5Hitze

1Antwort

Verbessern der Abfrageleistung aus einer großen HDFStore Tabelle mit Pandas

Ich habe einen großen (~ 160 Millionen Zeilen) Datenrahmen, die ich mit so etwas wie diesem auf der Festplatte gespeichert habe: def fillStore(store, tablename): files = glob.glob('201312*.csv')

python pandas hdfs large-data 2014-04-01

---

8Hitze

1Antwort

Mit Index auf innere Join-Tabelle in MySQL

Ich habe Tabelle Foo mit 200 Millionen Datensätze und Tabelle Bar mit 1000 Datensätze, sie sind viele-zu-eins verbunden. Es gibt Indizes für die Spalten Foo.someTime und Bar.someField. Auch in Bar 900

mysql indexing inner-join large-data 2013-06-13

---

6Hitze

2Antwort

Matlab Datenstruktur für gemischten Typ - was ist zeit- und platzsparend?

Ich muss große Mengen von Tabellendaten gemischten Typs verarbeiten - Strings und Doubles. Ein Standardproblem, würde ich denken. Was ist die beste Datenstruktur in Matlab für die Arbeit mit diesem? C

matlab performance data-structures large-data bigdata 2013-04-26

---