Große DataSets in Excel

-1

Mein Job erfordert große Datensätze in Excel zu analysieren, die weiter zunehmen (Derzeit habe ich 300 MB Dateien mit über 300.000 Zeilen). Mein Hauptproblem ist die Verarbeitungsgeschwindigkeit, die sehr langsam ist (über 15 Minuten, um Informationen zu verarbeiten). Ich kann aufgrund der Unternehmensrichtlinie nichts auf meinem Computer installieren. Gibt es eine Möglichkeit für mich, große Datensätze zu lesen und Pivot-Tabellen zu erstellen, ohne so lange warten zu müssen?Große DataSets in Excel

Vielen Dank im Voraus

Quelle

2016-05-06 user3304058

Was genau versuchen Sie mit diesen Datensätzen? Wenn Sie Ihre Frage nicht eingrenzen, erhalten Sie wahrscheinlich keine hilfreichen Antworten. Vielleicht möchten Sie das http://stackoverflow.com/help/how-to-ask lesen, um ein paar Ideen zu bekommen, wie Sie Ihre Fragen in Zukunft verbessern können. – MLucas

Meine Aufgabe besteht darin, Prozesse zu analysieren. Diese Prozesse werden den Arbeitern zugewiesen und jeder Prozess hat unterschiedliche Zustände. Ich muss die Zeit zwischen Zuständen in einem bestimmten Monat, die Anzahl von Prozessen, die den Arbeitern zugewiesen sind, bestimmen, und wenn vorbezeichnete Zeitreferenzen von jedem Arbeiter sichergestellt werden (Beispiel: Arbeiter X brauchte 3 Stunden von Staat A zu Staat B, wenn die Zeitreferenz 2 Stunden beträgt). Ich muss auch Diagramme von jedem dieser Vorkommen erstellen. – user3304058

Verwenden Sie viele Formeln, um diese Aufgaben auszuführen? Wenn dies der Fall ist, sollte das Hinzufügen von Hilfsspalten und die Verwendung von Pivots die Berechnungszeiten reduzieren. – MLucas

Sie eine Datenbank verwenden kann, vielleicht mit einer portablen Version von Workbench, die von einem Stift liefen werden können. Excel ist nicht die beste Anwendung für große Datenmengen.

Mit freundlichen Grüßen,

Quelle

2016-05-06 11:15:42 csanjose

Unternehmensrichtlinie erlaubt keine Freeware. Es ist eine große Einschränkung. – user3304058

Es scheint, dass Ihre Richtlinien ein Update benötigen. Excel ist für kleine Brocken von Daten – csanjose

@csanjose. Was ist deine Definition von "groß" und "klein"? Ja, eine Dateigröße von 300 MB weist darauf hin, dass es für das OP nicht tragbar ist, Excel weiterhin so zu verwenden, wie es derzeit ist. Aber ich wette, das ist wegen der Art, wie sie diese 300.000 Zeilen in Excel eingegeben haben, und nicht einfach wegen der Anzahl der Zeilen. Ich habe Dateien mit viel mehr Zeilen als in denen, die in einem Bruchteil einer Sekunde berechnen. – jeffreyweir

Wenn Sie Muss Verwendung Excel, könnten Sie die Daten exportieren auf eine CSV-Datei zu betrachten. Wenn der Datensatz wächst, können Sie die neuen Daten einfach an die vorhandene Datei anhängen.

Sie würden dann eine neue Abfrage erstellen (Daten> Neue Abfrage> Aus Datei> Aus CSV, Alt + A, PN, F, C. Dies ist für Excel 2016, ich erinnere mich nicht an frühere Versionen). Jede Abfrage kann speziell auf einen bestimmten Typ von Einblick zugeschnitten sein, den Sie zu generieren versuchen, und solange Ihre Daten immer auf die gleiche Weise formatiert sind, müssen Sie die Abfrage nicht jedes Mal neu schreiben.

Diese Methode hat den Vorteil, dass Sie für jeden Schritt Ihrer Analyse kleinere Datenmengen zur Verfügung haben, wodurch Sie eine Menge Speicher freisetzen können. Dies würde auch die Arbeitsmappe kleiner halten (obwohl Ihre CSV-Datei am Ende riesig sein würde).

Ich tat dies vor kurzem mit einer großen Reihe von historischen Produktionsaufzeichnungen, die über 2,5 Millionen Zeilen von Daten hatten, zu viel für Excel. Aber mit der Methode, die ich beschrieben habe, war ich in der Lage, direkt in Power Query zu laden, die 100 Millionen von Zeilen verarbeiten kann (oder so gelesen habe).

Quelle

2016-05-06 12:56:52 MikeG

Ich habe nicht die Power Query Add in Excel (und ich kann es auch nicht installieren). Obwohl es eine gute Lösung ist – user3304058

Sie erwähnen, Sie haben 300.000 Zeilen plus. Das ist nicht unbedingt ein Problem ... Ich habe Dateien mit viel mehr Zeilen als diese, die blitzschnell sind.

Die Anzahl der Datenzeilen ist hier nicht das Problem. Eher ist es, was ist in diese Zeilen - oder welche Formeln Punkt in diesen Zeilen - die wahrscheinlich verursachen Ihre Dateigröße Probleme mit Blähungen und schlechte Formel Leistung. Nicht zu vergessen, welche Formatierung auf diese Zeilen angewendet wird.

Ich könnte mir vorstellen, das Problem aufgrund der Menge von Rohdaten nicht nicht viel ist, sondern welche Art von Formeln, die Sie in Ihrer Arbeitsmappe haben, die zu diesem Datenpunkt (und wie viele dieser Formeln gibt es) . Möglicherweise haben Sie auch ein Problem mit dem Used Range, das Ihre Dateigröße und Neuberechnungszeit möglicherweise aufgebläht hat. Und Sie haben möglicherweise ein Problem mit etwas, das volatile Formeln genannt wird, die Neuberechnung von "Lawinen" verursachen können, wenn Sie irgendetwas in Ihrer Datei ändern. Hier einige Artikel, die ich geschrieben habe, dass diese Dinge im Detail erklären helfen:

http://chandoo.org/wp/2013/09/29/i-said-your-spreadsheet-is-really-fat-not-real-phat/ http://chandoo.org/wp/2014/03/03/handle-volatile-functions-like-they-are-dynamite/

Excel möglicherweise ist das beste Werkzeug für den Job hier. Möglicherweise haben Sie es versehentlich so programmiert, dass es nicht effizient ist.

Quelle

2016-05-07 22:08:06 jeffreyweir

Antwort

Verwandte Themen