Speichern einer Wahrscheinlichkeitsverteilung, ohne einzelne Werte zu speichern

Question

Ich berechne viele (~ 100 Millionen) Fließkommawerte während einer Operation. Ich möchte sie nicht alle im Gedächtnis behalten, aber ich möchte eine grobe Verteilung der Sammlung speichern.

Meine Idee war, die Exponenten aller Werte zu bestimmen und sie in einem Histogramm zu zählen. Aber das funktioniert natürlich nur, wenn die Werte verschiedene Exponenten haben.

Hat jemand eine Idee, wie ich das tun kann, ohne zu wissen, wie die Verteilung aussieht?

Answer 1

Ich würde vorschlagen, einige nach dem Zufallsprinzip zu speichern, dann ein Histogramm danach machen. Wenn Sie beispielsweise 0,1% der Zahlen nach dem Zufallsprinzip speichern, müssen Sie nur 100.000 speichern, von denen Sie eine sehr genaue Verteilung berechnen können.

Sie können die Anzahl der Aufrufe von rand() reduzieren, indem Sie sie jedes Mal aufrufen, wenn Sie eine Nummer speichern, um eine Zufallszahl im Bereich 1..2000 zu finden. Warten Sie dann auf viele Zahlen, bevor Sie die nächste speichern.

Answer 2

Wenn Sie ungefähr die minimalen und maximalen Werte kennen, würde ich eine Binning-Strategie für eine gute Wahl halten. Hier eine Übersicht für das, was ich meine:

Abbildung heraus, wie viele Behälter Sie brauchen Für all meine Zahlen die Behälter finden, dass diese Zahl in Erhöhungsschritte geht, das ist

Answer 3

Eine weitere nützliche Alternative wäre, auf berechnen -the-fly Momente der Verteilung und dann rekonstruieren PDF von Momenten

https://en.wikipedia.org/wiki/Method_of_moments_(statistics)

https://www.wias-berlin.de/people/john/ELECTRONIC_PAPERS/JAOT07.CES.pdf