precision

0Hitze

1Antwort

NSDate Präzision verloren, wenn auf NSNumber Umwandlung miliseconds

ich ein NSDate wie Datum erhalten möchten(). GetTime() in Java, miliseconds seit 1970 Aber wenn ich es tue, ich verloren Präzision und ich bekomme ein anderes Datum NSDate *nowDate = [NSDate date]; N

1Hitze

3Antwort

Nicht ganzzahliger ULP-Fehler?

Ich habe eine Frage über Fließkomma-Präzision. Wie ich es verstehe, ist ULP der Abstand zwischen zwei aufeinanderfolgenden diskreten, endlichen Zahlen in einer gegebenen Spezifikation. Oder die Einhei

3Hitze

1Antwort

Rails Präzision Fehler

Wenn ich dies in meiner Rails-Anwendung ausführen: SQL (0.3ms) SELECT SUM("transactions"."amount") AS sum_id FROM "transactions" WHERE (envelope_id = 834498537) Und dieser Wert wird zurückgegeben: <

2Hitze

1Antwort

Gmp mpf_pow_ui Funktion

Ich benutze gmp mpf_t zu versuchen und sehr hohe Präzision zu erhalten. Mein Bereich der Genauigkeit reicht von negativen Billionen bis zu positiven Billionen, sowie 1 über diesen Zahlen. Allerdings u

1Hitze

1Antwort

Matlab: Das Speichern große Zahl in Matlab

Für große Zahlen zu speichern ich zum nächsten bin beziehen: 2.7182818284590455348848081484902650117874145507812500 Ich kann diese sparen mit double precision floating-point format (IEEE754) Danke.

14Hitze

3Antwort

Präzision der Schwimmer mit printf

Wie Sie alle wissen, haben Sie begrenzte Präzision, wenn Sie printf verwenden, um den Wert eines float auszugeben. Allerdings gibt es einen Trick, um die Genauigkeit in der Ausgabe zu erhöhen, wie die

6Hitze

4Antwort

Kann die Genauigkeit von SQL Server 2008 TIME auf nur Stunden und Minuten reduziert werden?

Mit SQL Server 2008 verfügt der Datentyp time über ein optionales Präzisionsargument (Standardwert ist 7). Damit können Sie steuern, wie viele Nachkommastellen gespeichert und angezeigt werden. DECLAR

3Hitze

2Antwort

Arbeiten mit Zahlen größer als den maximalen Dezimalwert

Ich arbeite mit dem Produkt der ersten 26 Primzahlen. Dies erfordert mehr als 52 Bits an Genauigkeit, was meiner Meinung nach das Maximum ist, das ein Double bewältigen kann, und mehr als die 28-29 si

2Hitze

2Antwort

Erklärung der Details eines Beschleunigungsmesser Datenblatt

Ich arbeite an Samsung Galaxy Beschleunigungsmesser SMB380. Dies ist das Datenblatt: http://www.bosch-sensortec.com/content/language1/downloads/SMB380_Flyer_Rev1.3.pdf Kann mir jemand technische Daten

2Hitze

2Antwort

jQuery Scroll-Berechnungen bei High-Speed-Scrolling ungenau

Ich habe in etwas sehr merkwürdig geraten. Die Wahrscheinlichkeit, dass es ein Fehler in meinem Code ist, ist hoch, aber ich kann nicht herausfinden, warum es passiert. Zunächst ist hier eine Beispiel