precision

6Hitze

1Antwort

Wie kann ich f16 bis f32 nur mit der stabilen Standardbibliothek decodieren?

Ich muss gespeicherte halbe Floats (16 Bit) in 32-Bit-Standard-Floats konvertieren. Ich verwende derzeit den folgenden Code, aber es beruht auf libc. Ich möchte nur std verwenden und es sollte auf sta

0Hitze

2Antwort

zwei gleiche Gleitkommazahlen in MATLAB Subtrahieren nicht gleich 0

Angenommen, wir (a + b) auf zwei verschiedene Arten berechnet werden sollen, dass ist (a + b) * (a + b) ein + 2 ab + b Jetzt , angenommen a = 1.4 und b = -2.7. Wenn wir diese beiden Zahlen in den Form

0Hitze

4Antwort

Wie behandelt Java die Genauigkeit über mehrere Typen hinweg?

In Java, wenn ich so etwas wie dieses ich eine Ausgabe von 1.0 oder mit System.out.println(((byte)1)*'A'); ich eine Ausgabe von 65 erhalten erhalten System.out.println(1.0f*1l)); drucken In be

0Hitze

1Antwort

Wie float Nummer Runde? C++/CLI - VS2015

Angenommen, es gibt zwei Gleitkommazahlen: a, b. Ich muss einen zu b zuweisen. Dann würde b durch eine Funktion in eine Textzeichenfolge konvertiert werden, die ich nicht ändern kann. Die Umwandlung e

0Hitze

1Antwort

Wie wird Präzision in der gmp-Bibliothek verwendet?

Wie wird die Genauigkeit in der gmp-Bibliothek verwendet? Versuchen, etwas wie set precision() in Doppel zu finden, float. Eigentlich muss ich meinen Ausdruck mit Null vergleichen, aber in Aufgabe geb

2Hitze

1Antwort

Warum fix ((20.45-20) * 60) ist nicht gleich mit fix ((20) * 60) in MATLAB

Es gibt eine interessante Frage auf Facebook, die ich begegnete. Er bittet darum, dass er mit MATLAB R2014a (64-Bit-Version) und den Code lautete: - x = 0.45; min = fix((x)*60); fprintf('min = %d \n

2Hitze

2Antwort

Wie Ungenauigkeit der Fließkommazahl in Python abgeschnitten

Ich schreibe ein Programm, für das es wichtig ist, Werte in einer Datumsreihe zu vergleichen und zu bewerten. Allerdings habe ich Probleme mit der Ungenauigkeit der Schwimmer Ich ziehe diese Daten von

7Hitze

2Antwort

assertEquals Präzision

Ich bin verwirrt in Bezug auf die Delta/Präzision in assertEquals. Ich verstehe, dass 0.034 gibt mir die Präzision für meinen Abteilungscode, wie unten dargestellt: public void testDivide() { as

26Hitze

4Antwort

BigDecimal, Präzision und Maßstab

Ich verwende BigDecimal für meine Nummern in meiner Anwendung, zum Beispiel mit JPA. Ich habe ein bisschen nach den Begriffen "Präzision" und "Skalierung" recherchiert, aber ich verstehe nicht, was ge

5Hitze

3Antwort

Wie funktioniert das Runden in Python?

Ich bin ein wenig verwirrt darüber, wie Rundung in Python funktioniert. Könnte jemand bitte erklären, warum sich Python so verhält? Beispiel: >>> round(0.05,1) # this makes sense 0.1 >>> round(0.15,