precision

192Hitze

5Antwort

JavaScript zeigt einen Gleitkommawert auf 2 Dezimalstellen an

Ich wollte eine Zahl mit 2 Dezimalstellen anzeigen. Ich dachte, ich könnte toPrecision(2) in JavaScript verwenden. Wenn jedoch die Nummer 0.05 ist, bekomme ich 0.0500. Ich würde es lieber gleich bleib

javascript floating-point precision 2010-07-02

---

7Hitze

3Antwort

C# double precision problem

Stellen Sie sich vor, a - b < c (a, b, c sind C# double). Ist es garantiert, dass ein < b + c? Danke! EDIT Lassen Sie sich sagen, daß der arithmetische Überlauf nicht auftritt, im Gegensatz zu dem fol

c# double precision 2010-09-03

---

9Hitze

4Antwort

Floating Point Arithmetic - Modulo Operator auf Double Type

Also ich versuche herauszufinden, warum der Modulo-Operator einen so großen ungewöhnlichen Wert zurückgibt. Wenn ich den Code haben: double result = 1.0d % 0.1d; es wird ein Ergebnis von 0.09999999999

c# floating-point precision 2010-05-27

---

5Hitze

3Antwort

Arithmetische Präzision mit Doppel in Matlab

Ich habe ein wenig Mühe zu verstehen, wie die Genauigkeit dieser Doppelpunkte das Ergebnis arithmetischer Operationen in Matlab beeinflusst. Ich dachte, da beide & b Doppel sind, wären sie in der Lage

matlab floating-point double precision 2010-09-13

---

83Hitze

7Antwort

Unterschied zwischen toFixed() und toPrecision()?

Ich bin neu in JavaScript und entdeckte gerade und toPrecision() runden Zahlen. Ich kann jedoch nicht herausfinden, was der Unterschied zwischen den beiden ist. Was ist der Unterschied zwischen number

javascript rounding precision 2010-07-26

---

14Hitze

7Antwort

Auto-Intervall-Genauigkeit in MS-Diagramm

Ich verwende derzeit die Erstellung von Diagrammen in .NET mit System.Windows.Forms.DataVisualization.Charting.Chart. Bis jetzt scheint es sehr mächtig und funktioniert großartig. Es gibt jedoch ein g

c# precision data-visualization mschart intervals 2010-09-17

---

12Hitze

4Antwort

Feuerungsereignisse bei Mikrosekunde Auflösung für MIDI-Sequenzer

Gibt es eine Möglichkeit Ereignisse in C# mit einer Auflösung von wenigen Mikrosekunden zu feuern? Ich baue einen MIDI-Sequenzer, und es erfordert ein Ereignis jeden MIDI tick abgefeuert werden, die d

c# timer precision midi 2010-08-04

---

5Hitze

3Antwort

Wie gehen printf und scanf mit Fließkomma-Präzisionsformaten um?

Betrachten Sie den folgenden Code-Snippet: float val1 = 214.20; double val2 = 214.20; printf("float : %f, %4.6f, %4.2f \n", val1, val1, val1); printf("double: %f, %4.6f, %4.2f \n", val2, val2, val

c floating-point double precision 2010-09-24

---

5Hitze

2Antwort

SQL Server Precision Crazyness

Ich habe ein Problem mit SQL Server-Genauigkeit. Ich habe folgende Anfragen: DECLARE @A numeric(30,10) DECLARE @B numeric(30,10) SET @A = 20.225 SET @B = 53.3875 SELECT @A * @B DECLARE @A1 numer

sql-server tsql precision 2010-11-16

---

6Hitze

2Antwort

Doppelwerte in SQLite speichern: Wie kann man die Genauigkeit sicherstellen?

Ich habe ein Problem mit doppelten Werten, die ich in einer Android homed sqlite-Datenbank speichern muss. da diese doppelten Werte gps-Werte darstellen (lat & lng), habe ich wirklich NEED eine absolu

android database sqlite double precision 2010-06-21

---