rounding-error

7Hitze

1Antwort

Entity Framework Code Zuerst trunkiere ich meine Dezimalstellen

Ich benutze Entity Framework 6.x mit dem Code First Ansatz für eine MVC 5-Anwendung. In dieser besonderen Situation meines Modell (unter anderem) zwei Eigenschaften genannt Breite und Länge: [Required

ef-code-first decimal entity-framework-6 geospatial rounding-error 2014-10-15

---

14Hitze

2Antwort

Gibt es in R einen Datentyp "Dezimal"?

Ich lese Daten im Format DECIMAL aus einer MySQL-Tabelle. Ich möchte innerhalb R. Berechnungen auf diese Zahlen tun habe ich sie zu einem numeri represaentation werfen as.numeric() verwenden, aber die

r decimal numeric rounding-error 2013-06-06

---

58Hitze

3Antwort

BigDecimal multiplizieren mit Null

Ich mache eine einfache Multiplikation mit BigDecimal und ich habe ein seltsames Verhalten bei der Multiplikation mit Null gefunden (Multiplikation mit Null ist in diesem Anwendungsfall korrekt). Grun

java bigdecimal numerical-analysis rounding-error 2012-08-14

---

0Hitze

1Antwort

Python: seltsames Rundungsverhalten von math.sqrt()

Mit Python 2.7.10 habe ich durch Zufall herausgefunden, dass 5 * math.sqrt (3) und math.sqrt (5 ** 2 * 3) nicht die sind gleiche float: import math import decimal print decimal.Decimal(5*math.sqrt(

python python-2.7 floating-point rounding-error 2016-04-17

---

1Hitze

1Antwort

Doppelter Rundungsfehler in MongoDB mit Group()

Ich bin neu in MongoDB und versuche einige Grundlagen, aber das erstaunte mich. Ich vermute, ich verstehe ein Kernkonzept falsch, aber kann mir jemand sagen, was hier vor sich geht? Mit dem offizielle

mongodb double rounding-error 2012-03-29

---

9Hitze

4Antwort

Rundungsdifferenzen auf Windows vs Unix-basierten System in sprintf

Ich habe ein Problem auf UNIX-basierten Systemen sprintf nicht richtig aufrunden Wert. Zum Beispiel double tmp = 88888888888885.875 char out[512]; Das ist 88,888,888,888,885.875 nur um leichter auf

c++ c windows unix rounding-error 2011-01-10

---

2Hitze

3Antwort

Dezimal nicht richtig gerundet

Ich habe eine Dezimalstelle namens "Summe" und sein Wert ist 5824088.999120m, aber wenn ich versuche, es auf 3 Dezimalstellen runden, bekomme ich 5824088.998m statt 5824088.999m. Es dekrementiert anst

c# decimal rounding-error 2016-05-06

---

6Hitze

2Antwort

Fehler bei Fließkommawert für die Sammlung Ansicht Abrundung

Ich möchte auf meinem device.I eines Pixels Problem loszuwerden bin ein Kalender entwerfen, die wie unten aussieht ich UICollectionViewCell bin mit für Dieser Zweck - (UIEdgeInsets)collectionView: (U

ios objective-c iphone uicollectionview rounding-error 2016-01-29

---

8Hitze

2Antwort

Korrekte Summen mit Trennsummen, um Rundungsfehlern entgegenzuwirken

Web-Anwendung in PHP mit einer MySQL-Datenbank codiert. Ich habe ein System, das unterschiedliche Kosten für eine Anzahl von Leuten berechnet, wenn man Kosten aufteilt. Zum Beispiel Person A kauft etw

php divide rounding-error 2012-07-23

---

0Hitze

1Antwort

Welche Rundungsmethode wird in Java verwendet, wenn mit Gleitkommazahlen gearbeitet wird?

Die Sprache ist Java und die Maschine ist ein normaler PC mit einem Intel-Prozessor. Der Typ ist doppelt. Fließkommazahlen können nicht genau jede gebrochene Zahl darstellen, das Ergebnis der Operatio

java floating-point operation rounding-error 2016-07-07

---