Wie konvertiert man den Unix-Zeitstempel in Spark

Question

Ich habe einen Datenrahmen mit einer Spalte von Unix-Timestamp (zB.11435655706000), und ich möchte es in Daten mit dem Format 'JJJJ-MM-DD' konvertieren, ich habe versuchte nscala-time aber es funktioniert nicht.

val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime) 
time_col.collect().foreach(println) 

und ich habe Fehler: java.lang.IllegalArgumentException: Ungültige Format: "1435655706000" auf "6000" malformed

Answer 1

Ich habe dieses Problem gelöst mit der joda-time Bibliothek durch die Abbildung auf dem DataFrame und Umwandeln des DateTime in einen String:

import org.joda.time._ 
val time_col = sqlContext.sql("select ts from mr") 
         .map(line => new DateTime(line(0)).toString("yyyy-MM-dd")) 

Answer 2

import org.joda.time.{DateTimeZone} 
import org.joda.time.format.DateTimeFormat 

Sie müssen die folgenden Bibliotheken importieren.

val stri = new DateTime(timeInMillisec).toDateTime.toString("yyyy/MM/dd") 

Oder, um Ihren Fall Einstellung:

val time_col = sqlContext.sql("select ts from mr") 
        .map(line => new DateTime(line(0).toInt).toDateTime.toString("yyyy/MM/dd")) 

Es gibt eine andere Art und Weise sein könnte:

import com.github.nscala_time.time.Imports._ 

    val date = (new DateTime() + ((threshold.toDouble)/1000).toInt.seconds) 
      .toString("yyyy/MM/dd") 

this helps :)

Answer 3

Sie konvertieren müssen nicht vor dem String Anwenden auf toDataTime mit nscala_time

import com.github.nscala_time.time.Imports._

scala> 1435655706000L.toDateTime 
res4: org.joda.time.DateTime = 2015-06-30T09:15:06.000Z 

`

Answer 4

Seit spark1.5 gibt es eine eingebaute UDF, dass zu tun.

val df = sqlContext.sql("select from_unixtime(ts,'YYYY-MM-dd') as `ts` from mr") 

Bitte überprüfen Sie Spark 1.5.2 API Doc für weitere Informationen.

Answer 5

Hier wird mit Scala Datenrahmen Funktionen: from_unix_time und to_date

// NOTE: divide by 1000 required if milliseconds 
// e.g. 1446846655609 -> 2015-11-06 21:50:55 -> 2015-11-06 
mr.select(to_date(from_unixtime($"ts"/1000)))