Lesen von Daten von UTF-8-Textdatei und tokenize

Question

Ich versuche, UTF-8 aus einer Textdatei zu lesen und einige tokenization zu tun, aber ich habe Probleme mit der Codierung:

try { 
    fis = new FileInputStream(fName); 
} catch (FileNotFoundException ex) { 
    //... 
} 

DataInputStream myInput = new DataInputStream(fis); 
    try { 
     while (thisLine = myInput.readLine()) != null) { 
      StringTokenizer st = new StringTokenizer(thisLine, ";"); 
      while (st.hasMoreElements()) { 
      // do something with st.nextToken(); 
    } 
} 
} catch (Exception e) { 
//... 
} 

und Datainputstream hat keine Parameter um die Kodierung einzustellen!

Answer 1

Lassen Sie mich für diese Methode geben Sie die Javadoc gut funktionieren würde.

DataInputStream.readLine()

aufgegeben. Diese Methode konvertiert nicht korrekt Bytes in Zeichen. Ab JDK 1.1 ist der bevorzugte Weg zu Lesen von Textzeilen über die BufferedReader.readLine() -Methode. Programme, die die Datainputstream Klasse verwenden Zeilen lesen kann die BufferedReader-Klasse von ersetzen Code des Formulars zu verwenden umgewandelt werden:

 DataInputStream d = new DataInputStream(in); 

mit:

 BufferedReader d 
      = new BufferedReader(new InputStreamReader(in)); 

BTW: JDK 1.1 kam im Februar 1997 heraus, also sollte das für Sie nicht neu sein.

Denken Sie nur daran, wie viel Zeit alle gespeichert hätten, wenn Sie den Javadoc gelesen hätten. ;)

Answer 2

Warum nicht InputStreamReader verwenden und die Codierung angeben? Sie können dann mit einem BufferedReader umbrechen, um die readLine() - Funktion bereitzustellen.

Answer 3

können Sie Input verwenden:

BufferedReader br = new BufferedReader (new InputStreamReader (source, charset); 
while (br.readLine() != null) { ... } 

Sie auch Scanner versuchen können, aber ich bin nicht sicher, dass es

Answer 4

Wenn Sie Text (nicht binäre Daten) lesen, sollten Sie einen Reader (keinen InputStream) verwenden. Sie können die Codierung für die VM angeben, indem Sie -Dfile.encoding = utf-8 ausführen. Der Reader wird diese Codierung automatisch verwenden. So könnte man die Kodierung einfach wechseln. Sie können BufferedReader in FileReader verwenden, um eine readLine() zu erhalten. Die Methode readline() hat nur Sinn, wenn das Lesen von Text sonst die Zeilenenden sind nur die Bytes

Answer 5

Eine sehr einfache Art und Weise:

File myFile = ... 

String contents = Files.toString(myFile, Charsets.UTF_8); 
for (String token : contents.split(";")) { 
    // do something with token 
} 

Wo Files und Charsets sind von Guava. Oder wenn Sie die Datei Zeile für Zeile verarbeiten müssen, beginnen Sie mit diesem statt:

List<String> lines = Files.readLines(myFile, Charsets.UTF_8); 

Beachten Sie auch, dass split() einfacher ist, hier zu verwenden, als StringTokenizer.

Know and use the libraries, wie ich es gerne gesagt habe. (Natürlich kann das Lesen der gesamten Datei auf einmal nicht für alle Situationen geeignet sein.)

Bearbeiten (2013): Schaltete meine Empfehlung von Apache Commons IO nach Guava, die insgesamt sauberer und aktivere Bibliothek verwaltet wird.

Answer 6

StringTokenizer ist eine extrem einfache Klasse für die Text-Tokenisierung, ich kann sie nur für Aufgaben empfehlen, die die Token nicht weiter identifizieren müssen (d. H. Mit einem Wörterbuch-Lookup) und die nur für westliche Sprachen verwendet werden.

Für weitergehende Fälle in westlichen Sprachen kann ein einfacher Tokenizer basierend auf Unicode-Zeichenklassen geschrieben werden (dies wird viele Arten von Leerzeichen aufnehmen, Zeichen abgrenzen usw.) und dann mit Regexes erweitert, um spezielle Fälle zu fangen (wie ' das ist ',' C++ '...).