Problem beim Analysieren einer mehrzeiligen JSON-Datei mit Python

Question

Ich versuche, eine JSON-Multiline-Datei unter Verwendung der json-Bibliothek in Python 2.7 zu analysieren. Eine vereinfachte Beispieldatei ist unten angegeben:

{ 
"observations": { 
    "notice": [ 
     { 
      "copyright": "Copyright Commonwealth of Australia 2015, Bureau of Meteorology. For more information see: http://www.bom.gov.au/other/copyright.shtml http://www.bom.gov.au/other/disclaimer.shtml", 
      "copyright_url": "http://www.bom.gov.au/other/copyright.shtml", 
      "disclaimer_url": "http://www.bom.gov.au/other/disclaimer.shtml", 
      "feedback_url": "http://www.bom.gov.au/other/feedback" 
     } 
    ] 
} 
} 

Mein Code ist wie folgt:

import json 

with open('test.json', 'r') as jsonFile: 
    for jf in jsonFile: 
     jf = jf.replace('\n', '') 
     jf = jf.strip() 
     weatherData = json.loads(jf) 
     print weatherData 

Trotzdem bekomme ich einen Fehler wie unten dargestellt:

Traceback (most recent call last): 
File "test.py", line 8, in <module> 
weatherData = json.loads(jf) 
File "/home/usr/anaconda2/lib/python2.7/json/__init__.py", line 339, in loads 
return _default_decoder.decode(s) 
File "/home/usr/anaconda2/lib/python2.7/json/decoder.py", line 364, in decode 
obj, end = self.raw_decode(s, idx=_w(s, 0).end()) 
File "/home/usr/anaconda2/lib/python2.7/json/decoder.py", line 380, in raw_decode 
obj, end = self.scan_once(s, idx) 
ValueError: Expecting object: line 1 column 1 (char 0) 

nur einige Tests zu tun Ich habe den Code so geändert, dass ich nach dem Entfernen von Zeilenumbrüchen und dem Entfernen der führenden und nachfolgenden Leerstellen den Inhalt in eine andere Datei (mit der Erweiterung json) schreibe. Überraschenderweise bekomme ich beim Lesen der letzten Datei keinen Fehler und das Parsen ist erfolgreich. Der modifizierte Code ist wie folgt:

import json 

filewrite = open('out.json', 'w+') 

with open('test.json', 'r') as jsonFile: 
    for jf in jsonFile: 
     jf = jf.replace('\n', '') 
     jf = jf.strip() 
     filewrite.write(jf) 

filewrite.close() 

with open('out.json', 'r') as newJsonFile: 
    for line in newJsonFile: 
     weatherData = json.loads(line) 
     print weatherData 

Die Ausgabe ist wie folgt:

{u'observations': {u'notice': [{u'copyright_url': u'http://www.bom.gov.au/other/copyright.shtml', u'disclaimer_url': u'http://www.bom.gov.au/other/disclaimer.shtml', u'copyright': u'Copyright Commonwealth of Australia 2015, Bureau of Meteorology. For more information see: http://www.bom.gov.au/other/copyright.shtml http://www.bom.gov.au/other/disclaimer.shtml', u'feedback_url': u'http://www.bom.gov.au/other/feedback'}]}} 

Jede Idee, was gehen könnte, wenn neue Linien und weißen Flächen vor der Verwendung json Bibliothek abgezogen werden?

Answer 1

Sie verrückt gehen, wenn Sie versuchen, eine JSON-Datei Zeile für Zeile zu analysieren. Das json-Modul hat Hilfsmethoden, um Dateiobjekte direkt oder Zeichenketten zu lesen, d. H. Die load und loads Methoden. load nimmt ein Dateiobjekt (wie unten gezeigt) für eine Datei, die JSON-Daten enthält, während loads eine Zeichenfolge verwendet, die JSON-Daten enthält.

Option 1: - Bevorzugte

import json 
with open('test.json', 'r') as jf: 
    weatherData = json.load(jf) 
    print weatherData 

Option 2:

import json 
with open('test.json', 'r') as jf: 
    weatherData = json.loads(jf.read()) 
    print weatherData 

Wenn Sie für eine höhere Leistung json Parsing suchen Besuche ujson

Answer 2

Im ersten Snippet versuchen Sie, es Zeile für Zeile zu analysieren. Sie sollten alles auf einmal analysieren. Am einfachsten ist es, json.load(jsonfile) zu verwenden. (Der Name der jf-Variablen ist irreführend, da es sich um eine Zeichenfolge handelt). So ist der richtige Weg, es zu analysieren:

import json 

with open('test.json', 'r') as jsonFile: 
    weatherData = json.loads(jsonFile) 

Obwohl es eine gute Idee, in einem die json speichern Linie, wie es prägnanter ist.

Im zweiten Schnipsel Ihr Problem ist, dass Sie es als Unicode-String drucken, das ist und u'string here' ist Python-spezifisch. Eine gültige Json verwendet doppelte Anführungszeichen

Answer 3

FYI, können Sie beide Dateien in einzelne with Anweisung geöffnet:

with open('file_A') as in_, open('file_B', 'w+') as out_: 
    # logic here 
    ...