Sende ByteArrayOutputStream an Perl-Skript, dann lese Antwort

Question

Ich habe einen ByteArrayOuputStream, den ich von einem diff erhalten habe. Das Parsen von Java ist zu langsam, also habe ich mich entschieden, das Parsing an ein Perl-Skript zu übergeben. Ich habe ein kleines Problem damit, dass das Skript Daten von diesem Ausgabestream empfängt. Wenn ich meinen Code ausführe, hängt die Anwendung auf unbestimmte Zeit. Das ist, was ich bisher habe:

public static Diff analyzeDiff(ByteArrayOutputStream baos) throws IOException { 

    ProcessBuilder pb = new ProcessBuilder(); 
    pb.command("perl/path/perl", TEMP.getAbsolutePath()); 
    Process process = pb.start(); 
    OutputStream str = process.getOutputStream(); 
    baos.writeTo(str); 
    str.flush(); 
    try { 
     process.waitFor(); 
    } catch (InterruptedException e) { 
     BufferedReader bf = new BufferedReader(new InputStreamReader(process.getInputStream())); 
     String line; 
     while ((line = bf.readLine()) != null) { 
      System.out.println(line); 
     } 
    } 

    return null; 
} 

@Test 
public void testDiffParser() throws IOException { 
    DiffParser.init(); 

    File test = new File("path/to/file/test.diff"); 

    ByteArrayOutputStream baos = new ByteArrayOutputStream(); 
    baos.write(FileUtils.readFileToByteArray(test)); 
    //String output = baos.toString(); 
    //System.out.println(output); 

    DiffParser.analyzeDiff(baos); 
    //DiffParser.analyzeDiff(output); 
} 

Und hier ist mein Perl-Skript:

#!/usr/bin/perl 
use strict; 
use warnings; 

my $additions = 0; 
my $deletions = 0; 
my $filesChanged = 0; 

my $fileAdded = 0; 
my $line; 

foreach $line (<>) { 
    $_ = $line; 
    chomp($_); 
    print($_); 
    if (/^\-\-\-/m) { 
     $fileAdded = 1; 
    } elsif (/^\+\+\+/m && $fileAdded) { 
     $filesChanged++; 
     $fileAdded = 0; 
    } elsif (/^\+/) { 
     $additions++; 
     $fileAdded = 0; 
    } elsif (/^\-/) { 
     $deletions++; 
     $fileAdded = 0; 
    } else { 
     $fileAdded = 0; 
    } 
} 

print("$additions $deletions $filesChanged\n") 

Gibt es einen Weg, um tatsächlich zu tun, was ich tun möchte?

Edit: Dies ist, wie ich es in Java tat:

private Diff parseDiff(final ByteArrayOutputStream baos) { 

    final Diff diff = new Diff(); 

    int filesChanged = 0; 
    int additions = 0; 
    int deletions = 0; 

    boolean fileAdded = false; 

    final String[] lines = baos.toString().split("\n"); 

    for (final String line : lines) { 

     if (line.startsWith("---")) { 
      fileAdded = true; 
     } else if (line.startsWith("+++") && fileAdded) { 
      filesChanged++; 
      fileAdded = false; 
     } else if (line.startsWith("+")) { 
      additions++; 
      fileAdded = false; 
     } else if (line.startsWith("-")) { 
      deletions++; 
      fileAdded = false; 
     } else { 
      fileAdded = false; 
     } 

    } 

    diff.additions = additions; 
    diff.deletions = deletions; 
    diff.changedFiles = filesChanged; 

    return diff; 
} 

Edit 2 Wenn Sie etwas Kontext möchten, können Sie auf diese verweisen Related question

Answer 1

ich benutze eine Tablette zur Zeit, so kann ich nicht viel helfen, aber Ihre Perl braucht etwas Arbeit.

Sie sollten for $line (<>) nicht verwenden, da versucht wird, alle der Eingabe in eine Liste zu lesen, bevor Sie zu iterieren beginnen. Sie verwenden auch nicht $line so sollten Sie direkt in $_ mit

while (<>) { ... } 

Es gibt auch keine Notwendigkeit, chomp jede Zeile gelesen, und ich verstehe nicht, warum Sie print für jeden Datensatz rufen Sie? Es ist nach der chomp, so dass die Ausgabe eine Kopie der Eingabe auf einer sehr langen Zeile mit den Aggregatwerten am Ende sein wird.

Ich vermute, das Perl-Skript empfängt die Daten gut, aber Probleme mit der Eingabe aller Eingabe in den Speicher gleichzeitig mit einer zweiten Kopie von allem als Ausgabe!

Answer 2

Mit ByteArrayOutputStream bedeutet, dass das gesamte Ergebnis des diff auf einmal gespeichert werden muss, anstatt verarbeitet und Müll in Blöcken gesammelt werden. Ihr Java-Programm war möglicherweise langsam, weil nicht genügend Speicher zur Verfügung stand und die Garbage-Collection ständig ausgeführt wurde.

Java wird viel schneller bei jeder Aufgabe, die Sie werfen, verglichen mit Perl. Es ist eine Just-in-Time-kompilierte Sprache, im Gegensatz zu einer interpretierten Sprache im Fall von Perl. Siehe z.B. http://blog.carlesmateo.com/2014/10/13/performance-of-several-languages/, https://attractivechaos.github.io/plb/ oder https://en.wikipedia.org/wiki/Java_performance (im Vergleich zu anderen Sprachen).

Wenn Sie Leistung benötigen, sollten Sie Ihren Java-Code optimieren, anstatt eine Abhängigkeit von Perl zu erstellen.