Erlang: Lesen von einem Eingangsstrom in einer effizienten Weise

Question

Ich schreibe ein Programm, das von einem Eingang Stream liest, das heißt

erl -run p main -noshell -s erlang halt < input 

Das Problem ist, dass es viel Zeit in Anspruch nimmt, es zu lesen (der Eingangsstrom ist sehr groß) mit dieser Lesefunktion:

read_input(L) -> 
    case io:get_line("") of 
     eof -> 
      lists:reverse(L); 
     E0 -> 
      read_input([E0|L]) 
    end. 

ich habe für effizientere Alternativen zu suchen, aber ich habe nichts gefunden. Ich habe versucht, die Datei zu lesen mit

{ok, Binary} = file:read_file("input") 

Dies ist bei weitem viel effizienter. Das Problem ist, dass ich dieses Programm auf einer Plattform ausführen muss, auf der der Name unbekannt ist, also würde ich eine Alternative dazu brauchen. zusätzlich kann ich die Flags, die beim Laufen verwendet werden, z. Flag -noinput kann nicht zur Befehlszeile hinzugefügt werden.

Welche Hilfe Sie geben können, wird begrüßt.

Answer 1

Obwohl Steve'ssolution schnellste mir bekannt Lösung kann es file Modullösung mit sehr guter Leistung verwendet werden:

-module(p). 

-export([start/0]). 

-define(BLK_SIZE, 16384). 

start() -> 
    do(), 
    halt(). 

do() -> 
    Bin = read(), 
    io:format("~p~n", [byte_size(Bin)]). 

read() -> 
    ok = io:setopts(standard_io, [binary]), 
    read(<<>>). 

read(Acc) -> 
    case file:read(standard_io, ?BLK_SIZE) of 
     {ok, Data} -> 
      read(<<Acc/bytes, Data/bytes>>); 
     eof -> 
      Acc 
    end. 

Es mit Aufruf funktioniert wie:

erl -noshell -s p < input 

Hinweis: Beide Ansätze können für die leitungsorientierte Eingabe verwendet werden, indem {line, Max_Line_Size} Option für Port oder file:read_line/1 für file Modullösung verwendet wird. Seit Version 17 (wenn ich mich richtig erinnere) gibt es einen festen Leistungsfehler in file:read_line/1 Ich fand, so ist es jetzt gut. Wie auch immer, Sie sollten Leistung und Komfort von Perl nicht erwarten.

Answer 2

Sie können open_port/2 verwenden, um Stdin zu öffnen und Binärdateien daraus zu lesen. Beispiel:

-module(p). 
-export([start/0]). 

start() -> 
    process_flag(trap_exit, true), 
    P = open_port({fd,0,1}, [in, binary]), 
    Bin = read(P,<<>>), 
    io:format("received ~p\n", [Bin]), 
    halt(0). 

read(P, Bin) -> 
    receive 
     {P, {data, Data}} -> 
      read(P, <<Bin/binary, Data/binary>>); 
     {'EXIT',P,_} -> 
      Bin 
    end. 

Der Code muss Exits abfangen, damit er beim Schließen des Ports seine Leseschleife verlassen kann. In diesem Beispiel wird alles in eine einzelne Binärdatei eingelesen, die von der read/2-Funktion zurückgegeben wird. Anschließend wird sie ausgedruckt und beendet, aber Sie können natürlich weitere Operationen an der Binärdatei in Ihrer tatsächlichen Anwendung ausführen.

Sie können dies wie folgt ausführen:

erl -noinput -s p < input