Streamingkontext im Spark-Streaming nach einer bestimmten Zeit stoppen

Question

Ich erstelle eine Anwendung, die DStreams von Twitter empfängt. Die einzige Möglichkeit, den Streaming-Kontext zu stoppen, besteht darin, die Ausführung zu stoppen. Ich frage mich, ob es eine Möglichkeit gibt, eine Zeit einzustellen und den Streaming-Socket zu beenden, ohne die gesamte Anwendung zu stoppen?

Answer 1

Sie entweder

awaitTerminationOrTimeout(long) 

wie in der vorherige Antwort erwähnte verwenden können, oder Sie können den Streaming-Kontext manuell aus dem anderen Thread stoppen:

// in the main thread 
    awaitTermination(); // will wait forever or until the context is stopped 

    // in another thread 
    streamingContext.stop(); 

Answer 2

Sie können die Methode awaistTermination() für das Objekt streamingContext verwenden, um eine bestimmte Zeit zu warten. Siehe this