IntellijIdea - Infomeldung bei Ausführung von Spark-Anwendung deaktivieren

Question

Ich erhalte so viele Meldungen, wenn ich eine Anwendung verwende, die Apache Spark und Hbase/Hadoop-Bibliothek verwendet. Zum Beispiel:

0 [main] DEBUG org.apache.hadoop.metrics2.lib.MutableMetricsFactory - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2.annotation.Metric(about=, sampleName=Ops, always=false, type=DEFAULT, valueName=Time, value=[Rate of successful kerberos logins and latency (milliseconds)]) 

Wie es zu deaktivieren, so dass ich auf den Punkt Log nur gerade wie println(varABC) nur bekommen?

Answer 1

Sie sehen Logs, die von Spark über log4j erstellt wurden, da standardmäßig ein recht großes Protokoll der auf stderr gedruckten Ausdrucke möglich ist. Sie können es konfigurieren, während Sie normalerweise log4j-Verhalten konfigurieren, z. durch eine log4j.properties Konfigurationsdatei. Siehe http://spark.apache.org/docs/latest/configuration.html#configuring-logging

Answer 2

Unter $SPARK_HOME/conf dir ändern Sie die log4j.properties Datei - Änderung INFO-ERROR wie unten Werte:

log4j.rootLogger=${root.logger} 
root.logger=ERROR,console 
log4j.appender.console=org.apache.log4j.ConsoleAppender 
log4j.appender.console.target=System.err 
log4j.appender.console.layout=org.apache.log4j.PatternLayout 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n 
log4j.logger.org.apache.spark.repl.Main=WARN 
log4j.logger.org.eclipse.jetty=WARN 
log4j.logger.org.spark-project.jetty=WARN 
log4j.logger.org.spark-project.jetty.util.component.AbstractLifeCycle=ERROR 
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR 
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR 
log4j.logger.org.apache.parquet=ERROR 
log4j.logger.parquet=ERROR 
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL 
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR 

dies deaktivieren alle INFO Log-Meldungen und nur ERROR oder FATAL Log-Meldungen drucken. Sie können diese Werte entsprechend Ihren Anforderungen ändern.

Answer 3

In /spark-2.0.0-bin-hadoop2.6/conf Ordner haben Sie eine Datei log4j.properties.template

Umbenennen von log4j.properties.template zu log4j.properties

und machen die folgende Änderung in log4j.properties

aus: log4j.rootCategory = INFO, Konsole an: log4j.rootCategory = FEHLER, Konsole

Hope this Hilfe !!! ...