So deaktivieren Sie die INFO-Protokollierung in Spark

Inspiriert durch den Pyspark/Tests.Py, den ich gemacht habe

def quiet_logs( sc ):
  logger = sc._jvm.org.Apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

Das Aufrufen dieses Befehls unmittelbar nach dem Erstellen von SparkContext reduzierte die für meinen Test protokollierten stderr-Zeilen von 2647 auf 163. Das Erstellen des SparkContext-Protokolls selbst protokolliert jedoch 163

15/08/25 10:14:16 INFO SparkDeploySchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0

und es ist mir nicht klar, wie man diese programmgesteuert anpasst.

Bearbeiten Sie Ihre Datei conf/log4j.properties und ändern Sie die folgende Zeile:

   log4j.rootCategory=INFO, console

zu

    log4j.rootCategory=ERROR, console

Ein anderer Ansatz wäre:

Fireup spark-Shell und geben Sie Folgendes ein:

import org.Apache.log4j.Logger
import org.Apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

Danach werden keine Protokolle angezeigt.

>>> log4j = sc._jvm.org.Apache.log4j
>>> log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)

Sie können den Protokollierungsgrad in Ihren Skripts auch mit sc.setLogLevel("FATAL") einstellen. Aus den docs :

Steuere unser LogLevel. Dadurch werden alle benutzerdefinierten Protokolleinstellungen überschrieben. Gültige Protokollebenen sind: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN

In Spark 2.0 können Sie es auch dynamisch für Ihre Anwendung konfigurieren, indem Sie setLogLevel verwenden:

    from pyspark.sql import SparkSession
    spark = SparkSession.builder.\
        master('local').\
        appName('foo').\
        getOrCreate()
    spark.sparkContext.setLogLevel('WARN')

In der Konsole pyspark ist bereits eine Standardsitzung spark verfügbar.

Dies kann darauf zurückzuführen sein, wie Spark seinen Klassenpfad berechnet. Meiner Meinung nach ist, dass Hadoops log4j.properties-Datei auf dem Klassenpfad vor Sparks erscheint und verhindert, dass Ihre Änderungen wirksam werden.

Wenn du läufst 

SPARK_PRINT_LAUNCH_COMMAND=1 bin/spark-Shell

dann druckt Spark den vollständigen Klassenpfad, der zum Starten der Shell verwendet wird. In meinem Fall verstehe ich 

Spark Command: /usr/lib/jvm/Java/bin/Java -cp :::/root/ephemeral-hdfs/conf:/root/spark/conf:/root/spark/lib/spark-Assembly-1.0.0-hadoop1.0.4.jar:/root/spark/lib/datanucleus-api-jdo-3.2.1.jar:/root/spark/lib/datanucleus-core-3.2.2.jar:/root/spark/lib/datanucleus-rdbms-3.2.1.jar -XX:MaxPermSize=128m -Djava.library.path=:/root/ephemeral-hdfs/lib/native/ -Xms512m -Xmx512m org.Apache.spark.deploy.SparkSubmit spark-Shell --class org.Apache.spark.repl.Main

dabei steht /root/ephemeral-hdfs/conf an der Spitze des Klassenpfads.

Ich habe ein Problem [SPARK-2913] geöffnet, um dieses Problem in der nächsten Version zu beheben (ich sollte bald einen Patch herausbringen).

In der Zwischenzeit gibt es ein paar Problemumgehungen:

• Fügen Sie export SPARK_SUBMIT_CLASSPATH="$FWDIR/conf" zu spark-env.sh hinzu.
• Löschen (oder umbenennen) /root/ephemeral-hdfs/conf/log4j.properties.

Sie können setLogLevel verwenden

val spark = SparkSession
      .builder()
      .config("spark.master", "local[1]")
      .appName("TestLog")
      .getOrCreate()

spark.sparkContext.setLogLevel("WARN")

Spark 1.6.2:

log4j = sc._jvm.org.Apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)

Spark 2.x:

spark.sparkContext.setLogLevel('WARN')

(Funke ist die SparkSession)

Alternativ die alten Methoden,

Benennen Sie conf/log4j.properties.template in Sparkdir in conf/log4j.properties um.

Ändern Sie in log4j.propertieslog4j.rootCategory=INFO, console in log4j.rootCategory=WARN, console.

Verschiedene Protokollebenen verfügbar:

• AUS (am genauesten, keine Protokollierung)
• FATAL (spezifischste, wenig Daten)
• ERROR - Protokoll nur bei Fehlern
• WARN - Protokollierung nur bei Warnungen oder Fehlern 
• INFO (Standardeinstellung)
• DEBUG - Protokolldetailschritte (und alle oben genannten Protokolle)
• TRACE (am wenigsten spezifisch, viele Daten)
• ALL (am wenigsten spezifisch, alle Daten)

Ich habe dies mit Amazon EC2 mit 1 Master und 2 Slaves und Spark 1.2.1 verwendet.

# Step 1. Change config file on the master node
nano /root/ephemeral-hdfs/conf/log4j.properties

# Before
hadoop.root.logger=INFO,console
# After
hadoop.root.logger=WARN,console

# Step 2. Replicate this change to slaves
~/spark-ec2/copy-dir /root/ephemeral-hdfs/conf/

Ich mache das so:

an der Stelle führe ich das spark-submit-Skript aus

$ cp /etc/spark/conf/log4j.properties .
$ nano log4j.properties

Ändern Sie INFO auf die gewünschte Protokollierungsstufe und führen Sie dann Ihren spark-submit aus.

Das folgende Code-Snippet für Scala-Benutzer:

Option 1:

Unterhalb des Snippets können Sie auf Dateiebene hinzufügen

import org.Apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.WARN)

Option 2:

Hinweis: Dies gilt für alle Anwendungen, die eine Funkensitzung verwenden.

import org.Apache.spark.sql.SparkSession

  private[this] implicit val spark = SparkSession.builder().master("local[*]").getOrCreate()

spark.sparkContext.setLogLevel("WARN")

Option 3:

Hinweis: Diese Konfiguration sollte zu Ihren log4j.properties hinzugefügt werden (könnte wie /etc/spark/conf/log4j.properties (wo sich die Spark-Installation befindet) oder zu Ihren log4j.properties auf Projektordnerebene lauten), da Sie sich ändern Modulebene. Dies gilt für alle Bewerbungen.

log4j.rootCategory=ERROR, console

IMHO, Option 1 ist sinnvoll, da es auf Dateiebene ausgeschaltet werden kann.

Programmatischer Weg

spark.sparkContext.setLogLevel("WARN")

Verfügbare Optionen

ERROR
WARN 
INFO 

Fügen Sie dem Befehl spark-submit einfach den folgenden Parameter hinzu

--conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console"

Dies überschreibt den Systemwert vorübergehend nur für diesen Job. Überprüfen Sie den genauen Eigenschaftennamen (hier log4jspark.root.logger) in der Datei log4j.properties.

Hoffe das hilft, Prost!

Wenn Sie die Protokollierung (Protokollierungsfunktion für Python) weiterhin verwenden möchten, können Sie versuchen, Konfigurationen für Ihre Anwendung und für Spark aufzuteilen:

LoggerManager()
logger = logging.getLogger(__name__)
loggerSpark = logging.getLogger('py4j')
loggerSpark.setLevel('WARNING')