wake-up-neo.com

Der Wert der Einstellung "spark.yarn.executor.memoryOverhead"?

dort, Der Wert von "spark.yarn.executor.memoryOverhead" im Spark-Job ist das Garn, das der App zugewiesen werden soll, oder nur der Maximalwert. 

8
liyong
spark.yarn.executor.memoryOverhead

Ist nur der maximale Wert. Das Ziel ist, OVERHEAD als Prozentsatz des realen Executor-Speichers zu berechnen, wie er von RDDs und DataFrames verwendet wird

--executor-memory/spark.executor.memory

steuert die Größe des Executor-Heaps, JVMs können jedoch auch Speicher für Heap verwenden, z. B. für intern gespeicherte Strings und Puffer mit direktem Byte. 

Der Wert der Eigenschaft spark.yarn.executor.memoryOverhead. wird dem Executor-Speicher hinzugefügt, um die vollständige Speicheranforderung an YARN für jeden Executor zu bestimmen. Der Standardwert ist max (executorMemory * 0.10, mindestens 384).

Die Executoren verwenden eine Speicherzuordnung, die auf der Eigenschaft spark.executor.memoryplus basiert, und einem durch spark.yarn.executor.memoryOverhead definierten Overhead.

16
Indrajit Swain

Eine detaillierte Beschreibung des Funken-Executor-Speicherlayouts mit Garn finden Sie hier

3
seiya