wake-up-neo.com

Master für Spark in Windows konnte nicht gestartet werden

Gleiches Problem wie Fehler beim Start von Master für Funken in Windows 10 , der ebenfalls nicht gelöst wird.

Mein Funke funktioniert gut, indem ich pyspark.cmd und spark-Shell.cmd teste

Nach dem Lauf von .\sbin\start-master.sh bekam ich:

ps: unknown option -- o
Try 'ps --help' for more information.
starting org.Apache.spark.deploy.master.Master, logging to C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.Apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out
ps: unknown option -- o
Try 'ps --help' for more information.
failed to launch org.Apache.spark.deploy.master.Master:
  ========================================
  Picked up _Java_OPTIONS: -Xmx512M -Xms512M
full log in C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.Apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out

Ich habe versucht, die Web-Benutzeroberfläche zu besuchen, während der localhost: 4040 den localhost bearbeitet: 8080 ist nicht erreichbar.

Und ich habe festgestellt, dass die .log-Datei im Ordner% SPARK_HOME%/logs erstellt wurde. Sie enthalten den gleichen Inhalt: 

Spark-Befehl: 

C:\Program Files\Java\jdk1.7.0_79\bin\Java -cp C:\spark-1.6.1-bin-hadoop2.6/conf\;C:\spark-1.6.1-bin-hadoop2.6/lib/spark-Assembly-1.6.1-hadoop2.6.0.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.Apache.spark.deploy.master.Master --ip hahaha-PC --port 7077 --webui-port 8080

========================================
Picked up _Java_OPTIONS: -Xmx512M -Xms512M

Arbeitsumgebung: Spark: 1.6.1 Windows 10

Wir freuen uns auf Ihre Antwort und vielen Dank für Ihre Zeit!

apache-sparkwindows-10
10
Spider

Antwort hier gefunden: https://spark.Apache.org/docs/1.2.0/spark-standalone.html

"Hinweis: Die Startskripts unterstützen derzeit kein Windows. Um einen Spark-Cluster unter Windows auszuführen, starten Sie den Master und die Worker manuell."

5
Spider

Die Startscripts unter %SPARK_HOME%\sbin unterstützen Windows nicht. Sie müssen den Master und den Worker wie unten beschrieben manuell ausführen.

  1. Wechseln Sie in einer Eingabeaufforderung zum Ordner %SPARK_HOME%\bin

  2. Führen Sie spark-class org.Apache.spark.deploy.master.Master aus, um den Master auszuführen. Dadurch erhalten Sie eine URL des Formulars spark://ip:port.

  3. Führen Sie spark-class org.Apache.spark.deploy.worker.Worker spark://ip:port aus, um den Worker auszuführen. Stellen Sie sicher, dass Sie die in Schritt 2 erhaltene URL verwenden.

  4. Führen Sie spark-Shell --master spark://ip:port aus, um eine Anwendung mit dem neu erstellten Cluster zu verbinden.

42
Abhishek Chaurasia

Wenn Sie den Master Worker und die Slaves starten möchten, sollte dies für Sie funktionieren. Für mich geht das

  1. Um den Master Worker Open Windows-Befehl zu starten, fordern Sie das Spark/Bin-Verzeichnis an, kopieren Sie diesen Befehl, fügen Sie ihn ein und drücken Sie die Eingabetaste
spark-class org.Apache.spark.deploy.master.Master

Sie müssen Ihren Browser auf http: // localhost: 8080/ zeigen. Wenn die Fehlermeldung "Server nicht gefunden" angezeigt wird, aktualisieren Sie die Seite. Auf dieser Seite erhalten Sie Ihre eindeutige URL. sieht wie folgt aus: spark: //192.xxx.xx.xxx: 7077

  1. Öffnen Sie ein neues Terminal und gehen Sie zum% SPARK_HOME%/bin, kopieren Sie diese Codezeile, fügen Sie sie ein und drücken Sie die Eingabetaste.
spark-class org.Apache.spark.deploy.worker.Worker spark: // ip: port

Dieser Teil 

spark: // ip: port
ist die aus Schritt 1 erhaltene URL. Aktualisieren Sie die in Schritt 1 geöffnete Browser-Registerkarte, um zu sehen, ob der Worker gestartet wurde.

HINWEIS: JDK 1.9 wird nicht unterstützt 

4
Kaimenyi

Nach der Ausführung von spark-class org.Apache.spark.deploy.master.Master gehen Sie einfach zu http: // localhost: 8080 , um ip: port zu erhalten. Öffnen Sie dann eine weitere Befehlsshell, um die funk-Klasse org.Apache.spark.deploy.worker.Worker spark: // IP: PORT auszuführen

1
Ashish Garg

ein kleiner Trick sollte helfen. Ich habe den Java_HOME-Pfad in die DOS-Version geändert: c:\Progra ~ 1\Java\jre1.8.0_131 zum Beispiel dann neu gestartet. Danach konnte ich laufen Der oben erwähnte Befehl spark-class org.Apache ....

0
yImI