Spark + Python – Java-Gateway-Prozess verlassen, bevor er den Fahrer seine Portnummer sendet?

Warum bekomme ich diesen Fehler auf meinem Browser-Bildschirm,

: Java-Gateway-Prozess beendet vor dem Senden des Treibers seine Portnummer args = ('Java-Gateway-Prozess beendet vor dem Senden des Treibers seine Portnummer',) message = 'Java-Gateway-Prozess beendet vor dem Senden des Treibers seine Portnummer'

zum,

#!/Python27/python print "Content-type: text/html; charset=utf-8" print # enable debugging import cgitb cgitb.enable() import os import sys # Path for spark source folder os.environ['SPARK_HOME'] = "C:\Apache\spark-1.4.1" # Append pyspark to Python Path sys.path.append("C:\Apache\spark-1.4.1\python") from pyspark import SparkContext from pyspark import SparkConf print ("Successfully imported Spark Modules") # Initialize SparkContext sc = SparkContext('local') words = sc.parallelize(["scala","java","hadoop","spark","akka"]) print words.count() 

Ich folgte diesem Beispiel .

Irgendwelche Ideen, wie ich es beheben kann?

3 Solutions collect form web for “Spark + Python – Java-Gateway-Prozess verlassen, bevor er den Fahrer seine Portnummer sendet?”

Überprüfen Sie, ob es zusätzliche Informationen vor der Error-Zeile gibt, die besagt:

 Error: Could not create the Java Virtual Machine. 

In meinem Fall war es eine ungültige Option, die ich in der Conf-Datei gesetzt hatte. Speicher (anfängliche Haufengröße) darf kein Komma haben: 3.5g ist zum Beispiel nicht akzeptabel, während 3500m ist.

Ich hatte ein ähnliches Problem, und schließlich, als ich auf die Ausgabe meines Tests schaute, gab es Fehlermeldungen von $SPARK_HOME/bin/spark-class , mit Zeilennummern.

Nach der Verfolgung, was los war auf den betroffenen Zeilen stellte sich heraus, dass es einzelne Zitate um den $JAVA_HOME Wert in meinen Umgebungsvariablen gab, was Probleme mit der $JAVA_HOME verursachte (es wurde aus irgendeinem Grund in Bezug auf mein Home-Verzeichnis angenommen , Anstatt einen absoluten Weg)

Während dies nicht Ihr genaues Problem sein kann, lohnt es sich, den Start Ihrer Ausgabe für zusätzliche Informationen zu untersuchen, um bei der Verringerung der Grundursache zu helfen.

Mein Freund hat sich mit dem gleichen Problem wie deinem getroffen. Ich überprüfte ihren Computer und fand, dass sie zwei Versionen von Java darin hatte. Ich habe das ältere deinstalliert und den Wert $ JAVA_HOME umgeschrieben. Das Problem wurde gelöst.

  • Wie kann ich die Werte der Liste in Java mit Lambda gruppieren, wie wir es in python machen
  • Wie man einen Median-Haufen implementiert
  • Wie kann man den Argumenttyp in einer dynamisch typisierten Sprache angeben, dh Python?
  • Wie repariere ich nicht unterstützteCharsetException in Eclipse Kepler / Luna mit Jython / PyDev?
  • Holen Sie sich eine Variable aus einem laufenden Programm
  • Aufruf von Java aus Python [geschlossen]
  • Unterschied zwischen Python selbst und Java das
  • Diskrete und ununterbrochene Klassifikator auf spärlichen Daten
  • Iteratives Hashing gibt verschiedene Werte in Python und Java zurück
  • Aufruf von Java App mit "Subprocess" von Python und Lesen der Java App Ausgabe
  • Warum Java und Python Garbage Collection Methoden sind anders?
  • Python ist die beste Programmiersprache der Welt.