Mehrfach-Funken-Bewerbungsunterlagen im Standalone-Modus

Ich habe 4 Spark-Anwendung (um Wordcount aus Textdatei zu finden), die auf 4 verschiedene Sprache (R, Python, Java, Scala)

./wordcount.R ./wordcount.py ./wordcount.java ./wordcount.scala 

Funk funktioniert im eigenständigen Modus … 1.4worker Knoten 2.1 Kern für jeden Arbeiter Knoten 3.1gb Speicher für jeden Knoten 4.core_max auf 1 gesetzt

./conf/spark-env.sh

 export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1" export SPARK_WORKER_OPTS="-Dspark.deploy.defaultCores=1" export SPARK_WORKER_CORES=1 export SPARK_WORKER_MEMORY=1g export SPARK_WORKER_INSTANCES=4 

Ich stellte die Zündanwendung mit der Datei pgm.sh am Terminal vor

 ./bin/spark-submit --master spark://-Aspire-E5-001:7077 ./wordcount.R & ./bin/spark-submit --master spark://-Aspire-E5-001:7077 ./wordcount.py & ./bin/spark-submit --master spark://-Aspire-E5-001:7077 ./project_2.jar & ./bin/spark-submit --master spark://-Aspire-E5-001:7077 ./project_2.jar 

Wenn jeder Prozess einzeln ausgeführt wird, dauert es 2 Sekunden. Wenn alle Prozesse mit der .sh-Datei am Terminal ausgeführt werden, dauert es 5 Sek. Auf 6 Sek

Wie kann ich verschiedene Funkenanwendungen parallel ausführen? Wie kann man jedem Zündapparat einen einzelnen Kern zuordnen?

  • Welche Programmiersprachen kann ich auf Android Dalvik verwenden?
  • Bewegen von Spark DataFrame von Python zu Scala mit Zeppelin
  • Listing alle Dateien in Spark Cluster auf Hadoop HDFS mit Scala oder Python gespeichert?
  • Was sind die Spark-Transformationen, die einen Shuffle verursachen?
  • Scala entspricht Python-Generatoren?
  • Spark: Wie komme ich Python mit Scala oder Java User Defined Functions?
  • Python-Äquivalent von Scala's existiert () Funktion?
  • Scala-Äquivalent von Python-Echo-Server / Client-Beispiel?
  • Gibt es ein Scala / Java-Äquivalent von Python 3's Sammlungen.Counter
  • Eine Liste oder Karte als Funktionsargumente in Scala einpacken
  • Wie funktioniert die pyspark mapPartitions funktionieren?
  • Python ist die beste Programmiersprache der Welt.