Примери за кошер и прежда за Spark



В този блог ще пуснем примери за кошер и прежда на Spark. Първо, изградете Hive и Yarn на Spark и след това можете да стартирате Hive и Yarn примери на Spark.

Научихме се как да Изградете кошер и прежда на Spark . Сега нека изпробваме примери за кошери и прежди в Spark.





Learn-Spark-Now

Пример за кошер на Spark

Ще пуснем пример за Hive on Spark. Ще създадем таблица, ще заредим данни в нея и ще изпълним проста заявка. Когато работите с Hive, трябва да изградите a HiveContext който наследява от SQLContext .



Команда: cd искра-1.1.1

Команда: ./bin/spark-shell



Създайте входен файл „Проба“ във вашата домашна директория, както е по-долу моментна снимка (разделен разделен).

фибоначи в c ++

Команда: val sqlContext = нов org.apache.spark.sql.hive.HiveContext (sc)

Команда: sqlContext.sql („СЪЗДАЙТЕ ТАБЛИЦА, АКО НЕ СЪЩЕСТВУВА тест (име STRING, ранг INT) РЕД ФОРМАТ РАЗПРЕДЕЛЕНИ ПОЛЯ, ПРЕКРАТЕНИ ОТ„ „ЛИНИИ, ПРЕКРАТЕНИ ОТ„
‘”)

Команда: sqlContext.sql („ТЪРСЕНЕ НА ДАННИ ЛОКАЛЕН ВХОД‘ / home / edureka / sample ’IN TABLE test“)

Команда: sqlContext.sql („SELECT * FROM test WHERE rank<5”).collect().foreach(println)

Пример за прежда на Spark

Ще пуснем SparkPi пример на прежда. Можем да разположим Yarn на Spark в два режима: клъстерен режим и клиентски режим. В режим на клъстер на прежди, драйверът Spark се изпълнява в процеса на главно приложение, който се управлява от Yarn на клъстера и клиентът може да изчезне след иницииране на приложението. В режим прежда-клиент, драйверът се изпълнява в процеса на клиента, а главното приложение се използва само за искане на ресурси от прежда.

Команда: cd искра-1.1.1

Команда: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar

След като изпълните горната команда, моля, изчакайте известно време, докато получите УСПЯЛ съобщение.

Преглед localhost: 8088 / клъстер и кликнете върху приложението Spark.

mongodb създаване на потребител за база данни

Кликнете върху трупи .

приложения за анализ на големи данни

Кликнете върху stdout за да проверите изхода.

За разполагане на прежда на Spark в клиентски режим, просто направете –Режим на разгръщане като „Клиент“. Сега знаете как да изградите кошер и прежда на Spark. Направихме и практически упражнения върху тях.

Имате въпрос към нас? Моля, споменете ги в раздела за коментари и ние ще се свържем с вас.

Подобни публикации

Apache Spark с Hadoop - Защо има значение?

Кошерът и преждата се електрифицират от Spark