Научихме се как да Изградете кошер и прежда на Spark . Сега нека изпробваме примери за кошери и прежди в Spark.
Пример за кошер на Spark
Ще пуснем пример за Hive on Spark. Ще създадем таблица, ще заредим данни в нея и ще изпълним проста заявка. Когато работите с Hive, трябва да изградите a HiveContext който наследява от SQLContext .
Команда: cd искра-1.1.1
Команда: ./bin/spark-shell
Създайте входен файл „Проба“ във вашата домашна директория, както е по-долу моментна снимка (разделен разделен).
фибоначи в c ++
Команда: val sqlContext = нов org.apache.spark.sql.hive.HiveContext (sc)
Команда: sqlContext.sql („СЪЗДАЙТЕ ТАБЛИЦА, АКО НЕ СЪЩЕСТВУВА тест (име STRING, ранг INT) РЕД ФОРМАТ РАЗПРЕДЕЛЕНИ ПОЛЯ, ПРЕКРАТЕНИ ОТ„ „ЛИНИИ, ПРЕКРАТЕНИ ОТ„
‘”)
Команда: sqlContext.sql („ТЪРСЕНЕ НА ДАННИ ЛОКАЛЕН ВХОД‘ / home / edureka / sample ’IN TABLE test“)
Команда: sqlContext.sql („SELECT * FROM test WHERE rank<5”).collect().foreach(println)
Пример за прежда на Spark
Ще пуснем SparkPi пример на прежда. Можем да разположим Yarn на Spark в два режима: клъстерен режим и клиентски режим. В режим на клъстер на прежди, драйверът Spark се изпълнява в процеса на главно приложение, който се управлява от Yarn на клъстера и клиентът може да изчезне след иницииране на приложението. В режим прежда-клиент, драйверът се изпълнява в процеса на клиента, а главното приложение се използва само за искане на ресурси от прежда.
Команда: cd искра-1.1.1
Команда: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master yarn –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-executors 1 –driver-memory 2g –executor-memory 1g –executor-cores 1 examples / target / scala-2.10 / spark-examples-1.1.1-hadoop2.2.0.jar
След като изпълните горната команда, моля, изчакайте известно време, докато получите УСПЯЛ съобщение.
Преглед localhost: 8088 / клъстер и кликнете върху приложението Spark.
mongodb създаване на потребител за база данни
Кликнете върху трупи .
приложения за анализ на големи данни
Кликнете върху stdout за да проверите изхода.
За разполагане на прежда на Spark в клиентски режим, просто направете –Режим на разгръщане като „Клиент“. Сега знаете как да изградите кошер и прежда на Spark. Направихме и практически упражнения върху тях.
Имате въпрос към нас? Моля, споменете ги в раздела за коментари и ние ще се свържем с вас.
Подобни публикации
Apache Spark с Hadoop - Защо има значение?
Кошерът и преждата се електрифицират от Spark