В този блог нека видим как да изградим Spark за конкретна версия на Hadoop.
Също така ще научим как да изграждаме Spark с HIVE и YARN.
предпоставки за курс по изкуствен интелект
Като се има предвид, че имате Hadoop, jdk, mvn и отивам предварително инсталирани и предварително конфигурирани във вашата система.
Отворете Браузър Mozilla и Изтеглете Искра използвайки връзката по-долу.
https://edureka.wistia.com/medias/k14eamzaza/
Отворете терминала.
Команда: tar -xvf Downloads / spark-1.1.1.tgz
Команда: ls
Отворете директорията spark-1.1.1.
Можете да отворите pom.xml файл. Този файл ви дава информация за всички зависимости имате нужда.
Не го редактирайте, за да не се затруднявате.
Команда: cd spark-1.1.1 /
Команда: sudo gedit sbt / sbt-launch-lib.bash
Редактирайте файла, както е показано по-долу, запазете го и го затворете.
Намаляваме паметта, за да избегнем проблема с пространството на купчина обекти, както е споменато в снимката по-долу
Сега изпълнете командата по-долу в терминала, за да изградите искра за Hadoop 2.2.0 с HIVE и YARN.
Команда: ./sbt/sbt -P прежда -P кошер -Phadoop-2.2 -D hadoop.version = 2.2.0 -D skipTests монтаж
Забележка: Моята версия на Hadoop е 2.2.0, можете да я промените според вашата версия на Hadoop.
За други версии на Hadoop
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-алфа
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0.23 -Dhadoop.version = 0.23.7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Отнема известно време за съставяне и опаковане, моля изчакайте, докато завърши.
Две буркани spark-assembly-1.1.1-hadoop2.2.0.jar и искра-примери-1.1.1-хадооп2.2.0.jar се създава.
Път на spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Път на spark-examples-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Поздравления, успешно изградихте Spark за Hive & Yarn.
Имате въпрос към нас? Моля, споменете ги в раздела за коментари и ние ще се свържем с вас.
Подобни публикации:
Apache Spark с Hadoop-Защо има значение?