В този пост ще говоря за Инсталация на Apache Pig на Linux . Нека започнем с основната дефиниция на Apache Pig и Pig Latin.
Apache Pig е инструмент / платформа за създаване и изпълнение на програма Map Reduce, използвана с Hadoop. Това е инструмент / платформа за анализ на големи масиви от данни. Можете да кажете, Apache Pig е абстракция над MapReduce. Програмистите, които не са толкова добри в Java, се мъчеха да работят в Hadoop, главно докато писаха задания на MapReduce.Така че, това е важна тема, която трябва да научите и да усвоите .Apache Pig има свой собствен език Свински латински което е благодат за бедните програмисти.
Основно въведение в Pig Latin ще ви помогне да разберете по-добре:
Извиква се процедурният език на високо ниво, използван в платформата Apache Pig Свински латински . Apache Pig разполага с „Pig Latin“, който е относително по-опростен език, който може да изпълнява разпределени набори от данни във файловата система Hadoop (HDFS). В Apache Pig трябва да пишете Pig скриптове, използвайки Pig Latin език, който се преобразува в MapReduce работа, когато стартирате Pig script. Apache Pig има различни оператори, които се използват за изпълнение на задачи като четене, писане, обработка на данните. За да научите повече за операторите на Apache Pig, посетете нашия блог „ Оператори в Apache Pig: Част 1- Релационни оператори ”.
След като вече разбирате основно Apache Pig, нека започнем с инсталирането на Apache Pig на Linux.
Инсталиране на Apache Pig на Linux:
По-долу са описани стъпките за инсталиране на Apache Pig на Linux (ubuntu / centos / windows, използващи Linux VM). Използвам Ubuntu 16.04 в настройките по-долу.
Етап 1: Изтегли Прасе катран файл.
java class loader интервю въпроси
Команда: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
Стъпка 2: Извлечете катран файл с помощта на командата tar. В командата долу tar, х означава извличане на архивен файл, с означава филтриране на архив чрез gzip, е означава име на файл на архивен файл.
Команда: катран -xzf прасе-0.16.0.tar.gz
Команда: ls
Стъпка 3: Редактирайте „ .bashrc ”Файл за актуализиране на променливите на околната среда на Apache Pig. Ние го настройваме така, че да имаме достъп до pig от всяка директория, не е необходимо да ходим в pig директория, за да изпълняваме команди pig. Също така, ако някое друго приложение търси Pig, то ще опознае пътя на Apache Pig от този файл.
Команда: sudo gedit .bashrc
Добавете следното в края на файла:
# Задайте PIG_HOME
износ PIG_HOME = / home / edureka / pig-0.16.0
износ PATH = $ PATH: /home/edureka/pig-0.16.0/bin
експортиране PIG_CLASSPATH = $ HADOOP_CONF_DIR
Също така, уверете се, че е зададена и хадооп пътеката.
каква е структурата на данните в java
Изпълнете командата по-долу, за да накарате промените да се актуализират в същия терминал.
Команда: източник .bashrc
Стъпка 4: Проверете версията на прасето. Това е за да се провери дали Apache Pig е инсталиран правилно. В случай, че не получите версията на Apache Pig, трябва да проверите дали сте изпълнили правилно горните стъпки.
Команда: прасе -версия
Стъпка 5 :Проверете помощ за свиня, за да видите всички опции за команди за свиня.
Команда: прасе -помощ
сливане на код за сортиране c ++
Стъпка 6 :Стартирайте Pig, за да стартирате черупката. Grunt shell се използва за стартиране на Pig Latin скриптове.
Команда: прасе
Ако погледнете правилно горното изображение, Apache Pig има два режима, в които може да работи, по подразбиране избира режим MapReduce. Другият режим, в който можете да стартирате Pig е Local mode. Нека ви разкажа повече за това.
Режими на изпълнение в Apache Pig:
- Режим MapReduce - Това е режимът по подразбиране, който изисква достъп до клъстер Hadoop и инсталация на HDFS. Тъй като това е режим по подразбиране, не е необходимо да се посочва флаг -x (можете да изпълните прасе ИЛИ pig -x mapreduce ). Входът и изходът в този режим присъстват на HDFS.
- Местен режим - С достъп до една машина, всички файлове се инсталират и изпълняват с помощта на локален хост и файлова система. Тук локалният режим е посочен с помощта на ‘-x flag’ ( прасе -x местно ). Входът и изходът в този режим присъстват в локалната файлова система.
Команда: прасе -x местно
Можете да преминете през видеото по-долу, за да гледате инсталирането на Apache Pig на Linux:
Инсталация на Apache Pig | Свине инсталиране на Linux | Едурека
След като приключихте с инсталирането на Apache Pig на Linux, следващата стъпка напред е да изпробвате някои релационни Pig оператори на черупката на Pig Grunt. Следователно следващият блог „ Оператори в Apache Pig: Част 1- Релационни оператори ”Ще ви помогне да овладеете свине оператори.
След като вече сте инсталирали Apache Pig на Linux, разгледайте от Edureka, доверена компания за онлайн обучение с мрежа от над 250 000 доволни учащи, разпространени по целия свят. Курсът за обучение по сертифициране на големи данни Hadoop на Edureka помага на обучаващите се да станат експерти в HDFS, прежди, MapReduce, Pig, Hive, HBase, Oozie, Flume и Sqoop, като използват случаи в реално време за търговия на дребно, социални медии, авиация, туризъм, финанси.
Имате въпрос към нас? Моля, споменете го в раздела за коментари и ние ще се свържем с вас.