Apache Hive е една от най-важните рамки в екосистемата на Hadoop, което от своя страна го прави много решаващ за . В този блог ще научим за инсталирането на Apache Hive и Hive в Ubuntu.
Какво е Apache Hive?
Apache Hive е инфраструктура за съхранение на данни, която улеснява заявките и управлението на големи масиви от данни, която се намира в разпределена система за съхранение. Изграден е на върха на Hadoop и разработен от Facebook. Кошера предоставя начин за заявка на данните с помощта на SQL-подобен език за заявки, наречен HiveQL (Hive query language).
Вътрешно компилаторът превежда HiveQL изявления в MapReduce работни места, които след това се подават на Hadoop рамка за изпълнение.
Разлика между Hive и SQL:
Кошера изглежда много подобно на традиционната база данни с SQL достъп. Въпреки това, тъй като Кошера се основава на Hadoop и MapReduce има няколко ключови разлики:
Тъй като Hadoop е предназначен за дълги последователни сканирания и Кошера се основава на Hadoop , бихте очаквали заявките да имат много висока латентност. Означава, че Кошера не би било подходящо за онези приложения, които се нуждаят от много бързо време за реакция, както можете да очаквате с традиционна база данни RDBMS.
И накрая, Кошера е базиран на четене и следователно не е подходящ за обработка на транзакции, която обикновено включва висок процент операции на запис.
начини за създаване на единичен клас в Java
Инсталиране на Hive в Ubuntu:
Моля, следвайте стъпките по-долу, за да инсталирате Apache Hive на Ubuntu:
Етап 1: Изтегли Катран на кошера.
Команда: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
Стъпка 2: Извлечете катран файл.
Команда: tar -xzf apache-hive-2.1.0-bin.tar.gz
Команда: ls
Стъпка 3: Редактирайте „.Bashrc“ файл за актуализиране на променливите на околната среда за потребителя.
Команда: sudo gedit .bashrc
Добавете следното в края на файла:
# Задайте HIVE_HOME
износ HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
износ PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Също така, уверете се, че е зададена и хадооп пътеката.
Изпълнете командата по-долу, за да накарате промените да работят в същия терминал.
Команда: източник .bashrc
Стъпка 4: Проверете версията на кошера.
как да компилирам в java -
Стъпка 5: Създайте Кошера директории в HDFS . Директорията ‘Склад’ е мястото за съхраняване на таблицата или данните, свързани с кошера.
Команда:
- hdfs dfs -mkdir -p / потребител / кошер / склад
- hdfs dfs -mkdir / tmp
Стъпка 6: Задайте разрешения за четене / запис за таблица.
Команда:
В тази команда даваме разрешение за писане на групата:
- hdfs dfs -chmod g + w / потребител / кошер / склад
- hdfs dfs -chmod g + w / tmp
Стъпка 7: Комплект Hadoop път в з ive-env.sh
Команда: cd apache-hive-2.1.0-bin /
Команда: gedit conf / hive-env.sh
Задайте параметрите, както е показано на снимката по-долу.
Стъпка 8: редактиране hive-site.xml
Команда: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC низ за свързване за JDBC метадан. За да използвате SSL за криптиране / удостоверяване на връзката, предоставете специфичен за базата данни SSL флаг в URL адреса на връзката. Например jdbc: postgresql: // myhost / db? Ssl = true за базата данни postgres. hive.metastore.warehouse.dir / потребител / кошер / склад местоположение на базата данни по подразбиране за склада hive.metastore.uris Икономичен URI за отдалечената метастанция. Използва се от клиента на metastore за свързване към отдалечен metastore. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Име на клас на драйвер за JDBC мета-магазин javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory клас
Стъпка 9: По подразбиране Hive използва Дерби база данни. Инициализирайте базата данни на Derby.
java е-връзка
Команда: bin / schematool -initSchema -dbType дерби
Стъпка 10 :Стартиране Кошера.
Команда: кошер
Стъпка 11 :Изпълнете няколко заявки в обвивката на Hive.
Команда: показват бази данни
Команда: създаване на служител в таблица (идентификационен низ, низ от име, низ от отдел) полета, разделени с формат на ред, прекратени от ‘’ съхранявани като текстов файл
Команда: покажете таблици
Стъпка 12: За да излезете от Кошера:
Команда: изход
След като приключихте с инсталирането на Hive, следващата стъпка напред е да изпробвате командите на Hive в черупката на Hive. Следователно, следващият ни блог „ Топ команди за кошери с примери в HQL ”Ще ви помогне да овладеете командите на Hive.
Подобни публикации: