С увеличаването на внедряването на Hadoop в традиционните корпоративни ИТ решения и увеличения брой внедрения на Hadoop в производствената среда, необходимостта от експерти по Hadoop Operations and Administration да се грижат за големите Hadoop Clusters става жизненоважна.
Отговорности на администратора на Hadoop:
- Отговаря за внедряването и текущото администриране на инфраструктурата на Hadoop.
- Привеждане в съответствие с екипа за инженеринг на системи за предлагане и внедряване на нова хардуерна и софтуерна среда, необходима за Hadoop, и за разширяване на съществуващата среда.
- Работа с екипи за доставка на данни за настройка на нови потребители на Hadoop. Тази работа включва настройка на потребители на Linux, настройка на принципали на Kerberos и тестване на HDFS, Hive, Pig и MapReduce достъп за новите потребители.
- Поддръжка на клъстери, както и създаване и премахване на възли с помощта на инструменти като Ganglia, Nagios, Cloudera Manager Enterprise, Dell Open Manage и други инструменти.
- Настройка на производителността на клъстерите Hadoop и подпрограмите Hadoop MapReduce.
- Екранизиране на работата на клъстера Hadoop и планиране на капацитета
- Наблюдавайте свързаността и сигурността на клъстера Hadoop
- Управление и преглед на регистрационните файлове на Hadoop.
- Управление и мониторинг на файловата система.
- Поддръжка и поддръжка на HDFS.
- Прилежно се обединяваме с екипите за инфраструктура, мрежа, база данни, приложения и бизнес разузнаване, за да гарантираме високо качество и наличност на данните.
- Сътрудничество с екипи за приложения за инсталиране на актуализации на операционна система и Hadoop, корекции, надстройки на версиите, когато е необходимо.
- Точка за контакт за ескалация на доставчика
Администрацията на Hadoop е възнаграждаваща и доходна кариера с много възможности за растеж. Ако изброените по-горе отговорности за работа ви интересуват, тогава е време да се усъвършенствате с Администрацията на Hadoop и да тръгнете по пътя на кариерата на Hadoop Admin.
ssis урок за начинаещи 2012 с примери
Отговорности на DBA, изпълнявани от администратор на Hadoop:
- Моделиране на данни, проектиране и внедряване въз основа на признати стандарти.
- Инсталиране и конфигуриране на софтуер.
- Архивиране и възстановяване на база данни.
- Свързаност и сигурност на базата данни.
- Мониторинг и настройка на производителността.
- Управление на дисковото пространство.
- Софтуерни корекции и надстройки.
- Автоматизирайте ръчните задачи.
Отговорности за развитието на DWH, изпълнявани от администратора на Hadoop:
DWH администрира отговорности за работа включва разработване, тестване и наблюдение на партидни задачи за следните задачи:
- Осигурете референтна цялост.
- Извършете изпълнение на първичен ключ.
- Извършване на повторни данни.
- Зареждайте своевременно големи обеми данни.
След като вече знаете за служебните отговорности на администратор на Hadoop, нека да разгледаме уменията, необходими за това.
Необходими умения, за да станете администратор на Hadoop:
- Общ оперативен опит, като добри умения за отстраняване на неизправности, разбиране на капацитета на системата, тесни места, основи на паметта, процесора, операционната система, съхранението и мрежите.
- Hadoop умения като HBase, Hive, Pig, Mahout и др.
- Най-съществените изисквания са: Те трябва да могат да разгръщат клъстер Hadoop, да добавят и премахват възли, да следят заданията, да наблюдават критични части на клъстера, да конфигурират висока наличност на възела на име, да го планират и конфигурират и да правят резервни копия.
- Добро познаване на Linux, тъй като Hadoop работи на Linux.
- Запознаване с инструментите за управление и разгръщане на конфигурацията с отворен код като Puppet или Chef и Linux скриптове.
- Познанието за отстраняване на неизправности на основните Java приложения е плюс.
Edureka е специално подготвил курс за администриране на Hadoop. Щракнете върху бутона по-долу, за да започнете с администрирането на Hadoop и да научите как курсът ви помага да станете администратор на Hadoop.
Подобни публикации:
число на Фибоначи c ++