Една от най-атрактивните характеристики на Hadoop framework е нейната използване на стоков хардуер . Това обаче води до чести сривове на DataNode в клъстер Hadoop. Друга забележителна черта на Hadoop Framework е лекота на мащабиране в съответствие с бързия растеж на обема на данните . Поради тези две причини една от най-честите задачи на администратора на Hadoop е да комисионна (Добавяне) и извеждане от експлоатация (Премахване) Възли на данни в клъстер Hadoop.
как да направя сигнал в html -
Въвеждане и извеждане от експлоатация на възли в клъстер Hadoop:
Горната диаграма показва стъпка по стъпка процес за извеждане от експлоатация на DataNode в клъстера.
Първата задача е да актуализирате изключете ‘Файлове и за двете HDFS (hdfs-site.xml) и MapReduce (mapred-site.xml).
Файлът „изключване“:
- за проследяване на работа съдържа списъка с хостове, които трябва да бъдат изключени от заданието за проследяване. Ако стойността е празна, не се изключват хостове.
- за Namenode съдържа списък с хостове, на които не е разрешено да се свързват с Namenode.
Ето примерната конфигурация за файла за изключване в hdfs-site.xml и mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / изключва
вярно
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / изключва
вярно
Забележка: Трябва да се посочи пълното име на файловете.
По същия начин имаме файловете „включвам“:
- за проследяване на работа съдържащ списъка с възли, които могат да се свържат с JobTracker. Ако стойността е празна, всички хостове са разрешени.
- за Namenode съдържащ списък с хостове, на които е разрешено да се свързват с Namenode. Ако стойността е празна, всички хостове са разрешени.
„ dfsadmin ' и ' mradmin ’Командите опресняват конфигурацията с промените, за да ги информират за новия възел.
„ роби ’Файлът на главния сървър съдържа списък на всички възли на данни. Това също трябва да бъде актуализирано, за да се гарантира евентуални проблеми при стартиране / спиране на демона на hadoop.
Важната стъпка в процеса на въвеждане на възел за данни е стартирането на клъстерния балансьор.
> hadoop балансьор -праг 40
Балансир се опитва да осигури баланс до определен праг между възлите за данни чрез копиране на блокови данни от по-стари възли в нововъведени възли.
Така че, ето как можете да направите - Пускане в експлоатация и Извеждане от експлоатация Възли в клъстер Hadoop.
Имате въпрос към нас? Моля, споменете го в раздела за коментари и ние ще се свържем с вас.
Свързани връзки: