pl sql урок за начинаещи с примери
Hadoop Job Tacker
Job Tracker е основният демон както за управление на ресурси за работа, така и за планиране / мониторинг на работни места. Той действа като връзка между Hadoop и вашето приложение.
Процеса
Потребителят първо копира файлове в разпределената файлова система (DFS), преди да изпрати задание на клиента. След това клиентът получава тези входни файлове. Потребителят ще получи разделянето или блоковете въз основа на входните файлове.Клиентът би могълсъздаване на разделяния или блокове в човекner it prefнейните, тъй като зад това има определени съображения. Ако се направи анализ на пълните данни, ще разделите данните на разделяния. Файловете не се копират чрез клиент, а се копират с помощта на flume или Sqoop или друг външен клиент.
След като файловете бъдат копирани в DFS и клиентът взаимодейства с DFS,разделянията ще стартират MapReduce jоб. Работата се подава чрез инструмент за проследяване на работа. Проследяващият задачите е главният демон, който се изпълнява на същия възелбягатези множество задания на възли за данни. Тези данни ще лежат на различни възли за данни, но отговорността за проследяването на задачите е да се погрижи за това.
След като клиентът подаде напроследяващото задание, заданието се инициализира на опашката на заданието и проследяващото задание създава карти и намалява. Въз основа на програмата, която се съдържа във функцията на картата и функцията за намаляване, тя ще създаде задачата за карта и ще намали задачата. Тези две ще работят на входните разделяния. Забележка: Когато е създаден от клиентите, това входно разделяне съдържа всички данни.
Във всеки разделен вход има задание за карта, което се изпълнява и изходът на задачата за карта отива в задачата за намаляване. Проследяване на задания изпълнява пистата на определени данни. Може да има множество репликации на това, така че той избира локалните данни и изпълнява задачата на конкретния инструмент за проследяване на задачи. Проследяващият задачи е този, който действително изпълнява задачата на възела за данни. Проследяване на работа ще преминеинформациякъм инструмента за проследяване и инструментът за проследяване на задачи ще изпълни заданието на възела за данни.
заместване и претоварване в java
След като заданието е присвоено на инструмента за проследяване на задачи, има сърдечен ритъм, свързан с всеки инструмент за проследяване на задачи и инструмент за проследяване на задачи. Той изпраща сигнали, за да разбере дали възлите за данни са все още живи. Двамата често се синхронизират, тъй като има възможност възлите да изчезнат.
Имате въпрос към нас? Споменете ги в раздела за коментари и ние ще се свържем с вас.
Подобни публикации:
сортиране на масив в програма c ++