Когато бях по-малък, обичах филмовата поредица „Междузвездни войни“. Толкова ми хареса, че разполагах с тези видеокасети на всеки един от тях. Преди ги наблюдавах отново и отново. След това дойде времето на DVD плейърите и трябваше да взема тези филми отново в DVD. Не се притеснявах да купя целия комплект отново на DVD, тъй като исках да изживея новата технология и да продължавам да се наслаждавам и на любимите си филми. Нещата бяха страхотни, докато не се появи друга нова технология, Blu-ray. След като купих филмите вече два пъти, не се радвах да ги купя отново. Известно време не полагах никакви усилия да се ‘актуализирам’, мислейки, че ще се справя добре без тази технология. И се справих добре. И без това не се отрази на живота ми. Но виждах промяна в тенденцията и не можех да споделя филмите си с приятелите си, както правеха помежду си. Наистина се чувствах изоставен.
Най-накрая излязох и взех филма в Blu-ray. Спомням си го не защото обичам филма, а поради факта, че качеството на видеото беше умопомрачително. И на всичкото отгоре получих целия набор от филми в един Blu-ray диск.
Потребността или желанието да бъдем актуализирани е най-силна, когато става въпрос за нашата професия, тъй като рисковете са по-големи. Стана от съществено значение да останете на върха на играта си.
4 практически причини за изучаване на Hadoop 2.0:
Колкото и да е неизбежно, да бъдем в крак с нашата професия се превърна във важна част от живота ни. Колкото и плашещо да звучи, няма нужда да се тревожим, тъй като технологиите всъщност не се променят толкова бързо или драстично. Но разговорите и информацията за тези технологии и нещата, които можем да правим с тях, придобиват все по-голяма видимост. Ето няколко причини, поради които трябва да сте в течение:
# 1: Не се хващайте навън
Ако не обръщате внимание на последната актуализация на дадена технология, можете да изглеждате като елен, хванат от фара. Не точно лъчезарна картина на вашите професионални възможности. Актуалността ще ви накара да бъдете уважавани от вашите връстници за вашите професионални умения. Може да не е необходимо да прилагате всяко ново нещо, което научавате, но да сте наясно с актуализациите е наложително.
Например, когато се говори на Hadoop, можете да уведомите своите връстници, че Hadoop 2.5.0 има подобрения за удостоверяване при използване на HTTP прокси сървър. И също в същата версия на Hadoop има разпоредба за директно писане в Graphite.
Изключително важно е да сте в течение на последните актуализации, когато организациите мислят да мигрират към Hadoop. И „познаването“ може да промени огромно в кариерата ви.
# 2: Наличие на конкурентен ръб
Професионалистите, които са квалифицирани в своите области, са на почит. И да бъдеш в крак с времето е най-добрият начин да бъдеш на върха. Вашата нужда да бъдете в течение отразява вашата страст към вашата работа. Развивайки опит в работата си и отрасъла си, ще спечелите доверието и уважението на хората около вас. От гледна точка на лидерството това е безценно!
Дори ако вашата организация все още работи с Hadoop 1.0, познаването на всички най-нови функции на Hadoop 2 ще ви държи на път, тъй като е сравнително нов и определено по-добър. Да бъдеш първият, който научи това, ще ти даде предимство пред връстниците си.
# 3: Нови възможности
Тъжна реалност е, че настоящата ни роля продължава да се променя. С времето идват и допълнителни отговорности и възможности за изпълнение на нови задачи. Като сте в крак с тенденциите в бранша, вие сте в най-добрата позиция да се възползвате от тези възможности.
Компании като Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory и много други търсят хора, опитни в най-новите функции на Hadoop 2, като ПРЕЖДА.
# 4: Вземете по-добри решения
Допълнителната информация ще ви позволи да направите информиран избор и по-добри решения. Това ще ви помогне да разпознаете възможностите и да добавите стойност към стратегията на вашата организация.
Hadoop 2 има функции, които подобряват скоростта, както и намаляват разходите. Предлагането на опции за подобряване на производителността и увеличаване на скоростта определено може да повиши производителността на организацията. Ето някои характеристики на Hadoop 2, които ще са от полза за организацията и предполагаме, че те ще дадат тласък и на кариерата ви.
Поддръжка за стартиране на Hadoop в Microsoft Windows
Опростено разпространение на двоични файлове MapReduce чрез HDFS в YARN Distributed Cache.
как да инсталирам eclipse windows -
Подобрена поддръжка за нови приложения на YARN със сървър за история на приложенията и сървър за времева линия на приложенията
Пълна поддръжка на HTTPS в HDFS
Интеграция на Kerberos за магазина за хронология на YARN.
Поддръжка на хетерогенна йерархия на съхранение в HDFS.
Кеш в паметта за HDFS данни с централизирано администриране и управление.
Опростено разпространение на двоични файлове MapReduce чрез HDFS в YARN Distributed Cache.
Има повече от просто практически причини да останете актуализирани. Има и технически причини. Hadoop има многобройни функции, които са изгодни за организациите. Ако ги разгледате задълбочено, ще получите ясна представа за това какво е предимството.
Коя е най-новата актуализация в Hadoop?
Всеки продукт преминава през различни етапи на издания и излиза с различни версии на себе си. Hadoop не прави изключение и излезе с Hadoop 2.0. Фондацията Apache излезе с последващи версии на Hadoop като Hadoop 2.1.0, Hadoop 2.4.0 и достигна Hadoop 2.5.1, което е последната версия, издадена през септември 2014 г.
Защо беше пуснат Hadoop 2?
С новата версия се предлагат добавени функции и поправени грешки. Така че всеки път, когато използвате определена версия на Hadoop и мислите, че може да се добави определена функция или да се поправят някои грешки, вие уведомявате момчетата от Apache Foundation за това. Тези момчета от своя страна работят върху него и ви дават по-добър продукт в следващата версия.
Hadoop 2 - Не просто число
Hadoop 2 не е само последната версия на Hadoop. Като цяло това е архитектура от второ поколение. Арън Мърти, основател и архитект в дистрибутора на Hadoop Hortonworks, настоява, че разграничението е важно, тъй като количеството реинженеринг, необходимо за преместването на Hadoop отвъд партидната обработка и в света на анализа в реално време, е значително.
Нека да обсъдим колко различен е Hadoop 2.0 от своя предшественик Hadoop 1.0. Очевидно по-късната версия ще бъде по-добра от по-ранната версия. Следват четирите основни подобрения в Hadoop 2.0 спрямо Hadoop 1.x:
HDFS Федерация - Хоризонтална мащабируемост на NameNode
Висока наличност на NameNode - NameNode вече не е единична точка на отказ
ПРЕЖДА - Възможност за обработка на терабайти и петабайти данни, налични в HDFS, с помощта на приложения, които не са MapReduce като MPI, GIRAPH
Resource Manager - Разделя двете основни функции на претовареното JobTracker (управление на ресурси и планиране / мониторинг на работа) в два отделни демона: глобален мениджър на ресурси и ApplicationMaster за всяко приложение
Има допълнителни функции като Capacity Scheduler (Активиране на мулти-наемателска поддръжка в Hadoop), Снимка на данни, Поддръжка за Windows, достъп до NFS, позволяващи увеличено приемане на Hadoop в индустрията за решаване на проблеми с големи данни.
Hadoop 2.X срещу Hadoop 1.X
Нека направим малко сравнение и да видим по какъв начин Hadoop 2.0 е по-добър и различен от Hadoop 1.0
Защо Hadoop 2 е предпочитан пред Hadoop 1.0?
Hadoop 2.0 предлага подобрения в производителността, които се възползват от свързани технологии в екосистемата на Hadoop. Освен новаторските характеристики на HDFS и архитектурата от второ поколение (YARN), има още повече и по-големи причини да предпочетете Hadoop 2 пред Hadoop 1.0:
Hadoop 2 вече няма езикови ограничения. Това означава, че широк кръг от професионалисти вече могат да използват Hadoop.
С Hadoop 2 се преодоляват препятствия като недостиг на кодери MapReduce.
2 пъти по-бързо от Hadoop 1.0
2 пъти ROI със съществуващ хардуер.
С YARN интерфейсът за програмиране на приложения е много по-отворен и гъвкав.
Hadoop 2 разширява възможностите за използване на Hadoop в проекти за големи данни.
претоварване на функцията в c ++
С Hadoop 2 разработчиците вече могат да изпълняват огромно разнообразие от задачи за разбиване на данни, извън предходния обхват на груповата обработка на Hadoop.
Предлага нови възможности за мениджъри на информация и отстранява недостатъците в предишните версии.
Тази нова версия има уникалната функция да изпълнява множество работни натоварвания в един и същ клъстер Hadoop.
Hadoop вече не е ограничен до една функция. Неговото приложение сега се простира извън HDFS и MapReduce.
Основни предимства на преждата
Наясно сме с YARN като архитектура от второ поколение, нека видим какво я прави толкова страхотна.
Мащаб
Нови модели и услуги за програмиране
Подобрено използване на клъстера
Ловкост
Много повече от Java
И много други
Търсене на умения Hadoop 2
Сега организациите стартират или експериментират с Hadoop 2. Следователно, има нужда от професионалисти, квалифицирани в Hadoop 2. Много организации вече са започнали да търсят вътрешно хора, които да работят с Hadoop. Има ясни индикации, че преждата се увеличава и в крайна сметка ще измести търсенето на умението MapReduce.
Ето някои виждания за настоящото и прогнозирано търсене на умения за Hadoop:
Според анализатори от Gartner, Hadoop 2 е жизненоважно развитие, тъй като големите предприятия по света са открили, че Hadoop е променящ играта в управлението им на големи данни.
Според Ерик Кавана от групата на Bloor, Hadoop 2.0 е придобил сцепление сред информационните работници, които искат да спорят с Big Data.
Приемането на Hadoop 2.0 продължава да се увеличава и сега навлиза в етап на зрялост.
Организациите са наясно с предимствата на YARN и са развълнувани от това.
Ето снимка на ваканциите за Hadoop 2.0 / YARN в Indeed.com
Кой се премества в Hadoop 2 или вече го има?
Yahoo:
Yahoo! , лидерът във всичко, което Hadoop е внедрил YARN (0.23.x). Според Murthy, клъстерът на Yahoo с 35 000 възела сега обработва 130-150 работни места на ден в сравнение с 50-60 преди YARN.
Когато говори за звездното представяне, Мърти цитира: „Когато имате 2x над 35 000 до 40 000 възли, това е феноменално“. Той също така добави: „Доста завладяваща история е да разкажете на ИТ директор, че ако просто надстроите софтуера си от Hadoop 1 до Hadoop 2, ще видите 2 пъти подобрения в производителността на вашите работни места.“
eBay:
eBay има един от най-големите клъстери Hadoop в индустрията, където данните са в петабайта. Те също са мигрирали своите клъстери към Hadoop 2.
кастинг двойно към int в java
Заключение:
Тъй като Hadoop 2 е зрял и по-лесен за изпълнение, те дори убеждават скептиците и все повече организации мигрират към Hadoop 2.0. Има основателни причини да се избягват версиите 1.x. Но с Hadoop 2 дори невярващите го обмислят, тъй като той може да се използва за широк спектър от приложения. Изучавайки Hadoop 2.0 и прилагайки го за извършване на изчисления върху големи данни, ще отворите вратите към технически напреднала и финансово възнаграждаваща кариера.
Имате въпрос към нас? Моля, споменете ги в раздела за коментари и ние ще се свържем с вас.
Подобни публикации: