Ако вече сте от ИТ индустрия , трябва да сте наясно с това Голяма информация е разговорът на деня. Било то, нови стартиращи компании, предлагащи иновативни бизнес модели, или ваши колеги, които продължават да се присъединяват към тези стартиращи компании, по някаква причина, днешните по-зелени пасища изглежда е Голяма информация промишленост.
Ако се чудите защо, тогава ви препоръчвам да прочетете това до самия край, защото това може да бъде самоизследващ се блог, който да ви отведе до това, за което сте предназначени.
И така, защо всичко товаХИПоколните ГОЛЯМА ИНФОРМАЦИЯ?
Това просто ли е друг домейн, който временно ще приземи бежанци от всички други домейни? Или ще бъде тук за дълги разстояния?
Ако трябваше да предположа, бих казал, че не само ще бъде тук за дълги разстояния, но индустрията за големи данни ще бъде в епицентъра на технологичния напредък.
Защото всичко е заДАННИ!
Точно като Слънцетосе издигаотизтокикомплективЗапад, непрекъснатото използване на изчислителни / не-изчислителни устройства ще доведе до изблик на неуправляеми данни.
Когато тези данни надхвърлят прага, за да бъдат обработвани от Excel или друга система за управление на бази данни, ние ги наричаме ГОЛЯМА ИНФОРМАЦИЯ .
Помислете кой беше последният продукт, който закупихте от Amazon? Кой може да бъде следващият продукт, който може да закупите въз основа на минала дейност? Отговорите на такива въпроси се съхраняват в Big Data.
Има ли нарастваща тенденция зад даден продукт? Или има ли тенденция на спад? Ще купува ли клиент „Чорапи“, когато купува „Обувки“? Това са въпроси за решаване на бизнес проблеми.
И тези въпроси могат да бъдат лесно отговори като се използва Анализ на големи данни .
В крайна сметка каква е ползата от данните, когато не сте анализирам то?
Така че, е Big Dataнапълно заАнализ?Не напълно, но Анализът е най-добрата награда.
Други основни потоци в Големите данни саСъхранениеиУправление.
Тук вие като професионалист можете да допринесете. Можете да поемете ролята на:
- Инженер за големи данни
- Архитект на решение за големи данни
И се уверете, че големите данни, които се генерират, са винаги налични и могат да бъдат използвани за анализ в по-късен момент. Така че това ни води до въпроса & hellip
Къде се съхраняват големите данни?
Може ли да се съхранява вExcel файл? Може ли да се съхранява всистема от релационни бази данни?
По дяволите не!
Ако можеше да бъде, значи щеше да бъде!
И да бъдете наречени нещо различно заедно. Може би нещо катоExcel-данниилиRDBMS-данни:Д
И това би ни върнало обратно ЕТАП 1 : - Защо големите данни не могат да се управляват с помощта на Excel? ЗащотоГолемите данни са твърде горещи, за да може Excel да ги обработва. И дори други системи за управление на бази данни всъщност.
И така, каква е алтернативата?
Java точно навреме компилатор
За обработка на големи данни имаме ХАДООП . Може би сте наясно и с тази дума. Но може би се чудите как точно работи?
Като начало, HADOOP е продукт наФондация APACHE. Apache е американска организация с нестопанска цел, която подкрепя разработването на софтуер с отворен код.
Hadoop се определя като програмна рамка, базирана на Java с отворен код, която поддържа обработката и съхранението на изключително големи масиви от данни в разпределена изчислителна среда.
Какво може да направи Hadoop, но Excel не може?
Обработвайте и разбирайте неструктурирани данни!Структурираните данни, които са в табличен формат или по друг начин, могат лесно да бъдат обработвани. Excel може да го направи, както и всеки друг RDBMS.
Но когато четливостта намалява и данните са неструктурирани, това е мястото, където Големите данниинструменти като Hadoopрезултат. Пример за неструктурирани данни е syslog . Примерно изображение е по-долу.
Такива регистрационни файлове определено не могат да се търсят с помощта на Excel.
Hadoop, подобно на инструментите за големи данни, може да разбере данните такива, каквито са, чрез изваждане на модели и формиране на връзки между различни полета. И след като данните имат релационно докосване, това е такаГотов за анализ.
Анализът е това, което ще окаже въздействие върху бизнеса върху организацията! Кариерата ви до голяма степен ще се възползва от участието й в този домейн за големи данни.
' Мога ли да го направя като Hadoop-er? '
... може да е следващият въпрос в ума ви. И с основание, Big Data е пазар, който е горещ както винаги и толкова важен, както винаги.
Без Hadoop компаниите трудно ще се справят с големите данни. И без квалифицирани специалисти като вас, компаниите трудно ще се справят с Hadoop.
Има доклад, който казва, че в тази област има дефицит на таланти. Дефицитът на таланта означава, по-малко професионалисти, но голямо търсене. И това е в глобален мащаб и не се ограничава до определена география.
Искате ли номера?
ДА СЕ Глобален институт McKinsey проучване посочва, че САЩ ще се сблъскат с недостиг от около 190 000 изследователи на данни и 1,5 милиона мениджъри и анализатори, които могат да разберат и вземат решения, използвайки Big Data до 2018 г.
Съвети за кариера към вас? Сърфирайте, когато приливите са малки!
Но вие ли сте ограничен до само Hadoop ?
Не точно. Има редица инструменти за обработка на големи данни и Hadoop се счита за един от най-добрите. Но не всеки път!
Има моменти, когато Hadoop не е най-подходящ. Например, ако сте нетехническо лице, което не е много добро в писането на програми MapReduce.
В такива случаи можете да използватеТАЛЕНДА, който ви дава графичен потребителски интерфейс, за да правите всичко, което бихте направили иначе с MapReduce.
За писане на по-прости Java кодове можете да използватеСВИНЯ.
Ако искате да стартирате подобни на SQL заявки за големи данни, тогаваКошераможе да се използва.
Ако искате да използвате данни, съхранявани в база данни NoSQL, тогаваHBaseможе да се използва.
За извършване на анализи в реално време можете да използватеИСКРА.
Това са инструменти за големи данни, които вървят ръка за ръка с Hadoop, но те не заменят изобщо Hadoop. Те са добавки на Hadoop за големи данни.
Освен това има още няколко инструмента като SQOOP, FLUME, OOZIE и др., Които могат да бъдат интегрирани с Hadoop рамката за решаване на различни бизнес проблеми.
Какво очаква индустрията от вас като експерт по големи данни?
Индустрията изпитва остра нужда от АРХИТЕКТИ ЗА ГОЛЕМИ ДАННИ които могат да изградят цялостно решение за големи данни за своите организации. Големите архитекти на данни са тези, които имат опит във всички гореспоменати инструменти.
Ето свидетелство от ученик на Edureka на курс:
Да станеш започвайки от обучението за сертифициране на големи данни и Hadoop на Edureka, което помага на обучаващите се да станат експерти в HDFS, прежди, MapReduce, Pig, Hive, HBase, Oozie, Flume и Sqoop, като използват случаи в реално време за търговия на дребно, социални медии, авиация, туризъм, финанси .
серия на Фибоначи c ++