Напоследък „Големите данни“ са наистина хипнотизирани, така че и квалифицираните професионалисти, които идват със знанието за тях. Да не използваш основните си умения и да започнеш от нула не винаги е лесна работа. Въпреки това, използването на вашите квадратни разфасовки и адаптирането към бастуните ще направи чудеса за вас. Бинго, говорим за изучаване на големи данни с помощта на ETL технология.
Разработчиците на ETL, които проектират работни потоци за трансформация на данни, могат много добре да използват инструменти и да превеждат работните потоци в работни места на Hadoop. Hadoop е рамка с отворен код, която се използва широко за обработка на BigData с помощта на програмата MapReduce (която е друга технология с отворен код, която помага да се обработват големи количества данни в Hadoop). В повечето случаи намирането на квалифицирани ресурси в Big Data може да бъде предизвикателство.
db браузър за sqlite урок
Ако разработчикът на ETL трябва да намери IP адресите, които са направили повече от милион заявки на уебсайта на банката, той трябва да напише работа MapReduce, която обработва данните от уеб дневника, съхранявани в Hadoop . Въпреки това, с напредъка в технологията ETL, разработчикът на работа може да използва стандартните инструменти за проектиране на ETL, за да създаде поток ETL, който може да чете данни от множество източници в Hadoop (Файлове, Hive, HBase), да се присъединява, агрегира, филтрира и трансформира данните за да намерите отговор на заявката за IP адреси.
Talend е единственият инструмент за графичен потребителски интерфейс, който е достатъчно способен да „преведе“ ETL работа в задача MapReduce. По този начин, задачата Talend ETL се изпълнява като работа MapReduce в Hadoop и свършва работата с големи данни за минути. Това е ключова иновация, която помага за намаляване на бариерите за влизане в технологията за големи данни и позволява на разработчиците на ETL работа (начинаещи и напреднали) да извършват разтоварване на хранилището на данни в по-голяма степен.
Животът в града с големи данни е много по-лесен с Talend наоколо
Графичен абстракционен слой върху приложенията на Hadoop - това прави живота много по-лесен в света на големите данни.
Какво трябва да каже Talend: „В съответствие с нашата история като новатор и лидер в интеграцията на данни с отворен код, Talend е първият доставчик, който предлага чисто решение с отворен код, за да позволи интеграция на големи данни . Talend Open Studio за големи данни, чрез наслояване на лесна за използване графична среда за разработка върху мощни приложения на Hadoop, прави управление на големи данни достъпна за повече компании и повече разработчици от всякога.
Със своето графично работно пространство, основано на затъмнение, Talend Open Studio за големи данни позволява на разработчика и учения за данни да използват Hadoop технологии за зареждане и обработка като HDFS, HBase, Hive и Pig, без да се налага да пишат Приложение Hadoop код. Чрез просто избиране на графични компоненти от палитра, подреждането и конфигурирането им, можете да създавате Hadoop работни места. Например:
- Заредете данни в HDFS (разпределена файлова система Hadoop)
- Използвайте Hadoop Pig за трансформиране на данни в HDFS
- Заредете данни в Hadoop Hive базирано хранилище за данни
- Извършване на ELT (извличане, зареждане, преобразуване) агрегиране в Hive
- Ливъридж Sqoop за интегриране на релационни бази данни и Hadoop
Приложения на Hadoop, безпроблемно интегрирани за минути с помощта на Talend.
е магистърска степен следдипломна степен
За да бъдат приложенията на Hadoop наистина достъпни за вашата организация, те трябва да бъдат гладко интегрирани в общите ви потоци от данни. Talend Open Studio за големи данни е идеалният инструмент за интегриране на приложения на Hadoop във вашата по-широка архитектура от данни. Talend осигурява повече вградени компоненти на съединителя, отколкото всяко друго решение за интеграция на данни, с повече от 800 конектора които улесняват четенето или писането във всеки основен файлов формат, база данни или пакетирано корпоративно приложение. Например в Talend Open Studio за големи данни можете да използвате конфигурируеми компоненти за плъзгане и пускане, за да създадете потоци за интегриране на данни, които преместват данни от разделени регистрационни файлове в Hadoop Hive, извършват операции в Hive и извличат данни от Hive в база данни на MySQL (или Oracle, Sybase, SQL Server и т.н.).
Искате ли да видите колко лесно може да бъде работата с модерни приложения на Hadoop?
Няма нужда да чакате - Talend Open Studio за големи данни е софтуер с отворен код, безплатен за изтегляне и използван под лиценз на Apache.
Говорете в град
Talend е билВизионер в магическия квадрант за инструменти за интегриране на данниот 2009 г. Наскоро те се появиха и като пионери в областта на качеството на данните и MDM, както и всички съставки, за да приготвят фантастично ястие с големи данни.
Те твърдят, че: „Интеграцията на големи данни увеличава производителността и мащабируемостта с 45 процента във вашата организация“.
Само Talend 5.5 (и по-нова версия) позволява на разработчиците да генерират високопроизводителен код на Hadoop, без да е необходимо да бъдете експерт в MapReduce или Pig.
Няколко месеца назад една от статиите на Talend казва: „Приемането на Hadoop скача рязко и големи и малки компании се борят да намерят достатъчно опитни разработчици на Hadoop, за да отговорят на това нарастващо търсене“. Само Talend 5.5 позволява на всеки разработчик на интеграция на данни да използва визуална среда за разработка, за да генерира собствен, високопроизводителен и силно мащабируем код на Hadoop. Това отключва голям набор от ресурси за развитие, които сега могат да допринесат за проекти за големи данни. В допълнение, Talend остава на върха на новите разработки в Hadoop, които позволяват проекти за анализ на големи данни да задвижват взаимодействието с клиентите в реално време.
Talend за големи данни може да помогне за разбирането на организациите, като събира набори от хетерогенни системи източници - като трети страни, API и социални мрежови емисии - и трансформира тези данни във визуална картина на пътуването от край до край на клиента.
Независимо дали става въпрос за банкова индустрия, фармацевтика, електронна търговия, застраховане - Talend може да интегрира данни във всякакъв мащаб с лесна комбинация с Hadoop, който се оказа най-модерната технология за задоволяване на търсенето на настоящето и бъдещето.
Използвайте случаи по света
Започвайки от маркетингова кампания до обслужване на клиенти в банковия сектор до откриване на измами, големите данни са навсякъде.
php конвертира обект в масив
Имайки повече от 800+ конектора само в изданието си с отворен код, той твърди, че е най-голямата най-широко поддържана платформа за свързване с каквото и да е и може да извлече всичко.
С променящия се модел и привеждане в съответствие с NoSQL, Open Source, Hadoop, изборът на обучение за Big Data и ETL стил с помощта на Talend ще бъде най-логичното решение за всеки, който се занимава с данни във всякаква форма и по всяко време.
В обобщение, ETL инструментите далеч не са минали. Те са от основно значение за екосистемата на големите данни и играят решаваща роля за подпомагане на анализа на данни.
Ето защо Talend блести, заявявайки „Нула до големи данни без кодиране, за по-малко от 10 минути“.
Имате въпрос към нас? Споменете ги в раздела за коментари и ние ще се свържем с вас.
Подобни публикации: