Python предоставя огромен брой библиотеки за работа с големи данни. Можете също така да работите - по отношение на разработването на код - като използвате Python за големи данни много по-бързо от всеки друг език за програмиране. Тези два аспекта позволяват на разработчиците по целия свят да възприемат Python като език на избор за проектите за големи данни. За да получите задълбочени познания за Python заедно с различните му приложения, можете да се регистрирате за живо с 24/7 поддръжка и доживотен достъп.
Изключително лесно е да се обработва всеки тип данни в python. Нека установим това с прост пример. Можете да видите от моментната снимка по-долу, че типът данни на „a“ е низ, а типът на данни „b“ е цяло число. Добрата новина е, че не е нужно да се притеснявате за обработката на типа данни. Python вече се е погрижил за това.
Сега въпросът за милион долара е Python с големи данни или Java с големи данни?
Бих предпочел Python всеки ден, с големи данни, защото в java, ако напишете 200 реда код, мога да направя същото нещо само в 20 реда код с Python. Някои разработчици казват, че производителността на Java е по-добра от Python, но забелязах, че когато работите с огромно количество данни (в GB, TB и други), производителността е почти същата, докато времето за разработка е по-малко, когато работа с Python върху големи данни.
Най-хубавото при Python е, че няма ограничение за данните. Можете да обработвате данни дори с обикновена машина като стоков хардуер, вашия лаптоп, настолен компютър и други.
Python може да се използва за писане на програми и приложения на Hadoop MapReduce за достъп до HDFS API за Hadoop с помощта на пакета PyDoop
Едно от най-големите предимства на PyDoop е HDFS API. Това ви позволява да се свързвате с HDFS инсталация, да четете и пишете файлове и да получавате безпроблемно информация за файлове, директории и свойства на глобалната файлова система.
API на MapReduce на PyDoop ви позволява да решавате много сложни проблеми с минимални усилия за програмиране. Advance MapReduce концепции като „броячи“ и „четци на записи“ могат да бъдат внедрени в Python с помощта на PyDoop.
В примера по-долу ще стартирам проста програма за преброяване на думи MapReduce, написана на Python, която отчита честотата на поява на дума във входния файл. Така че имаме два файла по-долу - ‘mapper.py’ и ‘reducer.py’, и двата написани на python.
Пример за извикване на отдалечен метод на Java
Фиг: mapper.py
Фиг: reducer.py
Фиг: стартиране на заданието MapReduce
Фиг: изход
Това е много основен пример, но когато пишете сложна програма MapReduce, Python ще намали броя редове на кода 10 пъти в сравнение със същата програма MapReduce, написана на Java.
Защо Python има смисъл за учените по данни
Ежедневните задачи на учен по данни включват много взаимосвързани, но различни дейности като достъп и манипулиране на данни, изчисляване на статистически данни и създаване на визуални отчети около тези данни. Задачите включват също изграждане на прогнозни и обяснителни модели, оценка на тези модели на допълнителни данни, интегриране на модели в производствени системи, наред с други. Python разполага с разнообразен набор от библиотеки с отворен код за почти всичко, което Data Scientist прави средно на ден.
SciPy (произнася се „Sigh Pie“) е базирана на Python екосистема от софтуер с отворен код за математика, наука и инженерство. Има много други библиотеки, които могат да се използват.
Присъдата е, че Python е най-добрият избор за използване с Big Data.
Имате въпрос към нас? Моля, споменете ги в раздела за коментари и ние ще се свържем с вас.
Подобни публикации: