EMBER_CLI_FASTBOOT_BODY

Hadoop. Система для обработки больших объемов данных

Курс посвящен методам обработки больших объемов данных (BigData) с помощью системы Hadoop. После прохождения курса вы получите знания основных способов хранения и методов обработки больших объемов данных, поймете принципы работы распределенных систем в контексте фреймворка Hadoop и освоите практические навыки разработки приложений, используя программную модель MapReduce.

3 часа в неделю
Certificate Stepik

About this course

BigData, MapReduce, облачные вычисления, NoSQL. Все эти понятия стали популярными в последние годы. И все они связаны с распределенной обработкой больших объемов данных. Hadoop - одна из самых популярных open-source систем для обработки больших объемов данных. Необходимость в таких системах растет с каждым годом - все больше компаний сталкиваются с проблемой растущего объема данных.

Facebook, Twitter, Yahoo!, Bing, Mail.ru - это далеко не полный список компаний, которые используют Hadoop. Многие из них, при этом, активно участвуют в его развитии. И это неслучайно, т.к. именно большие интернет-компании первыми столкнулись с проблемой обработки больших объемов данных: как их надежно хранить, как обрабатывать, как получать быстрый доступ на их изменение. Сейчас Hadoop используется не только в интернет-компаниях, но и во многих других сферах, где возникает проблема с объемом данных (экономика, астрономия, биология, физика и т.д.)

Записывайтесь на наш курс и вы узнаете современные методы хранения и обработки больших объемов данных на примере системы Hadoop.

Who is this course for

Студенты старших курсов, разработчики начального и среднего уровня. Также курс будет полезен тем, кто уже имеет небольшой опыт работы с Hadoop.

Знание языков программирования не является обязательным, но очень желательно. В курсе есть примеры программ и в практических задачах нужно уметь читать и писать код. При этом используются Java и Python. Глубокого знания этих языков не требуется и проблем не будет, если вы знаете только С++. Нужно быть знакомым с Linux и уметь работать в командной строке. Желательно хотя бы немного знать английский язык, т.к. в курсе встречаются термины и надписи на английском.

Meet the Instructors

User picture
Евгений Чернов
Руководитель отдела анализа запросов в Поиск@Mail.ru, преподаватель Техносферы (проект МГУ и Mail.ru)
Окончил факультет прикладной математики МФТИ. Несколько лет работал в Институте Системного Программирования РАН. Больше 5 лет работаю в Поиск@Mail.ru. Долгое время отвечал в нем за обработку всех пользовательских данных.

Course content

Введение
  1.  
     
  2.  
     
Распределенная файловая система HDFS
MapReduce. Введение
Решение задач с помощью MapReduce
Алгоритмы на графах в MapReduce
Pig и Hive
NoSQL базы данных: HBase и Cassandra
Spark
YARN. MapReduce 2.0

Certificate

Mail.Ru

Student reviews

Интереснейший курс!
Курс классный, но без знания основ Python или на среднем/высоком уровне любого другого языка программирования - реально сложно закончить с отличием. Теоретическая часть - хороша. ИМХО - лучший курс по Hadoop на платформе.
Один из лучших онлайн курсов, которые я когда либо проходил.

Share this course