EMBER_CLI_FASTBOOT_BODY

Hadoop. Система для обработки больших объемов данных

Play
Current Time 0:00
/
Duration Time 0:00
Remaining Time -0:00
Stream TypeLIVE
Loaded: 0%
Progress: 0%
00:00
Fullscreen
00:00
Mute
Playback Rate
  • 2x
  • 1.75x
  • 1.5x
  • 1.25x
  • 1x
  • 0.75x
  • 0.5x
1
Chapters
  • Chapters
Play
To watch this video please visit https://stepik.org/lesson//step/

About the course

BigData, MapReduce, облачные вычисления, NoSQL. Все эти понятия стали популярными в последние годы. И все они связаны с распределенной обработкой больших объемов данных. Hadoop - одна из самых популярных open-source систем для обработки больших объемов данных. Необходимость в таких системах растет с каждым годом - все больше компаний сталкиваются с проблемой растущего объема данных.

Facebook, Twitter, Yahoo!, Bing, Mail.ru - это далеко не полный список компаний, которые используют Hadoop. Многие из них, при этом, активно участвуют в его развитии. И это неслучайно, т.к. именно большие интернет-компании первыми столкнулись с проблемой обработки больших объемов данных: как их надежно хранить, как обрабатывать, как получать быстрый доступ на их изменение. Сейчас Hadoop используется не только в интернет-компаниях, но и во многих других сферах, где возникает проблема с объемом данных (экономика, астрономия, биология, физика и т.д.)

Записывайтесь на наш курс и вы узнаете современные методы хранения и обработки больших объемов данных на примере системы Hadoop.

Instructors

  1. User picture
    Евгений Чернов
    Руководитель отдела анализа запросов в Поиск@Mail.ru, преподаватель Техносферы (проект МГУ и Mail.ru)
    Окончил факультет прикладной математики МФТИ. Несколько лет работал в Институте Системного Программирования РАН. Больше 5 лет работаю в Поиск@Mail.ru. Долгое время отвечал в нем за обработку всех пользовательских данных.

Reviews

Rated:  5
Отличный курс, чтобы первый раз погрузиться в мир BigData. Хорошие примеры, решаемые задачи, получил большое удовольствие от курса!
Rated:  4
Хороший обзорный "гуманитарный" курс, но не без минусов. Несмотря на то, что я пытался проходить его вдумчиво, по завершению у меня в голове каша. Я понимаю, что специфика курса делает почти невозможными нормальные приближенные к боевым практические задания, но, тем не менее, мне их сильно не хватало. Также немножко смущает, что курс уже вроде как устарел. Непонятно, например, что делать, если я хочу решать в экосистеме hadoop собственные задачи. Мне достаточно будет знаний курса и представленного в нем стека технологий или придется догугливать разницу между представленными здесь и актуальными инструментами? Кроме того, не очень ясно, под какие задачи какие инструменты выбирать. PS хадуп поднять на собственном ноутбуке мне так пока и не удалось, однако завершению курса это не помешало :))
Vasyl Malik March 31, 2018 link
Rated:  4
Курс очень интересный. За него спасибо.Понравилось то, как преподаватель рассказывает материал - просто и доступно для понимания.Не понравило предвзятое отношение к java, примеры на старой версии, и то, что в задачах вместо того, чтоб писать код обработки, когда все данные приходят коллекцией, приходилось их парсить с стандартного потока ввода. Лично для меня было бы полезнее писать методы маппера и редюсера в классе, а не использовать костыли в виде стриминга через System.in, System.out.println
Play
Current Time 0:00
/
Duration Time 0:00
Remaining Time -0:00
Stream TypeLIVE
Loaded: 0%
Progress: 0%
00:00
Fullscreen
00:00
Mute
Playback Rate
  • 2x
  • 1.75x
  • 1.5x
  • 1.25x
  • 1x
  • 0.75x
  • 0.5x
1
Chapters
  • Chapters
Play
To watch this video please visit https://stepik.org/lesson//step/
4.8 All reviews

Курс посвящен методам обработки больших объемов данных (BigData) с помощью системы Hadoop. После прохождения курса вы получите знания основных способов хранения и методов обработки больших объемов данных, поймете принципы работы распределенных систем в контексте фреймворка Hadoop и освоите практические навыки разработки приложений, используя программную модель MapReduce.

Workload:
3 часа в неделю
Expected time to complete:
29 hours
Language:
Русский
Certificate:
Mail.Ru
Certificate condition: 298 points
With distinction: 383 points

About the course

BigData, MapReduce, облачные вычисления, NoSQL. Все эти понятия стали популярными в последние годы. И все они связаны с распределенной обработкой больших объемов данных. Hadoop - одна из самых популярных open-source систем для обработки больших объемов данных. Необходимость в таких системах растет с каждым годом - все больше компаний сталкиваются с проблемой растущего объема данных.

Facebook, Twitter, Yahoo!, Bing, Mail.ru - это далеко не полный список компаний, которые используют Hadoop. Многие из них, при этом, активно участвуют в его развитии. И это неслучайно, т.к. именно большие интернет-компании первыми столкнулись с проблемой обработки больших объемов данных: как их надежно хранить, как обрабатывать, как получать быстрый доступ на их изменение. Сейчас Hadoop используется не только в интернет-компаниях, но и во многих других сферах, где возникает проблема с объемом данных (экономика, астрономия, биология, физика и т.д.)

Записывайтесь на наш курс и вы узнаете современные методы хранения и обработки больших объемов данных на примере системы Hadoop.

Requirements

Знание языков программирования не является обязательным, но очень желательно. В курсе есть примеры программ и в практических задачах нужно уметь читать и писать код. При этом используются Java и Python. Глубокого знания этих языков не требуется и проблем не будет, если вы знаете только С++. Нужно быть знакомым с Linux и уметь работать в командной строке. Желательно хотя бы немного знать английский язык, т.к. в курсе встречаются термины и надписи на английском.

Target audience

Студенты старших курсов, разработчики начального и среднего уровня. Также курс будет полезен тем, кто уже имеет небольшой опыт работы с Hadoop.

This course is entirely free. All content is available now.