Flink на Scala (Java API)

В этот раз мы займемся разработкой потоковых приложений Flink на Scala, но с использованием Java API. И изучим основные принципы работы со временем и состоянием при обработке непрерывно поступающих данных.

Пройдя этот курс и выполнив представленные в курсе практические задания, вы

• поймете, как работает Flink
• увидите, чем потоковая обработка отличается от пакетной
• научитесь обрабатывать потоки непрерывно поступающих данных
• развернете свой собственный кластер Flink и освоите запуск приложений на кластере

Модули курса:

1. DataStreams - это самый легкий модуль из всех, его прохождение занимает минимальное количество времени; после завершения данного модуля у вас будет четкое представление о базовой структуре приложений на Flink
2. Работа со временем - как следует из названия, в этом модуле работа пойдет со временем: мы разберем разницу между временем обработки и временем наступления события
3. Работа с состоянием - задача усложняется, теперь при разработке приложений мы будем учитывать не только время наступления событий, но и информацию о ранее обработанных событиях
4. Дополнительные возможности - здесь мы разберем боковой вывод, напишем собственные триггеры
5. Кластер Flink - наконец приступим к развертыванию кластера, подробно разберем архитектуру Flink
6. Практика - при решении задач в этом модуле вы примените все полученные на курсе знания, кроме того - научитесь визуализировать обработанные данные в kibana