Стриминговые фреймворки: Apache Flink • Дарья Колесова

На конференции Systems Design выступила Даша Колесова, Data Engineer, которая провела доклад о стриминговых фреймворках, сосредоточившись на Apache Flink. Она рассмотрела use cases, работу со state, распределение ресурсов и выделила ключевые аспекты при проектировании стриминговых архитектур. 00:00 О докладе 01:15 Смысл стриминговых фреймворков 05:30 Фреймворк Apache Flink 10:18 Use cases в Apache Flink 14:40 State в Apache Flink 20:00 Распределение ресурсов 22:28 Выводы: что учитывать при проектировании? 24:35 В чём отличие bounded-потока от batch-передачи? 26:12 В чем разница между at least once и exactly one в стриминге? 28:48 Аналогичен DAG в Apache AirFlow и в Apache Flink? 29:18 Какие могут быть последствия при применении Apache Flink (вместо Spark) на уровне DWH? 32:55 Состояние можно передать из оператора в оператора только через третье хранилище или возможно напрямую? 34:00 Можно сказать, что Apache Flink - это что-то между Apache Spark Streams и Apache Airflow? 35:13 Из каких этапов состоит проектирование? Работа с очередями в RabbitMQ и Apache Kafka Моделирование предметной области и проектирование БД Основы ООП и разработка UML-моделей ArchiMate для проектирования и поиска скрытых связей Разработка требований к информационной безопасности ИТ-систем ____________________ 📌 ПОДПИСАТЬСЯ НА Systems Education: ➛Официальный сайт: ➛VK ➛Telegram - Новости Systems Education и расписание курсов ➛Telegram - Анонсы событий по системному анализу: ➛Telegram - Как стать системным аналитиком: