Apache Kafka 3.5. Kafka Core, Connect, Streams, Client Updates

Введение (0:00): Обзор новых добавлений и обновлений в Apache Kafka 3.5. Обновления Kafka Core (0:11): KIP 833 вводит обновленную временную шкалу для переходов KFT, с прелюдией к переходу из режима ZK в кластерный режим KFT. Apache Kafka 3.6 будет полностью поддерживать этот переход. Устаревание режима ZK (0:31): Режим ZK помечен как устаревший, при этом ZK будет полностью удален в Kafka 4.0. Полные функции миграции (0:54): KIP 866 вводит полные функции миграции из кластеров на базе ZooKeeper в кластеры с поддержкой KFT. Рекомендуется тестирование и режим двойной записи во время миграции. Новое распределение разделов (1:16): KIP 881 улучшает распределение разделов с поддержкой восстановления, продолжение с Apache Kafka 3.4. Аутентификация SSRM (1:42): KIP 900 добавляет поддержку аутентификации SSRM для списков контроля доступа в режиме KFT. Целостность данных при перезагрузке брокера (2:13): KIP 903 решает риск потери данных при перезагрузке брокера, предотвращая присоединение реплик с устаревшей эпохой к списку ISR. Усовершенствования Java интерфейсов (3:23): Hip 641 вводит новый Java интерфейс для замены стандартного Kafka Message Reader, предлагая более гибкую интеграцию для пользовательских записей. Обновления в конфигурации Kafka Core (3:52): P 887 вносит изменения, позволяющие интегрировать пользовательские конфигурации, хранящиеся в переменных окружения, решая проблему их предыдущего игнорирования. Обновления Kafka Streams (4:13): P 889 добавляет поддержку хранения версий состояний, что позволяет использовать временные метки для объединения потоков. P 399 улучшает обработку ошибок в потоках, позволяя вставлять пользовательские сообщения об ошибках и контролировать поведение потоков при ошибках. P 904 оптимизирует семантику агрегирования таблиц, минимизируя количество шума при передаче событий. Обновления Kafka Connect (6:21): KIP 710 представляет обновления для MirrorMaker 2.0, улучшая его функциональность и производительность. Обновления для MirrorMaker 2.0 (6:31): KIP 710 улучшает функционал MirrorMaker 2.0, позволяя запускать выделенные кластеры с внутренним REST сервером для управления конфигурациями и репликацией между кластерами. Поддержка смещений в Kafka Connect (7:23): KIP 875 вводит поддержку для управления смещениями в Kafka Connect, позволяя администраторам лучше управлять и синхронизировать смещения в кластерах. Инкрементальные изменения конфигураций (8:22): KIP 894 добавляет поддержку инкрементальных изменений конфигураций в MirrorMaker 2.0, что позволяет более гибко управлять настройками без риска потери данных. Метрики и мониторинг в Kafka Connect (8:33): KIP 911 вводит новые метрики для отслеживания работы MirrorMaker, улучшая возможности мониторинга и управления производительностью.