Денис Шелемех — Перевод отчетов международной компании с Oracle на современный Big Data стек
Ближайшая конференция:
PiterPy 2023 — 6–7 ноября (Online), 13–14 ноября (Санкт-Петербург, Offline)
Подробности:
— —
Спикер расскажет, как с командой делал Proof of Concept стримингового ELT-пайплайна для крупной международной страховой компании. Использовались следующие основные компоненты.
— Сервер Oracle.
— Debezium-коннектор для загрузки CDC лога в Kafka.
— Kafka.
— Spark Structural Streaming.
— Delta Lake.
— AWS S3 в качестве облачного хранилища.