Обзор архитектуры быстрого сборщика логов на Go Владимир Витковский / Ural Digital Weekend
«Обзор архитектуры быстрого сборщика логов на Go» — Владимир Витковский (Ozon, руководитель направления разработки Observability-платформы)
Доклад с конференции Ural Digital Weekend 2022 (8 июля 2022)
Владимир в своем докладе рассказал о лучших практиках, на которых основан очень быстрый сборщик логов, используемый в Ozon.
А также о том, как c помощью этого инструмента сократили издержки на сбор логов в 10 раз по CPU и добились 100% доставляемости логов.
Затронуты следующие темы:
* как организована общая архитектура сборщика логов;
* как написать быстрый плагин для чтения логов из файлов;
* как оптимизировать внутреннюю обработку потока логов;
* как правильно распараллелить обработку;
* как гарантировать доставку.
Ссылка на презентацию из доклада:
Сайт конференции —
Сайт Spectr —
Организатор конференции — Spectr ()
Организационный партнер — Тэглайн ()
Официальный сайт конференции —
Официальный канал конференции —
Нанять команду Spectr —
#udweek #udw #ural_digital_weekend #digital #tagline #тэглайн #spectr #digitalspectr #мероприятие #golang #dev #go #backend
00:00 Спикер о себе, компании и теме доклада
02:09 Что такое сборщик логов. Требования к сборщику
04:37 Почему в Ozon решили сделать свое решение.
07:05 Производительность — какой результат?
07:44 Примеры кода
09:50 Архитектура — общая схема. Плагины
11:24 Pipeline — что это?
12:15 Как Pipeline выглядит внутри. Event Pool
19:10 Как Pipeline выглядит внутри. Streams
20:33 Как Pipeline выглядит внутри. Processors
21:34 Гарантия доставки
23:32 Боремся с дубликатами
24:34 Чтение из файлов
30:25 Какие есть плюсы и минусы у решения Ozon.
32:20 Анонс на будущее
34:48 Вопросы из зала
2 views
3192
1171
4 months ago 00:27:26 151
Prison Architect - Обзор тюрем. Плюсы и минусы архитектуры
1 year ago 00:12:38 24
Урок 1. Обзор архитектуры
2 years ago 00:19:00 1.3K
Обзор архитектуры, дубль два🔥
2 years ago 00:17:57 12K
Обзор слоеной архитектуры. Пример лекции.
7 years ago 01:08:04 152
Бесплатный вебинар «Обзор архитектуры UI приложений»
2 months ago 00:36:22 190
Обзор архитектуры и технических возможностей Deckhouse Kubernetes Platform
2 years ago 00:06:41 296
Слайд-обзор «Мотивы русской архитектуры»
5 years ago 00:59:06 10
Лекция 2. Обзор архитектуры x86. Основы программирования
7 years ago 00:32:14 39
20160225 «Hacking PostgreSQL» Тема 01 Обзор архитектуры
4 months ago 00:55:24 7
Российские дни дизайна и архитектуры в Нижнем Новгороде. Обзор выставки
1 year ago 00:03:31 4.1K
Дом по мотивам архитектуры Райта. Обзор со стройки.
6 years ago 00:04:08 681
Аэропорт Симферополя. Обзор архитектуры от Таи.))))
5 months ago 00:12:09 20
Подробный обзор архитектуры Трансформер
6 years ago 00:05:09 194
ЛУЧШАЯ ШКОЛА В АБХАЗИИ ОБЗОР АРХИТЕКТУРЫ
3 years ago 01:27:30 13
Обзор архитектуры Unet. Практика по машинному обучению.
10 years ago 00:03:23 1
Деловой обзор архитектуры
2 months ago 00:44:03 8K
Обзор загородной «Архитектуры» Уфы: коттеджный поселок в Шмидтово от ИДМ ДОМ | НОРМОБЗОР