За качество отвечаю! Управляйте качеством данных | idatametric / diqs |
DiQS - СИСТЕМА МОНИТОРИНГА КАЧЕСТВА ДАННЫХ
УПРАВЛЯЙТЕ КАЧЕСТВОМ ДАННЫХ
- Главный сайт проекта
- видео - Дзен-лента АШ-Live (видео)
- Дзен-лента АШ
Телеграм:
Сбербанк Visa: 4274 3200 7822 7363
По вопросу размещения рекламных интеграций - обращайтесь на email agent_aftershock@
00:00 Сегодня в видео
00:32 Качество данных
04:39 Интервью эксперта
Сегодня хочу рассказать об одной из страниц, в моей бывшей ИТ практике. Благо рассказать есть много чего. Все-таки почти 20 лет вел проекты в ИТ индустрии. В большинстве IT проектов встает вопрос проверки качества данных.
Такое бывает, например при переносе данных из старой системы в другую. Например, когда я работал на внедрении системы Нордис/2 в компании Алекта, То на каждом предприятии сталкивался с тем, что данные, которые мы берем у заказчика, не являются корректными. То есть, информация в одних таблицах не соответствует информации в других таблицах.
Чтоб было понимание о чем речь, давайте перечислю некоторые из ошибок:
Данные не являются актуальными. Например, сотрудника уже год как уволили, а зарплату он так и продолжает получать.
Данные не являются полными. Наличие требуемых наборов данных, записей, столбцов, атрибутов и их корректность. К примеру, загружаем информацию по персоналу, а часть сотрудников не внесены. Соответственно такие сотрудники могут не получить заработную плату. ну или можно не внести информацию о ребенке, и он не получит подарок на новый год.
Согласованность Непротиворечивость значений внутри набора данных, отсутствие расхождений в значениях между наборами данных, корректность определения связей по значениям между всеми наборами данных. Например, в разных наборах данных я везде должен быть Брекотным Сергеем Валерьевичем. Ни Владимировичем, ни Петровичем, а именно Валерьевичем.
Поэтому приходилось каждый раз придумывать велосипед для проверки данных.
Когда же мы проводили массовый старт сразу на 35 предприятиях, то вставала в полный рост задача проверки качества данных уже до момент внесения информации в новую систему. И это надо было всячески автоматизировать.
Данные загружались в 20 шаблонах в екселе. Мы написали приложение на MS Access, которое подключалось к файлам, проверяла и формировала реестры ошибок, которые требовалось исправить. Стоит ли говорить, что в файлах, которые присылали в первый раз бывало внимание, до 200 тысяч ошибок. А в конечном варианте, у нас в одной системе при миграции данных было более 400 проверок.
Но за 3 месяца все данные на 40 тысяч сотрудников в 35 филиалах были загружены и проведен расчет заработной платы. Проект был успешным. Специалисты поймут сложность такого проекта.
Уже работая в Сахалинской энергии на позиции руководителя сектора по управлению портфелем информационных технологий на очередном проекте встал вопрос о том, как проверять данные. На тот момент в компании использовалось иностранное приложение, которые было абсолютно не гибким. И вставали вопросы с лицензией на его использование. Поэтому решили провести проект по поиску и внедрению приложения по проверке качества данных. Следует отметить, что уже на первичном отборе приложение от российской компании IdataMetric выигрывало по абсолютному большинству показателей.
Проведя более полную оценку и установив бесплатно тестовую версию, протестировали. И вот тут случилась первая проблема: тестовая версия была на две недели. А мы не успели согласовать. Поэтому я попросил владельца фирмы Федора Макарова продлить на лицензию тестовую. Я потом с такой просьбой к нему обращался еще два раза. В третий раз это выглядело примерно: чувствую себя идиотом, но прошу еще раз продлить лицензию.
В общем, когда согласовали и внедрили полностью проект, проект признали полностью успешным и среди пользователей было много положительных отзывов. А вот в память о продлении бесплатной лицензии и в условиях санкций, предложил Федору спустя три года предложил Федору Макарову сделать видео про их компанию и продукт. Кстати, только сейчас узнал, что Федор доктор технических наук.
1 view
32
12
1 month ago 00:01:27 1
РОЗЕТКА ВИДЕОРЕГИСТРАТОР ❕ РЕГИСТРАТОР CARVIS
1 month ago 00:11:36 1
Печальные подробности об убийстве Джона Леннона
1 month ago 00:01:27 1
Видеорегистратор марки ❗ Видеорегистратор с двумя камерами купить в москве ⛔
1 month ago 00:02:21 1
A’Studio – «Я искала тебя» (Субботний вечер, 2014)
1 month ago 01:16:15 1
ДЯДЯ СЛАВА о криминальном прошлом, философии стримов, смерти и желании снова родиться в России
1 month ago 00:01:54 1
👌 ЦИФРОВАЯ ПРИСТАВКА К ТЕЛЕВИЗОРУ КУПИТЬ В УЛЬЯНОВСКЕ ⛔
1 month ago 00:00:53 1
ФОТО ПЛАТЬЕВ В МАГАЗИНЕ ⚠ КУПИТЬ ПЛАТЬЕ В ОМСКЕ БЕЗ ДОСТАВКИ
1 month ago 00:54:02 1
КТО Я? - Фильм про Самадхи меняющий сознание! Посмотри и ты не будешь прежним
1 month ago 00:01:54 1
😎 Какую антенну установить ⚠ Усилитель антенный телевизионный купить 💯
1 month ago 00:01:09 1
⭐ ЭФФЕКТИВНЫЕ ОБЕРТЫВАНИЯ ОТ ЦЕЛЛЮЛИТА 💯 БАНОЧНЫЙ МАССАЖ ОТ РАСТЯЖЕК ОТЗЫВЫ
1 month ago 01:01:03 1
Авто в Китае: цены и новинки 2023!
1 month ago 00:23:00 6
ЖЕНСКАЯ МЕДИТАЦИЯ “Я - СОВЕРШЕНСТВО“ 💎👸🌸
1 month ago 00:57:05 1
Профессор Попов — о сотрудничестве России с Китаем, противостоянии США и современных коммунистах
1 month ago 00:07:46 1
Как правильно высадить облепиху осенью?
1 month ago 00:03:20 1
NENSI / Нэнси - Светик мой Светлана ( Топ Хит ★ Official Music Clip ) HD
1 month ago 00:03:33 1
Смелова Эдельвена Яковлевна. Редкие кадры. Интервью на выставке игрушек. 1992 год. Свирель Смеловой.
1 month ago 00:00:53 2
👘 НАРЯДНОЕ ПЛАТЬЕ БОЛЬШИХ РАЗМЕРОВ ДЛЯ ПОЛНЫХ ЖЕНЩИН 🎀
1 month ago 01:31:32 1
ВАДИМ САМОЙЛОВ о судьбе «Агаты Кристи», культуре протеста, патриотизме и поиске истины
1 month ago 00:00:00 1
#Летсплей-прохождение за класс “Говорящий с камнями“ (Земля + Руны) по игре TITAN QUEST (16 серия)
1 month ago 00:03:22 1
Вася «Сметанник» Бабаев Присаживайтесь
1 month ago 00:41:06 1
Беседа 33 из цикла “Духовная жизнь по Симеону Новому Богослову“. Священник Константин Корепанов
1 month ago 00:01:00 1
Зачем качества лидера?
1 month ago 00:01:27 1
Видеорегистратор для мотоцикла купить ☑ Зеркало fujicar fc8
1 month ago 01:15:28 1
Кыш и Двапортфеля (детский, реж. Эдуард Гаврилов, 1974 г.)