SQA Days 28 — Алексей Лянгузов, Автоматизация контроля качества данных

Данный доклад является логическим продолжением доклада с предыдущей конференции SQA Days 27. В предыдущем докладе мы с вами рассмотрели историю, узнали базовую теорию, а также, на словах обсудили некоторые баги данных и даже отловили их “на бумаге”. Пришло время практики. Гладко было на бумаге, да забыли про овраги? Давайте посмотрим. В нашей компании мы разработали фреймворк для регулярного мониторинга качества данных. Сегодня я расскажу о том, как он устроен, что нужно для его интеграции и конечно же, покажу как он работает для основных случаев работы с данными, таких как, анализ исторических данных, миграция данных, потоковая и пакетная обработка данных.