SQA Days 23 — Особенности проектирования тестов при помощи мониторинга и анализа данных

Liliia Pelypenko Indeed это глобальный сервис по поиску работы. Indeed доступен более чем в 60-ти странах на 28-ми языках, а главный офис компании находится в США. Бэкенд Indeed достаточно сложный и для него потребовался особенный подход к тест дизайну. Бизнес решения в компании принимаются только используя анализ данных. Инженерные команды регулярно проводят А/B тестирование бэкенд и фронтенд функциональности. Все участники команды, включая тестировщиков, проводят анализ результатов этого тестирования используя open-source SQL-подобный сервис, разработанный внутри компании. Тестировщик в Indeed принимает во внимание большое количество возможных комбинаций окружений и различных функций в A/B тестах. В моем докладе я расскажу о том как мы анализируем реальные данные и используем инструменты мониторинга системы для улучшения качества тестовых сценариев.