Analyst Days 14 — Алексей Даньшин, Виктор Савоськин, Как за 59 секунд создать 101 DAG для Airflow

В современном мире всё чаще сталкиваемся с BigData - это структурированные, полуструктурированные или неструктурированные массивы данных большого объема и требующие особых методов для обработки и которые можно использовать во всех сферах от промышленности до государственного управления. Данные обрабатываются при помощи специальных автоматизированных инструментов, чтобы использовать для анализа, прогнозов и принятия решений. В нашем докладе мы ответим на вопросы: Как работать с большими данными? Что такое business Intelligence? С какими проблемами сталкиваются аналитики? Как построить процесс миграции больших объемов данных и всей инфраструктуры с одной системы на другую в ограниченные сроки более эффективно? Также вы узнаете, как с помощью определенных технологий иметь возможность выстраивать процесс загрузки данных без привлечения разработчика.