Rosbag Parquet Storage API
Rosbag Parquet Storage API - отчуждаемый модуль для фреймворка ROS, позволяющий организовать чтение и запись данных в формате Apache Parquet. Стандартным форматом для записи Rosbag является SQLite DB3, но этот формат данных не подходил для выполнения задач BigData внутри нашей компании. Поэтому нами было принято решение разработать собственный плагин, использующий в качестве формата хранения паркет файлы. Решение позволяет записывать в роботизированных системах данные в формате, который поддерживается широким спектром инструментов для обработки и анализа больших данных. Из доклада вы узнаете, какие задачи BigData существуют в компании SbetAutoTech, почему мы приняли решение перейти на запись росбэгов в формате Parquet, и с какими трудностями мы столкнулись во время разработки плагина.
Rosbag Parquet Storage API - отчуждаемый модуль для фреймворка ROS, позволяющий организовать чтение и запись данных в формате Apache Parquet. Стандартным форматом для записи Rosbag является SQLite DB3, но этот формат данных не подходил для выполнения задач BigData внутри нашей компании. Поэтому нами было принято решение разработать собственный плагин, использующий в качестве формата хранения паркет файлы. Решение позволяет записывать в роботизированных системах данные в формате, который поддерживается широким спектром инструментов для обработки и анализа больших данных. Из доклада вы узнаете, какие задачи BigData существуют в компании SbetAutoTech, почему мы приняли решение перейти на запись росбэгов в формате Parquet, и с какими трудностями мы столкнулись во время разработки плагина.