БЕНЧМАРКИНГ: как сравнивают LLM

3 октября в 12:00 доктор технических наук Владимир Крылов рассказал о бенчмарках для LLM. Рассмотрели современные методы оценивания способностей больших языковых моделей решать различные задачи. Вы узнаете: 🔸какие бенчмарки для определения лучших моделей сейчас наиболее типичны; 🔸как применяется шахматный рейтинг ELO для бенчмаркинга; 🔸что такое Leaderboard Arena; 🔸какие частные, но важные бенчмарки применяются для проблемно ориентированных моделей и мультимодальных LLM. Если вы хотите работать в ИТ и в Artezio, отправляйте своё резюме по ссылке https://artezio.ru/openings Подписывайтесь на телеграм-канал AI4Dev: https://t.me/LLM4dev 00:00 Введение 01:10 Лекция 53:00 Вопросы