04 - Токены - Алфавит машины

Вчера мы говорили, почему LLM кажутся разумными, хотя внутри всего лишь статистика и предсказание следующего токена 🧠📊 Как и обещал, сегодня идём на уровень ниже и разбираемся, из каких «кирпичиков» модель вообще видит текст 🧱 Для нас текст это слова и предложения. Для LLM цепочка маленьких кусочков, токенов ✂️ От того, как текст разрезали на эти кусочки, зависят длина контекста, цена запроса и поведение модели. В видео простой разбор: что такое токены, зачем всё так усложнять и как это помогает грамотнее пользоваться ИИ 💡📹 📱Канал «Банка с нейронами» (https://max.ru/join/2U6rB4GqyczUhnnxpACl1RvkrPZMALItl7Fs_YrFi2E) 📲 Канал «Банка с нейронами» в MAX (https://max.ru/join/2U6rB4GqyczUhnnxpACl1RvkrPZMALItl7Fs_YrFi2E) #СезонLLM #НейроЛикбез #Теория #Блок1