THEDRAGONHATCHLING: THEMISSINGLINK BETWEEN THETRANSFORMER ANDMODELS OF THEBRAIN
DRAGONHATCHLING: НЕХВАТАЮЩЕЕ ЗВЕНО МЕЖДУ ТРАНСФОРМЕРАМИ И МОДЕЛЯМИ МОЗГА Документ представляет «Dragon Hatchling» (BDH), новую архитектуру больших языковых моделей (LLM), разработанную для преодоления разрыва между передовыми вычислительными системами и моделями мозга. BDH основана на безмасштабной, биологически вдохновленной сети локально взаимодействующих частиц-нейронов, предлагая прочные теоретические основы и присущую интерпретируемость без ущерба для производительности, сравнимой с Transformer. Это практичная, оптимизированная для GPU, основанная на механизме внимания архитектура обучения последовательностей состояний, которая эмпирически конкурирует с Transformer-архитектурой GPT2 в задачах обработки языка и перевода при сопоставимом количестве параметров и данных для обучения. Модель обеспечивает теоретическое понимание поведения крупномасштабных моделей и рассуждений, формализуя макро-микро соответствие между механизмами внимания LLM и наблюдаемыми в мозге. BDH может быть представлена как модель мозга, включающая возбуждающие/тормозящие цепи, нейроны с интегрированием и возбуждением, и рабочую память, основанную на геббовской синаптической пластичности, что потенциально объясняет механизмы человеческой речи. Разработанная для интерпретируемости, BDH демонстрирует моносемантичность и разреженные, положительные векторы активации даже в меньших версиях масштабом до 100 миллионов параметров. Эта работа открывает путь к теории «термодинамического предела» для моделей рассуждений, нацеленной на улучшение обобщения во времени. #DragonHatchling #АрхитектураLLM #ИИВдохновленныйМозгом #АльтернативаТрансформерам #Интерпретируемость #БиологическиПравдоподобно #НейронныеСети #ИсследованияИИ #БольшиеЯзыковыеМодели #МоделиРассуждений документ - https://arxiv.org/pdf/2509.26507 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM
DRAGONHATCHLING: НЕХВАТАЮЩЕЕ ЗВЕНО МЕЖДУ ТРАНСФОРМЕРАМИ И МОДЕЛЯМИ МОЗГА Документ представляет «Dragon Hatchling» (BDH), новую архитектуру больших языковых моделей (LLM), разработанную для преодоления разрыва между передовыми вычислительными системами и моделями мозга. BDH основана на безмасштабной, биологически вдохновленной сети локально взаимодействующих частиц-нейронов, предлагая прочные теоретические основы и присущую интерпретируемость без ущерба для производительности, сравнимой с Transformer. Это практичная, оптимизированная для GPU, основанная на механизме внимания архитектура обучения последовательностей состояний, которая эмпирически конкурирует с Transformer-архитектурой GPT2 в задачах обработки языка и перевода при сопоставимом количестве параметров и данных для обучения. Модель обеспечивает теоретическое понимание поведения крупномасштабных моделей и рассуждений, формализуя макро-микро соответствие между механизмами внимания LLM и наблюдаемыми в мозге. BDH может быть представлена как модель мозга, включающая возбуждающие/тормозящие цепи, нейроны с интегрированием и возбуждением, и рабочую память, основанную на геббовской синаптической пластичности, что потенциально объясняет механизмы человеческой речи. Разработанная для интерпретируемости, BDH демонстрирует моносемантичность и разреженные, положительные векторы активации даже в меньших версиях масштабом до 100 миллионов параметров. Эта работа открывает путь к теории «термодинамического предела» для моделей рассуждений, нацеленной на улучшение обобщения во времени. #DragonHatchling #АрхитектураLLM #ИИВдохновленныйМозгом #АльтернативаТрансформерам #Интерпретируемость #БиологическиПравдоподобно #НейронныеСети #ИсследованияИИ #БольшиеЯзыковыеМодели #МоделиРассуждений документ - https://arxiv.org/pdf/2509.26507 подписаться - https://t.me/arxivpaperu отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM