Фото: Alexander Supertramp / Shutterstock
В EPFL создали TopoLM — первую языковую модель, которая не просто предсказывает слова, а делает это, организовав свои «нейроны» так, как это делает мозг. Это не очередная попытка подражать человеку, а инженерная гипотеза, в которой впервые формализовано пространственное поведение языка в коре мозга. ИИ стал топографическим, а значит, потенциально — понятным.
Современные языковые модели умеют многое: писать код, сочинять стихи, спорить с пользователем, иногда даже побеждать на экзаменах. Но есть одно, что они не делают и никогда не делали: не думают как мозг — в смысле, не структурированы как он. До сих пор. В Швейцарской высшей технической школе Лозанны (EPFL) представили TopoLM — первый в своём роде искусственный интеллект, в котором нейроны не просто работают, но и живут в «тканях». Точнее, в пространственной структуре, аналогичной той, что обнаруживается в коре головного мозга.
Нейросети выходят за пределы человеческого знания
Это не просто дизайнерское решение. Идея в том, что мозг — не плоская матрица, а сложная система с чёткой организацией. Визуальная кора, к примеру, давно известна своей топографией: нейроны, чувствительные к похожим стимулам, группируются рядом. Почему бы не попробовать то же самое в языковой модели? TopoLM делает именно это: размещает свои внутренние блоки — «искусственные нейроны» — на двумерной сетке и обучает их так, чтобы соседние узлы активировались похоже. В основе — spatial smoothness loss, функция, которая поощряет близость поведения у близко расположенных единиц. Это не просто красивая идея, а воспроизведение давно обсуждаемого принципа минимизации длины нейронных связей.
Архитектурно, TopoLM — модифицированный GPT-2-small с 12 слоями и 16 головами внимания, где каждый слой представлен сеткой 28×28 единиц. Модель обучалась на 10 миллиардах токенов из датасета FineWeb-Edu, оптимизируя одновременно задачу предсказания следующего слова и пространственную корреляцию. В отличие от Topoformer-BERT, в котором топография достигается жёсткими ограничениями связности, TopoLM использует мягкую регуляризацию — и это позволяет сохранять полную силу трансформера, включая multi-head attention.
Но зачем вся эта топография, если и обычные модели работают? Ответ — в интерпретируемости. В TopoLM, как и в мозге, формируются кластеры — группы нейронов, специализирующиеся на определённых аспектах языка. Причём не абстрактные, а прямо соответствующие тем, что известны нейронауке. Например, в ответ на подачу различных типов текстов — от обычных предложений до джаббервоков и случайных наборов букв — модель формирует отклики, которые воспроизводят известную иерархию активации в человеческой коре: максимальная реакция на предложения, умеренная — на бессвязные слова и джаббервоки, минимальная — на бессмысленные наборы.
Самое любопытное: модель «предсказывает» существование языковых кластеров в мозге, которых пока не нашли. Исследователи из EPFL планируют проверить это в сотрудничестве с американскими нейрофизиологами в новых fMRI-экспериментах. Но даже без этого подтверждения TopoLM показывает отличные результаты на «нейро»-бенчмарках: её активации хорошо коррелируют с данными мозга, включая кластеризацию по типам слов. К примеру, при предъявлении существительных и глаголов модель формирует устойчивые зоны селективности — как в данных fMRI из работы Hauptman et al. (2024): индекс Морана достигает 0.81 (при 0.96 в мозге человека), а у моделей без топографии — всего 0.11.
Важно, что избирательность проявляется только для конкретных слов — то есть для тех, которые имеют физическую, телесную, пространственную референцию. С абстрактными словами — как и в мозге — эффект селективности исчезает. Это точно отражено в ответах модели на стимулы из классических экспериментов Moseley & Pulvermüller (2014): конкретные глаголы и существительные дают кластеры, абстрактные — нет.
А что насчёт производительности? TopoLM слегка уступает обычной версии GPT на лингвистическом тесте BLiMP (0.71 против 0.76), но выигрывает на практических задачах GLUE (0.68 против 0.65). По совокупной метрике Brain-Score, отражающей сходство модели с мозгом, разница минимальна — 0.78 у TopoLM, 0.80 у базовой модели. Иными словами, добавление «анатомии» почти не вредит полезности модели, но заметно повышает её научную ценность и интерпретируемость.
Кто дотянет до финиша в гонке ИИ?
TopoLM — это попытка не просто копировать мозг, а понять, почему он устроен именно так. В этом смысле, модель — не столько инженерный продукт, сколько экспериментальная гипотеза: может ли самообучающаяся система воспроизвести принципы самоорганизации, наблюдаемые в биологии?
Если да, то нас ждут не только более умные и гибкие языковые ИИ, но и новые инструменты в нейронауке. Представьте: не вы подбираете стимулы для эксперимента, а ИИ подсказывает, где в мозге стоит искать новый кластер. TopoLM уже делает такие прогнозы. И, возможно, именно она — первый ИИ, который не просто учится на тексте, а учится думать, как мозг. Хотя бы местами. Электронная подпись: как не стать жертвой мошенников Как машинное обучение меняет ландшафт борьбы с мошенничеством в рекламной сфере NGFW: останется только один. Недостатки и дружественные решения