Какой следующий шаг после LLM? — взгляд Яна ЛеКуна

Ян ЛеКун, один из пионеров глубокого обучения, считает, что ключевые прорывы на основе LLM моделей (больших языковых моделей) уже свершились — ждать новых от них не стоит.

«LLM — это зрелая технология, которая уже в руках продуктовых команд и улучшается на уровне инкрементов. Больше данных, больше вычислений, чуть лучше результат. Но это уже не фундаментальная наука».

Во что он верит? – модели, которые понимают физический мир (а не только текст), – умеют планировать и рассуждать, – обладают постоянной памятью, – и строят внутреннюю модель реальности, как человек или животное.

Текущие языковые модели делают вид, что рассуждают, просто перебирая токены. ЛеКун считает это тупиковым подходом:

«Мы не мыслим в токенах. Мы мыслим в абстрактных представлениях».

Он видит будущее (AGI и вот это все) за JPA архитектурой (Joint Predictive Architecture), над которой сейчас работает.

Остальное пересказывать не буду. Если тема близка — вот полная версия его интервью на конференции NVIDIA для просмотра на выходных.