Мое мнение (пока еще не популярное) такое — никакого кардинального увеличения возможностей LLM не будет в обозримом будущем, а когда будет — это будет уже что-то совсем другое.

Многие чуваки сейчас рисуют графики, что дескать, смотрите, мы не достигли пределов, можно делать больше параметров и больше данных скормить модели, и вот тогда модель станет по настоящему мощной (при этом совершенно неизвестно чего конкретно они ожидают, помимо AGI).

Вы наверное видели эти картинки с увеличением возможностей моделей с увеличением количества параметров (одна будет приложена к посту). Проблема в том, что большинство указанных на картинке функций по факту модели недоступны, она лишь хорошо пишет текст, который похож, к примеру, на logical inference chains, но логические рассуждения как таковые она не делает и принципиально не может делать. А про арифметику уже кто угодно мог убедиться, что не умеет LLM считать нормально, хотя способен поставить знаки '+' и '=' в нужных местах.

Можно представить LLM как студента с большой памятью, зазубрившего материал, но отсутствием собственно понимания. Модель вытаскивает из памяти что-то подобное запросу и рекомбинирует в целостный текст. И ты по факту никогда заранее не знаешь, хранится в глубине нейросетки нужный для твой задачи кусочек текста или нет. Противники хайпа вокруг LLM называют её stochastic parrot. Альтман утверждает, что человек тоже по сути stochastic parrot, но у него тут шкурный интерес, и я бы не доверял ему в этом вопросе.

Короче говоря, от будущей GPT-5 каких-то новых возможностей ожидать не стоит. Будет «тех же щей, да побольше влей».

При этом я не хочу сказать, что LLM бесполезны или что-то такое. Просто какой-то прям новой парадигмой это не станет. Дешевый доступный natural language processing, склейка разных систем на основе свободных текстовых описаний — это все штуки полезные уже сейчас и это никуда не уйдет — будет тонким слоем внутри (или снаружи) обычных приложений.

А про ожидание AGI вообще невозможно серьезно говорить. Мы мало понимаем как работают наши мозги на практике, мы мало понимаем как работают нейросети на практике. Почему-то энтузиасты надеются, что можно достичь хороших результатов, не понимая, что тебя отделяет от этого результата. Да у нас даже критериев отличия-то нет, что из себя intelligence представляет. Мне кажется, что этот хайп питается тем, что у компьютеров все очень хорошо с памятью (и очень давно), а для человека память — это некоторый признак интеллекта. Теперь когда это дополнилось правдоподобным текстом как-то трудно поверить, что это можно делать совсем без мозгов.

С радостью готов потрындеть (и скинуть ссылки на опорные материалы) в комментах, если есть интерес.