Компания NVIDIA недавно выпустила Nemotron 3 Ultra — крупнейшую открытую ИИ-модель в линейке Nemotron 3. Релиз состоялся 4 июня 2026 года: в открытый доступ под свободной лицензией выложили веса модели, обучающие данные, и сами методики обучения. Модель создана для долго работающих автономных агентов и сложных рассуждений.

В отличие от закрытых флагманов вроде ChatGPT или Claude, Nemotron 3 Ultra можно скачать, дообучить на собственных данных и запустить на своей инфраструктуре. Ставка здесь не на максимальный интеллект, а на открытость, эффективность и контроль над моделью.

Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!

Чем особенна архитектура модели

Nemotron 3 Ultra — это не просто «увеличенный трансформер». В ее основе лежит гибридная архитектура, состоящая из трех разных подходов: слои Mamba-2, слои внимания (Attention) и латентная смесь экспертов (Latent MoE) — механизм, который направляет каждый запрос только к нужным «специалистам» внутри модели.

Слои Mamba-2 обрабатывают длинные тексты быстро и экономно: затраты у них растут линейно с длиной, а не лавинообразно, как у обычного механизма внимания. Слои внимания, в свою очередь, точно удерживают в памяти большие объемы текста. А Latent MoE сжимает данные перед тем, как передать их экспертам, благодаря чему каждый из них работает узко и точно, не требуя дополнительных вычислений.

Всего у модели около 550 млрд параметров, но на обработку каждого токена задействуется лишь примерно 55 млрд. За счет этого она мыслит как огромная система, а по затратам ведет себя как куда более компактная. Вместе с окном контекста в 1 млн токенов и скоростью свыше 300 токенов в секунду это дает в пять-шесть раз большую пропускную способность и примерно на 30% более низкую стоимость задач.

Источник: BeInCrypto