Сравнение моделей Llama 3.3 Nemotron Super 49B V1.5 vs o3-mini

× nvidia/llama-3.3-nemotron-super-49b-v1.5

Llama-3.3-Nemotron-Super-49B-v1.5 — англоцентричная модель рассуждений/чата на 49B параметров, производная от Meta Llama-3.3-70B-Instruct с контекстом 128K. Она пост‑обучена для агентных рабочих процессов (RAG, вызов инструментов) через SFT на математике, коде, науке и многоходовом чате, затем через несколько стадий RL: Reward‑aware Preference Optimization (RPO) для выравнивания, RL with Verifiable Rewards (RLVR) для пошаговых рассуждений и итеративное DPO для улучшения поведения при использовании инструментов. Дистилляционно‑управляемый Neural Architecture Search («Puzzle») заменяет часть attention‑блоков и варьирует ширину FFN для уменьшения памяти и повышения throughput, позволяя развёртывание на одном GPU (H100/H200) при сохранении следования инструкциям и качества CoT. Во внутренних оценках (NeMo-Skills, до 16 прогонов, temp = 0.6, top_p = 0.95) модель показывает сильные результаты по рассуждениям/кодингу: например, MATH500 pass@1 = 97.4, AIME-2024 = 87.5, AIME-2025 = 82.71, GPQA = 71.97, LiveCodeBench (24.10–25.02) = 73.58 и MMLU-Pro (CoT) = 79.53. Модель ориентирована на практическую эффективность инференса (высокие токены/с, сниженное потребление VRAM) с поддержкой Transformers/vLLM и явными режимами «reasoning on/off» (по умолчанию chat‑first; при отключении рекомендуется greedy). Подходит для построения агентов, ассистентов и систем долговременного поиска, где важен баланс точности/стоимости и надёжное использование инструментов.

× openai/o3-mini

OpenAI o3-mini — экономичная языковая модель, оптимизированная для задач рассуждений в STEM, особенно сильная в науке, математике и программировании. Эта модель поддерживает параметр `reasoning_effort`, который можно установить в значения "high", "medium" или "low" для управления временем на рассуждения. Значение по умолчанию — "medium". OpenRouter также предлагает слаг модели `openai/o3-mini-high`, чтобы по умолчанию использовать параметр "high". Модель имеет три регулируемых уровня усилия рассуждений и поддерживает ключевые возможности для разработчиков, включая вызов функций, структурированные выходные данные и стриминг, но не поддерживает обработку изображений. Модель демонстрирует значительные улучшения по сравнению с предшественником: эксперты предпочитали её ответы в 56% случаев и отмечали снижение серьёзных ошибок на сложных вопросах на 39%. При среднем уровне усилия рассуждений o3-mini соответствует производительности более крупной модели o1 на сложных оценках рассуждений, таких как AIME и GPQA, сохраняя меньшую задержку и стоимость.