Сравнение моделей Hermes 3 405B Instruct vs o3-mini

× nousresearch/hermes-3-llama-3.1-405b

Hermes 3 — универсальная языковая модель со множеством улучшений по сравнению с Hermes 2, включая продвинутые агентные возможности, значительно улучшенный ролевой диалог, рассуждения, многоходовые беседы, устойчивость на длинном контексте и улучшения по всем направлениям. Hermes 3 405B — полноразмерный fine-tune базовой модели Llama‑3.1 405B, ориентированный на более точное выравнивание поведения модели под пользователя и расширенный контроль над ответами. Серия Hermes 3 развивает набор возможностей Hermes 2, включая более мощные и надёжные вызовы функций и структурированные выходы, универсальные функции ассистента и улучшенные навыки генерации кода. Hermes 3 конкурентоспособна, а иногда и превосходит, модели Llama‑3.1 Instruct по общим возможностям, при этом сильные и слабые стороны различаются между двумя линиями.

× openai/o3-mini

OpenAI o3-mini — экономичная языковая модель, оптимизированная для задач рассуждений в STEM, особенно сильная в науке, математике и программировании. Эта модель поддерживает параметр `reasoning_effort`, который можно установить в значения "high", "medium" или "low" для управления временем на рассуждения. Значение по умолчанию — "medium". OpenRouter также предлагает слаг модели `openai/o3-mini-high`, чтобы по умолчанию использовать параметр "high". Модель имеет три регулируемых уровня усилия рассуждений и поддерживает ключевые возможности для разработчиков, включая вызов функций, структурированные выходные данные и стриминг, но не поддерживает обработку изображений. Модель демонстрирует значительные улучшения по сравнению с предшественником: эксперты предпочитали её ответы в 56% случаев и отмечали снижение серьёзных ошибок на сложных вопросах на 39%. При среднем уровне усилия рассуждений o3-mini соответствует производительности более крупной модели o1 на сложных оценках рассуждений, таких как AIME и GPQA, сохраняя меньшую задержку и стоимость.