meta-llama
Meta-Llama-3.1-70B-Instruct-Turbo
meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
Meta-Llama-3.1-70B-Instruct-Turbo — ускоренная версия instruction‑модели семейства Llama 3.1 на 70B параметров. Она предназначена для диалоговых и общих текстовых задач, где нужен баланс между качеством крупной модели и более высокой скоростью инференса. Подходит для продакшн‑ассистентов и сервисов с высокой нагрузкой.
Быстрый старт
Как использовать модель
Готовые примеры, где модель уже указана в запросе.
curl https://api.routify.ru/v1/chat/completions \
-H "Authorization: Bearer $ROUTIFY_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
"messages": [
{"role": "system", "content": "Ты - полезный ассистент."},
{"role": "user", "content": "Объясни, что такое API"}
]
}'import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["ROUTIFY_API_KEY"],
base_url="https://api.routify.ru/v1",
)
response = client.chat.completions.create(
model="meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
messages=[
{"role": "system", "content": "Ты - полезный ассистент."},
{"role": "user", "content": "Объясни, что такое API"},
],
)
print(response.choices[0].message.content)const response = await fetch("https://api.routify.ru/v1/chat/completions", {
method: "POST",
headers: {
"Authorization": `Bearer ${process.env.ROUTIFY_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({
model: "meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo",
messages: [
{ role: "system", content: "Ты - полезный ассистент." },
{ role: "user", content: "Объясни, что такое API" }
]
})
});
const data = await response.json();
console.log(data.choices[0].message.content);