NVIDIA: Switchyard
مدلی از NVIDIA با پنجرهٔ کانتکست 1M توکن. ورودی: متن.
- ورودی / خروجی
- قیمت پس از پاسخ مشخص میشود
- کانتکست
- 1M
- حداکثر خروجی
- —
- انتشار
- ۳۰ شهریور ۱۴۰۵
- سازنده
- NVIDIA
قیمتهای طرح رایگان، به تومان با نرخ امروز. طرحها و قیمتها
قیمت پس از پاسخ
این مدل یک مسیریاب است: برای هر درخواست خودش یک مدل را انتخاب میکند و هزینهٔ همان مدل، طبق طرح شما، پس از کامل شدن پاسخ کسر میشود. پیش از درخواست، بیشترین هزینهٔ ممکن موقتاً در کیف پول نگه داشته میشود و باقیمانده برمیگردد.
دربارهٔ این مدل
توضیح سازندهٔ مدل، به انگلیسی:
Switchyard is an open-source model routing system that switches between multiple models to optimize the cost of requests.
قابلیتها
- متن
ورودی و خروجی
میپذیرد
- متن
میسازد
- متن
فراخوانی
نام مدل را nvidia/switchyard بگذارید، یا بگذارید router/auto بهجای شما انتخاب کند.
import os
from openai import OpenAI
client = OpenAI(
base_url="https://ai.fluxcdn.cloud/api/v1",
api_key=os.environ["FLUXCDN_API_KEY"],
)
resp = client.chat.completions.create(
model="router/auto",
messages=[{"role": "user", "content": "Hello"}],
)
print(resp.choices[0].message.content)
