مستندات
کنترلهای مسیریابی
درخواست، نام یک مدل را میبرد نه نام یک فروشنده را. مسیریاب آن نام را به فهرستی رتبهبندیشده از نقاط اتصال مشخص تبدیل میکند و نخستین موردی را که کار کند سرویس میدهد. شما میتوانید این انتخاب را در هر درخواست محدودتر کنید، اما هرگز نمیتوانید آن را فراتر از سیاست سازمانتان گسترش دهید.
نامهای مستعار و راهبردها
یک نام مستعار، هم مدل و هم راهبرد رتبهبندی را انتخاب میکند. اگر مستقیماً نام مدلی را ببرید، راهبرد متعادل باقی میماند مگر آنکه آن را بازنویسی کنید.
| نام مستعار | راهبرد | رفتار |
|---|---|---|
| router/auto | balanced | میان قابلیت، قیمت و افزونگی نقاط اتصال توازن برقرار میکند. پیشفرض است و تا وقتی دلیل سنجیدهای برای تغییرش نداشته باشید، انتخاب درست همین است. |
| router/fast | fastest | کمترین زمان تا نخستین توکن، میان نقاط اتصال سالم. قیمت را نادیده میگیرد. |
| router/cheap | cheapest | کمترین هزینهٔ کل که همچنان نیازهای قابلیتی درخواست را برآورده کند. تأخیر را نادیده میگیرد. |
| router/reliable | reliable | نقطهٔ اتصالی را ترجیح میدهد که سابقهٔ سلامت اخیرش قویتر است، سپس آنکه بیشترین جایگزین را دارد. |
پالایههای سخت
پالایهها پیش از رتبهبندی اجرا میشوند. نقطهٔ اتصالی که در هرکدام مردود شود، هرقدر هم ارزان یا سریع باشد، اصلاً در نظر گرفته نمیشود.
- قابلیت
- نقطهٔ اتصال باید از آنچه درخواست لازم دارد پشتیبانی کند — ابزار، شمای JSON، بینایی، پخش زنده.
- بافتار
- پرامپت باید در پنجرهٔ بافتار همان نقطهٔ اتصال جا شود، نه صرفاً در بافتار اسمی مدل.
- منطقه
- اگر منطقهای تثبیت شده باشد، تنها نقاط اتصال همان منطقه واجد شرایطاند. مقدار global بهحساب نمیآید.
- نگهداری داده
- وقتی «بدون نگهداری» الزامی باشد، ارائهدهندگان بدون تضمین عدم آموزش کنار گذاشته میشوند.
- سیاست
- فهرستهای مجاز و ممنوع سازمان برای ارائهدهندگان و مدلها.
- سلامت
- نقاط اتصالی که قطعکنندهٔ مدارشان باز است تا نیمهباز شدن آن کنار گذاشته میشوند.
محدود کردن یک درخواست
شیء routing افزودنی فلاکسسیدیان به ساختار درخواست OpenAI است. هر چیزی که تعیین کنید با سیاست سازمانتان اشتراک گرفته میشود — مقدار سختگیرانهتر همیشه برنده است.
{
"model": "router/auto",
"messages": [{"role": "user", "content": "…"}],
"routing": {
"strategy": "cheapest",
"region": "eu",
"require_zero_retention": true,
"providers": ["anthropic", "fluxcdn vllm"],
"max_cost_micros": 50000
}
}وقتی هیچ گزینهای واجد شرایط نیست
اگر پالایهها همهٔ نقاط اتصال را کنار بگذارند، درخواست با upstream_unavailable شکست میخورد. هرگز بیسروصدا با چیزی خارج از محدودیتهای شما سرویس داده نمیشود — تثبیت منطقهای که بیصدا به منطقهٔ دیگری عقبنشینی کند بدتر از یک خطاست، چون اصلاً باخبر نمیشوید.
جایگزینی و تلاش دوباره
شکست پیش از نخستین توکن، امن است و روی نقطهٔ اتصال رتبهٔ بعدی تکرار میشود؛ مسیریاب این کار را درون همان درخواست انجام میدهد. شکست پس از آغاز پخش توکنها تکرار نمیشود — بازپخش پاسخی که نیمهتحویل شده آن را خراب میکند.
هر تلاش ثبت میشود. پاسخ، شمار تلاشها را در routing.attempts و هدر x-fluxcdn-attempts گزارش میدهد و زنجیرهٔ کامل در بخش فعالیت روی همان درخواست دیده میشود.