En iyi modeli seçin. Bozuk olanın etrafından dolaşın.
Her çağrıyı izleyen kalite duyarlı bir router. Birincil modeliniz hata, gecikme ya da çıktı kalitesi nedeniyle bozulduğunda trafik <120ms içinde bir yedeğe akar. Bir kez ayarlayın; nöbetçiyi bir daha uyandırmayın.
- NEKodunuz ile her model sağlayıcısı arasında otomatik bir failover katmanı.
- NEDENKalite, gecikme ve hatalar canlı izlenir. Failover, pagerduty'den önce devreye girer.
- NASILHerhangi bir API çağrısına
router.fallbackekleyin. Trace neyin tetiklendiğini gösterir.
Kalite duyarlı. Gecikme duyarlı. Canlı.
Router yalnızca 5xx'te yeniden denemez. Çıktı kalitesini, gecikmeyi ve sağlayıcı sağlığını izler; herhangi bir sinyal bozulduğu anda trafiği yeniden yönlendirir. Fallback'leri bir kez ayarlayın; kaosu biz hallederiz.
Kalite duyarlı fallback
Çoğu router 5xx'te yeniden dener. Bizimki çıktı sapmasını gerçek zamanlı ölçer: görsellerde algısal hash, TTS'te ses parmak izi; sinyal bozulduğu anda yeniden yönlendirir. Kontrol çağrı yolunda yaşar; ayrı bir ML pipeline'ı yok.
Gecikme eşikleri
Sağlayıcı başına bir p95 eşiği belirleyin. Biri aşıldığında router trafiği toparlanana kadar kaydırır: global, kademe başına ya da deney başına. Her failover trace'e gerekçesiyle düşer.
Yapışık kohortlar
Varyant ataması kullanıcıya yapışıktır. Aynı kullanıcı, router'ın değiştirmek için bir nedeni olana kadar hep aynı sağlayıcıya düşer; A/B testleri ve kademe bazlı fiyatlandırma için kohort verisi temiz kalır.
seedance-2.0 az önce bozuldu. wan-2.7 devraldı.
03:14'te gerçek bir failover. Kullanıcı gecikmesi değişmedi, nöbetçi uyandırılmadı, uçtan uca trace'lendi.
Üç sinyal. Tek karar. Sıfır sayfa.
Router yalnızca 5xx'te yeniden denemez. Her çağrıda gecikmeyi, hata oranını ve çıktı kalitesini izler; herhangi biri kaydığı anda, pagerduty fark etmeden yeniden yönlendirir.
Üç sinyal, canlı izlenir.
Gecikme p95 ihlali. 5xx hata sıçraması. Çıktı kalitesinde kayma. Herhangi biri tetiği çeker.
Her adayı puanlayın. En iyisini seçin.
Router her fallback'i son sağlık durumuna, gecikmeye ve kaliteye göre puanlar. En yüksek puan kazanır. Karar <40ms içinde.
Trace değişimi kaydeder. Kullanıcılar hiçbir şey görmez.
Karar ve gerekçe trace'e düşer. Yapışkan kohortlar, koşullar değişene kadar kullanıcıyı yeni sağlayıcıda tutar.
Router'a ne zaman başvurmalı…
Saat 03:14 ve seedance-2.0 az önce öldü
Nöbetçiniz iki gündür uyumadı. Panel kırmızı. Kullanıcılar bozuk videolar görüyor. Router bunu 124 ms içinde yakalar; çağrı cihazınız çalmadan, kullanıcılar fark etmeden, ekip Slack'e ulaşmadan.
incident.caught = trueFaturanız bu hafta %40 arttı
Fallback'ler devreye girince maliyet kayar; wan-2.7, seedance-2.0'ın 2× maliyetinde olabilir ve hangi çağrıların geçtiğini bilemezsiniz. Router her trace'e hizmet veren sağlayıcıyı yazar; finans cevabı iki tıkla alır.
trace.served_by · per callp95 bir gecede üçe katlandı, nedenini kimse bilmiyor
Bir sağlayıcı sessizce bozuldu: aynı durum kodları, daha yavaş çıktılar. Router olmadan gece 11'de log'larda avlanırsınız. Onunla failover çoktan devreye girmiştir ve trace hangi sağlayıcının ne zaman bozulduğunu söyler.
p95: 540ms → 1.42s → spilled30. günde 3 bölgeye yayınlıyorsunuz
Tek sağlayıcı kapasitesinin bir tavanı var; bölge kısıtları, günlük limitler ve model emeklilikleri en kötü zamanda gelir. Router, tek bir çağrı noktasını yeniden yazmadan sağlayıcılar arasında seçim yapmanızı sağlar.
regions: us, eu, apacBununla birlikte kullanacağınız diğer ürünler.
SSS
each::labs router nedir?
Yeniden deneme döngüleri yazmayı bırakın. Yönlendirmeye başlayın.
Router her plana dahildir. Kalite duyarlı mod + özel fallback zincirleri Pro ve üzeri planlarda.