Routing-Strategien

Wo finde ich es in der UI

Seitenleiste: "Routing"
Tab: "Strategien"

Zweck

Verwalten und konfigurieren Sie Routing-Strategien, um zu steuern, wie Anfragen an verschiedene LLM-Anbieter weitergeleitet werden, basierend auf einer definierten Bereitstellungspräferenz und Anbieterzuweisung.

Erste Einrichtung

Wenn Sie zum ersten Mal den Tab "Strategien" aufrufen, sehen Sie die standardmäßige Routing-Strategie, die für Ihre Organisation erstellt wurde. Die anfängliche Routing-Strategie hat keine zugewiesenen Anbieter, d.h. sie leitet keine Anfragen weiter, bis sie konfiguriert wurde. Um die Strategie zu konfigurieren, müssen Sie sie bearbeiten und Anbieter zuweisen.

Abbildung 1: Routing-Strategie Übersicht

Bearbeitungsdialog

Im Bearbeitungsdialog können Sie:

Den Namen und die Beschreibung der Strategie bearbeiten
Die Bereitstellungspräferenz ändern (derzeit ist nur "Ausgewogen" verfügbar, was Anfragen gleichmäßig auf die zugewiesenen Anbieter verteilt)
Anbieter der Strategie zuweisen

Abbildung 2: Routing-Strategie Bearbeitungsdialog

Anbieter, die gelb markiert und mit dem Label Zustimmung erforderlich versehen sind, zeigen an, dass Sie die Nutzungsbedingungen und Datenschutzrichtlinien des Anbieters noch nicht akzeptiert haben. Dies ist jedoch notwendig, um Anbieter zuweisen zu können. Klicken Sie dazu auf einen beliebigen Anbieter, um den Zustimmungsdialog zu öffnen und die Dokumente nach dem Lesen zu akzeptieren.

Abbildung 3: Anbieter-Zustimmungsdialog

Nach der Zustimmung kann der Anbieter Strategien zugewiesen werden. Speichern Sie Ihre Änderungen, um die neue Konfiguration zu übernehmen.

Nach der Konfiguration der Standardstrategie kann diese nun beim Erstellen oder Bearbeiten von API-Schlüsseln zugewiesen werden. Weitere Informationen finden Sie in der API-Schlüsselverwaltung Dokumentation.