[

LLM-Gateway

]

Ein API-Key. 14 Provider. 170+ Modelle.

Das Kontinent Gateway spricht die OpenAI-API und schickt jede Anfrage an das günstigste Modell, das sie noch löst. Alle Provider in der EU, mit AVV, Failover und voller Kostentransparenz.

API-Key erstellen

Ersparnis berechnen

[

DAS LLM-GATEWAY

]

Jede Anfrage findet das günstigste Modell, das sie löst.

Sie definieren eine Reihenfolge von Modellen. Das Gateway startet auf der günstigsten Stufe und eskaliert erst, wenn eine Prüfung fehlschlägt. Ihr eigenes trainiertes Modell kann dabei die erste Stufe sein.

Kontinent

Gateway

Routen

API-Keys

Modelle

Katalog

Ihre Modelle

Provider

Deployments

Endpoints

Autoscaling

Governance

Audit-Log

Richtlinien

Dokumentation

Gateway / Routen / prod-eu

EU · Frankfurt

Zero Data Retention

prod-eu

OpenAI-kompatibel

Cascade aktiv

Eine Route, 14 Provider, ein Key. Fallback und Failover sind Teil der Route.

Route bearbeiten

Kosten je 1M Tokens

−74 %

86 % der Anfragen lösen Stufe 1

Latenz p50

380 ms

über alle Stufen

Verfügbarkeit

99,95 %

Failover über 14 Provider

Routing-Kaskade

Reihenfolge der Modelle pro Anfrage

Letzte 24 Stunden

Stufe

Modell

Provider · Region

Anteil

€ / 1M

Stufe 1

claims-triage · Ihr Modell

Kontinent · Frankfurt

86 %

0,40 €

Stufe 2

Mistral Large

Mistral · Paris

11 %

2,00 €

Stufe 3

Llama 3.3 70B

IONOS · Berlin

3 %

0,70 €

Failover: bei Timeout oder Fehler übernimmt der nächste Provider derselben Stufe, ohne Retry im Client.

Datensätze außerhalb der EU: 0

Zero Data Retention: aktiv

Route exportieren

[

WAS DAS GATEWAY LEISTET

]

Vier Dinge, die Sie sonst selbst bauen müssten.

Routing, Failover, Abrechnung und Governance über 14 Provider hinweg. Einmal im Gateway statt 14-mal in Ihrem Code.

API

Eine OpenAI-kompatible Schnittstelle.

Base-URL tauschen, Key setzen, fertig. Ihre SDKs, Agent-Frameworks und Tools laufen unverändert weiter, inklusive Streaming, Tool-Calls und strukturierter Ausgaben.

API

Eine OpenAI-kompatible Schnittstelle.

Base-URL tauschen, Key setzen, fertig. Ihre SDKs, Agent-Frameworks und Tools laufen unverändert weiter, inklusive Streaming, Tool-Calls und strukturierter Ausgaben.

ROUTING

Cascade Routing statt ein Modell für alles.

Jede Anfrage startet auf der günstigsten Stufe, die sie zuverlässig löst. Erst wenn eine Prüfung fehlschlägt, eskaliert das Gateway auf die nächste Stufe.

ROUTING

Cascade Routing statt ein Modell für alles.

Jede Anfrage startet auf der günstigsten Stufe, die sie zuverlässig löst. Erst wenn eine Prüfung fehlschlägt, eskaliert das Gateway auf die nächste Stufe.

FAILOVER

Elf Provider hinter einer Route.

Fällt ein Provider aus oder greifen Rate-Limits, übernimmt der nächste in derselben Region. Ihr Client bekommt davon nichts mit.

FAILOVER

Elf Provider hinter einer Route.

Fällt ein Provider aus oder greifen Rate-Limits, übernimmt der nächste in derselben Region. Ihr Client bekommt davon nichts mit.

KONTROLLE

Kosten, Latenz und Tokens pro Route.

Sie sehen je Team, Route und Modell, was ausgegeben wird. Budgets, Rate-Limits und Richtlinien setzen Sie im Gateway, nicht in zehn Provider-Konsolen.

KONTROLLE

Kosten, Latenz und Tokens pro Route.

Sie sehen je Team, Route und Modell, was ausgegeben wird. Budgets, Rate-Limits und Richtlinien setzen Sie im Gateway, nicht in zehn Provider-Konsolen.

[

DIE PROVIDER

]

Elf europäische Provider hinter einer Route.

Alle unter EU-Recht, alle mit AVV, alle über denselben Key ansprechbar. Kommt ein Provider dazu, ändert sich an Ihrer Integration nichts.

Schweden

Luxemburg

Deutschland

Frankreich

Niederlande

Frankreich

Italien

Irland

[

ERSPARNIS

]

Rechnen Sie nach, was offene Modelle bei Ihnen sparen.

Stellen Sie Ihre heutigen API-Ausgaben den Listenpreisen offener Modelle auf europäischer Infrastruktur gegenüber.

Welches Modell nutzen Sie heute?

Auf welches offene Modell würden Sie wechseln?

Monatliche Ausgaben

€/ Monat

Wie sieht Ihr Workload aus?

Tokens pro Anfrage

Input

Output

entspricht 3.862.247 Anfragen pro Monat bei diesen Ausgaben

Empfohlenes Modell

GLM 5.2

Offenes Hochdurchsatz-Modell für allgemeine Produktions-Workloads.

Kostenreduktion

82 %

Heute

150.000 € / Mon.

Ersparnis pro Monat

123.449 €

Ersparnis über drei Jahre: 7 Mio. €

Mit Kontinent

26.551 € / Mon.

Listenpreiseje 1 Mio. Tokens

ModellCached InputInputOutput

GPT 5.6 Sol · Heute0,50 €5,00 €30,00 €

GLM 5.2 · Kontinent0,14 €1,40 €4,40 €

So wächst die ErsparnisWachstum pro Jahr50 %

Jahr 1Jahr 2Jahr 3

Aktueller Kurs1,8 Mio. €2,7 Mio. €4,1 Mio. €

Mit Kontinent319 Tsd. €478 Tsd. €717 Tsd. €

Ersparnis1,5 Mio. €2,2 Mio. €3,3 Mio. €

Die Ergebnisse sind eine grobe Schätzung für interne Diskussionen. Grundlage sind öffentliche Listenpreise, die sich jederzeit ändern können. Kontinent sagt keine bestimmte Höhe an Kostenersparnis oder anderem finanziellen Vorteil zu.

[

VIEL VOLUMEN?

]

Ab einem gewissen Volumen lohnen sich eigene GPUs.

Läuft Ihr Traffic dauerhaft hoch, betreiben Sie dasselbe offene Modell auf reservierten GPUs in der EU: stabile Latenz, kein geteilter Traffic, Abrechnung nach Kapazität. Die OpenAI-kompatible API bleibt dieselbe.

Dedizierte Inferenz ansehen

Fragen zum LLM-Gateway

Wie binde ich das Gateway ein?

Über die OpenAI-kompatible API: Base-URL und Key austauschen, danach laufen Ihre bestehenden SDKs und Agent-Frameworks unverändert weiter. Streaming, Tool-Calls und strukturierte Ausgaben werden unterstützt.

Wie funktioniert Cascade Routing genau?

Was passiert, wenn ein Provider ausfällt?

Bleiben meine Daten wirklich in der EU?

Brauche ich ein eigenes Modell, um das Gateway zu nutzen?

Wie wird abgerechnet?

Wann lohnt sich dediziertes Serving gegenüber dem Gateway?

[

LOSLEGEN

]

Sprechen Sie mit einem Engineer.

Wir schauen uns Ihren Traffic an, rechnen die Ersparnis konkret durch und bauen mit Ihnen die erste Route.

Demo buchen

API-Key erstellen