Model-Provider¶

Agentlab bringt zwei eigene Model-Provider mit — KARLI und tokeneurope — neben den Standard-Langflow-Providern (OpenAI, Anthropic usw.). Anders als in früheren Versionen gibt es keine dedizierte Komponente „KARLI Model Provider" — Provider werden über die Standard-Langflow-Modellkomponenten angesprochen.

Die Modelle sind nach Typ gegliedert:

LLMs — Chat-Modelle von KARLI und tokeneurope, wählbar in jeder modell-fähigen Komponente (Language Model, Agent usw.).
Embeddings — KARLI-gehostete Embedding-Modelle, wählbar in der Embedding-Model-Komponente.
Datenextraktion — KARLI-gehostete Dokument- und Audio-Extraktions-Modelle, von der Read File-Komponente genutzt, wenn ihr Backend auf karli steht. KARLI ist derzeit der einzige Anbieter in dieser Kategorie.

KARLI¶

KARLI ist der Standard-Provider und bietet LLMs, Embeddings und Dokumentextraktion über die KARLI-Plattform.

Zugangsdaten¶

Der KARLI-Provider nutzt zwei getrennte Endpoints — einen LiteLLM-Proxy für LLM-Inferenz (inkl. Tool Calling) und das KARLI-Backend für Dienste wie Dokumentextraktion. Jeder Endpoint hat eine eigene Basis-URL und einen eigenen API-Key.

Variable	Pflicht	Secret	Beschreibung
`LITELLM_BASE_URL`	Nein	Nein	Basis-URL des LiteLLM-Proxys für LLM-Inferenz. Fällt auf die Umgebungsvariable `LITELLM_BASE_URL` zurück; ohne Konfiguration gilt der Produktions-Endpoint.
`LITELLM_API_KEY`	Ja	Ja	API-Key für LLM-Inferenz über den LiteLLM-Proxy. Fällt auf die Umgebungsvariable `LITELLM_API_KEY` zurück.
`KARLI_BASE_URL`	Nein	Nein	Basis-URL des KARLI-Backends (für Dokumentextraktion und andere Backend-Dienste). Fällt auf die Umgebungsvariable `KARLI_BASE_URL` zurück.
`KARLI_API_KEY`	Nein	Ja	API-Key für KARLI-Backend-Dienste (z. B. Dokumentextraktion). Fällt auf die Umgebungsvariable `KARLI_API_KEY` zurück.

Wann wird KARLI_API_KEY benötigt?

Nur beim direkten Zugriff auf die Agentlab-API ohne Karli-Studio-Session. Beim Zugang über Karli Studio wird automatisch ein JWT verwendet und dieses Feld ignoriert. Leer lassen, wenn Studio genutzt wird.

KARLI_API_KEY ist ein separater Schlüssel von LITELLM_API_KEY. Der LiteLLM-Key deckt Modellinferenz ab; der KARLI-Key deckt Backend-Dienste wie Dokumentextraktion ab.

tokeneurope¶

tokeneurope ist ein europäisch gehosteter Model-Provider mit OpenAI-kompatibler LLM-Schnittstelle. Wie KARLI erscheint er als wählbarer Provider in jeder modell-fähigen Komponente.

Zugangsdaten¶

Variable	Pflicht	Secret	Beschreibung
`TOKENEUROPE_BASE_URL`	Nein	Nein	Basis-URL für den tokeneurope-Endpoint. Fällt auf die Umgebungsvariable `TOKENEUROPE_BASE_URL` zurück.
`TOKENEUROPE_API_KEY`	Ja	Ja	API-Key für tokeneurope-Modellinferenz. Fällt auf die Umgebungsvariable `TOKENEUROPE_API_KEY` zurück.

tokeneurope bietet derzeit ausschließlich LLMs — Embedding- oder Datenextraktions-Modelle sind nicht verfügbar.

Datensouveränität

Für Deployments mit Anforderungen an Datensouveränität steuert die Karli-Studio-Administration auf Plattform-Ebene, welche Provider freigeschaltet sind, sodass nur Modelle aus genehmigten Regionen erreichbar sind.