Die Hälfte Ihrer KI-Projekte braucht kein LLM: Was Elastic in der Verwaltung schon ohne Sprachmodell löst, und wo der Agent wirklich anfängt

Semantische Suche ist kein Sprachmodell. Diese Unterscheidung geht in der aktuellen Debatte unter, kostet Behörden aber Geld, Latenz und Auditierbarkeit. Wir zerlegen die typische KI-Kette in ihre Bestandteile: Einbettung, Retrieval, Rangfolge, Extraktion und erst zuletzt Generierung. Nur der letzte Schritt ist nicht deterministisch, und genau er ist der teuerste.

Der theoretische Teil bleibt kurz und praktisch: Was ein Embedding leistet und was nicht. Warum hybride Suche aus BM25 und Vektoren fast immer besser ist als eine der beiden Methoden allein. Warum Klassifikation und Entitätenerkennung mit kleinen, spezialisierten Modellen in Millisekunden und reproduzierbar funktionieren, während dieselbe Aufgabe im Prompt Sekunden dauert und bei jedem Aufruf leicht anders ausfällt.
Danach fünf Aufgaben, die kein LLM brauchen, jeweils als Elastic-Umsetzung:

• Recherche über Silos: Fileshare, Confluence, SharePoint und Fachverfahren in einem Index, semantic_text mit automatischem Chunking und Embedding beim Indexieren, Berechtigungen auf Dokumentebene
• Zuständigkeitsermittlung: Klassifikation in der Ingest-Pipeline statt Chat
• Dublettenerkennung: kNN-Ähnlichkeit mit Schwellwert
• Extraktion: Kennzahlen und Fristen aus Bescheiden in strukturierte Felder
• Auswertung: ES|QL über strukturierte und unstrukturierte Daten in einer Abfrage

Dabei auch die unbequemen Details: Die mehrsprachigen Standardmodelle laufen über den Elastic Inference Service und brauchen damit Netzanbindung, für vollständig abgeschottete Umgebungen bleiben ELSER oder ein eigenes Modell auf ML-Nodes. Wer souverän betreiben muss, entscheidet hier bewusst.
Zum Schluss die Gegenprobe: die Aufgaben, bei denen ein LLM oder ein Agent tatsächlich unverzichtbar ist. Synthese über mehrere Quellen, mehrstufige Planung, Übersetzung natürlicher Sprache in Abfragen, Formulierungshilfe. Mit Elastic Agent Builder, den Kosten pro Anfrage und der Frage, was danach für die Nachvollziehbarkeit protokolliert werden muss.

Das nehmen Sie mit

• Eine Entscheidungshilfe, welche Anforderung welche Technik braucht
• Vergleichszahlen zu Latenz und Kosten pro Anfrage aus laufenden Projekten
• Die Argumente, mit denen Sie in der eigenen Organisation ein KI-Projekt richtig zuschneiden
• Konkrete Elastic-Bausteine, die ohne Sprachmodell auskommen und damit ohne Halluzinationsrisiko