Die Hälfte Ihrer KI-Projekte braucht kein LLM: Was Elastic in der Verwaltung schon ohne Sprachmodell löst, und wo der Agent wirklich anfängt

Semantische Suche ist kein Sprachmodell, und eine Regel ist kein Agent. 
Diese Unterscheidung geht in der aktuellen Debatte unter, kostet Behörden aber Geld, Latenz und Nachvollziehbarkeit. Wir stellen deshalb bei jeder Aufgabe dieselbe Frage: Wie viel KI braucht sie wirklich?

Unsere Fallstudie beruht auf Situationen, wie wir sie aus Kundenprojekten kennen: Ein Online-Verfahren fällt aus, der Betrieb muss Ursache und Zuständigkeit klären und den Fachbereich verständlich informieren. Für jeden Schritt vergleichen wir Abfrage, Regel, Embedding-Modell, kleines Modell und Sprachmodell gegen bekannte Sollantworten, und zwar auf Qualität, Laufzeit und Kosten pro Monat: vom Zählen von Fehlern über die Zuordnung von Alarmen, die Suche im Betriebshandbuch und das Erkennen personenbezogener Daten bis zur Statusmeldung. Oft reicht eine untere Stufe, und zwar zu einem Bruchteil der Kosten. Das Sprachmodell lohnt sich dort, wo formuliert werden muss, und auch dann nur mit den richtigen Daten.

Dabei auch die unbequemen Details: Unser Cluster hat keinen ML-Node. Die Embeddings rechnet ein lokales Modell, und Elastic speichert und durchsucht nur die Vektoren. Wer souverän betreiben muss, prüft für jeden Baustein, wo das Modell rechnet. In unserer Agent-Builder-Version lief ein Teil über ein Elastic-Modell, obwohl alles andere auf ein eigenes EU-Deployment zeigte. Außerdem zeigen wir, was ein Agent für die Nachvollziehbarkeit protokolliert: Modell, Tokens und jeden Werkzeugaufruf.

Zum Schluss die Gegenprobe: die Aufgaben, bei denen ein LLM tatsächlich unverzichtbar ist. Dazu gehören formulieren, Quellen zusammenführen, Regeln entwerfen und Fälle, die kein Regelwerk abdeckt.

Das nehmen Sie mit

• Ein Entscheidungsraster: fünf Fragen, die zur passenden Stufe führen
• Eine Messmethode, die Sie mit eigenen Sollantworten wiederholen können
• Vergleichszahlen zu Qualität, Latenz und Kosten aus der Fallstudie, nachvollziehbar und reproduzierbar
• Das Muster „LLM entwirft, Mensch prüft, Regel läuft“, mit Kaskade für den Rest

Was verlässlich sein muss, gehört in einen Workflow, nicht in einen Prompt.