Blog · KI & Datenschutz

Eigene KI-Modelle statt „irgendeine Cloud wird’s schon machen“

Warum wir KI‑Features lieber kontrolliert betreiben, statt sensible Inhalte gedankenlos an beliebige Cloud‑APIs zu schicken.

Der Reflex: „Wir machen das einfach über irgendeine KI-API“

Sobald es um Freitext‑Antworten, Moderation oder automatische Zusammenfassungen geht, taucht sehr schnell der Vorschlag auf: „Wir schicken das einfach an irgendeine Cloud‑KI, die macht das schon.“ Technisch funktioniert das – aber aus Sicht von Hochschulen, Bauunternehmen und Retail‑Umgebungen fühlt es sich häufig falsch an.

In Evaluationen stehen Kommentare, die sehr konkret werden können. Im Bau‑ oder Retail‑Kontext fließen schnell Daten ein, aus denen sich Rückschlüsse auf Personen, Projekte oder Standorte ziehen lassen. Gerade dort ist Datenschutz kein „Checkbox‑Feature“, sondern ein echter Rahmen, in dem wir uns bewegen wollen.

Unsere Alternative: eigener KI-Betrieb mit klaren Grenzen

Statt Texte direkt an Cloud‑APIs zu schicken, experimentieren wir mit einem Ansatz, bei dem wir den Betrieb unter Kontrolle behalten:

  • Modelle laufen in eigenen Containern
  • Anfragen gehen über einen AI‑Proxy, der Logging und Limits kennt
  • Wir wissen, wo Daten physisch liegen und wer darauf zugreifen kann

Das bedeutet: Wenn eine Freitext‑Antwort KI‑unterstützt zusammengefasst wird, können wir nachvollziehen, wann das passiert ist, welches Modell im Einsatz war und welche Parameter verwendet wurden. Und wir können erklären, ob Daten das eigene Rechenzentrum verlassen oder nicht.

LLMs ja – aber eingebettet

Das heißt nicht, dass wir LLMs meiden. Im Gegenteil: Sie sind extrem hilfreich, wenn es um Zusammenfassungen, Tonalität oder die Strukturierung von Antworten geht. Der Unterschied liegt in der Einbettung:

  • Requests laufen immer über unseren Proxy, nicht direkt aus dem Produkt
  • Wir können pro Mandant oder Umgebung steuern, welche Modelle überhaupt verwendet werden
  • Wir bauen Audit‑Trails und Löschkonzepte gleich mit ein

Für unsere Kunden bedeutet das: KI‑Unterstützung bei Freitext‑Antworten, Moderation und Reporting – ohne das Gefühl, dass sensible Inhalte unkontrolliert in irgendeinem „KI‑Backend“ verschwinden.

Was wir unterwegs gelernt haben

Der Weg ist etwas steiniger als ein schneller Cloud‑API‑Call. Wir mussten uns mit Modellgrößen, Bereitstellung, GPU‑Verfügbarkeit und Latenzen auseinandersetzen. Dafür haben wir jetzt aber eine Infrastruktur, die wir erklären können – und die sich sauber in bestehende Compliance‑Rahmen einfügt.

Unser Fazit bisher: Es lohnt sich, KI‑Features so zu denken, wie wir auch den Rest unserer Plattform denken – mit klaren Grenzen, nachvollziehbaren Entscheidungen und einem Setup, das zu Hochschulen und Unternehmen mit hohen Datenschutzanforderungen passt.