Acquisition-Layer
Funnels und Landing-Pages, Lead-Capture direkt ins CRM. Optional auf eigenem CAX-Host isoliert.
Infrastruktur & Architektur — Pilot
Drei Layer auf einem Infra-Sockel. Jede LLM-Anfrage verlässt das System nur über ein Gateway, und nur in die EU. Was gelöscht wird, verschwindet auch aus den Antworten — das ist hier kein Detail, sondern Abnahmebedingung.
Der Weg von oben nach unten ist der Weg jeder Anfrage. Die Randspalte zeigt den Sockel, den alle Schichten teilen — App-Dienste sprechen ausschließlich mit dem Sockel und dem Gateway.
Funnels und Landing-Pages, Lead-Capture direkt ins CRM. Optional auf eigenem CAX-Host isoliert.
Docling liest ein, bge-m3 bettet ein, pgvector speichert. Hybrid-Recall über Vektor und BM25, per RRF fusioniert, dann rerankt. Der Reaper hält Bestand und Quellen deckungsgleich.
Wissens-Q&A, Angebots-Generator und Vertragsanalyse. Kein Agent greift direkt auf pgvector zu — nur über den Retrieval-Port. Ausgaben tragen die AI-Act-Kennzeichnung.
Sensitivitäts- und Task-Routing, Budget-Caps, Prompt-Caching, optionaler PII-Filter als Hook. Die model_list ist zugleich die Allowlist der erlaubten Ziele.
Haiku 4.5, Sonnet 5, Opus 5 über nackte Foundation-Model-IDs, Region über AWS_REGION_NAME gepinnt. Nicht api.anthropic.com, nicht Azure Foundry, niemals global.* oder us.*.
Einheitlich für alle Agenten — die Reihenfolge ist verbindlich, nicht illustrativ.
Embedding über bge-m3 und BM25 über tsvector — zwei Pfade, nicht einer.
top-k = 20 je Pfad, anschließend RRF-Fusion zu einer Liste.
bge-reranker-v2-m3 kürzt auf top-n = 5–8.
Mit Quellen-IDs — jede Aussage muss zitierbar bleiben.
Über Bedrock-EU, Tier nach Routing, bei Analyse structured output per JSON-Schema.
Langfuse: Tokens, Modell, Latenz, Chunks, Embedding-Version.
Acht Punkte, an denen RAG-Piloten in der Praxis scheitern — und wie diese Architektur sie löst. Jede Entscheidung ist als ADR festgehalten, nicht als stille Annahme.
Ohne Löschpfad zitiert ein RAG-System weiter aus Quellen, die es längst nicht mehr geben darf. Ein eigener Reaper-Dienst läuft zeitgesteuert mit einem DB-Recht, das ausschließlich SELECT und DELETE kennt.
Erst alle alten Chunks eines document_id löschen, dann neu schreiben — in einer Transaktion. content_hash verhindert doppelte Verarbeitung.
Der Pilot bleibt textbasiert, weil Verträge textlastig sind. Die Ingestion kann Bilder bereits — der Pfad steht offen, die Entscheidung ist dokumentiert statt implizit.
Summen und Maxima gehören nicht in die semantische Suche. Zwei schmale Tabellen plus TableQueryPort mit geschlossener Allowlist: sum, max, min, count, avg.
Ein dünner Retrieval-Port, gerade so viel, dass ein späterer Wechsel der Datenbank die Agenten nicht anfasst. Kein Over-Engineering, aber auch keine Sackgasse.
embedding_version an jedem Chunk ab Tag 1, dazu ein Blau-Grün-Verfahren für den Reindex. Wer das später nachrüstet, zahlt ein Vielfaches.
Die Werkzeug-Schnittstellen erfüllen heute schon die Eigenschaften eines MCP-Tools: schmale Signatur, primitive Argumente, keine Kenntnis der Speicherinterna. Der Sprung wäre ein Transport-Wrapper, kein Neubau.
PII-Filter als optionaler Gateway-Hook, Zugriffssteuerung wenigstens vorbereitet (tenant_id, Rollen-Stub), Normen-Abgleich zum EU AI Act nachgezogen.
Jede Phase endet an einer Demo, die man vorführen kann — nicht an einem Statusbericht.
Host, Coolify, Postgres+pgvector, Redis, Embedding-Server, LiteLLM, Langfuse, Traefik. Bedrock-Model-Access in eu-north-1, Region-Pinning, Smoke-Test je Modell. Schema trägt bereits document_id, content_hash, embedding_version, tenant_id.
Ingestion über FastAPI, Worker-Queue und Docling, Hybrid-Retrieval mit Rerank, Chat-Oberfläche über das Gateway. Löschpfad und Idempotenz sind ab hier scharf.
Angebots- und Vertragsdienst mit structured output, geteilter DOCX-Renderer im Corporate Design, Next.js-Dashboard. A4 umgesetzt, A3 bleibt draußen, A7 mitgedacht.
Landing-Page-Pipeline, Lead-Capture ins CRM, Budget-Caps aktiv, Eval-Set und Retrieval-Metriken. A8 komplett, DSGVO-Doku und Lizenz-Hygiene finalisiert.
Pilot-Stand Juni 2026. Beziffert wird nur, was gemessen oder vertraglich fix ist.
| Posten | Monat | Jahr |
|---|---|---|
| Server, Speicher und Backup — dediziert in Deutschland | ab ~65 € | ab ~780 € |
| Modellnutzung über Bedrock EU | nutzungsabhängig | nutzungsabhängig |
| Software-Lizenzen — Produktkern rein permissiv | 0 € | 0 € |
| Pilotbetrieb, ohne GPU | ab ~115 € | ab ~1.380 € |
| Optionales GPU-Tier für lokale Inferenz | auf Anfrage | auf Anfrage |
Batch ist auf diesem Transportweg kein Hebel. Die Message-Batches-API ist First-Party und über Bedrock nicht erreichbar; Bedrocks eigene Batch-Inferenz ist ein getrennter S3-Dienst, den LiteLLM nicht als Chat-Completion anspricht. Ein Batch-Rabatt darf in keiner Kostenrechnung unterstellt werden.
Caching-Minima sind nicht monoton — nie nach Muster ergänzen: Opus 5 ab 512, Sonnet 5 ab 1.024, Haiku 4.5 ab 4.096 Tokens je Checkpoint. Darunter fällt der Cache-Hit still aus: kein Fehler, nur cache_creation_input_tokens: 0.
eu-north-1 In-Region