Buch · Kostenlos
Enterprise AI Platform
Ein Lab Guide über GPU-Infrastruktur, Model Serving und den Betrieb einer KI-Plattform im Unternehmen. Geschrieben für Leute, die diese Plattform bauen und danach betreiben müssen.
- Umfang
- 400 Seiten · 17 Kapitel · 4 Anhänge
- Format
- PDF, A4 · 7,8 MB
- Stand
- September 2026
- Preis
- kostenlos
- Lizenz
- CC BY-ND 4.0
Kein Formular, keine E-Mail-Adresse, kein Newsletter. Der Link lädt die Datei direkt. Weitergabe der unveränderten Datei ist ausdrücklich erlaubt — auch im Unternehmen.
Eine englische Ausgabe des Buches ist bei Nyrvex erschienen.
Worum es geht
Die Plattform unter den Modellen
Die Aufgabe stellt sich derzeit in vielen Organisationen gleichzeitig, und sie stellt sich meistens ungeplant. Entwickler benutzen längst ChatGPT und Claude, oft über private Accounts. Fachabteilungen haben Proof-of-Concepts gebaut, die niemand betreibt. Der Datenschutzbeauftragte hat Fragen. Der Einkauf hat eine Rechnung gesehen, die niemand einem Team zuordnen kann. Und irgendwo steht ein Server mit zwei GPUs, für den es keinen Betriebsprozess gibt.
Wer daraus eine betreibbare Plattform machen soll, braucht ein anderes Wissen als der Data Scientist, der Modelle auswählt, und ein anderes als der Anwendungsentwickler, der gegen eine API programmiert. Gebraucht wird Wissen über GPUs im Cluster, über die Mechanik von Inferenz-Servern, über Zugriffskontrolle auf Modelle, über Kostenzuordnung — und über die Frage, welche Daten welches Modell erreichen dürfen. Genau dieses Wissen versammelt das Buch.
Vorausgesetzt wird Produktionserfahrung mit Kubernetes, GitOps, Identity-Providern, Secret-Verwaltung und Monitoring. Wer die mitbringt, findet hier den Teil, der bei AI-Workloads anders ist — und das ist eine ganze Menge.
Inhalt
Sechs Teile, von der GPU bis zur Referenzarchitektur
- Teil I
- Grundlagen der LLM-Inferenz Was auf der Karte tatsächlich passiert: Prefill und Decode, der KV-Cache, die VRAM-Bilanz, Batching als zentraler Hebel, Modellformate und Quantisierung.
- Teil II
- GPU-Infrastruktur Wie aus einer Karte eine Plattform-Ressource wird: NVIDIA-Software-Stack, GPUs unter Kubernetes, GPU-Sharing und Multi-Tenancy.
- Teil III
- Model Serving vLLM von der Architektur bis in den Produktionsbetrieb, Distributed Inference, KServe und das übrige Serving-Ökosystem.
- Teil IV
- Der Enterprise-Layer AI Gateway mit LiteLLM, Identity, Autorisierung und Secrets, AI Security, Governance und Compliance.
- Teil V
- Betrieb Observability und FinOps, RAG-Infrastruktur betreiben, Model Lifecycle, GitOps und Delivery.
- Teil VI
- Synthese Referenzarchitekturen und Kapazitätsplanung in drei Größenordnungen — durchgerechnet, von unter hundert bis zu mehreren tausend Nutzern.
- Anhänge
- A – D Interview- und Whiteboard-Training, das Referenz-Repository, Kommando- und Konfigurationsreferenz, Glossar und Sachregister.
Abgrenzung
Was das Buch nicht ist
Das bestimmt den Inhalt stärker als jede Kapitelliste — deshalb steht es hier und nicht im Kleingedruckten.
- Kein Kubernetes-Buch. Pods, Deployments, Services und Scheduler werden nicht erklärt. Es geht ausschließlich um das, was für GPU- und Inferenz-Workloads anders ist.
- Kein DevOps-Grundlagenbuch. CI/CD, GitOps, Container und Observability werden vorausgesetzt und tauchen nur in ihrer AI-spezifischen Ausprägung auf — Argo CD nicht als Werkzeug erklärt, sondern in der Frage, wie man ein 16 Gigabyte großes Modellartefakt durch eine GitOps-Pipeline bewegt.
- Kein Machine-Learning-Buch. Kein Transformer, keine Attention-Mathematik, kein Training und kein Finetuning. Die Innenansicht des Modells interessiert nur so weit, wie sie Betriebsentscheidungen bestimmt.
-
Kein Theoriebuch. Die Labs bauen Schritt für Schritt eine
produktionsreife Plattform auf — bis zum Gateway, über das Entwickler
mit lokalen und externen Modellen programmieren. Und nützlich bleibt das
Buch beim zwölften Mal, wenn man um 23 Uhr nachschlägt, warum ein Pod mit
nvidia.com/gpu: 1aufPendinghängt.
Download
400 Seiten, kostenlos
Wenn Ihnen beim Lesen auffällt, dass Sie genau diese Plattform gerade bauen müssen: Ich mache das beruflich.
OpenBao Field Notes
Kurze Leitfäden aus dem Homelab, kostenlos
Jeder Leitfaden führt ein einzelnes Stück Infrastruktur von der leeren Maschine bis zum geprüften Zustand — von Hand, mit jedem Kommando und jedem Fehler, der unterwegs passiert ist. Deutsch und Englisch, als PDF.
- Nº 1 — OpenBao auf Kubernetes. Helm, Raft, init und unseal, Kubernetes-Auth — und was danach noch fehlt. DE · EN
- Nº 2 — Dynamische Datenbank-Credentials mit OpenBao. Kurzlebige PostgreSQL-Zugänge über den Database Secrets Engine und den External Secrets Operator, am Beispiel Miniflux. DE · EN
- Nº 3 — OpenBao auf einer VM. Ein Knoten mit Ansible und OpenTofu: Installation, Bootstrap-Runbook, Snapshots, Disaster Recovery. DE · EN
- Nº 4 — Kubernetes-Secrets mit ESO und OpenBao. Statische Secrets aus dem KV-Engine in den Cluster holen, rotieren, zurückschreiben — und warum ein rotiertes Secret noch keine rotierte Anwendung ist. DE · EN
- Nº 5 — Interne PKI mit OpenBao. Root und Intermediate in OpenBao, Zertifikate per cert-manager für Ingress und Service-zu-Service, Erneuerung und Widerruf. DE · EN
- Nº 7 — Raft-Snapshots aus dem Cluster. Ein CronJob mit eigener Identität, geprüfte Archive nach MinIO, und eine Restore-Probe mit zwei Key-Sätzen. DE · EN
- Nº 8 — Keycloak und OpenBao. Keycloak im Cluster, Realm als Code, OIDC-Login für OpenBao — Gruppen werden zu Policies. DE · EN