Buch · Kostenlos
Enterprise AI Platform
Ein Lab Guide über GPU-Infrastruktur, Model Serving und den Betrieb einer KI-Plattform im Unternehmen. Geschrieben für Leute, die diese Plattform bauen und danach betreiben müssen.
- Umfang
- 398 Seiten · 17 Kapitel · 4 Anhänge
- Format
- PDF, A4 · 7,4 MB
- Stand
- September 2026
- Preis
- kostenlos
- Lizenz
- CC BY-ND 4.0
Kein Formular, keine E-Mail-Adresse, kein Newsletter. Der Link lädt die Datei direkt. Weitergabe der unveränderten Datei ist ausdrücklich erlaubt — auch im Unternehmen.
Worum es geht
Die Plattform unter den Modellen
Die Aufgabe stellt sich derzeit in vielen Organisationen gleichzeitig, und sie stellt sich meistens ungeplant. Entwickler benutzen längst ChatGPT und Claude, oft über private Accounts. Fachabteilungen haben Proof-of-Concepts gebaut, die niemand betreibt. Der Datenschutzbeauftragte hat Fragen. Der Einkauf hat eine Rechnung gesehen, die niemand einem Team zuordnen kann. Und irgendwo steht ein Server mit zwei GPUs, für den es keinen Betriebsprozess gibt.
Wer daraus eine betreibbare Plattform machen soll, braucht ein anderes Wissen als der Data Scientist, der Modelle auswählt, und ein anderes als der Anwendungsentwickler, der gegen eine API programmiert. Gebraucht wird Wissen über GPUs im Cluster, über die Mechanik von Inferenz-Servern, über Zugriffskontrolle auf Modelle, über Kostenzuordnung — und über die Frage, welche Daten welches Modell erreichen dürfen. Genau dieses Wissen versammelt das Buch.
Vorausgesetzt wird Produktionserfahrung mit Kubernetes, GitOps, Identity-Providern, Secret-Verwaltung und Monitoring. Wer die mitbringt, findet hier den Teil, der bei AI-Workloads anders ist — und das ist eine ganze Menge.
Inhalt
Sechs Teile, von der GPU bis zur Referenzarchitektur
- Teil I
- Grundlagen der LLM-Inferenz Was auf der Karte tatsächlich passiert: Prefill und Decode, der KV-Cache, die VRAM-Bilanz, Batching als zentraler Hebel, Modellformate und Quantisierung.
- Teil II
- GPU-Infrastruktur Wie aus einer Karte eine Plattform-Ressource wird: NVIDIA-Software-Stack, GPUs unter Kubernetes, GPU-Sharing und Multi-Tenancy.
- Teil III
- Model Serving vLLM von der Architektur bis in den Produktionsbetrieb, Distributed Inference, KServe und das übrige Serving-Ökosystem.
- Teil IV
- Der Enterprise-Layer AI Gateway mit LiteLLM, Identity, Autorisierung und Secrets, AI Security, Governance und Compliance.
- Teil V
- Betrieb Observability und FinOps, RAG-Infrastruktur betreiben, Model Lifecycle, GitOps und Delivery.
- Teil VI
- Synthese Referenzarchitekturen und Kapazitätsplanung in drei Größenordnungen — durchgerechnet, von unter hundert bis zu mehreren tausend Nutzern.
- Anhänge
- A – D Interview- und Whiteboard-Training, das Referenz-Repository, Kommando- und Konfigurationsreferenz, Glossar und Sachregister.
Abgrenzung
Was das Buch nicht ist
Das bestimmt den Inhalt stärker als jede Kapitelliste — deshalb steht es hier und nicht im Kleingedruckten.
- Kein Kubernetes-Buch. Pods, Deployments, Services und Scheduler werden nicht erklärt. Es geht ausschließlich um das, was für GPU- und Inferenz-Workloads anders ist.
- Kein DevOps-Grundlagenbuch. CI/CD, GitOps, Container und Observability werden vorausgesetzt und tauchen nur in ihrer AI-spezifischen Ausprägung auf — Argo CD nicht als Werkzeug erklärt, sondern in der Frage, wie man ein 16 Gigabyte großes Modellartefakt durch eine GitOps-Pipeline bewegt.
- Kein Machine-Learning-Buch. Kein Transformer, keine Attention-Mathematik, kein Training und kein Finetuning. Die Innenansicht des Modells interessiert nur so weit, wie sie Betriebsentscheidungen bestimmt.
-
Kein Tutorial. Ein Tutorial ist nach einmaligem
Durchlaufen verbraucht. Nützlich wird dieses Buch beim zwölften Mal, wenn
man um 23 Uhr nachschlägt, warum ein Pod mit
nvidia.com/gpu: 1aufPendinghängt.
Download
398 Seiten, kostenlos
Wenn Ihnen beim Lesen auffällt, dass Sie genau diese Plattform gerade bauen müssen: Ich mache das beruflich.