Hardware-Test: Nvidia DGX Spark / GB10
transcript
show notes
Die Geräteklasse, die lokale KI-Inferenz aus dem Rechenzentrum holt.
Ein Würfel in Buchgröße, 128 GB Unified Memory, bürotauglich leise – und Modelle bis 30 bis 40 Milliarden Parameter laufen vollständig im Speicher. Diese Folge ordnet ein, was der GB10 kann, was er kostet und für wen er sich rechnet.
Themen der Folge:
Der Superchip erklärt: Warum Unified Memory gegenüber klassischen Server-GPUs den Unterschied macht – 273 GB/s Bandbreite gegen 3 TB/s bei einer H100, und warum das trotzdem eine eigene Liga ist Das Datenblatt der Klasse: 128 GB LPDDR5X, bis zu 1.000 TOPS, unter 240 W, aarch64-Architektur, Formfaktor 15 × 15 × 5 cm Die Anbieter: Nvidia DGX Spark (~4.800 €) und ASUS Ascent GX10 (~4.500 €) – gleiche Hardware, unterschiedlicher Channel und Service. Dell und HPE mit Pilotprogrammen für das zweite Halbjahr 2026 Der ehrliche Vergleich nach oben und unten: gegen H100-Server (drei- bis fünffacher Durchsatz, aber zehn- bis zwanzigfacher Preis) und gegen Workstation-GPUs wie die RTX A6000 (vergleichbarer Durchsatz, aber deutlich weniger Modellkapazität) Was nicht geht: Trainingsläufe, Feintuning großer Modelle, Reasoning-Modelle der GPT-5-Klasse Die unterschätzte Software-Hürde: aarch64-Linux, wo vLLM, llama.cpp und Ollama stabil laufen – und was man vor dem Kauf bei kommerziellen Inferenz-Engines prüfen sollte Drei Ausbaustufen: Single-Node-Pilot für 50 bis 150 Nutzer (5.000–8.000 €), Zwei-Node-Cluster für gemischte Workloads bis 300 Nutzer (8.500–10.000 €), Mehr-Node-Cluster für größere Häuser Wo die TCO-Kreuzung liegt: ab vier bis sechs Nodes lohnt der Blick auf einen Rechenzentrums-Server
Diese Folge enthält Werbung: contboxx Vault Tender – Ausschreibungen lesen, Antwortentwürfe aus dem eigenen Wissen, lokal verarbeitet. Mehr auf vault.contboxx.com
Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.