Skip to content
Artwork for Prompt-Zeit
Prompt-Zeit · August 21 · 13 min

Hardware-Test: Nvidia DGX Spark / GB10

Für den Preis eines Bürodruckers: Was die neue Geräteklasse für lokale KI wirklich leistet – und was nicht. Die Geräteklasse, die lokale KI-Inferenz aus dem Rechenzentrum holt. Ein Würfel in Buchgröße, 128 GB Unified Memory, bürotauglich leise – und Modelle bis 30 bis 40 Milliarden Parameter laufen vollständig im Speicher. Diese Folge ordnet ein, was der GB10 kann, was er kostet und für wen er sich rechnet. Themen der Folge: Der Superchip erklärt: Warum Unified Memory gegenüber klassischen Server-GPUs den Unterschied macht – 273 GB/s Bandbreite gegen 3 TB/s bei einer H100, und warum das trotzdem eine eigene Liga ist Das Datenblatt der Klasse: 128 GB LPDDR5X, bis zu 1.000 TOPS, unter 240 W, aarch64-Architektur, Formfaktor 15 × 15 × 5 cm Die Anbieter: Nvidia DGX Spark (~4.800 €) und ASUS Ascent GX10 (~4.500 €) – gleiche Hardware, unterschiedlicher Channel und Service. Dell und HPE mit Pilotprogrammen für das zweite Halbjahr 2026 Der ehrliche Vergleich nach oben und unten: gegen H100-Server (drei- bis fünffacher Durchsatz, aber zehn- bis zwanzigfacher Preis) und gegen Workstation-GPUs wie die RTX A6000 (vergleichbarer Durchsatz, aber deutlich weniger Modellkapazität) Was nicht geht: Trainingsläufe, Feintuning großer Modelle, Reasoning-Modelle der GPT-5-Klasse Die unterschätzte Software-Hürde: aarch64-Linux, wo vLLM, llama.cpp und Ollama stabil laufen – und was man vor dem Kauf bei kommerziellen Inferenz-Engines prüfen sollte Drei Ausbaustufen: Single-Node-Pilot für 50 bis 150 Nutzer (5.000–8.000 €), Zwei-Node-Cluster für gemischte Workloads bis 300 Nutzer (8.500–10.000 €), Mehr-Node-Cluster für größere Häuser Wo die TCO-Kreuzung liegt: ab vier bis sechs Nodes lohnt der Blick auf einen Rechenzentrums-Server Diese Folge enthält Werbung: contboxx Vault Tender – Ausschreibungen lesen, Antwortentwürfe aus dem eigenen Wissen, lokal verarbeitet. Mehr auf vault.contboxx.com Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.

0:00-13:05

transcript

No transcript — this publisher did not publish one.

show notes

Für den Preis eines Bürodruckers: Was die neue Geräteklasse für lokale KI wirklich leistet – und was nicht.

Die Geräteklasse, die lokale KI-Inferenz aus dem Rechenzentrum holt.

Ein Würfel in Buchgröße, 128 GB Unified Memory, bürotauglich leise – und Modelle bis 30 bis 40 Milliarden Parameter laufen vollständig im Speicher. Diese Folge ordnet ein, was der GB10 kann, was er kostet und für wen er sich rechnet.

Themen der Folge:

Der Superchip erklärt: Warum Unified Memory gegenüber klassischen Server-GPUs den Unterschied macht – 273 GB/s Bandbreite gegen 3 TB/s bei einer H100, und warum das trotzdem eine eigene Liga ist Das Datenblatt der Klasse: 128 GB LPDDR5X, bis zu 1.000 TOPS, unter 240 W, aarch64-Architektur, Formfaktor 15 × 15 × 5 cm Die Anbieter: Nvidia DGX Spark (~4.800 €) und ASUS Ascent GX10 (~4.500 €) – gleiche Hardware, unterschiedlicher Channel und Service. Dell und HPE mit Pilotprogrammen für das zweite Halbjahr 2026 Der ehrliche Vergleich nach oben und unten: gegen H100-Server (drei- bis fünffacher Durchsatz, aber zehn- bis zwanzigfacher Preis) und gegen Workstation-GPUs wie die RTX A6000 (vergleichbarer Durchsatz, aber deutlich weniger Modellkapazität) Was nicht geht: Trainingsläufe, Feintuning großer Modelle, Reasoning-Modelle der GPT-5-Klasse Die unterschätzte Software-Hürde: aarch64-Linux, wo vLLM, llama.cpp und Ollama stabil laufen – und was man vor dem Kauf bei kommerziellen Inferenz-Engines prüfen sollte Drei Ausbaustufen: Single-Node-Pilot für 50 bis 150 Nutzer (5.000–8.000 €), Zwei-Node-Cluster für gemischte Workloads bis 300 Nutzer (8.500–10.000 €), Mehr-Node-Cluster für größere Häuser Wo die TCO-Kreuzung liegt: ab vier bis sechs Nodes lohnt der Blick auf einen Rechenzentrums-Server

Diese Folge enthält Werbung: contboxx Vault Tender – Ausschreibungen lesen, Antwortentwürfe aus dem eigenen Wissen, lokal verarbeitet. Mehr auf vault.contboxx.com

Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.