Skip to content
Sign in
Artwork for Prompt-Zeit
Prompt-Zeit · August 13 · 10 min

Lokale Modelle / SLMs

Wann sich KI im eigenen Haus wirklich rechnet – und wann die Cloud einfach billiger bleibt. Kleine Sprachmodelle auf eigener Hardware – die nüchterne Bestandsaufnahme. Ein Small Language Model läuft auf einem Arbeitsplatzrechner, einem kleinen Server oder einer einzelnen Grafikkarte – kein Rechenzentrum nötig. Damit adressiert diese Modellklasse genau die drei Punkte, an denen Cloud-KI im DACH-Mittelstand regelmäßig hängt: Kosten, Datenschutz und Abhängigkeit von einzelnen US-Anbietern. Themen der Folge: Was ein SLM ist – und warum „Open-Weight" nicht dasselbe ist wie „Open Source" Grund 1 für die Wende: Offene Modelle liegen nur noch drei bis vier Monate hinter den geschlossenen Spitzenmodellen (Epoch AI) Grund 2: Lizenzen sind geschäftstauglicher geworden – aber nicht einheitlich. Vorsicht bei Google Gemma und Meta Llama Teuken-7B: das europäische Modell aus dem Projekt OpenGPT-X, trainiert in allen 24 EU-Amtssprachen Grund 3: Die Hardware ist da – von 4-GB-Modellen auf dem Notebook bis zum Tischgerät mit 128 GB Unified Memory Die Kostenrechnung ehrlich gerechnet: versteckte Betriebskosten, ein hoch sitzender Break-even und der unfaire Vergleich zwischen kleinem lokalem und großem Cloud-Modell Wofür SLMs reichen: Klassifizieren, Extrahieren, Zusammenfassen, Antwortbausteine, einfache Code-Hilfen Wofür nicht: breites Weltwissen, mehrstufiges Schlussfolgern, höchste Faktentreue ohne Quellenanbindung Warum hybride Setups für den Mittelstand meist die richtige Antwort sind Gartner-Prognose: Bis 2027 werden kleine, aufgabenspezifische Modelle dem Volumen nach dreimal häufiger eingesetzt als allgemeine große Sprachmodelle Quellen (Auswahl): Epoch AI: Capabilities Index, Analysen Okt. 2025 und Jan.–Mai 2026 Hugging Face: „State of Open Source on Hugging Face: Spring 2026" Gartner: Pressemitteilung vom 09.04.2025 (Analystenprognose) Fraunhofer IAIS / OpenGPT-X: Modellkarte Teuken-7B · Deutsche Telekom Model Cards für Qwen 3, Gemma 3, Phi-4, Llama 3.2, Mistral (Stand Juni 2026) Kostenrichtgrößen: cogitx.ai / Intuz, SitePoint, Marka Development (2026) Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.

0:00-10:42
Play in
Transcript file

transcript

No transcript — this publisher did not publish one.

show notes

Wann sich KI im eigenen Haus wirklich rechnet – und wann die Cloud einfach billiger bleibt.

Kleine Sprachmodelle auf eigener Hardware – die nüchterne Bestandsaufnahme.

Ein Small Language Model läuft auf einem Arbeitsplatzrechner, einem kleinen Server oder einer einzelnen Grafikkarte – kein Rechenzentrum nötig. Damit adressiert diese Modellklasse genau die drei Punkte, an denen Cloud-KI im DACH-Mittelstand regelmäßig hängt: Kosten, Datenschutz und Abhängigkeit von einzelnen US-Anbietern.

Themen der Folge:

Was ein SLM ist – und warum „Open-Weight" nicht dasselbe ist wie „Open Source" Grund 1 für die Wende: Offene Modelle liegen nur noch drei bis vier Monate hinter den geschlossenen Spitzenmodellen (Epoch AI) Grund 2: Lizenzen sind geschäftstauglicher geworden – aber nicht einheitlich. Vorsicht bei Google Gemma und Meta Llama Teuken-7B: das europäische Modell aus dem Projekt OpenGPT-X, trainiert in allen 24 EU-Amtssprachen Grund 3: Die Hardware ist da – von 4-GB-Modellen auf dem Notebook bis zum Tischgerät mit 128 GB Unified Memory Die Kostenrechnung ehrlich gerechnet: versteckte Betriebskosten, ein hoch sitzender Break-even und der unfaire Vergleich zwischen kleinem lokalem und großem Cloud-Modell Wofür SLMs reichen: Klassifizieren, Extrahieren, Zusammenfassen, Antwortbausteine, einfache Code-Hilfen Wofür nicht: breites Weltwissen, mehrstufiges Schlussfolgern, höchste Faktentreue ohne Quellenanbindung Warum hybride Setups für den Mittelstand meist die richtige Antwort sind Gartner-Prognose: Bis 2027 werden kleine, aufgabenspezifische Modelle dem Volumen nach dreimal häufiger eingesetzt als allgemeine große Sprachmodelle

Quellen (Auswahl):

Epoch AI: Capabilities Index, Analysen Okt. 2025 und Jan.–Mai 2026 Hugging Face: „State of Open Source on Hugging Face: Spring 2026" Gartner: Pressemitteilung vom 09.04.2025 (Analystenprognose) Fraunhofer IAIS / OpenGPT-X: Modellkarte Teuken-7B · Deutsche Telekom Model Cards für Qwen 3, Gemma 3, Phi-4, Llama 3.2, Mistral (Stand Juni 2026) Kostenrichtgrößen: cogitx.ai / Intuz, SitePoint, Marka Development (2026)

Prompt-Zeit ist ein KI-generierter Podcast: Stimmen, Recherche und Redaktion entstehen mit künstlicher Intelligenz.

more episodes

All episodes