
#148 - Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2)
Title: #148 - Eure Antwort: lokale KI-Modelle, die euch keiner verbieten kann (Teil 2) Teil 1 war das Drama: Fable 5 nach drei Tagen abgeschaltet, dasselbe Spiel jetzt mit GPT-5.6, und wir in Europa stehen da ohne Lösung. Teil 2 ist die Antwort. Und die ist nicht „warten, bis die Amerikaner uns wieder ein Modell geben" — sondern „fahrt eure eigenen Modelle, in eurem Serverraum, auf eurem Laptop, und keiner kann sie euch wegnehmen". Action, let's go. 📍 Worum es heute geht: Open-Weight-Modelle wie Gemma 4, Qwen, DeepSeek V3/V4 und Mistral Nemo laufen heute lokal — ohne Internet, ohne dass eure Daten das Gebäude verlassen. Ein bisschen schlechter als die Frontier-Modelle, ja. Aber „ein bisschen schlechter" heißt in der KI-Welt 10-20 % schlechter — und das reicht vollkommen für das, was ihr wirklich macht. Diese Folge zeigt euch die Hardware, den Ein-Zeilen-Setup, den DSGVO-Vorteil und was ihr am Montag früh als CTO, CFO und Vorstand konkret tut. 📊 Erst mal vergleichen. Es gibt ein Paper, das zeigt, wie man die Modelle gegeneinander aufstellt: unten die Kosten, um das Modell laufen zu lassen, links die Evaluierung über mehrere Benchmarks — Mathematik, Coding, Reasoning. Da seht ihr Gemma 4, Qwen 3.7 und Co. Klar, auf der Coding-Benchmark liegt ein Qwen 2.5 bei 30 % und ein Fable 5 bei 80 %. Aber für eure Workflows — Angebote durchlesen, E-Mails schreiben, beim Coden helfen, in mehreren Sprachen arbeiten — braucht ihr kein Frontier-Modell. Das können die Offenen alle. 🛠️ Der Ein-Zeilen-Trick. Wisst ihr, wie ihr so ein Modell aufsetzt? Ihr macht Claude Code oder Codex auf und tippt: „Ich möchte Gemma 4 hier auf meinem PC ohne Internet nutzen. Mach mal." Das war der ganze Prompt. Dann läuft das Ding circa 10 Minuten, lädt sich Ollama runter, zieht das Modell, deployt es — fertig. So leicht ist es geworden, Open-Weight-Modelle zu nutzen. Datenschutz-Dinosaurier dürfen in der Garage bleiben. 🏦 Der JP-Morgan-Tresor-Vergleich. DSGVO verbietet die Übermittlung personenbezogener Daten in Drittländer ohne angemessenes Schutzniveau — das große Problem der US-Cloud-Anbieter. Wenn ihr aber Qwen 2.5 oder Gemma 4 in eurem Serverraum in Stuttgart oder Wien fahrt, verlassen die Daten nicht mal den Rechner. Kein Transfer, kein Artikel 44. Sogar Privacy by Design — Artikel 25. Stellt's euch so vor: Euer Geld bei JP Morgan in der Schweizer Filiale ist immer noch JP Morgan. Aber wenn das Geld im eigenen Tresor zu Hause liegt, ist das das Sicherste. Eure Head of Compliance und Legal Head werden sich freuen. 💻 „Aber ich bin Mittelständler, ich hab kein Rechenzentrum." Brauchst du nicht. Du gehst und kaufst dir einen Mac mit 16 GB RAM — beim Saturn um 1.500 bis 2.000 Euro. Installierst Claude Code, deployst Gemma 4, und lässt jede Person in der Firma darauf arbeiten. Das reicht vollkommen für Dokumentenextraktion, Zusammenfassungen, RAG-Queries, interne Dokumente. Du willst mehr? Workstation mit zwei RTX 4090, dann kostet das Teil 6.000 statt 2.000 Euro. Und wenn du deine API-Kosten der letzten Wochen anschaust, sind 4.000 bis 6.000 Euro: Peanuts. DeepSeek V3 ist über Apache 2.0 verfügbar — deutsche Firmen bieten euch das gehostet im Allgäu, in Zürich oder Wien an. Wieder kein Artikel-44-Problem. 🇪🇺 „Modellbehindert" — und genau das ist unser Vorteil. Die Amerikaner sehen uns als total handicapped: „Die Europäer haben ja kein gescheites Modell." Aber genau weil wir am Modell behindert sind — und vor allem wegen dem Datenschutz — hat uns das gezwungen, uns viel, viel früher mit Open-Weight-Modellen zu beschäftigen. Pharma, Finanzen, Gesundheit: ganze Architekturen, die nur auf Open Weights basieren, weil DSGVO uns dazu gezwungen hat. Uns kann es wortwörtlich wurscht sein, ob Fable 5, Mythos oder GPT 5.6 kommt oder nicht. 150 Lebensläufe vergleichen läuft sehr gut auf einem lokalen Mistral Nemo oder Qwen 2.5 auf einem 2.000-Euro-PC. Dazu kommt Model Portability — eines Tages tragt ihr das Modell auf einem USB-Stick oder fahrt es am iPhone. 📌 Take-aways CTO: Start mit einem Produktions-KI-Abhängigkeits-Audit — das Wichtigste, das du gerade machen kannst. Viele deiner API-Calls zu LLMs sind ein Ausfallrisiko, egal ob Copilot, ChatGPT oder was auch immer. Überleg, welche Open-Weight-Modelle (Mistral, Gemma 4, Qwen) du nutzen könntest, bring sie in ein Staging-Environment und vergleich die Ergebnisse. Dann klassifizier deine KI-Daten-Interaktionen: Was muss zwingend lokal laufen (Finanz-, Patientendaten) und was nicht (Amazon-Bestelldaten)? CFO: Versteh, dass Kosten auf dich zukommen — neue PCs oder gemietete Cloud-Infrastruktur. Aber Long Term, in den nächsten 6 bis 24 Monaten, wird es für dich billiger sein, lokale Modelle zu fahren, als immer das neueste Modell von Anthropic oder ChatGPT. Vorstand: Rüttle deine Leute wach. Euer Wettbewerbsvorteil war früher die Modellwahl — den haben wir gegenüber den Amerikanern verloren. Was bleibt: eure Kundenbeziehungen, eure validierten Workflows und Maschinen, eure proprietären Daten, euer institutionelles Wissen. Das liegt in den Köpfen eurer Leute, nicht in der KI. Habt Mut. ⏱️ Timestamps 00:00 — Rückblick Teil 1: Fable 5, GPT-5.6 und kein Plan B in Europa 01:30 — Das Benchmark-Paper: Kosten gegen Evaluierung 03:30 — Open-Weight-Modelle: Gemma 4, Qwen, DeepSeek V4 — „10-20 % schlechter reicht" 06:00 — Der Ein-Zeilen-Setup über Claude Code + Ollama 08:00 — Datenschutz: Artikel 44, Privacy by Design (Art. 25) und der JP-Morgan-Tresor-Vergleich 11:00 — Hardware: 16-GB-Mac für 2.000 € vs. 2× RTX 4090 für 6.000 € 14:00 — „Modellbehindert": warum DSGVO unser Vorteil ist + Model Portability 16:30 — Monday Actions für CTO, CFO und Vorstand 18:30 — Was euch bleibt + Teaser: Sakana & Fugu 🐡 Nächste Folge: Sakana & Fugu — wie selbst schlechte Modelle ganz, ganz tolle Antworten liefern, wenn man sie zusammenarbeiten lässt. 🎙️ Über den Host Malcolm Werchota leitet KI-Adoptionsprogramme für Unternehmen in ganz Europa. Studium: Physik / Werkstoffwissenschaft an der Montanuniversität Leoben. 10 Jahre Erdöl & Erdgas, 3 Jahre Novartis (Head of Strategy einer 2-Mrd-USD Business Unit). Am 30. November 2022 kam ChatGPT raus. Einen Monat später hat er gekündigt. Heute Co-Founder werchota.ai und coatingAI. Lebt in Lochau am Bodensee mit Masha, Camila, Sophia und Alex. 🚀 Ressourcen für Führungskräfte 📚 Chief AI Academy — KI für Entscheider 🎯 AI Commercial Playbook — diagnostiziert eure 10-Säulen Commercial Maturity 👥 AI Leadership Community 🌐 werchota.ai 📬 Kontakt LinkedIn: linkedin.com/in/malcolmwerchota E-Mail: malcolm@werchota.ai WhatsApp: +43 676 6144 904 📰 Quellen + Referenzen Be...













