Open-Weight-Modelle: So installiert ihr ein LLM auf eurem eigenen PC

Kimi K3 von Moonshot AI ist gerade in aller Munde. Ein Open-Weight-Modell mit 2,8 Billionen Parametern, das mit den besten Modellen aus den USA mithalten will. Aber wie installiert man eigentlich ein solches Modell selbst? In dieser Folge nehmen wir Kimi K3 als Aufhänger, um den kompletten Prozess zu erklären: Was unterscheidet ein Open-Weight-Modell von proprietären Systemen wie ChatGPT oder Claude? Warum könnt ihr Kimi K3 selbst trotz Quantisierung nicht auf eurem Laptop laufen lassen und welche kleineren, alltagstauglichen Modelle funktionieren stattdessen? Ich erkläre euch Hugging Face als zentrale Anlaufstelle für Open-Weight-Modelle, erkläre die wichtigsten Dateiformate GGUF und Safetensors, und stellen die drei populärsten Tools für den lokalen Betrieb vor: Ollama, LM Studio und Open WebUI. Diese Folge baut auf unseren vorherigen Episoden zu Quantisierung und Speicherarten (VRAM, RAM, Unified Memory) auf und liefert den praktischen Einstieg zum Selbermachen. Themen: Kimi K3, Moonshot AI, Open-Weight-Modelle, Hugging Face, GGUF, Ollama, LM Studio, lokale LLMs, KI selbst hosten Links: - Erklärung GGUF: https://huggingface.co/docs/hub/gguf - Erklärung Safe Tensors: https://huggingface.co/docs/safetensors/index - Kimi K3 auf Hugging Face: https://huggingface.co/moonshotai/Kimi-K3 - Open WebUI: https://docs.openwebui.com/ - Ollama: https://ollama.com/ - LM Studio: https://lmstudio.ai/