Das Sprachmodell Deepseek R1 mischt die KI-Welt gerade ordentlich auf – es ist quelloffen, liefert in Benchmarks beeindruckende Ergebnisse und arbeitet dabei besonders ressourcenschonend. Wer das Modell lokal ausführen möchte und damit datensicher und kostenunabhängig, kann dies auf mehreren Wegen tun. In diesem Artikel zeigen wir euch drei Möglichkeiten, Deepseek R1 (und andere nicht-proprietäre Modelle) auf eurem eigenen Rechner zu installieren.

Deepseek R1 ist ein Reasoning-Modell, das komplexe Probleme systematisch durchdenkt und – anders als die meisten KI-Modelle – jeden Schritt seiner Überlegungen transparent darlegt. Nach OpenAIs o1 und Gemini 2.0 ist es erst das dritte öffentlich verfügbare Modell dieser Art, unterscheidet sich aber fundamental durch seine Open-Source-Natur: R1 ist unter der MIT-Lizenz frei verfügbar und kann somit von jedem genutzt und weiterentwickelt werden.

Das Modell überzeugt durch seine effiziente Architektur und brilliert besonders in den Bereichen Programmierung, Mathematik und wissenschaftliche Analysen. Es beherrscht Englisch und Chinesisch als Hauptsprachen und viele weitere auf hohem Niveau. Bei den kleineren destillierten Modellen kann es jedoch zu Inkonsistenzen kommen, die zu einem späteren Zeitpunkt noch korrigiert werden sollen. Durch verschiedene Größenvarianten – von der Laptop-Version bis zum vollständigen Modell – und einfache Integrationsmöglichkeiten via API oder Hugging Face eignet sich R1 für ein breites Spektrum von Anwendungen in Entwicklung, Forschung und Wirtschaft.

Neben dem Hauptmodell bietet Deepseek eine Reihe von destillierten Modellen an, die speziell für den Einsatz auf lokalen Systemen optimiert wurden. Diese Modelle haben zwischen 1,5 und 671 Milliarden Parameter und benötigen je nach Variante zwischen 1,32 GByte und 484 GByte VRAM. Besonders interessant für Nutzer mit begrenzten Ressourcen sind:

• Deepseek-R1-Distill-Qwen-1.5B: Das 1,5-Milliarden-Parameter-Modell ist ca. 1,1 GByte groß und benötigt knapp 1.32 GByte VRAM und läuft auf einer Nvidia RTX 3050 8 GByte oder auf einem Apple Silicon Mac mit 8 GByte unified RAM.
  
  
• Deepseek-R1-Distill-Qwen-7B: Das 7-Milliarden-Parameter-Modell ist ca. 4,7 GByte groß und benötigt knapp 5,64 GByte VRAM und läuft auf einer Nvidia RTX 3060 12 GByte oder auf einem Apple Silicon Mac mit 16 GByte unified RAM.
  
  
• Deepseek-R1-Distill-Llama-8B: Das 8-Milliarden-Parameter-Modell ist ca. 4,9 GByte groß und benötigt knapp 5,88 GByte VRAM und kann auf Hardware ausgeführt werden, die das 7B-Modell ausführen kann.

Die Deepseek-Sprachmodelle lassen sich auch mit AMD-GPUs und -APUs betreiben. Wie das geht, erklärt AMD in dieser Anleitung.

Für leistungsstärkere lokale Maschinen gibt es auch größere Varianten wie das 32B- oder 70B-Distill-Modell, die teilweise mit OpenAI-o1-mini konkurrieren. Dank dieser kleineren Modelle können auch Nutzer mit begrenzten Hardware-Ressourcen die Fähigkeiten von Deepseek R1 lokal nutzen, ohne auf Cloud-Dienste angewiesen zu sein. Alle Versionen wurden unter einer MIT-Lizenz veröffentlicht und sind somit für Forschung und kommerzielle Anwendungen frei verfügbar.

LM Studio ist eine benutzerfreundliche Anwendung, die es ermöglicht, große LLMs lokal auf dem eigenen Computer auszuführen. Es bietet eine intuitive grafische Benutzeroberfläche, die es auch Nutzern ohne tiefgreifende technische Kenntnisse erlaubt, mit KI-Modellen zu interagieren. LM Studio unterstützt eine Vielzahl von Modellen und ermöglicht es, diese einfach herunterzuladen, zu verwalten und für verschiedene Aufgaben wie Textgenerierung, Übersetzungen oder Codeanalyse einzusetzen.

So einfach richtet ihr LM Studio mit Deepseek-Integration ein:

• Besucht die offizielle LM-Studio-Website https://lmstudio.ai und ladet die neueste Version der Software für euer Betriebssystem herunter.
• Öffnet die heruntergeladene Datei und folgt den Anweisungen des Installationsassistenten.

• Startet LM Studio.
• Geht zum "Discover"-Tab, um Modelle herunterzuladen.
• Wählt ein Modell aus und ladet es herunter.
• Wechselt zum "Chat"-Tab.
• Ladet das heruntergeladene Modell (Schnellzugriff mit Cmd+L auf MacOS oder Ctrl+L auf Windows/Linux).
• Beginnt mit der Interaktion mit dem Modell.

• Benutzerfreundliche grafische Oberfläche, ideal für Einsteiger
• Große Auswahl an vorinstallierten Modellen
• Einfache Modellverwaltung und -aktualisierung
• Unterstützt verschiedene Modellformate (GGUF, GGML)
• Bietet Funktionen wie Prompt-Templates und Konversationsverlauf
• Geeignet für Windows, macOS und Linux

Ollama ist eine flexible Umgebung für KI-Modelle, die besonders durch die Integration einer WebUI und Docker-Unterstützung hervorsticht. Wie LM Studio ermöglicht es Nutzern, verschiedene Sprachmodelle einfach zu installieren und zu verwalten. Mit der Docker-Integration bietet Ollama eine isolierte und portable Umgebung, die es erleichtert, Modelle auf verschiedenen Systemen konsistent auszuführen. Die WebUI fügt eine benutzerfreundliche Schnittstelle hinzu, die es einfacher macht, mit den Modellen zu interagieren – ohne Kommandozeilen-Befehle verwenden zu müssen.

So installiert ihr Deepseek R1 mit Ollama:

• Ladet Ollama von der offiziellen Webseite https://ollama.com herunter und installiert es.
• Wählt ein Sprachmodell aus und kopiert den Run-Befehl.
• Führt den Befehl im Terminal aus, um das Modell herunterzuladen.

• Ladet Docker Desktop von der offiziellen Webseite https://www.docker.com herunter.
• Installiert Docker und schließt den Registrierungs- oder Login-Prozess ab.

• Besucht die Open WebUI Github-Seite https://github.com/open-webui/open-webui
• Scrollt weit nach unten zu „Installation with Default Configuration“
• Kopiert darunter den Docker-Befehl von „if Ollama is on your computer“ für die lokale Ollama-Installation.
• Führt den Befehl im Terminal aus, um den WebUI-Container zu installieren.

• Öffnet Docker Desktop und prüft, ob der WebUI-Container läuft.
• Kopiert die localhost-Adresse und ruft sie im Browser auf.
• Registriert euch oder meldet euch in der WebUI an.
• Wählt das Sprachmodell aus und startet die Interaktion.

• Hohe Flexibilität durch Docker-Integration
• Einfache Skalierbarkeit und Portabilität
• Webbasierte Benutzeroberfläche für bequeme Interaktion
• Unterstützt eine Vielzahl von Modellen, einschließlich Deepseek R1
• Gute Option für Nutzer mit grundlegenden Docker-Kenntnissen
• Ermöglicht einfaches Experimentieren mit verschiedenen Modellen

Pinokio ist ein innovativer Open-Source-Browser für KI-Workflows, der eine einfache Möglichkeit bietet, Sprachmodelle lokal zu nutzen. Als spezialisierter Browser ermöglicht Pinokio die nahtlose Integration verschiedener KI-Tools und -Dienste. Pinokio unterstützt eine Vielzahl von KI-Anwendungen, darunter Sprachmodelle, Bildgenerierung und Datenanalyse. Auch hier bietet die In-App-Integration von Open WebUI eine benutzerfreundliche Oberfläche für die Interaktion mit den installierten Modellen, was Pinokio zu einer vielseitigen Plattform für KI-Experimente und -Entwicklung macht.

So richtet ihr den KI-Browser und Deepseek ein:

• Besucht die offizielle Webseite https://pinokio.computer/ und ladet euch die Applikation für euer Betriebssystem herunter.
• Öffnet Pinokio und sucht nach "Open WebUI".
• Klickt auf den Download-Button für Open WebUI.
• Behaltet den vorgeschlagenen Namen bei und klickt auf "Install".

• Startet Open WebUI über Pinokio.
• Installiert erforderliche Komponenten wie AMA, falls erforderlich.
• Greift über die lokale Host-URL auf die WebUI zu.
• Ihr könnt nun mit den installierten Modellen chatten und interagieren.

• Vielseitige Plattform für komplexe KI-Workflows
• Einfache Integration verschiedener KI-Tools und -Dienste
• Automatisierungsmöglichkeiten für KI-Prozesse
• Open-Source-Natur ermöglicht Community-Beiträge und Anpassungen
• Gut geeignet für fortgeschrittene Nutzer und Entwickler
• Kombiniert die Stärken von Pinokio und Open WebUI für umfassende Funktionalität

Deepseek R1 ist eine vielversprechende Alternative zu ChatGPT und lässt sich mit verschiedenen Methoden lokal ausführen. LM Studio eignet sich für eine einfache Installation mit grafischer Oberfläche, während Ollama Docker-basierte Flexibilität bietet. Wer eine leicht zugängliche WebUI möchte, kann Open WebUI mit Pinokio nutzen. Egal für welche Methode man sich entscheidet, mit diesen Open-Source-Modellen hat man einen datensicheren und kostenunabhängigen Zugang zu KI-Fähigkeiten direkt auf der eigenen Hardware.

Bild: mockdrop.io/deepseek