Hast du dir schon einmal gewünscht, die Funktionen von ChatGPT zu nutzen – aber mit der Gewissheit, dass deine Daten deinen Rechner niemals verlassen? Genau diese Frage beschäftigt mich seit einiger Zeit. Als Heavy-ChatGPT-User gebe ich täglich viele Informationen preis. Deshalb will ich künftig sicherstellen, dass meine Daten bei mir bleiben.

Die gute Nachricht: Das ist möglich – und einfacher als gedacht! Mit den richtigen Werkzeugen kannst du die Power großer Sprachmodelle direkt auf deinem eigenen PC zum Laufen bringen – offline, privat und sicher.

Ziel dieser Anleitung

In dieser Schritt-für-Schritt-Anleitung zeige ich dir, wie du große Sprachmodelle lokal auf Linux- und Windows-Systemen ausführen kannst. Wir installieren und konfigurieren alles Notwendige, um eine eigene KI-Umgebung im ChatGPT-Stil zu erstellen.

Diese Tools kommen zum Einsatz:

• Ollama – Das Herzstück. Eine schlanke Engine zum Verwalten und Ausführen von Open-Source-LLMs auf deiner Hardware.
• Docker – Die Container-Plattform, mit der du Anwendungen isoliert ausführen kannst.
• Open WebUI – Die schicke Chat-Oberfläche im Stil von ChatGPT, über die du mit deiner lokalen KI interagieren kannst.

Am Ende läuft eine voll funktionsfähige private KI-Sandbox auf deinem Rechner – also, los geht’s!

Installation unter Linux

Hinweis: Diese Anleitung wurde auf Ubuntu-basierten Distributionen getestet. Du brauchst Terminal-Zugriff mit sudo-Rechten und eine aktive Internetverbindung. Achte außerdem auf genügend freien Speicherplatz – Modelle können mehrere Gigabyte groß sein.

1. Ollama installieren – Das Fundament

Ollama ist der Motor unseres Setups. Die Installation ist einfach:

1. Besuche ollama.com und wähle Linux.
2. Kopiere den angezeigten Installationsbefehl, z. B.:

curl -fsSL https://ollama.com/install.sh | sh

3. Öffne dein Terminal, füge den Befehl ein und bestätige mit Enter.
4. Gib bei Aufforderung dein sudo-Passwort ein.

Ollama wird nun installiert und als Dienst im Hintergrund gestartet.

2. Erstes Modell herunterladen und testen

Teste die Installation mit einem Beispielmodell:

ollama run llama3.2:1b

Das Modell (ca. 1,3 GB) wird heruntergeladen und direkt im Terminal ausgeführt. Du erkennst den Chat-Modus an der >>>-Eingabeaufforderung. Gib eine Frage ein wie:

>>> tell me a 6 line joke

Wenn das Modell antwortet: Glückwunsch – dein erstes lokales KI-Modell läuft! Beende den Chat mit /bye.

3. Docker installieren – Die Grundlage für die Web-Oberfläche

Um eine grafische Oberfläche nutzen zu können, brauchst du Docker.

Docker-Repository einrichten:

sudo apt-get update
sudo apt-get install ca-certificates curl

sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

Dann:

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] \
https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

Hinweis für Ubuntu-Derivate: Ersetze ggf. den Codenamen durch den passenden Ubuntu-Basisnamen (z. B. focal für Linux Mint 20.3).

Docker installieren:

sudo apt-get update
sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin

Installation testen:

sudo docker run hello-world

Wenn du „Hello from Docker!“ siehst, ist alles bereit.

4. Open WebUI installieren – Die Oberfläche für deine KI

Stelle sicher, dass Docker läuft:

sudo systemctl start docker

Dann führe folgenden Befehl aus:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Dadurch wird Open WebUI als Container gestartet.

5. Erste Nutzung der Weboberfläche

Öffne deinen Browser und gehe zu:

http://localhost:3000

Erstelle ein neues Konto – dieses ist nur lokal. Melde dich an und du landest in der Chat-Oberfläche.

6. Fehlerbehebung: Modell wird nicht angezeigt?

Falls kein Modell auswählbar ist:

1. Finde die Docker-Gateway-IP:

docker network inspect bridge

2. Bearbeite den Ollama-Dienst:

sudo nano /etc/systemd/system/ollama.service

Füge unter [Service] hinzu: Environment=“OLLAMA_HOST=172.17.0.1″

3. Speichern und neu starten:

sudo systemctl daemon-reload
sudo systemctl restart ollama

Jetzt sollte dein Modell in der WebUI erscheinen.

7. Finaler Test

Lade die Seite neu. Wähle das Modell aus und stelle eine Testfrage. Wenn eine Antwort erscheint, ist deine lokale KI bereit!

Installation unter Windows

Voraussetzungen

• Windows 10 oder höher
• Internetzugang
• Administratorrechte
• Genügend Speicherplatz für Modelle

1. Ollama installieren

1. Besuche ollama.com und wähle Windows.
2. Lade die .exe-Datei herunter und führe sie aus.
3. Folge den Setup-Anweisungen.

Nach der Installation kannst du das erste Modell testen:

ollama run llama3.2:1b

Sobald das Modell läuft: Erfolg!

2. Docker Desktop installieren

1. Lade Docker Desktop von docker.com.
2. Installiere es mit Administratorrechten.
3. Akzeptiere die Lizenzbedingungen und folge dem Einrichtungsprozess.
4. Docker sollte nun im Hintergrund laufen (Wal-Symbol in der Taskleiste).

3. Open WebUI starten

Öffne die Eingabeaufforderung und gib ein:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Docker lädt das Image und startet den Container. Erlaube ggf. den Zugriff in der Firewall.

4. Nutzung im Browser

Gehe zu:

http://localhost:3000

Registriere ein lokales Konto. Danach kannst du das Modell auswählen und loschatten. Wenn du eine Antwort bekommst, läuft alles wie gewünscht!

Fazit: Deine eigene KI-Sandbox ist bereit!

Du betreibst jetzt deine eigene lokale KI-Instanz – komplett unter deiner Kontrolle. Die Vorteile:

• Datenschutz: Alles bleibt auf deinem Rechner.
• Offline-Nutzung: Nach dem Download auch ohne Internet verwendbar.
• Flexibilität: Verschiedene Modelle möglich, nach deinen Wünschen.
• Kostenfrei: Keine Lizenzgebühren.

Jetzt kannst du mit weiteren Modellen experimentieren, Funktionen testen oder eigene Anwendungsfälle entwickeln. Viel Freude beim Erkunden deiner persönlichen KI-Sandbox!

Der Beitrag Dein eigenes ChatGPT – lokal, sicher und offline erschien zuerst auf Blog - Jakob Hauer.