Lokaler KI-Chat — Ein LLM, das vollständig im Browser läuft
Führe ein echtes Large Language Model auf deiner eigenen GPU direkt im Browser aus. Wähle ein Modell, lade die Gewichte einmalig herunter (sie werden im Browser zwischengespeichert) und chatte mit gestreamten Antworten — nach dem ersten Laden komplett offlinefähig. Ohne API-Key, ohne Registrierung und kein einziges Token deiner Unterhaltung verlässt dein Gerät.
Anwendungsfälle
So führst du einen KI-Chatbot lokal in deinem Browser aus
Das Tool benötigt WebGPU — integriert in Chrome und Edge ab Version 113 sowie in neueren Safari-Versionen. Fehlt die Unterstützung, siehst du einen Hinweis mit Alternativen.
Wähle Qwen2.5 0.5B (am schnellsten), Llama 3.2 1B (ausgewogen) oder Phi-3.5 Mini (am leistungsfähigsten). Klicke auf Laden — die Gewichte werden einmalig mit Fortschrittsbalken geladen und im Browser zwischengespeichert.
Tippe eine Nachricht und sieh zu, wie die Antwort als Markdown einströmt — inklusive Live-Anzeige der Tokens pro Sekunde. Nutze Stopp, um eine Generierung vorzeitig abzubrechen.
Passe den System-Prompt an, um das Verhalten des Assistenten zu verändern, und exportiere den gesamten Chatverlauf jederzeit als JSON.
Häufig gestellte Fragen
- Wird meine Unterhaltung an einen Server gesendet?
- Nein. Das Modell läuft über WebGPU auf deiner GPU. Nach dem einmaligen Download der Gewichte erfolgt die Inferenz vollständig lokal — Prompts und Antworten verlassen dein Gerät nie. Du kannst sogar offline gehen und weiterschreiben.
- Was ist WebGPU und welche Browser unterstützen es?
- WebGPU ist die Browser-Schnittstelle, die Webseiten direkten Zugriff auf deine GPU gewährt. Chrome und Edge ab Version 113 liefern es standardmäßig mit, neuere Safari-Versionen unterstützen es auf Apple Silicon, und Firefox führt es schrittweise ein. Ohne WebGPU kann das Modell nicht ausgeführt werden.
- Wie groß sind die Modell-Downloads?
- Rund 350MB für Qwen2.5 0.5B, 600MB für Llama 3.2 1B und 2.3GB für Phi-3.5 Mini. Die Gewichte werden im Browser zwischengespeichert, sodass du jedes Modell nur ein einziges Mal herunterlädst.
- Welches Modell sollte ich wählen?
- Starte mit Qwen2.5 0.5B, um die Funktionsfähigkeit zu testen — es lädt am schnellsten. Llama 3.2 1B bietet für die meisten Geräte die beste Balance aus Geschwindigkeit und Qualität. Phi-3.5 Mini liefert die stärksten Antworten, benötigt jedoch rund 4GB GPU-Speicher.
- Warum ist es langsamer als ChatGPT?
- Du führst das Modell auf deiner eigenen Hardware statt in einem Rechenzentrum aus. Auf einer aktuellen Laptop-GPU kannst du bei den kleinen Modellen etwa 10–40 Tokens/s erwarten — die Anzeige für Tokens pro Sekunde zeigt dir die reale Geschwindigkeit.
- Ist das Modell so leistungsfähig wie GPT-4 oder Claude?
- Nein — dies sind Modelle mit 0.5B–3.8B Parametern. Sie eignen sich hervorragend für Entwürfe, Zusammenfassungen, schnelle Fragen und private Experimente, reichen aber nicht an führende Cloud-Modelle heran. Der Gewinn liegt in absoluter Privatsphäre und null Kosten.
Die drei Modelle im ehrlichen Vergleich
Alle drei Modelle laufen 4-Bit-quantisiert über die MLC/web-llm-Laufzeitumgebung auf WebGPU. Die richtige Wahl hängt von deinem GPU-Speicher und deiner Geduld ab: kleinere Downloads und schnellere Tokens versus stärkere Argumentationskraft. Die Werte unten sind typisch für moderne Laptops; eine dedizierte GPU verdoppelt den Durchsatz ungefähr.
| Modell | Download | Benötigter GPU-Speicher | Ideal für |
|---|---|---|---|
| Qwen2.5 0.5B Instruct | ~350MB | ~1GB | Gefühlt sofortige Antworten, schnelle Q&A, leistungsschwächere Hardware und integrierte GPUs |
| Llama 3.2 1B Instruct | ~600MB | ~1GB | Tägliche Entwürfe und Zusammenfassungen — der ausgewogene Standard |
| Phi-3.5 Mini 3.8B | ~2.3GB | ~4GB | Mehrstufige Logik und Programmierfragen — benötigt eine dedizierte GPU oder Apple Silicon |
- Gewichte werden beim ersten Laden von HuggingFace durch die MLC-Runtime abgerufen und über die Cache-API des Browsers gespeichert — spätere Aufrufe überspringen den Download vollständig. Das Löschen von Websitedaten leert den Cache.
- Die Modellliste wird zur Laufzeit anhand des vorkompilierten Katalogs der web-llm-Bibliothek aufgelöst, sodass Versionsnummern mit Bibliotheks-Updates Schritt halten statt zu veralten.
Privatsphäre garantiert. Das KI-Modell läuft über WebGPU auf deiner eigenen GPU — Prompts und Antworten verlassen dein Gerät nie. Das Tool selbst lädt die Modellgewichte nur einmalig herunter (von Hugging Face), danach werden sie im Browser zwischengespeichert; die anonyme Nutzungsanalyse der Seite erfasst deine Prompts zu keinem Zeitpunkt.