Chat con IA local — Un LLM ejecutado en tu navegador
Ejecuta un modelo de lenguaje amplio real directamente en tu propia GPU, dentro del navegador. Elige un modelo, descarga los pesos una sola vez (se guardan en caché) y chatea con respuestas en tiempo real: funciona totalmente sin conexión tras la carga inicial. Sin claves API, sin cuentas y sin que un solo token de tu conversación salga de tu dispositivo.
Casos de uso
Cómo ejecutar un chatbot con IA local en tu navegador
La herramienta requiere WebGPU, disponible de forma integrada en Chrome y Edge 113+ y en versiones recientes de Safari. Si tu navegador no lo admite, verás un mensaje claro con alternativas.
Selecciona Qwen2.5 0.5B (el más rápido), Llama 3.2 1B (equilibrado) o Phi-3.5 Mini (el más capaz). Haz clic en Cargar: los pesos se descargan una sola vez con una barra de progreso y tu navegador los guarda en caché.
Escribe un mensaje y observa cómo la respuesta aparece al instante, formateada en markdown y con un indicador en vivo de tokens por segundo. Usa Detener para pausar una respuesta en cualquier momento.
Edita el mensaje del sistema para modificar el comportamiento del asistente y exporta toda la conversación en formato JSON cuando quieras.
Preguntas frecuentes
- ¿Se envía mi conversación a algún servidor?
- No. El modelo se ejecuta en tu GPU mediante WebGPU. Tras la descarga inicial de los pesos, la inferencia es totalmente local: los mensajes y respuestas nunca salen de tu dispositivo. Incluso puedes desconectarte de internet y seguir chateando.
- ¿Qué es WebGPU y qué navegadores lo admiten?
- WebGPU es la API del navegador que permite a las páginas web acceder a la potencia de tu GPU. Chrome y Edge 113+ la incluyen activada, versiones recientes de Safari la admiten en Apple Silicon y Firefox está implementándola. Sin ella, el modelo no puede ejecutarse.
- ¿Cuánto pesan las descargas de los modelos?
- Aproximadamente 350MB para Qwen2.5 0.5B, 600MB para Llama 3.2 1B y 2.3GB para Phi-3.5 Mini. Los pesos se guardan en la caché del navegador, por lo que solo descargas cada modelo una vez.
- ¿Qué modelo debería elegir?
- Comienza con Qwen2.5 0.5B para comprobar que todo funcione: es el que carga más rápido. Llama 3.2 1B ofrece el mejor equilibrio entre velocidad y calidad para la mayoría de los equipos. Phi-3.5 Mini proporciona las respuestas más sólidas, pero requiere unos ~4GB de memoria GPU.
- ¿Por qué es más lento que ChatGPT?
- Porque ejecutas el modelo en tu propio hardware y no en un centro de datos. En una laptop moderna puedes esperar entre 10–40 tokens/s con los modelos pequeños; el indicador de tokens por segundo muestra tu velocidad real.
- ¿Tiene la misma capacidad que GPT-4 o Claude?
- No: son modelos de entre 0.5B–3.8B parámetros, ideales para redactar, resumir, responder dudas rápidas y experimentar en privado, pero están lejos de los modelos comerciales de frontera. La gran ventaja es la privacidad total y costo cero.
Comparativa sincera entre los tres modelos
Los tres modelos se ejecutan cuantizados a 4-bit a través del motor MLC/web-llm sobre WebGPU. La elección ideal depende de la memoria de tu GPU y tu paciencia: descargas más ligeras y generación de tokens más rápida frente a mayor capacidad de razonamiento. Las cifras siguientes son típicas para una laptop moderna; una GPU dedicada prácticamente duplica el rendimiento.
| Modelo | Descarga | Memoria GPU requerida | Ideal para |
|---|---|---|---|
| Qwen2.5 0.5B Instruct | ~350MB | ~1GB | Respuestas prácticamente instantáneas, preguntas y respuestas rápidas, equipos modestos y gráficos integrados |
| Llama 3.2 1B Instruct | ~600MB | ~1GB | Redacción y resúmenes cotidianos: la opción estándar equilibrada |
| Phi-3.5 Mini 3.8B | ~2.3GB | ~4GB | Razonamiento paso a paso y dudas de programación: requiere GPU dedicada o Apple Silicon |
- Los pesos se obtienen desde HuggingFace mediante el motor MLC en la primera carga y se almacenan a través de la Cache API del navegador; las cargas siguientes omiten la descarga por completo. Borrar los datos del sitio vacía la memoria caché.
- El catálogo de modelos se consulta en tiempo de ejecución contra la lista predefinida de la biblioteca web-llm, por lo que los identificadores exactos de compilación se actualizan con la biblioteca sin quedar obsoletos.
Privacidad garantizada. El modelo de IA se ejecuta directamente en tu GPU mediante WebGPU: las instrucciones y respuestas nunca salen de tu dispositivo. La herramienta solo descarga los pesos del modelo una vez (desde Hugging Face) y tu navegador los almacena en caché; las estadísticas anónimas de uso de la página nunca incluyen tus mensajes.