Chat com IA local — Um LLM rodando direto no seu navegador
Rode um modelo de linguagem real na sua própria GPU, dentro do navegador. Escolha um modelo, baixe os pesos uma única vez (ficam em cache) e converse com respostas em streaming — totalmente utilizável offline após o primeiro carregamento. Sem chave de API, sem conta e sem nenhum token da sua conversa saindo do aparelho.
Casos de uso
Como rodar um chatbot de IA localmente no navegador
A ferramenta precisa do WebGPU — integrado ao Chrome e Edge 113+ e Safari recente. Se seu navegador não tiver suporte, uma mensagem com alternativas será exibida.
Escolha Qwen2.5 0.5B (mais rápido), Llama 3.2 1B (equilibrado) ou Phi-3.5 Mini (mais capaz). Clique em Carregar — os pesos são baixados uma vez com barra de progresso e ficam salvos em cache.
Digite uma mensagem e acompanhe a resposta em tempo real, renderizada em markdown, com leitura de tokens por segundo ao vivo. Use Parar para interromper uma resposta.
Edite o prompt de sistema para ajustar o comportamento do assistente e exporte toda a conversa como JSON a qualquer momento.
Perguntas frequentes
- Minha conversa é enviada para algum servidor?
- Não. O modelo roda na sua GPU via WebGPU. Após o download inicial dos pesos, a inferência é totalmente local — prompts e respostas nunca saem do seu dispositivo. Você pode até ficar offline e continuar conversando.
- O que é WebGPU e quais navegadores oferecem suporte?
- WebGPU é a API do navegador que permite às páginas web acessar sua GPU. O Chrome e o Edge 113+ já vêm com ele ativado, o Safari recente suporta em Apple Silicon e o Firefox está implementando. Sem ele, o modelo não roda.
- Qual é o tamanho do download dos modelos?
- Aproximadamente 350MB para o Qwen2.5 0.5B, 600MB para o Llama 3.2 1B e 2.3GB para o Phi-3.5 Mini. Os pesos ficam em cache no navegador, então você só baixa cada modelo uma vez.
- Qual modelo devo escolher?
- Comece com o Qwen2.5 0.5B para confirmar que tudo funciona — ele carrega mais rápido. O Llama 3.2 1B oferece o melhor equilíbrio entre velocidade e qualidade para a maioria dos computadores. O Phi-3.5 Mini gera respostas melhores, mas requer cerca de ~4GB de memória de GPU.
- Por que ele é mais lento que o ChatGPT?
- Você está rodando o modelo no seu próprio hardware em vez de um data center. Na GPU de um notebook recente, espere cerca de 10–40 tokens/s nos modelos menores — o contador de tokens por segundo exibe sua velocidade real.
- Ele é tão capaz quanto o GPT-4 ou o Claude?
- Não — esses são modelos de 0.5B–3.8B parâmetros, excelentes para rascunhos, resumos, dúvidas rápidas e testes com privacidade, mas bem abaixo dos modelos de ponta em nuvem. A vantagem é privacidade absoluta e custo zero.
Os três modelos, comparados com honestidade
Todos os três modelos rodam com quantização de 4-bit pelo runtime MLC/web-llm sobre WebGPU. A escolha ideal depende da memória da sua GPU e da sua paciência: downloads menores e tokens mais rápidos contra raciocínio mais robusto. Os números abaixo são típicos de um notebook moderno; uma GPU dedicada praticamente dobra o desempenho.
| Modelo | Download | Memória de GPU necessária | Melhor para |
|---|---|---|---|
| Qwen2.5 0.5B Instruct | ~350MB | ~1GB | Respostas com sensação instantânea, perguntas rápidas, hardware básico e iGPUs |
| Llama 3.2 1B Instruct | ~600MB | ~1GB | Redação e resumos do dia a dia — o padrão equilibrado |
| Phi-3.5 Mini 3.8B | ~2.3GB | ~4GB | Raciocínio em várias etapas e dúvidas de programação — requer GPU dedicada ou Apple Silicon |
- Os pesos são baixados do HuggingFace pelo runtime MLC no primeiro carregamento e salvos via Cache API do navegador — carregamentos posteriores dispensam totalmente o download. Limpar os dados do site esvazia o cache.
- A lista de modelos é resolvida em tempo de execução com base no catálogo pré-compilado da biblioteca web-llm, acompanhando as atualizações da biblioteca sem ficar desatualizada.
Privacidade por padrão. O modelo de IA roda na sua própria GPU via WebGPU — comandos e respostas nunca saem do seu dispositivo. A ferramenta apenas baixa os pesos do modelo uma vez (do Hugging Face) e seu navegador os mantém em cache; as estatísticas anônimas de uso da página nunca incluem seus prompts.