Chat AI Lokal — LLM yang Berjalan Sepenuhnya di Browser Anda
Jalankan model bahasa besar nyata di GPU Anda sendiri, langsung di browser. Pilih model, unduh bobot model satu kali saja (tersimpan di cache), dan mengobrollah dengan respons streaming — dapat berfungsi offline sepenuhnya setelah pemuatan pertama. Tanpa API key, tanpa akun, dan tidak ada satu token pun dari percakapan Anda yang keluar dari perangkat.
Kasus Penggunaan
Cara menjalankan chatbot AI secara lokal di browser Anda
Alat ini membutuhkan WebGPU — sudah terpasang di Chrome dan Edge 113+ serta Safari versi terkini. Jika browser Anda belum mendukungnya, Anda akan melihat pesan panduan berisi opsi alternatif.
Pilih Qwen2.5 0.5B (tercepat), Llama 3.2 1B (seimbang), atau Phi-3.5 Mini (paling mumpuni). Klik Muat — bobot diunduh satu kali dengan bilah kemajuan dan disimpan di cache browser Anda.
Ketik pesan dan saksikan balasan mengalir secara langsung, ditampilkan sebagai markdown, dengan pembacaan token-per-detik secara real-time. Gunakan tombol Berhenti untuk menyudahi respons.
Edit system prompt untuk mengubah perilaku asisten, dan ekspor seluruh percakapan sebagai JSON kapan saja.
Pertanyaan yang Sering Diajukan
- Apakah percakapan saya dikirim ke server?
- Tidak. Model berjalan di GPU Anda melalui WebGPU. Setelah pengunduhan bobot satu kali selesai, proses inferensi berlangsung sepenuhnya lokal — prompt dan jawaban tidak pernah meninggalkan perangkat Anda. Anda bahkan bisa mematikan internet dan tetap mengobrol.
- Apa itu WebGPU dan browser mana saja yang mendukungnya?
- WebGPU adalah API browser yang memberi akses bagi halaman web ke GPU Anda. Chrome dan Edge 113+ telah mengaktifkannya secara bawaan, Safari versi terkini mendukungnya di Apple Silicon, dan Firefox sedang meluncurkannya secara bertahap. Tanpa WebGPU, model tidak dapat berjalan.
- Berapa ukuran unduhan model?
- Sekitar 350MB untuk Qwen2.5 0.5B, 600MB untuk Llama 3.2 1B, dan 2.3GB untuk Phi-3.5 Mini. Bobot disimpan di cache browser, sehingga Anda hanya perlu mengunduh setiap model satu kali saja.
- Model mana yang sebaiknya saya pilih?
- Mulailah dengan Qwen2.5 0.5B untuk memastikan semuanya berjalan lancar — model ini paling cepat dimuat. Llama 3.2 1B adalah keseimbangan terbaik antara kecepatan dan kualitas untuk sebagian besar komputer. Phi-3.5 Mini memberikan jawaban terbaik tetapi memerlukan memori GPU ~4GB.
- Mengapa kecepatannya lebih lambat dibandingkan ChatGPT?
- Anda menjalankan model di perangkat keras Anda sendiri, bukan di pusat data (datacenter). Pada GPU laptop keluaran baru, Anda bisa memperkirakan sekitar 10–40 tokens/s untuk model-model kecil — tampilan token per detik menunjukkan kecepatan sebenarnya.
- Apakah kemampuannya setara dengan GPT-4 atau Claude?
- Tidak — ini adalah model parameter 0.5B–3.8B, sangat bagus untuk membuat draf, merangkum, pertanyaan cepat, dan eksperimen pribadi, tetapi masih di bawah model cloud mutakhir. Keunggulannya adalah privasi mutlak dan tanpa biaya sama sekali.
Perbandingan jujur ketiga model
Ketiga model dijalankan dengan kuantisasi 4-bit melalui runtime MLC/web-llm pada WebGPU. Pilihan terbaik bergantung pada memori GPU dan kesabaran Anda: unduhan lebih kecil dan token lebih cepat vs penalaran yang lebih kuat. Angka di bawah adalah perkiraan umum untuk laptop modern; GPU diskret bisa melipatgandakan kecepatannya.
| Model | Unduhan | Kebutuhan memori GPU | Paling cocok untuk |
|---|---|---|---|
| Qwen2.5 0.5B Instruct | ~350MB | ~1GB | Balasan yang terasa instan, tanya jawab cepat, perangkat keras kelas bawah dan iGPU |
| Llama 3.2 1B Instruct | ~600MB | ~1GB | Menyusun draf harian dan merangkum — pilihan standar yang seimbang |
| Phi-3.5 Mini 3.8B | ~2.3GB | ~4GB | Penalaran multi-langkah dan pertanyaan pemrograman — memerlukan GPU diskret atau Apple Silicon |
- Bobot model diambil dari HuggingFace oleh runtime MLC pada pemuatan pertama dan disimpan melalui Cache API browser — pemuatan berikutnya tidak memerlukan unduhan sama sekali. Menghapus data situs akan membersihkan cache ini.
- Daftar model diproses saat runtime menggunakan katalog bawaan pustaka web-llm, sehingga id build yang digunakan selalu mengikuti pembaruan pustaka dan tidak usang.
Privasi terjaga secara bawaan. Model AI berjalan di GPU Anda melalui WebGPU — prompt dan respons tidak pernah keluar dari perangkat Anda. Alat ini hanya mengunduh bobot model satu kali (dari Hugging Face), lalu browser menyimpannya di cache; analitik penggunaan anonim di halaman ini tidak pernah menyertakan prompt Anda.