ローカルAIチャット — 完全ブラウザ完結で動作するLLM
ブラウザ内でお使いの GPU を活用し、本格的な大規模言語モデル（LLM）を実行できます。モデルを選択して初回のみ重みデータをダウンロード（自動キャッシュ）すれば、ストリーミング形式でチャットが可能です。初回読み込み後は完全オフラインでも動作。API キーやアカウント登録は不要で、会話のトークンが端末外に送信されることは一切ありません。
活用事例
ブラウザ上でローカルAIチャットを実行する方法
このツールは WebGPU を必要とします。Chrome および Edge 113+ や最新の Safari に標準搭載されています。非対応のブラウザの場合は代替手段を含むメッセージが表示されます。
Qwen2.5 0.5B（最速）、Llama 3.2 1B（バランス型）、Phi-3.5 Mini（高性能）から選択します。「Load」をクリックするとプログレスバーとともにモデルがダウンロードされ、ブラウザにキャッシュされます。
メッセージを入力すると、リアルタイムのトークン生成速度（tokens/s）とともに回答がマークダウン形式でストリーミング表示されます。「Stop」をクリックすれば生成を途中で中断できます。
システムプロンプトを編集して AI の応答傾向を変更したり、会話履歴全体をいつでも JSON 形式でエクスポートしたりできます。
よくある質問
- 会話データはサーバーに送信されますか？
- いいえ。モデルは WebGPU を介してご自身の GPU 上で直接実行されます。初回の重みダウンロード後は推論処理がすべてローカルで完結するため、プロンプトや回答が端末の外に出ることは一切ありません。オフライン環境でもそのままチャットを続けられます。
- WebGPU とは何ですか？どのブラウザが対応していますか？
- WebGPU は、ウェブページから端末の GPU にアクセスするためのブラウザ API です。Chrome および Edge 113+ では標準で有効化されており、Apple Silicon を搭載した Mac の最新 Safari でも利用できます。Firefox も順次対応を進めています。WebGPU に非対応の環境ではモデルを実行できません。
- モデルのダウンロードサイズはどのくらいですか？
- Qwen2.5 0.5B で約 350MB、Llama 3.2 1B で約 600MB、Phi-3.5 Mini で約 2.3GB です。重みデータはブラウザにキャッシュされるため、各モデルのダウンロードは初回の一度だけで済みます。
- どのモデルを選ぶべきですか？
- まずは動作確認を兼ねて、最も読み込みが速い Qwen2.5 0.5B から試すのがおすすめです。Llama 3.2 1B は多くの環境で速度と精度のバランスが最も優れています。Phi-3.5 Mini は最も高い回答精度を持ちますが、約 ~4GB の GPU メモリを必要とします。
- ChatGPT などのクラウドサービスより遅いのはなぜですか？
- 大規模データセンターではなく、お手元の端末のハードウェア上でモデルを実行しているためです。近年のノート PC の GPU であれば、軽量モデルで約 10–40 tokens/s の速度が期待できます。画面上の表示で実際の生成速度を確認できます。
- GPT-4 や Claude と同等の性能がありますか？
- いいえ。これらは 0.5B–3.8B パラメータの軽量モデルであり、下書き作成、要約、簡単な質問、プライバシー重視の実験用途に適していますが、最新の商用クラウドモデルには及びません。その代わり、完全なプライバシー保護と完全無料での利用が実現されています。
三つのモデルの率直な性能比較
三つのモデルはいずれも WebGPU 上で MLC/web-llm ランタイムを介して 4-bit 量子化で実行されます。選択のポイントは GPU メモリの容量と求める応答速度です。ダウンロード容量が小さく高速なモデルか、思考力に優れたモデルかを用途に合わせて選びます。以下の数値は一般的なノート PC での目安であり、ディスクリート GPU を搭載している場合は処理速度がおよそ倍増します。
| モデル | ダウンロードサイズ | 必要なGPUメモリ | 最適な用途 |
|---|---|---|---|
| Qwen2.5 0.5B Instruct | ~350MB | ~1GB | 即座に返ってくる応答、簡単な質疑応答、低スペック機器や内蔵 GPU |
| Llama 3.2 1B Instruct | ~600MB | ~1GB | 日常的な下書き作成や要約 — 最もバランスの取れた標準の選択肢 |
| Phi-3.5 Mini 3.8B | ~2.3GB | ~4GB | 複数ステップの論理的推論やコードの質問 — ディスクリート GPU または Apple Silicon 推奨 |
- 重みデータは初回読み込み時に MLC ランタイムによって HuggingFace から取得され、ブラウザの Cache API を介して保存されます。以降の読み込みではダウンロードが不要になります。サイトデータを消去するとキャッシュも削除されます。
- モデル一覧は実行時に web-llm ライブラリのビルド済みカタログと照合されるため、ライブラリの更新に合わせて常に最新のビルド ID が使用されます。
プライバシーに配慮した設計です。AI モデルは WebGPU を介してお使いの GPU 上で直接実行され、プロンプトや回答が端末の外に送信されることはありません。ツール自体は（Hugging Face から）モデルの重みデータを初回のみダウンロードし、ブラウザにキャッシュします。ページの匿名アクセス解析に入力内容が含まれることは一切ありません。