本地 AI 对话 — 完全在浏览器中运行的大语言模型
直接在浏览器中使用您自己的 GPU 运行真正的大语言模型。选择模型后仅需下载一次模型权重（本地自动缓存），即可享受流式打字对话——初次加载后完全支持离线运行。无需 API Key，无需注册账号，对话的每一个 Token 都绝不会离开您的设备。
免费无需注册在浏览器中运行
使用场景
针对绝不会粘贴到云端 AI 服务的敏感文本进行提问与处理
在飞行途中的飞机上起草并修改笔记——模型首测下载后完全支持离线使用
为学生或团队成员提供免注册、零成本的 AI 实践沙盒
用您自己的提示词测试并对比小型开源模型（Qwen、Llama、Phi）的表现
在消耗云端模型的付费 API 额度前，在本地快速验证与调试系统提示词
如何在浏览器本地运行 AI 对话机器人
1
检查 WebGPU 支持
本工具依赖 WebGPU——Chrome 与 Edge 113+ 及较新的 Safari 均已内置支持。如果您的浏览器不支持，页面会给出明确提示与替代方案。
2
选择并加载模型
选择 Qwen2.5 0.5B（速度最快）、Llama 3.2 1B（均衡推荐）或 Phi-3.5 Mini（能力最强）。点击“加载”——带有进度条的模型权重仅需下载一次，随后由浏览器本地缓存。
3
流式打字对话
输入消息即可实时查看流式回复，支持 Markdown 排版渲染，并配有实时的每秒 Token 生成速率显示。点击“停止”可随时中止回答。
4
自定义与导出
编辑系统提示词以调整助手的回答风格，并可随时将完整对话记录导出为 JSON 文件。
常见问题
- 我的对话内容会被发送到服务器吗？
- 不会。模型借助 WebGPU 直接在您的本地 GPU 上运行。在一次性下载完权重后，推理过程完全在本地进行——提示词与回答内容绝不会离开您的设备。您甚至可以断网离线继续畅聊。
- 什么是 WebGPU？哪些浏览器支持它？
- WebGPU 是允许网页直接调用本地 GPU 算力的浏览器 API 标准。Chrome 和 Edge 113+ 已默认开启，搭载 Apple Silicon 的 Mac 上的近期 Safari 版本亦提供支持，Firefox 正在逐步推出。若浏览器不支持该特性，模型将无法运行。
- 模型下载的文件有多大？
- Qwen2.5 0.5B 约为 350MB，Llama 3.2 1B 约为 600MB，Phi-3.5 Mini 约为 2.3GB。权重下载后由浏览器持久缓存，每个模型只需下载一次。
- 我应该选择哪款模型？
- 建议先选择 Qwen2.5 0.5B 验证运行环境——它的加载速度最快。Llama 3.2 1B 在大多数设备上提供了最佳的速度与质量平衡。Phi-3.5 Mini 回答能力最出色，但需要约 4GB 的显存。
- 为什么它的生成速度比 ChatGPT 慢？
- 因为您是在自己的个人硬件而非云端大型数据中心上运行模型。在较新的笔记本 GPU 上，小型模型的生成速度通常约为 10–40 tokens/s——界面的每秒 Token 读数会显示您的实际运行速度。
- 它的能力可以媲美 GPT-4 或 Claude 吗？
- 不能——这些是参数量在 0.5B–3.8B 之间的轻量级模型，非常适合撰写草稿、提炼摘要、快速解答疑问以及本地隐私实验，但能力与前沿顶级云端大模型相比仍有差距。其核心优势在于绝对的数据隐私与零使用成本。
三款模型的客观横向对比
三款模型均通过 WebGPU 上的 MLC/web-llm 运行时以 4-bit 量化格式运行。选择哪款模型取决于您的显存容量与响应耐心：更小的下载体积与更快的生成速率，还是更强的逻辑推理能力。以下数据为现代笔记本电脑的典型参考值；独立显卡通常能使吞吐量翻倍。
| 模型 | 下载体积 | 所需显存 | 最擅长场景 |
|---|---|---|---|
| Qwen2.5 0.5B Instruct | ~350MB | ~1GB | 极具即时感的响应速度、快速问答、低配硬件与核显设备 |
| Llama 3.2 1B Instruct | ~600MB | ~1GB | 日常文案撰写与摘要提取——均衡全面的首选 |
| Phi-3.5 Mini 3.8B | ~2.3GB | ~4GB | 多步骤复杂推理与代码问答——建议配备独立显卡或 Apple Silicon |
- 模型权重在首次加载时由 MLC 运行时从 HuggingFace 获取，并通过浏览器 Cache API 本地缓存——后续加载将完全跳过下载过程。清除网站数据将清空该缓存。
- 模型列表会在运行时依据 web-llm 库内置的预构建目录进行解析，因此具体构建 ID 会自动跟随库版本升级，避免配置失效过时。
注重隐私设计。AI 模型通过 WebGPU 直接在您本地的 GPU 上运行——输入提示词与生成回答绝不离开您的设备。工具本身仅在首次使用时从 Hugging Face 下载一次模型权重并缓存在浏览器中；页面的匿名使用情况分析绝不包含您的任何提示词内容。