Back

Jan.ai 入门指南:注重隐私的 ChatGPT 替代方案

OpenReplay Team

Oct 24, 2025 · 2 min read

在不将数据发送到云端的情况下运行类似 ChatGPT 的 AI 模型不仅可行,而且出乎意料地简单。Jan.ai 让本地大语言模型(LLM)对任何重视隐私和控制权的用户都触手可及。

核心要点

Jan.ai 完全在您的计算机上离线运行 AI 模型,确保数据完全隐私
初次下载模型后,无需 API 费用、使用限制或互联网连接
兼容 OpenAI 的 API,可与现有工具和工作流程无缝集成
支持 Windows、macOS 和 Linux,硬件要求极低(最低 8GB 内存)

什么是 Jan.ai?您的开源 AI 助手,提供完整隐私保护

Jan.ai 是一款免费的开源桌面应用程序,可以完全在您的计算机上运行 AI 语言模型。与 ChatGPT 或 Claude 不同,Jan.ai 在初始设置后可 100% 离线运行,无需任何互联网连接即可提供类似 ChatGPT 的功能。它基于超快速的 llama.cpp 引擎构建,支持 Llama 3、Mistral 和 Qwen 等流行模型,同时保持完全的数据隐私。

Jan.ai 采用 Apache 2.0 许可证发布,代表了社区驱动的 AI 可访问性方法。它将您的个人计算机转变为私有 AI 工作站,配备兼容 OpenAI 的 API,可与现有工具和工作流程无缝集成。

为什么本地 LLM 很重要:注重隐私的 AI 案例

数据主权和零云依赖

您发送到云端 AI 服务的每个提示都会成为其数据生态系统的一部分。使用 Jan.ai,您的对话永远不会离开您的机器。这不仅仅是关于隐私偏好——对于处理敏感信息的专业人士来说,这是必不可少的。审查机密文件的律师、讨论患者病例的医生以及开发专有代码的开发人员都可以从这个保证零数据泄露的离线 ChatGPT 替代方案中受益。

该应用程序可在完全隔离的环境中工作,非常适合限制或监控互联网访问的高安全性环境。您的 AI 助手真正属于您,没有遥测数据、没有使用跟踪,也不会因远程更新而导致意外的模型行为变化。

成本和控制优势

云端 AI 服务按 token 收费,施加速率限制,并可能在不通知的情况下更改价格。Jan.ai 完全消除了这些限制。一旦下载了模型,您就可以无限制地生成响应,无需额外费用。唯一的限制是您的硬件能力和电费。

您还可以完全控制模型行为。没有无法调整的内容过滤器,没有突然的功能限制,也没有服务中断。如果一个模型今天能工作,明天也会以相同方式工作。

安装 Jan.ai:快速设置您的离线 ChatGPT 替代方案

系统要求

Jan.ai 可在配置相当适中的硬件上运行。最低要求包括 8GB 内存和支持 AVX2 的 CPU(2013 年以后的大多数处理器)。为了获得最佳性能,16GB 内存和独立 GPU 将显著提高响应时间。该应用程序支持 Windows、macOS(Intel 和 Apple Silicon)以及 Linux 发行版。

安装过程

直接从 jan.ai 或 GitHub 发布页面下载 Jan.ai。安装遵循每个平台的标准约定:Windows 的 .exe 安装程序、macOS 的 .dmg 和 Linux 的 AppImage。整个过程不到五分钟。

首次启动时,Jan.ai 呈现简洁直观的界面。无需复杂配置——默认设置适用于大多数用户。应用程序会自动检测您的硬件并相应优化。

使用 Jan.ai 运行您的第一个本地 LLM

选择和下载模型

点击 Hub 图标浏览可用模型。对于初学者,Mistral 7B Instruct 在功能和资源使用之间提供了出色的平衡。拥有 16GB 以上内存的用户可以探索更大的模型,如 Llama 3.1 8B,以获得更好的性能。

选择模型时请注意量化级别。Q4_K_M 量化在模型质量和资源使用之间提供了最佳平衡。Q3 变体运行更快但准确性降低,而 Q5 变体以增加内存使用为代价提供略好的质量。

您的第一次对话

下载模型后(通常为 3-7GB),从您的库中选择它并开始聊天。界面与熟悉的 AI 聊天应用程序相似——输入您的提示并实时接收响应。响应速度取决于您的硬件,但即使在配置适中的系统上,小型模型也能提供可用的性能。

根据需要调整上下文窗口。较长的上下文(4096+ tokens)支持扩展对话,但需要更多内存。对于快速问题,2048 tokens 就足够了,并且能保持响应快速。

解锁 Jan.ai 兼容 OpenAI 的 API

启用本地 API 服务器

Jan.ai 的突出功能是其兼容 OpenAI 的 API 服务器。导航到”设置”>“本地 API 服务器”并一键启用。默认端点运行在 http://localhost:1337,接受与 OpenAI API 相同的请求格式。

将任何字符串设置为您的 API 密钥——它仅用于本地身份验证。如果您正在构建 Web 应用程序,请启用 CORS。这种兼容性意味着任何与 OpenAI API 配合使用的工具都可以将 Jan.ai 作为即插即用的替代品。

集成示例

在您的 Python 项目中用 Jan.ai 替换 OpenAI:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1337/v1",
    api_key="local"
)

response = client.chat.completions.create(
    model="mistral-7b-instruct",
    messages=[{"role": "user", "content": "Explain quantum computing"}]
)

print(response.choices[0].message.content)

对于 VS Code 用户,Continue.dev 使用 Jan.ai 的本地模型提供 AI 驱动的编码辅助。只需将其指向您的本地端点,即可享受类似 GitHub Copilot 的功能,无需订阅费用。

个人 AI 环境的未来

Jan.ai 不仅仅是一个离线 ChatGPT 替代方案——它是个人 AI 计算未来的一瞥。随着模型变得更加高效,硬件变得更加强大,本地 AI 和云端 AI 之间的差距继续缩小。像 Jan.ai 这样的工具证明,注重隐私的 AI 不是妥协,而是希望控制其 AI 交互的用户的合理选择。

向本地 LLM 的转变反映了更广泛的数据主权和个人计算自主权运动。使用 Jan.ai,您不仅仅是在使用 AI——您拥有它。

结论

Jan.ai 在保护用户隐私和控制权的同时,使强大的 AI 访问民主化。通过在本地运行模型,它消除了困扰基于云的解决方案的功能与保密性之间的权衡。无论您是寻求离线编码助手的开发人员、处理敏感数据的专业人士,还是仅仅重视数字隐私的人,Jan.ai 都为您的个人 AI 基础设施提供了坚实的基础。AI 的未来不必存在于他人的数据中心——它可以在您的桌面上运行。

常见问题

Jan.ai 可以运行许多最先进的开放模型,如 Llama 3.1、Mistral 和 Qwen,它们的性能可与 GPT-3.5 相媲美。虽然 GPT-4 级别的模型需要更多资源,但随着每个新开放模型的发布,差距正在迅速缩小。

Jan.ai 本身需要约 500MB。每个模型根据大小和量化需要 3-15GB。大多数用户发现 50GB 足以容纳应用程序和几个不同功能的模型。

Jan.ai 可在任何配备 8GB 内存和 2013 年或更新的 CPU 的计算机上运行。虽然 GPU 可以显著加快响应速度,但并非必需。即使是配置适中的笔记本电脑也可以以可接受的性能运行较小的模型。

可以,Jan.ai 及其支持的大多数模型都具有允许商业使用的宽松许可证。请始终验证您下载的每个模型的具体许可证,因为有些模型对商业部署有限制。

Understand every bug

Uncover frustrations, understand bugs and fix slowdowns like never before with OpenReplay — the open-source session replay tool for developers. Self-host it in minutes, and have complete control over your customer data. Check our GitHub repo and join the thousands of developers in our community.