在自己电脑上跑 AI 的开源工具

数据不出本机，无需订阅。

1. rtkrtk-ai/rtk新★ 84.5kApache-2.0Rust

   CLI代理工具，可減少LLM的token消耗60-90%

   單一Rust二進制文件，無依賴

   brew install rtk # macOS / Linux winget install rtk-ai.rtk # Windows curl -fsSL https://raw.githubusercontent.com/rtk-ai/rtk/refs/heads/master/install.sh | sh复制
2. unslothunslothai/unsloth新★ 78.5kApache-2.0Python

   本地运行和训练大型语言模型及扩散模型的图形界面应用

   支持多种模型格式和GPU加速

   curl -fsSL https://unsloth.ai/install.sh | sh复制
3. Ollamaollama/ollama★ 185kMITGo

   一行指令在本地下载并运行 Qwen、DeepSeek、Gemma、gpt-oss 等开放权重模型，并提供 OpenAI 兼容 API。

   几乎所有本地 AI 工具都以它为后端，装好后浏览器扩展、笔记插件、编码 agent 都能直接接上。

   brew install ollama复制Linux：curl -fsSL https://ollama.com/install.sh | sh
4. Open WebUIopen-webui/open-webui★ 157k自定义许可Python

   自架的 ChatGPT 式网页界面，可接 Ollama 与任何 OpenAI 兼容 API，内置 RAG、网页搜索、多用户与 MCP。

   适合在家用服务器或 NAS 上架一套给全家或小团队共用，功能完整度在自架界面中最高。

   pip install open-webui && open-webui serve复制或 Docker
5. Cherry StudioCherryHQ/cherry-studio★ 52.9kAGPL-3.0TypeScript

   跨平台桌面 AI 客户端，一个界面集成多家云端模型与本地 Ollama，内置知识库、MCP、agent 与 300+ 助手范本。

   华人团队开发、繁简中文界面完整，对 DeepSeek、通义、Kimi 等中国模型与海外模型都支持，设置门槛低。

   安装官网 cherryai.com 或 GitHub Releases 下载安装档
6. Janjanhq/jan★ 45.1k自定义许可Rust

   完全脱机运行的 ChatGPT 式桌面 App，内置模型下载与 llama.cpp 引擎，也能切换到云端 API。

   对不想碰终端的人最友善的本地 LLM 方案，Tauri 打包、体积小，可同时当本地 API 服务器。

   brew install --cask jan复制
7. Handycjpais/Handy★ 34.5kMITRust

   按下快捷键说话，就用本地 Whisper／Parakeet 模型把语音转成文字，直接输入到任何应用程序。

   完全脱机、免费，是 Superwhisper、Wispr Flow 等付费听写工具的开源替代，支持中文辨识。

   安装GitHub Releases 下载 macOS／Windows／Linux 安装档

更新于 2026年10月25日 · ★ GitHub