本地部署
离线部署工具
让你的本地设备能承载智慧的大脑
| 排名 | 工具 | Stars | 简介 | 详情 |
|---|---|---|---|---|
| 1 | Ollama | ⭐ 173.6k | 一键本地运行 Llama、Mistral、DeepSeek 等 100+ 大模型 | 查看详情 |
| 2 | Open WebUI | ⭐ 140.7k | 功能最全的自托管 AI 平台，支持 Ollama/OpenAI API，内置 RAG 引擎 | 查看详情 |
| 3 | vLLM | ⭐ 82.2k | 高吞吐量 LLM 推理引擎，PagedAttention 技术使显存利用率提升 24 倍 | 查看详情 |
| 4 | GPT4All | ⭐ 77.4k | 零配置本地运行 LLM 的桌面应用，无需 GPU，隐私安全 | 查看详情 |
| 5 | exo | ⭐ 45.2k | 多设备分布式 AI 推理，将 Mac/iPhone/iPad 组成集群运行大模型 | 查看详情 |