LocalAI 是 OpenAI 的免费开源替代方案。LocalAI 可作为 REST API 的替代，兼容 OpenAI（Elevenlabs、Anthropic 等）API 规范，用于本地 AI 推理。它允许您在本地或使用消费级硬件运行 LLM、生成图像、音频（以及其他内容），并支持多种模型系列。LocalAI 无需 GPU 计算。它由 Ettore Di Giacinto 创建和维护。

🚀 功能

🧩 后端库 ：由 OCI 图像提供支持，动态安装/删除后端——完全可定制和 API 驱动。

📖 使用 GPT 生成文本 （ llama.cpp 、 transformers 、 vllm ...... 📖 等等 ）

🗣 文本转音频

🔈 音频转文本 （使用 whisper.cpp 进行音频转录）

🎨 图像生成

🔥 类似 OpenAI 的工具 API

🧠 向量数据库的嵌入生成

✍ 受限语法

🖼 直接从 Huggingface 下载模型

🥽 视觉 API

🔍 物体检测

📈 重新排序 API

🆕🖧 P2P 推理

代理能力

🔊 语音活动检测（Silero-VAD 支持）

🌍 集成 WebUI！