FastChat

Web 应用对话聊天
立即访问
应用介绍

FastChat 是一个开源的 多模型聊天框架,支持运行和管理多个开源大语言模型(如 Vicuna、LLaMA、ChatGLM 等),并提供 OpenAI API 兼容接口。它让开发者能够快速搭建 ChatGPT 类似的聊天应用,同时支持分布式推理和模型服务。


🌟核心特性与功能:

💬 聊天对话支持:提供 WebUI 聊天界面,支持多模型交互

🔑 OpenAI API 兼容:可用与 ChatGPT 相同的 API 格式调用本地或开源模型

🔄 多模型管理:支持 Vicuna、LLaMA、ChatGLM 等多种开源大模型

分布式推理:支持多 GPU/多节点分布式部署,提升推理性能

🛠 开发者友好:提供 RESTful API,方便集成到现有应用

🌐 社区活跃:由 lm-sys 团队维护,生态丰富,更新频繁