GPT Crawler

Web 应用开发编程
立即访问
应用介绍

GPT Crawler 是一个开源网站爬取与知识生成工具,可从任意网站提取内容并生成可直接上传至 OpenAI 的结构化知识文件。它让开发者能够快速构建专属的自定义 GPT 或智能助手,从文档网站、博客到内部知识库,均可轻松实现自动抓取与知识化。


💫 主要功能:

🌐 网站爬取:支持多 URL 批量抓取与内容提取

📁 知识文件生成:输出结构化 JSON 文件

灵活配置:可自定义 URL、选择器与爬取范围

🧠 OpenAI 集成:直接创建自定义 GPT 或助手

🐳 支持 Docker 与 API:适用于自动化工作流

🧰 数据控制:可限制文件大小与 token 数量