为 AI 应用准备网页数据

项目内容构成

Firecrawl 提供 scrape、crawl、map、batch scrape、search、extract、agent 等能力。单页 scrape 适合把一个 URL 转成 Markdown；crawl 适合遍历网站；map 用于发现站点 URL；extract 可以按 schema 提取结构化字段；agent 则让系统根据目标在网站之间探索并收集信息。

对 AI 产品来说，网页数据经常是外部知识入口。直接把 HTML 扔给模型既浪费 token，也容易混入导航、广告和脚本。Firecrawl 的价值是把网页内容整理成更适合检索、总结、比对和入库的形式。

运行逻辑

典型流程是：客户端提交 URL 和目标格式，Firecrawl 抓取页面，处理渲染、链接、正文抽取和格式转换，然后返回 Markdown、HTML、截图或结构化 JSON。对于 crawl 任务，系统会返回任务 ID，再异步查询状态和结果。

如果用于 RAG，常见做法是先用 map 找到目标页面，再用 crawl 或 batch scrape 抓取内容，清洗后切分成 chunks，写入向量数据库，最后在问答时检索相关片段。

如何安装与使用

Firecrawl 可以使用云 API，也可以参考仓库的 self-host 文档自部署。最小 API 调用示例是抓取一个站点页面并返回 Markdown：

curl -X POST 'https://api.firecrawl.dev/v2/crawl' \
  -H 'Authorization: Bearer fc-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "url": "https://docs.firecrawl.dev",
    "limit": 100,
    "scrapeOptions": { "formats": ["markdown"] }
  }'

使用建议

抓取网页必须尊重目标网站服务条款、robots 规则、版权与隐私要求。不要把付费内容、个人信息或禁止抓取的数据直接用于训练或公开分发。技术上还要注意速率限制、缓存、失败重试和来源记录，否则后续问答系统很难解释答案来自哪里。