CrawlForge MCP

CrawlForge MCP 是一个全面的网页抓取平台，提供 31 个专业工具用于从网站提取数据。它专为 AI 应用而设计，支持 Model Context Protocol (MCP)，非常适合与 Claude、Cursor 及其他 AI 工具配合使用。主要功能包括：31 个强大的抓取工具（fetch_url、deep_research、stealth_mode 等）基于 credits 的定价，成本可预测支持 RESTful API 和 MCP 协议免费方案含 1,000 个一次性试用 credits企业级安全与可靠性

REST API 提供 31 个工具，所有方案（包括免费方案）都可以调用全部工具。并没有——CrawlForge MCP 服务器提供的是同样的 31 个工具。自从 extract_embedded_state（2 credits，读取页面中嵌入的 JavaScript 状态而非渲染后的 HTML）在 MCP 工具之外也有了 REST 端点起，两个接口就已经完全一致。两个接口的 credits 费用完全相同，因此无论通过 REST 还是 MCP 调用，同一个工具的费用都一样。

上手简单，耗时不到 5 分钟：注册： 在 crawlforge.dev/signup 创建一个免费账户获取 API Key： 进入 控制台 → 设置，生成你的 API Key发起第一次请求： 使用 API Key 调用我们 31 个工具中的任何一个你将获得 1,000 个免费 credits——无需信用卡！详细说明请参阅我们的快速上手指南。

免费方案包括：1,000 个一次性试用 credits（不按月重置）可使用全部 31 个工具（功能与付费套餐相同）速率限制： 每秒 1 次请求数据保留： 30 天用量日志支持： 通过 Discord 和文档提供社区支持非常适合测试、小型项目和原型开发。注册无需信用卡。查看所有套餐 →

Model Context Protocol (MCP) 是由 Anthropic 创建的开放标准，用于在 AI 应用与外部数据源之间实现无缝通信。它让 Claude 等 AI 模型能够直接访问网页抓取工具，而无需手动进行 API 集成。MCP 的优势：在 Claude Desktop、Cursor 及其他兼容 MCP 的应用中直接使用 CrawlForge 工具无需编写代码——只需自然语言指令根据你的需求自动选择工具所有 MCP 服务器通用的标准化接口在我们的 MCP 协议指南中了解更多。

下面是一个使用 fetch_url 工具（1 credit）的简单示例：terminalBashCopycurl -X POST https://www.crawlforge.dev/api/v1/tools/fetch_url \ -H "X-API-Key: cf_live_YOUR_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "url": "https://example.com" }'或使用 TypeScript：example.tsTypescriptCopyconst response = await fetch('https://www.crawlforge.dev/api/v1/tools/fetch_url', { method: 'POST', headers: { 'X-API-Key': process.env.CRAWLFORGE_API_KEY!, 'Content-Type': 'application/json', }, body: JSON.stringify({ url: 'https://example.com' }), }); const data = await response.json(); console.log(data); // { success: true, data: {...}, credits_used: 1 }更多示例请参阅我们的快速上手指南。

要生成 API Key：登录你的账户进入 控制台 → 设置滚动到 "API Keys" 部分点击 "Generate New API Key"给密钥起一个描述性名称（例如 "Production"、"Development"）立即复制密钥——它不会再次显示！安全提示： 切勿将 API Key 提交到版本控制。请改用环境变量。

CrawlForge MCP 支持通过 X-API-Key 请求头进行 API Key 身份验证：terminalBashCopycurl -H "X-API-Key: cf_live_YOUR_KEY" \ https://www.crawlforge.dev/api/v1/tools/fetch_urlAPI Key 格式：cf_test_... - 测试环境（开发）cf_live_... - 生产环境所有请求都必须通过 HTTPS 发起。HTTP 请求将被拒绝。

速率限制因套餐而异：套餐速率限制Free1 req/secHobby2 req/secProfessional4 req/secBusiness10 req/sec当你触及速率限制时，会收到 429 Too Many Requests 响应。

CrawlForge MCP 使用标准 HTTP 状态码：200 OK： 请求成功400 Bad Request： 参数无效或缺少必填字段401 Unauthorized： API Key 缺失或无效402 Payment Required： credits 不足429 Too Many Requests： 超出速率限制500 Internal Server Error： 服务器端错误（我们会进行调查）错误响应示例：error.jsonJsonCopy{ "success": false, "error": "Insufficient credits. You have 0 credits remaining.", "code": "INSUFFICIENT_CREDITS", "credits_remaining": 0 }对 429 和 500 错误，请实施带指数退避的重试逻辑。参阅我们的错误处理指南。

可以！CrawlForge MCP 与 Vercel、AWS Lambda、Cloudflare Workers 等平台上的无服务器函数完美配合。无服务器使用技巧：设置合适的超时时间（大多数工具在 200-500ms 内响应）使用环境变量存储 API Key为高并发应用实施连接池对多个 URL 考虑使用 batch_scrapeVercel Edge Functions 示例：api/scrape.tsTypescriptCopyexport const config = { runtime: 'edge' }; export default async function handler(req: Request) { const response = await fetch('https://www.crawlforge.dev/api/v1/tools/fetch_url', { method: 'POST', headers: { 'X-API-Key': process.env.CRAWLFORGE_API_KEY!, 'Content-Type': 'application/json', }, body: JSON.stringify({ url: 'https://example.com' }), }); return Response.json(await response.json()); }

credits 是 CrawlForge MCP 中的用量单位。每个工具每次请求消耗特定数量的 credits：1 credit： 基础工具（fetch_url、extract_text、extract_links、extract_metadata）2 credits： 结构化提取（scrape_structured、extract_content、map_site）3-4 credits： 高级处理（analyze_content、track_changes、extract_structured、summarize_content）5 credits： 浏览器自动化（scrape_with_actions、search_web、stealth_mode、batch_scrape、generate_llms_txt）10 credits： 深度研究（多源聚合）credits 仅在请求成功时扣除。失败的请求不消耗 credits。完整明细请参阅我们的 Credit 优化指南。

Credits工具1fetch_url, extract_text, extract_links, extract_metadata2scrape_structured, extract_content, map_site, localization, process_document3analyze_content, track_changes, extract_structured4summarize_content, crawl_deep5scrape_with_actions, search_web, stealth_mode, batch_scrape, generate_llms_txt10deep_research成本优化提示： 已知 URL 时，始终从 fetch_url（1 credit）开始。仅在需要发现 URL 时才使用 search_web（5 credits）。

credits 补充取决于你的套餐：Free 套餐： 1,000 个一次性试用 credits（不按月补充——升级到付费套餐即可获得每月 credits）付费套餐： credits 在你的计费日（你订阅或升级的当天）补充示例：如果你在 1 月 15 日升级到 Hobby，那么你将在每月 15 日获得 5,000 credits。好消息： 未使用的 credits 会顺延到下个月，所以你已付费的 credits 永远不会浪费！你可以在控制台中查看 credits 余额和下次补充日期。

未使用的 credits 会顺延到下个月！当你获得每月配额时，剩余余额会结转过去。示例：你使用的是 Hobby 套餐（5,000 credits/月）你本月使用了 3,000 credits，剩余 2,000 未用在补充日，你将拥有 7,000 credits（2,000 + 5,000）专业提示： credits 永不过期，所以你可以为更大的项目积累余额！

CrawlForge MCP 使用 Stripe 进行安全支付处理：订阅： 在定价页面点击 "Upgrade"输入支付信息： Stripe 会安全地处理所有支付信息自动计费： 系统将在你的订阅日按月扣费即时激活： 支付成功后 credits 会立即到账我们接受：信用卡（Visa、Mastercard、American Express）借记卡Apple Pay 与 Google Pay银行转账（仅限 Business 套餐）你可以随时在控制台中取消或更改套餐。

根据用量数据，最热门的 5 个工具是：fetch_url（1 credit）- 基础页面抓取，最快且最便宜extract_text（1 credit）- 不含 HTML 的干净文本提取scrape_structured（2 credits）- 使用 CSS 选择器提取特定数据deep_research（10 credits）- 多源研究与聚合stealth_mode（5 credits）- 绕过反爬虫检测在 API 参考中查看全部 31 个工具。

在以下情况使用 batch_scrape：你需要一次抓取 3 个以上 URL你想并行化请求以获得更好的性能你愿意用 credits 换取速度（平均快 50%）在以下情况使用单独请求：你只需要 1-2 个 URL你需要按顺序处理结果你想要更细粒度的错误处理成本对比：单独：10 个 URL × 1 credit = 10 credits，约 5 秒（顺序执行）批量：10 个 URL × 1 credit = 10 credits，约 1 秒（并行执行）示例请参阅我们的批量处理指南。

在以下情况使用 scrape_with_actions：内容通过 JavaScript 加载（SPA、React、Vue、Angular 应用）你需要与页面交互（点击按钮、填写表单、滚动）内容需要身份验证（登录流程）页面使用无限滚动或懒加载不要在以下情况使用：页面提供静态 HTML（用 fetch_url，1 credit 而非 5 credits）有可用的 API 端点（使用 fetch_url）你只需要基础的文本提取成本提示： 浏览器自动化消耗 5 credits，而静态抓取仅需 1 credit。请始终先用 fetch_url 测试！在我们的高级抓取指南中了解更多。

你触及了所在套餐的速率限制。当你过快地发送过多请求时就会发生这种情况。解决方案：实施重试逻辑： 等待 1-2 秒，然后以指数退避方式重试使用 batch_scrape： 将多个 URL 合并到一个请求中添加延迟： 拉开请求间隔（例如 Free 套餐每次调用之间间隔 500ms）升级套餐： 更高级别的套餐拥有更高的速率限制重试逻辑示例：retry.tsTypescriptCopyasync function fetchWithRetry(url: string, maxRetries = 3) { for (let i = 0; i < maxRetries; i++) { const response = await fetch(url, { headers: { 'X-API-Key': process.env.CRAWLFORGE_API_KEY! } }); if (response.status !== 429) return response; // Wait with exponential backoff await new Promise(resolve => setTimeout(resolve, 1000 * Math.pow(2, i))); } throw new Error('Max retries exceeded'); }

常见连接问题及修复方法：API Key 无效（401 错误）：确认你的 API Key 正确（检查是否有拼写错误）确保你使用的是 X-API-Key 请求头（而非 Authorization）如有需要，重新生成你的 API KeyCORS 错误（浏览器）：不支持从浏览器发起 API 调用（存在安全风险）请改为从你的后端/无服务器函数发起 API 调用切勿在客户端代码中暴露 API KeySSL/TLS 错误：确保你使用的是 https:// 而非 http://如果使用的是旧环境，请更新你的 SSL 证书网络超时：检查你的防火墙/代理设置增加请求超时时间（大多数工具在 500ms 内响应）仍有问题？请查看我们的状态页或联系支持。