smart-crawler · 为 AI Agent 打造的网页数据采集引擎

CORE VALUE

不只是爬虫，是 Agent 的数据基建

传统爬虫脆弱、易封、要人盯。smart-crawler 为持续、可靠、面向机器消费而设计。

🧩

自适应采集

多策略引擎 —— JSON 接口 / SSR 渲染 / JSON-LD / 微数据逐级兜底。

🛡️

抗封锁韧性

浏览器级 TLS / JA3 指纹 + 分层代理池 + 错峰调度。

🤖

Agent-Ready 数据

结构化字段 + 标准 REST API + MCP 协议。

🗂️

原始快照可回溯

每次采集的原始响应压缩归档。

WHY AGENT-NATIVE

为机器消费而生

稳定的数据契约

Agent 调的是 API 和固定 schema。

持续可调度

按站点配置采集频率。

任务队列化

采集即任务，入队/领取/重试/监控全可观测。

可信与留痕

原始快照归档 + 数据质量校验 + 成功率监控。

AGENT ACCESS

一行 URL，接入你的 Agent

能力直接暴露给 AI Agent —— 不用打开界面、不用写爬虫。

▸ 推荐 · MCP 服务器

Model Context Protocol

streamable-http · 12 工具 · API Key 鉴权

https://smartcrawler.io/mcp 点击复制

鉴权头 Authorization: Bearer sck_…
list_data_sources · search_competitor_products · get_product_detail · list_promotions · get_voc_reviews · voc_summary · competitor_landscape · amazon_voc_report

▸ 备选 · REST API

OpenAPI 3.1

X-API-Key 鉴权 · 稳定 schema · 统一信封

https://smartcrawler.io/openapi.json 点击复制

鉴权头 X-API-Key: sck_…
端点 /api/v1/products · /api/v1/promotions · /api/v1/site/{site}

/llms.txt /.well-known/mcp.json /agents.json /docs

COVERAGE

一套引擎，覆盖异构站点

Shopify、Vue SPA、Nuxt SSR、自建平台、Marketplace —— 同一套管线统一产出。

Shopify

products.json 直采

Vue / SPA

JSON API 接入

Nuxt / SSR

sitemap + 渲染解析

Marketplace

Wayfair / Bol / Otto

进入 smart-crawler 控制台

实时看板 · 商品 / 促销 / 趋势 · 一键导出 · 任务编排

立即进入 →

管理员账号由 ADMIN_USERNAME / ADMIN_PASSWORD 初始化