# ThinSpider — 工业级 SaaS 通用爬虫引擎

> ThinSpider（英同科技 ThinkAlike 出品）是多租户云采集引擎：一个声明式任务 DSL
> 覆盖静态页 / 列表详情 / SPA 渲染 / API 接口 / 文档附件五类目标形态，
> 结果以 JSON / CSV / Webhook 交付。
> 控制台与开放 API：https://thinspider.thinkalike.com.cn

## 核心能力
- 任务 DSL：列表选择器、详情字段映射、翻页规则、cron 定时、限速与降级策略声明
- 引擎路由：HTTP（Scrapy/AutoThrottle）与无头渲染（crawl4ai + Playwright 池）自动选择
- 声明式降级链：HTTP → 渲染 → 真实化浏览器 → 住宅代理升级 → 验证码通道（仅用户自有账号）
- 每一步尝试写入 tried 事实台账：失败可定位、不静默兜底
- 多租户治理：配额熔断、跨租户同域礼貌锁、SSRF 硬防线、credit 计量

## 开放 API（API Key 鉴权）
- POST /v1/scrape — 单页转 Markdown / 结构化 JSON
- POST /v1/crawl — 整站 BFS（depth / limit 可控，异步任务）
- POST /v1/map — URL 发现
- GET /v1/tasks/{id} — 任务与运行状态
- GET /v1/credits — 用量与配额

## 政策
- 禁止绕过付费墙与破解他人凭证；黑名单域名库（政务敏感/医疗/金融凭证类）默认禁抓
- 采集遵守 robots 与同域礼貌延迟；滥用即吊销

## 许可与激活
- 私有化实例激活页：https://thinspider.thinkalike.com.cn/activate
- SN 平台 THINSPIDER 许可指南：https://sn.thinkalike.com.cn/guide?code=THINSPIDER