TRAWL：面向自托管抓取与 *arr 集成的挑战处理引擎

项目用途

TRAWL 是一个采用 AGPL-3.0 的自托管网页抓取引擎，目标是处理普通网页请求，以及需要 JavaScript 挑战或 CAPTCHA 的站点。它提供与 FlareSolverr 兼容的 /v1 接口，因此可以接入 Prowlarr、Jackett、Sonarr 等 *arr 工具；同时也提供返回更丰富元数据的原生抓取接口。

项目 README 将执行过程描述为四级流程：普通 HTTP 请求、缓存的浏览器会话、新的挑战处理，以及住宅代理。它还包含 Redis 会话缓存、Camoufox Firefox 浏览器、面向 Cloudflare、Akamai Bot Manager 和 Imperva/Incapsula 的专用流程，并列出 Turnstile、reCAPTCHA、hCaptcha、GeeTest、ALTCHA 和 Friendly Captcha 等处理能力。上述能力是项目文档中的功能说明，不代表对任何具体网站都能成功。

适合哪些人

如果你已经运行 Prowlarr 或其他 *arr 服务，并希望以自托管方式集中处理受保护索引器，TRAWL 的兼容接口可能更容易纳入现有架构。需要网页内容供自动化代理读取的用户，也可以关注 /mcp：v1.5.0 扩展了读取页面、抓取、截图和浏览器诊断工具。文档明确说明，这些工具读取已知公开 URL，不提供网页搜索或排名，因此它不是通用搜索服务。

它也适合愿意维护 Redis、浏览器运行时、容器网络和证书信任链的技术用户。TrueNAS 与 Unraid 社区应用目录提供了安装入口，但来源没有确认这些集成的具体维护范围或行为一致性。

采用前的限制

首先，项目使用“best-effort”措辞描述挑战和 CAPTCHA 处理；README 中的“2–6 倍更快”等性能及成功率表述属于项目方声明，不能视为独立测试结果。来源也没有提供最低硬件配置、稳定并发能力或各站点兼容性清单。

其次，住宅代理是升级路径的一部分，但来源没有确认是否随项目提供代理资源、相关费用或法律合规边界。部署者仍需自行确认目标站点条款、适用法律和数据处理责任。CAPTCHA 处理涉及第三方服务或本地 Whisper 等可选组件，具体可用性需要按实际配置验证。

部署与升级考虑

README 给出的基础部署依赖 Docker Compose 与 Redis；首次启动时浏览器池需要预热，文档称可能需要 15–30 秒。若启用挑战感知的 HTTP/HTTPS MITM 代理，客户端必须信任 TRAWL 生成并持久化的根 CA。该代理会扩大信任边界，项目明确警告不要公开暴露，应限制在 localhost 或私有 Docker 网络。

v1.5.0 是一个需要留意迁移的版本：旧环境变量别名被移除，空值或未设置的 REDIS_URL 会显式关闭 Redis 缓存。升级前应核对配置迁移说明，并验证 Redis、浏览器进程、代理证书和下游 *arr 客户端的连接。

资料来源

• GitHub repository metadata
• Project README
• Official release
• Official project page

资料核对日期：2026-09-15