Crawl4AI 最大优势不在 Playwright 封装本身，而在：LLM 智能理解页面、自动生成提取规则、智能 Markdown 转换、自适应内容过滤。

核心设计目标：把渲染、反爬、清洗等复杂逻辑封在框架里，用户用几行代码就能跑完完整爬取流程。

功能模块 由谁实现 核心技术 典型场景
浏览器渲染 / 会话管理 框架原生 Playwright / BrowserManager 页面加载、Cookie 维持、会话复用
反爬策略（指纹 / 代理） 框架原生 stealth、undetected-playwright 绕过网站反爬
基础去噪（广告 / 导航） 框架原生 DOM 分析、文本密度算法 移除明显冗余元素
结构化数据提取 LLM 增强（可选） LLMExtractionStrategy + 大模型 不规则页面、语义级提取
高级内容过滤 LLM 增强（可选） LLMContentFilter 语义级去噪、内容精炼
动态爬取决策 LLM 增强（实验性） 信息觅食算法 + 大模型 自适应爬取深度、页面优先级

Crawl4AI 核心能力

1. 浏览器自动化

基于 Playwright：打开网页、执行 JS、点击、滚动、登录。适合动态网站（JS 渲染）。

2. 异步并发爬取

支持 asyncio，可同时抓多个页面，比普通 requests 快很多。

3. 深度爬取

内置 BFS（广度优先）：从一个入口自动跟踪链接，爬整站。

4. 智能内容提取

内置 CSS 提取、JSON 提取策略。例如：

1
2
3
4
{
  "title": "h1",
  "price": ".price"
}

框架按规则自动抽数据。

5. 缓存机制

支持本地缓存，避免重复请求，提高效率、降低对目标站压力。

6. 速率控制

内置 RateLimiter，可控制每秒请求次数，是防封的关键手段。

7. 调度器

内置 MemoryAdaptiveDispatcher：自动控制任务数量，防止内存爆掉。

8. 可扩展架构

可加：

  • 代理池：按最少失败次数 + 最久未使用选节点；连续失败 5 次进入约 10 分钟冷却；节点越多并发越快
  • 指纹池：User-Agent（操作系统、浏览器、设备类型）、屏幕分辨率、时区、字体、Canvas、WebGL 等

CloakBrowser 能做什么？

能完成的（浏览器层）

  1. 代理支持（部分）
    支持 HTTP / SOCKS5，可切换 IP。注意：它是「使用代理」，不是「提供代理池」。

  2. 指纹伪装（核心）
    Canvas、WebGL、Audio、字体、GPU、navigator 等。这些是普通 Playwright 做不到的。

  3. 时区 / 地理位置自动匹配
    按 IP 同步，避免「IP 在美国、时区在中国」。

  4. WebRTC 防泄露
    防止真实 IP 被暴露。很多人容易忽略这一点。

  5. 自动化兼容
    兼容 Playwright / Puppeteer API，可直接接 Crawl4AI。

做不到的

  1. 没有代理池
    只能用代理，不会管理代理、不会自动换 IP。仍需住宅代理池等服务。

  2. 没有爬虫调度
    不会批量爬、深度爬（BFS）、URL 队列管理、数据提取。这些才是 Crawl4AI 的事。

  3. 没有行为模拟策略
    浏览器像真人，但不会自动滚动、随机点击、模拟用户路径——要自己写。

  4. 没有多账号隔离
    这通常是 CloakBrowser-Manager 一类组件的职责。

一句话：CloakBrowser 补浏览器层指纹与代理使用能力；Crawl4AI 补爬取调度、提取与清洗。二者叠加，而不是互相替代。