目标网站没有现成的爬虫?不想管理服务器、代理和重试逻辑?
亮数据的 Scraper Studio,让你用一句话就能造出一个生产级爬虫。

Scraper Studio-Mandarin

什么是 Scraper Studio?

Bright Data Scraper Studio 是一个云端托管的自定义网络爬虫构建平台。它完整运行在 Bright Data 的代理与反爬基础设施之上——代理轮换、IP 封锁、反机器人检测,全部由平台自动处理,开发者只需专注于"我想要什么数据"。

简单来说:你告诉它目标网页和想要的字段,Scraper Studio 帮你完成剩下所有的事。


三种构建方式,满足所有场景

Scraper Studio 提供三条路径,无论你是产品经理、数据分析师还是资深工程师,都能找到适合自己的方式:

🤖 AI Agent(零代码,最快上手)

用自然语言描述你想要的数据,Bright Data AI 自动生成输出 Schema、编写爬虫代码,无需写一行代码,最快 10 分钟得到可运行的爬虫。

典型用法:

"抓取这个网页上的商品名称、价格和库存状态"

AI Agent 会逐步生成 Schema、确认字段后,自动编写完整的爬虫逻辑。

💻 JavaScript IDE(全代码,完全掌控)

在浏览器内置的 JavaScript 编辑器中直接编写和调试爬虫代码,拥有完整的交互逻辑与解析逻辑控制权

IDE 提供丰富的调试工具:

图片

IDE 模式特别适合构建多阶段爬虫——例如先从列表页抓取所有商品链接,再逐一进入详情页提取数据。

⌨️ Bright Data CLI(终端 / AI 编程代理,全新功能)

只需三条命令,在终端里完成爬虫的创建、运行与自愈:

bash

# 安装 CLI
npminstall -g @brightdata/cli

# 登录账号
bdata login

# 一句话创建爬虫
bdata scraper create https://news.ycombinator.com \
"Extract top stories: title, url, points, author, comment count"

CLI 可以无缝运行在 Claude Code、Cursor、Codex 等 AI 编程代理的内置终端中,让 AI 帮你驱动爬虫的创建与运行。

核心工作原理

每个 Scraper Studio 爬虫都围绕三个核心能力运转:


📍 交互(Interaction)
   导航到目标 URL,处理分页,点击元素或发送 HTTP 请求
📄 解析(Parsing)
   读取页面 HTML,将结构化字段提取为 JSON / CSV / NDJSON / XLSX
✨ 自愈(Self-Healing)
   网站改版导致爬虫失效?用一段自然语言提示词修复,无需重写选择器

🪄 Self-Healing 自愈工具:让爬虫永不"报废"

网站改版是爬虫最大的天敌。Scraper Studio 的 Self-Healing 工具是一个 AI 驱动的代码重构助手,当爬虫因目标网站结构变化而失效时,你只需用自然语言描述问题,AI 会自动生成代码修复方案:

示例指令:

  • "价格字段返回 undefined,请修复"
  • "添加 image 和 rating 两个输出字段"
  • "切换使用 tag_response() 从 /api/price 接口抓取价格"

修复流程完全可控:AI 生成 diff → 你审核 → 接受后保存为草稿 → 确认无误后发布至生产环境。不满意随时回滚。

适用场景

图片

Scraper Studio vs 其他 Bright Data 产品

图片


常见问题

Q:我需要自己管理代理或服务器吗?
不需要。Scraper Studio 自动处理所有代理管理与基础设施,你只需专注于数据提取逻辑。

Q:AI Agent 生成的爬虫可以用 IDE 修改吗?
可以。任何用 AI Agent 创建的爬虫都可以随时在 IDE 中打开编辑,两种模式无缝切换,不存在锁定问题。

Q:Scraper Studio 和爬虫库有什么区别?
Web Scraper API 库收录了 700+ 针对主流网站的预置爬虫。而 Scraper Studio 是当你需要的目标网站没有现成爬虫时,用来从零构建自定义爬虫的工具。

开始使用

  1. 点击主页链接 www.bright.cn ,前往亮数据主页注册免费账号

  2. 在控制台左侧菜单点击 Scrapers → Scraper Studio

  3. 选择 AI Agent、IDE 或 CLI,开始构建你的第一个爬虫

🚀 无论你是想用 AI 快速生成,还是用代码精细掌控,Bright Data Scraper Studio 都能让你在自己的基础设施上构建出真正生产就绪的网络爬虫。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐