指南
2026 年用于网络抓取的 Python 无头浏览器库
简而言之：Python 无头浏览器可让您渲染 JavaScript、点击 SPA，以及抓取普通 HTTP 客户端无法访问的网站。Selenium 是最安全的默认设置，Playwright 是新代码的现代选择，Pyppeteer 和 Splash 仍有利基用途，而托管浏览器 API 则是在反僵尸防御或规模开始吃紧时的选择。
Mihnea-Octavian Manolache5 min read
阅读文章Blog
洞察与工程
深入探讨网络数据基础设施、数据提取技术以及大规模结构化数据的未来。
最新文章
181 文章
网络爬虫技术
HTTP 标头网络抓取：停止受阻
简而言之：HTTP 头信息通常是你的刮擦程序收到 403 而你的浏览器却能正常加载相同 URL 的原因。本指南介绍了反僵尸系统实际上会检查哪些标头，如何从 DevTools 中捕获真实浏览器的标头集，如何在 Python 和 Node.js 中正确发送和旋转标头，以及何时手动调整将不再奏效，而使用受管刮擦 API 才是更好的选择。
Raluca Penciuc3 min read
阅读文章
指南
Ruby HTML 和 XML 解析器：基于工作负载的比较
简而言之：应根据具体工作负载选择 Ruby HTML 和 XML 解析器，而非依据通用排名。对于广泛的 HTML 和 XML 树解析，建议首先使用 Nokogiri；针对特定的 XML 任务，可考虑使用 Ox 或 LibXML Ruby；仅当必须由真实浏览器渲染页面或与页面交互时，才添加 Selenium。
Raluca Penciuc3 min read
阅读文章
指南
代理状态错误：如何识别和解决
您是否正因代理错误代码而无法进行网页抓取？请跟我一起了解最常见的错误，并寻找解决方法。
Mihai Maxim1 min read
阅读文章
指南
如何使用 JavaScript 抓取 HTML 表格并导出干净的 CSV 文件
简而言之：首先确定表格行是否存在于 HTTP 响应中、是否通过数据请求获取，还是需要浏览器渲染。然后使用下文提到的静态 Axios 和 Cheerio 脚本，或针对性更强的 Puppeteer 方案，在 JavaScript 中抓取 HTML 表格，验证基于表头的记录，去除页面重复项，并安全地写入 CSV 文件。 HTML 表格将信息组织为行和列，通常包含 <table>、<tr>、<th> 和 <td> 元素。在 JavaScript 中抓取 HTML 表格，是指检索或渲染该标记，将每行数据转换为 JavaScript 对象，验证结果，并将其序列化为 CSV 等格式。
Mihai Maxim2 min read
阅读文章
指南
用 Jsoup 在 Java 中解析 HTML
简要说明：Jsoup 是 Java 中用于 HTML 解析的默认库。本指南介绍了整个生命周期（Maven 设置、加载文档、CSS 选择器、DOM 遍历、提取、修改和序列化），以及可运行的刮擦项目、错误处理、分页和将您推向无头浏览器或刮擦 API 的限制。
Mihai Maxim3 min read
阅读文章