使用 Python 抓取亚马逊产品数据：实践指南

在编写任何代码之前，了解您要解决的问题非常有帮助。亚马逊产品数据驱动着令人惊讶的广泛现实工作流程：

• 价格监控与情报分析。零售商和经销商会追踪数千个 ASIN 的竞争对手定价，从而动态调整自身价格。
• 市场调研与趋势分析。分析师通过研究畅销榜排名、评论数量及品类分布，捕捉新兴产品趋势。
• 评论与情感分析。产品团队通过抓取亚马逊产品评论，大规模地了解客户的痛点、功能需求以及质量信号。
• 机器学习与人工智能训练数据。结构化的产品目录可作为推荐引擎、图像分类器和自然语言模型的标注数据集。

由于亚马逊汇集了几乎涵盖所有消费品类别的数百万卖家的数据，其产品目录具有无与伦比的全面性。收集这些数据使企业能够监控产品定位、定价模式以及市场需求的变动，而仅靠人工浏览是无法察觉这些信息的。

这是大家首先会问的问题，而诚实的答案是：这取决于您抓取的内容以及具体操作方式。

亚马逊的《使用条款》明确禁止“出于任何目的使用任何机器人、蜘蛛、爬虫或其他自动化手段访问本服务”。该条款表述宽泛，且亚马逊过去曾据此采取过执法行动。 与此同时，2022年美国“hiQ Labs诉LinkedIn”案的判决认定，抓取公开数据并不违反《计算机欺诈与滥用法案》，至少在该具体情境下如此。其他司法管辖区的法院可能得出不同的结论。

实际上，大多数抓取亚马逊产品页面的开发者都会遵循几项负责任的准则：仅收集公开可见的信息，绝不访问受登录保护的个人数据，遵守速率限制，并避免因过量请求导致服务器不堪重负。若您的使用场景涉及大规模商业数据采集，请咨询合格的法律顾问。电子前哨基金会（EFF）的《计算机欺诈与滥用法案》（CFAA）改革追踪器是一个有用的资源，可帮助您及时了解围绕自动化数据访问不断变化的法律环境。

并非每个项目都需要定制的爬虫。在着手编写代码之前，请考虑哪种方法最符合您的技术水平、预算以及对维护工作量的承受能力。以下是一个简要的决策框架：

如果您希望深入了解亚马逊页面的结构，并需要对每个 CSS 选择器拥有完全控制权，那么 DIY Python 方案是学习自行抓取亚马逊商品列表的理想选择。如果您优先考虑的是可靠的数据交付，且不想费心管理代理池，那么专用的抓取 API 可以消除大部分运维痛点。如果您是一位不愿接触终端的业务分析师，有多种无代码平台可让您通过可视化界面配置亚马逊抓取工具。

本指南的其余部分将重点介绍 DIY Python 路径，但稍后我们将通过具体的代码示例再次探讨 API 方法。

你需要 Python 3.8 或更高版本以及三个包。打开终端并运行：

pip install requests beautifulsoup4 lxml

• Requests 负责处理 HTTP 层：发送 GET 请求、管理请求头以及接收响应。
• BeautifulSoup 将原始 HTML 字符串解析为可导航的树结构，您可通过 CSS 选择器对其进行查询。
• lxml 是一个可选但推荐使用的解析器后端。对于大型文档，它的速度比 Python 内置的 html.parser 。

创建一个新的 Python 文件（例如， amazon_scraper.py），并验证安装情况：

import requests
from bs4 import BeautifulSoup

print("Environment ready")

如果运行无误，即可开始。

在编写解析逻辑之前，您需要了解解析对象。亚马逊商品列表主要出现在两种页面类型中：搜索结果页面和单个商品详情页面。两者都包含结构化数据，但 HTML 布局有所不同。

在搜索结果页面中，每个商品卡片都位于 div 标签内，并带有 data-component-type="s-search-result"。在这个容器内，通常包含：

• 标题：一个 h2 标签包裹着一个锚点（a) 并包含产品名称。
• 价格：一个 span ，其类名为 a-price ，其中嵌套了一个 span.a-offscreen ，该元素包含格式化的价格字符串。
• 评分：一个 span.a-icon-alt 位于星级评分块内，文本形式为“4.5 星（满分 5 星）”。
• ASIN：以 data-asin 属性直接存储在搜索结果上 div.
• 图片：一个 img 标签，并带有 s-image ，其 src 属性指向产品缩略图。

使用浏览器的开发者工具（右键点击，选择“检查”）在实时页面上验证这些选择器。亚马逊偶尔会轮换类名和布局结构，因此正式运行前务必验证选择器。许多亚马逊产品还具有多种变体（颜色、尺寸、型号），且每种变体可能拥有独立的价格、图片和库存状态。 变体数据通常位于商品详情页而非搜索结果页，且常嵌入 JavaScript 对象中，您需要单独解析该对象。

现在让我们将各个部分整合起来。爬虫工作流包含三个阶段：请求页面、验证响应以及解析 HTML。以下是基础代码：

import requests
from bs4 import BeautifulSoup

HEADERS = {
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/120.0.0.0 Safari/537.36"
    ),
    "Accept-Language": "en-US,en;q=0.9",
}

url = "https://www.amazon.com/s?k=mechanical+keyboard"
response = requests.get(url, headers=HEADERS)

if response.status_code == 200:
    soup = BeautifulSoup(response.text, "lxml")
    print(f"Page fetched: {len(response.text)} bytes")
else:
    print(f"Request failed with status {response.status_code}")

在抓取亚马逊商品页面时， User-Agent 在抓取亚马逊商品页面时，请求头至关重要。若缺少请求头，亚马逊几乎肯定会返回验证码页面或 503 状态码。这相当于向服务器表明您是普通浏览器，而非单纯的 Python 脚本。

一旦解析出 soup 对象后，遍历每个商品卡片并提取核心属性：

products = []
cards = soup.select('div[data-component-type="s-search-result"]')

for card in cards:
    title_tag = card.select_one("h2 a span")
    price_tag = card.select_one("span.a-price span.a-offscreen")
    rating_tag = card.select_one("span.a-icon-alt")

    product = {
        "title": title_tag.get_text(strip=True) if title_tag else None,
        "price": price_tag.get_text(strip=True) if price_tag else None,
        "rating": rating_tag.get_text(strip=True) if rating_tag else None,
    }
    products.append(product)

print(f"Found {len(products)} products")

每个 select_one 调用都针对特定的 CSS 选择器。条件检查可防止脚本在商品卡片缺少某些元素时崩溃（例如，赞助结果有时会省略价格）。

图片和ASIN更容易获取，因为它们直接位于商品卡片容器中：

for i, card in enumerate(cards):
    asin = card.get("data-asin", "")
    img_tag = card.select_one("img.s-image")
    img_url = img_tag["src"] if img_tag else None

    products[i]["asin"] = asin
    products[i]["image_url"] = img_url

ASIN（亚马逊标准识别码）是产品的唯一标识符。它有助于去重、构建商品详情页 URL（https://www.amazon.com/dp/{ASIN}）以及在不同抓取运行中合并数据集。

单个亚马逊搜索页面通常显示约 20 至 60 个结果。若需获取数千个商品，则必须跨多个页面抓取亚马逊商品列表。亚马逊使用了一个 page 查询参数，您可以通过递增该参数来实现：

import time

all_products = []
base_url = "https://www.amazon.com/s?k=mechanical+keyboard&page={page}"

for page_num in range(1, 11):  # pages 1 through 10
    url = base_url.format(page=page_num)
    response = requests.get(url, headers=HEADERS)

    if response.status_code != 200:
        print(f"Stopped at page {page_num}: status {response.status_code}")
        break

    soup = BeautifulSoup(response.text, "lxml")
    cards = soup.select('div[data-component-type="s-search-result"]')

    if not cards:
        print(f"No results on page {page_num}, stopping.")
        break

    for card in cards:
        title_tag = card.select_one("h2 a span")
        price_tag = card.select_one("span.a-price span.a-offscreen")
        all_products.append({
            "title": title_tag.get_text(strip=True) if title_tag else None,
            "price": price_tag.get_text(strip=True) if price_tag else None,
        })

    time.sleep(2)  # respect rate limits

print(f"Total products collected: {len(all_products)}")

有两点需要注意。首先， time.sleep(2) 调用会在每次请求之间增加两秒的间隔。如果不进行速率控制，亚马逊几乎会立即将您的 IP 标记为异常。其次，循环会将空 cards 作为终止条件，因为即使没有更多结果，亚马逊仍会返回有效的 200 响应。

对于涉及数百页的大规模任务，建议将请求分布在轮换的代理池中。从单一 IP 地址进行本地抓取会很快触发速率限制。

亚马逊以封锁爬虫而闻名，这有其充分的理由：该平台每天处理数十亿次页面浏览。其防御机制分层部署，了解每一层机制有助于您制定应对策略。

AWS WAF（Web应用防火墙）。亚马逊使用其自有的云防火墙产品来检查传入的请求。WAF会分析您的IP地址、HTTP头、TLS指纹以及行为模式（请求频率、导航顺序）。如果任何信号看起来不像人类行为，该请求要么被直接拦截，要么被重定向到CAPTCHA验证。

验证码挑战。当 WAF 标记某个请求时，您通常会看到一个要求您解决图片或文本验证码的页面。基于 Requests 的基础爬虫无法自动解决这些验证码。可选方案包括集成验证码解决服务、切换到无头浏览器，或通过在后台处理验证码的爬虫 API 转发请求。

IP封禁与速率限制。短时间内从同一IP发送过多请求会触发临时或永久封禁。轮换使用住宅代理可使流量看起来像是来自不同的家庭网络连接，这使得WAF更难将其与自然访问区分开来。

标头与指纹分析。内容简陋的请求标头（缺少 Accept-Language, Accept-Encoding，或使用逼真的 User-Agent）会立即引发警报。请在不同请求中随机化 User-Agent 字符串，并包含真实浏览器会发送的完整头部信息。

如果您真心想要用 Python 构建一个可靠的亚马逊产品爬虫，请务必投入资源实现代理轮换和请求头随机化。对于大多数生产环境用例而言，采用将这些防护措施整合到单一端点的专用爬取 API 才是务实之选。

以下是一个整合了环境配置、请求处理、数据解析和分页功能的完整脚本，可作为单个可运行文件使用。请根据实际需求调整搜索词和页面范围。

import requests
from bs4 import BeautifulSoup
import time
import json
import csv

HEADERS = {
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/120.0.0.0 Safari/537.36"
    ),
    "Accept-Language": "en-US,en;q=0.9",
    "Accept-Encoding": "gzip, deflate, br",
    "Accept": "text/html,application/xhtml+xml",
}

def scrape_amazon(query, max_pages=5):
    all_products = []
    for page in range(1, max_pages + 1):
        url = f"https://www.amazon.com/s?k={query}&page={page}"
        resp = requests.get(url, headers=HEADERS)
        if resp.status_code != 200:
            print(f"Page {page}: HTTP {resp.status_code}")
            break
        soup = BeautifulSoup(resp.text, "lxml")
        cards = soup.select('div[data-component-type="s-search-result"]')
        if not cards:
            break
        for card in cards:
            all_products.append({
                "asin": card.get("data-asin", ""),
                "title": _text(card, "h2 a span"),
                "price": _text(card, "span.a-price span.a-offscreen"),
                "rating": _text(card, "span.a-icon-alt"),
                "image": card.select_one("img.s-image")["src"]
                         if card.select_one("img.s-image") else None,
            })
        time.sleep(2)
    return all_products

def _text(card, selector):
    tag = card.select_one(selector)
    return tag.get_text(strip=True) if tag else None

if __name__ == "__main__":
    results = scrape_amazon("wireless+earbuds", max_pages=3)
    print(f"Scraped {len(results)} products")

有几点注释值得特别说明。 _text 辅助函数使解析循环保持紧凑，并避免了重复 None 检查。 Accept-Encoding 和 Accept 标头完善了请求指纹，使其更接近真实浏览器的特征。将所有内容封装在函数中，便于将其嵌入更大的处理流程或通过调度程序调用。

原始的 Python 字典虽有助于调试，但下游工具（电子表格、数据库加载器、分析笔记本）通常需要标准文件格式。以下是将抓取的亚马逊商品数据同时导出为 CSV 和 JSON 的方法。

CSV 导出适用于在 Excel、Google 表格或 pandas 中进行表格分析：

import csv

def export_csv(products, filename="amazon_products.csv"):
    if not products:
        return
    keys = products[0].keys()
    with open(filename, "w", newline="", encoding="utf-8") as f:
        writer = csv.DictWriter(f, fieldnames=keys)
        writer.writeheader()
        writer.writerows(products)
    print(f"Exported {len(products)} rows to {filename}")

当您需要嵌套数据、计划将结果加载到 NoSQL 数据库，或希望将数据输入 API 时，JSON 导出是更优的选择：

import json

def export_json(products, filename="amazon_products.json"):
    with open(filename, "w", encoding="utf-8") as f:
        json.dump(products, f, indent=2, ensure_ascii=False)
    print(f"Exported {len(products)} items to {filename}")

何时选用哪种格式：如果您的用户是使用电子表格的分析师，或者您需要快速导入到 SQL 表中，请选择 CSV。如果您正在构建数据管道、需要保留嵌套结构（如产品变体），或者希望采用可直接映射到 API 有效载荷的格式，请选择 JSON。

自行开发的方法虽能让您完全掌控，但也意味着您必须承担所有故障风险：代理失效、验证码屏障、选择器轮换以及IP封禁。若您的目标是在生产管道中可靠地抓取亚马逊产品页面，将请求层交由专用的抓取API处理，可大幅节省工程开发时间。

爬取 API 位于您的代码与目标网站之间。您只需向 API 端点发送一个普通 HTTP 请求，将亚马逊 URL 作为参数传入，该服务便会在内部处理代理轮换、头部管理、验证码破解及重试等操作。您将获得干净的 HTML（或在某些情况下是预解析的 JSON），可直接将其输入到 BeautifulSoup 解析代码中。

以下是一个简化的实际应用示例：

import requests
from bs4 import BeautifulSoup

API_URL = "https://api.example.com/v1/scrape"
API_KEY = "your_api_key_here"

params = {
    "url": "https://www.amazon.com/s?k=usb+c+hub",
    "api_key": API_KEY,
    "render_js": "false",
}

response = requests.get(API_URL, params=params)
soup = BeautifulSoup(response.text, "lxml")
# Parse exactly as before
cards = soup.select('div[data-component-type="s-search-result"]')
print(f"Found {len(cards)} results via API")

请注意，您的解析代码完全无需更改。唯一的区别在于请求 URL 以及添加了 API 密钥。这就是主要优势：您将数据获取与解析解耦，可以在自建获取方式和 API 获取方式之间切换，而无需重写数据提取逻辑。

对于需要直接获取结构化 JSON（完全跳过 HTML 解析步骤）的团队，部分服务提供了现成的亚马逊抓取工具，可将产品标题、价格和评分作为即用型 JSON 字段返回。

这部分内容尤为精彩。一旦获得结构化的亚马逊商品数据，便可将其直接导入大型语言模型工作流，用于摘要生成、比较和分析——这些工作若手动完成将耗费数小时。

最简单的做法是将抓取的数据转换为 Markdown 表格或结构化提示词，然后发送至 LLM API：

def build_prompt(products):
    lines = ["| Title | Price | Rating |", "|---|---|---|"]
    for p in products[:20]:
        lines.append(
            f"| {p['title'][:60]} | {p['price']} | {p['rating']} |"
        )
    table = "\n".join(lines)
    prompt = (
        "Below is a table of Amazon products. "
        "Summarize the price range, identify the top-rated option, "
        "and note any patterns in pricing vs. ratings.\n\n"
        f"{table}"
    )
    return prompt

您还可以将 JSON 直接作为检索增强生成（RAG）管道的上下文输入。例如，将抓取的产品目录导入向量存储库，然后让用户提出诸如“30 美元以下的 USB-C 集线器中，哪款评价最好？”之类的问题，从而获得基于实际数据的可靠答案。

针对适用于 LLM 的亚马逊数据，这里有几个实用技巧：

• 截短标题。亚马逊产品标题通常冗长。将其截短至 60 至 80 个字符，以符合令牌预算限制。
• 规范化价格。在输入分析提示词前，去除货币符号并转换为浮点数。
• 批量请求。若需处理数百个产品，请将它们拆分为每条提示词20至30个产品的分组，以避免触发上下文窗口限制。

这种网络爬取与 LLM 分析的结合，对于从事大规模竞争情报或亚马逊产品数据提取的团队而言，是一项强大的差异化优势。

即使拥有成熟的爬虫工具，仍可能出现问题。以下是抓取亚马逊产品页面时最常见的问题及解决方法。

403 禁止访问响应。这通常意味着亚马逊的 WAF 拦截了您的请求。请先检查您的 User-Agent 请求头。若请求头缺失或明显为合成数据（如 python-requests/2.28），请将其替换为真实的浏览器字符串。若 403 错误仍存在，您的 IP 可能已被封禁。请切换至代理服务器，或在请求间增加更长的延迟。

验证码循环。如果每次请求返回的都是验证码页面而非商品结果，说明您的 IP 或会话已被标记。切换到新的住宅 IP 通常可以解决此问题。虽然有程序化的验证码破解服务，但会增加延迟和成本。

空选择器（到处都是 None 值）。这通常表明亚马逊返回了由 JavaScript 渲染的页面，而您的 requests.get() 调用仅捕获了预渲染的 HTML 框架。可通过输出 len(response.text)。如果响应内容异常短（搜索页面小于50KB），则很可能遇到了依赖JS的布局。使用无头浏览器或支持JavaScript渲染的爬取API可解决此问题。

布局变更后选择器失效。亚马逊会定期轮换 CSS 类和 DOM 结构。如果上周还能正常工作的爬虫突然返回空数据，请在开发者工具中检查最新页面并更新选择器。围绕 data- 属性（如 data-asin 和 data-component-type）构建选择器，比依赖类名更具鲁棒性。

• 尽早确定方案。自研 Python 爬虫提供完全控制权，API 爬取可减少运维开销，无代码工具则面向非开发者。请根据团队技能和维护预算选择合适的工具。
• 尊重亚马逊的防护机制。设置合理的请求头、控制请求频率以及轮换代理绝非可有可无。若忽视这些措施，你将花费更多时间调试封禁问题，而非编写解析逻辑。
• 围绕稳定的属性构建选择器。针对 data-asin 和 data-component-type 而非易变的类名。这能确保您的爬虫在亚马逊频繁的页面布局更新中持续运行。
• 尽早导出，频繁导出。在每次分页批处理后，将抓取的数据写入 CSV 或 JSON 文件。如果后续请求失败，您已收集的数据就不会丢失。
• 集成大语言模型（LLM）将成倍提升价值。当将抓取的产品数据导入摘要生成、比较分析或 RAG 工作流时，其价值将大幅提升。

不，亚马逊并未明确允许。其《使用条款》禁止通过自动化方式访问网站。不过，部分司法管辖区的法院裁定，抓取公开数据可能不违反计算机欺诈法。法律环境复杂且因国家而异，因此若计划进行商业规模的抓取，请咨询律师。

使用真实的浏览器标头（特别是 User-Agent），在每次请求之间设置至少1至2秒的延迟，并使用住宅代理池轮换IP地址。避免从单一IP地址进行密集抓取，并考虑随机化请求间隔以模拟人类浏览行为。

可以。有多种可视化爬取平台提供点选式界面，并内置亚马逊模板。您可通过浏览器扩展或网页界面配置选择器，工具会自动处理请求管理和数据导出。这些方案更适合小规模的临时数据提取，而非大规模的自动化数据管道。

对于静态 HTML 抓取，Requests 和 BeautifulSoup 是标准组合。若需加快处理速度，可添加 lxml 作为解析后端。对于高度依赖 JavaScript 渲染的页面，搭配无头浏览器的 Playwright 或 Selenium 更为合适。在数据导出环节，pandas 可用于清理和整理收集到的数据。

抓取亚马逊商品数据是那种纸上谈来简单，实际操作却很快变得复杂的项目之一。解析本身很简单：一旦掌握了正确的 CSS 选择器，只需几行代码，BeautifulSoup 就能完成繁重的工作。真正的挑战在于解析之外的一切：如何让干净的响应通过亚马逊的反机器人防护层，如何在不被标记 IP 的情况下处理分页，以及如何随着平台的发展保持选择器的最新性。

本指南介绍的 Python 工作流为您提供了坚实的基础。您可以获取搜索结果，提取标题、价格、评分、图片和 ASIN，跨多页进行分页处理，导出干净的 CSV 或 JSON 文件，甚至将数据输入到 LLM 管道中进行自动化分析。对于小型的一次性项目，这种 DIY 方法可能就足够了。

对于重视系统可用性的生产级工作负载，建议将请求层交由 WebScrapingAPI 等服务处理。该服务通过单一接口即可处理代理轮换、验证码破解和重试逻辑，让您能够专注于数据而非基础设施。您的 BeautifulSoup 解析代码完全保持不变，仅需调整数据抓取步骤。

无论选择哪种路径，关键在于制定清晰的计划：明确所需的产品属性，确定导出格式，并从一开始就构建错误处理机制。只要方法得当，亚马逊的产品目录就是结构化数据的宝库。