京东关键词搜索商品列表的Python爬虫实战

1. 项目背景与目标

在当今电商时代，京东作为国内领先的B2C平台，拥有海量的商品和用户数据。许多分析和商业研究都依赖于对这些商品信息的批量抓取。我们本次爬虫任务的目标如下：

• 实现对京东搜索页面中商品列表信息的自动抓取；
• 关键词可配置；
• 自动翻页抓取；
• 抓取字段包括：商品标题、价格、评论数、店铺名、商品链接等；
• 存储为CSV/Excel。

---

2. 京东搜索页面结构分析

以关键词 “手机” 为例，搜索链接如下：

pgsql
复制编辑
https://search.jd.com/Search?keyword=手机&enc=utf-8&wq=手机

京东的搜索结果页主要由 JavaScript 动态渲染生成商品列表数据，因此传统的 requests + BeautifulSoup 无法直接获取完整商品列表。

每页加载商品分为两个部分：

• 主体商品：通过初始 HTML 加载；
• 滚动补充商品：通过 AJAX 异步加载。

---

3. 京东反爬机制详解