Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影

# 获取中文电影标题
title_cn = data.xpath('//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[1]/text()')

而在a标签下的第二个span标签中包含的文本内容是电影的英文标题，所以我们只需要将span[1]改成span[2]就可以获取到电影的英文标题。

# 获取英文电影标题
title_en = data.xpath('//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/span[2]/text()')

接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。

//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a

定位到a标签，要取其属性href的值需要在该路径后加上/@href 即可。

# 获取电影详情页链接
detail_link = data.xpath('//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[1]/a/@href')

将这些信息打印看一下是否获取到正确信息：
我们已经获取到了第一部电影的中英文标题和详情页链接，它们都各自存放在一个列表中。

接下来我们可以用同样的方法获取电影的导演、主演、上映年份、国籍、类型和评分。

# 获取电影的导演和主演
people = data.xpath('//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/p[1]/text()[1]')
# 获取电影的年份、国籍和类型
info = data.xpath('//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/p[1]/text()[2]')
# 获取电影的评分
score = data.xpath('//\*[@id="content"]/div/div[1]/ol/li[1]/div/div[2]/div[2]/div/span[2]/text()')

打印数据：

可以发现，我们确实获取到了电影的数据，但是有些数据在存放在一起的并且有乱码，下面再进行数据处理。以上就是我们获取一部电影数据的过程，接下来要获取一个页面的全部电影信息，然后通过循环翻页，获取不同页面的电影信息。

2.4 获取一个页面中所有电影的信息

我们通过xpath已经获取了页面中一部电影的数据，想要获得页面中所有电影的数据就要扩大查找范围，即减少xpath表达式中的标签数量。前面说过，每个li标签下都是一部电影的信息，一个页面有25部电影，那么就应该有25个li标签，我们可以通过li标签的下标定位获取到不同的li标签。如，下面这个路径中li[1]代表第一个li标签。