def get_news_content(news_url):
response = requests.get(news_url)
response.encoding = 'utf-8'
soup = BeautifulSoup(response.text, 'lxml')
content = soup.find('div', class_='content') # 假设新闻内容存储在此标签中
return content.get_text()
# 获取新闻详细内容
for news in news_data:
content = get_news_content(news['链接'])
news['内容'] = content
# 打印带有内容的新闻数据
print(news_data[:5])
四、情感分析
1. 使用 TextBlob 进行情感分析
TextBlob 是一个非常方便的 Python 库，它可以帮助我们进行情感分析。TextBlob 的情感分析会返回一个情感极性（Polarity）值和主观性（Subjectivity）值。情感极性值的范围是 -1 到 1，其中 -1 代表负面情感，1 代表正面情感，0 代表中立。
from textblob import TextBlob
# 对新闻标题和内容进行情感分析
def analyze_sentiment(text):
blob = TextBlob(text)
return blob.sentiment.polarity
# 为每条新闻添加情感极性
for news in news_data:
news['情感极性'] = analyze_sentiment(news['内容'])
# 打印新闻数据和情感分析结果
print(news_data[:5])
2. 情感分析结果可视化
通过情感极性值，我们可以绘制情感分析结果的分布图，了解新闻舆情的整体倾向。
import pandas as pd
import matplotlib.pyplot as plt
# 将新闻数据转化为 DataFrame
df_news = pd.DataFrame(news_data)
# 绘制情感极性分布图
plt.figure(figsize=(8, 6))
plt.hist(df_news['情感极性'], bins=20, edgecolor='black')
plt.title('新闻情感极性分布')
plt.xlabel('情感极性')
plt.ylabel('新闻数量')
plt.show()
3. 根据情感极性分析舆情趋势
通过情感分析结果，我们可以统计不同情感的新闻数量，并绘制不同情感倾向的新闻数量变化趋势图。
# 统计情感极性为正面、负面、中立的新闻数量
positive_news = len(df_news[df_news['情感极性'] > 0])
negative_news = len(df_news[df_news['情感极性'] < 0])
neutral_news = len(df_news[df_news['情感极性'] == 0])
# 绘制舆情趋势图
labels = ['正面', '负面', '中立']
values = [positive_news, negative_news, neutral_news]
plt.figure(figsize=(8, 6))
plt.bar(labels, values, color=['green', 'red', 'blue'])
plt.title('新闻舆情分析')
plt.ylabel('新闻数量')
plt.show()
五、反爬虫机制与应对策略
1. 设置请求头
许多新闻网站会通过检查请求头来识别爬虫并防止爬取。我们可以通过修改请求头来伪装成浏览器请求。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
# 发送带请求头的请求
response = requests.get(url, headers=headers)
2. 使用代理
为了避免 IP 被封禁，我们可以使用代理服务器来伪装请求。
proxies = {
'http': 'http://your_proxy_address:port',
'https': 'https://your_proxy_address:port'
}
# 发送带代理的请求
response = requests.get(url, headers=headers, proxies=proxies)
3. 设置延时
频繁发送请求可能会导致被封禁。为了避免这一点，我们可以在每次请求之间设置延时。
import time
import random
# 随机延时 1 到 3 秒之间
time.sleep(random.uniform(1, 3))
六、总结与展望
通过本文的实战教程，我们展示了如何使用 Python 爬虫抓取新闻网站数据，并结合情感分析对新闻进行情感倾向的分析。我们实现了以下功能：
- 新闻数据抓取：通过 Python 爬虫抓取新闻标题、链接和详细内容。
- 情感分析：使用 TextBlob 对新闻内容进行情感分析，提取情感极性值。
- 舆情趋势分析：通过情感分析结果，统计不同情感倾向的新闻数量，进行舆情趋势分析。
拓展建议：
- 情感分析优化：可以尝试使用其他情感分析模型（如 BERT、RoBERTa）来提升情感分析的准确性。
- 多源数据抓取：除了新闻网站，还可以爬取社交平台（如微博、知乎等）的数据，进一步丰富舆情分析的维度。
通过 Python 爬虫和情感分析技术，结合数据可视化工具，我们可以有效地分析新闻舆情，为品牌管理、市场预测等提供强有力的支持。