正则表达式在爬虫中的应用：匹配 HTML 和 JSON 的技巧

在爬虫开发中，正则表达式是一种强大的工具，可以帮助我们从复杂的文本中提取所需信息。无论是处理 HTML 页面还是 JSON 数据，正则表达式都能发挥重要作用。本文将深入探讨正则表达式在爬虫中的应用，包括如何匹配 HTML 和 JSON 数据，以及贪婪和非贪婪模式的区别。

一、正则表达式基础

正则表达式（Regular Expression）是一种文本模式描述语言，用于匹配和操作字符串。以下是一些常用的正则表达式语法：

• 匹配任意字符：.（除了换行符）

• 匹配数字：\d

• 匹配非数字：\D

• 匹配字母：[a-zA-Z]

• 匹配多个字符：*（0 次或多次）、+（1 次或多次）、?（0 次或 1 次）

• 匹配特定字符：[]（如 [abc] 匹配 a、b 或 c）

• 匹配范围：-（如 [a-z] 匹配小写字母）

• 匹配开始和结束：^（字符串开始）、$（字符串结束）

二、正则表达式匹配 HTML

HTML 页面结构复杂，包含大量的标签和属性。正则表达式可以帮助我们在 HTML 中提取特定的内容。

2.1 提取 HTML 标签内容

假设我们有一个简单的 HTML 页面：

  
欢迎来到爬虫世界
  
这是一个关于爬虫的教程。
  访问示例网站

2.1.1 提取标题

const html = `
  

    
欢迎来到爬虫世界
    
这是一个关于爬虫的教程。
    访问示例网站
  
`;

const titleRegex = /
(.*?)<\/h1>/;
const match = html.match(titleRegex);
if (match) {
  console.log('提取的标题：', match[1]); // 输出：提取的标题： 欢迎来到爬虫世界
}

2.1.2 提取链接

const linkRegex = /(.*?)<\/a>/;
const linkMatch = html.match(linkRegex);
if (linkMatch) {
  console.log('提取的链接：', linkMatch[1]); // 输出：提取的链接： https://example.com
  console.log('提取的链接文本：', linkMatch[2]); // 输出：提取的链接文本： 访问示例网站
}

2.2 提取多个 HTML 元素

假设我们有一个新闻列表：

  

    
新闻标题 1
    
新闻摘要 1
    2024-10-01
  
  

    
新闻标题 2
    
新闻摘要 2
    2024-10-02
  

2.2.1 提取所有新闻标题和链接

const newsHtml = `
  

    

      
新闻标题 1
      
新闻摘要 1
      2024-10-01
    
    

      
新闻标题 2
      
新闻摘要 2
      2024-10-02
    
  
`;

const newsRegex = /
(.*?)<\/a><\/h3>/g;
const newsList = [];
let newsMatch;

while ((newsMatch = newsRegex.exec(newsHtml)) !== null) {
  newsList.push({
    link: newsMatch[1],
    title: newsMatch[2]
  });
}

console.log('提取的新闻列表：', newsList);

输出结果：

提取的新闻列表： [
  { link: '/news/1', title: '新闻标题 1' },
  { link: '/news/2', title: '新闻标题 2' }
]

2.3 提取 HTML 中的图片链接

const html = `
  

    
    
  
`;

const imgRegex = //g;
const images = [];
let imgMatch;

while ((imgMatch = imgRegex.exec(html)) !== null) {
  images.push(imgMatch[1]);
}

console.log('提取的图片链接：', images); // 输出：提取的图片链接： [ 'image1.jpg', 'image2.png' ]

三、正则表达式匹配 JSON

JSON 数据结构相对简单，但有时我们可能需要从 JSON 字符串中提取特定的字段，尤其是在处理嵌套结构时。

3.1 提取 JSON 中的特定字段

假设我们有一个 JSON 字符串：

{
  "user": {
    "name": "张三",
    "profile": {
      "age": 25,
      "email": "[email protected]"
    }
  },
  "posts": [
    {
      "id": 1,
      "title": "我的第一篇博客"
    },
    {
      "id": 2,
      "title": "爬虫入门教程"
    }
  ]
}

3.1.1 提取用户邮箱

const jsonStr = `
  {
    "user": {
      "name": "张三",
      "profile": {
        "age": 25,
        "email": "[email protected]"
      }
    },
    "posts": [
      {
        "id": 1,
        "title": "我的第一篇博客"
      },
      {
        "id": 2,
        "title": "爬虫入门教程"
      }
    ]
  }
`;

const emailRegex = /"email"\s*:\s*"([^"]+)"/;
const emailMatch = jsonStr.match(emailRegex);
if (emailMatch) {
  console.log('提取的邮箱：', emailMatch[1]); // 输出：提取的邮箱： [email protected]
}

3.1.2 提取所有博客标题

const titleRegex = /"title"\s*:\s*"([^"]+)"/g;
const titles = [];
let titleMatch;

while ((titleMatch = titleRegex.exec(jsonStr)) !== null) {
  titles.push(titleMatch[1]);
}

console.log('提取的博客标题：', titles); // 输出：提取的博客标题： [ '我的第一篇博客', '爬虫入门教程' ]

四、贪婪与非贪婪模式

正则表达式中的贪婪和非贪婪模式决定了匹配的范围。贪婪模式会尽可能多地匹配字符，而非贪婪模式则尽可能少地匹配字符。

4.1 贪婪模式

const html = '
段落 1
段落 2
';
const greedyRegex = /
(.*)<\/div>/;
const match = html.match(greedyRegex);
if (match) {
  console.log('贪婪模式匹配结果：', match[1]); 
  // 输出：贪婪模式匹配结果： 
段落 1
段落 2
}

4.2 非贪婪模式

const html = '
段落 1
段落 2
';
const nonGreedyRegex = /
(.*?)<\/div>/;
const match = html.match(nonGreedyRegex);
if (match) {
  console.log('非贪婪模式匹配结果：', match[1]); 
  // 输出：非贪婪模式匹配结果： 
段落 1
段落 2
}

在实际应用中，非贪婪模式通常更适用于提取特定内容，因为它会尽可能少地匹配字符，避免过度匹配。

五、总结

正则表达式是爬虫开发中不可或缺的工具，它可以帮助我们从复杂的 HTML 和 JSON 数据中提取所需信息。通过合理使用贪婪和非贪婪模式，我们可以更精确地控制匹配范围，提高数据提取的准确性。