Go 语言的堆糖图片爬虫

基于 Go 语言的堆糖图片爬取探索之旅

在互联网的浩瀚海洋中，堆糖网以其丰富多样的高清图片、美图壁纸等内容吸引了众多用户。对于图片爱好者来说，能高效获取心仪的图片资源无疑是一件极具吸引力的事情。今天，就带大家走进一段基于 Go 语言的堆糖图片爬取尝试之旅。

一、缘起：对图片资源的渴求

在日常的浏览和创作过程中，优质图片的需求日益增长。堆糖网上海量且风格各异的图片资源成为了理想的目标。然而，手动逐页浏览和下载不仅效率低下，还容易遗漏心仪的内容。于是，萌生了利用编程手段自动抓取图片的想法，既能满足自身需求，又能深入学习和实践网络爬虫技术。

二、技术选型：Go 语言的优势与相关库的选择

Go 语言以其简洁的语法、强大的并发能力以及高效的性能在众多编程语言中脱颖而出。在网络爬虫开发领域，Go 语言可以快速发起大量请求，高效处理数据。

选择了以下关键库：

• goquery ：类似于 jQuery 的库，方便地对 HTML 文档进行解析和操作，能够轻松提取所需的内容，如图片链接等。
• regexp ：用于正则表达式操作，精准匹配和提取符合特定模式的字符串，在抓取图片链接等具有一定格式的数据时非常实用。

三、代码实现详解

用户输入与循环控制

程序首先提示用户输入要搜索的内容，通过 fmt.Scanln 获取用户输入的关键词并存储在 name 变量中。接着，利用一个 for 循环，从页码 1 开始，一直到第 10 页，模拟分页浏览堆糖网搜索结果的操作，实现了对多页图片资源的全面覆盖。

URL 构造与 HTTP 请求

在循环内部，巧妙地构造了访问堆糖网搜索页面的 URL，将用户输入的关键词以及当前页码动态拼基础接到 URL 后面，生成完整的请求地址。通过 http.Get 方法向堆糖网服务器发送 GET 请求，获取页面内容。在请求过程中，添加了错误处理机制，当出现请求错误时，使用 slog.Error 输出错误信息，便于调试和定位问题。

HTML 解析与图片链接提取

借助 goquery 库，将获取到的页面内容解析为 HTML 文档对象。然后，利用正则表达式 data-iid="" src="(.*?)" 精准匹配出图片的链接。通过 FindAllStringSubmatch 方法在解析后的 HTML 文本中查找所有符合正则模式的图片链接，将匹配到的结果存储在 matches 切片中。

结果输出

最后，遍历匹配到的图片链接结果切片，将每张图片的链接打印输出。这样，用户就可以快速获取到搜索关键词相关的图片资源链接，为进一步的下载和使用提供了便利。

四、运行与结果分析

在运行程序时，只需输入感兴趣的关键词，如 “风景”“动漫” 等，程序便会在控制台依次输出搜索结果中各页的图片链接。可以观察到，随着页码的递增，不同风格和类型的图片链接不断涌现，基本符合堆糖网的图片分布情况。

然而，在实际运行过程中，也发现了一些问题。例如，由于网络请求的限制或者堆糖网页面结构的调整，可能会导致部分图片链接提取不完整或者出现错误。这提示着在后续的开发和优化中，需要进一步完善请求策略和解析逻辑，以提高爬虫的稳定性和准确性。

五、总结与展望

这次基于 Go 语言的堆糖图片爬取尝试，是一次极具价值的技术实践。通过合理运用 goquery 和 regexp 等库，基本实现了对堆糖网图片资源的自动化抓取。不仅满足了个人对于特定图片的获取需求，更深入了解了网络爬虫的工作原理和实现细节。

在未来，可以进一步优化爬虫的性能，如添加代理 IP 池、提高反反爬能力等，以应对复杂的网络环境。同时，可以将爬取到的图片链接进行更深入的处理，如批量下载、分类存储等，构建一个更加完善的图片资源获取与管理工具。在遵守相关法律法规和网站使用条款的前提下，不断探索和创新，发掘网络爬虫技术在更多领域的应用价值，为我们的创作和生活带来更多便利与乐趣。

让我们怀揣着对技术的热爱和对知识的追求，继续在编程的世界里探索前行，不断解锁新的技能，发现更多的精彩！

以上博客内容你可以根据实际情况进行调整和补充，如果你还有其他想法或者想要更详细地阐述某个部分，欢迎随时告诉我。

六，源码

package main

import (
	"fmt"
	"github.com/PuerkitoBio/goquery"
	"log/slog"
	"net/http"
	"regexp"
)

func main() {
	var name string
	fmt.Println("输入要搜索的内容")
	_, err := fmt.Scanln(&name)
	for i := 1; i <= 10; i++ {

		if err != nil {
			slog.Error("失败")
		}
		fmt.Println(i)
		ccc := "https://www.duitang.com/search/?kw=" + name + "&type=feed#!s-p" + string(i)

		// 通过http发送get请求
		req, err := http.Get(ccc)
		if err != nil {
			slog.Error("访问主页失败")
		}
		defer req.Body.Close()
		// 解析请求体
		doc, err := goquery.NewDocumentFromReader(req.Body)
		// 让请求体按照html格式输出，也有Text()按照文本输出的方法
		aaa, err := doc.Html()
		//fmt.Println(aaa)
		re := regexp.MustCompile(`data-iid="" src="(.*?)" `)
		matches := re.FindAllStringSubmatch(aaa, -1)
		for _, url := range matches {
			fmt.Println(url[1])
		}

	}
}