机器学习 - 余弦相似度算法和IntelliScraper

场景

当时，我说要开发一个HSipder，开发完毕的时候，我发现不太智能，通过正则表达式拿过来的相似数据实际上也不太ok，但是后面我在接触机器学习的时候听闻了余弦相似度算法，当时用他爬了一些网页，结果是很ok的，于是我把HSipder项目拆了拆加入了余弦算法，我发现准确度上去了一个维度。很Nice，随机我将其发布到pypi库，并且开源，命名为IntelliScraper，意思是 智能爬，也有人工智能的意思在里面。感兴趣的小伙伴可去看看
github-IntelliScraper
gitte-IntelliScraper
如果能点小星星，感激不尽了。

项目介绍

IntelliScraper 是一个先进的 Python 网络爬虫工具️，专为精确解析 HTML 内容和特征匹配技术而设计，用于从特定网页提取关键信息。它使用 BeautifulSoup 和 scikit-learn 等强大的库来处理复杂的网页结构，提供高效且灵活的网页数据抓取和处理方式。

用途

• 数据提取与分析: 从各种网页中提取所需数据，支持数据分析和市场研究。
• 内容监控: 监控经常更新内容的网站，追踪如新闻更新、价格变动等信息。
• 自动化测试: 对网页开发者来说，用于进行网页内容和布局的自动化测试。

✨ 特点和好处

• 高度定制️: 用户可以定义想要提取的数据列表（wanted_list），使得数据提取更具针对性。
• 智能匹配: 利用余弦相似度算法智能匹配网页元素，提高准确性。
• 易用性: 尽管背后的技术复杂，但对用户来说，使用简单明了。只需提供网址、所需数据和规则路径，即可开始抓取。
• 灵活性: 支持通过 URL 直接获取 HTML 或使用现有的 HTML 内容，适应不同的使用场景。
• 可扩展性: 核心功能以类的形式实现，易于继承和扩展，满足特定需求。

为什么选择 IntelliScraper

• 先进的技术栈: 使用了最新的 BeautifulSoup 和 scikit-learn 库，保证了高效的处理和准确的数据抽取。
• 适应性强: 能够处理各种复杂的网页结构，从简单的博客到复杂的动态网站都能应对自如。
• 用户友好: 通过简单的配置和几行代码，即使是非专业开发者也能轻松上手。
• 性能优异: 相较于传统的静态规则爬虫，IntelliScraper 通过智能算法提供更高的准确率和效率。

应用场景示例

假设您是一名数据分析师，需要从多个博客中定期提取特定作者的文章和更新信息。通过设置 IntelliScraper，您可以轻松抓取这些数据，进行进一步的分析和报告。同样，如果您是一名网页开发者，需要监控网站内容的变化，IntelliScraper 可以帮助您自动化这一过程，节省时间和精力。

怎么使用

先安装

pip install IntelliScraper

再使用

wanted_list = ['北堂飘霜']
scraper = WebScraper(wanted_list, url='https://blog.csdn.net/weixin_45487988?spm=1010.2135.3001.5343')
results = scraper.build()
for result in results:
    print(result)

wanted_list是你想要的元素，url是请求连接 ，results就是返回元素的结果，可以自行处理。

结果

一定要点一下小星星啊，感谢！