45 | 位图:如何实现网页爬虫中的URL去重功能?

↑↑↑ 欢迎关注,分享更多 IT 技术

注:本笔记为 公司内部技术小组持续学习 2 年多时间 + 个人整理不下 5 次的结果产出。

目录

45 | 位图:如何实现网页爬虫中的URL去重功能?

算法解析

位图(BitMap)

布隆过滤器


45 | 位图:如何实现网页爬虫中的URL去重功能?

  1. 开篇题

    • 如何实现网页爬虫中的URL去重功能?


算法解析

  1. 需求

    1. 功能性需求

      • 添加一个 URL

      • 查询一个 URL

    2. 非功能性

你可能感兴趣的:(数据结构&算法,数据结构,算法)