使用集合、redis、布隆过滤器和数据库唯一约束可有效避免爬虫重复抓取。小规模用set，大规模结合redis与布隆过滤器，存储时通过数据库唯一索引防止重复插入，形成去重闭环。
在使用Python爬虫抓取数据时，避免重复抓取和存储是提升效率、节省资源的关键环节。如果不对已抓取的URL或数据进行去重处理，程序可能会反复请求同一页面，不仅浪费带宽，还可能被目标网站封禁IP。以下是几种常见且有效的去重方法。
1. 使用集合（set）记录已抓取的URL
最简单直接的方式是用Python内置的set结构来保存已经请求过的URL。因为set具有唯一性，插入重复元素不会生效，适合快速判断某个URL是否已处理。
示例代码：
visited_urls = set()
for url in url_list:
if url not in visited_urls:
visited_urls.add(url)
# 执行爬取操作
crawl(url)
适用于小规模任务。但如果程序重启，set中的数据会丢失，无法持久化。
2. 利用Redis实现去重与持久化
对于大规模或分布式爬虫，推荐使用Redis作为去重中心。Redis支持高性能读写，并提供set和bitmap等数据结构，适合跨进程、跨机器共享状态。
立即学习“Python免费学习笔记（深入）”；
可以将每个请求过的URL存入Redis的set中：
示例代码：
import redis
<p>r = redis.Redis(host='localhost', port=6379, db=0)
if r.sadd('crawled_urls', url) == 1:</p><h1>返回1表示新增成功，说明之前未抓取</h1><pre class='brush:python;toolbar:false;'>crawl(url)
else:
返回0表示已存在，跳过
pass
若对内存要求更高，还可使用Redis的布隆过滤器（通过扩展模块如redisbloom），实现更高效的去重判断。
3. 布隆过滤器（Bloom Filter）高效判重
布隆过滤器是一种空间效率高、查询速度快的概率型数据结构，适合判断一个元素“是否可能已存在”。虽然存在极低的误判率（认为存在但实际没有），但不会漏判。
在爬虫中，可结合bitarray和哈希函数自行实现，或使用现成库如pybloom_live：
安装：pip install pybloom-live使用示例：
from bloom_filter import BloomFilter <p>bf = BloomFilter(max_elements=1000000, error_rate=0.1) if url not in bf: bf.add(url) crawl(url)</p>
特别适合内存受限但需处理大量URL的场景。
4. 数据库存储时防止重复插入
即使抓取阶段做了去重，存储时仍可能因程序异常导致重复写入。可通过数据库约束来保障唯一性。
例如，在MySQL中为URL字段添加唯一索引：
ALTER TABLE pages ADD UNIQUE INDEX idx_url (url);
插入时使用INSERT IGNORE或ON DUPLICATE KEY UPDATE语句，避免报错中断程序。
如果是使用ORM如SQLAlchemy，可在模型中设置唯一约束，并捕获异常或使用upsert逻辑。
基本上就这些。选择哪种方式取决于项目规模和运行环境。小项目用set就够了，中大型建议结合Redis+布隆过滤器，再配合数据库层面的唯一约束，就能有效避免重复抓取和存储问题。不复杂但容易忽略细节，关键是形成闭环控制。
