本文将介绍如何使用 Python 的 Scrapy 框架，高效地从单个 URL 中提取所有链接，包括嵌套的链接。Scrapy 提供了强大的多线程爬取能力，简化了网页爬取任务，避免了手动管理线程的复杂性。我们将通过一个简单的示例，展示如何配置 Scrapy 并提取目标网页上的所有链接，并将其保存到 CSV 文件中。
Scrapy 简介
Scrapy 是一个强大的 Python 框架，用于大规模网页抓取。它内置了多线程支持，并且提供了许多方便的功能，例如自动处理请求和响应、数据提取和数据存储。与手动编写多线程代码相比，Scrapy 可以显著简化爬虫的开发过程。
安装 Scrapy
首先，需要安装 Scrapy。可以使用 pip 命令进行安装：
pip install scrapy
创建 Scrapy 爬虫
Scrapy 爬虫的核心是定义如何从网页中提取数据，以及如何跟踪链接并继续爬取。以下是一个简单的 Scrapy 爬虫示例，用于从 https://www.tradeindia.com/ 提取所有链接：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
allowed_domains = ['www.tradeindia.com']
start_urls = ['https://www.tradeindia.com/']
def parse(self, response):
print('\n>>> url:', response.url, '\n')
links = response.css('a::attr(href)').extract()
# 创建 item，用于保存到 CSV 文件
for url in links:
yield {'url': url}
# 创建请求，用于跟踪链接并继续爬取
for url in links:
yield response.follow(url)代码解释：
- name: 爬虫的名称，必须唯一。
- allowed_domains: 允许爬取的域名，防止爬虫爬到其他网站。
- start_urls: 爬虫启动时要爬取的 URL 列表。
- parse(self, response): Scrapy 用来处理下载的 response 的回调函数。response 对象包含了页面的内容。
- response.css('a::attr(href)').extract(): 使用 CSS 选择器提取所有 标签的 href 属性。
- yield {'url': url}: 将提取的 URL 作为 item 产出。Scrapy 会自动将这些 item 保存到指定的文件中。
- yield response.follow(url): 创建一个新的请求，用于爬取提取的 URL。response.follow 会自动处理相对 URL。
运行 Scrapy 爬虫
为了运行爬虫，需要创建一个 CrawlerProcess 实例，并配置一些参数。以下是如何在不创建 Scrapy 项目的情况下运行爬虫的示例代码：
艺帆集团公司企业网站源码基于艺帆企业cms制作，全站div+css 制作；它包含了单页设置、单页分类设置、新闻、产品、下载、在线招聘、在线留言、幻灯管理、友情链接管理和数据库备份等功能。 DIV+CSS布局优势一.精简代码，减少重构难度。网站使用DIV+CSS布局使代码很是精简，相信大多朋友也都略有所闻，css文件可以在网站的任意一个页面进行调用，而若是使用table表格修改部分页面却是显得很麻烦
from scrapy.crawler import CrawlerProcess
c = CrawlerProcess({
'USER_AGENT': 'Mozilla/5.0',
'CONCURRENT_REQUESTS': 10, # 默认值: 16
#'RANDOMIZE_DOWNLOAD_DELAY': True, # 默认值: True
'DOWNLOAD_DELAY': 2, # 模拟真实用户，设置请求之间的延迟 (0.5*delay 到 1.5*delay)
#'LOG_LEVEL': 'INFO', # 减少屏幕上的信息输出
'FEEDS': {'output.csv': {'format': 'csv'}}, # 将结果保存到 CSV 文件
})
c.crawl(MySpider)
c.start()代码解释：
- USER_AGENT: 设置 User-Agent，模拟浏览器访问。
- CONCURRENT_REQUESTS: 设置并发请求的数量。
- DOWNLOAD_DELAY: 设置请求之间的延迟，防止被网站封禁。
- FEEDS: 配置数据导出，这里配置将数据导出到 output.csv 文件。
将以上代码保存为一个 Python 文件（例如 spider.py），然后在命令行中运行：
python spider.py
Scrapy 将会开始爬取 https://www.tradeindia.com/，提取所有链接，并将结果保存到 output.csv 文件中。
Scrapy 的其他特性
Scrapy 还提供了许多其他特性，例如：
- LinkExtractor: 用于更灵活地提取链接。
- CrawlSpider: 一个用于创建爬虫的基类，它提供了一些默认的爬取规则。
- Item Pipeline: 用于处理提取的数据，例如数据清洗、验证和存储。
- Middleware: 用于处理请求和响应，例如添加请求头、处理重定向和处理错误。
注意事项
- 遵守 robots.txt 协议: 在爬取网站之前，请务必查看该网站的 robots.txt 文件，了解哪些页面可以爬取，哪些页面不可以爬取。
- 设置合理的下载延迟: 为了避免给网站带来过大的压力，请设置合理的下载延迟。
- 处理异常: 在爬取过程中，可能会遇到各种异常，例如网络错误、页面不存在等。请务必处理这些异常，防止爬虫崩溃。
- 避免被封禁: 为了避免被网站封禁，请模拟真实用户的行为，例如设置 User-Agent、使用代理 IP 等。
总结
Scrapy 是一个功能强大的网页爬取框架，它提供了多线程支持和许多方便的功能，可以显著简化爬虫的开发过程。通过本文的介绍，你应该能够使用 Scrapy 提取网页上的所有链接，并将其保存到 CSV 文件中。希望本教程能帮助你更好地使用 Scrapy 进行网页爬取。
