Python 爬虫中设置 URL 有五种方法：解析 URL（使用 urlparse 模块）；创建 Request 对象（使用 Scrapy 框架）；使用 urljoin 拼接 URL；使用正则表达式提取 URL；使用 XPath 或 CSS 选择器提取 URL（从 HTML/XML 中）。
如何在 Python 爬虫中设置 URL
在 Python 爬虫中设置 URL 对于有效抓取目标网站至关重要。以下是如何设置 URL 的说明：
1. 使用 urlparse 模块解析 URL
Python 中的 urlparse 模块提供了一个名为 urlparse() 的函数，它可以将 URL 解析为其组成部分，如协议、主机、路径等：
立即学习“Python免费学习笔记（深入）”；
from urlparse import urlparse url = 'https://example.com/path/to/page' parsed_url = urlparse(url)
2. 使用 Request 对象设置 URL
Scrapy 框架提供了一个 Request 对象，它可以接受一个 URL 并存储其他元数据，例如方法和标头：
from scrapy.http import Request url = 'https://example.com/path/to/page' request = Request(url, callback=my_callback)
3. 使用 urljoin 函数拼接 URL
有时需要将 URL 和相对路径拼接起来形成一个新 URL。为此，可以使用 urljoin 函数：
from urlparse import urljoin base_url = 'https://example.com' relative_url = 'path/to/page' new_url = urljoin(base_url, relative_url)
4. 使用正则表达式提取 URL
对于动态生成的 URL 或从文本中提取 URL，可以使用正则表达式：
import re
url_pattern = 'https://example\.com/path/(.+)'
text = 'Visit https://example.com/path/to/page'
match = re.search(url_pattern, text)
if match:
url = match.group(1)5. 使用 XPath 或 CSS 选择器提取 URL
对于从 HTML 或 XML 文档中提取 URL，可以使用 XPath 或 CSS 选择器：
from scrapy.selector import Selector html = 'Link' selector = Selector(text=html) url = selector.xpath('//a/@href').extract_first()
