Python 中定向爬取网页的方法有：使用 CSS 选择器：通过 CSS 选择器定位 HTML 元素。使用 XPath：通过 XML 路径语言在 HTML 文档中选取元素。使用正则表达式：通过正则模式匹配从文本中提取数据。
Python 爬虫如何定向爬取网页？
在 Python 中定向爬取网页是指有选择性地仅抓取网站特定部分的内容，而不是整个页面。这可以通过多种方式实现：
1. 使用 CSS 选择器
CSS 选择器是一种强大的工具，可用于从 HTML 文档中选择特定元素。要使用 CSS 选择器进行定向爬取，请执行以下步骤：
立即学习“Python免费学习笔记（深入）”；
- 确定要爬取的元素在 HTML 文档中的位置。
- 使用
requests库抓取网页。 - 使用
BeautifulSoup库解析 HTML 文档。 - 使用
select()方法查找要爬取的元素。
2. 使用 XPath
XPath 是一种 XML 路径语言，可用于从 XML 和 HTML 文档中导航和选择元素。要使用 XPath 进行定向爬取，请执行以下步骤：
- 确定要爬取的元素在 HTML 文档中的路径。
- 使用
requests库抓取网页。 - 使用
lxml库解析 HTML 文档。 - 使用
find()或iterfind()方法查找要爬取的元素。
3. 使用正则表达式
正则表达式是一种强大的模式匹配语言，可用于从文本中查找和提取数据。要使用正则表达式进行定向爬取，请执行以下步骤：
- 编写一个正则表达式来匹配要爬取的数据。
- 使用
requests库抓取网页。 - 使用
re库搜索正则表达式匹配项。
示例：
以下示例使用 CSS 选择器从 Stack Overflow 网站爬取问题标题：
import requests
from bs4 import BeautifulSoup
url = "https://stackoverflow.com"
r = requests.get(url)
soup = BeautifulSoup(r.content, "html.parser")
questions = soup.select("h3.fc-black-700.fs-body3")
for question in questions:
print(question.text)结论：
利用 CSS 选择器、XPath 和正则表达式，您可以轻松地定向爬取网页，从而仅抓取网站内容中您感兴趣的部分。
