Python爬虫：requests库与动态网页内容的挑战
在使用Python的requests库抓取网页数据时，经常会遇到获取到的内容与浏览器显示结果不一致的情况，尤其是在处理动态加载的网页时。本文将分析此类问题，并提供基于selenium库的解决方案。
问题：静态抓取与动态内容的冲突
许多网站使用JavaScript动态加载内容，requests库仅能获取网页的初始HTML源码，无法执行JavaScript代码，导致动态加载的内容缺失。
例如，尝试使用requests获取某个物流信息网页（地址略去，为保护隐私）：
import requests
url = '...' # 物流信息网页地址
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.58'
}
response = requests.get(url, headers=headers)
html_content = response.content.decode('utf-8')
由于该网页使用JavaScript动态加载物流信息，requests获取的html_content将缺少关键数据。
解决方案：Selenium模拟浏览器行为
为了解决这个问题，我们可以使用selenium库模拟浏览器行为，执行JavaScript代码并获取完整的网页内容。
import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# 设置浏览器驱动路径 (请根据实际情况修改)
driver_path = '/path/to/chromedriver'
driver = webdriver.Chrome(executable_path=driver_path)
url = '...' # 物流信息网页地址
driver.get(url)
# 使用显式等待，确保页面加载完成 (避免元素定位失败)
try:
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, 'logisticsInfo')) # 根据实际网页元素ID修改
)
logistics_info = element.text
print(logistics_info)
except:
print("未能找到物流信息元素")
driver.quit()
此代码使用selenium打开网页，并使用WebDriverWait等待特定元素出现，确保页面完全加载后再提取物流信息（假设物流信息位于id为'logisticsInfo'的元素中，请根据实际情况修改）。 记住安装必要的驱动程序，并替换/path/to/chromedriver 为你chromedriver的实际路径。
通过selenium，我们可以克服requests在处理动态网页时的局限性，有效获取动态加载的网页内容。 请注意，By.ID 和 'logisticsInfo' 需要根据目标网页的实际HTML结构进行调整。
