答案是使用能执行JavaScript的工具或分析动态接口。关键在于选择合适方法：优先逆向分析XHR请求，用requests直接调用API；若需渲染，则用Playwright或Selenium模拟浏览器，获取动态内容。
Python爬虫抓取JavaScript渲染页面的关键在于让程序能执行页面中的JS代码，从而获取动态加载的内容。传统的requests库只能获取初始HTML源码，无法拿到Ajax或前端框架（如Vue、React）渲染后的内容。要解决这个问题，需要借助能执行JavaScript的工具。
使用Selenium模拟浏览器操作
Selenium是一个强大的自动化测试工具，它可以启动真实的浏览器（如Chrome、Firefox），完整执行JavaScript，适合处理复杂的动态页面。
技术要点：
- 安装selenium库和对应浏览器的驱动（如chromedriver）
- 通过WebDriver加载页面，等待JS执行完成
- 使用find_element等方法提取渲染后的元素内容
- 可结合time.sleep或WebDriverWait实现智能等待
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWaitdriver = webdriver.Chrome() driver.get("https://www.php.cn/link/ca14cd6c279d15639a51915b4b7917bc")
等待内容加载
element = WebDriverWait(driver, 10).until( lambda d: d.find_element(By.CLASS_NAME, "news-item") ) print(driver.page_source) driver.quit()
使用Playwright提升效率与稳定性
Playwright是微软开发的现代化自动化工具，支持多浏览器（Chromium、WebKit、Firefox），API更简洁，性能优于Selenium。
立即学习“Java免费学习笔记（深入）”；
优势特点：
- 自动等待机制，减少显式sleep
- 支持拦截请求、模拟移动端设备
- 原生支持异步操作，适合高并发场景
- 能直接获取JSON响应，无需解析HTML
Headless浏览器与性能权衡
虽然Selenium和Playwright功能强大，但每次启动浏览器资源消耗较大。可通过以下方式优化：
- 启用headless模式减少图形界面开销
- 禁用图片加载、CSS甚至JS（按需）提升速度
- 复用浏览器实例避免频繁启停
- 设置合理的超时时间防止卡死
对于简单接口，优先考虑分析XHR请求，直接调用API获取数据，比渲染整页更高效。
逆向分析JS请求（推荐优先尝试）
很多JS渲染页面的数据来自后端API。通过浏览器开发者工具查看Network面板，找出关键的XHR/fetch请求，用requests直接模拟调用。
操作步骤：
- 打开F12，刷新页面，筛选XHR请求
- 定位返回JSON数据的接口URL和参数
- 复制请求头（特别是Cookie、User-Agent、Referer）
- 在Python中用requests或aiohttp发起请求
基本上就这些。根据目标网站的技术特点选择合适的方法：能走API就不渲染，必须渲染就用Playwright或Selenium。关键是理解页面数据来源，再决定爬取策略。不复杂但容易忽略的是请求头和反爬机制的处理，记得合理设置延时和IP代理。
