如何使用 Selenium 正确抓取动态网页中的表格数据

心靈之曲

发布时间：2026-01-17 11:25:13

979人浏览过

来源于php中文网

原创

如何使用 Selenium 正确抓取动态网页中的表格数据

本文详解 selenium 抓取动态加载表格时常见的定位失败问题，提供基于显式等待的健壮解决方案，并修正过时 api 用法，确保稳定获取 `

` 中的行数。

在使用 Selenium 提取动态网页（如 AJAX 渲染的表格）时，直接调用 find_element 很容易因元素尚未加载而抛出 NoSuchElementException。原始代码中尝试通过 //*[@id="result"]/table 定位表格，但目标页面实际并不存在 ID 为 "result" 的容器元素——这是导致异常的根本原因。此外，find_elements_by_tag_name() 已在 Selenium 4+ 中被彻底弃用，必须改用 By.TAG_NAME 配合 find_elements()。

更可靠的做法是：跳过无效中间容器，直接定位页面中唯一的

，并配合显式等待确保 DOM 完全就绪。以下是优化后的完整示例：
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 启动浏览器（推荐使用 WebDriver Manager 自动管理驱动版本） driver = webdriver.Chrome() # 无需手动指定 chromedriver 路径（需安装 webdriver-manager） url = "https://draft.shgn.com/nfc/public/dp/788/grid" driver.get(url) # 显式等待：等待表格的所有行（<tr>）可见（最多 10 秒） wait = WebDriverWait(driver, 10) table_rows = wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "table tr"))) print(f"成功获取 {len(table_rows)} 行数据") # 如需进一步解析，可遍历每行提取单元格文本： # for row in table_rows: # cells = row.find_elements(By.TAG_NAME, "td") # print([cell.text.strip() for cell in cells]) driver.quit() # 推荐使用 quit() 而非 close()，确保会话彻底释放
✅ 关键改进点说明：

动态WEB网站中的PHP和MySQL：直观的QuickPro指南第2版
动态WEB网站中的PHP和MySQL详细反映实际程序的需求，仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联JavaScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法，让网站看起来更专业。另外还引入大量来自PEAR外挂函数库的强大功能，对常用的、强大的包

下载

移除错误定位器：不再依赖不存在的 #result ID，改用语义明确的 table tr CSS 选择器；

强制显式等待：visibility_of_all_elements_located 确保所有
不仅存在，而且可见、可交互；
API 兼容性升级：全面采用 Selenium 4 标准写法（By.* + find_elements），避免 DeprecationWarning；

资源安全释放：使用 driver.quit() 关闭整个浏览器实例，防止后台进程残留。

⚠️ 注意事项：

若页面含 iframe，需先 driver.switch_to.frame(...) 切入对应上下文；

遇到反爬机制（如 Cloudflare 拦截），需添加 options.add_argument("--disable-blink-features=AutomationControlled") 并隐藏 WebDriver 特征；

生产环境建议搭配 webdriver-manager 自动下载匹配版本驱动，避免路径硬编码与版本不兼容问题。

通过以上调整，即可稳定、高效地从动态网页中提取表格结构化数据。

如何实现文本在容器内从右向左平滑滚动且严格隐藏溢出部分

修复无限轮播图中导航按钮失效问题：display: none 的隐藏陷阱

实现文本在容器内从右向左循环滚动动画，同时严格隐藏溢出部分

解决轮播容器 display: none 导致导航按钮失效的问题

如何实现网页暗色与亮色主题的循环切换

相关标签:

css ajax 编码浏览器 ai switch webdriver ajax dom 选择器 table tr iframe

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：如何在 Owl Carousel 中实现悬停时非活动项动态分离效果下一篇：如何正确居中绝对定位的元素

作者最新文章

如何正确使用 if-else 判断数据类型并安全执行数值运算

2026-03-06 15:30

如何将 jQuery 的拖放事件正确迁移至原生 JavaScript

2026-03-06 15:40

前端压缩 + 后端优化：高效解决大图上传卡顿与503错误

2026-03-06 15:44

如何通过 HTML 属性安全隐藏或重置 HTTP Referer？

2026-03-06 15:45

鄂汇办app如何补办残疾证

2026-03-06 16:02

《梅格与怪物》确定登陆手机平台好评如潮爱哭少女RPG

2026-03-06 16:07

Go语言中嵌入结构体的JSON序列化问题解析

2026-03-06 16:13

高效算法：用最少区间增量操作使数组严格递增

2026-03-06 16:30

如何高效提取 NumPy 二维数组每行出现频次最高的所有值

2026-03-06 17:36

vscode怎么查成绩

2026-03-06 17:40

热门AI工具

DeepSeek

幻方量化公司旗下的开源大模型平台

AI编程开发 AI聊天问答

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI编程开发 AI大模型

通义千问

阿里巴巴推出的全能AI助手

AI编程开发 Agent智能体

腾讯元宝

腾讯混元平台推出的AI助手

文档处理 Excel 表格

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI编程开发 AI文本写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

AI文本写作中文写作

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接图画生成

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI编程开发 AI文本写作

智谱清言 - 免费全能的AI助手

AI编程开发 Agent智能体

相关专题

ajax教程

php中文网为大家带来ajax教程合集，Ajax是一种用于创建快速动态网页的技术。通过在后台与服务器进行少量数据交换，Ajax可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。php中文网还为大家带来ajax的相关下载资源、相关课程以及相关文章等内容，供大家免费下载使用。

166

2023.06.14

ajax中文乱码解决方法

ajax中文乱码解决方法有设置请求头部的字符编码、在服务器端设置响应头部的字符编码和使用encodeURIComponent对中文进行编码。本专题为大家提供ajax中文乱码相关的文章、下载、课程内容，供大家免费下载体验。

170

2023.08.31

ajax传递中文乱码怎么办

ajax传递中文乱码的解决办法：1、设置统一的编码方式；2、服务器端编码；3、客户端解码；4、设置HTTP响应头；5、使用JSON格式。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

124

2023.11.15

ajax网站有哪些

使用ajax的网站有谷歌、维基百科、脸书、纽约时报、亚马逊、stackoverflow、twitter、hacker news、shopify和basecamp等。本专题为大家提供相关的文章、下载、课程内容，供大家免费下载体验。

254

2024.09.24

DOM是什么意思

dom的英文全称是documentobjectmodel，表示文件对象模型，是w3c组织推荐的处理可扩展置标语言的标准编程接口；dom是html文档的内存中对象表示，它提供了使用javascript与网页交互的方式。想了解更多的相关内容，可以阅读本专题下面的文章。

4246

2024.08.14

iframe写法有哪些

iframe写法有基本Iframe写法、嵌套Iframe写法、自适应宽高的Iframe写法、带有样式和属性的Iframe写法、内联Iframe写法和使用JavaScript动态创建Iframe写法。种写法都有自己的特点和适用场景。根据实际需求，选择合适的写法可以实现所需的功能和效果。

489

2023.10.19

JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开，系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理，以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例，帮助开发者理解浏览器底层工作原理，并掌握提升网页加载速度与交互体验的实用技巧。

2026.03.06

Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开，深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例，分析内存安全保障原理与零成本抽象优势，并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学，掌握在高性能与安全性并重场景中的工程实践能力。

2026.03.05

PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开，重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景，深入分析性能瓶颈定位与优化思路，帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

164

2026.03.04

热门下载

网站特效

网站源码

网站素材

前端模板