0

0

深入理解Puppeteer的元素评估方法:.$eval()与.$$eval()

心靈之曲

心靈之曲

发布时间:2025-12-05 13:00:42

|

881人浏览过

|

来源于php中文网

原创

深入理解puppeteer的元素评估方法:.$eval()与.$$eval()

在进行网页自动化或数据抓取时,Puppeteer提供了强大的能力来与页面DOM进行交互。其中,page.$eval()和page.$$eval()(以及它们的元素句柄版本elementHandle.$eval()和elementHandle.$$eval())是执行JavaScript代码并获取DOM元素信息的关键方法。理解它们的区别和正确使用方式对于高效编写Puppeteer脚本至关重要。

1. 理解.$eval():针对单个元素的评估

.$eval(selector, pageFunction)方法用于在浏览器环境中执行一个pageFunction,并将其结果返回给Node.js环境。它的核心特点是:

  • 它只对页面中第一个匹配selector的元素执行pageFunction。
  • pageFunction会接收到这个匹配到的DOM元素作为其第一个参数。

示例:提取单个元素的HTML内容

假设我们需要从一个ID为#words的容器中,提取第一个div元素的内部HTML。

const puppeteer = require('puppeteer');

(async () => {
    const browser = await puppeteer.launch();
    const page = await browser.newPage();
    await page.goto('https://monkeytype.com/', { waitUntil: 'domcontentloaded' });

    // 等待 #words 元素出现
    const wordsSelector = await page.waitForSelector('#words');

    // 使用 .$eval 提取第一个 div 的 innerHTML
    const innerHtml = await wordsSelector.$eval('div', wordsDiv => wordsDiv.innerHTML);
    console.log("第一个div的innerHTML:", innerHtml); // 预期输出如 <letter>...</letter>

    await browser.close();
})();

在这个例子中,wordsDiv参数在pageFunction中代表了#words元素内部第一个匹配div选择器的DOM元素,我们可以直接访问它的innerHTML属性。

2. 理解.$$eval():针对多个元素的评估

.$$eval(selector, pageFunction)方法同样用于在浏览器环境中执行pageFunction,但它与.$eval()有显著不同:

  • 它对页面中所有匹配selector的元素执行pageFunction。
  • pageFunction会接收到一个DOM元素数组作为其第一个参数。

常见误区与正确用法

许多初学者在使用.$$eval()时,会错误地认为pageFunction中的参数是单个DOM元素,并尝试直接访问其属性,例如:

// 错误示例:尝试直接访问数组的 innerHTML 属性
// const words = await wordsSelector.$$eval('div', elements => elements.innerHTML);
// 这里的 elements 是一个数组,elements.innerHTML 将是 undefined

正确的做法是,在pageFunction内部,你需要遍历或映射这个DOM元素数组,对每个元素执行操作。

Dora
Dora

创建令人惊叹的3D动画网站,无需编写一行代码。

下载

示例:提取所有匹配元素的HTML内容

为了提取#words容器内所有.word元素的内部HTML,我们需要在pageFunction中对传入的元素数组进行映射:

const puppeteer = require('puppeteer');

(async () => {
    const browser = await puppeteer.launch({ headless: true });
    const [page] = await browser.pages();
    await page.goto('https://monkeytype.com/', { waitUntil: 'domcontentloaded' });

    // 接受 Cookies
    const rejectAllButton = await page.waitForSelector('.rejectAll');
    if (rejectAllButton) {
        await rejectAllButton.click();
    }

    // 等待第一个活跃的单词出现,确保页面加载完成
    await page.waitForSelector('#words .word.active');

    const wordsEl = await page.$('#words'); // 获取 #words 元素句柄

    // 使用 $$eval 提取所有 .word 元素的 innerHTML
    const wordsHtmlArray = await wordsEl.$$eval('.word', els =>
        els.map(el => el.innerHTML) // 对每个元素执行 .innerHTML 操作
    );
    console.log("所有单词的HTML:", wordsHtmlArray); // 预期输出如 ["<letter>...</letter>", ...]

    await browser.close();
})();

在这个例子中,els是一个包含所有.word元素的数组。我们使用map方法遍历这个数组,对每个元素el获取其innerHTML,最终返回一个包含所有HTML字符串的数组。

最佳实践:使用.textContent

在大多数情况下,如果你只需要元素的纯文本内容,推荐使用.textContent而不是.innerHTML。.textContent会返回元素及其所有子元素的文本内容,不包含任何HTML标签,这通常更简洁且不易出错。

// 提取所有 .word 元素的纯文本内容
const wordsTextArray = await wordsEl.$$eval('.word', els =>
    els.map(el => el.textContent.trim()) // 使用 .textContent 并去除首尾空白
);
console.log("所有单词的文本:", wordsTextArray); // 预期输出如 ["interest", "word", ...]

3. 高级应用:模拟打字测试与请求拦截

.$eval()和.$$eval()是构建复杂自动化脚本的基础。结合其他Puppeteer功能,我们可以实现更高级的交互,例如自动化一个打字测试网站。

下面的示例展示了如何:

  1. 启动一个无头浏览器。
  2. 拦截并过滤网络请求,以优化性能或避免不必要的资源加载。
  3. 导航到打字测试网站。
  4. 模拟用户点击接受Cookie。
  5. 在一个循环中识别当前需要输入的单词,并使用type()方法模拟键盘输入。
  6. 捕获打字测试结果的截图。
const puppeteer = require("puppeteer");

let browser;
(async () => {
  browser = await puppeteer.launch({headless: true}); // 启动无头浏览器
  const [page] = await browser.pages();
  const url = "https://monkeytype.com/";

  // 启用请求拦截
  await page.setRequestInterception(true);
  const allowed = [
    "https://monkeytype.com",
    "https://www.monkeytype.com",
    "https://api.monkeytype.com",
    "https://fonts.google", // 允许加载字体文件
  ];
  page.on("request", request => {
    // 只允许特定域名的请求通过,其他请求一律阻止
    if (allowed.some(e => request.url().startsWith(e))) {
      request.continue();
    }
    else {
      request.abort();
    }
  });

  await page.goto(url, {waitUntil: "domcontentloaded"}); // 导航到页面

  // 辅助函数,等待选择器并返回元素句柄
  const $ = (...args) => page.waitForSelector(...args);

  // 点击接受Cookies按钮(如果存在)
  const rejectAllButton = await $(".rejectAll");
  if (rejectAllButton) {
      await rejectAllButton.click();
  }

  // 等待第一个活跃的单词出现
  await $("#words .word.active");
  const wordsContainer = await page.$("#words"); // 获取单词容器的句柄

  try {
    // 循环直到无法找到下一个活跃单词(表示测试结束)
    for (;;) {
      // 使用 .$eval 提取当前活跃单词的文本内容
      const word = await wordsContainer.$eval(".word.active", el =>
        el.textContent.trim()
      );
      // 模拟键盘输入单词,并在末尾加上空格
      await wordsContainer.type(word + " ");
    }
  }
  catch (err) {
    // 捕获循环结束时的错误(例如找不到 .word.active 元素)
    console.log("打字测试结束或发生错误:", err.message);
  }

  // 等待结果显示
  const results = await $("#result");
  // 滚动到结果区域,确保截图可见
  await results.evaluate(el => el.scrollIntoView());
  // 截取结果区域的屏幕截图
  await results.screenshot({path: "typing-results.png"});
  console.log("打字结果截图已保存为 typing-results.png");

})()
  .catch(err => console.error("自动化过程中发生错误:", err))
  .finally(() => browser?.close()) // 无论成功失败,最后都关闭浏览器
;

注意事项:

  • 请求拦截: page.setRequestInterception(true) 开启拦截,page.on('request', ...) 监听请求并决定是continue()(继续)还是abort()(阻止)。这对于减少页面加载时间、过滤广告或特定资源非常有用。
  • 元素句柄的.$eval(): 在循环中,我们使用wordsContainer.$eval(),而不是page.$eval()。这是因为wordsContainer是一个元素句柄,在其上下文中使用.$eval()可以提高效率,因为它只在该元素的子树中查找匹配的元素。
  • 错误处理: try...catch块用于优雅地处理打字测试结束时可能出现的错误(例如,当不再有.word.active元素时,.$eval会抛出错误)。
  • 资源管理: finally块确保无论脚本执行成功与否,浏览器实例都会被关闭,避免资源泄露。

总结

.$eval()和.$$eval()是Puppeteer中执行页面内JavaScript评估的核心工具。正确理解它们之间的区别——.$eval()处理单个元素,.$$eval()处理元素数组——并掌握在pageFunction中如何操作这些元素,是编写健壮、高效Puppeteer脚本的关键。结合请求拦截、模拟用户输入等高级功能,你可以构建出功能强大的自动化解决方案。在实际应用中,优先使用.textContent进行文本提取,并始终注意资源管理和错误处理。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
cookie
cookie

Cookie 是一种在用户计算机上存储小型文本文件的技术,用于在用户与网站进行交互时收集和存储有关用户的信息。当用户访问一个网站时,网站会将一个包含特定信息的 Cookie 文件发送到用户的浏览器,浏览器会将该 Cookie 存储在用户的计算机上。之后,当用户再次访问该网站时,浏览器会向服务器发送 Cookie,服务器可以根据 Cookie 中的信息来识别用户、跟踪用户行为等。

6500

2023.06.30

document.cookie获取不到怎么解决
document.cookie获取不到怎么解决

document.cookie获取不到的解决办法:1、浏览器的隐私设置;2、Same-origin policy;3、HTTPOnly Cookie;4、JavaScript代码错误;5、Cookie不存在或过期等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

368

2023.11.23

阻止所有cookie什么意思
阻止所有cookie什么意思

阻止所有cookie意味着在浏览器中禁止接受和存储网站发送的cookie。阻止所有cookie可能会影响许多网站的使用体验,因为许多网站使用cookie来提供个性化服务、存储用户信息或跟踪用户行为。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

445

2024.02.23

cookie与session的区别
cookie与session的区别

本专题整合了cookie与session的区别和使用方法等相关内容,阅读专题下面的文章了解更详细的内容。

97

2025.08.19

java break和continue
java break和continue

本专题整合了java break和continue的区别相关内容,阅读专题下面的文章了解更多详细内容。

261

2025.10.24

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

760

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

221

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1566

2023.10.24

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

3

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 6万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 3.4万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号