使用Beautiful Soup正确提取网页文本：进阶教程

本文旨在帮助开发者解决在使用Beautiful Soup库提取网页文本时遇到的常见问题，特别是当目标文本位于

在使用Beautiful Soup进行网页抓取时，有时会遇到无法直接提取所需文本的情况，这通常是因为：

1. 文本位于 一些网站会将数据嵌入到JavaScript代码中，例如存储在全局变量或JSON对象中。
2. 文本是动态加载的： 部分网站使用JavaScript在客户端动态生成内容，这些内容可能在初始HTML中不存在。

针对以上情况，我们需要采取一些额外的步骤来提取目标文本。

1. 分析网页结构

首先，我们需要仔细分析网页的HTML源代码，确定目标文本的存储方式。常见的存储方式包括：

• 直接嵌入在HTML标签中 (例如

  ,

  )
• 存储在
• 通过AJAX请求动态加载

2. 提取

如果目标文本存储在


ToonMe
一款风靡Instagram的软件，一键生成卡通头像
下载

import re
import json

import requests
from bs4 import BeautifulSoup

URL = "https://habr.com/ru/hubs/gamedev/articles/"  # 目标网站URL

page = requests.get(URL).text
# 使用正则表达式匹配 window.__INITIAL_STATE__ 变量
data = re.search(r"window\.__INITIAL_STATE__=(.*}});", page).group(1)

# 将提取的字符串转换为JSON对象
data = json.loads(data)

# 遍历文章列表，提取标题和描述
for a in sorted(
    data["articlesList"]["articlesList"].values(),
    key=lambda k: k["timePublished"],
    reverse=True,
):
    print(a["titleHtml"])
    print(BeautifulSoup(a["leadData"]["textHtml"], "html.parser").text)

    # 只提取第一篇文章
    break

代码解释：

• re.search(r"window\.__INITIAL_STATE__=(.*}});", page).group(1)：使用正则表达式查找以window.__INITIAL_STATE__=开头，以}}结尾的字符串，并提取括号内的内容。
• json.loads(data)：将提取的JSON字符串转换为Python字典。
• BeautifulSoup(a["leadData"]["textHtml"], "html.parser").text：使用Beautiful Soup解析HTML字符串，并提取文本内容。

3. 处理动态加载的内容

对于通过AJAX请求动态加载的内容，我们需要模拟AJAX请求，获取返回的数据。可以使用requests库发送GET或POST请求，然后解析返回的JSON或HTML数据。

4. 注意事项

• 网页结构变化： 网站的HTML结构可能会发生变化，导致代码失效。因此，需要定期检查和更新代码。
• 反爬虫机制： 一些网站会采取反爬虫措施，例如限制访问频率或使用验证码。我们需要遵守网站的robots.txt协议，并采取适当的措施来避免被屏蔽。例如，可以设置User-Agent，添加请求头，或者使用代理IP。
• 数据清洗： 提取的数据可能包含HTML标签、特殊字符或其他不需要的信息。我们需要对数据进行清洗，以获得干净、可用的数据。

总结

使用Beautiful Soup提取网页文本，需要根据网页的实际结构和数据存储方式，选择合适的方法。对于存储在