和标签，并使用get_text()方法干净地获取其内部文本，避免不必要的标签信息，从而高效地进行网页数据抓取。

BeautifulSoup基础：解析HTML

在进行网页数据抓取时，beautifulsoup是一个功能强大且易于使用的python库，它能够从html或xml文件中提取数据。与scrapy等框架中基于xpath的选择器不同，beautifulsoup提供了更pythonic的api来遍历解析树。开始使用beautifulsoup的第一步是将html内容解析成一个可操作的beautifulsoup对象。

from bs4 import BeautifulSoup

# 示例HTML内容
html_doc = """

  

    

       
Presentation: Govt pushes CCS/CCUS development in RI upstream sector
       

         
                    Monday, August 1 2022 - 04:27PM WIB 
       
    
  

"""

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser')

目标HTML结构分析

为了准确地提取所需信息，首先需要理解目标HTML的结构。在上述示例HTML中，我们希望提取文章的标题和发布日期。

• 文章标题： 位于一个

  标签内，该标签具有article-title的类名。

  ...

• 发布日期： 位于一个标签内，该标签具有meta-posted的类名。

  ...

我们的目标是获取这些标签内部的纯文本内容，而不是包含HTML标签的完整字符串。

使用findAll定位特定元素

BeautifulSoup提供了多种方法来定位HTML元素，其中findAll()（或其别名find_all()）是最常用的之一。它用于查找所有符合条件的标签，并返回一个列表。

findAll()方法的基本用法是：soup.findAll(name, attrs, recursive, text, limit, **kwargs)。 在这里，我们主要关注name（标签名）和attrs（属性字典）。

1. 定位文章标题： 标题位于

   标签中，且其class属性为article-title。

   titles = soup.findAll('h1', attrs={'class':'article-title'})
   # 此时 titles 是一个列表，包含所有匹配的 
    标签对象
   # 例如：[
   Presentation: Govt pushes CCS/CCUS development in RI upstream sector
   ]

2. 定位发布日期： 日期位于标签中，且其class属性为meta-posted。

   dates = soup.findAll('span', attrs={'class':'meta-posted'})
   # 此时 dates 也是一个列表，包含所有匹配的  标签对象
   # 例如：[
   #                    Monday, August 1 2022 - 04:27PM WIB ]

需要注意的是，findAll()返回的是一个BeautifulSoup标签对象的列表。直接打印这些对象会显示包含HTML标签的完整字符串。

立即学习“前端免费学习笔记（深入）”；

通过get_text()提取纯文本内容

为了从定位到的标签对象中获取纯文本内容，BeautifulSoup提供了get_text()方法。这个方法会移除标签本身，只返回其内部的文本。

我们可以遍历findAll()返回的列表，并对每个标签对象调用get_text()方法。

1. 提取文章标题文本：

   

   逍遥内容管理系统(Carefree CMS)1.3.0

   系统简介逍遥内容管理系统（CarefreeCMS）是一款功能强大、易于使用的内容管理平台，采用前后端分离架构，支持静态页面生成，适用于个人博客、企业网站、新闻媒体等各类内容发布场景。核心特性1、模板套装系统 - 支持多套模板自由切换，快速定制网站风格2、静态页面生成 - 一键生成纯静态HTML页面，访问速度快，SEO友好3、文章管理 - 支持富文本编辑、草稿保存、文章属性标记、自动提取SEO4、全

   下载

   for title_tag in titles:
       article_title_text = title_tag.get_text()
       print(f"文章标题: {article_title_text}")

2. 提取发布日期文本：

   for date_tag in dates:
       published_date_text = date_tag.get_text()
       print(f"发布日期: {published_date_text}")

通过这种方式，我们就能获得干净、不含HTML标签的纯文本数据。

完整示例代码

以下是将上述步骤整合到一起的完整代码示例：

from bs4 import BeautifulSoup

# 示例HTML内容
html_doc = """

  

    

       
Presentation: Govt pushes CCS/CCUS development in RI upstream sector
       

         
                    Monday, August 1 2022 - 04:27PM WIB 
       
    
  

"""

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取文章标题
print("--- 提取文章标题 ---")
titles = soup.findAll('h1', attrs={'class':'article-title'})
for title_tag in titles:
    print(title_tag.get_text())

# 提取发布日期
print("\n--- 提取发布日期 ---")
dates = soup.findAll('span', attrs={'class':'meta-posted'})
for date_tag in dates:
    print(date_tag.get_text())

运行上述代码，将得到以下输出：

--- 提取文章标题 ---
Presentation: Govt pushes CCS/CCUS development in RI upstream sector

--- 提取发布日期 ---
                    Monday, August 1 2022 - 04:27PM WIB 

进阶技巧与注意事项

1. find()与findAll()的选择：

   • findAll()（或find_all()）返回所有匹配的标签列表。
   • find()（或find()）只返回第一个匹配的标签。如果确定只有一个目标元素，使用find()更高效且直接。
   • 例如，如果确定文章只有一个标题：title_tag = soup.find('h1', attrs={'class':'article-title'})，然后直接 title_tag.get_text()。

2. 处理空白字符：get_text(strip=True) 在上面的日期提取结果中，可以看到日期文本前后存在多余的空白字符。为了清理这些空白，可以在调用get_text()时传入strip=True参数。

   for date_tag in dates:
       published_date_text = date_tag.get_text(strip=True)
       print(f"发布日期 (清理后): {published_date_text}")

   这将输出：发布日期 (清理后): Monday, August 1 2022 - 04:27PM WIB，使得数据更加整洁。

3. 处理元素不存在的情况： 如果使用find()方法且目标元素不存在，它将返回None。在尝试对None对象调用方法（如get_text()）时，会引发AttributeError