Python解析HTML首选Beautiful Soup和lxml，不推荐正则表达式。首先用requests获取HTML内容，再用Beautiful Soup或lxml解析为结构化对象树。Beautiful Soup容错性强、API直观，适合处理不规范HTML；lxml基于C库，速度快，支持XPath，适合大规模或高性能需求场景。通过find、select或xpath等方法定位元素，提取文本或属性数据，实现高效信息抓取。

Python解析HTML，说白了，就是把那些浏览器能看懂的标记语言，通过代码的方式，结构化地提取出我们想要的数据。核心工具无非就是那几个：Beautiful Soup、lxml，偶尔也会用到一些更轻量级的方案，它们能把一堆文本变成一个可操作的对象树，方便我们定位和抽取信息。

解决方案

要用Python解析HTML，我们通常会遵循一套比较成熟的流程。首先，你需要获取HTML内容，这通常通过

requests

最常用的，也是我个人觉得上手最快、最友好的，是Beautiful Soup。它能够处理各种“不规范”的HTML文档，即使网页代码写得一塌糊涂，它也能尽力帮你构建一个可用的解析树。使用起来很简单：

1. 导入库：

   from bs4 import BeautifulSoup

2. 创建解析器对象：

   soup = BeautifulSoup(html_doc, 'html.parser')

   这里的

   html_doc

   就是你获取到的HTML字符串，

   'html.parser'

   是Python内置的解析器，你也可以选择更快的

   'lxml'

   或

   'html5lib'

   。
3. 查找元素：你可以通过标签名、属性、CSS选择器等多种方式来定位元素。
   • 按标签名：

     soup.title

     ，

     soup.find('div')

     ，

     soup.find_all('a')

   • 按属性：

     soup.find(id='main-content')

     ，

     soup.find_all('p', class_='intro')

   • 按CSS选择器：

     soup.select('.container > p')

4. 提取数据：拿到元素后，你可以提取它的文本内容（

   .text

   或

   .get_text()

   )，或者获取属性值（

   ['href']

   或

   .get('src')

   ）。

如果对性能有更高要求，或者处理的HTML文档结构相对规范，lxml会是另一个非常强大的选择。它底层用C语言实现，速度非常快，并且支持XPath和CSS选择器，对于熟悉XML/XPath的人来说，用起来会非常顺手。

立即学习“Python免费学习笔记（深入）”；

无论选择哪个库，核心思想都是一样的：把无序的HTML文本变成有序的数据结构，然后通过遍历、查找、匹配等操作，把我们感兴趣的数据“挖”出来。这听起来有点像寻宝，而解析库就是我们的地图和铲子。

Python解析HTML，为什么不推荐使用正则表达式？

坦白说，每次看到有人想用正则表达式（Regex）去解析HTML，我心里都会“咯噔”一下。这几乎是社区里一个老生常谈的“禁忌”了。原因很简单，HTML不是一种“正则语言”，它的结构太复杂、太灵活，充满了嵌套、可选属性、不规范的写法，这些特性让正则表达式力不从心。

想象一下，你要用正则匹配一个

RecoveryFox AI

AI驱动的数据恢复、文件恢复工具

下载

from bs4 import BeautifulSoup
import requests

# 假设我们从一个网页获取了HTML内容
# 实际项目中，你会用 requests.get('url').text 来获取
html_doc = """



    


    

        
欢迎来到我的博客
        
记录生活，分享技术
    

    

        
最新文章
        

            

                Python HTML解析指南
                2023-10-27
            
            

                旅行日记：探索未知
                2023-10-20
            
            

                书评：如何阅读一本书
                2023-10-15
            
        
        
更多精彩内容，敬请期待！
    

    

        
© 2023 我的博客 版权所有
    


"""

# 创建BeautifulSoup对象，指定解析器
# 'html.parser' 是Python内置的，比较通用
# 'lxml' 或 'html5lib' 也可以，它们各有特点，lxml更快，html5lib更容错
soup = BeautifulSoup(html_doc, 'html.parser')

# 1. 获取页面的标题
title = soup.title
print(f"页面标题: {title.string}") # 输出：页面标题: 我的个人博客

# 2. 查找第一个h1标签的内容
h1_tag = soup.find('h1')
print(f"H1内容: {h1_tag.text}") # 输出：H1内容: 欢迎来到我的博客

# 3. 查找所有文章列表中的链接及其文本和href属性
print("\n所有文章链接:")
article_links = soup.find_all('a') # 找到所有标签
for link in article_links:
    # 排除footer里的链接（如果存在）
    if link.parent.name == 'li': # 确保是文章列表里的链接
        print(f"- 标题: {link.text}, 链接: {link['href']}, 分类: {link.get('data-category')}")
# 输出：
# - 标题: Python HTML解析指南, 链接: /articles/python-html-parsing, 分类: 技术
# - 标题: 旅行日记：探索未知, 链接: /articles/my-travel-diary, 分类: 生活
# - 标题: 书评：如何阅读一本书, 链接: /articles/book-review, 分类: 阅读

# 4. 使用CSS选择器查找特定元素
# 查找所有class为'article-list'的ul下的li标签
featured_article = soup.select_one('ul.article-list li.featured a')
if featured_article:
    print(f"\n精选文章标题 (CSS选择器): {featured_article.text}") # 输出：精选文章标题 (CSS选择器): Python HTML解析指南

# 5. 获取某个元素的属性值
slogan_paragraph = soup.find('p', class_='slogan')
if slogan_paragraph:
    print(f"Slogan段落的class属性: {slogan_paragraph.get('class')}") # 输出：Slogan段落的class属性: ['slogan']

从上面的例子可以看出，Beautiful Soup的API设计非常直观，

.find()

.find_all()

.select()

.select_one()

from lxml import etree
import requests

# 同样使用之前的HTML内容
html_doc = """



    


    

        
欢迎来到我的博客
        
记录生活，分享技术
    

    

        
最新文章
        

            

                Python HTML解析指南
                2023-10-27
            
            

                旅行日记：探索未知
                2023-10-20
            
            

                书评：如何阅读一本书
                2023-10-15
            
        
        
更多精彩内容，敬请期待！
    

    

        
© 2023 我的博客 版权所有
    


"""

# 使用etree.HTML()来解析HTML字符串
# 注意：lxml对HTML的规范性要求更高，如果HTML结构很糟糕，可能需要更复杂的处理
tree = etree.HTML(html_doc)

# 1. 使用XPath获取页面标题
# XPath路径：//title/text() 表示查找所有