1. 引言与问题背景
在数据抓取和分析过程中，我们经常会遇到需要从html页面中提取结构化信息的情况。虽然许多html表格可以直接使用pandas的read_html函数进行解析，但对于非标准表格结构，特别是嵌套在div标签中的键值对信息，则需要更精细的解析方法。本教程将展示如何结合beautiful soup和pandas，将一个包含多个div标签的html片段转换为一个规整的pandas dataframe，以便后续的数据分析。
假设我们有以下HTML片段，其中包含公司的一些基本信息：
我们的目标是将其转换为如下Pandas DataFrame：
+--------------------------------+------------+-----------+-------------+ | Industry | Sector | Employees | Equity Type | +--------------------------------+------------+-----------+-------------+ | Life Sciences Tools & Services | Healthcare | 17000 | ORD | +--------------------------------+------------+-----------+-------------+
2. 准备工作
在开始之前，请确保您的Python环境中已安装beautifulsoup4和pandas库。如果尚未安装，可以使用pip进行安装：
pip install beautifulsoup4 pandas
3. 使用Beautiful Soup解析HTML
首先，我们需要使用Beautiful Soup解析HTML字符串，并定位到包含目标信息的父div元素。
立即学习“前端免费学习笔记（深入）”；
from bs4 import BeautifulSoup import pandas as pd html_content = """ """ # 创建Beautiful Soup对象 soup = BeautifulSoup(html_content, "html.parser") # 查找包含公司信息的父div company_profile_div = soup.find("div", class_="companyProfileHeader") # 提取每个子div中的文本信息 # 使用get_text(strip=True, separator="~")方法，可以在提取文本时自动去除空白， # 并用指定的分隔符连接不同标签内的文本。这对于区分键和值非常关键。 extracted_texts = [ div.get_text(strip=True, separator="~") for div in company_profile_div.find_all("div") ] print("原始提取文本列表:", extracted_texts) # 输出: ['Industry~Life Sciences Tools & Services', 'Sector~Healthcare', 'Employees~17000', 'Equity Type~ORD']
在上述代码中，get_text(strip=True, separator="~")是关键。它能够将每个div标签内的所有文本内容（包括子标签如和 中的文本）连接起来，并用~符号分隔。这样，我们就能得到一个清晰的"键~值"字符串。 接下来，我们需要将这些"键~值"字符串分割成独立的键和值对。 现在，final_lst是一个列表的列表，每个子列表包含一个键和其对应的值。 有了final_lst，我们可以将其轻松转换为Pandas DataFrame。然而，直接转换会得到一个两列的DataFrame，其中第一列是键，第二列是值。为了得到期望的输出格式（键作为列名，值作为一行数据），我们需要进行一些转置和重命名操作。 通过这四个步骤，我们成功地将HTML中的结构化信息转换为一个整洁、易于分析的Pandas DataFrame。 通过本教程，我们学习了如何利用Beautiful Soup库的强大解析能力和Pandas库的数据处理功能，将复杂的HTML div结构中的非结构化文本数据有效地转换为结构化的Pandas DataFrame。这种方法对于处理那些不规则或非标准的HTML表格数据尤其有用，为后续的数据清洗、分析和可视化奠定了坚实的基础。掌握这种技巧，将大大提升从网页中获取和利用数据的效率。# 将每个字符串按"~"分割成键值对
final_lst = [item.split("~") for item in extracted_texts]
print("分割后的键值对列表:", final_lst)
# 输出: [['Industry', 'Life Sciences Tools & Services'], ['Sector', 'Healthcare'], ['Employees', '17000'], ['Equity Type', 'ORD']]4. 转换为Pandas DataFrame
# 1. 将列表转换为DataFrame
# 此时DataFrame的行是键值对，列是索引0和1
df = pd.DataFrame(final_lst)
print("\n初始DataFrame:\n", df)
# 输出:
# 0 1
# 0 Industry Life Sciences Tools & Services
# 1 Sector Healthcare
# 2 Employees 17000
# 3 Equity Type ORD
# 2. 转置DataFrame
# 将原来的行变为列，列变为行。现在第一行包含所有键，第二行包含所有值。
df = df.transpose()
print("\n转置后的DataFrame:\n", df)
# 输出:
# 0 1 2 3
# 0 Industry Sector Employees Equity Type
# 1 Life Sciences Tools & Services Healthcare 17000 ORD
# 3. 将第一行设置为列名
# df.iloc[0] 获取DataFrame的第一行作为新的列名
df.rename(columns=df.iloc[0], inplace=True)
print("\n设置列名后的DataFrame:\n", df)
# 输出:
# Industry Sector Employees Equity Type
# 0 Industry Sector Employees Equity Type
# 1 Life Sciences Tools & Services Healthcare 17000 ORD
# 4. 删除作为列名的第一行
# 因为第一行现在已经作为列名，其数据本身已无用，需要删除。
df.drop(df.index[0], inplace=True)
print("\n最终DataFrame:\n", df)
# 输出:
# Industry Sector Employees Equity Type
# 1 Life Sciences Tools & Services Healthcare 17000 ORD5. 完整代码示例
from bs4 import BeautifulSoup
import pandas as pd
# 待解析的HTML内容
html_content = """
"""
# 1. 使用Beautiful Soup解析HTML并提取文本
soup = BeautifulSoup(html_content, "html.parser")
company_profile_div = soup.find("div", class_="companyProfileHeader")
if company_profile_div:
# 提取每个子div中的文本，并用"~"分隔键和值
extracted_texts = [
div.get_text(strip=True, separator="~")
for div in company_profile_div.find_all("div")
]
# 将"键~值"字符串分割成独立的键和值对
final_lst = [item.split("~") for item in extracted_texts]
# 2. 转换为Pandas DataFrame
df = pd.DataFrame(final_lst)
# 3. 转置DataFrame，使键成为一行，值成为另一行
df = df.transpose()
# 4. 将第一行（包含键）设置为列名
df.rename(columns=df.iloc[0], inplace=True)
# 5. 删除作为列名的第一行
df.drop(df.index[0], inplace=True)
print("最终生成的DataFrame:")
print(df)
else:
print("未找到指定的HTML元素 'companyProfileHeader'。")
6. 注意事项与扩展
7. 总结
