1. 引言与问题背景
在数据抓取和分析过程中，我们经常会遇到需要从html页面中提取结构化信息的情况。虽然许多html表格可以直接使用pandas的read_html函数进行解析，但对于非标准表格结构，特别是嵌套在div标签中的键值对信息，则需要更精细的解析方法。本教程将展示如何结合beautiful soup和pandas，将一个包含多个div标签的html片段转换为一个规整的pandas dataframe，以便后续的数据分析。
假设我们有以下HTML片段，其中包含公司的一些基本信息：
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a<eq_market_cap;1">Life Sciences Tools & Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a<eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>我们的目标是将其转换为如下Pandas DataFrame：
+--------------------------------+------------+-----------+-------------+ | Industry | Sector | Employees | Equity Type | +--------------------------------+------------+-----------+-------------+ | Life Sciences Tools & Services | Healthcare | 17000 | ORD | +--------------------------------+------------+-----------+-------------+
2. 准备工作
在开始之前，请确保您的Python环境中已安装beautifulsoup4和pandas库。如果尚未安装，可以使用pip进行安装：
pip install beautifulsoup4 pandas
3. 使用Beautiful Soup解析HTML
首先，我们需要使用Beautiful Soup解析HTML字符串，并定位到包含目标信息的父div元素。
立即学习“前端免费学习笔记（深入）”；
from bs4 import BeautifulSoup
import pandas as pd
html_content = """
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a<eq_market_cap;1">Life Sciences Tools & Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a<eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>
"""
# 创建Beautiful Soup对象
soup = BeautifulSoup(html_content, "html.parser")
# 查找包含公司信息的父div
company_profile_div = soup.find("div", class_="companyProfileHeader")
# 提取每个子div中的文本信息
# 使用get_text(strip=True, separator="~")方法，可以在提取文本时自动去除空白，
# 并用指定的分隔符连接不同标签内的文本。这对于区分键和值非常关键。
extracted_texts = [
div.get_text(strip=True, separator="~")
for div in company_profile_div.find_all("div")
]
print("原始提取文本列表:", extracted_texts)
# 输出: ['Industry~Life Sciences Tools & Services', 'Sector~Healthcare', 'Employees~17000', 'Equity Type~ORD']在上述代码中，get_text(strip=True, separator="~")是关键。它能够将每个div标签内的所有文本内容（包括子标签如<a>和<p>中的文本）连接起来，并用~符号分隔。这样，我们就能得到一个清晰的"键~值"字符串。
接下来，我们需要将这些"键~值"字符串分割成独立的键和值对。
# 将每个字符串按"~"分割成键值对
final_lst = [item.split("~") for item in extracted_texts]
print("分割后的键值对列表:", final_lst)
# 输出: [['Industry', 'Life Sciences Tools & Services'], ['Sector', 'Healthcare'], ['Employees', '17000'], ['Equity Type', 'ORD']]现在，final_lst是一个列表的列表，每个子列表包含一个键和其对应的值。
4. 转换为Pandas DataFrame
有了final_lst，我们可以将其轻松转换为Pandas DataFrame。然而，直接转换会得到一个两列的DataFrame，其中第一列是键，第二列是值。为了得到期望的输出格式（键作为列名，值作为一行数据），我们需要进行一些转置和重命名操作。
# 1. 将列表转换为DataFrame
# 此时DataFrame的行是键值对，列是索引0和1
df = pd.DataFrame(final_lst)
print("\n初始DataFrame:\n", df)
# 输出:
# 0 1
# 0 Industry Life Sciences Tools & Services
# 1 Sector Healthcare
# 2 Employees 17000
# 3 Equity Type ORD
# 2. 转置DataFrame
# 将原来的行变为列，列变为行。现在第一行包含所有键，第二行包含所有值。
df = df.transpose()
print("\n转置后的DataFrame:\n", df)
# 输出:
# 0 1 2 3
# 0 Industry Sector Employees Equity Type
# 1 Life Sciences Tools & Services Healthcare 17000 ORD
# 3. 将第一行设置为列名
# df.iloc[0] 获取DataFrame的第一行作为新的列名
df.rename(columns=df.iloc[0], inplace=True)
print("\n设置列名后的DataFrame:\n", df)
# 输出:
# Industry Sector Employees Equity Type
# 0 Industry Sector Employees Equity Type
# 1 Life Sciences Tools & Services Healthcare 17000 ORD
# 4. 删除作为列名的第一行
# 因为第一行现在已经作为列名，其数据本身已无用，需要删除。
df.drop(df.index[0], inplace=True)
print("\n最终DataFrame:\n", df)
# 输出:
# Industry Sector Employees Equity Type
# 1 Life Sciences Tools & Services Healthcare 17000 ORD通过这四个步骤，我们成功地将HTML中的结构化信息转换为一个整洁、易于分析的Pandas DataFrame。
5. 完整代码示例
from bs4 import BeautifulSoup
import pandas as pd
# 待解析的HTML内容
html_content = """
<div class="companyProfileHeader">
<div>Industry<a href="/stock-screener/?sp=country::5|sector::a|industry::146|equityType::a<eq_market_cap;1">Life Sciences Tools & Services</a></div>
<div>Sector<a href="/stock-screener/?sp=country::5|sector::18|industry::a|equityType::a<eq_market_cap;1">Healthcare</a></div>
<div>Employees<p class="bold">17000</p></div>
<div>Equity Type<p class="bold">ORD</p></div>
</div>
"""
# 1. 使用Beautiful Soup解析HTML并提取文本
soup = BeautifulSoup(html_content, "html.parser")
company_profile_div = soup.find("div", class_="companyProfileHeader")
if company_profile_div:
# 提取每个子div中的文本，并用"~"分隔键和值
extracted_texts = [
div.get_text(strip=True, separator="~")
for div in company_profile_div.find_all("div")
]
# 将"键~值"字符串分割成独立的键和值对
final_lst = [item.split("~") for item in extracted_texts]
# 2. 转换为Pandas DataFrame
df = pd.DataFrame(final_lst)
# 3. 转置DataFrame，使键成为一行，值成为另一行
df = df.transpose()
# 4. 将第一行（包含键）设置为列名
df.rename(columns=df.iloc[0], inplace=True)
# 5. 删除作为列名的第一行
df.drop(df.index[0], inplace=True)
print("最终生成的DataFrame:")
print(df)
else:
print("未找到指定的HTML元素 'companyProfileHeader'。")
6. 注意事项与扩展
- 分隔符的选择： 在get_text(separator="~")中，分隔符~的选择很重要。应选择一个在实际数据中极不可能出现的字符，以避免数据混淆。如果数据中可能包含~，可以考虑使用更复杂的正则表达式或Beautiful Soup的其他方法来精确提取键和值。
- HTML结构变化： 本教程的方法依赖于HTML结构的相对稳定性（即键和值都位于同一个div内，并且可以通过get_text提取）。如果HTML结构发生变化，例如键和值位于不同的兄弟div中，则需要调整Beautiful Soup的解析逻辑。
- 错误处理： 在实际应用中，应加入更多的错误处理机制，例如检查company_profile_div是否为None，或者split("~")后列表长度是否为2，以确保数据的完整性和代码的健壮性。
- 数据类型转换： 提取出的数据默认为字符串类型。如果需要进行数值计算（如Employees），请记得使用df['Employees'] = pd.to_numeric(df['Employees'])等方法进行类型转换。
- 多个记录： 如果HTML中包含多个companyProfileHeader类似的结构，表示多条公司记录，则需要在一个循环中处理每个记录，并将每个记录生成的DataFrame追加到一个列表中，最后使用pd.concat合并所有DataFrame。
7. 总结
通过本教程，我们学习了如何利用Beautiful Soup库的强大解析能力和Pandas库的数据处理功能，将复杂的HTML div结构中的非结构化文本数据有效地转换为结构化的Pandas DataFrame。这种方法对于处理那些不规则或非标准的HTML表格数据尤其有用，为后续的数据清洗、分析和可视化奠定了坚实的基础。掌握这种技巧，将大大提升从网页中获取和利用数据的效率。
