Python网络爬虫数据清洗：解决字符串转浮点数ValueError的策略

本教程旨在解决使用python进行网络爬虫时，将抓取到的非数字字符串（如".."）直接转换为浮点数引发的valueerror。我们将通过beautifulsoup抓取数据，并重点介绍如何在数据转换前识别并处理这些特殊字符，确保数据类型转换的顺畅，从而有效进行后续的数据分析和计算。

在进行网络数据抓取（Web Scraping）时，一个常见的挑战是将从网页上提取的文本数据转换为数值类型进行计算。然而，网页数据往往不尽完美，可能包含缺失值、占位符或非标准格式的字符串。当尝试将这些非数字字符串直接转换为浮点数时，Python会抛出ValueError。本文将深入探讨这一问题的原因，并提供一套健壮的数据清洗策略来有效解决它。

遇到的问题：ValueError与非数字字符串

考虑一个常见的场景：从HTML表格中抓取数据，并尝试将特定列的文本内容转换为浮点数。例如，从维基百科页面抓取各国人均二氧化碳排放量数据，并计算1980年和2018年之间的差异。初始代码可能如下所示：

import pandas as pd
from bs4 import BeautifulSoup
from urllib.request import urlopen
import requests

# 目标URL
url = "https://en.wikipedia.org/wiki/List_of_countries_by_carbon_dioxide_emissions_per_capita"
html = urlopen(url)
soup = BeautifulSoup(html, "html.parser")

for tr in soup.select('table:nth-of-type(2) tr:has(td)'):
    nation = tr.td.a.text if tr.td.a else 'N/A' # 确保a标签存在
    eighty_td = tr.find_all("td")[3]
    eighty_x = eighty_td.text

    # 尝试直接转换，这里会出错
    eighty_y = float(eighty_x) 

    eighteen_td = tr.find_all("td")[14]
    eighteen_x = eighteen_td.text

    # 尝试直接转换，这里也可能出错
    eighteen_y = float(eighteen_x)

    selection =(nation, eighty_x, eighteen_x.strip())
    print(selection)

当运行上述代码时，可能会遇到以下错误信息：

ValueError: could not convert string to float: '..'

这个错误明确指出，字符串'..'无法被转换为浮点数。这通常是因为网页表格中存在用于表示数据缺失或不适用的占位符，而不是实际的数字。

立即学习“Python免费学习笔记（深入）”；

根源分析：数据中的占位符

通过检查目标网页，我们会发现某些单元格中确实包含了'..'这样的字符，它们是用来指示数据不可用或未提供。直接将这些非数字字符串传递给float()函数是导致ValueError的根本原因。因此，在进行类型转换之前，我们必须对抓取到的字符串进行预处理。

解决方案：数据预处理与条件转换

解决此问题的核心在于在尝试转换之前，识别并处理所有非数字字符串。最直接的方法是使用条件语句来检查字符串中是否包含这些特殊的占位符。如果包含，则可以将其替换为特定的数值（如-1、0或None），或者直接跳过该条数据，具体取决于后续的数据分析需求。

百灵大模型

蚂蚁集团自研的多模态AI大模型系列

下载

以下是改进后的代码示例，它在尝试转换之前检查字符串中是否存在'..'：

import pandas as pd
from bs4 import BeautifulSoup
from urllib.request import urlopen
import requests

# 目标URL
url = "https://en.wikipedia.org/wiki/List_of_countries_by_carbon_dioxide_emissions_per_capita"
html = urlopen(url)
soup = BeautifulSoup(html, "html.parser")

data_records = []

for tr in soup.select('table:nth-of-type(2) tr:has(td)'):
    # 健壮性检查：确保tr、td、a等元素存在，避免AttributeError
    if tr is None or tr.td is None or tr.td.a is None:
        continue # 如果关键元素缺失，则跳过当前行

    nation = tr.td.a.text

    # 获取1980年的数据
    eighty_td = tr.find_all("td")[3]
    eighty_x = eighty_td.text.strip() # 使用strip()去除可能的空白字符

    # 条件转换：如果包含'..', 则赋值-1，否则转换为浮点数
    eighty_y = -1.0 if ".." in eighty_x else float(eighty_x)

    # 获取2018年的数据
    eighteen_td = tr.find_all("td")[14]
    eighteen_x = eighteen_td.text.strip() # 使用strip()去除可能的空白字符

    # 条件转换：如果包含'..', 则赋值-1，否则转换为浮点数
    eighteen_y = -1.0 if ".." in eighteen_x else float(eighteen_x)

    # 将处理后的数据存储起来
    data_records.append((nation, eighty_y, eighteen_y))

# 打印结果或进一步处理
for record in data_records:
    print(record)

# 示例：计算差异
print("\nCalculating differences (2018 - 1980) where data is available:")
for nation, y1980, y2018 in data_records:
    if y1980 != -1.0 and y2018 != -1.0: # 仅在数据有效时计算
        difference = y2018 - y1980
        print(f"{nation}: {difference:.2f}")

在这个改进后的代码中：

1. 我们增加了对tr、tr.td和tr.td.a的健壮性检查，以防止在某些行结构不完整时引发AttributeError。
2. 在将eighty_x和eighteen_x转换为浮点数之前，使用eighty_x.strip()和eighteen_x.strip()清除了字符串两端的空白字符，这是一种良好的实践。
3. 关键在于eighty_y = -1.0 if ".." in eighty_x else float(eighty_x)这一行。它首先检查字符串eighty_x中是否包含"..".
   • 如果包含，则将eighty_y赋值为-1.0（这里使用浮点数形式的-1，以保持数据类型一致性）。选择-1作为缺失值的替代，是因为它是一个在实际排放量中不常见且易于识别的数值，便于后续分析时排除。
   • 如果不包含，则执行float(eighty_x)将其转换为浮点数。
4. 对2018年的数据也采用了相同的处理逻辑。
5. 最终，我们将国家名称和处理后的浮点数值存储在一个列表中，并可以进一步进行差异计算或其他数据分析。

注意事项与最佳实践

1. 选择合适的缺失值表示：

   • 使用-1：适用于数据不会出现负数的情况。
   • 使用0：如果0在数据集中有特殊含义，可能不适合作为缺失值。
   • 使用None：Python中表示“无”的标准方式，但在进行数值计算时需要额外处理（例如，使用if value is not None）。
   • 使用numpy.nan：如果使用NumPy或Pandas进行数据处理，np.nan是表示缺失值的标准且更强大的选择。

2. 更通用的错误处理：try-except块： 对于更复杂的非数字字符串或未知格式，使用try-except块捕获ValueError是一种更通用的方法。

   try:
       value_float = float(some_string)
   except ValueError:
       value_float = -1.0 # 或 None, np.nan

   这种方法可以捕获任何无法转换为浮点数的字符串，而不仅仅是"..".

3. 使用Pandas处理表格数据： 对于结构化的HTML表格，Pandas库提供了pd.read_html()函数，可以直接将HTML表格解析为DataFrame对象，大大简化了数据抓取和清洗过程。它通常能更好地处理缺失值和数据类型推断。

   import pandas as pd
   
   url = "https://en.wikipedia.org/wiki/List_of_countries_by_carbon_dioxide_emissions_per_capita"
   tables = pd.read_html(url)
   
   # 通常第二个表格是目标表格，可能需要根据实际情况调整索引
   df = tables[1] 
   
   # 重命名列以便于访问，并选择相关列
   df.columns = ['Rank', 'Country', '1980', '1990', '2000', '2005', '2010', '2015', '2016', '2017', '2018', '2019', '2020', '2021', '2022', '2023']
   df_selected = df[['Country', '1980', '2018']].copy()
   
   # 将'..'替换为NaN，然后转换为浮点数
   df_selected.replace('..', pd.NA, inplace=True) # 使用pd.NA更通用
   df_selected['1980'] = pd.to_numeric(df_selected['1980'], errors='coerce') # errors='coerce'会将无法转换的值设为NaN
   df_selected['2018'] = pd.to_numeric(df_selected['2018'], errors='coerce')
   
   # 计算差异，NaN值会自动跳过
   df_selected['Difference'] = df_selected['2018'] - df_selected['1980']
   
   print(df_selected.head())

   pd.to_numeric(errors='coerce')是一个非常强大的工具，它会将所有无法转换为数字的值自动替换为NaN（Not a Number），这在Pandas中是缺失值的标准表示。

总结

在网络爬虫中，数据清洗是至关重要的一步。当将抓取到的字符串转换为数值类型时，务必预先处理非数字字符，如'..'等占位符。通过条件判断或try-except块，我们可以有效地避免ValueError，确保数据转换的顺利进行。对于结构化表格数据，利用Pandas的read_html和to_numeric功能可以进一步简化和优化整个数据处理流程，提高代码的健壮性和效率。选择合适的缺失值表示方法，将有助于后续的数据分析和可视化。