本文详解在使用BeautifulSoup爬取球员数据时，因错误定位href属性位置而产生NaN值的根本原因，并提供可直接运行的修复代码及关键注意事项。
本文详解在使用beautifulsoup爬取球员数据时，因错误定位`href`属性位置而产生nan值的根本原因，并提供可直接运行的修复代码及关键注意事项。
在网页爬虫实践中，NaN（Not a Number）值常被误认为是数据缺失或网络异常所致，但实际多数情况下源于对HTML DOM结构的误解——尤其是混淆了属性所在元素层级。以爬取 EliteProspects 网站NHL球员统计表为例，开发者试图从 标签中直接提取 href 属性，却忽略了该属性实际存在于其内部的 标签中。由于 span.get("href") 永远返回 None，Pandas 在赋值时自动将其转换为 NaN，导致“玩家主页链接”列全为空。
以下为修正后的完整流程（基于原始代码优化）：
import requests
from bs4 import BeautifulSoup
import pandas as pd
start_url = 'https://www.eliteprospects.com/league/nhl/stats/2023-2024'
r = requests.get(start_url, timeout=10)
r.raise_for_status() # 显式抛出HTTP错误，便于调试
soup = BeautifulSoup(r.content, "html.parser")
table = soup.find("table", class_="table table-striped table-sortable player-stats highlight-stats season")
# 提取表头（去重并清理换行符）
headers = [th.get_text(strip=True) for th in table.find_all("th")]
df = pd.DataFrame(columns=headers)
# 构建基础数据行
rows = table.find_all("tr")[1:] # 跳过表头行
for row in rows:
tds = row.find_all("td")
if len(tds) == len(headers): # 防止空行或结构异常
data = [td.get_text(strip=True) for td in tds]
df.loc[len(df)] = data
# ✅ 关键修复：正确提取玩家链接与姓名
df["Player_URL"] = None # 预先添加列，避免SettingWithCopyWarning
for span in table.find_all("span", class_="txt-blue"):
a_tag = span.find("a")
if a_tag and a_tag.has_attr("href"):
player_name = a_tag.get_text(strip=True)
player_url = a_tag["href"]
# 注意：需处理球员名中的括号和空格（如"Nikita Kucherov (RW)" → 匹配时需一致）
# 此处假设df.Player已含完整显示名（含位置），否则需标准化
mask = df["Player"] == player_name
if mask.any():
df.loc[mask, "Player_URL"] = player_url
# 数据清洗：统一去除换行与首尾空格
df = df.replace(r'\n+', ' ', regex=True) # 替换多个换行符为单空格
df = df.applymap(lambda x: x.strip() if isinstance(x, str) else x)
print(df[["Player", "Team", "GP", "G", "A", "TP", "Player_URL"]].head())? 核心注意事项：
- 层级意识优先：永远先用浏览器开发者工具（F12）检查目标链接的真实DOM路径。Name 中，href 属于 ，而非 。
- 防御性编程：添加 if a_tag and a_tag.has_attr("href") 判断，避免 None.get() 报错；使用 mask.any() 确保匹配存在，防止 df.loc[[], ...] 引发隐式错误。
- 名称匹配需严格一致：表格中 Player 列文本（如 "Connor McDavid (C)"）必须与 标签内纯文本完全一致。若页面后续改用缩写或移除位置信息，需同步调整清洗逻辑（例如正则提取姓名主体：re.sub(r'\s*\(.*?\)$', '', player_name)）。
- 请求健壮性：加入 timeout 和 raise_for_status()，避免因网络延迟或403/404导致静默失败。
- 扩展性提示：若需批量抓取多赛季/多联赛，建议封装为函数，配合 time.sleep() 控制请求频率，并使用 try...except 包裹单次请求，确保部分失败不影响整体流程。
通过厘清HTML语义结构、强化数据清洗与异常防护，即可彻底规避此类“看似有数据、实则全NaN”的典型陷阱，为后续获取身高、体重等深层信息（需二次请求玩家个人页）奠定可靠基础。
立即学习“前端免费学习笔记（深入）”；
