本文详解 beautifulsoup 中基于 class 的元素遍历与文本提取技巧，重点解决因 dom 结构嵌套、兄弟节点关系复杂导致的 `none` 返回问题，并提供健壮的作者-单位配对方案，支持不等长数据与空 affiliation 的安全处理。
在网页爬虫实践中，仅用 soup.find_all("span") 全局搜索再逐个筛选子元素（如 tar.find("span", attrs={'name': True})），极易失败——根本原因在于：目标 和 并非父子嵌套关系，而是同级兄弟节点。因此第一段代码中 tar.find(...) 实际是在每个 内部递归查找，而作者名和单位标签彼此独立、平级并列，自然返回 None。
正确策略是：先精准定位父容器，再在其作用域内分别提取同类标签，最后通过 DOM 邻接关系（如 find_next_siblings）建立逻辑配对。以目标页面为例，所有作者信息均包裹在
from bs4 import BeautifulSoup, SoupStrainer
import requests
# 仅解析目标 section，跳过无关 HTML，提升性能与鲁棒性
strainer = SoupStrainer(name='section', class_='item authors')
def extract_authors_with_affiliations(url: str) -> list[tuple[str, str | None]]:
response = requests.get(url)
response.raise_for_status()
# 使用 strainer 限制解析范围
soup = BeautifulSoup(response.text, 'lxml', parse_only=strainer)
name_spans = soup.find_all('span', class_='name')
results = []
for name_tag in name_spans:
name = name_tag.get_text(strip=True)
# 向后查找最近的 sibling span，判断是否为 affiliation
affiliation = None
for sibling in name_tag.find_next_siblings('span'):
classes = sibling.get('class', [])
if 'affiliation' in classes:
affiliation = sibling.get_text(strip=True)
break
elif 'name' in classes: # 遇到下一个作者，说明当前作者无 affiliation
break
results.append((name, affiliation))
return results
# 使用示例
data = extract_authors_with_affiliations("https://rpmgf.pt/ojs/index.php/rpmgf/article/view/13494")
for name, aff in data:
print(f"{name} → {aff or '[未提供单位]'}")✅ 关键要点总结：
- ❌ 避免全局 find_all("span") + 深层 find()：易因结构误判返回 None；
- ✅ 优先用 SoupStrainer 锁定语义区块（如 section.item.authors），缩小搜索空间；
- ✅ 利用 find_next_siblings() 按 DOM 顺序匹配邻近 affiliation，天然处理“部分作者无单位”的不规则情况；
- ✅ 使用 .get_text(strip=True) 替代 .text，自动清理换行符与多余空格；
- ✅ 对 affiliation 使用 or '[未提供单位]' 或显式 None 判断，避免 CSV 写入时类型错误。
该方法兼具可读性、健壮性与扩展性，适用于各类学术页面、机构名录等存在“标题+副标题”或“姓名+职位/单位”平行结构的场景。
