用with open("page.html", encoding="utf-8")读取文件后传给BeautifulSoup(f, "html.parser");find()返回单个元素或None,select()始终返回列表;调用.text前须判空,推荐getattr(elem, "text", "");.get_text()比.text更可控。

用 BeautifulSoup 读本地 HTML 文件的正确打开方式
别直接传文件路径给 BeautifulSoup(),它不认路径字符串。必须先用 Python 打开文件,读出内容,再喂给解析器。
-
open()要加encoding="utf-8",否则中文乱码很常见,尤其 Windows 下默认是gbk - 推荐用
with open(...),避免文件句柄泄露 - 解析器选
"html.parser"就够用,不用额外装lxml或html5lib,除非你明确需要它们的容错能力
with open("page.html", encoding="utf-8") as f:
soup = BeautifulSoup(f, "html.parser")
find() 和 select() 该选哪个?
看你是习惯写 CSS 选择器,还是更倾向方法链式调用。两者结果一致,但行为细节不同。
-
find()只返回第一个匹配项(或None),find_all()返回列表;select()总是返回列表,哪怕只匹配一个 -
select()支持完整 CSS 语法,比如div.content > p:first-child;find()的attrs参数写起来更啰嗦 - 性能上差别极小,别为这个纠结;但注意
select()不支持伪类如:hover,它只是静态解析,不是浏览器
遇到 AttributeError: 'NoneType' object has no attribute 'text' 怎么办
这是最常踩的坑:你假设某个元素一定存在,但实际没找到,返回了 None,然后还去点 .text。
- 永远对
find()或select_one()的结果做存在性判断,别裸奔调用.text - 用
getattr(elem, "text", "")或三元表达式elem.text if elem else ""更稳妥 - 如果结构不稳定,优先用
select()配合list[0] if list else None,比嵌套if更清晰
HTML 编码、空格、换行怎么处理才干净
BeautifulSoup 默认会把连续空白压缩成单个空格,且自动解码 HTML 实体(如 → 空格),这通常是你想要的,但有时会误伤。
立即学习“Python免费学习笔记(深入)”;
- 取文本用
.get_text()比.text更可控,它支持分隔符参数,比如.get_text(strip=True, separator=" ") - 保留原始标签内换行?用
.prettify()是格式化输出,不是读取逻辑;真要保留结构,得自己遍历contents并过滤NavigableString - 遇到
<br>被忽略?.get_text()默认不把换行符当分隔符,得手动处理,比如先用replace_with("\n")把<br>替换成换行符
真正麻烦的是嵌套不规范的 HTML,比如没闭合的 <p> 或混用的 <font> 标签——这时候别硬刚,先用 soup.prettify() 看一眼实际被解析成什么样,再决定 selector 怎么写。











