用BeautifulSoup解析HTML后,用xml.etree.ElementTree构建XML树最轻量可控;需手动定义字段映射、严格处理空值与转义,优先使用.select()和.get_text()。

用 Python 的 BeautifulSoup 解析 HTML 并生成 XML 结构
直接用 BeautifulSoup 解析 HTML,再用标准库 xml.etree.ElementTree 构建 XML 树是最轻量、可控性最强的方式。不推荐用正则硬匹配 HTML,也不建议用 lxml.html 直接转 XML(它会补全 DOM、引入命名空间,常导致结构失真)。
关键点:HTML 是松散语法,XML 要求严格嵌套和闭合;必须手动定义字段映射规则,不能依赖“自动转换”。
-
BeautifulSoup(html_content, "html.parser")足够应付绝大多数网页,不用上lxml解析器(除非需 XPath 或处理严重破损 HTML) - 提取数据时优先用
.select()(CSS 选择器),比.find_all()更直观、更接近前端调试习惯 - 每个 XML 元素内容必须调用
str().strip(),否则可能混入换行、空格或None
字段映射需显式声明,不能靠标签名自动推导
HTML 中的 常见错误:把 立即学习“前端免费学习笔记(深入)”; XML 不允许直接出现 如果目标网页依赖 JavaScript 渲染核心数据(比如 React/Vue 应用、分页加载的商品列表), 解决方案只有两个:一是找官网提供的 API(检查浏览器 Network 面板中的 XHR/Fetch 请求),直接请求 JSON;二是用 都可能表示价格,但没有任何通用规则能自动识别。你必须写明:"price" 字段对应哪个 CSS 选择器、是否取文本、是否取属性值、是否需要清洗。
item["title"] = soup.select_one("h1").text 写成 item["title"] = soup.select_one("h1").get_text() —— 表面一样,但 .text 在节点为空时返回 None,而 .get_text() 返回空字符串,后者更适合 XML 内容赋值。
{'title': {'selector': 'h1', 'attr': None, 'method': 'text'}, 'price': {'selector': '.price', 'attr': 'data-value', 'method': 'get'}}[el.get('src') for el in soup.select('.gallery img')] 显式提取列表,再逐个创建 XML 子节点innerHTML 类逻辑拼接字符串生成 XML,易引入未转义字符(如 &、),导致 XML 解析失败
生成 XML 时必须处理字符转义和编码
&、、>、"、',而 HTML 文本中极常见。Python 的 ElementTree 默认会转义,但前提是内容以字符串形式传入——若误把 Tag 对象(如 soup.p)直接塞进 Element.text,会触发 TypeError 或输出意外字符串。
str(val or "").strip() 处理,再传给 Element.text
html.escape() 转义,或改用 CDATA 包裹(需手动拼接字符串,ElementTree 不原生支持)遇到动态渲染页面时,静态解析必然失败
requests + BeautifulSoup 拿到的只是骨架 HTML,关键字段为空。这时候不是映射逻辑错了,而是根本没抓到数据源。Playwright 或 Selenium 启动真实浏览器,等待 JS 执行完毕再提取 —— 但注意,这已不属于“HTML 抓取+XML 映射”的范畴,而是自动化交互。
实际最难的从来不是怎么生成 XML,而是如何稳定、准确地从千奇百怪的 HTML 结构里定位出你要的那几块数据——每个网站都是独立协议,得一个一个对。BeautifulSoup 解析 page.content(),直接用 page.inner_text() 或 page.eval_on_selector() 提取更稳











