使用Scrapy和XPath提取HTML片段
本文介绍如何在Scrapy框架中，利用XPath表达式完整提取指定div标签及其所有子元素的HTML内容，包括标签本身。 问题在于，需要提取特定div标签下的所有内容，但string(.)方法只能获取纯文本，而直接选择父元素又会包含完整的起始和结束标签。
例如，以下HTML片段：
目标是提取包含所有HTML标签的内容，预期结果：
'这是文本aaaa
立即学习“前端免费学习笔记（深入）”；
这是文本2
这是文本3'
string(.)方法不适用，因为它只返回文本内容；直接使用XPath选择器//div[@class="contson"]也不理想，因为它返回整个div标签。
解决方案：使用node()函数。 node()函数可以获取指定元素下的所有子节点，包括文本节点和元素节点。 因此，可以使用以下XPath表达式：
//div[@class="contson"]/node()
此表达式选择class属性为"contson"的div元素下的所有子节点。 extract()方法将结果提取为一个列表。 由于extract()返回列表，需要使用"".join(xx)将列表元素连接成字符串，其中xx代表//div[@class="contson"]/node().extract()的结果。 这样即可得到包含所有HTML标签的目标字符串。
