百度百科网页爬取结果为空怎么办？-Python教程-PHP中文网

百度百科网页爬取结果为空怎么办？

解决百度百科网页爬取结果为空的问题

在使用XPath爬取百度百科数据时，经常会遇到空结果的情况。本文分析可能原因并提供解决方案。

问题：使用lxml库和XPath表达式//div[contains(@class,"lemma-summary") or contains(@class,"lemmawgt-lemmasummary")]//text()提取百度百科词条摘要信息时，结果为空。

原因：百度百科的网页结构和重定向机制。服务器返回302状态码，表示需要重定向到新的URL。原始代码未处理重定向，导致爬取的页面并非目标页面。

ReRoom AI

专为室内设计打造的AI渲染工具，可以将模型图、平面图、草图、照片转换为高质量设计效果图。

下载

解决方案：在代码中添加重定向处理。以下为改进后的代码：

import urllib.request
import urllib.parse
from lxml import etree

def fetch_baike_summary(keyword):
    url = 'https://baike.baidu.com/item/' + urllib.parse.quote(keyword)
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }
    req = urllib.request.Request(url=url, headers=headers)
    try:
        with urllib.request.urlopen(req) as response:
            if response.getcode() == 302:
                url = response.geturl()
                req = urllib.request.Request(url=url, headers=headers)
                with urllib.request.urlopen(req) as response:
                    html = response.read().decode('utf-8', errors='ignore')
            else:
                html = response.read().decode('utf-8', errors='ignore')
        tree = etree.HTML(html)
        summary = tree.xpath('//div[contains(@class,"lemma-summary") or contains(@class,"lemmaWgt-lemmaSummary")]//text()')
        return ''.join([item.strip() for item in summary])
    except Exception as e:
        return f"Error: {e}"

if __name__ == "__main__":
    keyword = input("请输入关键词：")
    result = fetch_baike_summary(keyword)
    print(f"查询结果：{result}")

改进之处：