在使用 Python 的 `requests-html` 库进行网页抓取时，仅设置 `Accept-Language` 请求头并不能保证服务器返回目标语言内容。本文将深入探讨 `Accept-Language` 的实际作用，并提供一套完整的解决方案，通过结合 `requests-html` 抓取数据和 `googletrans` 库进行实时翻译，从而有效处理多语言网站，确保获取并转换所需的英文文本内容。
理解 Accept-Language 请求头
在进行网页抓取时，开发者常会尝试通过设置 Accept-Language 请求头来指定希望获取的语言版本。例如，headers = {"Accept-Language": "en"} 旨在告知服务器客户端偏好英文内容。然而，需要明确的是，Accept-Language 仅是一个偏好指示器，它通知服务器客户端首选的响应语言。服务器是否响应指定语言的内容，取决于其是否提供该语言版本以及其内部的内容协商机制。许多网站，特别是那些主要服务于特定地区或语言用户的网站，可能即使接收到 Accept-Language: en，仍然会默认返回其主要语言（如阿拉伯语、中文等）的内容，或者只翻译部分动态内容，而静态页面内容则保持不变。因此，单纯依赖此头部来获取翻译后的文本往往是无效的。
解决方案：抓取后进行内容翻译
鉴于 Accept-Language 的局限性，更可靠的方法是在抓取到原始语言内容后，利用翻译库对其进行处理。googletrans 是一个流行的 Python 库，它封装了 Google Translate API，可以方便地实现文本翻译功能。
1. 安装 googletrans 库
在使用 googletrans 之前，需要先将其安装到您的 Python 环境中。建议尝试安装最新的预发布版本，如果遇到问题，可以回退到稳定版本。
立即学习“Python免费学习笔记（深入）”；
# 安装最新预发布版本 pip install googletrans==4.0.0-rc1 # 如果最新版本出现问题，可以尝试卸载并安装稳定版本 # pip uninstall googletrans==4.0.0-rc1 # pip install googletrans==3.0.0
2. 使用 requests-html 抓取网页内容
首先，我们使用 requests-html 库发起请求并获取网页的 HTML 内容。为了确保能够利用 requests-html 的强大选择器功能（如 .html.find()），建议使用 HTMLSession 来发起请求。
import pandas
from requests_html import HTMLSession
import time
import requests
from requests import get
import re
from googletrans import Translator # 导入 Translator 类
# 目标 URL
url = 'https://pcpalace.com.sa/products/ASUS-Vivobook-GO-E1504GA'
# 实例化 HTMLSession
session = HTMLSession()
# 发起请求，这里可以继续尝试设置 Accept-Language，但主要目的是获取原始HTML
headers = {"Accept-Language": "en"}
r = session.get(url, headers=headers) # 使用 session.get() 获取 HTMLResponse 对象
r.raise_for_status() # 检查请求是否成功
# 确保页面已渲染（如果页面有JS动态加载内容）
# r.html.render() # 如果页面有JavaScript渲染内容，可能需要这行3. 提取原始文本并进行翻译
获取到 HTMLResponse 对象 r 后，我们可以使用其 .html.find() 方法来定位页面上的特定元素，例如页面的 <title> 标签，然后提取其文本内容。随后，利用 googletrans.Translator 对提取到的文本进行翻译。
# 实例化翻译器
translator = Translator()
# 使用 .html.find() 方法查找 title 元素
# first=True 表示只返回第一个匹配的元素
title_element = r.html.find('title', first=True)
# 提取 title 元素的文本内容
# 如果 title_element 不存在，则返回 'Title not found'
original_title_text = title_element.text if title_element else 'Title not found'
# 翻译原始标题文本到英文
# dest='en' 指定目标语言为英文
try:
translated_title = translator.translate(original_title_text, dest='en').text
except Exception as e:
translated_title = f"Translation failed: {e}"
print(f"Error during translation: {e}")
print("Original Title: " + original_title_text)
print("Translated Title: " + translated_title)
# 示例：翻译其他元素，如一个产品名称（假设其CSS选择器为 '.product-name'）
# product_name_element = r.html.find('.product-name', first=True)
# if product_name_element:
# original_product_name = product_name_element.text
# translated_product_name = translator.translate(original_product_name, dest='en').text
# print("Original Product Name: " + original_product_name)
# print("Translated Product Name: " + translated_product_name)
# else:
# print("Product name element not found.")完整示例代码
将上述步骤整合，形成一个完整的脚本：
import pandas
from requests_html import HTMLSession
import time
import requests
from requests import get
import re
from googletrans import Translator
# 目标 URL
url = 'https://pcpalace.com.sa/products/ASUS-Vivobook-GO-E1504GA'
# 实例化 HTMLSession
session = HTMLSession()
# 设置请求头，Accept-Language 仅作为参考，实际翻译依赖 googletrans
headers = {"Accept-Language": "en"}
try:
# 发起请求，获取 HTMLResponse 对象
r = session.get(url, headers=headers)
r.raise_for_status() # 检查 HTTP 状态码，如果不是 200 则抛出异常
# 实例化翻译器
translator = Translator()
# --- 提取并翻译页面标题 ---
title_element = r.html.find('title', first=True)
original_title_text = title_element.text if title_element else 'Title not found'
try:
translated_title = translator.translate(original_title_text, dest='en').text
except Exception as e:
translated_title = f"Translation failed: {e}"
print(f"Error translating title: {e}")
print("Original Title: " + original_title_text)
print("Translated Title: " + translated_title)
# --- 提取并翻译其他内容示例 ---
# 假设页面上有一个产品名称的元素，其 CSS 类为 'product-name'
# 请根据实际网页结构调整选择器
product_name_element = r.html.find('h1.product-title', first=True) # 示例选择器
if product_name_element:
original_product_name = product_name_element.text
try:
translated_product_name = translator.translate(original_product_name, dest='en').text
except Exception as e:
translated_product_name = f"Translation failed: {e}"
print(f"Error translating product name: {e}")
print("Original Product Name: " + original_product_name)
print("Translated Product Name: " + translated_product_name)
else:
print("Product name element not found (adjust selector if needed).")
except requests.exceptions.RequestException as e:
print(f"Request failed: {e}")
except Exception as e:
print(f"An unexpected error occurred: {e}")
注意事项与总结
- 选择器精确性： 示例代码中使用了 r.html.find('title', first=True) 和 r.html.find('h1.product-title', first=True) 来定位元素。在实际应用中，您需要根据目标网站的 HTML 结构，使用更精确的 CSS 选择器或 XPath 表达式来定位您想要提取的文本内容。避免使用 splitlines()[50] 这种脆弱的字符串分割方法，因为它极易因页面结构微小变动而失效。
- googletrans 版本： googletrans 库的版本兼容性有时会有问题。如果遇到 AttributeError 或其他错误，请尝试切换到不同的版本（如 4.0.0-rc1 或 3.0.0）。
- 翻译限制与稳定性： googletrans 库是基于 Google Translate 的非官方 API。这意味着它可能存在请求频率限制、偶尔不稳定或翻译质量不尽如人意的情况。对于大规模、高频率的翻译需求，建议考虑使用官方付费的 Google Cloud Translation API 或其他商业翻译服务。
- 错误处理： 在实际项目中，务必加入健壮的错误处理机制，例如 try-except 块，以应对网络请求失败、元素未找到或翻译服务异常等情况。
通过上述方法，您可以有效地解决 requests-html 爬取多语言网站内容的问题，确保即使服务器返回非英文内容，也能通过 googletrans 库将其转换为所需的英文文本。这种先抓取后翻译的策略，提供了更强的灵活性和可靠性。
