1. 环境准备与Selenium基础配置
在开始之前，请确保您的python环境中已安装selenium库，并下载了与您的chrome浏览器版本兼容的chromedriver。
首先，导入必要的Selenium模块，并进行基本的WebDriver配置。Options().add_experimental_option("detach", True) 选项可以使浏览器在脚本执行完毕后不立即关闭，方便调试。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
import time
# 配置Chrome选项，使其在脚本结束后保持打开
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)
# 初始化WebDriver、ActionChains和WebDriverWait
driver = webdriver.Chrome(options=chrome_options)
actionChains = ActionChains(driver)
wait = WebDriverWait(driver, 20)
# 定义一个辅助函数，用于等待元素位置稳定
def wait_for_element_location_to_be_stable(element):
"""
等待一个元素的位置在一段时间内保持不变，以确保页面加载稳定。
这对于动态加载的元素特别有用。
"""
initial_location = element.location
previous_location = initial_location
start_time = time.time()
while time.time() - start_time < 1: # 等待1秒钟，期间位置未变化则认为稳定
current_location = element.location
if current_location != previous_location:
previous_location = current_location
start_time = time.time() # 位置变化，重置计时器
time.sleep(0.4) # 短暂等待，避免CPU占用过高
# 导航到Google主页并接受Cookie（如果弹出）
driver.get("https://www.google.com/")
try:
# 尝试点击Google的Cookie同意按钮
cookie_accept_button = wait.until(EC.element_to_be_clickable((By.ID, "L2AGLb")))
cookie_accept_button.click()
except:
print("未找到或无需点击Cookie同意按钮。")
# 导航到Google地图
driver.get("https://www.google.com/maps")
# 等待页面加载并输入搜索查询
time.sleep(3) # 给予页面足够时间加载
search_box = wait.until(EC.presence_of_element_located((By.ID, "searchboxinput")))
search_box.send_keys("jardins in toulouse")
search_box.send_keys(Keys.RETURN)
# 等待搜索结果加载
time.sleep(5)2. 动态加载结果的滚动机制
Google地图的搜索结果通常是动态加载的，这意味着初次加载时可能只显示一部分结果。为了获取更多结果，需要模拟用户向下滚动的行为。本教程采用了一种鲁棒的滚动策略，通过滚动到列表中的最后一个元素并发送“向下箭头”键来触发新内容的加载，并判断滚动是否停止（即没有新内容加载出来）。
# 获取初始结果列表
# 这里的'hfpxzc'是Google地图中每个商家/地点的链接元素的通用类名
results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))
break_condition = False
# 找到一个可以聚焦的元素，通常是搜索框或者地图上的某个固定元素
# 这里使用'zero-input'作为示例，实际中可能需要根据页面结构调整
focus_element = driver.find_element(By.ID, 'zero-input')
while not break_condition:
# 记录当前列表的最后一个元素
temp_last_element = results[-1]
# 滚动到最后一个元素，确保其在视图中
actionChains.scroll_to_element(results[-1]).perform()
# 将焦点移到某个元素并点击，然后发送向下箭头键，确保滚动事件被触发
# 这一步是为了确保滚动条或页面本身响应键盘事件
actionChains.move_to_element(focus_element).click().perform()
for _ in range(3): # 多次发送向下箭头键，确保滚动足够
actionChains.send_keys(Keys.ARROW_DOWN).perform()
time.sleep(0.5) # 短暂暂停以允许页面响应
# 等待最后一个元素的位置稳定，这有助于判断页面是否已停止加载
wait_for_element_location_to_be_stable(temp_last_element)
# 重新获取所有结果，检查是否有新元素加载
results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))
# 如果新的结果列表的最后一个元素与之前的最后一个元素相同，
# 并且列表长度不再增加，则认为已滚动到底部
if results[-1] == temp_last_element and len(results) > len(set(results)): # 简单的去重判断，确保不是重复元素
break_condition = True
elif len(results) >= 100: # 如果已经获取了足够数量的结果，也可以停止
break_condition = True注意： 上述滚动逻辑中的 len(results) > len(set(results)) 检查是为了更严谨地判断是否加载了新元素，因为 results[-1] == temp_last_element 可能在某些情况下误判。更可靠的方法是比较新旧列表的长度，或者检查新列表中是否包含旧列表的所有元素且有新增。此处简化为当最后一个元素相同时，假设已到底部，或达到目标数量。
3. 精准提取商家评分和评论数
这是解决原始问题的核心部分。原始代码使用了一个绝对XPath，这在迭代多个结果时是无效的。正确的做法是使用相对XPath，从当前迭代的商家元素（result）出发来定位其相关的评分和评论元素。
Google地图中，每个商家/地点的信息通常在一个“卡片容器”内。result 变量（即 //a[@class='hfpxzc']）是这个卡片容器内的链接元素。评分（例如“4.1”）通常在一个具有特定类名（如 MW4etd）的 span 元素中，而评论数量（例如“(123)”）则可能紧邻评分，或者在另一个具有特定属性的 span 元素中。
定位策略：
- 从 result 元素向上移动到其父级（..），因为评分和评论通常不是 hfpxzc 链接的直接子元素。
- 在父级或其子孙元素中，寻找具有特定类名或文本模式的元素。
- 评分：通常是 //*[@class='MW4etd']。
- 评论数：通常是包含括号数字的文本，例如 //span[contains(text(), '(') and contains(text(), ')')]。
# 循环遍历结果并提取名称、评分和评论数
# 限制在获取前100个结果（如果存在）
for i, result in enumerate(results[:100], start=1):
name = result.get_attribute('aria-label')
# 提取评分
# 评分通常在当前商家链接元素的父级容器内，具有'MW4etd'类
ratings_elements = result.find_elements(By.XPATH, "..//*[@class='MW4etd']")
rating = ratings_elements[0].text if len(ratings_elements) > 0 else "评分不可用"
# 提取评论数量
# 评论数量通常是包含在括号内的数字，与评分元素相邻或在同一父级下
# 这里使用一个更通用的XPath来查找包含括号的文本，以适应不同的HTML结构
review_count_elements = result.find_elements(By.XPATH, "..//span[contains(text(), '(') and contains(text(), ')')]")
review_count = review_count_elements[0].text if len(review_count_elements) > 0 else "评论数不可用"
print(f"结果 {i}: 名称: {name} - 评分: {rating} - 评论数: {review_count}")
# 关闭浏览器
driver.quit()4. 注意事项与最佳实践
- XPath的鲁棒性： 避免使用绝对XPath，因为它们对页面结构的变化非常敏感。优先使用相对XPath (. 或 .. 开头) 或 CSS 选择器，结合元素的类名、ID、文本内容或属性来定位。
- 等待策略： 动态网页内容需要强大的等待机制。WebDriverWait 结合 expected_conditions 比简单的 time.sleep() 更可靠，因为它会等待直到条件满足或超时。wait_for_element_location_to_be_stable 这样的自定义等待函数对于处理元素移动或重绘的情况非常有用。
- 错误处理： 使用 find_elements 而不是 find_element 来查找可能不存在的元素。find_elements 会返回一个列表，如果元素不存在则返回空列表，这允许你通过检查列表长度来避免 NoSuchElementException。
- 模拟真实用户行为： 模拟鼠标点击、键盘输入和滚动等操作，可以减少被网站识别为自动化脚本的风险。
- 效率与性能： 频繁的 time.sleep() 会降低脚本执行效率。在确保页面加载完成的前提下，尽量减少不必要的等待时间。
- 反爬机制： Google地图等大型网站有复杂的反爬机制。频繁或大量的请求可能导致IP被封禁或需要验证码。考虑使用代理IP、降低请求频率、模拟用户代理等策略。
- 道德与法律： 在进行任何形式的网络抓取之前，请务必阅读并遵守目标网站的服务条款和隐私政策。尊重网站的数据所有权，并确保您的抓取行为合法合规。
总结
本教程提供了一个使用Selenium从Google地图提取商家评分和评论数的完整解决方案。通过理解动态内容加载机制和掌握正确的元素定位策略，您可以有效地从复杂的Web应用中提取所需数据。记住，Web抓取是一个不断适应和学习的过程，随着网站结构的变化，您的抓取脚本也可能需要随之更新。
