本文介绍不依赖selenium，仅用requests和beautifulsoup即可获取europages等现代网站中“点击后才显示”的电话号码——关键在于识别并调用其后台ajax接口。
在网页爬虫实践中，许多企业黄页类网站（如 Europages）为防爬或优化首屏加载，会将敏感信息（如电话、邮箱）延迟加载：页面HTML中不直接包含电话号码，而是通过JavaScript触发Ajax请求，从独立API接口动态获取。此时，单纯使用 requests + BeautifulSoup 解析初始HTML必然失败——因为目标数据根本不存在于返回的HTML源码中。
所幸，这类行为通常遵循可预测的模式。以 Europages 为例，观察其公司详情页URL：
https://www.europages.co.uk/ARTISAN-4-SEASON-PROJECTS/00000005443350-781559001.html
其中末尾的 00000005443350-781559001 是唯一标识符（ID）。通过浏览器开发者工具（Network → XHR/Fetch）可发现，点击“显示电话”按钮时，实际发起的是如下请求：
GET https://www.europages.co.uk/ep-api/v2/epages/00000005443350-781559001/phones
该接口返回标准JSON，结构清晰，无需渲染即可直接解析。
以下是完整、健壮的实现方案（含错误处理与结构化提取）：
import re
import requests
def extract_company_id(url):
"""从Europages公司页URL中安全提取ID片段"""
match = re.search(r'/(\d+-\d+)\.html$', url)
if not match:
raise ValueError("无法从URL中解析公司ID")
return match.group(1)
def fetch_phone_numbers(url):
"""获取指定Europages公司页的电话号码列表"""
try:
company_id = extract_company_id(url)
api_url = f"https://www.europages.co.uk/ep-api/v2/epages/{company_id}/phones"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
}
response = requests.get(api_url, headers=headers, timeout=10)
response.raise_for_status()
data = response.json()
phones = []
for category in data.get("phones", []):
for item in category.get("items", []):
number = item.get("number", "").strip()
if number:
phones.append(number)
return phones
except requests.exceptions.RequestException as e:
print(f"网络请求失败: {e}")
return []
except ValueError as e:
print(f"URL解析错误: {e}")
return []
except Exception as e:
print(f"解析响应时出错: {e}")
return []
# 使用示例
url = "https://www.europages.co.uk/ARTISAN-4-SEASON-PROJECTS/00000005443350-781559001.html"
phone_list = fetch_phone_numbers(url)
print("电话号码:", phone_list)
# 输出示例: ['+90 216 XXX XX XX']✅ 关键要点总结：
- 不要试图用 Selenium 渲染页面——轻量级HTTP请求更高效、稳定；
- 善用浏览器开发者工具的 Network 面板，定位真实数据接口（重点关注 XHR / Fetch 类型请求）；
- 接口URL往往可通过正则从原始URL中推导，无需硬编码；
- 务必添加 User-Agent 头与异常处理，避免被服务端拒绝或程序崩溃；
- 返回JSON结构可能嵌套，建议逐层 .get() 访问，避免 KeyError。
此方法适用于所有采用类似“静态HTML + 动态API”架构的网站，是进阶爬虫工程师必须掌握的核心技巧。
