本文详解使用 beautifulsoup 抓取网页时因反爬机制和相对路径导致请求失败的问题，提供添加请求头、构造绝对 url 的完整修复方案，并附可运行代码示例与关键注意事项。
本文详解使用 beautifulsoup 抓取网页时因反爬机制和相对路径导致请求失败的问题，提供添加请求头、构造绝对 url 的完整修复方案，并附可运行代码示例与关键注意事项。
在使用 requests + BeautifulSoup 构建网页爬虫（例如高校课程目录采集系统）时，常遇到 response.status_code 为 403、空响应或解析结果为空等问题。根本原因通常有两个：目标网站拒绝无标识的自动化请求，以及HTML 中的相对链接未正确转换为可访问的绝对 URL。以下为系统性解决方案。
✅ 正确设置请求头（绕过基础反爬）
多数现代网站会检查 User-Agent 请求头，若缺失或为默认值（如 python-requests/2.x），服务器将直接返回 403 或空页面。必须显式传入模拟真实浏览器的 headers：
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
url = "https://www.coursicle.com/harvard/courses/"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36'
}
response = requests.get(url, headers=headers, timeout=10)
response.raise_for_status() # 主动抛出网络异常（如404/500）
soup = BeautifulSoup(response.content, "html.parser")⚠️ 注意事项：
- 避免硬编码过于陈旧的 UA（如 Firefox/91.0），建议使用主流最新 Chrome 或 Safari 的 UA 字符串；
- 务必添加 timeout 参数防止永久阻塞；
- 使用 response.raise_for_status() 及时捕获 HTTP 错误，便于调试。
✅ 正确处理相对链接（确保后续请求可达）
当从列表页提取课程详情链接（如 <a href="/harvard/cs50">CS50</a>）时，该 href 是相对路径。若直接用 requests.get(link.get("href"))，请求将指向 http://localhost:8000/harvard/cs50（当前脚本所在地址），而非目标网站。必须使用 urljoin() 合成绝对 URL：
# 假设已定位到课程链接元素
for link in soup.select("div#tileContainer a[href]"):
absolute_url = urljoin(url, link.get("href"))
print(f"Fetching course page: {absolute_url}")
try:
detail_resp = requests.get(absolute_url, headers=headers, timeout=10)
detail_resp.raise_for_status()
detail_soup = BeautifulSoup(detail_resp.content, "html.parser")
# 进一步解析课程名称、学分、描述等...
course_title = detail_soup.find("h1", class_="course-title")
if course_title:
print("Course:", course_title.get_text(strip=True))
except Exception as e:
print(f"Failed to fetch {absolute_url}: {e}")? 提示：urljoin(base, relative) 严格遵循 RFC 3986 规则——当 relative 以 / 开头时，它会替换 base 的 path；若以 http:// 开头则直接返回原值，安全可靠。
✅ 完整最小可行示例（含错误处理）
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin
def scrape_course_catalog(base_url: str):
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36'
}
try:
resp = requests.get(base_url, headers=headers, timeout=10)
resp.raise_for_status()
except requests.RequestException as e:
print(f"Failed to fetch catalog page: {e}")
return
soup = BeautifulSoup(resp.content, "html.parser")
container = soup.find("div", id="tileContainer") # 注意：原文中拼写错误为 "tileContaine"
if not container:
print("⚠️ Warning: Could not find #tileContainer — check HTML structure or ID spelling.")
return
for link in container.find_all("a", href=True):
abs_url = urljoin(base_url, link["href"])
print(f"→ Scraping: {abs_url}")
# 调用示例
scrape_course_catalog("https://www.coursicle.com/harvard/courses/")? 总结
成功爬取动态渲染较弱的静态课程目录，核心在于两点：合法伪装请求身份（UA 头） 和 严谨处理 URL 导航（urljoin）。此外，请始终遵守目标网站的 robots.txt 协议，控制请求频率（必要时添加 time.sleep()），并尊重版权与数据使用条款。对于 JavaScript 渲染为主的页面，则需转向 Selenium 或 Playwright 等工具。
