抖音视频爬取中翻页问题
在使用 python 爬虫爬取抖音视频时，遇到了翻页问题，无法获取所有视频链接。
问题描述
在抖音中，当您访问博主主页时，最初只能看到 20 个左右的视频及其链接。随后当您将鼠标滑到页面底部时，会自动加载后续视频内容。但是，爬虫程序只会获取到最初的 20 个视频链接，无法自动完成翻页加载新视频。
立即学习“Python免费学习笔记（深入）”；
解决方案
解决翻页问题的关键在于，了解抖音是基于什么机制进行翻页加载的。在抖音中，翻页实际上是通过修改 url 中的 max_cursor 参数实现的。max_cursor 参数的值代表了当前页面中最后一条视频的 id。
为了在爬虫中实现翻页功能，我们需要：
- 获取当前页面最后一个视频的 id，作为 max_cursor 参数的值。
- 将更新后的 max_cursor 参数添加到 url 中，并请求新的页面。
- 重复步骤 1 和 2，直到获取到所有视频。
示例代码
以下示例代码展示了如何使用 max_cursor 参数实现抖音视频翻页：
import requests
from bs4 import BeautifulSoup
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36",
'cookie': 'douyin.com',
'sec-ch-ua': '"Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"'
}
# 初始 URL
url = 'https://www.douyin.com/user/MS4wLjABAAAAp3rtDfotN7-mHjDIr0XR2XJ5g0C1DIVAuJYgBHJYX-xJLZgoHvfN0r0yAWTLybn7'
# 存储视频 ID 列表
video_ids = []
#max_cursor 初始化为0
max_cursor = 0
while True:
# 拼接新的 URL
new_url = url + f"?max_cursor={max_cursor}"
# 请求页面
r = requests.get(url=new_url, headers=headers)
html = BeautifulSoup(r.text, 'html.parser')
# 获取视频 ID
result = html.find_all('a', 'B3AsdZT9 chmb2GX8 UwG3qaZV')
for item in result:
vid = item['href'][-19:] # 获取视频 ID
video_ids.append(vid) # 添加到列表中
# 更新 max_cursor
max_cursor = video_ids[-1]
# 判断是否已经获取到所有视频
if len(result) < 20:
break
# 打印出视频 ID 列表
print(video_ids) 
