
抖音视频翻页问题的解决
当使用 python 爬虫从抖音中爬取视频时,可能会遇到无法翻页以获取后续视频的问题。这是因为抖音的加载机制是在页面末尾滚动时自动加载后续内容,没有提供显式的翻页按钮。
翻页方式:max_id
要解决这一问题,可以利用抖音的翻页机制。抖音使用 max_id 参数来指示要加载下一页的视频。max_id 是当前页面中最后一个视频的 id。
抖猫高清去水印微信小程序,源码为短视频去水印微信小程序全套源码,包含微信小程序端源码,服务端后台源码,支持某音、某手、某书、某站短视频平台去水印,提供全套的源码,实现功能包括:1、小程序登录授权、获取微信头像、获取微信用户2、首页包括:流量主已经对接、去水印连接解析、去水印操作指导、常见问题指引3、常用工具箱:包括视频镜头分割(可自定义时长分割)、智能分割(根据镜头自动分割)、视频混剪、模糊图片高
针对你的示例代码,可以添加以下修改以实现翻页:
def get_video_url(url):
if not url:
return
try:
url_new = 'https://www.douyin.com/user/MS4wLjABAAAAp3rtDfotN7-mHjDIr0XR2XJ5g0C1DIVAuJYgBHJYX-xJLZgoHvfN0r0yAWTLybn7'
max_id = '' # 初始化max_id,用于存储当前页的最后一个视频ID
while True:
r = requests.get(url=url_new, headers=headers)
html = BeautifulSoup(r.text, 'html.parser')
result = html.find_all('a', 'B3AsdZT9 chmb2GX8 UwG3qaZV')
for item in result:
get_video(item['href'])
# 获取当前页最后一个视频的ID
max_id = re.findall('video/\S+\/', item['href'])[-1][:-1]
# 如果当前页的最后一个视频ID为空,则说明已加载到最后一页
if not max_id:
break
else:
# 根据当前页的最后一个视频ID更新url_new
url_new = f'https://www.douyin.com/user/MS4wLjABAAAAp3rtDfotN7-mHjDIr0XR2XJ5g0C1DIVAuJYgBHJYX-xJLZgoHvfN0r0yAWTLybn7/?max_cursor={max_id}'
except Exception as e:
print("解析失败")
print(e)通过使用 max_id 参数,可以不断更新 url_new 并加载下一页的视频,直到到达最后一页。










