通过模拟登录保存cookie,然后去后台页面不断抓取某网站上的订单数据。
现在有两个问题
该网站cookie会在10分钟后过期,过期后需要重新登录
该网站的订单数据禁止频繁查询
同程联盟景点门票动态程序 beta1.0下载经过一段时间的开发,以及内部测试,同程网联盟景区新版程序正式发布推出,感谢广大联盟会员一直以来的支持与关注! 同程网联盟景区新版程序新功能介绍:1.统一的页面风格。页面风格将与随后推出的度假线路、酒店、机票以及融合版联盟程序风格保持一直;2.新增后台管理系统。可更加方便快捷的对网站进行个性化设置;3.动态与伪静态切换。后台操作,简单便捷;4.缓存管理。新增缓存,提高网站访问速度,后台可定期清理;5
现在要完成这样的功能:
从模拟登录后开始,不断地自动抓取订单数据
当该cookie过期时自动发送消息到管理员微信,提醒管理员重新登录。
那么,如何在模拟登录时,设置保存的cookie过期时间?以及如何设置每隔固定的时间去执行一次抓取数据操作?
因为要对这些数据做处理,有没有办法在本地测试中即可完成这些操作?
回复内容:
通过模拟登录保存cookie,然后去后台页面不断抓取某网站上的订单数据。
现在有两个问题
该网站cookie会在10分钟后过期,过期后需要重新登录
该网站的订单数据禁止频繁查询
现在要完成这样的功能:
从模拟登录后开始,不断地自动抓取订单数据
当该cookie过期时自动发送消息到管理员微信,提醒管理员重新登录。
那么,如何在模拟登录时,设置保存的cookie过期时间?以及如何设置每隔固定的时间去执行一次抓取数据操作?
因为要对这些数据做处理,有没有办法在本地测试中即可完成这些操作?
隔固定时间去执行抓取,可以使用cli模式定时任务。
cookie设置过期时间我觉得没有必要,你可以在接口失效的前提下重新模拟登录。
1该网站的订单数据禁止频繁查询
curl 支持代理请求,他检测是否频繁请求是通过ip来检测的
2该网站cookie会在10分钟后过期,过期后需要重新登录(cookie里面存放了sessionid 主要是这个会话id会过期不是cookie)
按照你的这个情景cookie失效有2种:
----1 会话时长炒超过了服务器配置的会话时长(一般默认30分钟)
----2 用户退出,服务器主动销毁会话sessionid
既然你是要抓数据,那么账号应该是你的, 那么2的可能基本可以排除了,至于1 如果你用curl代理请求那么也就不存在1的问题,如果存在你使用定时请求来保持这个会话sessionid即可(另开一个程序每隔15分钟请求一次来保持会话)









