0

0

记录一下使用Laravel-s抵御百度爬虫的经历

藏色散人

藏色散人

发布时间:2020-08-22 13:21:44

|

3712人浏览过

|

来源于learnku

转载

下面由Laravel教程栏目给大家记录一下使用Laravel-s抵御百度爬虫的经历,希望对需要的朋友有所帮助!

记录一下使用Laravel-s抵御百度爬虫的经历

什么是 laravel-s

LaravelS是一个胶水项目,用于快速集成Swoole到Laravel或Lumen,赋予它们更好的性能github地址

为什么用 Laravel-s

百度小程序上线后,百度爬虫过高的 qps(并发) 导致 cpu 满载,服务器宕机,服务器配置4核8G内存5M宽带。这时候怎么办?

  • 调整 php-fpm 参数,设置为静态,静态模式对比动态模式性能更高。比如设置子进程数量255甚至更高,越高承受的并发量越大,但越高占用内存越大。结论,一定程度上有效果,但高并发下无用。

  • 反馈百度调整爬虫抓取频率。结论,等吧,黄花菜都凉了,但还是反馈下比较好。

  • 负载均衡。让其他服务器分担压力,前提是有足够的服务器,且都要部署相同的代码,且不能影响其他服务器本来职责的业务。或者在某云临时申请N台服务器,但你不知道爬虫什么时间来,什么时间去,不现实。

  • 接下来就是文章的主题,用 Laravel-s 加速 http 响应。

Laravel-s 究竟起到多少加速效果

由于当时没有统计所有时段 qps 具体值,所以没办法得出准确的结论,只能根据调整前后的机器负载做对比。

部署前,cpu满载,机器宕机N次,瘫痪状态。外网出宽带占满(5M),部署后cpu立即降到20+, 临时升级宽带15M后,cpu达到 60%,外网宽带仍被占满(只能说百度爬虫是真作啊,多少宽带你就来多少啊)。结论,至少带来5倍的性能提升。

具体部署

Synthesys
Synthesys

Synthesys是一家领先的AI虚拟媒体平台,用户只需点击几下鼠标就可以制作专业的AI画外音和AI视频

下载

爬虫所爬取的页面只是一部分,所以并不是将线上项目改造成laravel-s,也不现实。我们只需要将爬取的页面分离出来,单独部署到laravel-s

  • 新建空项目,业务逻辑只处理抓取的页面api,项目端口号如 6501

  • 部署 laravel-s ,测试api 及 ab压测

  • 线上项目将爬虫爬取的页面路径代理到新建项目,如127.0.0.1:6501

location ~ ^/v1/test.* {
 proxy_pass http://127.0.0.1:6501;
 proxy_set_header Host $host;}

注意的几点:

  • conf/laravels.php 中,默认开启 worker 数量是 cpu 核数的两倍。

  • laravles 是运行在 swoole ,在内存中,每次更改代码,需重启 laravel-s

  • 由于第2条的原因,数据库连接得不到释放,需开启 laravel 的断开重连(>laravle5.1)。在 conf/database.phpmysql配置中添加

'options'   => [
 // 开启持久连接
 \PDO::ATTR_PERSISTENT => true,],

相关专题

更多
php远程文件教程合集
php远程文件教程合集

本专题整合了php远程文件相关教程,阅读专题下面的文章了解更多详细内容。

21

2026.01.22

PHP后端开发相关内容汇总
PHP后端开发相关内容汇总

本专题整合了PHP后端开发相关内容,阅读专题下面的文章了解更多详细内容。

14

2026.01.22

php会话教程合集
php会话教程合集

本专题整合了php会话教程相关合集,阅读专题下面的文章了解更多详细内容。

8

2026.01.22

宝塔PHP8.4相关教程汇总
宝塔PHP8.4相关教程汇总

本专题整合了宝塔PHP8.4相关教程,阅读专题下面的文章了解更多详细内容。

7

2026.01.22

PHP特殊符号教程合集
PHP特殊符号教程合集

本专题整合了PHP特殊符号相关处理方法,阅读专题下面的文章了解更多详细内容。

6

2026.01.22

PHP探针相关教程合集
PHP探针相关教程合集

本专题整合了PHP探针相关教程,阅读专题下面的文章了解更多详细内容。

6

2026.01.22

菜鸟裹裹入口以及教程汇总
菜鸟裹裹入口以及教程汇总

本专题整合了菜鸟裹裹入口地址及教程分享,阅读专题下面的文章了解更多详细内容。

20

2026.01.22

Golang 性能分析与pprof调优实战
Golang 性能分析与pprof调优实战

本专题系统讲解 Golang 应用的性能分析与调优方法,重点覆盖 pprof 的使用方式,包括 CPU、内存、阻塞与 goroutine 分析,火焰图解读,常见性能瓶颈定位思路,以及在真实项目中进行针对性优化的实践技巧。通过案例讲解,帮助开发者掌握 用数据驱动的方式持续提升 Go 程序性能与稳定性。

9

2026.01.22

html编辑相关教程合集
html编辑相关教程合集

本专题整合了html编辑相关教程合集,阅读专题下面的文章了解更多详细内容。

106

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Laravel---API接口
Laravel---API接口

共7课时 | 0.6万人学习

PHP自制框架
PHP自制框架

共8课时 | 0.6万人学习

PHP面向对象基础课程(更新中)
PHP面向对象基础课程(更新中)

共12课时 | 0.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号