写爬虫爬网站内容时遇到ip被封，请问如何使用代理？
用了网上搜到的http://www.cnproxy.com/ 代理服务器中的ip和端口，没有一个可以用的。。。
请高手帮忙。小弟多谢
Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
9
525
收藏
(1) 我觉得解决这个问题的终极办法是写出不让人讨厌的爬虫；
(2) 代理也分很多种，有的可以完全隐藏你的源IP，有的不可以，所以不要指望代理可以解决你的所有问题，而且，免费的代理基本是不可能隐藏你的源IP的；
(3) 或者，你可以更改系统底层TCPIP实现，在网络层动手脚。
我也碰到这个问题，最好的解决还是付费的代理，去淘宝买。
最好还是用代理～～～
chongdata.com 是一个网络爬虫～可以大规模提取网页关键字， 有凡客和淘宝的价格提取案例
模拟adsl拨号，这样，每拨一次，IP就不一样
降低抓取频率，时间设置长一些，访问时间采用随机数
多页面数据，随机访问然后抓取数据
更换用户IP(可以买一些代理ip)
网站封的依据一般是单位时间内特定IP的访问次数.
将采集的任务按 目标站点的IP进行分组 通过控制每个IP 在单位时间内发出任务的个数,来避免被封.当然,这个前题是你采集很多网站.如果只是采集一个网站,那么只能通过多外部IP的方式来实现了.
推荐大家使用下神箭手云爬虫，完全在云上编写和执行爬虫，不需要配置任何开发环境，快速开发快速实现。
简单几行 javascript 就可以实现复杂的爬虫，同时提供很多功能函数：反反爬虫、 js 渲染、数据发布、图表分析、反防盗链等，这些在开发爬虫过程中经常会遇到的问题都由神箭手帮你解决。