爬虫采集信息为何被封IP？
作者：小象
发布时间：2020-12-29 16:05:42
阅读量：1203
爬虫采集信息为何被封IP？举个例子，一家店在做免费送礼品的活动，你一个小时去七八次，那店家当然不会再给你礼品啊，但是如果你换一身装扮让店家认不出，那就可以了。这就和爬虫用代理IP是一个道理。很多网站对于爬虫行为进行识别，如果认定你的行为是爬虫，便会锁定你的IP，造成你爬不到任何信息。
1、可以适当的放慢抓取速度，降低对于目标网站产生的压力，但是这样就会导致工作效率特别低，这个时候用代理IP是最好的
2、通过设置代理IP，突破反爬虫机制继续高频率抓取。使用代理IP简单的来说边是让代理服务器去帮我们获取网页的内容，然后再转发回我们的电脑，选择代理是一定要选择高匿代理，这里我推荐使用小象代理
3、建立IP池，池子尽量的大，且不同IP均匀轮换
