如何处理反爬？

自己做了个爬虫，每次面试都会被问到反爬的问题，但是我用的webmagic爬取的过程中没有遇到过反爬这个问题（可能爬的比较少），想问问大家怎么处理反爬的情况（爬取大量数据），除了***ip，这个貌似不稳。
全部评论
1.  明确网站是对单位时间访问量还是一段时间内访问总量做限制 2.  ip***池，轮询 3.  修改http头模拟浏览器访问 4.  从小到大逐步提高线程数目去探测网站的临界值
点赞 回复 分享
发布于 2018-05-14 23:29
这个。。百度一搜一大把的吧。。
点赞 回复 分享
发布于 2018-05-14 22:03
常见的就是 换useragent+ip，ip验证有效过后再用，不稳定的情况具体看下，一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数，如果几天能够抓完应该也在可接受范围之内。
点赞 回复 分享
发布于 2018-05-14 22:42
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞 回复 分享
发布于 2018-05-14 23:16
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞 回复 分享
发布于 2018-05-16 02:08
***IP 
点赞 回复 分享
发布于 2018-05-16 16:50
分布式爬取，设置间隔时间
点赞 回复 分享
发布于 2018-05-16 16:51

相关推荐

11-20 16:28
北京联合大学 增长产品
点赞 评论 收藏
分享
11-22 17:35
厦门大学嘉庚学院 用户运营
入职第一天的正确打开方式
入职第一天，千万别傻傻地坐在工位上发呆。虽然领导可能会说先熟悉环境，但这并不意味着你可以闲着。其实，第一天的关键在于主动出击。要有“工作的样子”，主动探索、学习和交流。最重要的是，养成写日报的习惯，每天总结和反思，并主动提交给领导。日报模板分享工作内容第一天，我通过PPT了解了公司的企业文化和考勤制度，这让我对公司的运作有了初步的认识。接着，我开始了解公司的主要产品线和目前负责项目的进度，重点是弄清楚项目的产品和定位。最后，我明确了接下来一周的主要工作内容。工作计划接下来，我计划继续深入学习公司的组织架构和业务产品信息。同时，我会详细了解公司在公众号、小红书和抖音上发布的内容，并初步确定小红书...
点赞 评论 收藏
分享
头像
10-09 19:35
门头沟学院 Java
Java 已经卷到这种程度了吗
预约瞬间就没了
洛必不可达：java的竞争激烈程度是其他任何岗位的10到20倍
点赞 评论 收藏
分享
11-18 15:57
门头沟学院 Java
还得是dy评论区
最终归宿是测开：这个重邮的大佬在重邮很有名的，他就喜欢打92的脸，越有人质疑他，他越觉得爽😂
点赞 评论 收藏
分享
11-22 00:12
华南理工大学 Java
点赞 评论 收藏
分享
点赞 收藏 评论
分享

全站热榜

正在热议
# 25届秋招总结 #
302634次浏览 2684人参与
# 如果不工作真的会快乐吗 #
59434次浏览 519人参与
# 百度开奖 #
163597次浏览 981人参与
# 地方国企笔面经互助 #
3870次浏览 11人参与
# 美团求职进展汇总 #
1327979次浏览 12451人参与
# 选完offer后，你后悔学本专业吗 #
20109次浏览 144人参与
# 阿里云管培生offer #
17756次浏览 296人参与
# 正在实习的你，几点下班 #
52094次浏览 391人参与
# 国央企薪资爆料 #
8578次浏览 69人参与
# 如何一边实习一边秋招 #
992397次浏览 12640人参与
# 提前批简历挂麻了怎么办 #
146542次浏览 1948人参与
# 学历or实习经历，哪个更重要 #
51233次浏览 402人参与
# 海康威视求职进展汇总 #
398997次浏览 3406人参与
# 米哈游求职进展汇总 #
176044次浏览 1458人参与
# 求职遇到的搞笑事件 #
70887次浏览 577人参与
# 投递实习岗位前的准备 #
1179613次浏览 18397人参与
# 面试体验感最好的是哪家？ #
85139次浏览 846人参与
# 实习生应该准时下班吗 #
167478次浏览 1159人参与
# 得物求职进展汇总 #
66339次浏览 682人参与
# 网申一定要掌握的小技巧 #
5343次浏览 53人参与
# 招聘要求与实际实习内容不符怎么办 #
10308次浏览 273人参与
# 0offer是寒冬太冷还是我太菜 #
898768次浏览 8015人参与
牛客网
牛客企业服务