如何处理反爬？
自己做了个爬虫，每次面试都会被问到反爬的问题，但是我用的webmagic爬取的过程中没有遇到过反爬这个问题（可能爬的比较少），想问问大家怎么处理反爬的情况（爬取大量数据），除了***ip，这个貌似不稳。
2018-05-14 21:48 东南大学 产品经理
关注
全部评论
江山如画君
吉林大学 golang
1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池，轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值
给个offer养家糊口
红棉小冰_平台工程部门_Java开发
这个。。百度一搜一大把的吧。。
阿喵喵萌萌哒
南京大学 数据分析师
常见的就是 换useragent+ip，ip验证有效过后再用，不稳定的情况具体看下，一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数，如果几天能够抓完应该也在可接受范围之内。
lvty
上海电子信息职业技术学院 Java
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
二手牛仔裤
哔哩哔哩_Java高级研发工程师
好像有个叫布隆过滤器的结构专门处理反爬虫
朱磊201805161402107
青岛科技大学 Java
***IP
朱磊201805161402107
青岛科技大学 Java
分布式爬取，设置间隔时间
相关推荐
查看35道真题和解析 点赞 评论 收藏
分享
11-21 18:05
北京化工大学 生物制药岗 
点赞 评论 收藏
分享
10-25 09:58
中国科学技术大学 算法工程师 
点赞 评论 收藏
分享
11-20 13:35
广东白云学院 数据运营 
立马来offer：去哪个大厂了啊，其实你选了小公司，遇到不开心的也会后悔没有选择大平台。别美化小公司了，至少大厂有平台，有二次选择的能力 点赞 评论 收藏
分享