首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
搜索
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
在线笔面试、雇主品牌宣传
登录
/
注册
alps山
2018-05-14 21:48
东南大学 产品经理
关注
已关注
取消关注
如何处理反爬?
自己做了个爬虫,每次面试都会被问到反爬的问题,但是我用的webmagic爬取的过程中没有遇到过反爬这个问题(可能爬的比较少),想问问大家怎么处理反爬的情况(爬取大量数据),除了***ip,这个貌似不稳。
提示
全部评论
推荐
最新
楼层
江山如画君
吉林大学 golang
1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池,轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值
点赞
回复
分享
发布于 2018-05-14 23:29
给个offer养家糊口
红棉小冰_平台工程部门_Java开发
这个。。百度一搜一大把的吧。。
点赞
回复
分享
发布于 2018-05-14 22:03
阿喵喵萌萌哒
南京大学 数据分析师
常见的就是 换useragent+ip,ip验证有效过后再用,不稳定的情况具体看下,一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数,如果几天能够抓完应该也在可接受范围之内。
点赞
回复
分享
发布于 2018-05-14 22:42
lvty
上海电子信息职业技术学院 Java
速度不要太快啊 多线程模拟随机时间 一定不要太快了 拉别人数据还要速度 就真的。。
点赞
回复
分享
发布于 2018-05-14 23:16
二手牛仔裤
哔哩哔哩_Java高级研发工程师
好像有个叫布隆过滤器的结构专门处理反爬虫
点赞
回复
分享
发布于 2018-05-16 02:08
朱磊201805161402107
青岛科技大学 Java
***IP
点赞
回复
分享
发布于 2018-05-16 16:50
朱磊201805161402107
青岛科技大学 Java
分布式爬取,设置间隔时间
点赞
回复
分享
发布于 2018-05-16 16:51
还没有回复哦~
相关推荐
02-23 13:23
已编辑
科大讯飞_算法工程师
科大讯飞2月hc补录
不知不觉已经十一月份了,大家都说自己挂了。。。 但是感觉咱们自己部门offer至少还有三成没发,整体的我不太清楚,目前新投的同学符合进面要求的,基本都能过面,池子里的捞的也有,但是比例较少 11月以下岗位缺口还比较大 大家可以再投一下这些,过完这个月我就不发帖了,麻了 目前科子春招的飞凡计划还有hc,类似与sp的 对目前工作不满足的可以再投一下,后续会开普通岗位的春招,目前还在整理预算hc 笔试结束进入到简历筛选环节会先进行初筛然后会给到部门进行筛选,第一志愿会有两次推荐给不同部门筛选,耐心等待就好(只能耐心等待了,现在招聘行情发拒绝信都难了)要内推的直接看这里,有问题可以留言或...
投递科大讯飞等公司10个岗位 >
点赞
评论
收藏
分享
02-24 18:47
中央财经大学 产品经理
有好公司收留真好啊
工作半年多了,发现自己变化已经很大了。今天突然看到自己的秋招总结,发现那时候都好幼稚了,周末和朋友们见面发现大家也都有变化,有的忙的开心,有的感觉专业度特别强,有的内卷到想离职,有的被边缘化,我很幸运,属于整体很开心的那种,不禁感慨有好公司收留真好啊,给大家分享一下我在掌阅的情况。公司实力:掌阅是全球领先的数字阅读平台,在全国十多个城市都有团队,公司规模和实力还是可以的。工作地点:我是在掌阅北京,在四惠这边,附近有很多好吃的和温泉,还是很方便的工作内容:我是产品经理,主要负责用户增长,我觉得做产品需要有信念感,要深度了解产品和用户,我自己对内容也很感兴趣,也喜欢和人打交道,所以工作内容我还是很...
点赞
评论
收藏
分享
02-21 17:05
华为_数通_硬件技术工程师(准入职员工)
不知原委,静观其变
在备战秋招的社畜很自信:
校招生违约率低,所以我要高😂
点赞
评论
收藏
分享
昨天 13:58
门头沟学院 Java
刷到小林pyq
行情越来越差了
野猪不是猪🐗:
内容不评价,反正我是觉得现在小林吃相越来越难看了。那个八股网站每次进去都强制登录,还必须关注他那个破公众号,每天给你推一些散播焦虑实则是恰饭推广的文章
点赞
评论
收藏
分享
02-22 17:07
浙江大学 IT管理培训生
诚心求指导!浙大迷茫小硕求职方向咨询
牛友们大家好!暑期实习已经临近了,最近的我非常迷茫和焦虑,看着动辄成百上千元的求职咨询也确实有点望而却步,在此发帖,非常真诚地求助大家给出一些求职指导①本人bg: 本科:哈工大 硕士:浙大 ②实习经历 1. dd数据运营实习生。日常主要是写sql满足数据需求,业务指标监控,异动分析(但是很简单),参与过一些策略制定(但主要还是提供数据支持)。 2. mt大模型算法实习生。算是和学校有一定合作性质,所以面试不像正常的算法实习那么严格。我很清楚,凭我自己的能力和基础,算法肯定是够不到的。 ③项目经历 主要是本科做的,数学建模国家二等奖,一篇ei会议。也有过互联网+之类的创新创业比赛的省奖...
如何确定自己的求职方向?
求职你最看重什么?
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习怎么偷产出?
2.5W
2
...
26届本科三段大厂实习勇闯暑期实习
1.2W
3
...
有奖征文:职场上哪些行为很加分?投稿得丰厚奖励!
1.1W
4
...
怎么实习,含金量最高?
9756
5
...
字节春招前端一面二面凉经
6554
6
...
腾讯实习基地hr 一面挂
5919
7
...
字节生活服务后端开发日常实习一二三面经
4958
8
...
工科双非一定要读研
4761
9
...
告诉俺娘,俺不是孬种!鼓起勇气管mentor要饭钱了(有后续了)
4716
10
...
腾讯-IEG-开发 实习面经
4524
创作者周榜
更多
正在热议
更多
#
如何KTV领导
#
30707次浏览
245人参与
#
研究所笔面经互助
#
55006次浏览
394人参与
#
掌阅春招
#
88404次浏览
511人参与
#
软开人,秋招你打算投哪些公司呢
#
66758次浏览
713人参与
#
生物制药/化工校招攻略
#
33709次浏览
264人参与
#
软件开发春招备战日记
#
57428次浏览
490人参与
#
当下环境,你会继续卷互联网,还是看其他行业机会
#
72294次浏览
535人参与
#
你最近一次加班是什么时候?
#
31634次浏览
249人参与
#
vivo求职进展汇总
#
167779次浏览
1020人参与
#
如何缓解入职前的焦虑
#
141484次浏览
1125人参与
#
产品每日一题
#
28978次浏览
404人参与
#
你遇到过哪些神仙同事
#
44980次浏览
421人参与
#
你今年的平均薪资是多少?
#
94117次浏览
460人参与
#
考研人,我有话说
#
13832次浏览
266人参与
#
TP-LINK工作体验
#
38451次浏览
786人参与
#
还记得你第一次面试吗?
#
75711次浏览
1093人参与
#
想给25届机械人的秋招建议
#
22444次浏览
202人参与
#
上班苦还是上学苦呢?
#
201202次浏览
1233人参与
#
在职场上,你最讨厌什么样的同事
#
10580次浏览
123人参与
#
职场上哪些行为很加分?
#
31994次浏览
739人参与
#
985本硕1个中小厂offer,摆烂or继续努力
#
100251次浏览
696人参与
牛客网
牛客企业服务