alps山

2018-05-14 21:48 东南大学产品经理

关注

如何处理反爬？

自己做了个爬虫，每次面试都会被问到反爬的问题，但是我用的webmagic爬取的过程中没有遇到过反爬这个问题（可能爬的比较少），想问问大家怎么处理反爬的情况（爬取大量数据），除了***ip，这个貌似不稳。

全部评论

推荐最新楼层

江山如画君

吉林大学 golang

1. 明确网站是对单位时间访问量还是一段时间内访问总量做限制 2. ip***池，轮询 3. 修改http头模拟浏览器访问 4. 从小到大逐步提高线程数目去探测网站的临界值

点赞回复分享

发布于 2018-05-14 23:29

给个offer养家糊口

红棉小冰_平台工程部门_Java开发

这个。。百度一搜一大把的吧。。

1 回复分享

发布于 2018-05-14 22:03

阿喵喵萌萌哒

南京大学数据分析师

常见的就是换useragent+ip，ip验证有效过后再用，不稳定的情况具体看下，一般抓取失败的网页保存下来再次请求就好。一般建议降低请求次数，如果几天能够抓完应该也在可接受范围之内。

点赞回复分享

发布于 2018-05-14 22:42

lvty

上海电子信息职业技术学院 Java

速度不要太快啊多线程模拟随机时间一定不要太快了拉别人数据还要速度就真的。。

点赞回复分享

发布于 2018-05-14 23:16

二手牛仔裤

哔哩哔哩_Java高级研发工程师

好像有个叫布隆过滤器的结构专门处理反爬虫

点赞回复分享

发布于 2018-05-16 02:08

朱磊201805161402107

青岛科技大学 Java

***IP

点赞回复分享

发布于 2018-05-16 16:50

朱磊201805161402107

青岛科技大学 Java

分布式爬取，设置间隔时间

点赞回复分享

发布于 2018-05-16 16:51

03-28 15:24

华中科技大学前端工程师

豆包的LLM技术负责人的含金量到底有多高？

目前被停职的乔木背景：2014年入职字节，西安交大计算机硕士。其实这个岗位含金量极高，怎么就被美色冲昏了头，闹到这种地步/豆包大模型是字节跳动AI领域的核心项目，对标的是国际顶尖大模型（如GPT-4、Claude）。这个岗位直接负责豆包大语言模型的研发与迭代，支撑豆包APP、Coze等50+业务线，并通过火山引擎向企业开放，其技术突破是可以直接影响公司在AI领域的竞争地位的。所以，可以猜测，负责人乔木的职级属于高级管理层，直接向技术副总裁或CEO汇报。再对照一下，去年加入字节大模型团队的周畅（大约是4年5000万），那么乔木一年的年薪怎么也得在1000万以上！！做到乔木这个级别，他的年薪不仅仅...

点赞评论收藏

03-29 17:32

武汉大学 Java

学习求助

楼主为ip985网安学院学生，现在研0，之前本科基本可以说0编程基础，目前在刷代码随想录，刷到了二叉树部分，最近写代码题比较上头感觉有意思，一天能写5题左右吧。JavaSE目前在看黑马的教程，差不多要看完了。现在想着后面几个月准备毕设如果不是很忙，就按照MySQL->SSM->Springboot->苍穹外卖的路线进行学习，估计到毕业差不多能学完？请问下各位大佬这个学习路线可以吗以及如果暑假想找中小厂实习是否还有机会啊。。。

点赞评论收藏

03-09 00:14

门头沟学院前端工程师

春招还有机会吗？

北斗导航Compass低仿版：没必要写这么多东西，还是尽量浓缩成一页，自我评价，git和cursor Trae这些都可以去掉。实习经历的描述最好根据star法则改一下，别这么直白

点赞评论收藏

03-27 19:32

米哈游_前端开发

[热招]米哈游2025校园招聘内推！内含内推码！

米哈游2025春季校园招聘开启啦！⏰网申时间：即日起-5月5日即刻投递：点击前往投递专属内推码：15G87面向对象：2025届毕业生（2024.9-2025.8毕业）岗位类别：美术&表现类、程序&技术类、产品策划类、运营类、市场&商务类、国际化类、质量管理类、综合类学历和专业要求‌：‌米哈游在校招时更重视应聘者的能力，‌而非特定的学历或专业背景。‌具体的要求可以查看岗位职责的描述。‌‌‌简历加分项‌：‌不同岗位有不同的简历加分项，‌具体可查看米哈游校招的官方信息或相关岗位描述。‌‌‌内推码的优势‌：‌使用内推码投递的简历可以被优先筛选，‌这是内推的一个明显优势。‌‌‌投...

米哈游公司福利 2924人发布

点赞评论收藏

全站热榜

创作者周榜

正在热议

# 毕业季，你想好怎么跟生活对线了吗？ #