爬虫老司机看过来，请教个问题

最近在用Java爬知乎，买的阿布云的***。但是爬虫速度大概在一小时一万条左右，几百万的数据得几百小时啊，感觉有点慢。。请问下各位爬虫速度大概在多少？目前开更多线程速度也没提升，是不是我用的***ip池每秒ip数太少呢，目前不知道怎么优化
全部评论
我在自己的台式机i5配置上爬过微博，一天差不多是1000w个页面，你这个速度太慢了。是不是爬重复了?多线程我开了20个线程。 主要还是要爬取解析入库等各个步骤异步分开。 建议用框架爬取吧，自己写会比较慢。不过自己写技术会更提高~~
点赞 回复 分享
发布于 2017-04-28 10:47

相关推荐

头像
11-02 14:49
长沙理工大学
点赞 评论 收藏
分享
10-12 23:34
广东工商职业技术大学 Java
点赞 评论 收藏
分享
头像
11-07 08:54
已编辑
四川大学 后端
点赞 评论 收藏
分享
11-04 19:40
门头沟学院 Python
点赞 评论 收藏
分享
10-13 00:42
阿里巴巴灵犀互娱_前端开发(准入职员工)
点赞 评论 收藏
分享
点赞 5 评论
分享

全站热榜

正在热议
# 晒一晒我的offer #
9463264次浏览 103607人参与
# 我的实习求职记录 #
5913720次浏览 82500人参与
# 签约/解约注意事项 #
288300次浏览 1830人参与
# 你想留在一线还是回老家？ #
6741次浏览 146人参与
# 大疆求职进展汇总 #
391268次浏览 2815人参与
# 金融银行投递记录 #
13982次浏览 38人参与
# 许愿池 #
197856次浏览 2463人参与
# 嵌入式笔面经分享 #
171022次浏览 3022人参与
# 国央企笔面经互助 #
70932次浏览 802人参与
# 哪些公司面试官让你印象深刻？ #
117175次浏览 1233人参与
# 设计人如何选offer #
36746次浏览 459人参与
# 工作给你带来了哪些职业病 #
5542次浏览 75人参与
# 运营来爆料 #
9564次浏览 168人参与
# 非技术岗简历怎么写 #
160542次浏览 2460人参与
# 如何一边实习一边秋招 #
955872次浏览 12239人参与
# 设计人的面试记录 #
70534次浏览 924人参与
# 我的失利项目复盘 #
641608次浏览 11001人参与
# 入职第一天，你准备什么时候下班 #
20138次浏览 131人参与
# 如何判断面试是否凉了 #
2458118次浏览 30593人参与
# 你小时候最想从事什么职业 #
25406次浏览 554人参与
牛客网
牛客企业服务