有没有Python爬虫大佬？

做一个数据采集系统需要哪些东西？
1,爬去的数据要存到哪儿？
数据库里吗？
还是哪儿？
2,爬虫需要用什么框架吗？什么框架比较好？
3,数据采集系统需不需要什么界面呢？需不需要做UI?#Python#
全部评论
2，scrapy 3,可以添加界面进行监控控制
1 回复 分享
发布于 2019-04-04 00:01
Scrapy 爬到mongodb，用django做界面
1 回复 分享
发布于 2019-04-04 03:39
1 ，数据库，或者excel表
点赞 回复 分享
发布于 2019-04-04 00:01
scrapy，pyspider
点赞 回复 分享
发布于 2019-04-04 07:45
先谢谢大佬们了😛
点赞 回复 分享
发布于 2019-04-04 13:16

相关推荐

10-27 15:35
门头沟学院 大数据开发工程师
直冲大厂！大数据开发学习路线
很多小伙伴在跟我交流的过程中，会问我这样一个问题："大数据框架这么多，学了有啥用，有没有一些框架可以不学，企业里面开发要求会用这么多框架吗"我刚开始学习大数据的时候也和大家一样，这么多框架，不知道从何下手，又想速战速决，还不知道自己学习的内容是否能够对付未来在企业的开发工作...之前自己在学习大数据的时候浪费了很多的时间，这里为了帮助大家在学习大数据的时候少走弯路，同时也是对自己过去三年学习大数据过程的一个总结，今天就好好跟小伙伴们说一说如何高效学习大数据，一路直通大厂！！！学习路线预览编程语言Java：对于目标岗位是数仓开发的同学来说，只需要学习Java基础部分即可，后续...
点赞 评论 收藏
分享
10-12 23:34
广东工商职业技术大学 Java
点赞 评论 收藏
分享
10-13 00:42
阿里巴巴灵犀互娱_前端开发(准入职员工)
点赞 评论 收藏
分享
10-16 19:05
江苏大学 Java
点赞 评论 收藏
分享
11-04 12:35
北京交通运输职业学院 Java
点赞 评论 收藏
分享
点赞 3 评论
分享

招聘动态

查看更多

杉川机器人

2025校园招聘

字节跳动

2025校园招聘

字节跳动Data

2025校园招聘

快手Star

2025届招聘

快手

销售类投递专区

库洛游戏

全站热榜

正在热议
# 25届秋招总结 #
244817次浏览 1994人参与
# 学历or实习经历，哪个更重要 #
40819次浏览 297人参与
# 北方华创开奖 #
22643次浏览 257人参与
# 地方国企笔面经互助 #
2495次浏览 6人参与
# 你最想要的公司福利是？ #
39587次浏览 121人参与
# 选完offer后，你后悔学本专业吗 #
10045次浏览 75人参与
# 面试题刺客退退退 #
136829次浏览 2090人参与
# 国企/银行/研究所公司爆料 #
89586次浏览 411人参与
# 应届生被毁约被毁意向了怎么办 #
26860次浏览 237人参与
# 一觉醒来，我觉醒了超级打工人系统 #
2801次浏览 35人参与
# 机械应届生薪资要多少才合适？ #
12352次浏览 60人参与
# 查收我的offer竞争力报告 #
16437次浏览 223人参与
# 校招入职后的感受 #
156808次浏览 1959人参与
# 你觉得第一学历对求职有影响吗？ #
14841次浏览 121人参与
# 没有实习经历，还有机会进大厂吗 #
804742次浏览 13810人参与
# 我的工作日记 #
21077次浏览 270人参与
# 不给转正的实习，你还去吗 #
1516367次浏览 16963人参与
# 寒假躺平还是提前实习 #
58247次浏览 436人参与
# 总结:哪家公司面试体验感最差 #
25567次浏览 129人参与
# 秋招OC许愿 #
226223次浏览 1868人参与
# 如何写一份好简历 #
601451次浏览 8426人参与
牛客网
牛客企业服务