岗位职责

岗位职责： 1、负责开发爬虫系统，爬取各大主流内容站点，完成数据高质量采集、解析、清理、聚合、管理、统计等数据日常工作； 2、负责提升爬虫系统的单位时间内有效数据的爬取效率。 3、负责管理爬虫数据库。 4、负责搭建爬虫可视化平台。 5、撰写爬虫接口文档、技术文档、方案文档； 6、负责与其他技术人员、运营及产品等协同工作，完成数据统计、查询和分析。

岗位要求

岗位要求： 1.2年以上实际爬虫开发经验。至少掌握Java或者Python其中一种。 2.优秀的理解能力、沟通能力、文档撰写能力。 3.熟悉主流的爬虫框架。 4.有主流内容平台数据爬取或者视频抓取经验优先。 5.有app研发背景或app爬虫开发经验佳，有逆向反编译app经验优先。 6.有解决复杂反爬限制实践经验，能解决各类验证码、账号限制、ip限制问题优先。 7.有舆情系统开发经验的优先。