岗位职责

1.参与分布式爬虫和数据采集系统的架构设计和开发； 2.参与智能抽取框架和智能数据处理框架的设计和开发； 3.利用机器学习策略优化现有数据清洗，数据提取，结构化，入库，关联等过程； 4.负责文字、音视频数据等非结构化数据处理；

岗位要求

1.本科以上学历，计算机或统计相关专业，需要有分布式爬虫经验； 2.精通Python，熟悉 linux平台开发，熟练 git 使用，熟悉 docker 开发； 3.熟悉 Mysql, MongoDB, Redis 等数据库； 4.有大数据数据清洗和储存经验的优先； 5.了解有nlp经验的优先