岗位职责

1.负责开发前沿的无代码（或低代码）的爬虫引擎，更智能地扩展新的场景； 2.参与爬虫引擎的调度系统开发，以应对（数十万级？）并发量的需求； 3.综合利用工具框架，创新性地解决各种实际问题；

岗位要求

1. 熟悉爬虫架构，包括任务调度、分布式、异步处理、爬取策略等等； 2.熟练掌握各种验证码和JS的处理等等； 3.懂机器学习和NLP知识的优先