高级爬虫工程师

岗位职责:

1. 遵循robots 协议，对互联网公开信息进行采集；

2. 负责网页信息抽取技术算法的研究和开发，提升数据抓取的效率和质量；

3. 负责设计和开发分布式的网络爬虫，能独立解决实际开发过程碰到的各类问题(优化调度、并发、覆盖率等) ，提升数据抓取的效果与性能;

4.负责爬虫数据解析入库、系统异常监控与警报等。

任职要求:

1. 本科C9及以上学历，两年及以上爬虫抓取采集相关工作经验，至少一年海量数据爬存经验；

2. 熟练掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集脚本的编写;

3. 熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/PhantomJS/Scarapy等;

4. 掌握分布式系统使用方式，如Ray、Spark、Hadoop等;

5. 了解NLP基本技术，实际使用过如 Fasttext、N-gram、Bert、GPT 等算法和模型者优先；

6. 熟悉常见反爬封禁策略，具备相关的实战经验。
引流
高维
问月
靖奇
雷根
赫富
双隆
坤望
稳博
衍盛
成均
白鹭
衍复
孝庸
同花顺
英仕曼
幻方
小惠
珏朔
大道
洛书
蒙玺
思勰
天演
平方和
龙鳞
凯读
奥奇.齐夫
卡方
上国象
泛态
盛泉恒元
诚奇
臻财
非凸
金湖无量
秃鹫基金
或然投资
中信期货
貔坤
纽达
鸣石
量盈
天算量化
华钧广汇
致诚卓远
玄元
博煊
念空
城堡投资
盈赢
会世
灵均
安贤
敦和
茂源
凯丰
量派
知至恒
艾略特
博普
黑翼
涵德
集微
海悦
思晔
宽德
幂达
元胜投资
玉数投资
芷瀚
磐通
灏象
君拙
九坤
希格斯
衍舟
卓识
神策
香农
鲁民投
源晖
德劭
凯纳
无涯
锐天
乾象
艾方
高盈国际
微观博易
盛冠达
佳期
偲科聆
明汯
燧石投资
桥水
高塔
金鍀
祥寓
罡兴
文艺复兴
金戈量锐
通怡
二西格玛
正定
量游
千惠
因诺
顽岩
仲阳天王星
世纪前沿
明崚
上善御富
量桥
玄信
中量投
细水投资
进化论
千象
悬铃
虑得
聚宽
龙旗
量道
火币
星阔
元盛资本
概率
千禧
伯兄
鸣熙
博益安盈
启林