Python开发主管岗位职责

日常工作任务及职责:

1、参与爬虫系统的架构设计与开发,搭建数据采集平台,建立爬虫系统,通过对数据的抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台;

2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;

3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;

4、能独立解决实际开发过程碰到的各类问题;

5、能带领团队高效完成工作任务

任职资格:

1、全日制统招本科以上学历,3年以上的爬虫程序设计开发经验;

2、熟悉linux平台开发,3年以上python开发经验;

3、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息;

4、熟悉Mysql,redis,mongdb,有过数据库调优和海量数据存储经验优先;

5、熟悉Http协议的基本原理,了解Http协议交互的流程,明白大部分httphead的作用与意义,熟悉nutch,httpclient,jsoup等工具;

6、具有搜索相关技术研发、数据挖掘、自然语言处理、信息检索、机器学习背景者优先

7、熟悉金融股票市场者优先