大数据挖掘岗位职责

大数据挖掘工程师中腾信金融中腾信金融信息服务(上海)有限公司,中腾信,中腾信公司,中腾信金融,中腾信职责描述:

1、负责爬虫和数据采集系统的设计和开发;

2、负责网络数据的抓取、分析、清洗、汇总、调度、存储,为公司业务提供正确稳定的数据服务;

3、负责针对电信运营商、电商、社保等行业数据的爬取,为业务部门提供数据支持;

4、参与设计公司数据爬取系统,针对东南亚国家特点,进行合理布局规划配置;

任职要求:

1、计算机相关专业,统招本科以上学历;

2、3年以上python开发经验,至少2年以上实际爬虫开发和内容提取经验;

3、熟悉MYSQL/ORCLE/mongodb数据库的常规使用;

4、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点;

5、实现数据的抓取及数据规则清洗工作,保证正确的入库数据;

6、对技术热衷,工作积极主动,沟通交流能力强,具有良好的团队合作精神;

7、有大数据处理经验优先。