大数据研发岗位职责

大数据研发职位描述:

1、理解数据的产品应用场景逻辑,通过统计方法和通用分布式框架工具语言如hadoop,不断加强数据服务质量;

2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理;

3、参与用户画像、个性化推荐系统等数据产品的开发工作

4、参与数据、工具平台相关的功能接口、数据接口开发,完成业务功能;

岗位要求:

1、精通java或scala语言,具有面向对象编程思想,对底层实现有一定研究;

2、精通sparksql、sparkstreaming等编程,具有实际大型分布式集群项目开发经验;

3、熟悉Linux操作系统,熟悉Linuxshell编程;

4、熟悉mysql,redis等常用数据库,jetty等中间件;

5、熟悉分布式存储或NoSQL数据库技术,如hbase等;

6、熟悉Hadoop生态环境,精通以下一种或多种大数据技术,如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的数据挖掘算法优先。职位描述:

1、理解数据的产品应用场景逻辑,通过统计方法和通用分布式框架工具语言如hadoop,不断加强数据服务质量;

2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理;

3、参与用户画像、个性化推荐系统等数据产品的开发工作

4、参与数据、工具平台相关的功能接口、数据接口开发,完成业务功能;

岗位要求:

1、精通java或scala语言,具有面向对象编程思想,对底层实现有一定研究;

2、精通sparksql、sparkstreaming等编程,具有实际大型分布式集群项目开发经验;

3、熟悉Linux操作系统,熟悉Linuxshell编程;

4、熟悉mysql,redis等常用数据库,jetty等中间件;

5、熟悉分布式存储或NoSQL数据库技术,如hbase等;

6、熟悉Hadoop生态环境,精通以下一种或多种大数据技术,如flume、Kafka、Hdfs、MR、elasticsearch;

7、熟悉常用的数据挖掘算法优先。