ETL研发工程师岗位职责

大数据研发工程师(ETL)永辉云创永辉云创科技有限公司,永辉云创,超级物种,永辉云创职责描述:

1、负责大数据平台的设计以及开发工作,维护升级等等;

2、负责离线/实时的数据存储和加工处理,保证数据质量,负责数据监体系的建立和维护;

2、负责海量数据的清洗、处理和挖掘工作,支持数据分析师和算法工程师的数据需求;

3、对数据敏感,基于海量数据进行业务分析,灵活运用可视化工具,参与产品与应用的数据研发,分析数据成因,发掘数据商业价值;

4、研究前沿技术,解决实际场景中的业务问题,优化离线/实时大数据计算任务的性能。

任职要求:

1、计算机或相关专业本科及以上学历,3年以上大数据开发经验;

2、熟悉Linux/Unix开发环境,精通python/java/scala/shell两种以上;

3、熟悉常用开源分布式系统,对Hadoop/Hive/Spark/Storm/Flink/HBase/kylin中的一项或多项有深入了解;,能够独立排查及解决分布式系统的问题;

4、良好的团队精神和合作意识,强烈的责任心,对工作有激情,良好的沟通能力,能吃苦耐劳;

5、有2年以上的电商领域的优先。