Hadoop架构师岗位职责

Hadoop架构师泰康在线财产保险股份有限公司泰康在线财产保险股份有限公司,泰康在线,泰康工作职责:

1.负责搭建数据平台、数据仓库平台、物联网数据平台、AI数据平台,负责数据平台架构的整合、优化、开发、部署实施、运维相关工作,确保数据平台稳定运行

2.主导搭建数据平台(DW/AI/Hadoop平台等),提供数据接口对接、存储、提取、处理、清洗、逻辑解析、规范化、IoT设备互联互通能力

3.具备Java,SQL开发经验,性能调测,开源代码商业化,底层基础架构搭建

4.参与公司数据处理方向的技术拓展,保障公司业务的数据需求

5.负责数据平台实时计算/分布式并行计算的架构设计\代码编写,及开源技术组件的二次开发

6.运用Hadoop/SparkSQL与SparkStreaming或者其它数据分析技术,进行包括需求分析,平台选择,技术构架涉及等技术支持工作,确保能够保障公司业务的数据需求

任职要求:

1.熟悉传统数据仓库,至少三年以上数据仓库开发、构建、运维经验

2.熟悉Hadoop技术体系,有Hadoop/Spark架构经验,有Hadoop计算集群在实际项目上的开发和维护经验

3.两年以上基于Hadoop/Spark/Hbase/Hive等分布式数据计算应用开发经验

4.熟悉数据平台数据同步技术,如:OGG,CDC,Sqoop等,并有实际经验

5.熟悉大数据大数据性能优化,并有实际项目经验

6.熟悉ApacheMahout/SparkMLIB的各种算法

7.精通Java,熟练掌握MapReduce原理以及数据分析相关的二次开发

8.熟悉Linux/UNIX,熟悉Perl/Python/Shell等脚本开发语言

9.了解敏捷开发流程,有敏捷开发经验者优先

10.良好的数据结构和算法基础,有较强的算法设计和实现能力

11.本科以上学历,计算机及相关专业