大数据开发工程师

岗位职责：

1、负责公司大数据平台架构的整体规划和设计；根据业务需求建立数据仓库

2、负责通用数据平台开发，大数据环境下的数据分析、统计建模等工作

3、将技术实现及业务场景联系起来，根据业务需求快速提出技术解决方案

4、制定数据处理整个流水线的相关规范；调研、分析新技术，促进平台进化

5、分析和解决具体的在使用平台的过程中出现的疑难问题

任职要求：

1、计算机、统计学、计量经济学或者数学等相关专业本科及以上学历

2、具备2年以上大数据平台使用及数据分析工作经验,熟悉数据仓库设计

3、熟悉Hadoop、Spark、Flink、Kafka、Flume、ElasticSearch、Spider等工具，有大数据的开发经验；有大规模、分布式、高可用系统架构的经验

4、有优秀的业务理解能力，能理解清楚业务并进行合理的平台演进和架构设计

5、熟悉Java编程，熟悉scala编程优先，具备扎实的数据结构与算法功底； 熟悉一个脚本语言，如Python等

6、熟悉MySQL数据库技术； 掌握或使用过至少一种Nosql的开源产品，如mongoDB、Hbase、Redis等

7、有Linux下的开发经验，掌握基础的通用的数据平台相关的开源软件，熟悉它们的原理、实现、安装、部署、调优，具备精准选型和扩展开发的能力

8、对大数据平台生态的发展，有敏感性和前瞻性，对新技术和新系统，有基本的快速学习能力

9、具有良好的沟通能力和团队合作精神，责任心强