岗位职责

1、负责公司大数据平台的相关研发工作，在Spark/Hive上开发大规模数据处理系统；

2、通过技术手段提升平台与数据的质量与可用性；

3、持续改进和优化大数据计算和存储，

4、参与大数据平台的规划和技术路线设计，

5、根据业务需求进行数据仓库模型的调研、设计、开发及验证工作，并持续进行模型的优化；

6、协助开发数据统计系统、数据可视化系统等。

岗位要求

1、本科及以上学历，计算机、软件工程、人工智能、数据挖掘等相关专业；

2、熟悉多种大数据处理技术，如Hadoop、Spark、Hive、flume、hbase等；

3、熟悉Java、Scala或者python开发；

4、了解flink、Elastic Search、kylin,kafaka等计算引擎者优先。