大数据开发工程师

岗位职责

岗位职责：1. 利用大数据相关技术从所识别的数据源系统中采集所需的结构、半结构、非结构数据；2. 完成各运维管理系统的落地（包括但不限于数据集成系统、基础设施管理系统、元数据管理系统、数据平台监控系统等）；3. 推动大数据平台架构演进；负责平台疑难问题技术攻关；主导平台各组件性能优化；跟进主流大数据相关技术并根据情况引入到平台内部；4. 参与公司流式计算相关项目，从各业务系统中实时采集处理相关数据，及时响应前端各种数据服务需求；岗位要求：1. 全日制本科及以上学历；计算机、理工类相关专业，复合人才优先考虑；2. 至少具备1年以上Java及大数据开发相关经验；有基于hadoop或Spark方面项目经验的优先；3. 在项目中用到过流式计算方面的技术，如Storm/Jstorm/Flink/Spark Streaming均可，至少精通一样；4. 熟悉hadoop生态技术栈，如Mapreduce、HBase、Hive；对Flume、Kafka、Sqoop较熟悉；5. 有一定Java编程经验，精通主流Java开发框架与技术，如Spring、Redis、Mybatis、Dubbo等；6. 具备较强的逻辑思维能力；7. 有良好的沟通能表达能力及团队合作精神；8. 善于学习新知识，有强烈的创新意识，对解决挑战性问题充满激情；9. 有较强抗压能力。