python大数据运维工程师_【大数据科普系列之二】大数据运维工程师

大数据系列岗位要求，大数据运维可能是“技术含量最高”的职位之一，这里说的大数据运维主要是指hadoop生态体系方面的运维，在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈，在互联网行业数据量稍微大点的公司基本都是使用hadoop技术栈，像在电信或者银行领域基本上是oracle/db2、hadoop同时使用。

该文章默认是指hadoop生态技术体系，这个职位之所以说可能是“技术含量最高”，主要有2方面的因素：一，数据量和计算量的大小与运维同学的能力是呈现指数关系，当数据量不大的时候一个现学现卖的同学都可以搞得定，当数据量像BAT的量级时，这就是需要摩拜的技术大神；二，跟运维同学本身的自我要求有关，如果仅仅是看网上的教程或者使用cdh的一键安装确实没什么难度，特别是数据量不是很大的情况下，但是一个高自我要求的同学，去研究hadoop生态体系，看各种文档以及源码，这个还是非常有难度的，这是大神成长的必经之路。老套路先从几个大厂的岗位要求说起。

有赞

1、精通基于Linux系统的常用服务配置，快速部署；熟悉RHEL或CentOS系统，理解RHEL系统规范，了解epel的rpm打包规范

2、熟悉OS工作原理，掌握常用系统性能诊断工具；对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先

3、熟悉Hadoop生态常用开源项目的部署升级、扩容缩容、性能和管理优化、问题排查等(主要包括Hadoop/Zookeeper/HBase/Hive、Spark、Presto/Kafka、Flume/DataX、Sqoop/Storm、Flink等)

4、熟悉JVM，熟悉大数据周边并有实践经验者优先(主要包括 数据系统：MySQL，Redis，Elasticsearch，NewSQL等；机器学习：TensorFlow等)

5、熟练使用shell及python，并有一定开发经验；有过相关运维管理平台或自动化部署系统开发经验者优先

6、良好的沟通合作能力，热爱技术并善于钻研。能主动思考，有解决疑难问题的毅力和决心

盈盈集团

1、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理，并有3年以上Hadoop生态系统维护经验；

2、搭建、调优并维护过spark、Hive、Storm、Kafka、Redis等服务；

3、熟悉Linux开发环境，熟练掌握Java/scala/python等任一编程语言,编码能力优秀

4、能够阅读开源组件源码，手动编译、安装过patch、更改过组件源码且应用于生产环境者优先；

5、熟悉分布式系统设计范型，有大规模系统设计和工程实现者优先；

6、有CDH安装部署及运维经验者优先

7、本科及以上学历者优先

橙鹰

1、熟悉 nginx/haproxy 负载均衡，能基于 nginx 做一些插件开发

2、有mysql 数据库使用和维护经验，有使用 pg 优先

3、熟悉 php，lua 编程语言的优先

4、熟悉并参于过开源系统如zabbix，ganglia，kong网关的优先

5、具有良好的心理素质，能承受一定的压力。

6、具有良好的沟通能力，乐于分享，与团队成员分享最佳实践，共同进步。

个推

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决系统层的各类问题；

2、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容和优化；

3、至少精通 Perl/Python/Shell脚本语言中的一种；

4、具备较强的逻辑思维能力、学习创新能力、数据分析能力，以及良好的沟通技巧和团队合作能力,性格开朗有较强抗压能力；

5、全日制本科以上学历，计算机相关专业；

6、5年以上运维经验；

网易

1、本科及以上学历，计算机相关专业;

2、2年以上系统运维或开发经验，熟悉Hadoop/Spark/HBase等大数据系统，有大数据平台运维或开发经验者优先;

3、熟悉Linux操作系统，熟悉Java，熟练使用Shell/Perl/Python/Ruby中至少一种语言;

4、良好的学习能力、逻辑分析、问题排查能力;

5、良好的团队合作者，善于沟通，较强的抗压能力。

能力三核模型分析

image

综合结果如下

知识

1、本科及以上学历(3)

2、计算机相关专业(2)

3、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理(1)

硬技能

1、熟悉/精通linux操作系统(4)

2、熟悉hadoop/hbase/hive/spark/kafka/storm等大数据开源系统部署、升级、扩容、优化等(4)

3、熟练掌握java/python/shell/perl/php等至少一种开发语言(5)

4、2年以上运维经验(3)

5、有CDH安装部署及运维经验(1)

6、有相关运维管理平台或自动化部署系统开发经验(1)

才干or 软技能

1、良好的沟通能力(4)

2、良好的团队合作能力(3)

3、良好的学习能力(4)

4、良好的解决问题能力(2)

5、良好的抗压能力(3)

6、良好的逻辑思维能力(2)

岗位职责

1、负责大数据平台部署、维护、管理、优化、规划等，包括但不限于Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等系统(5)

2、保障大数据平台稳定性和可靠性(4)

3、开发监控报警平台(3)

4、建设自动化部署及运维工具(2)

5、给业务提供技术支持及优化(2)