如何接手一个大数据项目

作为一个数据开发小白,如何接手公司内的大数据系统呢?以下是个人的一些思考总结:
了解一个大数据系统,我认为需要从以下几个方面入手:
宏观方面:
1.了解系统的整体架构和技术栈:需要了解系统中使用的技术栈,包括各种大数据组件和工具,例如Hadoop、Spark、Hive、Flink、Kafka等等。同时还需要了解系统中各个组件之间的协作关系,以及数据流的流向。
2.了解数据来源和数据去向:需要了解数据来源的种类和来源方式,例如数据采集、数据同步等,以及数据的去向,包括数据存储、数据分析等。
了解数据的结构和存储方式:需要了解系统中存储的数据的结构和存储方式,例如关系型数据库、NoSQL数据库、分布式文件系统等。
3.了解系统的监控和运维方式:需要了解系统的监控和运维方式,包括如何进行性能调优、故障排查和系统监控等。
4.了解系统的业务逻辑:需要了解系统中各个模块的业务逻辑,以及模块之间的关系和数据流向。
建议在接手该系统之前,可以先进行一些相关的培训和学习,同时可以通过查看系统的文档、代码和日志等方式逐步了解该系统。另外,与前任负责人或其他相关人员进行交流也是很重要的,可以了解到系统的一些历史问题和优化.

!!!最后的最后,在接受一个系统时,我们不能只了解该系统的源码以及如何运作,我们更要站在一个高层级的视角去认知我们所接手的项目,我们这个项目解决了什么痛点问题,我们的上下游都是谁,我们需要从上游获得哪些支持,需要给予下游哪些帮助.也许你会觉得没必要,但是当你去更深一步了解这些,相信你会对接手的这个系统有更深刻的理解!!!

细节深入代码方面:
可以从调度系统入手,查看任务的每一部分是如何调度,找到入口所在位置,之后,就是耐心的看源码辣~

你可能感兴趣的:(大数据)