大数据技术原理与应用——林子雨老师MOOC知识点一

文章目录

  • 前言
  • 一、大数据概述


前言

大数据导论期末考试内容以林子雨老师的《大数据技术原理与应用》为主,这里整理一下林子雨老师慕课上的习题的知识点,帮助和大家进行复习。


一、大数据概述

  1. 第一次信息化浪潮标志是个人计算机、第二次是互联网,第三次信息化浪潮的标志是:云计算、大数据、物联网技术的普及。
  2. 1Byte(字节) = 8bit;
    1KB(Kilobyte,千字节)= 1024 Byte;
    1MB(Megabyte,兆字节)= 1024 KB;
    1GB(Gigabyte,吉字节)= 1024 MB;
    1TB(Terabyte,太字节)= 1024 GB;
    1PB(Petabyte,拍字节)= 1024 TB;
    1EB(Exabyte,艾字节)= 1024 PB;
    1ZB(Zettabyte,泽字节)= 1024 EB。
  3. 大数据、云计算和物联网的区别
    · 大数据侧重于海量数据的存储、处理与分析,从海量数据中发现价值,服务于生产和生活;
    · 云计算本质上旨在整合和优化各种IT资源,并通过网络以服务的方式廉价提供给用户;
    · 物联网的发展目标是实现物物相连,应用创新是物联网发展的核心。
  4. 大数据、云计算和物联网的联系
    · 云计算为大数据提供了技术基础,大数据为云计算提供用武之地;
    · 物联网是大数据的重要来源,大数据技术为物联网数据分析提供支持;
    · 云计算为物联网提供了海量数据存储能力,物联网为云技术提供了广阔的应用空间;
  5. 大数据计算模式
    · 批处理计算(针对大规模数据的批量处理):MapReduce、Spark等。
    · 流计算(针对流数据的实时计算):Flink、Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等。
    · 图计算(针对大规模图结构数据的处理):Pregel、GraphX、Giraph、PowerGraph、Hama、Golden Orb等。
    · 查询分析计算(大规模数据的存储管理和查询分析):Dremel、Hive、Cassandra、Impala等。
  6. 数据产生方式经历的三个阶段
    · 1.运营式系统阶段;2.用户原创内容阶段;3.感知式系统阶段
  7. 大数据发展的三个重要阶段
    · 1.萌芽期;2.成熟期;3.大规模应用期
  8. 大数据的特性(4V)
    · 数据量大(Volume)
    · 数据类型繁多(Variety)
    · 处理速度快(Velocity)
    · 价值密度低(Value)
  9. 人类自古以来在科学研究上先后历经了实验科学、理论科学、计算科学、数据密集型科学4种范式。
  10. 大数据带来思维方式的三个转变是
    · 1.全样而非抽样;2.效率而非精确;3.相关而非因果
  11. 云计算的三种典型服务模式
    · 1.基础设施即服务(IaaS);2.平台即服务(PaaS);3.软件即服务(SaaS)

你可能感兴趣的:(big,data,hadoop,spark)