第一章 大数据概述

大数据时代

---

什么是大数据

1.大数据定义
2.大数据特征
5V: Variety, Velocity, Volume, Value, Veracity
3.大数据结构类型
结构化数据、半结构化数据、非结构化数据
4.数据、信息、知识与智能的关系

---

大数据发展史

1.数据管理发展历程
数据管理->关系数据库->数据仓库->数据挖掘->hadoop生态
2.大数据的演变及回顾

---

大数据的度量和价值

1.bits, B, KB, MB, GB, TB, PB, EB, ZB, YB
2.大数据价值V=大数据处理分析算法和工具∫(数据量v1,数据种类v2,高速流动v3)/大数据存在时间t*用户数n
改变经济社会管理方式、促进行业融合发展、推动产业转型升级、助力智慧城市建设、创新商业模式、改变科学研究的方法论

---

大数据生态系统

1.大数据生态系统全貌
2.大数据生态系统框架
并行计算框架MapReduce，分布式文件系统HDFS，分布式数据库管理系统HBase，公共服务模块Common，数据序列化系统Avro，分布式协调服务框架Zookeeper，分布式数据仓库处理工具Hive，数据流处理工具Pig，键值对数据库系统Cassandra，日志数据处理系统Chukwa，科学计算基础工具库Hama，数据分析挖掘工具库Mahout，关系数据交换工具Sqoop，日志数据收集工具Flume

---

大数据应用研究方向

1.大数据管理与技术
2.大数据科学与工程

---

大数据的挑战

1.管理挑战
2.技术挑战
3.工程挑战