_Levi__
_Levi__

HBase

为什么要有HBase？

      Hadoop生态圈中有了Hive，Hive可以像关系型数据库那样操作数据，那么为什么还要有HBase？

      首先HBase是一个非关系型数据库，是用于存储数据的，Hive是用于处理数据的。

      Hive操作数据时虽然可以像关系型数据库那样操作，但Hive只是一个操作工具，而非一个针对大批量数据存储的解决方案。

      我们先来看看HBase是什么，在去做做比较，这样大家就清晰多了。



什么是HBase？

      HBase是谷歌的BigTable论文的开源实现，也有很多不同，BigTable使用GFS作为文件存储系统，HBase是使用HDFS作为存储系统(可配置)，依然是熟知的Apache下的产品。

      HBase是一个高可靠、高性能、面向列的可伸缩分布式非关系型分布式存储系统，志在在廉价的PC上搭建起一个存储结构化和非结构化数据并处理大批量数据服务器集群，说白了就是把配置低的PC组成集群来处理成万上亿的数据。

      HBase可以分为两种角色，一种是存储系统，一种是作为数据处理模型的MapReduce框架。


HBase与HDFS

HBaseHDFS

分布式存储提供文件系统提供表状(逻辑化)的面向列的数据存储

针对存储大尺寸文件进行优化，不需要针对HDFS上的文件进行随机读写针对表状的数据随机读取进行优化

直接使用文件Key-Value操作数据

数据模型不灵活灵活的数据模型

文件系统和处理框架表状存储，支持MapReduce，依赖HDFS

一次写，多次读多次读，多次写


行数据库和列数据库区别

行数据库：

      id               name        age

      1                aaa            22

      2                bbb           23

      3                ccc             21


列数据库：

id               1          2          3

name        aaa      bbb     ccc

age           22        23        21


说明：列式数据库就是把行数据库的列转为行。

            行数据库的数据是具有行连续性(id-name-age)。

            列数据库是把拆成列连续性(id)(name)(age)

            行数据是连续性的，是由不同的列组成的，会存在不同的列数据类型不一致，在搜索时，要把不同类型的数据做各种处理在进行组合，如果有某一列的数据是空数据也是要处理连接起来。

            列数据库就是列连续性，只要对列的数据做处理就可以了，而且数据类型、内容等各种方面基本都一样，压缩率也高，空数据是不会给计算的。

          说白了就是行数据库把数据都连在一起了，列数据库就是拆开，各自管各自的，如果从分散的数据怎么寻找回在行数据库的数据链呢？(思考)



内部组成


HMaster

      监控RegionServer

      处理RegionServer故障转移

      处理元数据变更

      负责region在RegionServer的分配或移除

      在空闲时间进行数据负载均衡

      通过Zookeeper发布位置

      管理用户对表的增删改查



HRegionServer

      负责存储HBase的实际数据

      处理分配到的HRegion

      刷新缓存到HDFS

      维护HLog

      执行压缩

      处理HRegion分片(默认一个HRegionServer一个HRegion)


WAL(Write

Ahead Log)

      当对HBase读写数据的时候，数据不是直接写入到磁盘的，会在内存保留一段时间，(默认为内存40%/64MB)，数据会先写到HLog文件中，然后在写入到内存，在系统出现故障的时候，数据可以通过这个日志文件重建。


HFile

      这是磁盘上保存原始数据的实际的物理文件，是实际存储的文件


Store

      HFile存储在Store中，一个Store对应一个HBase表中的一个列族


MemStore

      用来保存当前的数据操作，是在内存中的，所以当数据保存在WAL中，HRegionServer会在内存中存储键值对。


HRegion

      HBase表中的分片，就是干操作、调度、存储元数据等工作，HBase表会根据RowKey值被切分成不同的Region存储在HRegionServer中，在一个RegionServer中可以有多个不同的HRegion。



Zookeeper

      存储所有的HRegion的寻址信息

      监控HRegionServer上下线

      通知



读写全过程


特点

自动故障处理和负载均衡

      HBase运行在HDFS上，所以HBase中的数据以副本的形式存储，数据也是分布式存放，从而数据就得到了保障，另外HMaster和RegionServer也是多副本的。


自动分区

HBase的表是由分布在多个RegionServer中的region组成的，这些RegionServer又分布在不同的DataNode上，如果一个region增长到了一个阈值，为了负载均衡和减少IO，HBase可以自动或手动干预的将region切分为更小的region。


集成Hadoop/HDFS

      HBase也要运行在其他的分布式文件系统上，但和HDFS结合也是非常方便。

 

实时随机大数据访问

      HBase采用log-structured merge-tree作为内部数据存储架构，这种架构会周期性的将小文件合并成大文件，以减少磁盘IO同时减少NameNode压力。

 

MapReduce

HBase内建支持MapReduce框架，更加方便快速，并行的处理数据。


JavaApi

      HBase提供原生的JavaAPI支持。


横向扩展

      HBase支持横向扩展，如果有服务器硬件性能出现了瓶颈，不需要停掉现有集群提升硬件，直接在正在运行的集群添加新的机器节点即可，而且的RegionServer一旦建立完毕，集群会自动重新分配。


列存储

      HBase是面向列存储的，每个列都单独存储，所以HBase中的列是连续存储的。


HBaseShell

      HBase提供了交互性命令行工具来进行创建表、添加数据、扫描数据、删除等操作和管理操作。



RDBMS与HBase对比

结构

RDBMSHBase

以表的形式存在以region(翻译：地区、范围)的形式

支持FAT/NTFS/EXT/文件系统支持HDFS文件系统(可配置，主要以HDFS为主)

使用Commit Log存储日志使用WAL(预写入日志)存储日志

参考系统是坐标系统参考系统是Zookeeper

主键行建(rowkey)

支持分区支持分片

使用行、列、单元格使用行、列、单元格


功能

RDBMSHBase

支持向上扩展支持横向扩展

支持SQL使用API和MapReduce来访问HDFS

面向行和每一行都是一个连续单元面向列，每个列都是一个连续的单元

数据总量依赖服务器配置数据总量不依赖具体某台机器

具有ACID不支持ACID

支持事务，不支持事务

适合结构化数据适合结构化和非结构化数据

传统关系型数据库一般是中心化一般是分布式

支持join不支持join(性能差)


小总结

      传统数据库：数据量大时无法存储，且没有很好的备份机制，数据量达到一定数量开始变得缓慢，数据量很多就无法支撑了。

      HBase：横向扩展的特性可以使得HBase随着数据量增多要通过节点扩展，数据存储在HDFS，备份机制健全，通过Zookeeper查找数据访问速度快。



数据组成

      HBase是由row key、timstamp、column family、column、cell组成的。

      row key：确定唯一的一行。

      timstamp：时间戳

      column family：由多个column组成。

      column：就是列(字段)。

      cell：就是数据(值)。


优缺点

优点

方便高效的压缩数据(如果是关系型数据库压缩的话，不同列是不同数据类型，会比较慢，压缩质量也不客观)(HBase一列一列的压缩，每一列都是相近的内容)

      支持快速数据检索

      管理和配置简单

      支持横向扩展，所以非常容易扩展，聚合查询性能也是比较高(count)

      高效的分区，提供自动分区机制


缺点

      对join以及多表合并数据的查询性能不好

      更新过程中有大量写入和删除操作，需要频繁的合并和分裂，降低存储效率

      对关系模型支持不好，分区和索引设计比较困难



应用场景

      数据很多列，而且包含很多空字段

      数据包含了不定数量的列

      需要维护数据的版本

      需要很高的横向扩展性

      需要大量压缩数据(牺牲CPU，提高传输速度)

      需要大量读写IO

 

小结：数据量不大(几个G、几十G)，经常join操作以及关系型数据库的某些特性(事务)，是不需要使用HBase，如果有几十E列的数据，同时每秒会有上万次的读写操作，可以考虑使用HBase。



HBase与Hive

HiveHBase

数据仓库，在MySQL(其他)里存储HDFS中的文件数据意义和关系，从而去操作。数据库，面向列的非关系型数据库，用于存储结构化和非结构化数据，不适合做关联查询(join等)

用于数据分析和清洗，适用于离线的数据分析和清洗，延迟较高，写MapReduce很麻烦。延迟低，接入在线业务使用，面对企业大量的数据，HBase可以直接进行大量数据存储，同时提供高效的数据访问速度。

基于HDFS、MapReduce，数据依然是在HDFS，编写的HQL会转换为MapReduce代码。还是HDFS，数据持久化存储体现形式是HFile，存放于DataNode中，被HRegionServer以HRegion方式管理。


总结

Hive可以理解为就是一款工具，操作底层文件内容的工具，对混乱的数据进行优化、清洗等操作，可能是没有清洗的数据，可能只是知道数据在文件内的数据分隔符且数据有点脏乱等等，这样的数据肯定不能拿来用，Hive就是干这种苦活、累活的，这种苦活，累活的要求又要别人细心一点，尽量清洗到位，能不需要时间么？所以用于离线。

HBase就是将数据进行存储，无论这个数据是关系型还是非关系型的数据，其实就是用户自己定义好的数据，大部分可以拿来用的，和Hive的对比就类似，Hive就是干数据整理的工作的，HBase就是干把书放到书架的工作，这个书架可能大，可能小，书架里的格子亦是如此。



HBase客户端常用命令

进入Shell客户端：$bin/hbase shell

帮助文档：hbase(main):001:0> help

所有表：hbase(main):001:0> list

创建表：hbase(main):001:0> describe ' people'

创建表(多列族)：hbase(main):001:0> create ' people ',{NAME =>'f1'},{NAME => 'f2'}

创建表(分区，RowKey)：hbase(main):001:0> create'people','info','partition1',split => ['1000','2000','3000','4000','5000']

查看表结构：hbase(main):001:0> describe ' people'

添加数据：hbase(main):001:0> put ' people','1001','info:name','mike'

查看表数据：hbase(main):001:0> scan 'people'

                                                       scan 'people',{STARTROW => '1001',STOPROW>= '1007'}

更新数据：hbase(main):001:0> put 'people','1001','info:name','mike2'

查看指定行数据：hbase(main):001:0> get 'people','1001','info:name'

根据rowkey删除所有数据：hbase(main):001:0> deleteall 'people','1001'

删除指定列数据：hbase(main):001:0> delete 'people','1001','info:name'

清除表(删了在建)：hbase(main):001:0> truncate 'people'

表是否可用：hbase(main):001:0> is_enabled 'people'

表设为可用：hbase(main):001:0> enable 'people'

表是否不可用：hbase(main):001:0> is_disabled 'people'

表设为不可用：hbase(main):001:0> disable 'people'

删除表(disable状态才能删除)：hbase(main):001:0> drop 'people'

聚合查询(rowkey数量)：hbase(main):001:0> count 'people'

表是否存在：hbase(main):001:0> exists 'people'

添加列族：hbase(main):001:0> alter ' people ',NAME=> 'F3',VERSION => 2

删除列族：hbase(main):001:0> alter ' people','delete' => 'F3'

当前用户：hbase(main):001:0> whami

服务器状态：hbase(main):001:0> status '192.168.1.1'



BulkLoad加载文件原理

      BulkLoad会将tsv/csv格式文件变成HFile文件，然后在进行数据导入，这样就避免了HBase在进行业务操作时，有大量的数据导入，造成集群压力过大，提升了Job运行速度，并降低了Job执行时间。



HBase协处理器

      每个HRegionServer都有一个协处理器进程，所有HRegion都包含对谢处理器实现的引用，可以通过HRegionServer的类路径加载，也可以通过HDFS类加载器加载，协处理器的设计是为了方便开发者自定义的向HBase中添加额外的功能，协处理器可以用来做客户端的操作，比如region分裂、合并，与客户端创建、读取、删除、更新等等。


协处理器类型

Coprocessor：提供region生命周期管理，打开、关闭、分裂、合并等等

RegionServer：对表修改操作的监控，get、put、scan等等。

Endpoint：region端执行任意函数的功能(列聚集函数等)



HBase版本上下界

      上界：默认版本上界是3，也就是一个row可以保留3个副本(基于时间戳插入)，这个值一般都不会超过100，如果cell中存储的数据版本号超过设定的(3)，再次插入最新的值会把最老的覆盖。


下界：默认下界版本为0，就是金庸，row版本使用的最小数目是与生存时间(Time To Live)相结合的，且我们根据实际需求可以有0或更多版本，使用0，就只有一个版本的值写入cell。



HBase表类型设计

      高痩：少量列，大量的行，如果使用ID进行查询，会跳过行，不利于原子性，但是具有更好的扩展。


短宽：大量的列，少量的行，具有更好的原子性，扩展性不如高痩。



HBase预分区

      为了增加数据的读写效率，以及更好的负载均衡，集群容灾调度region，优化Map数量等原因，所以分区。

      HBase的分区是根据rowkey分区，而rowkey存在临界值，一般我们会从数据集中抽取样本，来决定什么样的rowkey是符合业务的。


      一般RowKey的设计有三种：

            1、生成随机数、hash、散列值

            2、字符串反转

            3、字符串拼接



HBase与MapReduce的调用

HBase与HDFS的调用

HBase与……的调用

你可能感兴趣的:(HBase)

  • 关于HDP的20道高级运维面试题 编织幻境的妖 运维
    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
  • HBase入门教程 xmvip01
    1.1Hbase概念术语1、行键RowKey：主键是用来检索记录的主键，访问hbasetable中的行。2、列族ColumnFamily：Table在水平方向有一个或者多个ColumnFamily组成，一个ColumnFamily中可以由任意多个Column组成，即ColumnFamily支持动态扩展，无需预先定义Column的数量以及类型，所有Column均以二进制格式存储，用户需要自行进行类型
  • HBase常用命令 叶域 大数据HBasehbase数据库大数据
    简介：HBaseShell是一种操作HBase的交互模式，支持完整的HBase命令集。hbaseshell#打开HbaseShell目录:命令类别常用命令Generalversion，status，whoami，helpDDLalter，creater，describe，disable，drop，enable，exists，is_disabled，is_enabled，list，DMLcount，
  • Flink异步io关联Hbase //承续缘_纪录片 #Flinkflinkhbase大数据
    主程序publicstaticvoidmain(String[]args)throwsException{//1.获取流执行环境StreamExecutionEnvironmentenv=StreamExecutionEnvironment.getExecutionEnvironment();env.setParallelism(1);SimpleDateFormatformatter=newSi
  • Hbase集群搭建超详细教程 笑看风云路 集群搭建系列hbasehbasehadoop大数据
    Hbase集群搭建前言详细步骤1、下载安装包2、解压3、修改配置文件3.1修改hbase-env.sh文件3.2修改hbase-site.xml3.3修改regionservers文件4、分发hbase目录5、启动HBase集群6、查看HBaseWebUI大家好，我是风云，欢迎大家关注我的博客，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！前言HBase是一个开源的、
  • 基于HBase和Spark构建企业级数据处理平台 weixin_34071713 大数据数据库爬虫
    摘要：在中国HBase技术社区第十届Meetup杭州站上，阿里云数据库技术专家李伟为大家分享了如何基于当下流行的HBase和Spark体系构建企业级数据处理平台，并且针对于一些具体落地场景进行了介绍。演讲嘉宾简介：李伟（花名：沐远），阿里云数据库技术专家。专注于大数据分布式计算和数据库领域，具有6年分布式开发经验，先后研发Spark及自主研发内存计算，目前为广大公有云用户提供专业的云HBase数据
  • 大数据开发（Hadoop面试真题-卷九） Key-Key 大数据hadoop面试
    大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？2、既然HBase底层数据是存储在HDFS上，为什么不直接使用HDFS，而还要用HBase?3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
  • hbase、hive、clickhouse对比 freshrookie hbasehivehadoop
    概念架构hbasemaster存储元数据、regionServer实际控制表数据，存储单位是Region，底层数据存储使用HDFShive通过driver将sql分解成mapreduce任务元数据需要单独存储到一个关系型数据库，一般是mysql实际数据存储可以是外表，也可以是内表clickhouse单体架构分层类似mysql，集群状态下是多主，通过zookeeper通信数据存储看引擎，最重要的引擎
  • openeuler20.03在线安装docker最新版 openeulerdocker
    更新系统软件包列表：sudoyumupdate-y添加Docker的官方仓库源：sudotee/etc/yum.repos.d/docker-ce.repo<
  • Kafka痛点与Puslar介绍 weidajiangjiang kafka痛点Puslar
    ApacheKafka作为一款成熟的消费队列得到了很广泛地运用.但以2019年的角度来看,存在一些痛点.存储计算没有分离,难以扩容和缩容没有IO隔离,写高了读不动,读高了写不动没有多租户IO模型过于简单,面对大量topic时性能下降严重消费模型有限,无法利用部分业务可以接受消息无序的特点Puslar是一个非常优秀的开源系统，它的整体框架偏向于HBase的设计，在其上实现了流数据的处理和服务。从与K
  • Hadoop生态圈 陈超Terry的技术屋
    生态圈1.HBase的数据存储在HDFS里2.MapReduce可以计算HBase里的数据，也可以计算HDFS里的数据3.Hive是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop的HA通过Zookeeper来实现8.HU
  • HBase 进阶 魅美 笔记大数据基础hbase数据库大数据
    参考来源:B站尚硅谷HBase2.x目录Master架构RegionServer架构写流程MemStoreFlush读流程HFile结构读流程合并读取数据优化StoreFileCompactionRegionSplit预分区（自定义分区）系统拆分Master架构Master详细架构1）Meta表格介绍：（警告：不要去改这个表）全称hbase：meta，只是在list命令中被过滤掉了，本质上和HBa
  • HbaseAPI astudybear hbase数据库database
    hbaseAPI方法：API本质就是调用对象的方法去实现的。ddl的概念是对表的操作和对外面的大的操作，ddl都是去调用admin对象的方法实现的admin对象通过连接.getAdmin获取。dml的概念是对数据的操作和查询什么的，dml都是去调用Table对象的方法实现的，Table对象通过连接.getTable获取。步骤：①获取hbase的配置对象②创建连接对象将配置对象传参③如果是ddl的话
  • HBase API 魅美 大数据基础笔记hbase数据库大数据
    参考来源:B站尚硅谷HBase2.x环境准备新建Maven项目后在pom.xml中添加依赖：注意：会报错javax.el包不存在，是一个测试用的依赖，不影响使用org.apache.hbasehbase-server2.4.11org.glassfishjavax.elorg.glassfishjavax.el3.0.1-b06创建连接根据官方API介绍，HBase的客户端连接由Connectio
  • Hbase - 自定义Rowkey规则 kikiki5
    >在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark`读取的例子。##使用教程Md5Util.java```importorg.apache.commons.codec.binary.Hex;importjav
  • HBase——基础概念介绍 zhanglf1016 #HBasehbase数据库大数据
    一、初识HBaseHBase是一个面向列式存储的分布式数据库，其设计思想来源于Google的BigTable论文。HBase底层存储基于HDFS实现，集群的管理基于ZooKeeper实现。HBase良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾，是大数据领域中Key-Value数据结构存储最常用的数据库方案。HBase特
  • Hbase - 自定义Rowkey规则 kikiki2
    在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
  • 大数据开发之Sqoop详细介绍 只是甲
    备注:测试环境CDH6.3.1Sqoop1.4.7一.Sqoop概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。Sqoop是一个在结构化数据和Had
  • Ubuntu16.04下HBase安装笔记 bluexiii
    基础准备JDKHadoopSSHServer下载HBasehttps://hbase.apache.org/tar-zxvfhbase-1.4.2-bin.tar.gzsudomvhbase-1.4.2/opt/hbase系统环境变量exportHBASE_MANAGES_ZK=trueexportHBASE_HOME=/opt/hbaseexportPATH=$PATH:/opt/hbase/b
  • HBase过滤器 橙汁啤酒厂 大数据hbasepython数据库
    HBase过滤器Get和Scan都支持过滤器，这些类提供的接口不能对行键、列名和列值进行过滤，但过滤器可以实现。过滤器的接口为Filter。所有的过滤器都在服务器端生效，防止过滤掉的数据被传到客户端；用户可以在客户端代码实现过滤的功能，但会影响系统性能。1.表的数据hbase(main):022:0>scan'scores'ROWCOLUMN+CELL1column=courses:java,ti
  • HBase Shell操作命令 橙汁啤酒厂 大数据hbase数据库大数据zookeeperhadoop
    一、general操作1.1获取帮助#引号不能省略help'status'1.2查询服务器状态1.statushbase(main):002:0>status1activemaster,0backupmasters,3servers,0dead,1.0000averageload1.3查询HBase版本versionhbase(main):003:0>version1.3.1,r930b9a555
  • 学习笔记12-zookeeper 在知识的海洋里遨游
    什么是zookeeper简介:ApacheZookeeper是一种用于分布式应用程序的高性能协调服务,提供一种集中式信息存储服务特点:数据存在内存中,类似文件系统的树形结构(文件和目录),高吞吐和低延迟,集群高可靠作用:基于zookeeper可以实现分布式统一配置中心,服务注册中心,分布式锁等功能1.zookeeper的应用案例Hbase:使用zookeeper进行master选举,服务间协调So
  • Hbase - 迁移数据[导出,导入] kikiki5
    >有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作。![](https://upload-images.jianshu.io/upload_images/9028759-4fb9aa8ca3777969.png?imageMogr2/auto
  • Hbase - 自定义Rowkey规则 大猪大猪
    在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
  • zk01 矮肥
    zookeeper基础ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。提供的功能包括：命名服务、配置管理、集群管理、分布式锁、队列管理。zookeeper是由文件系统和通知机制组成官网提供的集群图Zookeeper由2n+1台servers组成，每个server都知道彼此的存在。每个server都维护的内存状态镜像以及持久化存储的事务日志和
  • Python爬虫之非关系型数据库存储#5 仲君Johnny python爬虫逆向教程python爬虫nosql数据库网络爬虫
    NoSQL，全称NotOnlySQL，意为不仅仅是SQL，泛指非关系型数据库。NoSQL是基于键值对的，而且不需要经过SQL层的解析，数据之间没有耦合性，性能非常高。非关系型数据库又可细分如下。键值存储数据库：代表有Redis、Voldemort和OracleBDB等。列存储数据库：代表有Cassandra、HBase和Riak等。文档型数据库：代表有CouchDB和MongoDB等。图形数据库：
  • -bash: export: =‘: 不是有效的标识符 -bash: export: 橙汁啤酒厂 linux操作时遇到的相关问题bash开发语言
    问题：Xshell连接linux时出现以下错误：Lastlogin:SunFeb1114:45:022024-bash:export:`=':不是有效的标识符-bash:export:`/opt/hbase-1.3.1':不是有效的标识符-bash:export:`=':不是有效的标识符-bash:export:`.:/opt/hadoop-2.7.3//bin:/opt/jdk1.8.0_131
  • 在运行hbase操作时出现错误：ERROR: Can‘t get master address from ZooKeeper； znode data == null 橙汁啤酒厂 大数据hbasezookeeper数据库
    在运行hbase操作时出现错误：ERROR:Can’tgetmasteraddressfromZooKeeper;znodedata==null，可能是ZooKeeper不稳定导致的hbase(main):003:0>statusERROR:Can'tgetmasteraddressfromZooKeeper;znodedata==nullHereissomehelpforthiscommand:
  • HBase集群部署 橙汁啤酒厂 大数据hbase数据库大数据hadoop
    1.HBase安装相关版本：Hadoop：2.7.3hbase：1.3.1hbase相关版本下载安装HBase需要安装hbase-1.3.1-bin.tar.gz软件包，下载并解压到/opt目录下2.HBase参数配置2.1修改Master节点和Slave节点的/etc/hosts文件#vi/etc/hosts添加以下内容:172.30.0.10master172.30.0.11slave1172
  • clickhouse 21.x生产实践优化 架构师老狼
    clickhouse1时间字段类型建表时能用数值型或日期时间型表示的字段就不要用字符串，全String类型在以Hive(hbase)为中心的数仓建设中常见，但ClickHouse环境不应受此影响。虽然ClickHouse底层将DateTime存储为时间戳Long类型，但不建议存储Long类型，因为DateTime不需要经过函数转换处理，执行效率高、可读性好。2Nullable类型官方已经指出Nul
  • 多线程编程之卫生间 周凡杨 java并发卫生间线程厕所
    如大家所知，火车上车厢的卫生间很小，每次只能容纳一个人，一个车厢只有一个卫生间，这个卫生间会被多个人同时使用，在实际使用时，当一个人进入卫生间时则会把卫生间锁上，等出来时打开门，下一个人进去把门锁上，如果有一个人在卫生间内部则别人的人发现门是锁的则只能在外面等待。问题分析：首先问题中有两个实体，一个是人，一个是厕所，所以设计程序时就可以设计两个类。人是多数的，厕所只有一个（暂且模拟的是一个车厢）。
  • How to Install GUI to Centos Minimal sunjing linuxInstallDesktopGUI
    http://www.namhuy.net/475/how-to-install-gui-to-centos-minimal.html   I have centos 6.3 minimal running as web server. I’m looking to install gui to my server to vnc to my server. You can insta
  • Shell 函数 daizj shell函数
    Shell 函数 linux shell 可以用户定义函数，然后在shell脚本中可以随便调用。 shell中函数的定义格式如下： [function] funname [()]{ action; [return int;] } 说明： 1、可以带function fun() 定义，也可以直接fun() 定义,不带任何参数。 2、参数返回
  • Linux服务器新手操作之一 周凡杨 Linux 简单 操作
    1.whoami      当一个用户登录Linux系统之后，也许他想知道自己是发哪个用户登录的。      此时可以使用whoami命令。      [ecuser@HA5-DZ05 ~]$ whoami       e
  • 浅谈Socket通信（一） 朱辉辉33 socket
    在java中ServerSocket用于服务器端，用来监听端口。通过服务器监听，客户端发送请求，双方建立链接后才能通信。当服务器和客户端建立链接后，两边都会产生一个Socket实例，我们可以通过操作Socket来建立通信。    首先我建立一个ServerSocket对象。当然要导入java.net.ServerSocket包    ServerSock
  • 关于框架的简单认识 西蜀石兰 框架
    入职两个月多，依然是一个不会写代码的小白，每天的工作就是看代码，写wiki。 前端接触CSS、HTML、JS等语言，一直在用的CS模型，自然免不了数据库的链接及使用，真心涉及框架，项目中用到的BootStrap算一个吧，哦，JQuery只能算半个框架吧，我更觉得它是另外一种语言。 后台一直是纯Java代码，涉及的框架是Quzrtz和log4j。 都说学前端的要知道三大框架，目前node.
  • You have an error in your SQL syntax; check the manual that corresponds to your 林鹤霄
    You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'option,changed_ids  ) values('0ac91f167f754c8cbac00e9e3dc372
  • MySQL5.6的my.ini配置 aigo mysql
    注意：以下配置的服务器硬件是：8核16G内存    [client]   port=3306   [mysql]   default-character-set=utf8     [mysqld]   port=3306   basedir=D:/mysql-5.6.21-win
  • mysql 全文模糊查找 便捷解决方案 alxw4616 mysql
    mysql 全文模糊查找 便捷解决方案 2013/6/14 by 半仙 [email protected] 目的: 项目需求实现模糊查找. 原则: 查询不能超过 1秒. 问题: 目标表中有超过1千万条记录. 使用like '%str%' 进行模糊查询无法达到性能需求. 解决方案: 使用mysql全文索引. 1.全文索引 : MySQL支持全文索引和搜索功能。MySQL中的全文索
  • 自定义数据结构 链表(单项 ,双向,环形) 百合不是茶 单项链表双向链表
         链表与动态数组的实现方式差不多,    数组适合快速删除某个元素    链表则可以快速的保存数组并且可以是不连续的       单项链表;数据从第一个指向最后一个   实现代码:        //定义动态链表 clas
  • threadLocal实例 bijian1013 javathreadjava多线程threadLocal
    实例1： package com.bijian.thread; public class MyThread extends Thread { private static ThreadLocal tl = new ThreadLocal() { protected synchronized Object initialValue() { return new Inte
  • activemq安全设置—设置admin的用户名和密码 bijian1013 javaactivemq
            ActiveMQ使用的是jetty服务器, 打开conf/jetty.xml文件，找到 <bean id="adminSecurityConstraint" class="org.eclipse.jetty.util.security.Constraint"> <p
  • 【Java范型一】Java范型详解之范型集合和自定义范型类 bit1129 java
    本文详细介绍Java的范型，写一篇关于范型的博客原因有两个，前几天要写个范型方法(返回值根据传入的类型而定)，竟然想了半天，最后还是从网上找了个范型方法的写法；再者，前一段时间在看Gson, Gson这个JSON包的精华就在于对范型的优雅简单的处理，看它的源代码就比较迷糊，只其然不知其所以然。所以，还是花点时间系统的整理总结下范型吧。   范型内容 范型集合类 范型类
  • 【HBase十二】HFile存储的是一个列族的数据 bit1129 hbase
    在HBase中，每个HFile存储的是一个表中一个列族的数据，也就是说，当一个表中有多个列簇时，针对每个列簇插入数据，最后产生的数据是多个HFile，每个对应一个列族，通过如下操作验证   1. 建立一个有两个列族的表   create 'members','colfam1','colfam2'   2. 在members表中的colfam1中插入50*5
  • Nginx 官方一个配置实例 ronin47 nginx 配置实例
    user www www; worker_processes 5; error_log logs/error.log; pid logs/nginx.pid; worker_rlimit_nofile 8192; events { worker_connections 4096;} http { include conf/mim
  • java-15.输入一颗二元查找树，将该树转换为它的镜像， 即在转换后的二元查找树中，左子树的结点都大于右子树的结点。 用递归和循环 bylijinnan java
    //use recursion public static void mirrorHelp1(Node node){ if(node==null)return; swapChild(node); mirrorHelp1(node.getLeft()); mirrorHelp1(node.getRight()); } //use no recursion bu
  • 返回null还是empty bylijinnan javaapachespring编程
    第一个问题，函数是应当返回null还是长度为0的数组（或集合）？ 第二个问题，函数输入参数不当时，是异常还是返回null？ 先看第一个问题 有两个约定我觉得应当遵守： 1.返回零长度的数组或集合而不是null（详见《Effective Java》） 理由就是，如果返回empty，就可以少了很多not-null判断： List<Person> list
  • [科技与项目]工作流厂商的战略机遇期 comsci 工作流
          在新的战略平衡形成之前，这里有一个短暂的战略机遇期，只有大概最短6年，最长14年的时间，这段时间就好像我们森林里面的小动物，在秋天中，必须抓紧一切时间存储坚果一样，否则无法熬过漫长的冬季。。。。         在微软，甲骨文，谷歌，IBM,SONY
  • 过度设计-举例 cuityang 过度设计
    过度设计，需要更多设计时间和测试成本，如无必要，还是尽量简洁一些好。 未来的事情，比如 访问量，比如数据库的容量，比如是否需要改成分布式  都是无法预料的 再举一个例子，对闰年的判断逻辑： 　　1、 if($Year%4==0) return True; else return Fasle; 　　2、if (   ($Year%4==0  &am
  • java进阶，《Java性能优化权威指南》试读 darkblue086 java性能优化
    记得当年随意读了微软出版社的.NET 2.0应用程序调试，才发现调试器如此强大，应用程序开发调试其实真的简单了很多，不仅仅是因为里面介绍了很多调试器工具的使用，更是因为里面寻找问题并重现问题的思想让我震撼，时隔多年，Java已经如日中天，成为许多大型企业应用的首选，而今天，这本《Java性能优化权威指南》让我再次找到了这种感觉，从不经意的开发过程让我刮目相看，原来性能调优不是简单地看看热点在哪里，
  • 网络学习笔记初识OSI七层模型与TCP协议 dcj3sjt126com 学习笔记
      协议：在计算机网络中通信各方面所达成的、共同遵守和执行的一系列约定 　　计算机网络的体系结构：计算机网络的层次结构和各层协议的集合。 　　两类服务： 　　面向连接的服务通信双方在通信之前先建立某种状态，并在通信过程中维持这种状态的变化，同时为服务对象预先分配一定的资源。这种服务叫做面向连接的服务。 　　面向无连接的服务通信双方在通信前后不建立和维持状态，不为服务对象
  • mac中用命令行运行mysql dcj3sjt126com mysqllinuxmac
    参考这篇博客：http://www.cnblogs.com/macro-cheng/archive/2011/10/25/mysql-001.html  感觉workbench不好用（有点先入为主了）。 1，安装mysql 在mysql的官方网站下载 mysql 5.5.23 http://www.mysql.com/downloads/mysql/，根据我的机器的配置情况选择了64
  • MongDB查询（1）——基本查询[五] eksliang mongodbmongodb 查询mongodb find
    MongDB查询 转载请出自出处：http://eksliang.iteye.com/blog/2174452 一、find简介 MongoDB中使用find来进行查询。 API:如下 function ( query , fields , limit , skip, batchSize, options ){.....}  参数含义： query:查询参数 fie
  • base64，加密解密 经融加密，对接 y806839048 经融加密对接
    String data0 = new String(Base64.encode(bo.getPaymentResult().getBytes(("GBK")))); String data1 = new String(Base64.decode(data0.toCharArray()),"GBK"); // 注意编码格式，注意用于加密，解密的要是同
  • JavaWeb之JSP概述 ihuning javaweb
      什么是JSP？为什么使用JSP？ JSP表示Java Server Page，即嵌有Java代码的HTML页面。使用JSP是因为在HTML中嵌入Java代码比在Java代码中拼接字符串更容易、更方便和更高效。   JSP起源    在很多动态网页中，绝大部分内容都是固定不变的，只有局部内容需要动态产生和改变。  如果使用Servl
  • apple watch 指南 啸笑天 apple
    1. 文档 WatchKit Programming Guide（中译在线版 By @CocoaChina） 译文 译者 原文 概览 - 开始为 Apple Watch 进行开发 @星夜暮晨 Overview - Developing for Apple Watch 概览 - 配置 Xcode 项目 - Overview - Configuring Yo
  • java经典的基础题目 macroli java编程
    1.列举出 10个JAVA语言的优势 a:免费，开源，跨平台(平台独立性)，简单易用，功能完善，面向对象，健壮性，多线程，结构中立，企业应用的成熟平台, 无线应用 2.列举出JAVA中10个面向对象编程的术语 a:包，类，接口，对象，属性，方法，构造器，继承，封装，多态，抽象，范型 3.列举出JAVA中6个比较常用的包 Java.lang;java.util;java.io;java.sql;ja
  • 你所不知道神奇的js replace正则表达式 qiaolevip 每天进步一点点学习永无止境纵观千象regex
    var v = 'C9CFBAA3CAD0'; console.log(v); var arr = v.split(''); for (var i = 0; i < arr.length; i ++) { if (i % 2 == 0) arr[i] = '%' + arr[i]; } console.log(arr.join('')); console.log(v.r
  • [一起学Hive]之十五-分析Hive表和分区的统计信息(Statistics) superlxw1234 hivehive分析表hive统计信息hive Statistics
    关键字：Hive统计信息、分析Hive表、Hive Statistics   类似于Oracle的分析表，Hive中也提供了分析表和分区的功能，通过自动和手动分析Hive表，将Hive表的一些统计信息存储到元数据中。   表和分区的统计信息主要包括：行数、文件数、原始数据大小、所占存储大小、最后一次操作时间等；   14.1 新表的统计信息 对于一个新创建
  • Spring Boot 1.2.5 发布 wiselyman spring boot
        Spring Boot 1.2.5已在7月2日发布，现在可以从spring的maven库和maven中心库下载。   这个版本是一个维护的发布版，主要是一些修复以及将Spring的依赖提升至4.1.7(包含重要的安全修复)。   官方建议所有的Spring Boot用户升级这个版本。   项目首页 | 源
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他