HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系

2021年09月15日 阅读数:2
这篇文章主要向大家介绍HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操做+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操做,HBase的安装到数据库表的操做.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的建立,删除等的命令,HBase对数据的增删查等操做.4.简单概述了Hbase的架构体系.5.zookeeper的单例安装和经常使用操做.php

1.HBase单例安装

1.1下载

1.2.解压并放置特定路径如 /opt

wxl@wxl-pc:~/Downloads$ sudo mv hbase /opt/

1.3.设置JAVA_HOME 环境变量

(注意,若是本机已经设置好JAVA_HOME系统变量则此不步骤不是必须的)进入到hbase路径下java

/opt/hbase
wxl@wxl-pc:/opt/hbase$ vim conf/hbase-env.sh
#增长JAVA_HOME路径,根据本身jdk安装位稍有不一样
export JAVA_HOME=/opt/java/

1.4.编辑conf/hbase-site.xml

HBase默认存储在/tmp路径下,但是每次机器重启,/tmp下的数据会被清除,因此首席那应该更改存储路径,如存在/home/wxl 路径下,而且会建立新的hbase文件夹(若是没有安装zookeeper,不要紧,不影响在开发和测试环境下的HBase使用)node

wxl@wxl-pc:/opt/hbase$ vim conf/hbase-site.xml
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///home/wxl/hbase</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/wxl/zookeeper</value>
  </property>
</configuration>

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_zookeeper

1.5.启动HBase

wxl@wxl-pc:/opt/hbase$ bin/start-hbase.sh

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_java_02

2.HBase的shell命令操做

2.1链接HBase shell

wxl@wxl-pc:/opt/hbase$ ./bin/hbase shell

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_java_03
能够经过输入help命令,来大体了解能够输入命令和Hbase存储的数据结构sql

2.2.建立表

必须输入表名和列族名(ColumnFamily name)shell

hbase(main):002:0> create 'test','cf'

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_zookeeper_04

2.3.查看表

hbase(main):003:0> list 'test'
TABLE                                                                           
test                                                                            
1 row(s) in 0.0320 seconds

=> ["test"]

2.4.给表赋值

hbase(main):004:0> put 'test', 'wangxiaolei', 'cf:a', 'wov@outlook.com'
0 row(s) in 0.2010 seconds

hbase(main):005:0> put 'test', '王小雷','cf:b;','bio get it done'
0 row(s) in 0.0120 seconds

hbase(main):006:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0240 seconds

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_java_05

2.5.对列表计数

使用scan关键字
HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hadoop_06数据库

2.6.查询列表中某行

如查询第二行,输入编程

hbase(main):009:0> get 'test','王小雷'

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_zookeeper_07

2.7.更改表(删除,修改表)

在更改表以前须要将表的状态更改成disable,在更改完以后能够enablevim

hbase(main):009:0> disable 'test'
0 row(s) in 2.5870 seconds

hbase(main):010:0> enable 'test'
0 row(s) in 1.2680 seconds

hbase(main):011:0> disable 'test'
0 row(s) in 2.2370 seconds

在test表为 disable 状态下,删除test表ruby

hbase(main):012:0> drop 'test'
0 row(s) in 1.2590 seconds

2.8.退出shell并中止HBase

在shell中使用quit命令(或者exit),能够退出hbase shell,可是hbase仍在运行
输入jps能够查看HMaseter守护程序还在
HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_数据_08
使用stop-hbase.sh退出hbase数据结构

wxl@wxl-pc:/opt/hbase$ ./bin/stop-hbase.sh
stopping hbase.......

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hdfs_09

3.HBase伪分布式安装

若是没有安装Hadoop请安装伪分布式的Hadoop教程以下Ubuntu16.04安装Hadoop2.6+Spark1.6+开发实例

首先中止2HBase(2.8.退出shell并中止HBase)

3.1.配置伪分布式的hbase-site.xml文件

设置distributed为true,是为了让jvm模拟集群,再者是修改数据保存路径,放置到HDFS上,配置rootdir,其中hdfs://localhost:9000根据本身hadoop配置指定(也多是hdfs://localhost:8020/hbase)(可是能够不配至,HBase会自动寻找HDFS路径)

<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>


  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://localhost:9000/hbase</value>
  </property>

3.2.启动HBase

wxl@wxl-pc:/opt/hbase$ ./bin/start-hbase.sh

3.3.在HDFS上查看HBase文件

wxl@wxl-pc:/opt/hbase$ hadoop fs -ls /hbase

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hadoop_10

3.4.HBase上的数据操做,建立表,赋值,删除表等见步骤1.2-1.5

4.HBase的HRegionServer和HMaster及架构体系图

4.1此时使用jps(我开启来hadoop,spark,hbase)

可见,HBase的HRegionServer和HMaster已经开启.

wxl@wxl-pc:/opt/hbase$ jps
18065 Master
17795 NodeManager
19379 HRegionServer
17331 DataNode
17669 ResourceManager
17511 SecondaryNameNode
19255 HMaster
19991 Jps
17177 NameNode
19181 HQuorumPeer
18206 Worker
18607 SparkSubmit

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hadoop_11

4.2.关于HBase的HRegionServer和HMaster是什么,什么样的体系结构,以下图.

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_zookeeper_12

5.1 ZooKeeper-3.4.8安装+经常使用操做实践

版本ZooKeeper-3.4.8 系统Ubuntu16.04
5.1.建立conf/zoo.cfg

wxl@wxl-pc:/opt/zookeeper$ cp conf/zoo_sample.cfg conf/zoo.cfg
查看zookeeper配置信息
(注意此处为了测试因此dataDir=/tmp/zookeeper,这里每次重启计算机数据就会丢失,若是保留能够放入其余路径,如/home/wxl/zookeeper)

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181

其中,
- tickTime
- tickTime是ZooKeeper的毫秒级计量单位,表示正常的会话时间,若是超过设置值的两倍就会链接超时.
- dataDir
- 设置HBase的路径用于保存内存数据快照和更新数据库事务的日志.
- clientPort
- 设置监听链接客户端的接口

5.2. 执行zookeeper

开启zookeeper

wxl@wxl-pc:/opt/zookeeper$ bin/zkServer.sh start

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hadoop_13
链接zookeeper

wxl@wxl-pc:/opt/zookeeper$ bin/zkCli.sh -server 127.0.0.1:2181

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hdfs_14

5.3. zookeeper基本命令

[zk: 127.0.0.1:2181(CONNECTED) 0] help
ZooKeeper -server host:port cmd args
    stat path [watch]
    set path data [version]
    ls path [watch]
    delquota [-n|-b] path
    ls2 path [watch]
    setAcl path acl
    setquota -n|-b val path
    history
    redo cmdno
    printwatches on|off
    delete path [version]
    sync path
    listquota path
    rmr path
    get path [watch]
    create [-s] [-e] path data acl
    addauth scheme auth
    quit
    getAcl path
    close
    connect host:port

5.3.1. ls查看路径下有那些文件(在zoo.cfg设置的的参数datadir)

查看

#若是没安装HBase此处只显示zookeeper
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_java_15
5.3.2.HBase建立Znode为zk_test_wangxiaolei

[zk: 127.0.0.1:2181(CONNECTED) 2] create /zk_test_wangxiaolei my_data

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_数据_16

5.3.3.验证(查看)zk_test_wangxiaolei节点下数据

[zk: 127.0.0.1:2181(CONNECTED) 3] get /zk_test_wangxiaolei
my_data
cZxid = 0x66
ctime = Mon Aug 01 22:06:36 CST 2016
mZxid = 0x66
mtime = Mon Aug 01 22:06:36 CST 2016
pZxid = 0x66
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_hdfs_17

5.3.4.set命令来改变某(如zk_test_wangxiaolei)节点下的数据

[zk: 127.0.0.1:2181(CONNECTED) 4] set /zk_test_wangxiaolei junk
cZxid = 0x66
ctime = Mon Aug 01 22:06:36 CST 2016
mZxid = 0x69
mtime = Mon Aug 01 22:29:46 CST 2016
pZxid = 0x66
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 4
numChildren = 0

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操做+HBase架构体系_java_18

再次get节点zk_test_wangxiaolei能够看到数据已经改变

5.3.5.最后删除测试节点

[zk: 127.0.0.1:2181(CONNECTED) 5] delete /zk_test_wangxiaolei      
[zk: 127.0.0.1:2181(CONNECTED) 6] ls /
[zookeeper, hbase]
[zk: 127.0.0.1:2181(CONNECTED) 7]