Hive学习笔记以及语法

2020年07月12日 阅读数:43
这篇文章主要向大家介绍Hive学习笔记以及语法,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

1.  HIVE结构

Hive是创建在 Hadoop上的数据仓库基础构架。它提供了一系列的工具,能够用来进行数据提取转化加载(ETL),这是一种能够存储、查询和分析存储在 Hadoop中的大规模数据的机制。Hive定义了简单的类 SQL 查询语言,称为 QL,它容许熟悉 SQL的用户查询数据。同时,这个语言也容许熟悉 MapReduce开发者的开发自定义的 mapper reducer 来处理内建的 mapper reducer 没法完成的复杂的分析工做。php

1.1HIVE架构

Hive的结构能够分为如下几部分:html

  • 用户接口:包括 CLI, Client, WUI java

  • 元数据存储。一般是存储在关系数据库如 mysql, derby node

  • 解释器、编译器、优化器、执行器 python

  • Hadoop:用 HDFS进行存储,利用MapReduce进行计算 mysql

  1. 用户接口主要有三个:CLIClient WUI。其中最经常使用的是 CLICli启动的时候,会同时启动一个 Hive副本。Client Hive 的客户端,用户链接至 Hive Server。在启动 Client模式的时候,须要指出 Hive Server所在节点,而且在该节点启动 Hive Server WUI是经过浏览器访问 Hiveweb

  2. Hive 将元数据存储在数据库中,如 mysqlderbyHive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。正则表达式

  3. 解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS中,并在随后有 MapReduce调用执行。 算法

  4. Hive 的数据存储在 HDFS中,大部分的查询由 MapReduce完成(包含 * 的查询,好比 select * from tbl不会生成 MapRedcue任务)。sql

1.2HiveHadoop关系

Hive构建在 Hadoop之上,

  • HQL 中对查询语句的解释、优化、生成查询计划是由 Hive完成的

  • 全部的数据都是存储在 Hadoop

  • 查询计划被转化为 MapReduce 任务,在 Hadoop中执行(有些查询没有 MR任务,如:select * from table

  • HadoopHive都是用UTF-8编码的

     

1.3Hive和普通关系数据库的异同

 

Hive

RDBMS

查询语言

HQL

SQL

数据存储

HDFS

Raw Device or Local FS

索引

执行

MapReduce

Excutor

执行延迟

处理数据规模

  1. 查询语言。因为 SQL 被普遍的应用在数据仓库中,所以,专门针对 Hive的特性设计了类 SQL的查询语言 HQL。熟悉 SQL开发的开发者能够很方便的使用 Hive进行开发。

  2. 数据存储位置。Hive 是创建在Hadoop之上的,全部 Hive的数据都是存储在HDFS 中的。而数据库则能够将数据保存在块设备或者本地文件系统中。

  3. 数据格式。Hive 中没有定义专门的数据格式,数据格式能够由用户指定,用户定义数据格式须要指定三个属性:列分隔符(一般为空格、”\t””\x001″)、行分隔符(”\n”)以及读取文件数据的方法(Hive中默认有三个文件格式TextFileSequenceFile以及 RCFile[王黎1] 。因为在加载数据的过程当中,不须要从用户数据格式到 Hive 定义的数据格式的转换,所以,Hive 在加载的过程当中不会对数据自己进行任何修改,而只是将数据内容复制或者移动到相应的HDFS目录中。而在数据库中,不一样的数据库有不一样的存储引擎,定义了本身的数据格式。全部数据都会按照必定的组织存储,所以,数据库加载数据的过程会比较耗时。

  4. 数据更新。因为 Hive 是针对数据仓库应用设计的,而数据仓库的内容是读多写少的。所以,Hive中不支持对数据的改写和添加,全部的数据都是在加载的时候中肯定好的。而数据库中的数据一般是须要常常进行修改的,所以可使用 INSERT INTO ...  VALUES添加数据,使用UPDATE... SET 修改数据。

  5. 索引。以前已经说过,Hive 在加载数据的过程当中不会对数据进行任何处理,甚至不会对数据进行扫描,所以也没有对数据中的某些 Key创建索引。Hive要访问数据中知足条件的特定值时,须要暴力扫描整个数据,所以访问延迟较高。因为 MapReduce的引入, Hive能够并行访问数据,所以即便没有索引,对于大数据量的访问,Hive仍然能够体现出优点。数据库中,一般会针对一个或者几个列创建索引,所以对于少许的特定条件的数据的访问,数据库能够有很高的效率,较低的延迟。因为数据的访问延迟较高,决定了 Hive不适合在线数据查询。

  6. 执行。Hive 中大多数查询的执行是经过 Hadoop提供的 MapReduce来实现的(相似 select * from tbl的查询不须要 MapReduce)。而数据库一般有本身的执行引擎。

  7. 执行延迟。以前提到,Hive 在查询数据的时候,因为没有索引,须要扫描整个表,所以延迟较高。另一个致使 Hive执行延迟高的因素是 MapReduce框架。因为 MapReduce自己具备较高的延迟,所以在利用 MapReduce执行 Hive查询时,也会有较高的延迟。相对的,数据库的执行延迟较低。固然,这个低是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive的并行计算显然能体现出优点。

  8. 可扩展性。因为 Hive 是创建在 Hadoop之上的,所以 Hive的可扩展性是和 Hadoop 的可扩展性是一致的(世界上最大的 Hadoop集群在 Yahoo!2009年的规模在4000台节点左右)。而数据库因为 ACID语义的严格限制,扩展行很是有限。目前最早进的并行数据库 Oracle在理论上的扩展能力也只有 100台左右。

  9. 数据规模。因为 Hive 创建在集群上并能够利用 MapReduce进行并行计算,所以能够支持很大规模的数据;对应的,数据库能够支持的数据规模较小。

1.4HIVE元数据库

Hive将元数据存储在 RDBMS,通常经常使用的有MYSQLDERBY

1.4.1     DERBY

启动HIVE的元数据库

进入到hive的安装目录

Eg:

1、启动derby数据库

/home/admin/caona/hive/build/dist/

运行startNetworkServer -h 0.0.0.0

 

2、链接Derby数据库进行测试

查看/home/admin/caona/hive/build/dist/conf/hive-default.xml

找到<property>

   <name>javax.jdo.option.ConnectionURL</name>

   <value>jdbc:derby://hadoop1:1527/metastore_db;create=true</value>

   <description>JDBC connect string for a JDBCmetastore</description>

 </property>

进入derby安装目录

/home/admin/caona/hive/build/dist/db-derby-10.4.1.3-bin/bin

输入./ij

Connect'jdbc:derby://hadoop1:1527/metastore_db;create=true';

 

3、元数据库数据字典

表名

说明

关联键

BUCKETING_COLS        

 

 

   COLUMNS           

Hive表字段信息(字段注释,字段名,字段类型,字段序号)

SD_ID

DBS

 元数据库信息,存放HDFS路径信息

DB_ID

PARTITION_KEYS        

Hive分区表分区键

PART_ID

SDS                   

全部hive表、表分区所对应的hdfs数据目录和数据格式。

SD_ID,SERDE_ID

SD_PARAMS             

序列化反序列化信息,如行分隔符、列分隔符、NULL的表示字符等

SERDE_ID

SEQUENCE_TABLE        

SEQUENCE_TABLE表保存了hive对象的下一个可用ID,如’org.apache.hadoop.hive.metastore.model.MTable’, 21,则下一个新建立的hive表其TBL_ID就是21,同时SEQUENCE_TABLE表中271786被更新为26(这里每次都是+5?)。一样,COLUMNPARTITION等都有相应的记录

 

SERDES                

 

 

SERDE_PARAMS          

 

 

SORT_COLS             

 

 

TABLE_PARAMS          

表级属性,如是否外部表,表注释等

TBL_ID

TBLS                  

全部hive表的基本信息

TBL_ID,SD_ID

 

从上面几张表的内容来看,hive整个建立表的过程已经比较清楚了

  1. 解析用户提交hive语句,对其进行解析,分解为表、字段、分区等hive对象
  2. 根据解析到的信息构建对应的表、字段、分区等对象,从SEQUENCE_TABLE中获取构建对象的最新ID,与构建对象信息(名称,类型等)一同经过DAO方法写入到元数据表中去,成功后将SEQUENCE_TABLE中对应的最新ID+5

实际上咱们常见的RDBMS都是经过这种方法进行组织的,典型的如postgresql,其系统表中和hive元数据同样裸露了这些id信息(oid,cid),Oracle等商业化的系统则隐藏了这些具体的ID。经过这些元数据咱们能够很容易的读到数据诸如建立一个表的数据字典信息,好比导出建表语名等。

导出建表语句的shell脚本见附一 待完成

1.4.2     Mysql

将存放元数据的Derby数据库迁移到Mysql数据库

步骤:

 

1.5HIVE的数据存储

   首先,Hive没有专门的数据存储格式,也没有为数据创建索引,用户能够很是自由的组织 Hive中的表,只须要在建立表的时候告诉 Hive数据中的列分隔符和行分隔符,Hive就能够解析数据。

其次,Hive中全部的数据都存储在 HDFS中,Hive中包含如下数据模型:TableExternal TablePartitionBucket

  1. Hive 中的 Table和数据库中的 Table在概念上是相似的,每个 Table Hive中都有一个相应的目录存储数据。例如,一个表xiaojun,它在 HDFS中的路径为:/warehouse /xiaojun,其中,wh是在 hive-site.xml中由 ${hive.metastore.warehouse.dir}指定的数据仓库的目录,全部的 Table数据(不包括 External Table)都保存在这个目录中。
  2. Partition 对应于数据库中的 Partition列的密集索引,可是 Hive Partition的组织方式和数据库中的很不相同。在 Hive中,表中的一个 Partition对应于表下的一个目录,全部的 Partition的数据都存储在对应的目录中。例如:xiaojun表中包含 dt city两个 Partition,则对应于 dt = 20100801, ctry = US HDFS子目录为:/warehouse /xiaojun/dt=20100801/ctry=US;对应于 dt = 20100801, ctry = CA HDFS子目录为;/warehouse /xiaojun/dt=20100801/ctry=CA
  3. Buckets 对指定列计算 hash,根据 hash 值切分数据,目的是为了并行,每个 Bucket对应一个文件。将 user列分散至 32 bucket,首先对 user列的值计算 hash,对应 hash值为 0 HDFS目录为:/warehouse /xiaojun/dt =20100801/ctry=US/part-00000hash值为 20 HDFS目录为:/warehouse /xiaojun/dt =20100801/ctry=US/part-00020
  4. External Table 指向已经在 HDFS中存在的数据,能够建立 Partition。它和 Table在元数据的组织上是相同的,而实际数据的存储则有较大的差别。
  • Table 的建立过程和数据加载过程(这两个过程能够在同一个语句中完成),在加载数据的过程当中,实际数据会被移动到数据仓库目录中;以后对数据对访问将会直接在数据仓库目录中完成。删除表时,表中的数据和元数据将会被同时删除。
  • External Table 只有一个过程,加载数据和建立表同时完成(CREATE EXTERNAL TABLE ……LOCATION),实际数据是存储在 LOCATION 后面指定的 HDFS路径中,并不会移动到数据仓库目录中。当删除一个 External Table时,仅删除

 

1.6其它HIVE操做

 

  1. 启动HIVEWEB的界面

    sh$HIVE_HOME/bin/hive --service hwi

     

    2、查看HDFS上的文件数据

    hadoop fs -text/user/admin/daiqf/createspu_fp/input/cateinfo |head

 

 

2.  HIVE基本操做

2.1createtable

2.1.1   总述

  • CREATE TABLE 建立一个指定名字的表。若是相同名字的表已经存在,则抛出异常;用户能够用 IF NOT EXIST选项来忽略这个异常。

  • EXTERNAL 关键字可让用户建立一个外部表,在建表的同时指定一个指向实际数据的路径(LOCATIONHive建立内部表时,会将数据移动到数据仓库指向的路径;若建立外部表,仅记录数据所在的路径,不对数据的位置作任何改变。在删除表的时候,内部表的元数据和数据会被一块儿删除,而外部表只删除元数据,不删除数据。

  • LIKE 容许用户复制现有的表结构,可是不复制数据。

  • 用户在建表的时候能够自定义 SerDe或者使用自带的 SerDe[王黎2] 。若是没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会使用自带的 SerDe。在建表的时候,用户还须要为表指定列,用户在指定表的列的同时也会指定自定义的 SerDeHive经过 SerDe肯定表的具体的列的数据。

  • 若是文件数据是纯文本,可使用 STORED AS TEXTFILE[王黎3] 。若是数据须要压缩,使用STORED AS SEQUENCE [王黎4] 

  • 有分区的表能够在建立的时候使用 PARTITIONED BY 语句。一个表能够拥有一个或者多个分区,每个分区单独存在一个目录下。并且,表和分区均可以对某个列进行 CLUSTEREDBY 操做,将若干个列放入一个桶(bucket[王黎5] 中。也能够利用SORT BY 对数据进行排序。这样能够为特定应用提升性能。

  • 表名和列名不区分大小写,SerDe 和属性名区分大小写。表和列的注释是字符串。

2.1.2   语法

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

 [(col_namedata_type [COMMENT col_comment], ...)]

 [COMMENTtable_comment]

 [PARTITIONED BY(col_name data_type [COMMENT col_comment], ...)]

 [CLUSTERED BY(col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTOnum_buckets BUCKETS]

 [

  [ROW FORMATrow_format] [STORED AS file_format]

  | STORED BY'storage.handler.class.name' [ WITH SERDEPROPERTIES (...) ] (Note: only available starting with 0.6.0)

 ]

 [LOCATIONhdfs_path]

 [TBLPROPERTIES(property_name=property_value, ...)] (Note: only available startingwith 0.6.0)

 [ASselect_statement] (Note: this feature isonly available starting with 0.5.0.)

 

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name

 LIKEexisting_table_name

 [LOCATIONhdfs_path]

 

data_type

 : primitive_type

 | array_type

 | map_type

 | struct_type

 

primitive_type

 : TINYINT

 | SMALLINT

 | INT

 | BIGINT

 | BOOLEAN

 | FLOAT

 | DOUBLE

 | STRING

 

array_type

 : ARRAY <data_type >

 

map_type

 : MAP <primitive_type, data_type >

 

struct_type

 : STRUCT < col_name: data_type [COMMENT col_comment], ...>

 

row_format

 : DELIMITED[FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]

       [MAP KEYSTERMINATED BY char] [LINES TERMINATED BY char]

 | SERDEserde_name [WITH SERDEPROPERTIES (property_name=property_value,property_name=property_value, ...)]

 

file_format:

 : SEQUENCEFILE

 | TEXTFILE

 | RCFILE    (Note: only available starting with 0.6.0)

 | INPUTFORMATinput_format_classname OUTPUTFORMAT output_format_classname

 

 

目前在hive中经常使用的数据类型有:

  BIGINT –主要用于状态,类别,数量的字段,status/option/type/quantity

  DOUBLE –主要用于金额的字段, fee/price/bid

  STRING –除上述以外的字段基本都使用String, 尤为是id和日期时间这样的字段

 

2.1.3     基本例子

1、若是一个表已经存在,可使用if not exists

2 create table xiaojun(id int,cont string) row format delimitedfields terminated by '\005' stored as textfile;

terminated by:关于来源的文本数据的字段间隔符

若是要将自定义间隔符的文件读入一个表,须要经过建立表的语句来指明输入文件间隔符,而后load data到这个表。

4Alibaba数据库经常使用间隔符的读取

咱们的经常使用间隔符通常是Ascii5Ascii7等。在hiveAscii5’\005’表示, Ascii7’\007’表示,依此类推。

5、装载数据

查看一下:Hadoop fs -ls

LOAD DATA INPATH'/user/admin/xiaojun/a.txt' OVERWRITE INTO TABLE xiaojun;

6、若是使用external建表和普通建表区别

A、指定一个位置,而不使用默认的位置。如:

create EXTERNAL table xiaojun(id int,cont string) row format delimited fields terminatedby '\005' stored as textfile location '/user/admin/xiaojun/';

--------------check结果

ij> selectLOCATION from tbls a,sds b where a.sd_id=b.sd_id and tbl_name='xiaojun'; 

-----

LOCATION                                                                                                                       

--------------------------------------------------------------------------------------------------------------------------------

hdfs://hadoop1:7000/user/admin/xiaojun  

 

ij> selectLOCATION from tbls a,sds b where a.sd_id=b.sd_id and tbl_name='c';

----

LOCATION                                                                                                                       

--------------------------------------------------------------------------------------------------------------------------------

hdfs://hadoop1:7000/user/hive/warehouse/c

B、对于使用create table external建表完成后,再drop掉表,表中的数据还在文件系统中。

如:

hive>create EXTERNAL table xiaojun(id int,cont string) row formatdelimited fields terminated by '\005' stored as textfile;

----

OK

 

hive> LOADDATA INPATH '/user/admin/xiaojun' OVERWRITE INTO TABLE xiaojun;

--------------------------------------------------

Loading data totable xiaojun

OK

 

hive> droptable xiaojun;

----

OK

 

[admin@hadoop1bin]$ ./hadoop fs -ls hdfs://hadoop1:7000/user/hive/warehouse/xiaojun

Found 1 items

使用普通的建表DROP后则找不到

2.1.4   建立分区

  HIVE的分区经过在建立表时启用partitionby实现,用来partition的维度并非实际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时能够采用where语句,形似where tablename.partition_key >a来实现。

建立含分区的表。

命令原型:

CREATE TABLE page_view(viewTime INT, userid BIGINT,

    page_urlSTRING, referrer_url STRING,

    ip STRINGCOMMENT 'IP Address of the User')

 COMMENT 'This isthe page view table'

 PARTITIONED BY(dtSTRING, country STRING)

 CLUSTEREDBY(userid) SORTED BY(viewTime) INTO 32 BUCKETS

 ROW FORMATDELIMITED

  FIELDSTERMINATED BY '\001'

  COLLECTION ITEMSTERMINATED BY '\002'

  MAP KEYSTERMINATED BY '\003'

 STORED ASSEQUENCEFILE;

 

Eg:

建表:

CREATE TABLE c02_clickstat_fatdt1

(yyyymmdd string,

 id             INT,

 ip              string,

 country         string,

 cookie_id       string,

 page_id         string , 

 clickstat_url_id int,

 query_string    string,

 refer           string

)PARTITIONED BY(dt STRING)

row format delimited fields terminated by '\005' stored astextfile;

 

装载数据:

LOAD DATA INPATH'/user/admin/SqlldrDat/CnClickstat/20101101/19/clickstat_gp_fatdt0/0' OVERWRITEINTO TABLE c02_clickstat_fatdt1

 PARTITION(dt='20101101');

 

访问某一个分区

SELECT count(*)

   FROMc02_clickstat_fatdt1 a

   WHERE a.dt >='20101101' AND a.dt < '20101102';

2.1.5   其它例子

1、指定LOCATION位置

CREATE EXTERNAL TABLE page_view(viewTime INT, useridBIGINT,

    page_urlSTRING, referrer_url STRING,

    ip STRING COMMENT'IP Address of the User',

    country STRINGCOMMENT 'country of origination')

 COMMENT 'This isthe staging page view table'

 ROW FORMATDELIMITED FIELDS TERMINATED BY '\054'

 STORED AS TEXTFILE

 LOCATION'<hdfs_location>';

  1. 复制一个空表

CREATE TABLE empty_key_value_store

LIKE key_value_store;

 

 

 

2.2AlterTable

2.2.1   Add Partitions

ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec[ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ...

 

partition_spec:

 : PARTITION(partition_col = partition_col_value, partition_col = partiton_col_value, ...)

Eg:

ALTER TABLE c02_clickstat_fatdt1 ADD

PARTITION (dt='20101202') location'/user/hive/warehouse/c02_clickstat_fatdt1/part20101202'

PARTITION (dt='20101203') location'/user/hive/warehouse/c02_clickstat_fatdt1/part20101203';

 

2.2.2   Drop Partitions

ALTER TABLE table_name DROP partition_spec, partition_spec,...

 

若是有数据库则需先use database;

ALTER TABLE c02_clickstat_fatdt1 DROP PARTITION(dt='20101202');

2.2.3   Rename Table

ALTER TABLE table_name RENAME TO new_table_name

这个命令可让用户为表改名。数据所在的位置和分区名并不改变。换而言之,老的表名并未释放,对老表的更改会改变新表的数据。

2.2.4   Change Column

ALTER TABLE table_name CHANGE [COLUMN] col_old_name col_new_namecolumn_type [COMMENT col_comment] [FIRST|AFTER column_name]

这个命令能够容许改变列名、数据类型、注释、列位置或者它们的任意组合

Eg:

 

2.2.5   Add/Replace Columns

ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type[COMMENT col_comment], ...)

 

ADD是表明新增一字段,字段位置在全部列后面(partition列前);REPLACE则是表示替换表中全部字段。

Eg:

hive> desc xi;

OK

id     int

cont   string

dw_ins_date    string

Time taken: 0.061 seconds

hive> create table xibak like xi;                        

OK

Time taken: 0.157 seconds

hive> alter table xibak replace columns (ins_datestring);  

OK

Time taken: 0.109 seconds

hive> desc xibak;

OK

ins_date       string

2.3CreateView

CREATE VIEW [IF NOT EXISTS] view_name [ (column_name [COMMENTcolumn_comment], ...) ]

[COMMENT view_comment]

[TBLPROPERTIES (property_name = property_value, ...)][王黎6] 

AS SELECT ...

 

2.4Show

查看表名

SHOWTABLES;

 

查看表名,部分匹配

SHOWTABLES 'page.*';

SHOWTABLES '.*view';

 

查看某表的全部Partition,若是没有就报错:

SHOWPARTITIONS page_view;

 

查看某表结构:

DESCRIBEinvites;

 

查看分区内容

SELECTa.foo FROM invites a WHERE a.ds[王黎7] ='2008-08-15';

 

查看有限行内容,同Greenplum,用limit关键词

SELECTa.foo FROM invites a limit 3;

 

查看表分区定义

DESCRIBE EXTENDED[王黎8]  page_view PARTITION (ds='2008-08-08');

2.5Load

  HIVE装载数据没有作任何转换加载到表中的数据只是进入相应的配置单元表的位置移动数据文件。纯加载操做复制/移动操做。

 

3.1语法

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTOTABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

Load操做只是单纯的复制/移动操做,将数据文件移动到 Hive表对应的位置。

  • filepath 能够是:
    • 相对路径,例如:project/data1
    • 绝对路径,例如: /user/hive/project/data1
    • 包含模式的完整 URI,例如:hdfs://namenode:9000/user/hive/project/data1
  • 加载的目标能够是一个表或者分区。若是表包含分区,必须指定每个分区的分区名。
  • filepath 能够引用一个文件(这种状况下,Hive会将文件移动到表所对应的目录中)或者是一个目录(在这种状况下,Hive会将目录中的全部文件移动至表所对应的目录中)。
  • 若是指定了 LOCAL,那么:
    • load 命令会去查找本地文件系统中的 filepath。若是发现是相对路径,则路径会被解释为相对于当前用户的当前路径。用户也能够为本地文件指定一个完整的 URI,好比:file:///user/hive/project/data1.
    • load 命令会将 filepath中的文件复制到目标文件系统中。目标文件系统由表的位置属性决定。被复制的数据文件移动到表的数据对应的位置。
  • 若是没有指定 LOCAL 关键字,若是 filepath 指向的是一个完整的 URIhive会直接使用这个 URI。 不然:
    • 若是没有指定 schema 或者 authorityHive 会使用在 hadoop配置文件中定义的 schema authorityfs.default.name指定了 Namenode URI
    • 若是路径不是绝对的,Hive 相对于 /user/ 进行解释。
    • Hive 会将 filepath中指定的文件内容移动到 table(或者 partition)所指定的路径中。
  • 若是使用了 OVERWRITE 关键字,则目标表(或者分区)中的内容(若是有)会被删除,而后再将 filepath 指向的文件/目录中的内容添加到表/分区中。
  • 若是目标表(分区)已经有一个文件,而且文件名和 filepath中的文件名冲突,那么现有的文件会被新文件所替代。

 

从本地导入数据到表格并追加原表

LOAD DATALOCAL INPATH `/tmp/pv_2008-06-08_us.txt` INTO TABLE c02PARTITION(date='2008-06-08', country='US')

 

从本地导入数据到表格并追加记录

LOAD DATALOCAL INPATH './examples/files/kv1.txt' INTO TABLE pokes;

 

hdfs导入数据到表格并覆盖原表

LOAD DATAINPATH '/user/admin/SqlldrDat/CnClickstat/20101101/18/clickstat_gp_fatdt0/0'INTO table c02_clickstat_fatdt1 OVERWRITE PARTITION (dt='20101201');

关于来源的文本数据的字段间隔符

若是要将自定义间隔符的文件读入一个表,须要经过建立表的语句来指明输入文件间隔符,而后load data到这个表就ok了。

 

2.6Insert

2.6.1   Inserting data into HiveTables from queries

 

Standard syntax:

INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1,partcol2=val2 ...)] select_statement1 FROM from_statement

 

Hive extension (multiple inserts):

FROM from_statement

INSERT OVERWRITE TABLE tablename1 [PARTITION(partcol1=val1, partcol2=val2 ...)] select_statement1

[INSERT OVERWRITE TABLE tablename2 [PARTITION ...]select_statement2] ...

 

Hive extension (dynamic partition inserts):

INSERT OVERWRITE TABLE tablename PARTITION(partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement

 

Insert时,from子句既能够放在select子句后,也能够放在insert子句前,下面两句是等价的

hive> FROM invites a INSERT OVERWRITE TABLEevents SELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;

 hive> INSERT OVERWRITE TABLE events SELECTa.bar, count(*) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;

hive没有直接插入一条数据的sql,不过能够经过其余方法实现:
假设有一张表B至少有一条数据,咱们想向表Aintstring)中插入一条数据,能够用下面的方法实现:
from B
insert table A select  1
‘abc’ limit 1

 

我以为hive好像不可以插入一个记录,由于每次你写insert语句的时候都是要将整个表的值overwrite。我想这个应该是与hivestorage layer是有关系的,由于它的存储层是HDFS,插入一个数据要全表扫描,还不如用整个表的替换来的快些。

 

Hive不支持一条一条的用insert语句进行插入操做,也不支持update的操做。数据是以load的方式,加载到创建好的表中。数据一旦导入,则不可修改。要么drop掉整个表,要么创建新的表,导入新的数据。

2.6.2   Writing data intofilesystem from queries

Standard syntax:

INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ...FROM ...

 

Hive extension (multiple inserts):

FROM from_statement

INSERT OVERWRITE [LOCAL] DIRECTORY directory1select_statement1

[INSERT OVERWRITE [LOCAL] DIRECTORY directory2select_statement2] ...

 

导出文件到本地

INSERTOVERWRITE LOCAL DIRECTORY '/tmp/local_out' SELECT a.* FROM pokes a;

 

导出文件到HDFS

INSERTOVERWRITE DIRECTORY'/user/admin/SqlldrDat/CnClickstat/20101101/19/clickstat_gp_fatdt0/0' SELECTa.* FROM c02_clickstat_fatdt1 a WHERE dt=’20101201’;

 

一个源能够同时插入到多个目标表或目标文件,多目标insert能够用一句话来完成

FROM src

 INSERT OVERWRITE TABLE dest1 SELECT src.*WHERE src.key < 100

 INSERT OVERWRITE TABLE dest2 SELECT src.key,src.value WHERE src.key >= 100 and src.key < 200

 INSERT OVERWRITE TABLE dest3PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 andsrc.key < 300

 INSERT OVERWRITE LOCAL DIRECTORY'/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;

Eg:

from xi 

insert overwrite table test2 select '1,2,3' limit1

insert overwrite table d select '4,5,6' limit 1;

2.7Cli[王黎9] 

2.7.1   Hive Command line Options

$HIVE_HOME/bin/hive是一个shell工具,它能够用来运行于交互或批处理方式配置单元查询。

语法:

 Usage: hive[-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-equery-string>] [-S]

 

 -i<filename>            Initialization Sql from file (executed automatically and silently beforeany other commands)

 -e 'quoted querystring' Sql from command line

 -f<filename>            Sql fromfile

 -S                       Silent mode ininteractive shell where only data is emitted

 -hiveconfx=y            Use this to sethive/hadoop configuration variables.

  

  -e and -f cannotbe specified together. In the absence of these options, interactive shell isstarted. 

  However, -i canbe used with any other options. Multipleinstances of -i can be used to execute multiple init scripts.

 

  To see thisusage help, run hive -h

 

运行一个查询:

$HIVE_HOME/bin/ hive -e 'select count(*) fromc02_clickstat_fatdt1'

Example of setting hive configurationvariables

$HIVE_HOME/bin/hive -e 'select a.col from tab1 a'-hiveconfhive.exec.scratchdir=/home/my/hive_scratch -hiveconf mapred.reduce.tasks=32[王黎10] 

将查询结果导出到一个文件

HIVE_HOME/bin/hive -S -e 'select count(*) from c02_clickstat_fatdt1'> a.txt

运行一个脚本

HIVE_HOME/bin/hive -f /home/my/hive-script.sql

Example of running an initialization scriptbefore entering interactive mode

HIVE_HOME/bin/hive -i /home/my/hive-init.sql

 

2.7.2   Hive interactive Shell Command

Command

Description

quit

使用 quit or exit退出

set <key>=<value>

使用这个方式来设置特定的配置变量的值。有一点须要注意的是,若是你拼错了变量名,CLI将不会显示错误。

set

这将打印的配置变量,若是没有指定变量则由显示HIVE和用户变量。如set I则显示i的值,set则显示hive内部变量值

set -v

This will give all possible hadoop/hive configuration variables.

add FILE <value> <value>*

Adds a file to the list of resources.

list FILE

list all the resources already added

list FILE <value>*

Check given resources are already added or not.

! <cmd>

execute a shell command from hive shell

dfs <dfs command>

execute dfs command command from hive shell

<query string>

executes hive query and prints results to stdout

Eg:

 hive> set i=32;

 hive> set i;

 hive> selecta.* from xiaojun a;

 hive> !ls;

 hive> dfs -ls;

 

还能够这样用

hive> set $i='121.61.99.14.128160791368.5';

hive> select count(*) from c02_clickstat_fatdt1 wherecookie_id=$i;

11

2.7.3   HiveResources

Hive can manage theaddition of resources to a session where those resources need to be made availableat query execution time. Any locally accessible file can be added to thesession. Once a file is added to a session, hive query can refer to this fileby its name (inmap/reduce/transformclauses[王黎11] ) and this file is available locally at execution time on the entirehadoop cluster. Hive uses Hadoop's Distributed Cache to distribute the addedfiles to all the machines in the cluster at query execution time.

Usage:

·           ADD { FILE[S] | JAR[S] |ARCHIVE[S] } <filepath1> [<filepath2>]*

·           LIST { FILE[S] | JAR[S] |ARCHIVE[S] } [<filepath1> <filepath2> ..]

·           DELETE { FILE[S] | JAR[S] |ARCHIVE[S] } [<filepath1> <filepath2> ..]

  • FILE resources are just added to the distributed cache. Typically, this might be something like a transform script to be executed.
  • JAR resources are also added to the Java classpath. This is required in order to reference objects they contain such as UDF's.
  • ARCHIVE resources are automatically unarchived as part of distributing them.

Example:

·          hive> add FILE /tmp/tt.py;

·          hive> list FILES;

·          /tmp/tt.py

·          hive> from networks a  MAP a.networkid USING 'python tt.py' as nnwhere a.ds = '2009-01-04' limit 10;

It is not neccessary to addfiles to the session if the files used in a transform script are alreadyavailable on all machines in the hadoop cluster using the same path name. Forexample:

  • ... MAP a.networkid USING 'wc -l' ...: here wc is an executable available on all machines
  • ... MAP a.networkid USING '/home/nfsserv1/hadoopscripts/tt.py' ...: here tt.py may be accessible via a nfs mount point that's configured identically on all the cluster nodes

[王黎12] 

2.7.4   调用pythonshell等语言

以下面这句sql就是借用了weekday_mapper.py对数据进行了处理

CREATETABLE u_data_new (

 userid INT,

 movieid INT,

 rating INT,

 weekday INT)

ROWFORMAT DELIMITED

FIELDSTERMINATED BY '\t';

 

add FILEweekday_mapper.py;

 

INSERTOVERWRITE TABLE u_data_new

SELECT

 TRANSFORM[王黎13] (userid,movieid, rating, unixtime)

 USING 'python weekday_mapper.py'

 AS (userid, movieid, rating, weekday)

FROMu_data;

,其中weekday_mapper.py内容以下

import sys

import datetime

 

for line in sys.stdin:

 line =line.strip()

 userid,movieid, rating, unixtime = line.split('\t')

 weekday= datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()

 print'\t'.join([userid, movieid, rating, str(weekday)])

 

以下面的例子则是使用了shellcat命令来处理数据

FROM invites a INSERT OVERWRITE TABLE eventsSELECT TRANSFORM(a.foo, a.bar) AS (oof, rab)USING '/bin/cat' WHEREa.ds > '2008-08-09';

[王黎14] 

 

 

 

 

2.8DROP

删除一个内部表的同时会同时删除表的元数据和数据。删除一个外部表,只删除元数据而保留数据。

 

2.9其它

2.9.1   Limit

Limit能够限制查询的记录数。查询的结果是随机选择的。下面的查询语句从 t1表中随机查询5条记录:

SELECT* FROM t1 LIMIT 5

2.9.2   Top k

下面的查询语句查询销售记录最大的 5个销售表明。

SETmapred.reduce.tasks = 1

 SELECT * FROM sales SORT BY amount DESC LIMIT5

 

2.9.3   REGEX Column Specification

SELECT语句可使用正则表达式作列选择,下面的语句查询除了 ds hr以外的全部列:

SELECT `(ds|hr)?+.+`FROM sales

[王黎15] 

3.  Hive Select

语法:

SELECT [ALL | DISTINCT] select_expr, select_expr, ...

FROM table_reference

[WHERE where_condition]

[GROUP BY col_list]

[  CLUSTER BYcol_list

 | [DISTRIBUTE BYcol_list] [SORT BY col_list]

]

[LIMIT number]

 

3.1GroupBy

基本语法:

groupByClause: GROUP BY groupByExpression (,groupByExpression)*

 

groupByExpression: expression

 

groupByQuery: SELECT expression (, expression)* FROM srcgroupByClause?

 

高级特性:

  • 聚合可进一步分为多个表,甚至发送到HadoopDFS的文件(能够进行操做,而后使用HDFSutilitites)。例如咱们能够根据性别划分,须要找到独特的页面浏览量按年龄划分。以下面的例子:

 FROM pv_users

 INSERT OVERWRITETABLE pv_gender_sum

   SELECTpv_users.gender, count(DISTINCT pv_users.userid)

   GROUP BYpv_users.gender

 INSERT OVERWRITEDIRECTORY '/user/facebook/tmp/pv_age_sum'

   SELECTpv_users.age, count(DISTINCT pv_users.userid)

   GROUP BYpv_users.age;

 

  • hive.map.aggr能够控制怎么进行汇总。默认为为true,配置单元会作的第一级聚合直接在MAP上的任务。这一般提供更好的效率,但可能须要更多的内存来运行成功。

 sethive.map.aggr=true;

SELECT COUNT(*) FROM table2;

PS:在要特定的场合使用可能会加效率。不过我试了一下,比直接使用False慢不少。

3.2Order/Sort By

Order by语法:

colOrder: ( ASC | DESC )

orderBy: ORDER BY colName colOrder? (',' colNamecolOrder?)*

query: SELECT expression (',' expression)* FROM srcorderBy

 

Sort By语法:

Sort顺序将根据列类型而定。若是数字类型的列,则排序顺序也以数字顺序。若是字符串类型的列,则排序顺序将字典顺序。

colOrder: ( ASC | DESC )

sortBy: SORT BY colName colOrder? (',' colNamecolOrder?)*

query: SELECT expression (',' expression)* FROM srcsortBy

 

4.  Hive Join

语法

join_table:

   table_referenceJOIN table_factor [join_condition]

 | table_reference{LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition

 | table_referenceLEFT SEMIJOIN[王黎16]  table_reference join_condition

 

table_reference:

   table_factor

 | join_table

 

table_factor:

   tbl_name[alias]

 | table_subqueryalias

 | (table_references )

 

join_condition:

   ONequality_expression ( AND equality_expression )*

 

equality_expression:

   expression =expression

Hive只支持等值链接(equality joins)、外链接(outer joins)和(left/right joins)。Hive不支持全部非等值的链接,由于非等值链接很是难转化到 map/reduce任务。另外,Hive支持多于 2 个表的链接。

join查询时,须要注意几个关键点:

1、只支持等值join

例如:

 SELECT a.* FROMa JOIN b ON (a.id = b.id)

 SELECT a.* FROM a JOIN b

   ON (a.id = b.id AND a.department =b.department)

是正确的,然而:

 SELECT a.* FROM a JOIN b ON (a.id b.id)

是错误的。

 

  1. 能够 join 多于 2个表。

    例如

      SELECT a.val,b.val, c.val FROM a JOIN b

        ON (a.key =b.key1) JOIN c ON (c.key = b.key2)

    若是join中多个表的join key是同一个,则 join会被转化为单个map/reduce任务,例如:

      SELECT a.val,b.val, c.val FROM a JOIN b

        ON (a.key =b.key1) JOIN c

        ON (c.key =b.key1)

    被转化为单个 map/reduce 任务,由于 join中只使用了 b.key1做为 join key

    SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key =b.key1)

      JOIN c ON(c.key = b.key2)

    而这一 join 被转化为2 map/reduce任务。由于 b.key1 用于第一次 join 条件,而 b.key2 用于第二次 join

      

    3join时,每次map/reduce任务的逻辑:

        reducer 会缓存 join序列中除了最后一个表的全部表的记录,再经过最后一个表将结果序列化到文件系统。这一实现有助于在 reduce端减小内存的使用量。实践中,应该把最大的那个表写在最后(不然会由于缓存浪费大量内存)。例如:

     SELECT a.val, b.val, c.val FROM a

        JOIN b ON (a.key = b.key1)JOIN c ON (c.key = b.key1)

    全部表都使用同一个 join key(使用 1map/reduce任务计算)。Reduce 端会缓存 a 表和 b表的记录,而后每次取得一个 c表的记录就计算一次 join结果,相似的还有:

      SELECT a.val, b.val, c.val FROMa

        JOIN b ON (a.key = b.key1)JOIN c ON (c.key = b.key2)

    这里用了 2 map/reduce任务。第一次缓存 a表,用 b 序列化[王黎17] ;第二次缓存第一次 map/reduce 任务的结果,而后用 c 表序列化。

    [王黎18] 

    4LEFTRIGHT FULLOUTER关键字用于处理 join 中空记录的状况。

    例如:

      SELECT a.val,b.val FROM a LEFT OUTER

        JOIN b ON(a.key=b.key)

    对应全部 a 表中的记录都有一条记录输出。输出的结果应该是 a.val, b.val,当 a.key=b.key时,而当 b.key中找不到等值的 a.key 记录时也会输出 a.val, NULL“FROM a LEFT OUTER JOIN b”这句必定要写在同一行——意思是 a表在 b表的左边,因此 a表中的全部记录都被保留了;“a RIGHT OUTER JOIN b”会保留全部 b表的记录。OUTER JOIN语义应该是遵循标准 SQL spec的。

    Join 发生在 WHERE子句以前。若是你想限制 join的输出,应该在 WHERE子句中写过滤条件——或是在join子句中写。这里面一个容易混淆的问题是表分区的状况:

      SELECT a.val,b.val FROM a

      LEFT OUTER JOINb ON (a.key=b.key)

      WHEREa.ds='2009-07-07' AND b.ds='2009-07-07'

    join a 表到 b表(OUTER JOIN),列出 a.val b.val 的记录。WHERE 从句中可使用其余列做为过滤条件。可是,如前所述,若是 b表中找不到对应 a表的记录,b 表的全部列都会列出 NULL包括 ds。也就是说,join会过滤 b 表中不能找到匹配a join key的全部记录。这样的话,LEFTOUTER就使得查询结果与 WHERE子句无关了。解决的办法是在 OUTER JOIN时使用如下语法:

      SELECT a.val,b.val FROM a LEFT OUTER JOIN b

      ON (a.key=b.keyAND

         b.ds='2009-07-07' AND

         a.ds='2009-07-07')

    这一查询的结果是预先在 join 阶段过滤过的,因此不会存在上述问题。这一逻辑也能够应用于 RIGHT FULL类型的join 中。

    Join 是不能交换位置的。不管是 LEFT仍是 RIGHT join,都是左链接的。

      SELECT a.val1,a.val2, b.val, c.val

      FROM a

      JOIN b ON(a.key = b.key)

      LEFT OUTER JOINc ON (a.key = c.key)

    join a 表到 b表,丢弃掉全部 join key中不匹配的记录,而后用这一中间结果和 c表作 join。这一表述有一个不太明显的问题,就是当一个 key a表和 c 表都存在,可是 b表中不存在的时候:整个记录在第一次 join,即 a JOIN b的时候都被丢掉了(包括a.val1a.val2a.key),而后咱们再和 c join 的时候,若是c.key a.key b.key相等,就会获得这样的结果:NULL, NULL, NULL, c.val

     

    5LEFT SEMI JOIN[王黎19]  IN/EXISTS 子查询的一种更高效的实现。Hive当前没有实现 IN/EXISTS子查询,因此你能够用 LEFT SEMI JOIN重写你的子查询语句。LEFT SEMI JOIN的限制是, JOIN子句中右边的表只能在 ON 子句中设置过滤条件,在 WHERE子句、SELECT 子句或其余地方过滤都不行。

      SELECT a.key,a.value

      FROM a

      WHERE a.key in

       (SELECT b.key

        FROM B);

    能够被重写为:

       SELECT a.key,a.val

       FROM a LEFTSEMI JOIN b on (a.key = b.key)

 

5.  HIVE参数设置

   开发Hive应用时,不可避免地须要设定Hive的参数。设定Hive的参数能够调优HQL代码的执行效率,或帮助定位问题。然而实践中常常遇到的一个问题是,为何设定的参数没有起做用?

这一般是错误的设定方式致使的。

对于通常参数,有如下三种设定方式:

  • 配置文件
  • 命令行参数
  • 参数声明

配置文件Hive的配置文件包括

  • 用户自定义配置文件:$HIVE_CONF_DIR/hive-site.xml
  • 默认配置文件:$HIVE_CONF_DIR/hive-default.xml

用户自定义配置会覆盖默认配置。另外,Hive也会读入Hadoop的配置,由于Hive是做为Hadoop的客户端启动的,Hadoop的配置文件包括

  • $HADOOP_CONF_DIR/hive-site.xml
  • $HADOOP_CONF_DIR/hive-default.xml

Hive的配置会覆盖Hadoop的配置。

配置文件的设定对本机启动的全部Hive进程都有效。

命令行参数:启动Hive(客户端或Server方式)时,能够在命令行添加-hiveconf param=value来设定参数,例如:

bin/hive -hiveconf hive.root.logger=INFO,console

这一设定对本次启动的Session(对于Server方式启动,则是全部请求的Sessions)有效。

参数声明:能够在HQL中使用SET关键字设定参数,例如:

set mapred.reduce.tasks=100;

这一设定的做用域也是Session级的。

上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数,命令行参数覆盖配置文件设定。注意某些系统级的参数,例如log4j相关的设定,必须用前两种方式设定,由于那些参数的读取在Session创建之前已经完成了。

另外,SerDe参数[王黎20] 必须写在DDL(建表)语句中。例如:

create table if not exists t_dummy(

dummy    string

)

ROW FORMAT SERDE'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

WITH SERDEPROPERTIES (

'field.delim'='\t',

'escape.delim'='\\',

'serialization.null.format'=' '

) STORED AS TEXTFILE;

相似serialization.null.format这样的参数,必须和某个表或分区关联。在DDL外部声明将不起做用。

 

6.  HIVE UDF

6.1基本函数

SHOW FUNCTIONS;

DESCRIBE FUNCTION <function_name>;

6.1.1     关系操做符

Operator

Operand types

Description

A = B

All primitive types

TRUE if expression A is equal to expression B otherwise FALSE

A == B

None!

Fails because of invalid syntax. SQL uses =, not ==

A <> B

All primitive types

NULL if A or B is NULL, TRUE if expression A is NOT equal to expression B otherwise FALSE

A < B

All primitive types

NULL if A or B is NULL, TRUE if expression A is less than expression B otherwise FALSE

A <= B

All primitive types

NULL if A or B is NULL, TRUE if expression A is less than or equal to expression B otherwise FALSE

A > B

All primitive types

NULL if A or B is NULL, TRUE if expression A is greater than expression B otherwise FALSE

A >= B

All primitive types

NULL if A or B is NULL, TRUE if expression A is greater than or equal to expression B otherwise FALSE

A IS NULL

all types

TRUE if expression A evaluates to NULL otherwise FALSE

A IS NOT NULL

All types

TRUE if expression A evaluates to NULL otherwise FALSE

A LIKE B

strings

NULL if A or B is NULL, TRUE if string A matches the SQL simple regular expression B, otherwise FALSE. The comparison is done character by character. The _ character in B matches any character in A(similar to . in posix regular expressions) while the % character in B matches an arbitrary number of characters in A(similar to .* in posix regular expressions) e.g. 'foobar' like 'foo' evaluates to FALSE where as 'foobar' like 'foo_ _ _' evaluates to TRUE and so does 'foobar' like 'foo%'

A RLIKE B

strings

NULL if A or B is NULL, TRUE if string A matches the Java regular expression B(See Java regular expressions syntax), otherwise FALSE e.g. 'foobar' rlike 'foo' evaluates to FALSE where as 'foobar' rlike '^f.*r$' evaluates to TRUE

A REGEXP B

strings

Same as RLIKE

6.1.2     代数操做符

返回数字类型,若是任意一个操做符为NULL,则结果为NULL

Operator

Operand types

Description

A + B

All number types

Gives the result of adding A and B. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands. e.g. since every integer is a float, therefore float is a containing type of integer so the + operator on a float and an int will result in a float.

A - B

All number types

Gives the result of subtracting B from A. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands.

A * B

All number types

Gives the result of multiplying A and B. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands. Note that if the multiplication causing overflow, you will have to cast one of the operators to a type higher in the type hierarchy.

A / B

All number types

Gives the result of dividing B from A. The result is a double type.

A % B

All number types

Gives the reminder resulting from dividing A by B. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands.

A & B

All number types

Gives the result of bitwise AND of A and B. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands.

A | B

All number types

Gives the result of bitwise OR of A and B. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands.

A ^ B

All number types

Gives the result of bitwise XOR of A and B. The type of the result is the same as the common parent(in the type hierarchy) of the types of the operands.

~A

All number types

Gives the result of bitwise NOT of A. The type of the result is the same as the type of A.

 

6.1.3     逻辑操做符

6.1.4     复杂类型操做符

Constructor Function

Operands

Description

Map

(key1, value1, key2, value2, ...)

Creates a map with the given key/value pairs

Struct

(val1, val2, val3, ...)

Creates a struct with the given field values. Struct field names will be col1, col2, ...

Array

(val1, val2, ...)

Creates an array with the given elements

 

6.1.5     内建函数

6.1.6     数学函数

6.1.7     集合函数

6.1.8     类型转换

 

6.1.9     日期函数

返回值类型

名称

描述

string

from_unixtime(int unixtime)

将时间戳(unix epoch秒数)转换为日期时间字符串,例如from_unixtime(0)="1970-01-01 00:00:00"

bigint

unix_timestamp()

得到当前时间戳

bigint

unix_timestamp(string date)

得到date表示的时间戳

bigint

to_date(string timestamp)

返回日期字符串,例如to_date("1970-01-01 00:00:00") = "1970-01-01"

string

year(string date)

返回年,例如year("1970-01-01 00:00:00") = 1970year("1970-01-01") = 1970

int

month(string date)

 

int

day(string date) dayofmonth(date)

 

int

hour(string date)

 

int

minute(string date)

 

int

second(string date)

 

int

weekofyear(string date)

 

int

datediff(string enddate, string startdate)

返回enddatestartdate的天数的差,例如datediff('2009-03-01', '2009-02-27') = 2

int

date_add(string startdate, int days)

days天数到startdate: date_add('2008-12-31', 1) = '2009-01-01'

int

date_sub(string startdate, int days)

days天数到startdate: date_sub('2008-12-31', 1) = '2008-12-30'

 

6.1.10             条件函数

返回值类型

名称

描述

-

if(boolean testCondition, T valueTrue, T valueFalseOrNull)

testCondition为真时返回valueTruetestCondition为假或NULL时返回valueFalseOrNull

-

COALESCE(T v1, T v2, ...)

返回列表中的第一个非空元素,若是列表元素都为空则返回NULL

-

CASE a WHEN b THEN c [WHEN d THEN e]* [ELSE f] END

a = b,返回ca = d,返回e;不然返回f

-

CASE WHEN a THEN b [WHEN c THEN d]* [ELSE e] END

a为真,返回bc为真,返回d;不然e

 

6.1.11             字符串函数

The following are built-in String functionsare supported in hive:

返回值类型

名称 

描述

Int

length(string A)

返回字符串长度

String

reverse(string A)

反转字符串

String

concat(string A, string B...)

合并字符串,例如concat('foo', 'bar')='foobar'。注意这一函数能够接受任意个数的参数

String

substr(string A, int start) substring(string A, int start)

返回子串,例如substr('foobar', 4)='bar'

String

substr(string A, int start, int len) substring(string A, int start, int len)

返回限定长度的子串,例如substr('foobar', 4, 1)='b'

String

upper(string A) ucase(string A)

转换为大写

String

lower(string A) lcase(string A)

转换为小写

String

trim(string A)

 

String

ltrim(string A)

 

String

rtrim(string A)

 

String

regexp_replace(string A, string B, string C)

Returns the string resulting from replacing all substrings in B that match the Java regular expression syntax(See Java regular expressions syntax) with C e.g. regexp_replace("foobar", "oo|ar", "") returns 'fb.' Note that some care is necessary in using predefined character classes: using '\s' as the second argument will match the letter s; '\\s' is necessary to match whitespace, etc.

String

regexp_extract(string subject, string pattern, int intex)

返回使用正则表达式提取的子字串。例如,regexp_extract('foothebar', 'foo(.*?)(bar)', 2)='bar'。注意使用特殊字符的规则:使用'\s'表明的是字符's';空白字符须要使用'\\s',以此类推。

String

parse_url(string urlString, string partToExtract)

解析URL字符串,partToExtract的可选项有:HOST, PATH, QUERY, REF, PROTOCOL, FILE, AUTHORITY, USERINFO

例如,

parse_url('http://facebook.com/path/p1.php?query=1', 'HOST')='facebook.com'

parse_url('http://facebook.com/path/p1.php?query=1', 'PATH')='/path/p1.php'

parse_url('http://facebook.com/path/p1.php?query=1', 'QUERY')='query=1',能够指定key来返回特定参数,key的格式是QUERY:<KEY_NAME>,例如QUERY:k1

parse_url('http://facebook.com/path/p1.php?query=1&field=2','QUERY','query')='1'能够用来取出外部渲染参数key对应的value

parse_url('http://facebook.com/path/p1.php?query=1&field=2','QUERY','field')='2'

parse_url('http://facebook.com/path/p1.php?query=1#Ref', 'REF')='Ref'

parse_url('http://facebook.com/path/p1.php?query=1#Ref', 'PROTOCOL')='http'

String

get_json_object(string json_string, string path)

解析json字符串。若源json字符串非法则返回NULLpath参数支持JSONPath的一个子集,包括如下标记:

$: Root object

[]: Subscript operator for array

&: Wildcard for []

.: Child operator

String

space(int n)

返回一个包含n个空格的字符串

String

repeat(string str, int n)

重复str字符串n

String

ascii(string str)

返回str中第一个字符的ascii

String

lpad(string str, int len, string pad)

左端补齐str到长度为len。补齐的字符串由pad指定。

String

rpad(string str, int len, string pad)

右端补齐str到长度为len。补齐的字符串由pad指定。

Array

split(string str, string pat)

返回使用pat做为正则表达式分割str字符串的列表。例如,split('foobar', 'o')[2] = 'bar'。?不是很明白这个结果

Int

find_in_set(string str, string strList)

Returns the first occurance of str in strList where strList is a comma-delimited string. Returns null if either argument is null. Returns 0 if the first argument contains any commas. e.g. find_in_set('ab', 'abc,b,ab,c,def') returns 3

 

6.2UDTF

UDTFBuilt-inTable-Generating Functions

使用这些UDTF函数有一些限制:

1SELECT里面不能有其它字段

如:SELECTpageid, explode(adid_list) AS myCol...

2、不能嵌套

如:SELECTexplode(explode(adid_list)) AS myCol...不支持

3、不支持GROUP BY / CLUSTER BY/ DISTRIBUTE BY / SORT BY

如:SELECT explode(adid_list) ASmyCol ... GROUP BY myCol

 

6.2.1  Explode

将数组进行转置

例如:

1create table test2(mycol array<int>);

2insert OVERWRITE table test2 select * from (select array(1,2,3) froma union all select array(7,8,9)  fromd)c;

3hive> select * from test2;

OK

[1,2,3]

[7,8,9]

  1. hive> SELECT explode(myCol) AS myNewCol FROM test2;

    OK

    1

    2

    3

    7

    8

    9


 

 

7.  HIVEMAP/REDUCE

7.1JOIN

对于 JOIN操做:

INSERT OVERWRITE TABLE pv_users

SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid);

实现过程为:

  • Map
    • JOIN ON 条件中的列做为 Key,若是有多个列,则 Key是这些列的组合
    • JOIN 以后所关心的列做为 Value,当有多个列时,Value是这些列的组合。在 Value 中还会包含表的 Tag 信息,用于标明此 Value对应于哪一个表。
    • 按照 Key 进行排序。
  • Shuffle
    • 根据 Key 的值进行 Hash,并将 Key/Value对按照 Hash 值推至不一样对 Reduce中。
  • Reduce
    • Reducer 根据 Key值进行 Join操做,而且经过 Tag来识别不一样的表中的数据。

具体实现过程如图:

7.2GROUPBY

SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age;

具体实现过程如图:

7.3DISTINCT

SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;

实现过程如图:

 

8.  使用HIVE注意点

8.1字符集

HadoopHive都是用UTF-8编码的,因此全部中文必须是UTF-8编码才能正常使用

备注:中文数据load到表里面若是字符集不一样,颇有可能全是乱码须要作转码的可是hive自己没有函数来作这个

 

8.2压缩

hive.exec.compress.output 这个参数默认是 false,可是不少时候貌似要单独显式设置一遍

不然会对结果作压缩的,若是你的这个文件后面还要在hadoop下直接操做那么就不能压缩了

 

8.3count(distinct)

当前的 Hive不支持在一条查询语句中有多 Distinct。若是要在 Hive查询语句中实现多Distinct,须要使用至少n+1条查询语句(ndistinct的数目),前n条查询分别对 n个列去重,最后一条查询语句对 n个去重以后的列作 Join操做,获得最终结果。

 

8.4JOIN

只支持等值链接

 

8.5DML操做

只支持INSERT/LOAD操做,无UPDATEDELTE

8.6HAVING

不支持HAVING操做。若是须要这个功能要嵌套一个子查询用where限制

8.7子查询

Hive不支持where子句中的子查询

 

8.8Join中处理null值的语义区别

SQL标准中,任何对null的操做(数值比较,字符串操做等)结果都为nullHivenull值处理的逻辑和标准基本一致,除了Join时的特殊逻辑。

这里的特殊逻辑指的是,HiveJoin中,做为Join key的字段比较,null=null是有意义的,且返回值为true。检查如下查询:

select u.uid, count(u.uid)

from t_weblog l join t_user u on (l.uid = u.uid) group by u.uid;

查询中,t_weblog表中uid为空的记录将和t_user表中uid为空的记录作链接,即l.uid = u.uid=null成立。

若是须要与标准一致的语义,咱们须要改写查询手动过滤null值的状况:

select u.uid, count(u.uid)

from t_weblog l join t_user u

on (l.uid = u.uid and l.uid is not null and u.uid isnot null)

group by u.uid;

实践中,这一语义区别也是常常致使数据倾斜的缘由之一。

 

8.9分号字符

分号是SQL语句结束标记,在HiveQL中也是,可是在HiveQL中,对分号的识别没有那么智慧,例如:

select concat(cookie_id,concat(';',’zoo’))from c02_clickstat_fatdt1 limit 2;

FAILED: Parse Error: line 0:-1 cannotrecognize input '<EOF>' in function specification

能够推断,Hive解析语句的时候,只要遇到分号就认为语句结束,而不管是否用引号包含起来。

解决的办法是,使用分号的八进制的ASCII码进行转义,那么上述语句应写成:

selectconcat(cookie_id,concat('\073','zoo')) from c02_clickstat_fatdt1 limit 2;

为何是八进制ASCII码?

我尝试用十六进制的ASCII码,但Hive会将其视为字符串处理并未转义,好像仅支持八进制,缘由不详。这个规则也适用于其余非SELECT语句,如CREATE TABLE中须要定义分隔符,那么对不可见字符作分隔符就须要用八进制的ASCII码来转义。

 

8.10        Insert

8.10.1             新增数据

根据语法Insert必须加“OVERWRITE”关键字,也就是说每一次插入都是一次重写。那如何实现表中新增数据呢?

假设Hive中有表xiaojun1,

hive> DESCRIBE xiaojun1;

OK

id int

value int

hive> SELECT * FROM xiaojun1;

OK

3 4

1 2

2 3

现增长一条记录:

hive> INSERT OVERWRITE TABLE xiaojun1

SELECT id, value FROM (

SELECT id, value FROM xiaojun1

UNION ALL

SELECT 4 AS id, 5 AS value FROM xiaojun1 limit 1

) u;

结果是:

hive>SELECT * FROM p1;

OK

3 4

4 5

2 3

1 2

其中的关键在于,关键字UNION ALL的应用,即将原有数据集和新增数据集进行结合,而后重写表.

 

8.10.2             插入次序

 

INSERT OVERWRITE TABLE在插入数据时,是按照后面的SELECT语句中的字段顺序插入的.也就说,idvalue的位置互换,那么value将被写入id,id被写入value.

8.10.3             初始值

INSERT OVERWRITE TABLE在插入数据时,后面的字段的初始值应注意与表定义中的一致性.例如,当为一个STRING类型字段初始为NULL:

NULL AS field_name //这可能会被提示定义类型为STRING,但这里是void

CAST(NULL AS STRING) AS field_name //这样是正确的

又如,为一个BIGINT类型的字段初始为0:

CAST(0 AS BIGINT) AS field_name

 

9.  优化

9.1HADOOP计算框架特性

  • 数据量大不是问题,数据倾斜是个问题。
  • jobs数比较多的做业运行效率相对比较低,好比即便有几百行的表,若是屡次关联屡次汇总,产生十几个jobs,耗时很长。缘由是map reduce做业初始化的时间是比较长的。
  • sum,count,max,minUDAF,不怕数据倾斜问题,hadoopmap端的汇总合并优化,使数据倾斜不成问题。
  • count(distinct ),在数据量大的状况下,效率较低,若是是多count(distinct )效率更低,由于count(distinct)是按group by 字段分组,按distinct字段排序,通常这种分布方式是很倾斜的,好比男uv,uv,淘宝一天30亿的pv,若是按性别分组,分配2reduce,每一个reduce处理15亿数据。

9.2优化的经常使用手段

  • 好的模型设计事半功倍。
  • 解决数据倾斜问题。
  • 减小job数。
  • 设置合理的map reducetask数,能有效提高性能。(好比,10w+级别的计算,用160reduce,那是至关的浪费,1个足够)
  • 了解数据分布,本身动手解决数据倾斜问题是个不错的选择。set hive.groupby.skewindata=true;这是通用的算法优化,但算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,能够经过业务逻辑精确有效的解决数据倾斜问题。
  • 数据量较大的状况下,慎用count(distinct)count(distinct)容易产生倾斜问题。
  • 对小文件进行合并,是行至有效的提升调度效率的方法,假如全部的做业设置合理的文件数,对云梯的总体调度效率也会产生积极的正向影响。
  • 优化时把握总体,单个做业最优不如总体最优。

   

9.3全排序

Hive的排序关键字是SORT BY,它有意区别于传统数据库的ORDER BY也是为了强调二者的区别–SORT BY只能在单机范围内排序。[王黎21] 

9.3.1     1

set mapred.reduce.tasks=2;

原值

select cookie_id,page_id,id fromc02_clickstat_fatdt1

where cookie_idIN('1.193.131.218.1288611279693.0','1.193.148.164.1288609861509.2')

1.193.148.164.1288609861509.2  113181412886099008861288609901078194082403     684000005

1.193.148.164.1288609861509.2  127001128860563972141288609859828580660473     684000015

1.193.148.164.1288609861509.2  113181412886099165721288609915890452725326     684000018

1.193.131.218.1288611279693.0  01c183da6e4bc50712881288611540109914561053     684000114

1.193.131.218.1288611279693.0  01c183da6e4bc22412881288611414343558274174     684000118

1.193.131.218.1288611279693.0  01c183da6e4bc50712881288611511781996667988     684000121

1.193.131.218.1288611279693.0  01c183da6e4bc22412881288611523640691739999     684000126

1.193.131.218.1288611279693.0  01c183da6e4bc50712881288611540109914561053     684000128

 

 

hive> select cookie_id,page_id,id fromc02_clickstat_fatdt1 where

cookie_idIN('1.193.131.218.1288611279693.0','1.193.148.164.1288609861509.2')

SORT BY COOKIE_ID,PAGE_ID;

SORT排序后的值

1.193.131.218.1288611279693.0          684000118      01c183da6e4bc22412881288611414343558274174     684000118

1.193.131.218.1288611279693.0          684000114      01c183da6e4bc50712881288611540109914561053     684000114

1.193.131.218.1288611279693.0          684000128      01c183da6e4bc50712881288611540109914561053     684000128

1.193.148.164.1288609861509.2          684000005      113181412886099008861288609901078194082403     684000005

1.193.148.164.1288609861509.2          684000018      113181412886099165721288609915890452725326     684000018

1.193.131.218.1288611279693.0          684000126      01c183da6e4bc22412881288611523640691739999     684000126

1.193.131.218.1288611279693.0          684000121      01c183da6e4bc50712881288611511781996667988     684000121

1.193.148.164.1288609861509.2          684000015      127001128860563972141288609859828580660473     684000015

 

select cookie_id,page_id,id fromc02_clickstat_fatdt1

where cookie_idIN('1.193.131.218.1288611279693.0','1.193.148.164.1288609861509.2')

ORDER BY PAGE_ID,COOKIE_ID;

1.193.131.218.1288611279693.0          684000118      01c183da6e4bc22412881288611414343558274174     684000118

1.193.131.218.1288611279693.0          684000126      01c183da6e4bc22412881288611523640691739999     684000126

1.193.131.218.1288611279693.0          684000121      01c183da6e4bc50712881288611511781996667988     684000121

1.193.131.218.1288611279693.0          684000114      01c183da6e4bc50712881288611540109914561053     684000114

1.193.131.218.1288611279693.0          684000128      01c183da6e4bc50712881288611540109914561053     684000128

1.193.148.164.1288609861509.2          684000005      113181412886099008861288609901078194082403     684000005

1.193.148.164.1288609861509.2          684000018      113181412886099165721288609915890452725326     684000018

1.193.148.164.1288609861509.2          684000015      127001128860563972141288609859828580660473     684000015

能够看到SORTORDER排序出来的值不同。一开始我指定了2reduce进行数据分发(各自进行排序)。结果不同的主要缘由是上述查询没有reduce keyhive会生成随机数做为reduce key。这样的话输入记录也随机地被分发到不一样reducer机器上去了。为了保证reducer之间没有重复的cookie_id记录,可使用DISTRIBUTE BY关键字指定分发keycookie_id

select cookie_id,country,id,page_id,id fromc02_clickstat_fatdt1 where cookie_idIN('1.193.131.218.1288611279693.0','1.193.148.164.1288609861509.2') distribute by cookie_id SORT BYCOOKIE_ID,page_id;

1.193.131.218.1288611279693.0          684000118      01c183da6e4bc22412881288611414343558274174     684000118

1.193.131.218.1288611279693.0          684000126      01c183da6e4bc22412881288611523640691739999     684000126

1.193.131.218.1288611279693.0          684000121      01c183da6e4bc50712881288611511781996667988     684000121

1.193.131.218.1288611279693.0          684000114      01c183da6e4bc50712881288611540109914561053     684000114

1.193.131.218.1288611279693.0          684000128      01c183da6e4bc50712881288611540109914561053     684000128

1.193.148.164.1288609861509.2          684000005      113181412886099008861288609901078194082403     684000005

1.193.148.164.1288609861509.2          684000018      113181412886099165721288609915890452725326     684000018

1.193.148.164.1288609861509.2          684000015      127001128860563972141288609859828580660473     684000015

9.3.2     2

CREATE TABLE if not exists t_order(

 

id int, --订单编号

 

sale_id int, --销售ID

 

customer_id int, --客户ID

 

product _id int, --产品ID

 

amount int --数量

 

) PARTITIONED BY (ds STRING);

在表中查询全部销售记录,并按照销售ID和数量排序:

set mapred.reduce.tasks=2;

 

Select sale_id, amount from t_order

 

Sort by sale_id, amount;

这一查询可能获得非指望的排序。指定的2reducer分发到的数据多是(各自排序):

Reducer1

Sale_id | amount

 

0 | 100

 

1 | 30

 

1 | 50

 

2 | 20

Reducer2

Sale_id | amount

 

0 | 110

 

0 | 120

 

3 | 50

 

4 | 20

使用DISTRIBUTE BY关键字指定分发keysale_id。改造后的HQL以下:

set mapred.reduce.tasks=2;

 

Select sale_id, amount from t_order

 

Distribute by sale_id

 

Sort by sale_id, amount;

这样可以保证查询的销售记录集合中,销售ID对应的数量是正确排序的,可是销售ID不能正确排序,缘由是hive使用hadoop默认的HashPartitioner分发数据。

这就涉及到一个全排序的问题。解决的办法无外乎两种:

1.)不分发数据,使用单个reducer

set mapred.reduce.tasks=1;

这一方法的缺陷在于reduce端成为了性能瓶颈,并且在数据量大的状况下通常都没法获得结果。可是实践中这仍然是最经常使用的方法,缘由是一般排序的查询是为了获得排名靠前的若干结果,所以能够用limit子句大大减小数据量。使用limit n后,传输到reduce端(单机)的数据记录数就减小到n*map个数)。

2.)修改Partitioner,这种方法能够作到全排序。这里可使用Hadoop自带的TotalOrderPartitioner(来自于Yahoo!TeraSort项目),这是一个为了支持跨reducer分发有序数据开发的Partitioner,它须要一个SequenceFile格式的文件指定分发的数据区间。若是咱们已经生成了这一文件(存储在/tmp/range_key_list,分红100reducer),能够将上述查询改写为

set mapred.reduce.tasks=100;

 

sethive.mapred.partitioner=org.apache.hadoop.mapred.lib.TotalOrderPartitioner;

 

settotal.order.partitioner.path=/tmp/ range_key_list;

 

Select sale_id, amount from t_order

 

Cluster by sale_id

 

Sort by amount;

有不少种方法生成这一区间文件(例如hadoop自带的o.a.h.mapreduce.lib.partition.InputSampler工具)。这里介绍用Hive生成的方法,例若有一个按id有序的t_sale表:

CREATE TABLE if not exists t_sale (

 

id int,

 

name string,

 

loc string

 

);

则生成按sale_id分发的区间文件的方法是:

create external tablerange_keys(sale_id int)

 

row format serde

 

'org.apache.hadoop.hive.serde2.binarysortable.BinarySortableSerDe'

 

stored as

 

inputformat

 

'org.apache.hadoop.mapred.TextInputFormat'

 

outputformat

 

'org.apache.hadoop.hive.ql.io.HiveNullValueSequenceFileOutputFormat'

 

location '/tmp/range_key_list';

 

 

 

insert overwrite table range_keys

 

select distinct sale_id

 

from source t_salesampletable(BUCKET 100 OUT OF 100 ON rand()) s

 

sort by sale_id;

生成的文件(/tmp/range_key_list目录下)可让TotalOrderPartitionersale_id有序地分发reduce处理的数据。区间文件须要考虑的主要问题是数据分发的均衡性,这有赖于对数据深刻的理解。

9.4怎样作笛卡尔积

Hive设定为严格模式(hive.mapred.mode=strict)时,不容许在HQL语句中出现笛卡尔积,这实际说明了Hive对笛卡尔积支持较弱。由于找不到Join keyHive只能使用1reducer来完成笛卡尔积。

固然也能够用上面说的limit的办法来减小某个表参与join的数据量,但对于须要笛卡尔积语义的需求来讲,常常是一个大表和一个小表的Join操做,结果仍然很大(以致于没法用单机处理),这时MapJoin才是最好的解决办法。

MapJoin,顾名思义,会在Map端完成Join操做。这须要将Join操做的一个或多个表彻底读入内存。

MapJoin的用法是在查询/子查询的SELECT关键字后面添加/*+ MAPJOIN(tablelist) */提示优化器转化为MapJoin(目前Hive的优化器不能自动优化MapJoin)。其中tablelist能够是一个表,或以逗号链接的表的列表。tablelist中的表将会读入内存,应该将小表写在这里。

PS:有用户说MapJoin在子查询中可能出现未知BUG。在大表和小表作笛卡尔积时,规避笛卡尔积的方法是,给Join添加一个Join key,原理很简单:将小表扩充一列join key,并将小表的条目复制数倍,join key各不相同;将大表扩充一列join key为随机数。

9.5怎样写exist/in子句

Hive不支持where子句中的子查询,SQL经常使用的exist in子句须要改写。这一改写相对简单。考虑如下SQL查询语句:

SELECT a.key, a.value

 

FROM a

 

WHERE a.key in

 

(SELECT b.key

 

FROM B);

能够改写为

SELECT a.key, a.value

 

FROM a LEFT OUTER JOIN b ON (a.key =b.key)

 

WHERE b.key <> NULL;

一个更高效的实现是利用left semi join改写为:

SELECT a.key, a.val

 

FROM a LEFT SEMI JOIN b on (a.key =b.key);

left semi join0.5.0以上版本的特性。

9.6怎样决定reducer个数

Hadoop MapReduce程序中,reducer个数的设定极大影响执行效率,这使得Hive怎样决定reducer个数成为一个关键问题。遗憾的是Hive的估计机制很弱,不指定reducer个数的状况下,Hive会猜想肯定一个reducer个数,基于如下两个设定:

1. hive.exec.reducers.bytes.per.reducer(默认为1000^3

2. hive.exec.reducers.max(默认为999

计算reducer数的公式很简单:

N=min(参数2,总输入数据量/参数1)

一般状况下,有必要手动指定reducer个数。考虑到map阶段的输出数据量一般会比输入有大幅减小,所以即便不设定reducer个数,重设参数2仍是必要的。依据Hadoop的经验,能够将参数2设定为0.95*(集群中TaskTracker个数)

9.7合并MapReduce操做

Multi-group by

Multi-group byHive的一个很是好的特性,它使得Hive中利用中间结果变得很是方便。例如,

FROM (SELECT a.status, b.school,b.gender

 

FROM status_updates a JOIN profilesb

 

ON (a.userid = b.userid and

 

a.ds='2009-03-20' )

 

) subq1

 

INSERT OVERWRITE TABLEgender_summary

 

PARTITION(ds='2009-03-20')

 

SELECT subq1.gender, COUNT(1) GROUPBY subq1.gender

 

INSERT OVERWRITE TABLEschool_summary

 

PARTITION(ds='2009-03-20')

 

SELECT subq1.school, COUNT(1) GROUPBY subq1.school

上述查询语句使用了Multi-group by特性连续group by2次数据,使用不一样的groupby key。这一特性能够减小一次MapReduce操做。

Multi-distinct

Multi-distinct是淘宝开发的另外一个multi-xxx特性,使用Multi-distinct能够在同一查询/子查询中使用多个distinct,这一样减小了屡次MapReduce操做

 

9.8Bucketsampling

Bucket是指将数据以指定列的值为key进行hashhash到指定数目的桶中。这样就能够支持高效采样了。

以下例就是以userid这一列为bucket的依据,共设置32buckets

CREATETABLE page_view(viewTime INT, userid BIGINT,

                   page_url STRING,referrer_url STRING,

                   ip STRING COMMENT 'IPAddress of the User')

   COMMENT 'This is the page view table'

   PARTITIONED BY(dt STRING, country STRING)

   CLUSTEREDBY(userid) SORTED BY(viewTime) INTO 32 BUCKETS

   ROW FORMAT DELIMITED

           FIELDS TERMINATED BY '1'

           COLLECTION ITEMS TERMINATED BY '2'

           MAP KEYS TERMINATED BY '3'

   STORED AS SEQUENCEFILE;[王黎22] 

Sampling能够在全体数据上进行采样,这样效率天然就低,它仍是要去访问全部数据。而若是一个表已经对某一列制做了bucket,就能够采样全部桶中指定序号的某个桶,这就减小了访问量。

以下例所示就是采样了page_view32个桶中的第三个桶。

SELECT *FROM page_viewTABLESAMPLE(BUCKET 3 OUT OF 32);

 

9.9Partition

Partition就是分区。分区经过在建立表时启用partition by实现,用来partition的维度并非实际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时能够采用where语句,形似where tablename.partition_key >a来实现。

建立含分区的表

   CREATE TABLE page_view(viewTime INT, useridBIGINT,

                   page_url STRING,referrer_url STRING,

                   ip STRING COMMENT 'IPAddress of the User')

   PARTITIONED BY(date STRING, country STRING)

   ROW FORMAT DELIMITED

           FIELDS TERMINATED BY '1'

   STORED AS TEXTFILE;[王黎23] 

载入内容,并指定分区标志

LOAD DATALOCAL INPATH `/tmp/pv_2008-06-08_us.txt` INTO TABLE page_viewPARTITION(date='2008-06-08',country='US');

查询指定标志的分区内容

SELECTpage_views.*

   FROM page_views

   WHEREpage_views.date >='2008-03-01' AND page_views.date <= '2008-03-31' ANDpage_views.referrer_url like '%xyz.com';

 

9.10        JOIN

9.10.1             JOIN原则

在使用写有 Join操做的查询语句时有一条原则:应该将条目少的表/子查询放在 Join操做符的左边。缘由是在 Join操做的 Reduce 阶段,位于 Join 操做符左边的表的内容会被加载进内存,将条目少的表放在左边,能够有效减小发生OOM错误的概率。对于一条语句中有多个 Join的状况,若是 Join的条件相同,好比查询:

INSERT OVERWRITE TABLE pv_users

 SELECT pv.pageid, u.age FROM page_view p

 JOIN user u ON (pv.userid = u.userid)

 JOIN newuser x ON (u.userid = x.userid); 

  • 若是 Join key相同,无论有多少个表,都会则会合并为一个 Map-Reduce
  • 一个 Map-Reduce 任务,而不是 ‘n’
  • 在作 OUTER JOIN 的时候也是同样

若是 Join的条件不相同,好比:

INSERT OVERWRITE TABLE pv_users

  SELECT pv.pageid, u.age FROM page_view p

  JOIN user u ON (pv.userid = u.userid)

  JOIN newuser x on (u.age = x.age);  

Map-Reduce的任务数目和Join操做的数目是对应的,上述查询和如下查询是等价的:

INSERT OVERWRITE TABLE tmptable

  SELECT * FROM page_view p JOIN user u

  ON (pv.userid = u.userid);

 INSERT OVERWRITE TABLE pv_users

  SELECT x.pageid, x.age FROM tmptable x

  JOIN newuser y ON (x.age = y.age);   

9.10.2             Map Join

Join操做在 Map阶段完成,再也不须要Reduce,前提条件是须要的数据在 Map的过程当中能够访问到。好比查询:

INSERT OVERWRITE TABLE pv_users

  SELECT /*+ MAPJOIN(pv) */ pv.pageid, u.age

  FROM page_view pv

    JOIN user u ON (pv.userid = u.userid);   

能够在 Map阶段完成 Join,如图所示:

相关的参数为:

  • hive.join.emit.interval = 1000 How many rows in the right-most join operand Hive should buffer before emitting the join result.
  • hive.mapjoin.size.key = 10000
  • hive.mapjoin.cache.numrows = 10000

 

9.11        数据倾斜

9.11.1             空值数据倾斜

场景:如日志中,常会有信息丢失的问题,好比全网日志中的user_id,若是取其中的user_idbmw_users关联,会碰到数据倾斜的问题。

解决方法1 user_id为空的不参与关联

Select * From log a

Join bmw_users b

On a.user_id is not null

And a.user_id = b.user_id

Union all

Select * from log a

where a.user_id is null;

解决方法2赋与空值分新的key

Select *  

from log a 

left outer join bmw_users b 

on case when a.user_id is null thenconcat(‘dp_hive’,rand() ) else a.user_id end = b.user_id; 

结论:方法2比方法效率更好,不但io少了,并且做业数也少了。方法1 log读取两次,jobs2。方法2 job数是1。这个优化适合无效id(好比-99,’’,null)产生的倾斜问题。把空值的key变成一个字符串加上随机数,就能把倾斜的数据分到不一样的reduce ,解决数据倾斜问题。附上hadoop通用关联的实现方法(关联经过二次排序实现的,关联的列为parition key,关联的列c1和表的tag组成排序的group key,根据parition key分配reduce。同一reduce内根据group key排序)

 

9.11.2             不一样数据类型关联产生数据倾斜

场景:一张表s8的日志,每一个商品一条记录,要和商品表关联。但关联却碰到倾斜的问题。s8的日志中有字符串商品id,也有数字的商品id,类型是string的,但商品中的数字idbigint的。猜想问题的缘由是把s8的商品id转成数字idhash来分配reduce,因此字符串ids8日志,都到一个reduce上了,解决的方法验证了这个猜想。

解决方法:把数字类型转换成字符串类型

Select * from s8_log a

Left outer join r_auction_auctions b

On a.auction_id = cast(b.auction_id asstring);

9.11.3             大表Join的数据偏斜

MapReduce编程模型下开发代码须要考虑数据偏斜的问题,Hive代码也是同样。数据偏斜的缘由包括如下两点:

1. Map输出key数量极少,致使reduce端退化为单机做业。

2. Map输出key分布不均,少许key对应大量value,致使reduce端单机瓶颈。

Hive中咱们使用MapJoin解决数据偏斜的问题,即将其中的某个表(全量)分发到全部Map端进行Join,从而避免了reduce。这要求分发的表能够被全量载入内存。

极限状况下,Join两边的表都是大表,就没法使用MapJoin

这种问题最为棘手,目前已知的解决思路有两种:

 

1.若是是上述状况1,考虑先对Join中的一个表去重,以此结果过滤无用信息。这样通常会将其中一个大表转化为小表,再使用MapJoin 

一个实例是广告投放效果分析,例如将广告投放者信息表i中的信息填充到广告曝光日志表w中,使用投放者id关联。由于实际广告投放者数量不多(可是投放者信息表i很大),所以能够考虑先在w表中去重查询全部实际广告投放者id列表,以此Join过滤表i,这一结果必然是一个小表,就可使用MapJoin

 

2.若是是上述状况2,考虑切分Join中的一个表为多片,以便将切片所有载入内存,而后采用屡次MapJoin获得结果。

一个实例是商品浏览日志分析,例如将商品信息表i中的信息填充到商品浏览日志表w中,使用商品id关联。可是某些热卖商品浏览量很大,形成数据偏斜。例如,如下语句实现了一个innerjoin逻辑,将商品信息表拆分红2个表:

select * from

(

select w.id, w.time, w.amount, i1.name, i1.loc, i1.cat

from w left outer join i sampletable(1 out of 2 on id) i1

)

union all

(

select w.id, w.time, w.amount, i2.name, i2.loc, i2.cat

from w left outer join i sampletable(1 out of 2 on id) i2

)

);

如下语句实现了left outer join逻辑:

select t1.id, t1.time, t1.amount,

   coalease(t1.name,t2.name),

   coalease(t1.loc, t2.loc),

   coalease(t1.cat, t2.cat)

from ( 

   select w.id, w.time,w.amount, i1.name, i1.loc, i1.cat

   from w left outer join isampletable(1 out of 2 on id) i1

) t1 left outer join i sampletable(2 out of 2 on id)t2;

上述语句使用Hivesample table特性对表作切分。

 

9.12        合并小文件

文件数目过多,会给 HDFS带来压力,而且会影响处理效率,能够经过合并 Map Reduce的结果文件来消除这样的影响:

hive.merge.mapfiles = true是否和并 Map 输出文件,默认为 True

hive.merge.mapredfiles = false是否合并 Reduce输出文件,默认为 False

hive.merge.size.per.task = 256*1000*1000合并文件的大小

 

9.13        GroupBy

  • Map 端部分聚合:

         并非全部的聚合操做都须要在 Reduce端完成,不少聚合操做均可以先在Map端进行部分聚合,最后在 Reduce 端得出最终结果。

          基于 Hash

          参数包括:

      • hive.map.aggr = true 是否在 Map 端进行聚合,默认为 True

      • hive.groupby.mapaggr.checkinterval= 100000 Map端进行聚合操做的条目数目

  • 有数据倾斜的时候进行负载均衡

          hive.groupby.skewindata= false

         当选项设定为 true,生成的查询计划会有两个 MR Job。第一个 MR Job 中,Map 的输出结果集合会随机分布到 Reduce 中,每一个 Reduce 作部分聚合操做,并输出结果,这样处理的结果是相同的 Group By Key有可能被分发到不一样的Reduce中,从而达到负载均衡的目的;第二个 MR Job再根据预处理的数据结果按照 Group By Key分布到 Reduce中(这个过程能够保证相同的Group By Key被分布到同一个 Reduce中),最后完成最终的聚合操做。

 

10.        HIVE FAQ

1 [admin@hadoop1 ~]$ hive

Cannot find hadoop installation: $HADOOP_HOME must be set orhadoop must be in the path

缘由:HADOOP路径没有在环境变量中定义

解决方法:admin@hadoop1~]$ export HADOOP_HOME=$HOME/hadoop-0.19.2

 

2FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.exec.DDLTask

解决方案:Hive的元数据库derby服务没有启动

进入到hive的安装目录

/home/admin/caona/hive/build/dist/db-derby-10.4.1.3-bin/bin

运行startNetworkServer -h 0.0.0.0

 

3[admin@hadoop1 conf]$ hive

Unable to createlog directory ${build.dir}/tmp

缘由:存放日志文件的目录被人删除了。

解决方法:进行到${build.dir}下面,建立一个tmp目录。

如:[admin@hadoop1build]$ pwd

/home/admin/caona/hive/build

[admin@hadoop1build]$ mkdir tmp

 

11.        经常使用参考资料路径

Hive地址

http://wiki.apache.org/hadoop/Hive

http://hive.apache.org/

Velocity地址

http://velocity.apache.org/engine/releases/velocity-1.7/user-guide.html

Hadoop地址

http://hadoop.apache.org/

http://www.cloudera.com/

Hadoop中文文档地址

http://hadoop.apache.org/common/docs/r0.18.2/cn/commands_manual.html