Hive简介

hadoop kda 1353℃ 0评论

1.Hive

Hive是一个数据仓库技术,包括解释器、编译器、优化器,一次将一个sql语句装化为mapreduce代码,然后对代码进行编译,最后优化执行。实质是一个客户端程序,类似jsp和servlet的关系,实际上jsp也是被转化为servlet的的。hive运行时,元数据是存储在一个关系型数据库里面的。
Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HQL,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉 MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。
Hive没有专门的数据格式。Hive可以很好的工作在 Thrift之上,控制分隔符,也允许用户指定数据格式。

Hive的设计特点:

支持索引,加快数据查询。
不同的存储类型,例如,纯文本文件、HBase中的文件。
将元数据保存在关系数据库中,大大减少了在查询过程中执行语义检查的时间。
可以直接使用存储在Hadoop文件系统中的数据。
内置大量用户函数UDF来操作时间、字符串和其他的数据挖掘工具,支持用户扩展UDF函数来完成内置函数无法实现的操作。
类SQL的查询方式,将SQL查询转换为MapReduce的job在Hadoop集群上执行。

Hive的缺点

Hive的HQL表达能力有限:有些复杂运算用HQL不易表达;
Hive效率低:Hive自动生成MR作业,通常不够智能;HQL调优困难,粒度较粗;可控性差;

2.Hive系统架构

1)元数据存储(Metastore)
Hive的数据由两部分组成:数据文件和元数据;
元数据存储,Derby只能用于一个Hive连接,一般存储在MySQL。

2)驱动(Driver):编译器、优化器、执行器
用户通过下面的接口提交Hive给Driver,由Driver进行HQL语句解析,此时从Metastore中获取表的信息,先生成逻辑计划,再生成物理计划,再由Executor生成Job交给Hadoop运行,然后由Driver将结果返回给用户。

编译器(Hive的核心):1,语义解析器(ParseDriver),将查询字符串转换成解析树表达式;2,语法解析器(SemanticAnalyzer),将解析树转换成基于语句块的内部查询表达式;3,逻辑计划生成器(Logical Plan Generator),将内部查询表达式转换为逻辑计划,这些计划由逻辑操作树组成,操作符是Hive的最小处理单元,每个操作符处理代表一道HDFS操作或者是MR作业;4,查询计划生成器(QueryPlan Generator),将逻辑计划转化成物理计划(MR Job)。
优化器:优化器是一个演化组件,当前它的规则是:列修剪,谓词下压。
执行器:编译器将操作树切分成一个Job链(DAG),执行器会顺序执行其中所有的Job;如果Task链不存在依赖关系,可以采用并发执行的方式进行Job的执行。
3)接口:CLI、HWI、ThriftServer

CLI(Common LineInterface):为命令行工具,默认服务。bin/hive或bin/hive–service cli;
HWI(Hive WebInterface):为Web接口,可以用过浏览器访问Hive,默认端口9999,启动方式为bin/hive –service hwi;
ThriftServer:通过Thrift对外提供服务,默认端口是10000,启动方式为bin/hive –service hiveserver;
4)其他服务(bin/hive –service -help)
metastore(bin/hive –service metastore)、hiveserver2(bin/hive –service hiveserver2);

HiveServer2是HieServer改进版本,它提供给新的ThriftAPI来处理JDBC或者ODBC客户端,进行Kerberos身份验证,多个客户端并发,HS2还提供了新的CLI:BeeLine,是Hive 0.11引入的新的交互式CLI,基于SQLLine,可以作为Hive JDBC Client 端访问HievServer2,启动一个beeline就是维护了一个session。
metastore:在默认的情况下,metastore和hive服务运行在同一个进程中,使用这个服务,可以让metastore作为一个单独的(远程)进程运行。通过METASTOE_PORT环境变量(或者使用-p命令选项)来指定监听的端口号(默认为9083)。
5)Hadoop:用HDFS进行存储,用MapReduce进行计算
表中的一个Partition对应表下的一个子目录,每一个Bucket对应一个文件;Hive的默认数据仓库目录是/user/hive/warehouse,在hive-site.xml中由hive.metastore.warehouse.dir项定义;

用户接口主要有三个:CLI,Client 和 WUI。其中最常用的是CLI,Cli启动的时候,会同时启动一个Hive副本。Client是Hive的客户端,用户连接至Hive Server。在启动 Client模式的时候,需要指出Hive Server所在节点,并且在该节点启Hive Server。 WUI是通过浏览器访问Hive;
Hive将元数据存储在数据库中,如mysql、derby。Hive中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等;
解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS中,并在随后有MapReduce调用执行;
Hive的数据存储在HDFS中,大部分的查询、计算由MapReduce完成(包含*的查询,比如select * from tbl不会生成MapRedcue任务)。

3.Hive安装

hive一共有三种安装模式,第一种是本地模式,这种模式下hive使用自带的In memory数据库保存元数据,一般用于Unit Test,配置也比较简单。第二种是单用户模式。通过网络连接到一个数据库中,是最经常使用到的模式,第三种是远程服务器模式。用于非Java客户端访问元数据库,在服务器端启动MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问元数据库。我们将会介绍后两种安装方法,这两种都是用的最多比较多的。

4.Hive的数据模型

Database
Table
Partition
Bucket
File(文件格式:TextFile,RCFile,)
数据类型:
Numeric(Tinyint,Smallint,Bigint,Float,Double,Decimal(Hive 0.13.0可以自定义精度进行扩展)),Date/Time(TIMESTAMP,DATE(0.12.0支持)),String(STRING,VARCHAR(0.12),CHAR(0.13)),Misc(BOLLEAN,BINARY),Complex(ARRAY、MAP、STRUCT、UNIONTYPE)。

5.Metastore

metatore是hive元数据的集中存放地。metatore包括两部分:服务和后台数据的存储。默认情况下,metastore服务和hive服务运行同一个JVM中,他包含一个内嵌的以本地磁盘作为存储的Derby数据库实例。这称为metastore配置。
metastore最大的缺陷是不支持多个客户端同时连接到metastore上,因此只适合用于学习测试的目的,要在实际生产上使用Hive需要将metastore配置为本地模式或者远程模式。

转载请注明:沐雨语曦 » Hive简介

喜欢 (0)
发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址