数据仓库框架Hive

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

什么是Hive

Hive是一个构建在Hadoop上的数据仓库框架，是应Facebook每天产生的海量网络数据进行管理和（机器）学习的需求而产生和发展的。

其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具，甚至更进一步可以说hive就是一个MapReduce/Spark Sql的客户端。

Hive本身是数据仓库。那么什么又是数据仓库呢？首先先来了解一下数据仓库的概念及数据仓库的特点。

数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好地解决事务处理，实现对数据的“增、删、改、查”操作，而数据仓库则是用来做查询分析的数据库，通常不会用来做单条数据的插入、修改和删除。 Hive作为一个数据仓库工具，非常适合数据的统计分析，它可以将数据文件组成表格并具有完整的类SQL查询功能，还可将类SQL语句自动转换成MapReduce任务来运行。因此，如果使用Hive，可以大幅提高开发效率。 和传统的数据仓库一样，Hive主要用来访问和管理数据。与传统数据仓库较大的区别是，Hive可以处理超大规模的数据，可扩展性和容错性非常强。由于Hive有类SQL的查询语言，所以学习成本相对比较低。

为什么要使用hive

主要的原因有以下几点:

• 学习MapReduce的成本比较高, 项目周期要求太短, MapReduce如果要实现复杂的查询逻辑开发的难度是比较大的。
• 而如果使用hive, hive采用操作接口类似SQL语法, 提高快速开发的能力. 避免去书写MapReduce,减少学习成本, 而且提供了功能的扩展

hive的特点:

• 可扩展 : Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。
• 延展性 : Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。
• 容错 : 良好的容错性，节点出现问题SQL仍可完成执行。

hive与传统数据库对比

hive主要是用于海量数据的离线数据分析

• 查询语言 由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。
• 数据存储位置 Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
• 数据格式 Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、” ”、”1″）、行分隔符（” ”）以及读取文件数据的方法（Hive 中默认有三个文件格式 TextFile，SequenceFile 以及 RCFile）。由于在加载数据的过程中，不需要从用户数据格式到 Hive 定义的数据格式的转换，因此，Hive 在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的 HDFS 目录中。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。
• 数据更新 由于 Hive 是针对数据仓库应用设计的，而数据仓库的内容是读多写少的。因此，Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的，因此可以使用 INSERT INTO … VALUES 添加数据，使用 UPDATE … SET 修改数据。
• 索引 之前已经说过，Hive 在加载数据的过程中不会对数据进行任何处理，甚至不会对数据进行扫描，因此也没有对数据中的某些 Key 建立索引。Hive 要访问数据中满足条件的特定值时，需要暴力扫描整个数据，因此访问延迟较高。由于 MapReduce 的引入， Hive 可以并行访问数据，因此即使没有索引，对于大数据量的访问，Hive 仍然可以体现出优势。数据库中，通常会针对一个或者几个列建立索引，因此对于少量的特定条件的数据的访问，数据库可以有很高的效率，较低的延迟。由于数据的访问延迟较高，决定了 Hive 不适合在线数据查询。
• 执行 Hive 中大多数查询的执行是通过 Hadoop 提供的 MapReduce 来实现的，而数据库通常有自己的执行引擎。
• 执行延迟 之前提到，Hive 在查询数据的时候，由于没有索引，需要扫描整个表，因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce 框架。由于 MapReduce 本身具有较高的延迟，因此在利用 MapReduce 执行 Hive 查询时，也会有较高的延迟。相对的，数据库的执行延迟较低。当然，这个低是有条件的，即数据规模较小，当数据规模大到超过数据库的处理能力的时候，Hive 的并行计算显然能体现出优势。
• 可扩展性 由于 Hive 是建立在 Hadoop 之上的，因此 Hive 的可扩展性是和 Hadoop 的可扩展性是一致的（世界上最大的 Hadoop 集群在 Yahoo!，2009年的规模在 4000 台节点左右）。而数据库由于 ACID 语义的严格限制，扩展行非常有限。目前最先进的并行数据库 Oracle 在理论上的扩展能力也只有 100 台左右。
• 数据规模 由于 Hive 建立在集群上并可以利用 MapReduce 进行并行计算，因此可以支持很大规模的数据；对应的，数据库可以支持的数据规模较小。

总结：hive具有sql数据库的外表，但应用场景完全不同，hive只适合用来做批量数据统计分析。

Hive设计的目的与应用

Hive主要应用于传统的数据仓库任务ETL（Extract‐Transformation‐Loading）和报表生成。其中，报表生成中可以完成大规模数据分析和批处理的任务，进行海量数据离线分析和低成本进行数据分析，可以应用于日志分析，如统计网站一个时间段内的PV、UV，以及多维度数据分析等。大部分互联网公司使用Hive进行日志分析，包括百度、淘宝等。

Hive的运行架构

Hive的用户接口主要有3个，分别是CLI（Command Line）、Client和WUI。其中CLI是最常用的。

在CLI启动时，一个Hive的副本也会随之启动。Client，顾名思义是Hive的客户端，用户会连接至Hive Server，在启动Client模式时，需要指出Hive Server在哪个节点上，同时在该节点启动Hive Server。WUI则是通过浏览器来访问Hive。

HiveServer是Hive的一种实现方式，客户端可以对Hive中的数据进行相应操作，而不启动CLI，HiveServer和CLI两者都允许远程客户端使用Java、Python等多种编程语言向Hive提交请求，并取回结果。

Hive的体系结构

基本组成:

• 用户接口 包括CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统数据库JDBC类似；WebGUI是通过浏览器访问Hive。
• 元数据存储 Metastore主要用来存储元数据，Hive是将元数据存储在数据库中，如MySQL、derby。Hive 将元数据存储在数据库中。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。
• 解释器、编译器、优化器、执行器 完成HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在HDFS 中，并在随后有MapReduce 调用执行。Hive的数据存储在HDFS中，大部分的查询、计算由MapReduce完成。

Hive的执行流程

在Hive上执行查询时，整体流程大致步骤如下：

• 用户提交查询任务到Driver。
• 编译器Compiler获得用户的任务计划。
• 编译器Compiler根据用户任务从Metastore中得到所需的Hive元数据信息。
• 编译器Compiler对任务进行编译，首先将HQL转换为抽象语法树，接着把抽象语法树转换成查询语句块，并将查询语句块转化为逻辑的查询计划。
• 把最终的计划提交到Driver。
• Driver将计划提交到Execution Engine，获得元数据信息，接着提交到JobTracker或者Source Manager运行该任务，该任务会直接从HDFS中读取文件并进行相应的操作。
• 取得并返回执行结果。

Hive服务

Hive的Shell环境仅仅是Hive命令提供的一项服务。我们可以在运行时使用–service选项指明要使用哪种服务。同时，通过输入hive–service help可以获得可用服务列表。 下面介绍一些常用服务。

• CLI（Common Line Interface）服务 CLI是Hive的命令行接口，也就是Shell环境。CLI启动的时候会同时启动一个Hive的副本，这也是默认的服务。我们可以通过bin/hive或bin/hive–service cli命令来指出Hive Server所在的节点，并且在该节点启动Hive Server。
• HiveServer2服务 通过Thrift提供的服务（默认端口是10000），客户端就可以在不启动CLI的情况下对Hive中的数据进行操作了，并且允许用不同语言如Java、Python语言编写的客户端进行访问。使用Thrift、JDBC和ODBC连接器的客户端需要运行Hive服务器来和Hive进行通信。
• HWI（Hive Web Interface）服务 HWI是通过浏览器访问Hive的方式，它是Hive的Web接口，默认端口是9999。在没有安装任何客户端软件的情况下，这个简单的Web接口可以代替CLI。另外，HWI是一个功能更全面的Hadoop Web接口，其中包括运行Hive查询和浏览Hive mestore的应用程序。命令为bin/hive–service hwi。
• MetaStore服务 负责元数据服务Metastore和Hive服务运行在同一个进程中。使用这个服务，可以让Metastore作为一个单独的进程来运行。通过设置METASTORE_PORT环境变量可以指定服务器监听的端口号。

元数据存储Metastore

Metastore是Hive集中存放元数据的地方。Metastore包括两部分：服务和后台数据的存储。Hive有3种Metastore的配置方式，分别是内嵌模式、本地模式和远程模式。

内嵌模式使用的是内嵌的Derby数据库来存储数据，配置简单，但是一次只能与一个客户端连接，适用于做单元测试，不适用于生产环境。

本地模式和远程模式都采用外部数据库来存储数据，目前支持的数据库有MySQL、Oracle、SQL Server等，在这里我们使用MySQL数据库。本地元存储和远程元存储的区别是本地元数据不需要单独启动Metastore服务，因为本地元存储用的是和本地Hive在同一个进程里的Metastore服务。

在默认的情况下，Metastore服务和Hive服务运行在同一个虚拟机中，它包含一个内嵌的以本地磁盘作为存储的Derby数据库实例，被称之为“内嵌Metastore配置”。

hive的数据存储

Hive中所有的数据都存储在 HDFS 中，没有专门的数据存储格式（可支持Text，SequenceFile，ParquetFile，ORC格式RCFILE等） SequenceFile是hadoop中的一种文件格式：文件内容是以序列化的kv对象来组织的。只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。

Hive 中包含以下数据模型：DB、Table，External Table，Partition，Bucket。

• db：在hdfs中表现为hive.metastore.warehouse.dir目录下一个文件夹。
• table：在hdfs中表现所属db目录下一个文件夹。
• external table：与table类似，不过其数据存放位置可以在任意指定路径。
• partition：在hdfs中表现为table目录下的子目录。
• bucket：在hdfs中表现为同一个表目录下根据hash散列之后的多个文件。

Hive的配置与安装

有3种Metastore的配置方式，分别是内嵌模式、本地模式和远程模式。这里我们以本地模式为例，介绍Hive的配置与安装。首先，本地模式需要MySQL作为Hive Metastore的存储数据库，因此在安装Hive之前需要先安装MySQL。

配置Hive

• 将Hive存放在服务器上
• 解压缩后，在Hive的conf目录下创建一个hive-site.xml文件： ```xml <?xml version=”1.0”?>
  <?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

- 用Hive的lib目录下的jline包，替换掉Hadoop的hadoop-2.5.2\share\hadoop\yarn\lib下的低版本的JAR包
- 接着可以把Hive路径配置到环境变量中，通过hive shell命令访问Hive

[root@master~]# hive shell 17/09/18 12:02:55 WARN conf.HiveConf:HiveConf Logging initialized using configuration in jarog4j.properties hive> show databases ; OK default userdb Time taken:1.777 seconds,Fetched:2 row(s) Hive> ```