hive的概念和系统结构介绍

这篇文章主要讲解了“hive的概念和系统结构介绍”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“hive的概念和系统结构介绍”吧!

为企业提供成都网站建设、成都做网站、网站优化、网络营销推广、竞价托管、品牌运营等营销获客服务。创新互联建站拥有网络营销运营团队,以丰富的互联网营销经验助力企业精准获客,真正落地解决中小企业营销获客难题,做到“让获客更简单”。自创立至今,成功用技术实力解决了企业“网站建设、网络品牌塑造、网络营销”三大难题,同时降低了营销成本,提高了有效客户转化率,获得了众多企业客户的高度认可!

Hive介绍

概念:

1.Hive 是建立在Hadoop  上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL ),这是一种可以存储、查询和分析存储在 Hadoop  中的大规模数据的机制。Hive定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉SQL  的用户查询数据。同时,这个语言也允许熟悉 MapReduce  开发者的开发自定义的mapper  和reducer  来处理内建的 mapper和 reducer  无法完成的复杂的分析工作。

2.Hive是SQL解析引擎,它将SQL语句转译成M/R Job然后在Hadoop执行。

3.Hive的表其实就是HDFS的目录/文件,按表名把文件夹分开。如果是分区表,则分区值是子文件夹,可以直接在M/R Job里使用这些数据。 

Hive牛逼的地方就在于:

1. 是基于MapReduce的基础上,支持sql语法

2.  对上传到数据仓库的数据没有任何格式要求 

Hive的系统架构

hive的概念和系统结构介绍 

用户接口,包括 CLI,JDBC/ODBC,WebUI

元数据存储,通常是存储在关系数据库如 MySQL, derby 中

解释器、编译器、优化器、执行器

Hadoop:用 HDFS 进行存储,利用 MapReduce 进行计算

l  用户接口主要有三个:CLI,JDBC/ODBC和 WebUI

  1. CLI,即Shell命令行

  2. JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似

  3. WebGUI是通过浏览器访问 Hive

l  Hive 将元数据存储在数据库中(metastore),目前只支持mysql、derby。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等

l  解释器、编译器、优化器完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划(plan)的生成。生成的查询计划存储在HDFS 中,并在随后有MapReduce 调用执行

l  Hive 的数据存储在HDFS 中,大部分的查询由MapReduce 完成(包含 * 的查询,比如select * from table 不会生成 MapRedcue 任务)

感谢各位的阅读,以上就是“hive的概念和系统结构介绍”的内容了,经过本文的学习后,相信大家对hive的概念和系统结构介绍这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


分享题目:hive的概念和系统结构介绍
文章分享:http://bzwzjz.com/article/jgcjdc.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 成都网站建设 网站设计制作 做网站设计 泸州网站建设 成都品牌网站建设 攀枝花网站设计 温江网站设计 广安网站设计 成都网站设计 品牌网站建设 成都响应式网站建设公司 成都网站建设公司 重庆网站设计 网站制作公司 响应式网站设计 手机网站制作设计 重庆网站建设 重庆手机网站建设 网站制作 app网站建设 企业网站设计