在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
如今,大数据的大浪已经把我们每个人都卷入其中,随着大数据技术一起引起大众注意的还有HIve数据仓库。作为大数据分析的核心工具之一,它一直发挥着为企业提供决策支持的重要作用。因此掌握Hive是入门大数据学习的关键之一,下面我们就一起来看看HIve数据仓库应用案例讲解。

将本地文件数据加载到Hive数据仓库:
首先在/public/users/yexin/Hadoop/hadoopdata下建立文本文件:
Hive中建立表后只有两种方式可以加载数据:
(1)从本地文件系统加载数据
(2)从Hadoop文件系统加载数据
在node63节点启动hive服务:分别输入:hive --service metastore &;hive --service hiveserver2或直接输
入hiveserver2
在node70节点下输入hive登陆,执行如下操作,
创建表:
hive> CREATE TABLE score (
> sno int,name String,
> java decimal(10,2),
> python decimal(10,2))
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '\t'
> LINES TERMINATED BY '\n'
> STORED AS TEXTFILE;
OK
Time taken: 0.429 seconds
导入数据:从本地系统文件按导入
Time taken: 0.429 seconds
hive> load data local inpath '/public/users/yexin/Hadoop/hadoopdata/score.txt' overwrite into table
score;
Loading data to table yexin.score
OK
Time taken: 1.413 seconds
查询score表:
查看HDFS数据:
查看元数据:
use hive;
删除表:drop tabel score? 记住删除表时HDFS上的数据一起删除了。
注意:如果建立的是外部表,drop后HDFS中的文件并没有删除
Beelin命令:
设置访问权限:修改hadoop的core-site.xml
用其他节点作为客户端,需要在node63节点配置hive2的监听节点端口,才能让远程访问hive服务(beeline)
vim hive-site.xml
添加:来绑定node70客户端访问 。这样远程就可以访问了。
<property>
<name>hive.server2.thrift.bind.host</name>
<value>node70</value>
</property>
<property>
<name>hive.server2.long.polling.timeout</name>
<value>5000</value>
</property>
在node70节点(hive的客户端)来连接HiveServer2(允许多个客户端并发操作)
输入:beeline进入beeline,输入:
!connect jdbc:hive2://node70:10000 yexin 12345
以上就是HIve数据仓库应用案例讲解分析,不知道大家都弄清楚了吗?如果对于HIve数据仓库还有深入的学习需求,可以上博学谷官网报名免费大数据相关课程。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据技术分享:Hive的静态分区与动态分区
Hive是机遇Hadoop的一个数据仓库工具,它的学习成本低,可以通过类SQL语句快速实现简单的MAPReduce统计,十分适合数据仓库的统计。在Hive学习过程中必定会接触到分区,这是Hive存放数据的一种形式。查询数据时使用分区列进行过滤,只需根据列值直接扫描对应目录下的数据,不扫描其他不关心的分区,快速定位,提高查询效率。分区分为静态分区和动态分区两种形式。
12687
2019-06-21 18:18:25
大数据开发常用的工具介绍
Java语言和 Linux操作系统,它们是学习大数据的基础。java:只需了解一些基本知识,不需要用很深的 Java技术来做大数据,学习 java SE等于学习大数据基础。与大数据有关的软件都在 Linux上运行,所以 Linux要学扎实一点,学好Linux对你快速掌握与大数据有关的技术,能让你更好地了解 hadoop, hive, hbase, spark等大数据软件的运行环境和网络环境配置。
6633
2020-07-02 13:49:48
学习大数据前应该了解什么?
大数据学习不能停留在理论的层面上,大数据方向切入应是全方位的,基础语言的学习只是很小的一个方面,编程落实到最后到编程思想。学习前一定要对大数据有一个整体的认识。
4775
2021-01-06 10:19:34
学大数据开发要掌握的基础知识有哪些?
大数据专业包含课程较多难度大对学习者的要求较高,从事大数据相关的岗位有平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘,不同的从业方向需要掌握的技能也不尽相同。
4957
2021-01-15 11:06:11
Spark SQL 结构化数据处理流程及原理是什么?
Spark SQL 可以使用现有的 Hive 元存储、SerDes 和 UDF。它可以使用 JDBC/ODBC 连接到现有的 BI 工具。有了 Spark SQL,用户可以编写 SQL 风格的查询。
4330
2022-05-25 11:35:20
