在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。数据仓库的设计大体上可以分为以下几个步骤：概念模型设计、技术准备工作、逻辑模型设计、物理模型设计、数据仓库生成、数据仓库运行与维护。下面我们来看看Hive数仓开发的基本流程。
1.从业务系统获取数据
Sqoop 导入数据库的数据：spoop 可以在 Hive 与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到 Hadoop 的HDFS中，也可以将 HDFS 的数据导进到关系型数据库中。
Flume 采集文本数据：Flume 可以将各类型的文件进行采集，存放入 hdfs中。
Ftp 文件服务器：从文件服务器上下载分析所需的源数据（增量数据、全量数据）。
2.数据存储
数据仓库分层 ods 层、dw 层、da 层：
源数据层 ODS ：直接引用外围的数据 没有统一格式化的 不会直接应用使用不利于分析。
数据仓库层 DW ：来自于 ODS 要经过 ETL 的过程 格式统一 数据规整 干净清洁。
数据应用层 DA ：要去用 DW 层数据真正的数据使用者。
数据集市：也叫数据市场，数据集市就是满足特定的部门或者用户的需求，按照多维的方式进行存储，包括定义维度、需要计算的指标、维度的层次等，生成面向决策分析需求的数据立方体。
3.配置调度系统
4.导出数据&展示
以上就是小编整理的有关大数据面试题之Hive数仓开发的基本流程，都是干货，小伙伴赶紧掌握吧！
— 申请免费试学名额 —
在职想转行提升，担心学不会？根据个人情况规划学习路线，闯关式自适应学习模式保证学习效果
讲师一对一辅导，在线答疑解惑，指导就业！
上一篇：
揭秘 数据分析究竟在企业经营中有什么实际作用？
下一篇：
大数据对企业的意义是什么？有哪些大数据经典案例？
相关推荐 更多
大数据工程师面试时需要注意的那些致命判断题
大数据工程师属于IT行业里面的高薪岗位，所以企业在招聘的时候不仅仅要考虑他们的专业技能，还要考察大数据工程师对于问题的判断能力，从而保障项目的高效率执行。所以和大家分享一些大数据工程师面试时需要注意的那些致命判断题。
7778
2019-06-27 18:23:44
大数据面试题：flume 与 kafka 的整合
当你面试的时候突然被问到：flume 与 kafka 的整合。你会怎么回答？其实面试官提问的时候主要是想考察你对storm的理解，下面小编带大家一起分析这个问题的解答方式！
8790
2019-07-04 19:05:09
大数据面试题 Hadoop的联邦机制
大数据学习需要掌握很多技术知识点，包括Linux、Zookeeper、Hadoop、Redis、HDFS、MapReduce、Hive、lmpala、Hue、Oozie、Storm、Kafka、Spark、Scala、SparkSQL、Hbase、Flink、机器学习等。今天主要和大家分享一下Hadoop的联邦机制。
10097
2019-07-18 23:40:42
大数据面试题 Spark知识点汇总
Spark是一个实现快速通用的集群计算平台，它是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。在大数据库架构中常常需要使用Spark，Spark的知识点一直也是大数据面试题的重点，本文整理了Spark知识点汇总，现在就和大家一起梳理下吧！
7634
2019-07-25 15:33:51
大数据疑难解答 Hbase内部是什么机制？
众所周知，HBase是一个非关系型数据库，它的特征是分布式、列式存储、开源和版本化。无论是在大数据的面试中，还是大数据的工作中，这都是一个经常会出现的难题，然而却很少人能够说清Hbase内部机制。今天我们就花些时间聊聊Hbase内部是什么机制。
6912
2019-10-17 18:13:28
