在线客服
扫描二维码
下载博学谷APP扫描二维码
关注博学谷微信公众号
HDFS即Hadoop分布式文件系统。它是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。那大数据中HDFS 存储的机制怎样的呢?
HDFS的存储机制主要从它的三个实体来说!
数据块
每个磁盘都有默认的数据块大小,这是磁盘进行读写的基本单位。构建于单个磁盘之上的文件系统通过磁盘块来管理该文件系统中的块。该文件系统中的块一般为磁盘块的整数倍。磁盘块一般为 512 字节。HDFS 也有块的概念,默认为64MB(一个map处理的数据大小)。HDFS上的文件也被划分为块大小的多个分块,与其他文件系统不同的是,HDFS 中小于一个块大小的文件不会占据整个块的空间。
HDFS用块存储带来的第一个明显的好处一个文件的大小可以大于网络中任意一个磁盘的容量,数据块可以利用磁盘中任意一个磁盘进行存储。第二个简化了系统的设计,将控制单元设置为块,可简化存储管理,计算单个磁盘能存储多少块就相对容易。同时也消除了对元数据的顾虑,如权限信息,可以由其他系统单独管理。
DataNode 节点
DataNode 是 HDFS 文件系统的工作节点,它们根据需要存储并检索数据块,受NameNode节点调度。并且定期向 NameNode 发送它们所存储的块的列表。
NameNode 节点
NameNode 管理 HDFS 文件系统的命名空间,它维护着文件系统树及整棵树的所有的文件及目录。这些文件以两个文件形式永久保存在本地磁盘上(命名空间镜像文件和编辑日志文件).NameNode 记录着每个文件中各个块所在的数据节点信息但并不永久保存这些块的位置信息,因为这些信息在系统启动时由数据节点重建。
没有 NameNode,文件系统将无法使用。如提供 NameNode 服务的机器损坏,文件系统上的所有文件丢失,我们就不能根据 DataNode 的块来重建文件。因此,对 NameNode 的容错非常重要。第一种机制,备份那些组成文件系统元数据持久状态的文件。通过配置使 NameNode在多个文件系统上保存元数据的持久状态或将数据写入本地磁盘的同时,写入一个远程挂载的网络文件系统。当然这些操作都是原子操作。第二种机制是运行一个辅助的 NameNode,它会保存合并后的命名空间镜像的副本,并在Name/Node发生故障时启用。但是辅助NameNode保存。态总是滞后于主力节点,所以在主节点全部失效后难免丢失数据。在这种情况下,一般把存储在远程挂载的网络文件系统的数据复制到辅助NameNode并作为新的主NameNode 运行。
大数据Hadoop中HDFS 存储的机制?就和大家介绍到这里。如果想了解更多大数据相关知识,可以持续关注博学谷,或者通过博学谷大数据课程进行学习。我们会持续分享更多关于大数据的知识。
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
Hadoop基础知识快速入门
学习大数据的同学都知道,Hadoop是一个很重要的知识点。本文主要概括了Hadoop的定义、优势和作用,带大家了解Hadoop基础知识能够快速入门。
7544
2019-08-08 20:13:01
Hadoop的联邦机制 大数据学习总结
Hadoop的NN所使用的资源受所在服务的物理限制,不能满足实际生产需求。本文来谈谈大数据学习之Hadoop的联邦机制,主要内容包括:Hadoop的局限与不足、联邦的实现、主要优点、配置和操作。
6586
2019-08-27 20:31:19
云计算的核心技术有哪些?五大核心技术深入分析
云计算在技术上是通过虚拟化技术架构起来的数据服务中心,实现对存储、计算、内存、网络等资源化,按照用户需求进行动态分配。用户不再是在传统的物理硬件资源上享受服务,而改变为在虚拟资源层上构建自己的应用。
26237
2019-10-22 09:00:44
常见的数据建模工具有哪些?
常见的数据建模工具有哪些?企业选择数据建模工具时,需要找到现在和将来最有可能使用的功能。企业并不需要拥有所有功能的工具,但可以尝试采用一些不同的平台找出可以满足其需求并提高生产率的工具。可以集成来自不同系统的数据,使用免费的数据建模工具来组织大数据,以便更轻松地访问信息。通过寻找复杂概念的图形表示来了解企业的业务。
9871
2020-03-23 17:05:45
大数据广泛用于预测交通和避免事故效果如何?
大数据广泛用于预测交通和避免事故效果如何?通过大数据和汽车技术的大规模投资和发展,减少道路交通事故造成的死亡和受伤人数这一目标似乎是可能的。目前,大数据和高级分析的主要用例之一是使用数据来提高道路和车辆的安全性。
3395
2022-04-29 11:23:18