在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
本文是一篇关于梳理HDFS垃圾桶机制的学习干货总结,主要内容包括垃圾桶机制概述、垃圾桶机制配置、shell操作、Java操作以及圾桶机制验证。下面赶紧来一起看看吧~

1、垃圾桶机制概述
每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。
2、垃圾桶机制配置
HDFS的垃圾回收的默认配置属性为0,也就是说,如果你不小心误删除了某样东西,那么这个操作是不可恢复的。
修改core-site.xml:
那么可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,如 1440=24h=1天。
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>1440</value>
</property>
3、shell操作
(1)删除命令
hadoop fs -rm -r file_path
(2)恢复命令
hadoop fs -mv trash_path recover_path
(3)使用skipTrash选项彻底删除文件
该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。
hadoop fs -rm -r -skipTrash 文件名
4、Java操作
当通过Java API进行文件删除时,默认是不进入垃圾桶的,如果仍想要删到垃圾桶中,代码如下:
//删除文件至垃圾桶中
//创建垃圾桶
Trash trash = new Trash(fileSystem,fileSystem.getConf());
//将文件放在回收站中
trash.moveToTrash(new Path("/dir1/file1"));
//直接删除
fileSystem.delete(new Path("/dir1/file1"),true);
3、圾桶机制验证
如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user/<username>/.Trash 下都有自己的垃圾目录)。只要文件保留在垃圾箱中,件可以快速恢复。 使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从DFS中完全删除。
以上就是HDFS垃圾桶机制总结,大家都掌握了吗?如果还有学习上的疑问,可以报名大数据的相关课程,一对一咨询在线老师课程的问题!
— 申请免费试学名额 —
在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!
相关推荐 更多
大数据是什么?有什么巨大价值?
随着市场经济的不断发展以及互联网科技的快速提升,信息流通的价值也越来越大,马云曾指出我们即将进入DT的时代。因此大数据成为炙手可热的关键因素。大数据更像是矿藏,不只是因为他的量大,而更在于这些数据背后所带来的的价值以及利益。那大数据到底是什么?他的背后隐含着什么样的巨大价值呢?
8507
2019-08-09 18:04:03
云数据安全之数据加密的要点分析
毫不夸张的说,当下是云计算和大数据的时代,我们的生活和工作都受到了云计算和大数据方方面面的影响,云计算和大数据不仅改变了我们的思维、生产方式,还改变了我们生活和学习方式。然而随之而来的云数据安全问题也是日益凸显,许多用户都遭受了大数据泄露带来的损失。本文就来和大家分析一下云数据安全中数据加密的要点。
7274
2019-10-31 19:21:05
分析Nginx访问日志需要学什么?
需要掌握Spark SQL核心知识,分析Nginx访问日志掌握SparkSQL数据分析能力,SparkSQL调优方式及其核心思想。通过思维导图的方式对学习课程所涉及的知识。
5773
2020-02-04 14:13:42
为什么大数据技术那么火?
大数据技术的概念早在2008年被Google提出。在我国2012年提出《大数据研究和发展计划》,从此我国的开放、共享和只能的大数据时代正式开启。随着一线互联网企业在大数据领域的成熟应用,以及国内政策的支持。2016年,云计算大数据技术再次成为人们所追捧的热门技术,与此同时国内大数据人才培养体系逐渐完善,为大数据的普及应用提供源源不断的人才支撑。
4992
2020-09-15 17:36:12
大数据开发的前景和就业如何?该如何去学习它?
大数据开发的前景和就业如何?该如何去学习它? 从岗位招聘和投递的供求对比来看,互联网核心的技术/测试/运维仍保持着较为密集的人才需求,主要体现在企业对以人工 智能、数字孪生为代表的高技术岗位的需求,此类岗位同比保有两位数的高增长,相关从业者仍有较大的择业空间与机会。
5143
2022-07-25 11:32:15
