• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 HDFS垃圾桶机制总结

发布时间:2020-06-17 16:33:24 浏览 4539 来源:博学谷 作者:照照

    本文是一篇关于梳理HDFS垃圾桶机制的学习干货总结,主要内容包括垃圾桶机制概述、垃圾桶机制配置、shell操作、Java操作以及圾桶机制验证。下面赶紧来一起看看吧~

     

    HDFS垃圾桶机制

     

    1、垃圾桶机制概述

     

    每一个文件系统都会有垃圾桶机制,便于将删除的数据回收到垃圾桶里面去,避免某些误操作删除一些重要文件。回收到垃圾桶里里面的资料数据,都可以进行恢复。

     

    2、垃圾桶机制配置

     

    HDFS的垃圾回收的默认配置属性为0,也就是说,如果你不小心误删除了某样东西,那么这个操作是不可恢复的。

    修改core-site.xml

     

    那么可以按照生产上的需求设置回收站的保存时间,这个时间以分钟为单位,如 1440=24h=1天。

     

    <property>

     

          <name>fs.trash.interval</name>

     

          <value>1440</value>

     

      </property>

     

      <property>

     

          <name>fs.trash.checkpoint.interval</name>

     

     

          <value>1440</value>

     

      </property>

     

    3shell操作

     

    1)删除命令

     

    hadoop fs -rm -r file_path

     

    2)恢复命令

     

    hadoop fs -mv trash_path recover_path

     

    3)使用skipTrash选项彻底删除文件

     

    该选项不会将文件发送到垃圾箱。它将从HDFS中完全删除。

     

    hadoop fs -rm -r -skipTrash 文件名

     

    4Java操作

     

    当通过Java API进行文件删除时,默认是不进入垃圾桶的,如果仍想要删到垃圾桶中,代码如下:

     

    //删除文件至垃圾桶中

     

    //创建垃圾桶

     

    Trash trash = new Trash(fileSystem,fileSystem.getConf());

     

    //将文件放在回收站中

     

    trash.moveToTrash(new Path("/dir1/file1"));

     

     

    //直接删除

     

    fileSystem.delete(new Path("/dir1/file1"),true);

     

    3、圾桶机制验证

     

    如果启用垃圾箱配置,dfs命令删除的文件不会立即从HDFS中删除。相反,HDFS将其移动到垃圾目录(每个用户在/user/<username>/.Trash 下都有自己的垃圾目录)。只要文件保留在垃圾箱中,件可以快速恢复。 使用skipTrash选项删除文件,该选项不会将文件发送到垃圾箱。它将从DFS中完全删除。

     

    以上就是HDFS垃圾桶机制总结,大家都掌握了吗?如果还有学习上的疑问,可以报名大数据的相关课程,一对一咨询在线老师课程的问题!

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: 零基础小白的大数据入门手册 下一篇: 学大数据自学好还是参加培训效果好?

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码