本篇教程探讨了大数据技术学习笔记（5）HDFS的高级特性，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

一.HDFS的回收站: recyclebin

　　1.HDFS的回收站默认是关闭的

       2.启用回收站：去core-site.xml配置

　　路径：/root/training/hadoop-2.7.3/etc/hadoop


    fs.trash.interval
    1440


      3.配置完成后删除目录 hdfs dfs -rmr /folder1

日志：

18/02/26 23:08:03 INFO fs.TrashPolicyDefault: Namenode trash configu ration: Deletion interval = 1440 minutes, Emptier interval = 0 minut es.
Moved: 'hdfs://bigdata11:9000/folder1' to trash at: hdfs://bigdata11 :9000/user/root/.Trash/Current

本质：删除数据的时候，实际是一个ctrl+x操作

　　4.查看回收站：hdfs dfs -lsr /user/root/.Trash/Current

　　5.恢复：实际就是拷贝  hdfs dfs -cp /user/root/.Trash/Current/input/data.txt /input

　　6.清空：hdfs dfs -expunge

二.HDFS的快照  snapshot：备份

　　1.默认：HDFS的快照是禁用的

　　2.开启快照第一步：管理员开启某个目录的快照功能
　　[-allowSnapshot ]
　　[-disallowSnapshot ]

　　hdfs dfsadmin -allowSnapshot /aaa

　　3.第二步：使用HDFS的操作命令，创建快照

　　[-createSnapshot  []]
　　[-deleteSnapshot  ]
　　[-renameSnapshot   ]

　　hdfs dfs -createSnapshot /aaa aaa_backup_01
　　日志：Created snapshot /aaa/.snapshot/aaa_backup_01
　　本质：将数据拷贝一份到当前目录的一个隐藏目录下

 

　　4.对比快照：hdfs snapshotDiff /aaa aaa_backup_01 aaa_backup_02

　　

 

三.HDFS的配额：quota

　　1.名称配额: 规定某个目录下，存放文件（目录）的个数

　　实际的个数：N-1个
　　[-setQuota  ...]
　　[-clrQuota ...]

　　hdfs dfs -mkdir /quota1
　　设置该目录的名称配额：3
　　hdfs dfsadmin -setQuota 3 /quota1

　　当我们放第三个文件的时候
　　hdfs dfs -put data.txt /quota1
　　

put: The NameSpace quota (directories and files) of directory /quota1 is exceeded: quota=3 file count=4


　　2.空间配额: 规定某个目录下，文件的大小
　　[-setSpaceQuota  [-storageType ] ...]
　　[-clrSpaceQuota [-storageType ] ...]

　　hdfs dfs -mkdir /quota2
　　设置该目录的空间配额是：10M
　　hdfs dfsadmin -setSpaceQuota 10M /quota2

　　正确的做法：hdfs dfsadmin -setSpaceQuota 130M /quota2

　　放一个小于10M的文件，会出错
　　

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.DSQuotaExceededException): The DiskSpace quota of /quota2 is exceeded: quota = 10485760 B = 10 MB but diskspace consumed = 134217728 B = 128 MB


　　注意：尽管数据不到128M，但是占用的数据块依然是128M
　　切记：当设置空间配额的时候，这个值不能小于128M

 

四.HDFS的权限

drwxr-xr-x - root supergroup 0 2018-02-26 23:30 /aaa

权限            用户名  组名                                   文件目录

参考命令链接：//blog.csdn.net/feeltouch/article/details/46538277

五.HDFS的安全模式

　　一种保护机制，用于保护数据块的安全性。    

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！