本篇教程探讨了大数据技术 CH8 HDFS Snapshots，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

<

 
1. 概述
HDFS快照是只读的，一个时间点文件系统的一个副本。快照可以是整个文件系统或者文件系统的子树。快照通常用来备份，保护用户错误和灾难恢复。
HDFS快照的实现：
·         快照创建是瞬间的，花费是O(1)不包过inode lookup时间。
·         如果和快照相关的，在修改的时候会使用额外的内存：内存使用时O(M),M是修改的文件和目录个数。
·         Datanode中的block不会被复制：快照只会记录block list和文件大小。不会进行数据复制。
·         快照不会影响HDFS操作：修改被反转再被顺序记录，这样当前的数据还是和以前一样访问。快照的数据通过当前的数据然后使用记录undo。
1.1 Snapshottable目录
快照可以在任何目录上，一旦目录被设置了snapshottable。Snapshottable允许65536个并发快照。Snapshottable目录个数没有限制。管理员可以对任何目录设置为snapshottable。如果快照在snapshottable目录，在快照删除前，目录不能被删除，也不能重命名。
snapshottable目录是不能嵌套的。也就是说如果父目录，或者子目录已经设置了snapshottable目录，那么就不能再设置。
1.2 快照路径
对于一个snapshottable目录，路径.snapshot用来访问快照。假设/foo是是snapshottable目录，/foo/bar是/foo中的文件，并且/foo有一个快照s0。/foo/.snapshot/s0/bar就是/foo/bar的快照副本。通常的API和CLI可以在.snapshot路径上使用。比如：
·         列出所有snapshottable目录下的所有快照：
hdfs dfs -ls /foo/.snapshot
·        
列出快照s0的所有文件：
hdfs dfs -ls /foo/.snapshot/s0
·        
从快照中复制文件：
hdfs dfs -cp -ptopax /foo/.snapshot/s0/bar /tmp
2. 带快照的更新
HDFS快照特性引入了一个新的保留地址用来和快照交互：.snapshot。当从老的HDFS版本不支持快照的，升级时如果有.snapshot那么需要先删除避免出现冲突。
3. 快照操作
3.1 管理操作
允许快照
允许对目录创建快照，如果完成并且成功那么目录就会变成snapshottable。
hdfs dfsadmin -allowSnapshot <path>
参数：snapshottable目录的地址。
禁止快照
禁止目录创建快照。所有快照在禁用前必须删除
hdfs dfsadmin -disallowSnapshot <path>
参数：snapshottable目录的地址。
3.2 用户操作
创建快照
在snapshottable目录上创建快照。需要snapshottable目录的owner权限
hdfs dfs -createSnapshot <path> [<snapshotName>]
snapshotname默认是s'yyyyMMdd-HHmmss.SSS
比如s20130412-151029.033
删除快照
从snapshottable目录删除快照。需要snapshottable 目录owner权限。
hdfs dfs -deleteSnapshot <path> <snapshotName>
重命名快照
快照重命名，需要snapshottable
目录owner权限。
hdfs dfs -renameSnapshot <path> <oldName>
<newName>
获取snapshottable目录列表
列出所有snapshottable目录
hdfs lsSnapshottableDir
获取快照不通的报告
获取2个快照的不同，需要2个快照目录的所有读权限。
命令：hdfs
snapshotDiff <path> <fromSnapshot> <toSnapshot>
结果：




+



   

The file/directory has been created.



   



  



 



-



  

The file/directory has been deleted.



  



 


M



  

The file/directory has been modified.



  



 


R



  

The file/directory has been renamed.



  



 







RENAME表示文件重命名但是还在snapshottable目录下。一个文件或者目录移动出了snapshottable目录，那么就被认为是删除了。一个文件或者目录移动到snapshottable目录，就被认为是创建。
Snapshot差异报告不会爆炸相同操作的顺序。比如如果目录从/foo重命名为/foo2然后在/foo2创建了一个文件bar，那么差异报告：
R. /foo -> /foo2
M. /foo/bar
在重命名后的目录上的操作，报告是之前路径的，比如上面的报告。
 
 





     

本文由职坐标整理发布，学习更多的大数据技术相关知识，请关注职坐标大技术云计算大技术技术频道！