大数据技术构建高可靠hadoop集群（5）权限指引-职坐标

大数据技术构建高可靠hadoop集群（5）权限指引

沉沙 2018-10-11 来源：阅读 1761 评论 0

摘要：本篇教程探讨了大数据技术构建高可靠hadoop集群（5）权限指引，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术构建高可靠hadoop集群（5）权限指引，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

概览

HDFS实现了文件和目录的权限模型，这个模式实现了POSIX的许多内容。每个文件或者目录都和一个用户和组关联。对属主，组中其它用户，和其它用户具有分开的权限。文件需要r/w用于读和写。目录使用r/w来列出文件目录/创建删除文件（或者目录），x则是用于访问子目录。

相对于POSIX，HDFS文件没有setuid和setgid,文件也没有可执行的概念，目录也是如此。有关标记位可以设置在目录上，阻止超级用户外的用户，目录的属主或者文件属主，删除或者移动目录内的文件。为文件设置标记位是没有效果的。HDFS为文件目录设置权限。习惯上，unix用于表达和显示的模式还是会被采用，包括使用8进制值的表述。

当一个文件或者目录创建的时候，客户进程的用户识别是文件或者目录的属主，文件或者目录的组是它上级目录的组（BSD规则）。

译注：SETUID和SETGID是posix系统中重要的两个函数，都和文件权限有关，分别是做用户ID和组ID的匹配，如果匹配，则有关的进程就会具有相关的权限。

HDFS也实现了POSIX acls的部分（ACLS-ACCESS CONTROL LISTS-存取控制列表），这样可以提供更好的权限粒度。后文会更详细讨论acls.

每个存取hdfs文件的客户进程都有两部分识别-包括用户名称和组列表。无论什么时候，当客户端进程要访问文件或者目录的时候，HDFS都会执行权限检查(假定客户进程访问的是名称为foo的文件或者目录)。

    如果用户和foo的属主匹配，那么通过测试
    或者foo的组匹配组列表中的某个，那么也通过测试
    否则，测试foo的其它权限

如果权限检查失败，进程也就失败了。

用户标识

从hadoop 0.22开始，hadoop支持两种不同的模式，用于确定用户的标识，模式通过hadoop.security.authentication来设定：

    simple--简单

    这种模式下，客户进程的标识由主机操作系统来确定。在类unix系统中，用户名称等同于'whoami'的结果。译注：就是客户进程在主机上执行whoami获得结果

    kerberos

    这种模式下（身份识别），客户进程的识别通过kerberos证书来确认。例如,用户可能会使用kinit工具来获得一个kerberos tgt，并利用klist来确认它们当前的委托。当kerberos委托和hdfs的用户匹配的时候，只会取主要的内容。例如，委托todd/foobar@CORP.COMPANY.COM会扮演HDFS中用户todd的角色。

如果不考虑以上模式，那么身份识别机制并非hdfs固有的。HDFS内部并不考虑创建用户标识，建立组，或者处理用户证书。

译注：原文的意思是，用户认证这东西，并非HDFS固有，HDFS不需要这个也可以好好工作，因为0.22前并不支持这个。

组映射

一旦一个用户已经如前确定，组清单就通过组映射来确定，这个服务通过属性hadoop.security.group.mapping设定。具体细节参与hadoop组映射。

译注：如果不想搞得太复杂，也可以使用默认的组映射(基于jni和操作系统shell).

权限检查

每个HDFS操作都要求用户具有特定的权限，这些权限通过归属，组归属或者其它权限授予。一个操作可能需要在一个个路径的多个部分执行权限检查，而不仅仅是最后的部分。此外，一些操作依赖于对路径属主的检查。

所有的操作要求遍历存取。遍历存取要求路径中所有部件上具有执行（EXECUTE)权限,除了最后一个部分。例如，任何存取/foo/bar/baz的操作，调用程序都必须对/,/foo,/foo/bar具有执行权限。

下表描述了HDFS对路径中每个部分所执行的权限检查：

    Ownership:  如果调用者是路径属主，是否要做检查。典型地，修改属主或者权限元数据的时候，要求调用者必须是属主。
    Parent:    被请求路径的上级目录。例如目录/foo/bar/baz的上级目录是/foo/bar.
    Ancestor: 祖先- 例如路径/foo/bar/baz的祖先是/foo/bar如果后者存在。如果/foo/bar不存在，而/foo存在，那么祖先就是/foor.(译注：这有点难于理解，难道中间一个目录不存在，就可以有3级目录？)
    Final: 例如，如果请求路径/foo/bar/baz,那么/foo/bar/baz就是最后一个。
    Sub-tree:  子树。如果被请求的路径是目录，那么目录和所有的遍历子目录构成子树。例如，对于目录/foo/bar/baz ,有两个子树，分别是/foo/bar/baz,/foo/bar/baz/buz和/boo/bar/baz/boo

Operation Ownership Parent Ancestor Final Sub-tree
append  NO  N/A  N/A  WRITE  N/A
concat  NO [2]  WRITE (sources)  N/A  READ (sources), WRITE (destination)  N/A
create  NO  N/A  WRITE  WRITE [1]  N/A
createSnapshot  YES  N/A  N/A  N/A  N/A
delete  NO [2]  WRITE  N/A  N/A  READ, WRITE, EXECUTE
deleteSnapshot  YES  N/A  N/A  N/A  N/A
getAclStatus  NO  N/A  N/A  N/A  N/A
getBlockLocations  NO  N/A  N/A  READ  N/A
getContentSummary  NO  N/A  N/A  N/A  READ, EXECUTE
getFileInfo  NO  N/A  N/A  N/A  N/A
getFileLinkInfo  NO  N/A  N/A  N/A  N/A
getLinkTarget  NO  N/A  N/A  N/A  N/A
getListing  NO  N/A  N/A  READ, EXECUTE  N/A
getSnapshotDiffReport  NO  N/A  N/A  READ  READ
getStoragePolicy  NO  N/A  N/A  READ  N/A
getXAttrs  NO  N/A  N/A  READ  N/A
listXAttrs  NO  EXECUTE  N/A  N/A  N/A
mkdirs  NO  N/A  WRITE  N/A  N/A
modifyAclEntries  YES  N/A  N/A  N/A  N/A
removeAcl  YES  N/A  N/A  N/A  N/A
removeAclEntries  YES  N/A  N/A  N/A  N/A
removeDefaultAcl  YES  N/A  N/A  N/A  N/A
removeXAttr  NO [2]  N/A  N/A  WRITE  N/A
rename  NO [2]  WRITE (source)  WRITE (destination)  N/A  N/A
renameSnapshot  YES  N/A  N/A  N/A  N/A
setAcl  YES  N/A  N/A  N/A  N/A
setOwner  YES [3]  N/A  N/A  N/A  N/A
setPermission  YES  N/A  N/A  N/A  N/A
setReplication  NO  N/A  N/A  WRITE  N/A
setStoragePolicy  NO  N/A  N/A  WRITE  N/A
setTimes  NO  N/A  N/A  WRITE  N/A
setXAttr  NO [2]  N/A  N/A  WRITE  N/A
truncate  NO  N/A  N/A  WRITE  N/A

[1] 在create的时候，如果启用覆盖(overwrite)选项，且路径中已经有文件，那么对最终目录的write权限是唯一要求的权限。

[2] 任何检查上级目录权限的操作，也会检查上级目录的归属，如果上级目录有设置权限。

[3] 调用 setOwner来修改文件的属主，要求有HDFS操作用户权限。HDFS的超级用户存取并不要求修改组，但调用者必须是文件的属主，并且是特定组的成员。

译注：对操作的权限，以上表为准，读者只要关心上表即可，原文的有些内容翻译无法到位。

理解实现

对文件和目录的每个操作都需要传递全路径给名称节点，每个操作都需要进行权限检查。

客户端框架会隐式关联用户标识，然后连接到名称节点，以此减少对现有客户端api的变更需求。

有时候，在某个文件上的操作成功了，但重新做的时候，确失败了，因为文件或者目录可能不存在了。例如，当客户端第一次读取一个文件，它会向名称节点请求找到文件的第一个数据块。但请求第二个块的时候可能失败。另一方面，删除一个文件并不会被取消其它客户端对这个文件的访问（早知道这文件的的块)(译注：原文有点晦涩，应该的意思是如果有个客户端正在访问一个文件，而另外一个操作时删除文件，那么删除操作并不会取消前面的读取操作）。

考虑到权限，一个客户端对文件的存取可能中途被撤销。

此外，如果一个客户端正在存取文件的时候，修改文件的权限不会影响现有的存取操作。

文件系统API的变更

译注：由于不想关心老的版本，本处对于原文的翻译略。

原文的大意是添加了几个新的方法：

    public FSDataOutputStream create(Path f, FsPermission permission, boolean overwrite, int bufferSize, short replication, long blockSize, Progressable progress) throws IOException;
    public boolean mkdirs(Path f, FsPermission permission) throws IOException;
    public void setPermission(Path p, FsPermission permission) throws IOException;
    public void setOwner(Path p, String username, String groupname) throws IOException;
    public FileStatus getFileStatus(Path f) throws IOException;will additionally return the user, group and mode associated with the path.

然后，用户或者文件的模式受到umask的限制（译注umask是linux的一个环境变量，顾名思义就是用户掩码，是用于设置目录文件的权限，可能是屏蔽也可能是赋予，需要看情形）。

应用shell变更

新操作

    chmod [-R] mode file ...

    只有文件属主或者超级用户才可以修改文件的mod(权限）。

    chgrp [-R] group file ...

     用户必须是文件的属主且属于特定的组，或者用户必须是超级用户。

    chown [-R] [owner][:[group]] file ...

    只有超级用户才可以修改文件属主。

    ls file ...

    lsr file ...  译注：这个文件执行的时候，反而会一直提示使用 -ls -r

超级用户

所谓的超级用户，就是执行名称节点进程的用户。或者说，谁启动名称节点，谁就是超级用户。超级用户可以做任何事情，权限检查永远是成功的。HDFS的超级用户不必是名称节点主机上的操作系统超级用户，集群中其它节点不是一定要有这个用户。

此外，管理员可能会使用配置的参数来标识一个组，如果设置了，那么组成员也是超级用户。

web服务器

默认情况下，web服务器的标识是可配参数。这就是说，名称节点并不关注真正的用户，但web服务器确会表现的好像有识别一样，除非指定的标识匹配超级用户，否则部分名称空间可能无法通过web服务器存取。

ACLs

除了传统的posix权限模式，hdfs也支持posix acl.

默认情况下，不支持acls，名称节点不允许创建acls.为了启用这个，可以把名称节点的dfs.namenode.acls.enabled 设置为true。

一个acl包含了多个acl条目。每个acl条目设定了用户或者用户组的权限。例如：

   user::rw-
   user:bruce:rwx                  #effective:r--
   group::r-x                      #effective:r--
   group:sales:rwx                 #effective:r--
   mask::r--
   other::r--

每个条目由三个部分构成：类型，名称（可选），权限

每个acl都必须有一个mask(掩码),如果没有提供，那么会通过计算所有条目的权限的和(and操作）来获得一个mask,并把这个mask插入。

在具有acl的文件行执行chmod，实际上是修改mask的权限。因为mask是用作过滤器的，这有效限制了所有扩展acl条目的权限，而不仅仅是修改组条目（那样可能会忘记处理其它扩展条目）。

“access ACL"和”default ACL"之间的模式也有差异，前者定义了权限检查的规则，后者定义了下级文件目录创建的时候所获得默认ACL.

只有目录有"default ACL".

译注：由于hdfs的acl和linux的极其类似，所以不再翻译一些重复的内容。hdfs目录把自己整得和普通文件系统一样，但它们之间还是有很大的不同的。

ACls 文件系统api

    public void modifyAclEntries(Path path, List aclSpec) throws IOException;
    public void removeAclEntries(Path path, List aclSpec) throws IOException;
    public void public void removeDefaultAcl(Path path) throws IOException;
    public void removeAcl(Path path) throws IOException;
    public void setAcl(Path path, List aclSpec) throws IOException;
    public AclStatus getAclStatus(Path path) throws IOException;

ACL shell命令

    hdfs dfs -getfacl [-R]

    显示文件或者目录的acl

    hdfs dfs -setfacl [-R] [-b |-k -m |-x  ] |[--set  ]

    设置acl

    hdfs dfs -ls
    如果文件或者目录具有acl,那么权限串的右边会有+号。

配置参数

    dfs.permissions.enabled = true

    启用权限检查。但chmod, chgrp, chown and setfacl总是检查，无论是否开启。

    dfs.web.ugi = webuser,webgroup

    web服务器的用户和组。如果有多个组，请以逗号分隔。

    dfs.permissions.superusergroup = supergroup

    超级用户组

    fs.permissions.umask-mode = 0022

     创建文件和目录时候所使用umask值。在控制文件中，也可以使用18（10进制，umask字符串通常用8进制表示).

    dfs.cluster.administrators = ACL-for-admins

    集群管理员。主要用于访问默认的servlet.

    dfs.namenode.acls.enabled = true

    启用hdfs的acl控制。