本篇文章探讨了大数据技术之保护Hadoop集群免受恶意软件攻击的三种方法，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。

<

　　自今年以来，新的恶意软件——XBash和DemonBot发动了多起针对Apache Hadoop集群服务器进行的比特币挖掘和DDoS攻击。这种恶意软件可以扫描互联网上的所有Hadoop集群，不安全的集群一被放置在互联网上，几分钟内就可能被感染。
　　保护Hadoop集群免受恶意软件攻击的方法：
　　1、不要将集群直接暴露给互联网
　　将集群直接暴露给互联网相当于为恶意软件的攻击提供了便利，DemonBot只需轻易扫描便可锁定目标集群，并利用漏洞发起攻击。
　　2、使用Kerberos进行强身份验证
　　Hadoop集群本身提供简单的安全防御手段，但这对于企业而言远远不够，Kerberos成为了不少研发人员的选择。
　　其实，大部分攻击都利用了系统已有漏洞，并不是攻击手段有多高明，这就好比小偷从大开的家门进入一样简单。
　　如果没有Kerberos，任何与集群交互的用户都可以伪装成其他用户，甚至不需要特定密钥，任何用户都可以执行任何操作，类似于一个所有人都知道root密码的Linux系统。
　　在一个正确配置且使用Kerberos进行身份验证的Hadoop集群中， 用户与集群进行任何交互都必须输入凭据(如用户名和密码)以证明自己的身份和权限，此验证提供了用户和管理员期望的安全性：用户在系统中的功能无法被他人访问，只有管理员可以访问管理帐户。
　　如果没有Kerberos，任何人都可以访问Hadoop集群并执行各种操作。安全研究人员在Hack.lu会议上演示的攻击案例就是提交一个简单的YARN作业，并在集群的所有机器上执行代码，这可用于在该集群的每台机器上获取shell。
　　XBash发起的攻击之一就是使用Metasploit模块向YARN提交比特币挖掘工作。DemonBot使用相同的技术对受感染的Hadoop服务器运行DDoS攻击。这种攻击并不复杂，目标Hadoop服务器连接到开放式互联网，并且未启用Kerberos身份验证。
　　3、勾选安全服务
　　Cloudera的工程师使用Cloudera Altus创建了一个Hadoop集群。Altus是一个云服务平台，其能够使用CDH在公有云基础架构内大规模分析和处理数据。虽然使用Altus创建不受这些攻击影响的安全集群很简单，但也可以设置易受攻击的集群。
　　在Altus中，制作易受攻击的集群意味着不要选中Secure Clusters，也不要使用允许互联网上任何位置传入流量的AWS安全组。在创建对世界开放的不安全集群的几分钟内，我们就可以观察到攻击行动。YARN Web UI会显示许多正在提交和运行的作业：DemonBot大约每隔一分钟就会对集群发起攻击。
　　要想设置一个更加安全的集群，我们需要满足两大目标：
　　一是仅允许从一组有限的计算机对集群进行SSH访问;
　　二是通过Kerberos启用强身份验证，这在一些工具中很容易实现，比如Cloudera Altus。在Cloudera Altus中，集群是在环境中创建的，环境描述了如何访问用户的程序帐户及其包含的资源，指定了创建集群的基础知识。
　　因此，我们需要重点注意的是Altus环境配置。创建环境有两种方法：一是通过简单的快速入门或设置向导，快速入门教程当然最简单。创建环境时，选择“Environment Quickstart”，然后选择“Secure Clusters”的“Enable”即可。
　　启用安全集群后，将启用Kerberos。Quickstart还将创建一个外部世界无法访问的安全组 ，我们在此环境中创建的集群，基本不会被现有恶意软件攻击。如果需要使用环境创建向导，可以单击“ Quickstart”中的“Secure Clusters”。
　　不同的是，在第二种方式中，用户必须自己提供安全组。创建安全组时，请确保它仅允许从Altus IP地址进行SSH访问。当然，无论你选择什么工具和平台，都需要保证勾选了安全服务，国内各大厂商在设计时应该都将其考虑在内了。      
          

      本文由职坐标整理发布，学习更多的相关知识，请关注职坐标IT知识库！