大数据技术 Hadoop学习(03):Linux准备上
沉沙 2018-10-08 来源 : 阅读 1748 评论 0

摘要:本篇教程探讨了大数据技术 Hadoop学习(03):Linux准备上,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 Hadoop学习(03):Linux准备上,希望阅读本篇文章以后大家有所收获,帮助大家对大数据技术的理解更加深入。

<



      在上一步骤,我们已经准备了4台虚拟机,分别是H30,H31,H32,H33。其中H30为我们的Ambari服务器,H31为NameNode服务器,H32,H33为我们的DataNode服务器。

      接下来,我们就得准备下这些虚拟机的Linux环境了。

检查列表

      1、网络访问

      2、防火墙

      3、Hosts

      4、Vim

      5、Yum

      6、SSH

      7、JDK

      8、时间同步

      9、httpd

      10、createrepo

常用Linux命令

      1、进入目录 cd /etc

      带斜杠的是绝对路径,如果不带,就是进入当前目录下的子目录。

      2、列举该目录结构 ls -al

      3、查看文件内容 cat /etc/hosts

      4、修改某个文件 vi /etc/hosts

                         vim /etc/hosts

      5、重启 reboot

      6、提权  su root

                      sudo

      7、开启服务 service ntpd start

      8、查看服务状态 service ntpd status

      9、关闭服务 service ntpd stop

      10、开机自启动 chkconfig ntpd on

      11、删除文件 rm /var/www/html/abc

      12、删除文件夹 rm -rf /var/www/html/aa

      13、SSH登陆 ssh root@H31

                             ssh h31

      14、修改文件,文件夹权限 chmod 700 /var/www/html/aa

      15、复制文件并改名 cat id_rsa.pub >>authorized_keys

      16、查看包状态  rpm -qa|grep ssh

      17、yum安装 yum install ssh

      18、拷贝文件、文件夹到其他机器 scp /root/.ssh root@H31:/root/.ssh/

      19、查看机器名 hostname

      20、查Ip等信息 ifconfig

搭建环境

    一:使用Xshell 4登陆H30-新建会话
      Xshell 是一个强大的安全终端模拟软件,它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 协议。
     
    二:使用Xshell 4登陆H30-连接会话
    三:使用Xshell 4登陆H30-输入密码
      记住登录名,记住密码(自己部署的玩,记住密码很节约时间)
    四:修改字体大小,编码格式等
      快捷栏->点击像球一样的图标,选择UTF-8
      快捷栏->点击字母的图标,字体改成14。字小太伤眼睛了,根据自己合适的改吧。
    五:关闭防火墙
     
    复制代码

    #关闭防火墙
    service iptables stop

    #永久关闭防火墙
    chkconfig iptables off

    #查看防火墙状态
    service iptables status

    复制代码
    六:关闭SELinux

    #编辑 SELinux 配置文件
    vim /etc/selinux/config

    #改状态
    SELINUX=disabled

      这里大家要是对vi vim 不熟悉的话,上网查一下命令。我只做简单的介绍:

      vim 分3种模式,浏览,编辑,输入命令

      shift+i或者shift+o可以进入编辑模式,esc可以退出编辑模式

      在浏览模式输入:就是可以输入命令,比如:q退出,:q!不做保存退出,:wq保存退出

    七:卸载OpenJDK,安装Sun的JDK(现在叫Oracle了)

    #检查java安装情况
    rpm -qa|grep java
    #卸载openJDK
    rpm -e --nodeps 文件名

      这里我们检查不到安装,那可以直接装JDK

    #新建文件夹
    cd /var
    mkdir -p  www/html

      使用Xftp 4将下载好的jdk上传到H30,也可以点Xshell的xftp链接。

    #安装
    cd /var/www/html
    rpm -ivh jdk-7u67-linux-x64.rpm

    #查看版本
    java -version

    八:修改Hosts

      每个系统中都要修改成这样。

    #编辑hosts    
    vim /etc/hosts

    九:SSH设置

      进入H30,查看ssh是否安装,如果有,继续,没有安装下。

    rpm -qa|grep ssh

      创建.ssh目录。查看文件中,第一个字母d表示是目录,后面跟着的是权限,比如创建者,一般的人,大家有兴趣查下Linux的文件权限。
    复制代码

    #进入root目录
    cd /root
    #创建.ssh目录
    mkdir .ssh
    #设置权限
    chmod 700 .ssh
    #检查
    ls -al

    复制代码

      开始创建SSH密钥

    #创建,后面3个回车
    ssh-keygen -t rsa

       复制id_rsa.pub 到authorized_keys

    cd .ssh
    cat id_rsa.pub >> authorized_keys

     拷贝ssh到H31-H34,登陆,发现可以不用输入密码了,就算ssh设置成功

    ssh root@H31
    #copy
    scp /root/.ssh/authorized_keys root@H31:/root/.ssh/
    #login
    ssh root@H31

       修改H31上面authorized_keys权限
    复制代码

    cd .ssh

    ls -al

    #设置权限
    chmod 600 authorized_keys 

    ls -al

    复制代码

      图中,框起来的可以明细看到权限的改变了。这个文件不是随便什么权限的人能看了,大家也要注意下安全。搞不好哪天变成了肉鸡了得。

    --------------------------------------------------------

      这一期的内容比较多,就分成上下两部分。
   

本文由职坐标整理发布,学习更多的大数据技术相关知识,请关注职坐标大技术云计算大技术技术频道!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式AI+学习就业服务平台 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved