大数据技术 Hadoop学习(02)：环境准备-职坐标

大数据技术 Hadoop学习(02)：环境准备

沉沙 2018-10-08 来源：阅读 1733 评论 0

摘要：本篇教程探讨了大数据技术 Hadoop学习(02)：环境准备，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

本篇教程探讨了大数据技术 Hadoop学习(02)：环境准备，希望阅读本篇文章以后大家有所收获，帮助大家对大数据技术的理解更加深入。

起因

    　　我们对Hadoop有了初步的认知，得有NameNode,DataNode,NameNode和DataNode可以在一个机器上，但这样效果不好。由于本人的机器只有8G内存，所以这里就创建4个虚拟机一个专门给Ambari使用，一个给NameNode,另外两个给DataNode。

    　　我们开始迈出第一步了。

虚拟机

    　   这里我们使用VMware Workstation 10作为硬件生产环境。

    　　VMware的安装就不用多说了，很多地方可以找的到。

    　　这里我把VMware的服务都停用了，待使用的时候才开启，写了一个批处理脚本，使用管理员的方式运行即可启动所以VMware服务。

    　　脚本地址： github

Linux

    　　这里我们选择CentOS-6.4 64位作为我们的系统生产环境。

    　　下面我们开始安装4台虚拟机，这么没有使用Clone的方式去快捷创建，怕ip，mac，uuid等我们初学者还得要去修改的地方，预防一些可能出现的问题，等以后熟练后可以使用Clone的方式安装。

系统安装

    一：虚拟机准备

    二：文件->新建虚拟机，选择自定义

    三：选择WorkStation10


    四：选择稍后安装系统

    五：选择Linux->CentOS 64 bit

    六：输入虚拟机名称

    　　这里我的命名方式就是H+ip
    七：选择处理器个数，核心个数

    　　这里适当的给就行了，我配置很一般，就每个给一个核。给多了，实际OS的也得抢占，没意义。
    八：选择内存大小

    　　这里Ambari因为我单独作为一个服务器了，所以这个可以少给点， NameNode和DataNode可以多分配点。实际中我都只分配了1G，测试环境而已。
    九：选择网络类型

    　　这里不懂还是选择桥接网络，避免一些多余的配置出来。当然，高手另谈。
    十：后面直接下一步下一步

    　　到了制定磁盘大小，除了Ambari的其他都建议30G以上。下一步下一步完成即可
    十一：鼠标右键H30等->设置->CD/DVD->改成使用IOS镜像

    十二：启动H30

    　　开始安装CentOS,先启动了H30的点重新启动
    十三：选择第一个：Install or upgrad an exist system

    十四：跳过Media test

    十五：选择简体中文

    　　英语牛逼的可以直接英语。键盘还是默认美式英语不修改。

    十六：选择基本存储设备

    十七：忽略所有数据

    　　本来就是要做系统，原来的数据当然不要咯。
    十八：设置主机名

    十九：配置网络->编辑

    　　勾选自动连接
    　　IPV4设置：手动，添加。
    　　　　IP：192.168.1.30
    　　　　掩码：255.255.255.0
    　　　　网关:192.168.1.1
    　　　　DNS:192.168.1.1
    　　这里自动连接一定要勾选，免得一进去说ping不通，不勾选网络默认是不开的，得自己去改配置。DNS网关还是得设置上，要不访问不了外网。
    　　好了直接点应用

    二十：设置root密码

    　　过于简单会提示，点忽略即可，不过在正式环境还是得设置个复杂的。

    二十一：默认下一步，选择写入

    二十二：选择最小安装，定制软件包

    　　点现在自定义。
    　　这里就不要选什么Desktop和其他的了.桌面的会装很多东西，而且浪费内存，选Desktop还不如去玩Windows。

    二十三：自定义存储库

    　　在多次实验中，个人觉得多选个基本系统的基本库就很够用了，像什么vim,yum,ssh都有，基本不用再挂载镜像然后安装。
    　　可能会多装点其他的库，不过带来的方便性比较适合我们这样的初学者。
    　　会玩的可以只选择vim,yum,ssh这常用的。


    二十四：库安装


    二十五：安装完毕，重新引导。