CentOS的安装
安装
入口

选择镜像文件

设置账号

选择系统安装位置

配置资源

启动虚拟机,安装系统

验证
启动,并输入用户名密码
超级用户:root 密码:000000
安装时创建的用户:bigdata 密码:000000

选择登录root 用户

验证网络是否通
#访问网络[root@localhost ~]# ping www.baidu.comping: www.baidu.com: Name or service not known#访问windows宿主机[root@localhost ~]# ping 192.168.18.1connect: Network is unreachable网络配置
网络规划
网络配置说明

需要配置 VM、Centos的网络配置,包括IP地址,主机名,网络映射,Windows本地的网络配置
模板机的意义
把操作系统的基础配置,包括内存、硬盘等网络等配置好之后,后续如果需要增加虚拟机的话,直接克隆,可以节省大量时间。 毕竟安装一台虚拟机所需时间不短。
在配置好网络后,还需要把一些通用的配置在模板机上配置好,比如jdk、python环境等
网络规划
ip网段划分:
-
前缀:192.168.18.X
-
192.168.18.1:windows本机IP
-
192.168.18.2:网关
-
template 192.168.18.8:模板机器,配置基础环境【网络、jdk,且去掉打印机、Usb,音频】
-
bigdatam10 192.168.18.10 用来做master服务器,部署HDFS的namenode 组件,同时作为YARN的DataManager从机
-
bigdatas20 192.168.18.20 用来做Slaver服务器,资源管理器,部署YARN的ResourcesManager组件,同时作为HDFS的DataNode从机
-
bigdatas30 192.168.18.30 用来做Slaver服务器,部署HDFS的SecondaryNameNode,同时作为HDFS的DataNode从机和作为YARN的DataManager从机
配置VM网络设置
配置入口
VM工具栏—》编辑—》虚拟网络编辑器

VM分配给宿主机IP
位置3:没有特别要求,只要网段一致就好了,我们这里使用18,以前这里我们使用的是1 ,但是有时候我们家庭网络网段也是用1,容易产生网络冲突,所以这里只要避开1就行,换个不同的数字
网关设置
点击位置4,弹出网关设定窗口,网关一般设置为2

网段和IP分配方式
点击位置6,弹出窗口,在位置7更改启示IP地址和结束IP地址,这里选择3~254,避开网关
将位置8的多选框取消掉,取消系统自动分配IP地址,原因是当我们重启服务器的时候,centos的IP地址会变,导致我们需要重新查询IP,在具体地业务系统中,我们需要使用自己的IP规则,同时,需要使用远程连接工具和FTP工具,不宜经常变动。

配置Windows的虚拟网络IP地址
入口
选中电脑网络图标,右键—>打开网络和共享中心



如果没有出现VMnet8,进入VM的虚拟网络编辑器中,还原默认设置即可。【如果有VMnet8,不需要操作下图】

设置网关和宿主机IP
子网IP:在IP的规则范围内,什么数字都可以,但一般家庭网段中的IP地址 可能是 1,因此倒数第二个数字,只要避开1就可以,这里使用的是18
这个网关一般是2
选中VMnet8,右键—>属性—>双击IPv4


参数说明:
默认网关:和VM配置的网关保持一致
首选DNS服务器:与网关保持一致
备用DNS服务器:设置成公网的域名解析器
CentOS网络设置
说明:当做配置的时候,一般使用root账号登录,这样可以避免过多的系统账号切换
当真正搭建集群的时候,才使用bigdata等具体业务账号
配置虚拟机IP地址
使用root账号登录,密码000000,进入命令终端,使用如下命令查看IP地址配置
vim /etc/sysconfig/network-scripts/ifcfg-ens33

完整内容:
TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFROUTE="yes"IPV6_FAILURE_FATAL="no"IPV6_ADDR_GEN_MODE="stable-privacy"NAME="ens33"UUID="03067470-f66c-44f1-bfcc-e1225df9a0d8"DEVICE="ens33"ONBOOT="yes"IPADDR="192.168.18.8"GATEWAY="192.168.18.2"DNS1="192.168.18.2"DNS2="8.8.8.8"更改完成之后,正常来说需要重启下网卡,那么我们在这里先修改一下主机名称
修改虚拟机主机名称
vim /etc/hostname默认名称如下:

更改为:template
配置主机名称映射
说明:当我们在后续的各种软件的配置文件中配置IP地址,当后续IP地址发生变化,要去更改配置文件非常麻烦,所以使用一个名称映射到IP地址,即便后续IP地址发生变化,也只需要更改centos的Ip地址即可,而软件的配置文件中使用的是映射的名称,因此可以不需要更改。
vim /etc/hosts
在下面添加如下内容:
192.168.18.8 template192.168.18.10 bigdatas10192.168.18.20 bigdatas20192.168.18.30 bigdatas30esc—>
注意:名称不能有下划线,否则报如下错误:
Does not contain a valid host
主机的hostname不合法,应修改为不包含着‘.’ ‘/’ ’_‘等非法字符。
大家在命名主机的时候切记,避开上述非法字符
Windows网络映射文件配置
位置
C:\Windows\System32\drivers\etc
将以下代码粘贴到文件末尾
192.168.18.8 template192.168.18.10 bigdatam10192.168.18.20 bigdatas20192.168.18.30 bigdatas30【这里和centos中的hosts一致即可】
注意:
-
在修改hosts文件之前,退出电脑的杀毒软件,否则修改完毕之后,杀毒软件又给改回来了。
-
win10 电脑有自我保护机制,直接修改大概率不成功,先把hosts文件复制到桌面,更改完后,再拷贝到etc目录,覆盖原有的即可。
修改网络配置后,重启网络
直接reboot重启centos
reboot重启网络服务
systemctl start network.service 或者 service network restart验证网络
#访问外网[root@template ~]# ping www.baidu.comPING www.a.shifen.com (182.61.200.7) 56(84) bytes of data.64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=1 ttl=128 time=65.5 ms64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=2 ttl=128 time=63.7 ms64 bytes from 182.61.200.7 (182.61.200.7): icmp_seq=3 ttl=128 time=61.4 ms
#访问windows宿主机[root@template ~]# ping 192.168.18.1PING 192.168.18.1 (192.168.18.1) 56(84) bytes of data.64 bytes from 192.168.18.1: icmp_seq=1 ttl=64 time=1.05 ms64 bytes from 192.168.18.1: icmp_seq=2 ttl=64 time=0.515 ms64 bytes from 192.168.18.1: icmp_seq=3 ttl=64 time=0.594 ms
#访问网关[root@template ~]# ping 192.168.18.2PING 192.168.18.2 (192.168.18.2) 56(84) bytes of data.64 bytes from 192.168.18.2: icmp_seq=1 ttl=128 time=0.562 ms64 bytes from 192.168.18.2: icmp_seq=2 ttl=128 time=0.280 ms64 bytes from 192.168.18.2: icmp_seq=3 ttl=128 time=0.381 mswindows 访问centos
常用远程工具【windows】
背景
现在我们把hadoop_tmp_08已经安装好了,在真正的生产环境下,我们会使用集群,有多台服务器,
我们都知道,服务器是需要放在机房的,而我们办公则在办公室,我们需要通过远程连接的方式来操作每一台服务器,而远程连接,则需要安装一个远程连接工具
通过远程工具,我们坐在办公室就可以操作机房的服务器,我们通常使用的远程工具Xshell,当然远程工具还有很多,安装自行安装

使用XShell远程连接服务器
新建连接

根据自身使用习惯更改配色

接受秘钥

FTP工具,Xftp7安装和配置
安装

使用
在Xshell7上,点击箭头的位置


常用内部工具配置【centos内】
epel-release
注:Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS和Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方 repository 中是找不到的),这个相当于一个补丁
[root@template ~]# yum install -y epel-release- 如果已经有进行在占用,则可以用kill命令关闭该进行,后面的3030是进程的ID号

kill -9 3030再次执行

注意事项:
-
如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作
-
net-tool:工具包集合,包含ifconfig等命令
[root@template ~]# yum install -y net-tools- vim:编辑器
[root@template ~]# yum install -y vim关闭防火墙,关闭防火墙开机自启
[root@template ~]# systemctl status firewalld 查看防火墙状态[root@template ~]# systemctl stop firewalld 关闭当前的防火前[root@template ~]# systemctl disable firewalld.service 禁止防火墙开机启动注意:在企业开发时,通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的防火墙
重启虚拟机
[root@template ~]# reboot用户权限配置
配置用户和权限
创建bigdata用户,并修改bigdata用户的密码
[root@template ~]# useradd bigdata[root@template ~]# passwd bigdata如果在安装centos时配置了账号,则不需要添加用户的这一步
配置bigdata用户具有root权限
方便后期加sudo执行root权限的命令,而不是使用su切换到root不需要密码
[root@template ~]# vim /etc/sudoers修改文件权限
chmod 777 /etc/sudoers修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:
## Allow root to run any commands anywhereroot ALL=(ALL) ALL
## Allows people in group wheel to run all commands%wheel ALL=(ALL) ALLbigdata ALL=(ALL) NOPASSWD:ALL修改文件权限
pkexec chmod 0440 /etc/sudoers每次切换到最高账号时,不需要输入密码
注意:bigdata这一行不要直接放到root行下面,因为所有用户都属于wheel组,你先配置了bigdata具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以bigdata要放到%wheel这行下面。
在/opt目录下创建文件夹,并修改所属主和所属组
在/opt目录下创建module、software文件夹
[root@template ~]# mkdir /opt/module[root@template ~]# mkdir /opt/software修改module、software文件夹的所有者和所属组均为bigdata用户
[root@template ~]# chown bigdata:bigdata /opt/module[root@template ~]# chown bigdata:bigdata /opt/software查看module、software文件夹的所有者和所属组
[root@template ~]# cd /opt/[root@template opt]# ll总用量 12drwxr-xr-x. 2 bigdata bigdata 4096 5月 28 17:18 moduledrwxr-xr-x. 2 root root 4096 9月 7 2017 rhdrwxr-xr-x. 2 bigdata bigdata 4096 5月 28 17:18 software