博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
大数据集群搭建 - 1. CDH集群安装 - 环境准备
阅读量:6957 次
发布时间:2019-06-27

本文共 2226 字,大约阅读时间需要 7 分钟。

集群环境准备

一、机器准备

首先需要准备3台机器或者虚拟机,安装好centos7.5版本和JDK1.8。

我们这次准备安装的是Cloudera的CDH 5.14.3 。

TIPS:快速创建机器的技巧是规范好要装的软件,迅速利用镜像功能创建好三台机器出来。

ip地址这里我们设置为192.168.168.81,192.168.168.82,192.168.168.83。

如果是本地的虚拟机,需要自己配置IP地址。

我们以192.168.168.81为例子。进入网络配置目录cd /etc/sysconfig/network-scripts编辑网卡配置文件,这里的ens33根据您实际的网卡名称来。vi ifcfg-ens33 这里注意几个参数BOOTPROTO=static  # 这里需要设置为静态的ip地址ONBOOT=yes # 启动的时候打开网络,不然不能联网IPADDR=192.168.168.81 # 你要设置的IP地址,这里最好不要在DHCP范围内,避免IP冲突GATEWAY=192.168.168.2 # 网关NETMASK=255.255.255.0 # 网络掩码DNS1=8.8.8.8  # google的 DNS服务器DNS2=192.168.168.2  # 网关做DNS服务器最后重启网络服务。service network restart网络模型参考:https://www.linuxidc.com/Linux/2016-09/135521.htm

二、修改hostname和hosts文件

1.查看hostname

在每台机器上我们可以通过命令hostname

2. 修改hostname

在192.168.168.81上执行命令,修改主机名称为dev-hd001。hostnamectl set-hostname dev-hd001在192.168.168.82上执行命令,修改主机名称为dev-hd002。hostnamectl set-hostname dev-hd002在192.168.168.82上执行命令,修改主机名称为dev-hd002。hostnamectl set-hostname dev-hd003

3.修改hosts文件

在每一台机器的hosts文件中加入如下内容。vim /etc/hosts192.168.168.81  dev-hd001  hd1192.168.168.82  dev-hd002  hd2192.168.168.83  dev-hd003  hd3

三、关闭防火墙和selinux

1.关闭防火墙

查看默认防火墙状态。(关闭后显示notrunning,开启后显示running)firewall-cmd --state 停止firewallsystemctl stop firewalld.service 禁止firewall开机启动systemctl disable firewalld.service 如果安装了iptables, 我们还需要关闭iptables查看iptables状态service iptables status停止iptablesservice iptables stop启动的时候关闭iptableschkconfig iptables off

2.关闭selinux

永久关闭selinux,需要通过修改配置文件/etc/selinux/config。vim /etc/selinux/config修改SELINUX。参数可选(enforcing、permissive、disabled)SELINUX=disabled需要reboot重启生效。

四、安装ssh免密码登录

  1. 免密登录原理
现在我们有A和B两台机器。1.我们在A上生成一对密钥。2.将在A上生成的公钥拷贝给B机器,添加到~/.ssh/authorized_keys这个文件中。3.A向B发送一个连接请求,信息包括用户名,IP等4.B的到A的信息后,回到authorized_keys中查找,如果有对应的用户名和ip, B会随机生成一个字符串,比如"DMAC"。5.B使用公钥对字符串"DMAC"进行加密,然后发送给A。6.A得到B发来的消息后,使用私钥进行解密,然后将解密后的字符串发送给B.7.B接收到A发过来的字符串后,会跟先前生成的字符串进行对比,如果一致,就允许免密码登录。

2.操作步骤

1.确认有没有~/.ssh目录,没有的话mkdir ~/.ssh2.在dev-hd001机下生成公钥和私钥对。ssh-keygen这里直接三次回车,会看到在~/.ssh有id_rsa文件和id_rsa.pub文件。id_rsa.pub文件是公钥文件。可以通过cat命令查看。cat id_rsa.pub3.从dev-hd001机器拷贝公钥到dev-hd002机器。ssh-copy-id -i root@dev-hd002ssh-copy-id命令可以把本地主机的公钥复制到远程主机的authorized_keys文件上。ssh-copy-id命令也会给远程主机的用户主目录(home)和~/.ssh, 和~/.ssh/authorized_keys设置合适的权限。4.在dev-hd001上登录到dev-hd002ssh root@dev-hd002logout 登出

转载地址:http://yemil.baihongyu.com/

你可能感兴趣的文章
MSR2010配置小记
查看>>
微信video标签全屏无法退出bug
查看>>
[转]PostgreSQL 中文资料汇总
查看>>
那些被疯狂追求的女孩,后来怎么样了?
查看>>
(转载)Windows 7 Ultimate(旗舰版)SP1 32/64位官方原版下载(2011年5月12日更新版)...
查看>>
孟岩:通证(token)和通证经济的目的在于改善现有经济的效率性
查看>>
杜鹃演绎奢华春装大片
查看>>
mongoDb
查看>>
HTML框架1
查看>>
servlet:启动的时机
查看>>
笔记:2016-06-23
查看>>
5.22心得
查看>>
2017年11月27日高级软件测试技术例会记录
查看>>
最终增强
查看>>
C++ STL(1)
查看>>
socket编程
查看>>
浏览器渲染原理解析
查看>>
搭建个人网站需要的三个步骤
查看>>
matlab建立双坐标
查看>>
Linux操作命令(六)
查看>>