环境准备

  • 操作系统: Centos 7.9.2009 (Core)
IP主机名备注
10.1.1.1cdh01主节点
10.1.1.2cdh02
10.1.1.3cdh03

假定三台服务器均已启用时间同步(ntp),且均可访问外网。

  • 三台主机分别修改主机名、系统参数等
hostnamectl set-hostname cdh01
hostnamectl set-hostname cdh02
hostnamectl set-hostname cdh03
  • 修改hosts(以下操作如无特殊说明,均在所有节点执行)
cat >>/etc/hosts<<EOF
10.1.1.1 cdh01
10.1.1.2 cdh02
10.1.1.3 cdh03
EOF
  • 停防火墙、selinux(或单独开放端口及权限)
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
  • 配置yum源(这里直接使用官方的源)
curl https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo > /etc/yum.repos.d/cm6.repo
  • 修改系统参数
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo vm.swappiness=0 >> /etc/sysctl.conf

执行sysctl -p使系统参数生效

sysctl -p

数据库配置

安装mysql或mariadb(过程略)

创建cdh所需数据库及用户,这里需要注意数据库字符集需要设置为utf-8,使用默认字符集后面会出现一些奇怪的问题。

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

创建数据库用户过程略,这里演示的话直接使用root用户。

安装jdk

这里使用oracle发行的jdk进行安装,过程略。

安装CDH相关组件

主节点执行

yum install -y cloudera-manager-server

所有节点执行

yum install -y cloudera-manager-agent

主节点执行初始化数据库

cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh -h cdh01 -P 3306 mysql scm root password

将parcel包放入主节点/opt/cloudera/parcel-repo目录

cd /opt/cloudera/parcel-repo
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774-bionic.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.sha
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.torrent
​
chown -R cloudera-scm.cloudera-scm *

启动主节点

systemctl start cloudera-scm-server

修改其余节点配置

sed -i 's/server_host=localhost/server_host=cdh01/g' /etc/cloudera-scm-agent/config.ini

启动其余节点

systemctl start cloudera-scm-agent

通过网页打开http://10.1.1.1:7180开始配置

最后修改:2021 年 01 月 28 日
如果觉得我的文章对你有用,请随意赞赏