CDH6.2.1版本部署

安安

2021 年 01 月 28 日

2170 次浏览

暂无评论

1891字数

系统

## 环境准备

- 操作系统： Centos 7.9.2009 (Core)

| IP | 主机名 | 备注 |
| - | - | - |
| 10.1.1.1 | cdh01 | 主节点 |
| 10.1.1.2 | cdh02 |  |
| 10.1.1.3 | cdh03 |  |

假定三台服务器均已启用时间同步（ntp），且均可访问外网。

- 三台主机分别修改主机名、系统参数等

```
hostnamectl set-hostname cdh01
hostnamectl set-hostname cdh02
hostnamectl set-hostname cdh03
```

- 修改hosts（以下操作如无特殊说明，均在所有节点执行）

```
cat >>/etc/hosts<<EOF
10.1.1.1 cdh01
10.1.1.2 cdh02
10.1.1.3 cdh03
EOF
```

- 停防火墙、selinux（或单独开放端口及权限）

```
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
```

- 配置yum源（这里直接使用官方的源）

```
curl https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo > /etc/yum.repos.d/cm6.repo
```

- 修改系统参数

```
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo vm.swappiness=0 >> /etc/sysctl.conf
```

执行sysctl -p使系统参数生效

```
sysctl -p
```

## 数据库配置

安装mysql或mariadb（过程略）

创建cdh所需数据库及用户，这里需要注意数据库字符集需要设置为utf-8,使用默认字符集后面会出现一些奇怪的问题。

```
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
```

创建数据库用户过程略，这里演示的话直接使用root用户。

## 安装jdk

这里使用oracle发行的jdk进行安装，过程略。

## 安装CDH相关组件

主节点执行

```
yum install -y cloudera-manager-server
```

所有节点执行

```
yum install -y cloudera-manager-agent
```

主节点执行初始化数据库

```
cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh -h cdh01 -P 3306 mysql scm root password
```

将parcel包放入主节点`/opt/cloudera/parcel-repo`目录

```
cd /opt/cloudera/parcel-repo
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774-bionic.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.sha
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.torrent

chown -R cloudera-scm.cloudera-scm *
```

启动主节点

```
systemctl start cloudera-scm-server
```

修改其余节点配置

```
sed -i 's/server_host=localhost/server_host=cdh01/g' /etc/cloudera-scm-agent/config.ini
```

启动其余节点

```
systemctl start cloudera-scm-agent
```

通过网页打开http://10.1.1.1:7180开始配置

最后修改：2021 年 01 月 28 日