type
status
date
summary
slug
tags
category
password
icon

部署 dolphinscheduler 3.1.4

部署 dolphinscheduler 进行大数据调度,以三台主机的集群为例。

一、集群规划

主机
角色
cdh01
master、worker
cdh02
worker
cdh03
worker

二、环境准备工作

  • 三台节点均需部署 JDK(1.8+),并配置相关环境变量
  • 需部署数据库,支持MySQL(5.7+)或者PostgreSQL(8.2.15+)
    • 使用 MySQL 需要驱动包 mysql-connector-java.jar 的版本(8.0.16+),同时所有主机的 libs 目录里都存在
  • 需部署Zookeeper(3.4.6+)Dolphinscheduler 3.1.X 支持的zk版本为3.8.0,CDH6 升级 ZK 到 3.8.0,实测CM会有一些报错问题,建议 CDH6 选择 Dolphinscheduler 2版本
    • CDH 6.3.2 版本默认安装的 Apache ZooKeeper为3.4.5,使用Apache DolphinScheduler,依照DS文档说明,需要zookeeper的版本为3.4.6+
    • 实测CDH 6.3.2 的ZK 3.4.5版本也可正常使用
notion image
  • 三台节点均需安装进程管理工具包psmisc。如下三台节点都需要安装

三、初始化数据库

(1) 准备

  • DolphinScheduler元数据存储在关系型数据库中,故需创建相应的数据库和用户
    • 以mysql为例
    • 注:为避免因设置密码过于简单而报错,可以降低密码的强度级别
  • 未进行上述密码设置,可能会报错:

(2) 开始初始化

  • 创建dolphinscheduler数据库
    • mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
  • 创建dolphinscheduler用户
    • mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
  • 授予dolphinscheduler用户dolphinscheduler库的全部权限
    • mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%'; --不能改成小写
  • 最后记得刷新下数据库
    • mysql> flush privileges;

四、进行部署

(1) 下载解压

① 下载

② 解压

(2) 修改配置文件

总共需要修改如下三种配置文件:
  • /opt/mod/dolphinscheduler3/bin/env/install_env.sh
  • /opt/mod/dolphinscheduler3/bin/env/dolphinscheduler_env.sh
  • 如下四个文件的common.properties配置,四个文件配置均一致
    • /opt/mod/dolphinscheduler3/tools/conf/common.properties
    • /opt/mod/dolphinscheduler3/api-server/conf/common.properties
    • /opt/mod/dolphinscheduler3/alert-server/conf/common.properties
    • /opt/mod/dolphinscheduler3/master-server/conf/common.properties
      • worker-server下的common.properties不用配置,因为启动时,worker-server会读取tools下的common.properties配置

① install_env.sh

修改如下配置:

② dolphinscheduler_env.sh

③ common.properties

先配置tool目录下文件
配置完后,也要对如下文件,配置相同参数

(3) 放置 MySQL Connector jar 包

官网说明一定要8.0.16版本及以上,5.x版本实测失败
  • 所有服务主机的libs里面都要存
  • 需要将下载的 jar 包重命名为 mysql-connector-java.jar

(4) 初始化及启动

① 初始化数据库

② 安装启动

  • 默认的用户名和密码
    • admin
    • dolphinscheduler123

③ 时区问题

启动后,在界面的右上角能改时间
notion image
或者打开配置文件
增加修改:
重启服务
DataX - 异构数据源离线同步工具HDFS 报错Permission denied user=dr.who
Loading...