type
status
date
summary
slug
tags
category
password
icon

CDH集群配置目录汇总

Cloudera Manager是一种集中化的管理软件,用于管理和监控Hadoop集群。它提供了一个易于使用的Web界面,使管理员能够轻松地管理Hadoop环境,从而节省时间和精力。
notion image

一、CDH目录汇总

二、CM详解

2.1 Service Monitor:

Service Monitor存储了时间序列和健康数据、Impla查询的元数据、Yarn应用的元数据。
默认情况下,数据时存储在

2.2 Host Monitor:

Host Monitor存储了时间序列和健康数据。
默认情况下,数据存储在

2.3 server/agent配置目录

2.4 server/agent日志目录

2.5 Parcels包安装目录

2.5.1 服务软件包数据(parcels)

2.5.2 服务软件包缓存数据

2.6 CDH配置数据库连接信息脚本目录

三、CDH安装路径

notion image

四、CDH组件详解

4.1 组件安装目录

notion image

4.2 组件配置路径

4.3 组件shell客户端命令

notion image

4.4 组件日志目录

4.5 服务运行时所有组件的配置文件目录[各组件运行时,实际的配置文件路径]

notion image
  • CDH的相关组件在CM界面上更改配置是不会立即反映到配置文件中,这些信息会存储于数据库中,等下次重启服务时才会生成配置文件,且每次启动时都会产生新的配置文件。
  • 在此路径下,通过log4j.properties, 可以看到对应的日志文件路径。
    • HDFS重启时,也会动态生成相关配置路径
      • 如:core-site.xml,hdfs-site.xml,log4j.properties
      • /run/cloudera-scm-agent/process/76-hdfs-DATANODE
        • 启动时stderr,stdout输出日志路径就在此目录下log路径查看。
  • Kafka重启时,每次都会动态生成下述目录,99 每次递增(数字根据各类事件顺序递增). 目录下会根据最新的配置文件,产生相关配置文件。
    • 如kafka.properties, kafka-monitor.properties以及日志log4j.properites
    • /run/cloudera-scm-agent/process/99-kafka-KAFKA_BROKER
    • log4j.properites配置了broker日志路径: /var/log/kafka/kafka-broker-hadoop001.log
  • HIVESERVER2
    • /var/run/cloudera-scm-agent/process/248-hive-HIVESERVER2

五、solr日志位置

六、jar包目录

6.1 所有jar包所在目录

6.2 各个服务组件对应的jar包

  • 例如:
    • sqoop:/opt/cloudera/parcels/CDH/lib/sqoop/lib
DataGrip连接MySQL数据库失败Linux登录“-bash-4.2$“
Loading...