在数字化转型浪潮中，选择一款专业的问卷调研系统对于政府机构、高校和企业至关重要。卷王问卷系统凭借其专业性、高性能、安全性和多样化的应用场景，已成为国家统计局、同济大学、人民数据等权威机构的信赖之选。

Surveyking - 问卷系统

acme.sh实现了 ACME 协议，可以从 ZeroSSL，Let's Encrypt 等 CA 生成免费的证书。
DNS验证方式的真正强大之处在于可以使用域名解析商提供的API自动添加DNS的TXT记录，且在完成验证后删除对应的记录，做到无感续期证书。

acme.sh京东云DNS验证自动续期

念念不忘，必有回响。
typecho 的这句推广词大家也很熟悉了，不知不觉typecho作为一个开源项目也十余年了。
作为一个php开源项目，简单轻量，借助主题和插件也能满足许多特定需求，是其巨大的优势。
这次按照需求，我们使用typecho部署一个类知识库的网页。

typecho创建类知识库网站

由于某些原因，目前国内无法正常拉取docker镜像，无论是各云服务商还是大学镜像站或加速服务，都在收紧。
本文为利用Cloudflare workers免费服务的流量中转来解决国内无法拉取Docker镜像的问题。

Cloudflare Workers 配置 Docker 加速

Linux中启动SpringBoot分为前台启动和后台启动。
• 前台启动是指通过命令直接运行SpringBoot项目JAR包，并且运行打印日志直接显示在我们所看到的前台，页面一旦关闭就会停止或改变；
• 而后台启动则是通过命令或脚本启动SpringBoot项目，是项目能够独立的在后台运行，不会打扰我们其他操作。
这里介绍的是以服务的形式后台启动Java项目。

Java项目设为系统服务进行管理

针对ZK与CDH不兼容问题不兼容的问题，需要自己重新编译一个新包。
原因是DS默认是使用zk-3.8的配置，所以会出现不兼容问题。因此，使用zk-3.4配置编译一个DS新包即可适配zk-3.4.x。

Apache DolphinScheduler中ZK与CDH不兼容问题的解决方案

it-tools 是一个为开发人员提供方便的在线工具集合的开源项目，包含了加密、转换器、Web、开发、图片和视频等十几种工具，功能齐全，部署方便。

IT-Tools - 在线工具集合

本文以在CDH安装过组件后需要重新安装的情况为场景，以Kafka为例。
其实在CDH安装组件的时候出错，大多数原因都是由于之前安装或者使用过组件，删除时只时在CM上删除了，但实际上组件的文件仍在节点机器上存在，再次在CM上傻瓜式安装就会出错。

CDH Kafka 安装配置

Discuz! 的基础架构采用世界上最流行的web编程组合PHP+MySQL实现，是一个经过完善设计，适用于各种服务器环境的高效建站解决方案。

Docker部署论坛Discuz 

磁盘分区是将物理硬盘划分为不同的逻辑部分，每个分区可以独立地存储数据和文件系统。
Linux分区不同于Windows，Linux下硬盘设备名为
• IDE硬盘：hd*（*为从a - d）因为IDE硬盘最多四个
• SCSI/SATA/USB硬盘：sd*（*为a - z）
硬盘主分区最多为4个，所以主分区从sdb1开始到sdb4；
逻辑分区从sdb5开始，（逻辑分区永远从sdb5开始）设备名可以使用fdisk –l或lsblk查看。
在Linux中，常用的磁盘分区工具是fdisk和parted；此外，还可以用df -h命令查看当前磁盘分区空间使用情况详情等。

Linux挂载硬盘

低于 4.5 版本的 oVirt ，所有证书的生存期均为 398 天。 从 oVirt 版本 4.5 开始，虚拟机管理程序和引擎之间的自签名内部证书的生命周期为五年。Web 浏览器可见的证书仍遵循标准的 398 天生存期，并且必须每年续订一次（其实在正常情况下，重新添加主机，就自动完成了主机证书的更新）。

oVirt 主机证书更新

Confluence安装完成后有可能出现中文乱码，有可能是以下两个原因：
1. 服务器字体缺失
2. Confluence软件字体库未加载
本文阐述以下两个问题的解决方法。

Confluence 中文乱码问题处理

在oVirt上安装部署Windows虚拟机时，通常会遇到3个问题：
1. 安装时磁盘无法识别
2. 安装后发现没有Windows的相关驱动
3. oVirt Guesttools安装
以上问题都是驱动问题导致的，本文提供解决问题的思路方法，所述可能版本不一，主要是提供思路；
亲测oVirt4.4.10.7-1.el8版本使用virtio-win-0.1.240驱动成功。

oVirt上创建Windows虚拟机的驱动问题

启动Confluence发现正常账号无法登录，检查发现数据库损毁。
本想依靠备份文件，却发现备份文件也被锁。

Confluence漏洞导致数据库被黑修复

Confluence 修复 System Error “isShowSignUp” Application cannot be null错误，前提是留有备份文件

Confluence 修复 System Error “isShowSignUp” Application cannot be null错误

本文记录如何获取定时脚本需要的B站账号cookie

获取B站账号Cookie

随着数据量的增加，越来越多日志文件需要留存，可以在移动硬盘装一个MySQL数据库用于随时存储查询。

移动硬盘搭建便携MySQL数据库

• 搭建数据仓库需要完成将业务数据从MySQL生产库每日导入Hive的ods层的数据迁移任务
    ◦ 由于Hive建表和MySQL存在语法差异，建表需要人工介入
    ◦ 这里尝试使用ChatGPT完成MySQL的DDL到Hive建表语句的转换

ChatGPT生成Hive建表语句

MySQL的utf8实际上不是真正的UTF-8。
utf8只支持每个字符最多三个字节，而真正的UTF-8是每个字符最多四个字节。
MySQL一直没有修复这个bug，他们在2010年发布了一个叫作utf8mb4的字符集，绕过了这个问题。

MySQL 别使用 UTF-8！请用utf8mb4

本教程讲述oVirt4.4本地存储架构的部署过程，其中Engine管理台采用HostedEngine方式部署（即Engine作为一个虚机），本教程编写时最新的版本为v4.4.10，同一个大版本下不同小版本之间部署可能略有差异，但基本过程是一致的。

oVirt4.4本地存储架构部署（HostedEngine方式）

当前仓库搜集了 590 多个 Linux 命令，是一个非盈利性的仓库，生成了一个 web 网站方便使用，目前网站没有任何广告，内容包含 Linux 命令手册、详解、学习，内容来自网络和网友的补充，非常值得收藏的 Linux 命令速查手册。

Linux Command - 开源Linux指令查询说明书

计算机网络 - 应用层

计算机网络 - 运输层

计算机网络 - 网络层

计算机网络 - 数据链路层

计算机网络 - 物理层

计算机网络 - 概述

参考链接
• 计算机网络, 谢希仁
• JamesF.Kurose, KeithW.Ross, 库罗斯, 等. 计算机网络: 自顶向下方法 [M]. 机械工业出版社, 2014.
• W.RichardStevens. TCP/IP 详解. 卷 1, 协议 [M]. 机械工业出版社, 2006.
• Active vs Passive FTP Mode: Which One is More Secure?
• Active and Passive FTP Transfers Defined - KB Article #1138
• Traceroute
• ping
• How DHCP works and DHCP Interview Questions and Answers
• What is process of DORA in DHCP?
• What is DHCP Server ?
• Tackling emissions targets in Tokyo
• What does my ISP know when I use Tor?
• Technology-Computer Networking[1]-Computer Networks and the Internet
• P2P 网络概述.
• Circuit Switching (a) Circuit switching. (b) Packet switching.

计算机网络

由于 Confluence 自带的 View File 宏太难用了，推荐安装 ONLYOFFICE。
免费云端版本可以同时支持12人，但是目前选择开源版本（免费20同时连接）自己搭建的比较多，本文也是后者。

Confluence 集成 ONLYOFFICE

NiFi是一个易于使用，功能强大，可靠的处理和分发数据框架。主要用于数据的同步传输，支持灵活的数据格式转换，同时可以设置定时调度任务。

数据同步工具 - NiFi

接口发布与接收案例

科学数据表明，人类获取的信息83%来自视觉，通过可视化的手段，可以把数据中的价值，以及潜在的信息更直观地表达出来，目前数据可视化已经发展成为一门学科，文本介绍了数据可视化的历史发展沿袭，有助于大家扩展数据管理的专业视野。
可视化发展史与测量、绘画、人类现代文明的启蒙和科技的发展一脉相承。在地图、科学与工程制图、统计图表中，可视化理念与技术已经应用和发展了数百年。

数据可视化的历史

很多时候 购买 租用的VPS都是小内存的，这时候 DD 的 OS 选项比较少，相对来说还是轻量的 Debian 比较合适。
某些低内存机修改脚本还是需手动操作，且部分低内存机也不支持 debian10 ，某些 384/512mb 内存的机子可以 debian10，最妥善的处理方法，还是先 Debian9 。
Debian9 的内存占用应该是最少的， Debian10和11相对来说更新了很多东西，内核也比较新，若 DD 了 Debian9 后内存仍有盈余（大约20~40Mb左右吧），建议还是升级到 Debian11。
实测 158MB 内存机也可 DD 后升级到 Debian11。

小内存 DD 教程 - Debian9 升级 Debian10、11

Confluence 是一个专业的企业知识管理与协同软件，也可以用于构建企业 wiki。使用简单，但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息、文档协作、集体讨论，信息推送。

Docker 部署 Confluence

Hive(Hue) 中文注释会显示乱码，最基本的原因是Hive元数据库的字符集问题。

Hive(Hue) 中文注释显示乱码

Datagrip连接MySQL数据库失败（也有另一种情况，连接成功但是部分库无法打开），但Navicat连接是正常的。

DataGrip连接MySQL数据库失败

Cloudera Manager是一种集中化的管理软件，用于管理和监控Hadoop集群。它提供了一个易于使用的Web界面，使管理员能够轻松地管理Hadoop环境，从而节省时间和精力。

CDH集群配置目录汇总

登录系统后命令行出现-bash-4.2$提示

Linux登录“-bash-4.2$“

VScode 是目前非常流行的编辑器之一，是一种基于 Electron 开发的桌面版应用。作为一种桌面软件限制了在服务器端的应用。而目前比较流行额服务器端的编辑器主要是 vim 和 emacs 。想利用 VScode 远程调试程序，需要在控制端安装 VScode 和相应插件，这样在本地安装 VScode 是一种前提。
目前 Coder Technologies Inc, an Austin TX company 公司开源了一个基于服务器端的 VScode -- code-server，只要服务器端配置好 code-server，就可以在任何浏览器上使用 VScode 。

code-server - 在服务器上运行 VS_Code

现在CentOS_7.9服务器上python的默认安装不包括pymysql和pymssql，有时偶尔跑一个导出导入数据的脚本，就需要安装pymysql和pymmsql之类的。

Python 2.7安装pymssql和pymysql

shell 的类型有很多种，Linux 下默认的是 bash
相比于默认的 bash ，zsh 有更多的自定义选项，并支持扩展。因此 Zsh 可以实现更强大的命令补全，命令高亮等一系列酷炫功能。不过代价就是启动速度稍微有点慢（1 秒左右，不过相比 Bash 还是慢了点），而且据说语法和标准 shell 有点区别（至少我是在使用中完全没有碰到兼容性问题）。因此现在几乎所有的 Linux / Unix 版本的默认 shell 仍然是 bash 。
虽然 bash 的功能已经很强大，但对于以懒惰为美德的程序员来说，bash 的提示功能不够强大，界面也不够炫，并非理想工具。
而 zsh 的功能极其强大，只是配置过于复杂，起初只有极客才在用。
后来，有个穷极无聊的程序员可能是实在看不下去广大猿友一直只能使用单调的 bash , 于是他创建了一个名为【oh-my-zsh麻省理工学院许可下发布的】的开源项目
https://github.com/robbyrussell/oh-my-zsh
自此，只需要简单的安装配置，小白程序员们都可以用上高档大气上档次，有 idea 感觉 oh my zsh
http://ohmyz.sh/

oh my zsh - 一款社区驱动的命令行工具

umami.is 则可以看作是 Google Analytics 的精简版解决方案，它完全免费且开源，非常适合中小站点的网络流量统计分析。相对于复杂的 Google Analytics，umami.is 的界面也更加简洁，只关注于核心指标，并方便分享出去。

umami - 轻量化网站统计分析系统

OneNav 是一款开源免费的书签（导航）管理程序，由 @xiaoz 大佬使用 PHP + SQLite 3 开发，界面简洁，安装简单，使用方便。
OneNav 可帮助你你将浏览器书签集中式管理，解决跨设备、跨平台、跨浏览器之间同步和访问困难问题，做到一处部署，随处访问。
项目说明：https://doc.xiaoz.me/books/onenav/

OneNav - 轻量的自建导航页

原作者地址：https://gitee.com/g-devops/lang-replacement
按照作者说明，可以直接拉取使用，注意这种启动是前端启动且没有进行端口映射

Docker安装Portainer汉化版

filebrowser 是一个使用 go 语言编写的软件，功能是可以通过浏览器对服务器上的文件进行管理。可以是修改文件，或者是添加删除文件，甚至可以分享文件，是一个很棒的文件管理器，你甚至可以当成一个网盘来使用。总之使用非常简单方便，功能很强大。
官方项目地址：@filebrowser
DockerHub镜像地址：https://hub.docker.com/r/filebrowser/filebrowser

filebrowser- 服务器部署轻量级文件管理系统

DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
源码地址：https://github.com/alibaba/DataX

DataX - 异构数据源离线同步工具

部署 dolphinscheduler 进行大数据调度，以三台主机的集群为例。

Dolphinscheduler 3.1.4 部署

HDFS 报错Permission denied user=dr.who

由于 CDH6.3.2版本以上已不开源，目前常用组件只能自编译升级，比如 Spark 。
看网上的资料，有人说 Spark3 的 SQL 运行性能比 Spark2 可提升 20%，本人未验证，但是 Spark3 的 AE 功能的确很香，能自适应解决 Spark SQL 的数据倾斜。

CDH 6.3.2 升级 Spark 3

CDH 6.3.2 初始的 Hive版本为2.1.1，在不对开源版souce源码包进行重新编译的前提下试着去升级Hive3（3.1.2、3.1.3），结果均失败，最终选择先升级Hive2（2.3.9），这种升级方式的好处是不需要对source源码tar包进行重新编译。
由于CDH6.3.2版本中默认的Spark组件版本为2.4.0，参考Compatibility with Apache Hive - Spark 2.4.0 Documentation官网，Spark2.4.0版本支持的Hive Metastore版本最高至2.3.3，也就是说理论上如果想获得CDH6.3.2中的默认Spark支持，升级的Hive版本最高为2.3.3。

CDH 6.3.2 升级 Hive 2.3.9

• CenOS_7自带安装的Python版本为2.7.5，在目前一些场景下运行的Python程序需要Python3支持，故需要安装Python3。
• 最终结果为Python2与Python3共存

CentOS_7 安装Python3

CDH 6.3.2 版本默认安装的 Apache ZooKeeper为3.4.5，使用Apache DolphinScheduler，依照DS文档说明，需要zookeeper的版本为3.4.6+。

CDH6.3.2升级Zookeeper3.4.14

运行DataX时可能会出现报错：在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数。

DataX报错解决办法 - 单个channel的bps值报错

CDH 6.3.2 Hive on Spark 报错Required executor memory

在使用HDFS NameNode和Yarn ResourceManager等具有高可用性的服务时，通常会遇到的一个问题是：判断哪个是主节点（active），哪个是备用节点（standby）。

Hadoop Yarn - 高可用服务主备状态查询

CDH 6.3.2 Hue 报错Could not connect to xx:10000 (code THRIFTTRANSPORT): TTransportException

CDH 6.3.2 Hue 报错Could not connect to xx:10000

CDH 6.3.2 集成 Flink 1.14.4

CDH 6.3.2 Hue 报错(1366, “Incorrect string value: ‘\xE3\x80\x81\xE6\x8C\x89…’ for column ‘search’ at row 1”)

CDH 6.3.2 Hue 报错 1366

• 由于在安装CentOs 7系统的时候，如果在安装时没有分配磁盘空间，选择的是默认分配的
• 在安装完成后，可以发现大容量磁盘往往分配在了home下面。
• 如果要把home下面的磁盘空间分配到root磁盘下面，可以进行如下操

CentOS-7 磁盘空间问题

CDH运行一段时间就提示
• 请求 Service Monitor 超时
    ◦ 这可能会导致页面响应缓慢，请查看 Service Monitor 的状态
    ◦ 有时候服务器宕机重启后CMS未成功启动，也会出现这种问题

CDH - 请求 Service Monitor 超时

学习思考

大数据开发

Linux

Docker

开发工具

脚本相关

Wiki

其他

Java

password

icon

date

type

slug

status

title

summary

表格

ZooKeeper

Dolphinscheduler

2、将下载好的zip包解压出来，并导入IDEA工具中，并修改好maven和jdk配置

背景

解决办法（一）

解决办法(二）

1、从github下载源码

2、将下载好的zip包解压出来，并导入IDEA工具中，并修改好maven和jdk配置

4、MVN命令操作

5、修改源码中的依赖配置