Kafka安装 下载kafka wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz 解压缩 tar -xf kafka_2.13-2.6.0.tgz -C /data/kafka/ 创建kafka用户及用户组 gruopadd kafka useradd -g kaf…

添加docker源 curl https://download.docker.com/linux/centos/docker-ce.repo -o /etc/yum.repos.d/docker-ce.repo 安装docker所需包 dnf install -y yum-utils device-mapper-persistent-data lv…

Apache HBase是Hadoop数据库，这是一个分布式，可扩展的大数据存储。如果需要对大数据进行随机，实时的读/写访问时，可以使用HBase,HBase可以在群集上托管非常大的表（数十亿行数百万列）。 特性 线性和模块化可扩展性。严格一致的读写。表的自动和可配置分片。RegionServer之间的自动故障转移支持。方便的基类，用于通过Apac…

hadoop集群搭建需要一些准备操作,未避免集群在运行时出现意想不到的问题，推荐将下述准备工作完成以后在进行集群的搭建。 准备工作 （1）服务器IP映射（非必须） Linux IP映射添加 （2）关闭SELinux(高级运维可以不关) Centos SELinux关闭 （3）节点之间免密钥登录（可以是root用户，也是以是hadoop用户，看具体需…

在日常使用阶段，经常使用IP很不方便，所以可以通过映射的方式将某个单词映射成对应的IP地址，方便使用。 vim /etc/hosts 10.134.11.101 node1 10.134.11.102 node2 10.134.11.103 node3 10.134.11.104 node4 10.134.11.105 node5 测试 ping …

在3.5.3版本以后，zookeeper支持动态添加节点不需要进行重启，可自动关联配置，动态重新配置功能默认情况下处于禁用状态，必须通过reconfigEnabled配置选项显式打开。这里配置2个版本，一个动态集群，一个静态集群。想要了解动态集群特性推荐查看官网文档： https://zookeeper.apache.org/doc/r3.6.2/…

如果没有很丰富得运维经验，以及在个人使用得情况下，SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。所以在安装一些软件得时候，如果不如SElinux进行设置，会导致软件启动会出现一些问题，比如配置Nginx、添加systemctl服务器得时候，推荐在个人使用过程中，因为SElinux太过复杂可以进行关闭，线上不推…

下载JDK（推荐官网下载） https://www.oracle.com/java/technologies/javase-downloads.html 可以下载rpm包直接用rpm安装也可以，也可以下载一些其他包，我这里下载的是解压文件，然后进行jdk配置 ——Linux x64 Cinoressed Archive，将包传到服务器上。 JDK配…

防火墙打开关闭 #开启防火墙 systemctl start firewalld.service #关闭防火墙 systemctl stop firewalld.service 重启防火墙 systemctl restartfirewalld.service #查看防火墙状态 systemctl status firewalld.service #…

centos8以前，时间同步都是使用ntp的，centos8以后ntp被从官方库移除，并在安装系统时，自带chrony服务。 #检测是否安装chrony服务 [root@node1 ~]# rpm -q chrony #可以看出默认已经安装了 chrony-3.5-1.el8.x86_64 #如果没有安装使用dnf进行安装 [roo…