PinHsin
PinHsin

「Linux」软件安装

MySQL5.7在CentOS安装

安装

  1. 配置yum仓库
    1. 更新密钥：rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
    2. 安装MySQL yum库：rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm
  2. 使用yum安装MySQL：yum -y install mysql-community-server
  3. 安装完成后，启动MySQL并配置开机自启动
    1. 启动：systemctl start mysqld
    2. 开机自启：systemctl enable mysqld
  4. 检查MySQL的运行状态：systemctl status mysqld

配置

主要配置管理员用户root的密码以及配置允许远程登陆的权限

  1. 获取MySQL的初始密码：grep 'temporary password' /var/log/mysqld.log
  2. 登陆MySQL数据库系统
    1. mysql命令：mysql -uroot -p
      1. -u：登陆的用户，MySQL数据库的管理员用户同Linux一样，是root
      2. -p：表示使用密码登陆
    2. 执行完毕后输入刚刚得到的初始密码，即可进入MySQL数据库
  3. 修改root用户密码：ALTER USER 'root'@'localhost' IDENTIFIED BY '密码';
    1. 密码需要符合：大于8位，有大写字母，有特殊符号，不能是连续的简单语句如123，abc
  4. 配置root的简单密码 
    1
2

    set global validate_password.policy=0;	# 密码安全级别低
set global validate_password.length=4;	# 密码长度最低4位即可
  5. 配置root运行远程登录 
    1
2
3
4
5
6
7

    # 授权root远程登录
grant all privileges on *.* to root@"IP地址" identified by '密码' with grant option;  
# IP地址即允许登陆的IP地址，也可以填写%，表示允许任何地址
# 密码表示给远程登录独立设置密码，和本地登陆的密码可以不同

# 刷新权限，生效
flush privileges;
  6. 退出MySQL控制台页面 
    1
2
3
4

    # 退出命令
exit

# 或者通过快捷键退出：ctrl + d
  7. 检查端口：MySQL默认绑定了3306端口，可以通过端口占用检查MySQL的网络状态 
    1

    netstat -anp | grep 3306

    image-20221012183746802

MySQL8.0版本在CentOS系统安装

安装

  1. 配置yum仓库

    1
2
3
4
5

    # 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 安装Mysql8.x版本 yum库
rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-2.noarch.rpm

  2. 使用yum安装MySQL：yum -y install mysql-community-server

  3. 安装完成后，启动MySQL并配置开机自启动

    1
2

    systemctl start mysqld		# 启动
systemctl enable mysqld		# 开机自启

    MySQL安装完成后，会自动配置为名称叫做：mysqld的服务，可以被systemctl所管理

  4. 检查MySQL的运行状态：systemctl status mysqld

配置

基本上同[[Linux#5.1.2 配置]]

  1. 允许root远程登录，并设置远程登录密码

    默认情况下，root用户是不运行远程登录的，只允许在MySQL所在的Linux服务器登陆MySQL系统

    允许root远程登录会带来安全风险

    1
2
3
4
5

    # 第一次设置root远程登录，并配置远程密码使用如下SQL命令
create user 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码!';	-- 密码需要符合：大于8位，有大写字母，有特殊符号，不能是连续的简单语句如123，abc

# 后续修改密码使用如下SQL命令
ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码';

Tomcat安装部署

安装JDK环境

  1. 下载JDK 
  2. 登陆Linux系统，切换到root用户：su -
  3. 通过FinalShell，上传下载好的JDK安装包
  4. 创建文件夹，用来部署JDK，将JDK和Tomcat都安装部署到/export/server内：mkdir -p /export/server
  5. 解压缩JDK安装文件：tar -zxvf jdk-8u351-linux-x64.tar.gz -C /export/server
  6. 配置JDK的软链接：ln -s /export/server/jdk1.8.0_351 /export/server/jdk
  7. 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入PATH环境变量中 
    1
2
3

    # 编辑/etc/profile文件
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
  8. 生效环境变量：source /etc/profile
  9. 配置java执行程序的软链接 
    1
2
3
4

    # 删除系统自带的java程序
rm -f /usr/bin/java
# 软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java
  10. 执行验证 
    1
2

    java -version
javac -version

解压并部署Tomcat

建议使用非Root用户安装并启动

  1. 首先，放行tomcat需要使用的8080端口的外部访问权限，以下操作2选一即可

    1. 关闭防火墙

      1
2

      systemctl stop firewalld		# 关闭防火墙
systemctl disable firewalld		# 停止防火墙开机自启

    2. 配置防火墙规则，放行端口

      1
2

      firewall-cmd --add-port=8080/tcp --permanent	# --add-port=8080/tcp表示放行8080端口的tcp访问，--permanent表示永久生效
firewall-cmd --reload		# 重新载入防火墙规则使其生效

  2. 以root用户操作，创建tomcat用户

    1
2
3
4

    # 使用root用户操作
useradd tomcat
# 可选，为tomcat用户配置密码
passwd tomcat

  3. 下载Tomcat安装包

    1
2
3
4

    # 使用root用户操作
wget https://dlcdn.apache.org/tomcat/tomcat-10/v10.0.27/bin/apache-tomcat-10.0.27.tar.gz
# 如果出现https相关错误，可以使用--no-check-certificate选项
wget --no-check-certificate https://dlcdn.apache.org/tomcat/tomcat-10/v10.0.27/bin/apache-tomcat-10.0.27.tar.gz

  4. 解压Tomcat安装包：tar -zxvf apache-tomcat-10.0.27.tar.gz -C /export/server

    1. 使用root用户操作，否则无权限解压到/export/server内，除非修改此文件夹权限

  5. 创建Tomcat软链接：ln -s /export/server/apache-tomcat-10.0.27 /export/server/tomcat

    1. 使用root用户操作

  6. 修改tomcat安装目录权限：chown -R tomcat:tomcat /export/server/*tomcat*

    1. 使用root用户操作，同时对软链接和tomcat安装文件夹进行修改，使用通配符*进行匹配

  7. 切换到tomcat用户：su - tomcat

  8. 启动tomcat：/export/server/tomcat/bin/startup.sh

    1. tomcat启动在8080端口，可以检查是否正常启动成功：netstat -anp | grep 8080
    2. 打开浏览器，输入：http://centos:8080或http://192.168.88.130:8080
      1. 使用主机名（需配置好本地的主机名映射）或IP地址访问Tomcat的WEB页面

Nginx安装部署

安装Nginx的操作需要root身份

  1. 安装yum依赖程序：yum install -y yum-utils

  2. 手动添加，nginx的yum仓库，yum程序使用的仓库配置文件，存放在/etc/yum.repo.d内

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

    # 创建文件使用vim编辑
vim /etc/yum.repos.d/nginx.repo
# 填入如下内容并保存退出
[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

[nginx-mainline]
name=nginx mainline repo
baseurl=http://nginx.org/packages/mainline/centos/$releasever/$basearch/
gpgcheck=1
enabled=0
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

  3. 通过yum安装最新稳定版的nginx：yum install -y nginx

  4. 启动

    1
2
3
4
5
6

    # nginx自动注册了systemctl系统服务
systemctl start nginx		# 启动
systemctl stop nginx		    # 停止
systemctl status nginx		# 运行状态
systemctl enable nginx		# 开机自启
systemctl disable nginx		# 关闭开机自启

  5. 配置防火墙放行：nginx默认绑定80端口，需要关闭防火墙或放行80端口

    1
2
3
4
5
6
7

    # 方式1，关闭防火墙
systemctl stop firewalld    # 关闭
systemctl disable firewalld    # 关闭开机自启

# 方式2，放行80端口
firewall-cmd --add-port=80/tcp --permanent    # 放行tcp规则下的80端口，永久生效
firewall-cmd --reload    # 重新加载防火墙规则

  6. 启动后浏览器输入Linux服务器的IP地址或主机名即可访问http://192.168.88.130 或http://centos

RabbitMQ安装部署

rabbitmq在yum仓库中的版本比较老，所以我们需要手动构建yum仓库

需要root权限

  1. 准备yum仓库

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

    # 1. 准备gpgkey密钥
rpm --import https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc
rpm --import https://packagecloud.io/rabbitmq/erlang/gpgkey
rpm --import https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkey

# 2. 准备仓库文件
vim /etc/yum.repos.d/rabbitmq.repo
# 填入如下内容
##
## Zero dependency Erlang
##

[rabbitmq_erlang]
name=rabbitmq_erlang
baseurl=https://packagecloud.io/rabbitmq/erlang/el/7/$basearch
repo_gpgcheck=1
gpgcheck=1
enabled=1
# PackageCloud's repository key and RabbitMQ package signing key
gpgkey=https://packagecloud.io/rabbitmq/erlang/gpgkey
       https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300

[rabbitmq_erlang-source]
name=rabbitmq_erlang-source
baseurl=https://packagecloud.io/rabbitmq/erlang/el/7/SRPMS
repo_gpgcheck=1
gpgcheck=0
enabled=1
# PackageCloud's repository key and RabbitMQ package signing key
gpgkey=https://packagecloud.io/rabbitmq/erlang/gpgkey
       https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300

##
## RabbitMQ server
##

[rabbitmq_server]
name=rabbitmq_server
baseurl=https://packagecloud.io/rabbitmq/rabbitmq-server/el/7/$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
# PackageCloud's repository key and RabbitMQ package signing key
gpgkey=https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkey
       https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300

[rabbitmq_server-source]
name=rabbitmq_server-source
baseurl=https://packagecloud.io/rabbitmq/rabbitmq-server/el/7/SRPMS
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300

  2. 安装RabbitMQ：yum install erlang rabbitmq-server -y

  3. 启动

    1
2
3
4
5
6

    # 使用systemctl管控，服务名：rabbitmq-server
systemctl enable rabbitmq-server		# 开机自启
systemctl disable rabbitmq-server		# 关闭开机自启
systemctl start rabbitmq-server			# 启动
systemctl stop rabbitmq-server			# 关闭
systemctl status rabbitmq-server		# 查看状态

  4. 放行防火墙，RabbitMQ使用5672、15672、25672这3个端口

    1
2
3
4
5
6
7
8
9

    # 方式1，关闭防火墙
systemctl stop firewalld    # 关闭
systemctl disable firewalld    # 关闭开机自启

# 方式2，放行5672 25672端口
firewall-cmd --add-port=5672/tcp --permanent    # 放行tcp规则下的5672端口，永久生效
firewall-cmd --add-port=15672/tcp --permanent    # 放行tcp规则下的15672端口，永久生效
firewall-cmd --add-port=25672/tcp --permanent    # 放行tcp规则下的25672端口，永久生效
firewall-cmd --reload    # 重新加载防火墙规则

  5. 启动RabbitMQ的WEB管理控制台：rabbitmq-plugins enable rabbitmq_management

  6. 添加admin用户，并赋予权限

    1
2
3

    rabbitmqctl add_user admin 'Itheima66^'
rabbitmqctl set_permissions -p "/" "admin" ".*" ".*" ".*"
rabbitmqctl set_user_tags admin administrator

  7. 浏览器打开管理控制台http://192.168.88.130:15672

Redis安装部署

需要root权限

  1. 配置EPEL仓库：yum install -y epel-release

  2. 安装redis：yum install -y redis

  3. 启动redis

    1
2
3
4
5
6

    # 使用systemctl管控，服务名：redis
systemctl enable redis    # 开机自启
systemctl disable redis    # 关闭开机自启
systemctl start redis    # 启动
systemctl stop redis    # 关闭
systemctl status redis    # 查看状态

  4. 放行防火墙，redis使用端口6379

    1
2
3
4
5
6
7

    # 方式1，关闭防火墙
systemctl stop firewalld    # 关闭
systemctl disable firewalld    # 关闭开机自启

# 方式2，放行6379端口
firewall-cmd --add-port=6379/tcp --permanent    # 放行tcp规则下的6379端口，永久生效
firewall-cmd --reload

  5. 进入redis服务

    1
2
3
4
5
6
7

    # 执行redis-cli
[root@centos ~]# redis-cli
127.0.0.1:6379> set mykey hello
OK
127.0.0.1:6379> get mykey
"hello"
127.0.0.1:6379>

ElasticSearch安装部署

需要root权限

  1. 添加yum仓库

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

    # 导入仓库密钥
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

# 添加yum源
# 编辑文件 
vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

# 更新yum缓存
yum makecache

  2. 安装es：yum install -y elasticsearch

  3. 配置es

    1
2
3
4
5
6
7
8
9
10
11
12
13

    vim /etc/elasticsearch/elasticsearch.yml

# 17行，设置集群名称
cluster.name: my-cluster

# 23行，设置节点名称
node.name: node-1

# 56行，允许外网访问
network.host: 0.0.0.0

# 74行，配置集群master节点
cluster.initial_master_nodes: ["node-1"]

  4. 启动es：systemctl start | stop | status | enable | disable elasticsearch

  5. 关闭防火墙

    1
2

    systemctl stop firewalld
systemctl disable firewalld

  6. 浏览器打开http://ip:9200/?pretty

集群化环境前置准备

配置多台Linux虚拟机

安装集群化软件，首要条件就是要有多台Linux服务器可用

我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用

  1. 关闭当前CentOS系统虚拟机（可以使用root用户执行init 0来快速关机）

  2. 新建文件夹 如：虚拟机集群

  3. 克隆，分别命名为node1，node2，node3

  4. 开启node1，修改主机名为node1，并修改固定ip为192.168.88.131

    1
2
3
4
5
6
7
8
9
10
11
12

    # 修改主机名
hostnamectl set-hostname node1

# 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
IPADDR="192.168.88.131"

# 重启网卡
systemctl stop network
systemctl start network
# 或者直接
systemctl restart network

  5. 同样的操作启动node2和node3

    1. 修改node2主机名为node2，设置ip为192.168.88.132
    2. 修改node2主机名为node3，设置ip为192.168.88.133

  6. 配置FinalShell，配置连接到node1、node2、node3的连接

准备主机名映射

  1. 在Windows系统中修改hosts文件，填入如下内容：

    1
2
3

    192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

  2. 在3台Linux的/etc/hosts文件中，都填入如下内容

    1
2
3

    192.168.88.131 node1
192.168.88.132 node2
192.168.88.133 node3

配置SSH免密登录

  1. 在每一台机器都执行ssh-keygen -t rsa -b 4096，一直回车即可

  2. 在每一台机器都执行

    1
2
3

    ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

  3. 执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通

配置JDK环境

[[Linux#5.3.1 安装JDK环境]]

关闭防火墙和SELinux

  1. 关闭防火墙

    1
2

    systemctl stop firewalld
systemctl disable firewalld

  2. 关闭SELinux

    1
2
3
4
5

    vim /etc/sysconfig/selinux

# 将SELINUX=enforcing 改为
SELINUX=disabled
# 保存退出后，重启虚拟机即可

补充命令 - scp

  1. 功能：在不同的Linux服务器之间，通过SSH协议互相传输文件。
  2. 语法：scp [-r] 参数1 参数2
    1. -r：用于复制文件夹使用，如果复制文件夹，必须使用-r
    2. 参数1：本机路径或远程目标路径
    3. 参数2：远程目标路径或本机路径
  3. 例
    1. scp -r /export/server/jdk root@node2:/export/server/
      1. 将本机上的jdk文件夹， 以root的身份复制到node2的/export/server/内，账户名可以省略（使用本机当前的同名账户登陆）
    2. scp -r node2:/export/server/jdk /export/server/
      1. 将远程node2的jdk文件夹，复制到本机的/export/server/内
  4. scp命令的高级用法 
    1
2
3

    cd /export/server
scp -r jdk node2:`pwd`/    # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下
scp -r jdk node2:$PWD    # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下

Zookeeper集群安装部署

  1. 确保完成5.8 集群化环境前置准备

  2. 【node1上操作】下载Zookeeper安装包，并解压

    1
2
3
4
5
6
7
8

    # 下载
wget http://archive.apache.org/dist/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz

# 确保如下目录存在，不存在就创建
mkdir -p /export/server

# 解压
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /export/server

  3. 【node1上操作】创建软链接：ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

  4. 【node1上操作】修改配置文件

    1
2
3
4
5
6
7
8
9
10
11

    vim /export/server/zookeeper/conf/zoo.cfg

tickTime=2000
# zookeeper数据存储目录
dataDir=/export/server/zookeeper/data
clientPort=2181
initLimit=5
syncLimit=2
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888

  5. 【node1上操作】配置myid

    1
2
3
4
5
6

    # 1. 创建Zookeeper的数据目录
mkdir /export/server/zookeeper/data

# 2. 创建文件，并填入1
vim /export/server/zookeeper/data/myid
# 在文件内填入1即可

  6. 【在node2和node3上操作】创建文件夹：mkdir -p /export/server

  7. 【node1上操作】将Zookeeper复制到node2和node3

    1
2
3
4

    cd /export/server

scp -r apache-zookeeper-3.5.9 node2:`pwd`/
scp -r apache-zookeeper-3.5.9 node3:`pwd`/

  8. 【node2上操作】

    1
2
3
4
5
6

    # 1. 创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

# 2. 修改myid文件
vim /export/server/zookeeper/data/myid
# 修改内容为2

  9. 【node3上操作】

    1
2
3
4
5
6

    # 1. 创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper

# 2. 修改myid文件
vim /export/server/zookeeper/data/myid
# 修改内容为3

  10. 【在node1、node2、node3上分别执行】启动Zookeeper：/export/server/zookeeper/bin/zkServer.sh start

  11. 【在node1、node2、node3上分别执行】检查Zookeeper进程是否启动

    1
2
3

    jps

# 结果中找到有：QuorumPeerMain 进程即可

  12. 【node1上操作】验证Zookeeper

    1
2
3
4
5
6

    /export/server/zookeeper/zkCli.sh

# 进入到Zookeeper控制台中后，执行
ls /

# 如无报错即配置成功

Kafka集群安装部署

安装

  1. 确保已完成5.3.1 安装JDK环境和5.9 Zookeeper集群安装部署

  2. 【node1操作】下载并上传Kafka的安装包：wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz

  3. 【node1操作】解压

    1
2
3
4
5
6
7

    mkdir -p /export/server			# 此文件夹如果不存在需先创建

# 解压
tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/

# 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

  4. 【node1操作】修改Kafka目录内的config目录内的server.properties文件

    1
2
3
4
5
6
7
8
9

    cd /export/server/kafka/config
# 指定broker的id
broker.id=1
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node1:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  5. 【node1操作】将node1的kafka复制到node2和node3

    1
2
3
4
5
6

    cd /export/server

# 复制到node2同名文件夹
scp -r kafka_2.12-2.4.1 node2:`pwd`/
# 复制到node3同名文件夹
scp -r kafka_2.12-2.4.1 node3:$PWD

  6. 【node2操作】

    1
2
3
4
5
6
7
8
9
10
11
12

    # 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
# 指定broker的id
broker.id=2
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node2:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  7. 【node3操作】

    1
2
3
4
5
6
7
8
9
10
11
12

    # 创建软链接
ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka

cd /export/server/kafka/config
# 指定broker的id
broker.id=3
# 指定 kafka的绑定监听的地址
listeners=PLAINTEXT://node3:9092
# 指定Kafka数据的位置
log.dirs=/export/server/kafka/data
# 指定Zookeeper的三个节点
zookeeper.connect=node1:2181,node2:2181,node3:2181

  8. 启动kafka

    1
2
3
4
5
6
7

    # 请先确保Zookeeper已经启动了

# 方式1：【前台启动】分别在node1、2、3上执行如下语句
/export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties

# 方式2：【后台启动】分别在node1、2、3上执行如下语句
nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log &

  9. 验证Kafka启动,在每一台服务器执行：jps

测试Kafka能否正常使用

  1. 【node1操作】创建测试主题：/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
  2. 运行测试，在FinalShell中打开2个node1的终端页面 
    1
2
3
4

    # 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

大数据集群（Hadoop生态）安装部署

前置要求

  • 请确保完成了集群化环境前置准备章节的内容
  • 即：JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作

Hadoop集群角色

Hadoop生态体系中的进程角色

  1. Hadoop HDFS的管理角色：Namenode进程(仅需1个即可(管理者一个就够))
  2. Hadoop HDFS的工作角色：Datanode进程(需要多个(工人，越多越好，一个机器启动一个))
  3. Hadoop YARN的管理角色：ResourceManager进程(仅需1个即可(管理者一个就够))
  4. Hadoop YARN的工作角色：NodeManager进程(需要多个(工人，越多越好，一个机器启动一个))
  5. Hadoop历史记录服务器角色：HistoryServer进程(仅需1个即可(功能进程无需太多1个足够))
  6. Hadoop代理服务器角色：WebProxyServer进程(仅需1个即可(功能进程无需太多1个足够))
  7. Zookeeper的进程：QuorumPeerMain进程(仅需1个即可(Zookeeper的工作者，越多越好))

角色和节点分配

角色分配如下

  1. node1：Namenode、Datanode、ResourceManager、NodeManager、HistoryServer、WebProxyServer、QuorumPeerMain
  2. node2：Datanode、NodeManager、QuorumPeerMain
  3. node3：Datanode、NodeManager、QuorumPeerMain`

安装

调整虚拟机内存
  1. node1设置4GB或以上内存
  2. node2和node3设置2GB或以上内存
Hadoop集群部署

  1. 下载Hadoop安装包、解压、配置软链接

    1
2
3
4
5
6
7
8
9

    # 1. 下载
wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

# 2. 解压
# 请确保目录/export/server存在
tar -zxvf hadoop-3.3.0.tar.gz -C /export/server/

# 3. 构建软链接
ln -s /export/server/hadoop-3.3.0 /export/server/hadoop

  2. 修改配置文件：hadoop-env.sh

    1. cd进入到/export/server/hadoop/etc/hadoop文件夹中，配置文件都在这里
    2. 修改hadoop-env.sh文件
    • 此文件是配置一些Hadoop用到的环境变量
    • 这些是临时变量，在Hadoop运行时有用
    • 如果要永久生效，需要写到/etc/profile中
    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

    # 在文件开头加入：
# 配置Java安装路径
export JAVA_HOME=/export/server/jdk
# 配置Hadoop安装路径
export HADOOP_HOME=/export/server/hadoop
# Hadoop hdfs配置文件路径
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# Hadoop YARN配置文件路径
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# Hadoop YARN 日志文件夹
export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
# Hadoop hdfs 日志文件夹
export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs

# Hadoop的使用启动用户配置
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export YARN_PROXYSERVER_USER=root

  3. 修改配置文件：core-site.xml

    1. 清空文件，填入如下内容 
      1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

      




  
    fs.defaultFS
    hdfs://node1:8020
    
  

  
    io.file.buffer.size
    131072

  4. 配置：hdfs-site.xml文件

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54

    





    
        dfs.datanode.data.dir.perm
        700
    

  
    dfs.namenode.name.dir
    /data/nn
    Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.
  

  
    dfs.namenode.hosts
    node1,node2,node3
    List of permitted DataNodes.
  

  
    dfs.blocksize
    268435456
    
  


  
    dfs.namenode.handler.count
    100
    
  

  
    dfs.datanode.data.dir
    /data/dn

  5. 配置：mapred-env.sh文件

    1
2
3
4

    # 在文件的开头加入如下环境变量设置
export JAVA_HOME=/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

  6. 配置：mapred-site.xml文件

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

    





  
    mapreduce.framework.name
    yarn
    
  

  
    mapreduce.jobhistory.address
    node1:10020
    
  


  
    mapreduce.jobhistory.webapp.address
    node1:19888
    
  


  
    mapreduce.jobhistory.intermediate-done-dir
    /data/mr-history/tmp
    
  


  
    mapreduce.jobhistory.done-dir
    /data/mr-history/done
    
  

  yarn.app.mapreduce.am.env
  HADOOP_MAPRED_HOME=$HADOOP_HOME


  mapreduce.map.env
  HADOOP_MAPRED_HOME=$HADOOP_HOME


  mapreduce.reduce.env
  HADOOP_MAPRED_HOME=$HADOOP_HOME

  7. 配置：yarn-env.sh文件

    1
2
3
4
5
6
7

    # 在文件的开头加入如下环境变量设置
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs

  8. 配置：yarn-site.xml文件

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84

    




    yarn.log.server.url
    http://node1:19888/jobhistory/logs
    


  
    yarn.web-proxy.address
    node1:8089
    proxy server hostname and port
  


  
    yarn.log-aggregation-enable
    true
    Configuration to enable or disable log aggregation
  

  
    yarn.nodemanager.remote-app-log-dir
    /tmp/logs
    Configuration to enable or disable log aggregation
  



  
    yarn.resourcemanager.hostname
    node1
    
  

  
    yarn.resourcemanager.scheduler.class
    org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
    
  

  
    yarn.nodemanager.local-dirs
    /data/nm-local
    Comma-separated list of paths on the local filesystem where intermediate data is written.
  


  
    yarn.nodemanager.log-dirs
    /data/nm-log
    Comma-separated list of paths on the local filesystem where logs are written.
  


  
    yarn.nodemanager.log.retain-seconds
    10800
    Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.
  



  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    Shuffle service that needs to be set for Map Reduce applications.

  9. 修改workers文件

    1
2
3

    node1
node2
node3

  10. 【node31操作】分发hadoop`到其它机器

    1
2
3
4

    cd /export/server

scp -r hadoop-3.3.0 node2:`pwd`/
scp -r hadoop-3.3.0 node2:`pwd`/

  11. 在node2、node3创建软链接：ln -s /export/server/hadoop-3.3.0 /export/server/hadoop

  12. 创建所需目录

    1. 在node1执行

      1
2
3
4

      mkdir -p /data/nn
mkdir -p /data/dn
mkdir -p /data/nm-log
mkdir -p /data/nm-local

    2. 在node2执行

      1
2
3

      mkdir -p /data/dn
mkdir -p /data/nm-log
mkdir -p /data/nm-local

    3. 在node3执行

      1
2
3

      mkdir -p /data/dn
mkdir -p /data/nm-log
mkdir -p /data/nm-local

  13. 配置环境变量

    1. 在node1、node2、node3修改/etc/profile

      1
2

      export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    2. 执行source /etc/profile生效

  14. 格式化NameNode，在node1执行：hadoop namenode -format

  15. 启动hadoop的hdfs集群，在node1执行

    1
2
3
4

    start-dfs.sh

# 如需停止可以执行
stop-dfs.sh

  16. 启动hadoop的yarn集群，在node1执行

    1
2
3
4

    start-yarn.sh

# 如需停止可以执行
stop-yarn.sh

  17. 启动历史服务器

    1
2
3

    mapred --daemon start historyserver

# 如需停止将start更换为stop

  18. 启动web代理服务器

    1
2
3

    yarn-daemon.sh start proxyserver

# 如需停止将start更换为stop
验证Hadoop集群运行情况

  1. 在node1、node2、node3上通过jps验证进程是否都启动成功

  2. 验证HDFS，浏览器打开：http://node1:9870

  3. 创建文件test.txt，随意填入内容，并执行：

    1
2
3

    hadoop fs -put test.txt /test.txt

hadoop fs -cat /test.txt

  4. 验证YARN，浏览器打开：http://node1:8088

  5. 执行

    1
2
3
4
5
6
7
8
9
10

    # 创建文件words.txt，填入如下内容
itheima itcast hadoop
itheima hadoop hadoop
itheima itcast

# 将文件上传到HDFS中
hadoop fs -put words.txt /words.txt

# 执行如下命令验证YARN是否正常
hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount -Dmapred.job.queue.name=root.root /words.txt /output

大数据NoSQL数据库HBase集群部署

  1. HBase依赖Zookeeper、JDK、Hadoop(HDFS)，请确保已经完成安装

    • 集群化软件前置准备(JDK)
    • Zookeeper
    • Hadoop

  2. 【node1执行】下载HBase安装包

    1
2
3
4
5
6
7
8

    # 下载
wget http://archive.apache.org/dist/hbase/2.1.0/hbase-2.1.0-bin.tar.gz

# 解压
tar -zxvf hbase-2.1.0-bin.tar.gz -C /export/server

# 配置软链接
ln -s /export/server/hbase-2.1.0 /export/server/hbase

  3. 【node1执行】，修改配置文件，修改conf/hbase-env.sh文件

    1
2
3
4
5
6
7

    # 在28行配置JAVA_HOME
export JAVA_HOME=/export/server/jdk
# 在126行配置：
# 意思表示，不使用HBase自带的Zookeeper，而是用独立Zookeeper
export HBASE_MANAGES_ZK=false
# 在任意行，比如26行，添加如下内容：
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

  4. 【node1执行】，修改配置文件，修改conf/hbase-site.xml文件

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

    # 将文件的全部内容替换成如下内容：

        
        
            hbase.rootdir
            hdfs://node1:8020/hbase
        
        
        
            hbase.cluster.distributed
            true
        
        
        
            hbase.zookeeper.quorum
            node1,node2,node3
        
        
        
            hbase.zookeeper.property.dataDir
            /export/server/apache-zookeeper-3.6.0-bin/data
        
        
        
            hbase.unsafe.stream.capability.enforce
            false

  5. 【node1执行】，修改配置文件，修改conf/regionservers文件

    1
2
3

    node1
node2
node3

  6. 【node1执行】，分发hbase到其它机器

    1
2

    scp -r /export/server/hbase-2.1.0 node2:/export/server/
scp -r /export/server/hbase-2.1.0 node3:/export/server/

  7. 【node2、node3执行】，配置软链接：ln -s /export/server/hbase-2.1.0 /export/server/hbase

  8. 【node1、node2、node3执行】，配置环境变量

    1
2
3
4
5

    # 配置在/etc/profile内，追加如下两行
export HBASE_HOME=/export/server/hbase
export PATH=$HBASE_HOME/bin:$PATH

source /etc/profile

  9. 【node1执行】启动HBase

    请确保：Hadoop HDFS、Zookeeper是已经启动

    1
2
3
4

    start-hbase.sh

# 如需停止可使用
stop-hbase.sh

  10. 验证HBase，浏览器打开：http://node1:16010

  11. 简单测试使用HBase，node1执行

    1
2
3
4
5
6
7
8
9
10
11
12
13

    hbase shell

# 创建表
create 'test', 'cf'

# 插入数据
put 'test', 'rk001', 'cf:info', 'itheima'

# 查询数据
get 'test', 'rk001'

# 扫描表数据
scan 'test'

分布式内存计算Spark环境部署

本小节的操作基于：大数据集群（Hadoop生态）安装部署环节中所构建的Hadoop集群

  1. 【node1执行】下载并解压

    1
2
3
4
5
6
7

    wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz

# 解压
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server/

# 软链接
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

  2. 【node1执行】修改配置文件名称

    1
2
3

    cd /export/server/spark/conf
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

  3. 【node1执行】修改配置文件，spark-env.sh

    1
2
3
4
5
6
7
8
9
10
11
12
13
14

    ## 设置JAVA安装目录
JAVA_HOME=/export/server/jdk

## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop
YARN_CONF_DIR=/export/server/hadoop/etc/hadoop

## 指定spark老大Master的IP和提交任务的通信端口
export SPARK_MASTER_HOST=node1
export SPARK_MASTER_PORT=7077

SPARK_MASTER_WEBUI_PORT=8080
SPARK_WORKER_CORES=1
SPARK_WORKER_MEMORY=1g

  4. 【node1执行】修改配置文件，slaves

    1
2
3

    node1
node2
node3

  5. 【node1执行】分发

    1
2

    scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD
scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD

  6. 【node2、node3执行】设置软链接：ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark

  7. 【node1执行】启动Spark集群

    1
2
3
4

    /export/server/spark/sbin/start-all.sh

# 如需停止，可以
/export/server/spark/sbin/stop-all.sh

  8. 打开Spark监控页面，浏览器打开：http://node1:8081

  9. 【node1执行】提交测试任务：/export/server/spark/bin/spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi /export/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar

分布式内存计算Flink环境部署

本小节的操作基于：大数据集群（Hadoop生态）安装部署环节中所构建的Hadoop集群

  1. 【node1操作】下载安装包

    1
2
3
4
5
6
7

    wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz

# 解压
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /export/server/

# 软链接
ln -s /export/server/flink-1.10.0 /export/server/flink

  2. 【node1操作】修改配置文件conf/flink-conf.yaml

    1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

    # jobManager 的IP地址
jobmanager.rpc.address: node1
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
# TaskManager JVM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
#是否进行预分配内存，默认不进行预分配，这样在我们不使用flink集群时候不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
#JobManager的Web界面的端口（默认：8081）
jobmanager.web.port: 8081

  3. 【node1操作】，修改配置文件conf/slaves

    1
2
3

    node1
node2
node3

  4. 【node1操作】分发Flink安装包到其它机器

    1
2
3

    cd /export/server
scp -r flink-1.10.0 node2:`pwd`/
scp -r flink-1.10.0 node3:`pwd`/

  5. 【node2、node3操作】配置软链接：ln -s /export/server/flink-1.10.0 /export/server/flink

  6. 【node1操作】启动Flink：/export/server/flink/bin/start-cluster.sh

  7. 验证Flink启动，浏览器打开：http://node1:8081

  8. 【node1执行】提交测试任务：/export/server/flink/bin/flink run /export/server/flink-1.10.0/examples/batch/WordCount.jar

运维监控Zabbix部署

安装Zabbix Server和Zabbix Agent

在开始安装Zabbix Server和Agent之前，首先需要完成准备工作。请确保按照指南在服务器上安装了 MySQL 数据库。

  1. 下载安装文件

    在开始安装之前，你需要从 Zabbix 官方网站  下载适合你系统版本的 Zabbix 安装包。

  2. 安装Zabbix yum库

    运行以下命令来添加 Zabbix 的 yum 库：

    1
2

    rpm -Uvh https://repo.zabbix.com/zabbix/4.0/rhel/7/x86_64/zabbix-release-4.0-2.el7.noarch.rpm
yum clean all

  3. 安装Zabbix Server、前端、Agent

    使用以下命令安装 Zabbix Server、前端和 Agent：

    1
2
3

    yum -y install zabbix-server-mysql zabbix-web-mysql zabbix-agent
# 如果只需要安装 Agent 的话
yum -y install zabbix-agent

初始化Mysql数据库

在 MySQL 中操作来初始化数据库：

1
2
3
4
5
6

# 登录 MySQL 数据库
mysql -uroot -pYourPassword
mysql> create database zabbix character set utf8 collate utf8_bin;
mysql> grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix';
# 或者: grant all privileges on zabbix.* to zabbix@'%' identified by 'zabbix';
mysql> quit;

接着，测试在 Zabbix Server 服务器上是否能够远程登录 MySQL 数据库：

1

zcat /usr/share/doc/zabbix-server-mysql*/create.sql.gz | mysql -uzabbix -p zabbix

配置Zabbix Server的数据库

编辑文件 /etc/zabbix/zabbix_server.conf，设置以下参数：

1
2

DBPassword=password
DBHost=mysql-host-ip-or-hostname

配置Zabbix的PHP前端

编辑文件 /etc/httpd/conf.d/zabbix.conf，确保配置正确。之后，运行以下命令启动、重启服务，并设置开机自启：

1
2

systemctl restart zabbix-server zabbix-agent httpd
systemctl enable zabbix-server zabbix-agent httpd

配置Zabbix前端（WEB UI）

最后，在浏览器中访问 http://192.168.88.131/zabbix 进行 Zabbix 前端的配置和管理

你可能感兴趣的:(linux,adb,运维)

  • Flink中的SQL Client和SQL Gateway BigDataMLApplication flinkflinksqlgateway
    Flink中的SQLClient和SQLGateway对比目录定义基本原理适用场景主要区别常用运维命令示例官方链接正文1.定义SQLClient：FlinkSQLClient是一种用于提交和执行FlinkSQL语句的命令行界面或图形界面工具。SQLGateway：FlinkSQLGateway是一个独立的服务，它允许客户端通过RESTfulAPI将SQL查询提交到Flink集群。2.基本原理SQL
  • 浪潮 M5系列服务器IPMI无法监控存储RAID卡问题. Songxwn 硬件服务器服务器运维
    简介浪潮的M5代服务器，可能有WebBMC无法查看存储RAID/SAS卡状态的情况，可以通过以下方式修改。修改完成后重启BMC即可生效。ESXiIPMITools使用：https://songxwn.com/ESXi8_IPMI/（Linux也可以直接使用）Linux/ESXiIPMITool下载：https://songxwn.com/file/ipmitoolWindows下载：https:/
  • unblock with ‘mysqladmin flush-hosts‘ 解决方法 祈祷平安,加油 数据库常见问题oracle数据库
    MySqlHostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'解决方法环境：linux，mysql5.5.21错误：Hostisblockedbecauseofmanyconnectionerrors;unblockwith'mysqladminflush-hosts'原因：同一个ip在短时间内产
  • Mac命令行查找SDK/JDK安装位置 iblade Linuxmacosjava开发语言
    要在命令行中查询AndroidSDKPlatformTools的安装位置，可以使用以下步骤：使用which命令：在命令行中执行以下命令：whichadb这将输出adb命令的安装路径，通常情况下，它会在AndroidSDK的platform-tools目录下。手动查找：如果whichadb没有输出，可以手动查找AndroidSDK的安装位置。通常情况下，AndroidSDK的默认安装路径是在用户的h
  • 1.计算机处理器架构+嵌入式处理器架构及知识 vv 啊 arm-linux学习linux系统架构
    目录一：x86-64处理器架构二：Intel80386处理器（i386）1.i3862.i686三：嵌入式Linux知识：1.MinGW2.GNU计划2.1GNU工具链概述此次只分享英特尔和ADM处理器有关于x86的架构，至于嵌入式处理器架构请查看https://en.wikipedia.org/wiki/List_of_ARM_processors一：x86-64处理器架构x86-64，也称为x
  • springboot集成logback-spring.xml文件 RT_0114 SpringBootspringbootspringlogback
    彩色日志日志分debug和error文件输出，方便开发人员运维日志限制最大保管天数日志限制总量大小占用量GB日志限制单个文件大小MB日志显示最大保留天数屏蔽没用的日志${CONSOLE_LOG_PATTERN}${log.path}/debug.log${log.path}/%d{yyyy-MM-dd,aux}/debug.%d{yyyy-MM-dd}.%i.log.gz1024MB50GB365
  • linux基础命令（一） 运维搬运工 linuxlinux服务器centos
    Linux基础命令1、设置主机名1.1、hostname查看主机名[root@ansible~]#cat/etc/hostnameansible或[root@ansible~]#hostnameansible注意：主机名中不允许使用下划线“_”，可以用短横线“-”1.2、hostname临时修改主机名#临时修改直接修改的是内存中的，重启会失效[root@ansible~]#hostnameansi
  • docker基础（一） 运维搬运工 容器-dockerdocker容器运维
    相关概念介绍Docker是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖到一个可移植的容器中，然后发布到任何流行的linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，互相之间不会有任何接口。Docker有几个重要概念：dockerfile，配置文件，用来生成dockerimagedockerimage，交付部署的最小单元docker命令与API，定义命令与接口，支持第三方系统集
  • 网络安全（黑客）——自学2024 小言同学喜欢挖漏洞 web安全安全网络学习网络安全信息安全渗透测试
    01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。02怎样规划网络安全如果你是一
  • 黑客（网络安全）技术自学30天 一个迷人的黑客 web安全安全网络笔记网络安全信息安全渗透测试
    01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。02怎样规划网络安全如果你是一
  • linux安装docker及docker-compose 部署spring boot项目 时而有事儿 dockerlinuxdockerlinuxspringboot
    linux系统环境：centos5.14本篇描述的是在centos系统版本下安装docker，如果是ubuntu版本，请看这篇文章：linuxubuntu20安装docker和docker-compose-CSDN博客正文：安装docker和docker-compose安装docker---------运行命名等待安装完成遇到选择直接输入yyuminstall-yyum-utilsdevice-m
  • 检测usb口HotPlug-netlink cany1000 linux
    为了完成内核空间与用户空间通信，Linux提供了基于Socket的NetLink通信机制。SELinux，Linux系统的防火墙分为内核态的netfilter和用户态的iptables，netfilter与iptables的数据交换就是通过Netlink机制完成。下面看一个检测usb口的例子：s32InitUsbHotPlug(void){s32nSockFd=0;//套接字地址structsoc
  • Linux学习系列之vim编辑器（一） llibertyll linux学习
    vi编辑器的操作模式输入模式—aio等—>命令模式<—：键—末行模式从输入/末行模式切换到命令模式都是需要按ESC键注:a光标后输入，i光标前输入，o直接向下加一行输入，O向上加一行输入在vi编辑器中光标的移动（命令行模式下）键组合（命令）光标的移动$光标移动到当前行的结尾0（零）光标移动到当前行的开始GG光标移动到最后一行gg光标移动到第一行在命令行模式下删除与复制的操作键组合（命令）含义dd删
  • 自学黑客（网络安全）技术——2024最新 九九归二 web安全安全学习笔记网络网络安全信息安全
    01什么是网络安全网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。无论网络、Web、移动、桌面、云等哪个领域，都有攻与防两面性，例如Web安全技术，既有Web渗透，也有Web防御技术（WAF）。作为一个合格的网络安全工程师，应该做到攻守兼备，毕竟知己知彼，才能百战百胜。02怎样规划网络安全如果你是一
  • Azkaban各种类型的Job编写 __元昊__
    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
  • Linux初学（十）shell脚本 王依硕 Linuxlinux运维服务器
    一、for循环1.1循环的格式for变量in列表do代码代码....done循环的逻辑：将列表中的每个元素逐一赋值给变量每赋值一次，do和done之间的代码就会执行一次1.2列表的生成方式方法1：直接给出列表元素【用空格分隔多个元素】133129hahabaidu方法2：用通配符来生成元素/home/a*方法3：用命令来生成元素ls/etc/方法4：用{}展开的形式生成元素{3..7}{a..e}
  • Ubuntu下安装Chrome浏览器(简单,使用) Starry-sky(jing) [linux操作系统笔记]chrome深度学习linux
    下载安装GoogleChrome浏览器deb包极速下载:下载链接32位wgethttps://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb64位wgethttps://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb安装sudodpk
  • 【Linux】PyCharm无法启动报错及解决方法 不是AI python软件操作Linuxlinuxpycharm运维
    一、问题描述如图，笔者试图在Ubuntu18.04虚拟机上运行PyCharm开发工具（已安装，安装过程可以参考我的博客Ubuntu安装PyCharm），无法启动，报错：CannotconnecttoalreadyrunningIDEinstance.Exception:Process2574isstillrunning.报错截图如下：二、解决方法通过报错信息看出，出于某种原因，进程（PID为257
  • Linux（centos7）部署hive 灯下夜无眠 Linuxlinuxhive运维dbeaverhive客户端
    前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch.
  • Linux通过Tuned实现动态调优系统性能 星河_赵梓宇 linux运维服务器
    Linux通过Tuned实现动态调优系统性能Tuned简介对于普通用户来说，优化Linux应用环境可能是相当具有挑战性的。它涵盖了各种领域，并且有许多参数需要考虑，比如CPU、存储、缓存策略和内存管理。尽管Linux有默认设置可以处理大多数情况和场景，但是对于高性能、高并发和高可用性系统等特殊场景，需要进行调整。本文讨论的特性是tuned，它是Linux系统中常用的一种调优服务。tuned由两个程
  • vscode配置go远程linux gdut17 golang
    Toolsenvironment:GOPATH=/root/goInstalling9toolsat/root/go/bininmodulemode.gopkgsgo-outlinegotestsgomodifytagsimplgoplaydlvgolintgoplsInstallinggithub.com/uudashr/gopkgs/v2/cmd/gopkgs(/root/go/bin/gop
  • Mysql数据库MariaDB数据库MHA高可用程序 yichen_china
    声明：本次实验使用的是MariaDB数据库，所以本文中所出现的MariaDB与MySQL都是指的是MariaDB！！！MHA（MasterHA）是一款开源的MySQL的高可用程序，它为MySQL主从复制架构提供了automatingmasterfailover功能。MHA在监控到master节点故障时，会提升其中拥有最新数据的slave节点成为新的master节点，在此期间，MHA会通过于其它从节
  • 部署es集群 liushaojiax elasticsearchjava大数据
    我们会在单机上利用docker容器运行多个es实例来模拟es集群。不过生产环境推荐大家每一台服务节点仅部署一个es的实例。部署es集群可以直接使用docker-compose来完成，但这要求你的Linux虚拟机至少有4G的内存空间创建es集群首先编写一个docker-compose文件，内容如下：version:'2.2'services:es01:image:elasticsearch:7.12
  • 网络安全（黑客技术）—自学 德西德西 web安全安全网络安全学习python开发语言php
    1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。2.网络安全市场一、是市场需求量高；二、则是发展相对成熟入门比较容易。3.所需要的技术水平需要掌握的知识点偏多（举例）：4.国家政策环境对于国家与企业的地位愈发重要，没有网络安全就没有国家安全更有为国效力的正义黑客—红客联盟可见其重视
  • SQL运维_Unix下MySQL-8.0.18配置文件示例 Mostcow SQLsql运维unix
    SQL运维_Unix下MySQL-8.0.18配置文件示例MySQL是一个关系型数据库管理系统,由瑞典MySQLAB公司开发,属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的RDBMS(RelationalDatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统,关系数据库将
  • 在 Linux/Ubuntu/Debian 上安装 SQL Server 2019 理工男老K ubuntulinux运维debiansqlserver
    Microsoft为Linux发行版（包括Ubuntu）提供SQLServer。以下是有关如何执行此操作的基本指南：注册MicrosoftUbuntu存储库并添加公共存储库GPG密钥：sudowget-qO-https://packages.microsoft.com/keys/microsoft.asc|sudoapt-keyadd-sudoadd-apt-repository"$(wget-q
  • 关于HDP的20道高级运维面试题 编织幻境的妖 运维
    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
  • 生信星球学习小组第80期 Day3笔记--ZJUSKY ZJUSKY
    Conda简介Conda是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。简单来说Conda就是Linux系统下的应用商店，你可以在通过Conda下载，安装很多软件。这里我们推荐miniconda,它只包含了最基本的内容，python和conda，以及相关的必须依赖项。精简的miniconda足够满足日常生信使用。下载miniconda推荐使用清
  • 网络安全（黑客技术）—2024自学 德西德西 开发语言php安全web安全网络安全python网络
    1.网络安全是什么网络安全可以基于攻击和防御视角来分类，我们经常听到的“红队”、“渗透测试”等就是研究攻击技术，而“蓝队”、“安全运营”、“安全运维”则研究防御技术。2.网络安全市场一、是市场需求量高；二、则是发展相对成熟入门比较容易。3.所需要的技术水平需要掌握的知识点偏多（举例）：4.国家政策环境对于国家与企业的地位愈发重要，没有网络安全就没有国家安全更有为国效力的正义黑客—红客联盟可见其重视
  • Linux系统及操作 (04) 3s不会飞 Linux基础常识linux运维服务器
    Linux系统及操作(03)RPM软件包网络下载对应软件包光盘镜像文件，具备软件包Windows系统软件包的管理可以指定安装位置安装是集中安装到一个目录Linux系统与Windows系统相反。常见的软件包（生态）类型电脑入侵99%都是通过软件包的漏洞进行的。window生态Android生态ios生态rpm软件包：扩展名为.rpm,适用于RedHat系统。deb软件包：扩展名为.deb适用于Deb
  • html 周华华 html
    js 1，数组的排列 var arr=[1,4,234,43,52,]; for(var x=0;x<arr.length;x++){    for(var y=x-1;y<arr.length;y++){      if(arr[x]<arr[y]){     &
  • 【Struts2 四】Struts2拦截器 bit1129 struts2拦截器
    Struts2框架是基于拦截器实现的，可以对某个Action进行拦截，然后某些逻辑处理，拦截器相当于AOP里面的环绕通知，即在Action方法的执行之前和之后根据需要添加相应的逻辑。事实上，即使struts.xml没有任何关于拦截器的配置，Struts2也会为我们添加一组默认的拦截器，最常见的是，请求参数自动绑定到Action对应的字段上。   Struts2中自定义拦截器的步骤是：
  • make:cc 命令未找到解决方法 daizj linux命令未知make cc
    安装rz sz程序时，报下面错误：   [root@slave2 src]# make posix cc   -O -DPOSIX -DMD=2 rz.c -o rz make: cc：命令未找到 make: *** [posix] 错误 127   系统：centos 6.6 环境：虚拟机   错误原因：系统未安装gcc，这个是由于在安
  • Oracle之Job应用 周凡杨 oracle job
    最近写服务，服务上线后，需要写一个定时执行的SQL脚本，清理并更新数据库表里的数据，应用到了Oracle 的 Job的相关知识。在此总结一下。   一：查看相关job信息    1、相关视图  dba_jobs  all_jobs  user_jobs  dba_jobs_running 包含正在运行
  • 多线程机制 朱辉辉33 多线程
    转至http://blog.csdn.net/lj70024/archive/2010/04/06/5455790.aspx 程序、进程和线程： 程序是一段静态的代码，它是应用程序执行的蓝本。进程是程序的一次动态执行过程，它对应了从代码加载、执行至执行完毕的一个完整过程，这个过程也是进程本身从产生、发展至消亡的过程。线程是比进程更小的单位，一个进程执行过程中可以产生多个线程，每个线程有自身的
  • web报表工具FineReport使用中遇到的常见报错及解决办法（一） 老A不折腾 web报表finereportjava报表报表工具
    FineReport使用中遇到的常见报错及解决办法（一） 这里写点抛砖引玉，希望大家能把自己整理的问题及解决方法晾出来，Mark一下，利人利己。   出现问题先搜一下文档上有没有，再看看度娘有没有，再看看论坛有没有。有报错要看日志。下面简单罗列下常见的问题，大多文档上都有提到的。   1、address pool is full： 含义：地址池满，连接数超过并发数上
  • mysql rpm安装后没有my.cnf 林鹤霄 没有my.cnf
    Linux下用rpm包安装的MySQL是不会安装/etc/my.cnf文件的， 至于为什么没有这个文件而MySQL却也能正常启动和作用，在这儿有两个说法， 第一种说法，my.cnf只是MySQL启动时的一个参数文件，可以没有它，这时MySQL会用内置的默认参数启动， 第二种说法，MySQL在启动时自动使用/usr/share/mysql目录下的my-medium.cnf文件，这种说法仅限于r
  • Kindle Fire HDX root并安装谷歌服务框架之后仍无法登陆谷歌账号的问题 aigo root
    原文：http://kindlefireforkid.com/how-to-setup-a-google-account-on-amazon-fire-tablet/   Step 4: Run ADB command from your PC   On the PC, you need install Amazon Fire ADB driver and instal
  • javascript 中var提升的典型实例 alxw4616 JavaScript
    // 刚刚在书上看到的一个小问题,很有意思.大家一起思考下吧 myname = 'global'; var fn = function () { console.log(myname); // undefined var myname = 'local'; console.log(myname); // local }; fn() // 上述代码实际上等同于以下代码 m
  • 定时器和获取时间的使用 百合不是茶 时间的转换定时器
    定时器:定时创建任务在游戏设计的时候用的比较多   Timer();定时器 TImerTask();Timer的子类  由 Timer 安排为一次执行或重复执行的任务。       定时器类Timer在java.util包中。使用时，先实例化，然后使用实例的schedule(TimerTask task, long delay)方法，设定
  • JDK1.5 Queue bijian1013 javathreadjava多线程Queue
    JDK1.5 Queue LinkedList： LinkedList不是同步的。如果多个线程同时访问列表，而其中至少一个线程从结构上修改了该列表，则它必须 保持外部同步。（结构修改指添加或删除一个或多个元素的任何操作；仅设置元素的值不是结构修改。）这一般通过对自然封装该列表的对象进行同步操作来完成。如果不存在这样的对象，则应该使用 Collections.synchronizedList 方
  • http认证原理和https bijian1013 httphttps
    一.基础介绍         在URL前加https://前缀表明是用SSL加密的。 你的电脑与服务器之间收发的信息传输将更加安全。         Web服务器启用SSL需要获得一个服务器证书并将该证书与要使用SSL的服务器绑定。 http和https使用的是完全不同的连接方式，用的端口也不一样,前者是80，后
  • 【Java范型五】范型继承 bit1129 java
    定义如下一个抽象的范型类，其中定义了两个范型参数，T1，T2   package com.tom.lang.generics; public abstract class SuperGenerics<T1, T2> { private T1 t1; private T2 t2; public abstract void doIt(T
  • 【Nginx六】nginx.conf常用指令(Directive) bit1129 Directive
    1. worker_processes    8; 表示Nginx将启动8个工作者进程，通过ps -ef|grep nginx,会发现有8个Nginx Worker Process在运行   nobody 53879 118449 0 Apr22 ? 00:26:15 nginx: worker process
  • lua 遍历Header头部 ronin47 lua header 遍历　
    local headers = ngx.req.get_headers()   ngx.say("headers begin", "<br/>")   ngx.say("Host : ", he
  • java-32.通过交换a,b中的元素，使[序列a元素的和]与[序列b元素的和]之间的差最小(两数组的差最小)。 bylijinnan java
    import java.util.Arrays; public class MinSumASumB { /** * Q32.有两个序列a,b，大小都为n,序列元素的值任意整数，无序. * * 要求：通过交换a,b中的元素，使[序列a元素的和]与[序列b元素的和]之间的差最小。 * 例如: * int[] a = {100,99,98,1,2,3
  • redis 开窍的石头 redis
    在redis的redis.conf配置文件中找到# requirepass foobared 把它替换成requirepass 12356789 后边的12356789就是你的密码 打开redis客户端输入config get requirepass 返回 redis 127.0.0.1:6379> config get requirepass 1) "require
  • [JAVA图像与图形]现有的GPU架构支持JAVA语言吗？ comsci java语言
          无论是opengl还是cuda，都是建立在C语言体系架构基础上的，在未来，图像图形处理业务快速发展，相关领域市场不断扩大的情况下，我们JAVA语言系统怎么从这么庞大，且还在不断扩大的市场上分到一块蛋糕，是值得每个JAVAER认真思考和行动的事情       
  • 安装ubuntu14.04登录后花屏了怎么办 cuiyadll ubuntu
    这个情况，一般属于显卡驱动问题。 可以先尝试安装显卡的官方闭源驱动。 按键盘三个键：CTRL + ALT  +  F1 进入终端，输入用户名和密码登录终端： 安装amd的显卡驱动 sudo  apt-get  install  fglrx 安装nvidia显卡驱动 sudo  ap
  • SSL 与 数字证书 的基本概念和工作原理 darrenzhu 加密ssl证书密钥签名
    SSL 与 数字证书 的基本概念和工作原理 http://www.linuxde.net/2012/03/8301.html SSL握手协议的目的是或最终结果是让客户端和服务器拥有一个共同的密钥，握手协议本身是基于非对称加密机制的，之后就使用共同的密钥基于对称加密机制进行信息交换。 http://www.ibm.com/developerworks/cn/webspher
  • Ubuntu设置ip的步骤 dcj3sjt126com ubuntu
    在单位的一台机器完全装了Ubuntu Server，但回家只能在XP上VM一个，装的时候网卡是DHCP的，用ifconfig查了一下ip是192.168.92.128,可以ping通。 转载不是错： Ubuntu命令行修改网络配置方法 /etc/network/interfaces打开后里面可设置DHCP或手动设置静态ip。前面auto eth0，让网卡开机自动挂载. 1. 以D
  • php包管理工具推荐 dcj3sjt126com PHPComposer
    http://www.phpcomposer.com/   Composer是 PHP 用来管理依赖（dependency）关系的工具。你可以在自己的项目中声明所依赖的外部工具库（libraries），Composer 会帮你安装这些依赖的库文件。 中文文档  入门指南  下载  安装包列表 Composer 中国镜像
  • Gson使用四（TypeAdapter） eksliang jsongsonGson自定义转换器gsonTypeAdapter
    转载请出自出处：http://eksliang.iteye.com/blog/2175595 一.概述        Gson的TypeAapter可以理解成自定义序列化和返序列化 二、应用场景举例        例如我们通常去注册时（那些外国网站），会让我们输入firstName，lastName,但是转到我们都
  • JQM控件之Navbar和Tabs gundumw100 htmlxmlcss
    在JQM中使用导航栏Navbar是简单的。 只需要将data-role="navbar"赋给div即可： <div data-role="navbar"> <ul> <li><a href="#" class="ui-btn-active&qu
  • 利用归并排序算法对大文件进行排序 iwindyforest java归并排序大文件分治法Merge sort
      归并排序算法介绍，请参照Wikipeida zh.wikipedia.org/wiki/%E5%BD%92%E5%B9%B6%E6%8E%92%E5%BA%8F 基本思想： 大文件分割成行数相等的两个子文件，递归（归并排序）两个子文件，直到递归到分割成的子文件低于限制行数 低于限制行数的子文件直接排序 两个排序好的子文件归并到父文件 直到最后所有排序好的父文件归并到输入
  • iOS UIWebView URL拦截 啸笑天 UIWebView
    本文译者：candeladiao，原文：URL filtering for UIWebView on the iPhone说明：译者在做app开发时，因为页面的javascript文件比较大导致加载速度很慢，所以想把javascript文件打包在app里，当UIWebView需要加载该脚本时就从app本地读取，但UIWebView并不支持加载本地资源。最后从下文中找到了解决方法，第一次翻译，难免有
  • 索引的碎片整理SQL语句 macroli sql
    SET NOCOUNT ON DECLARE @tablename VARCHAR (128) DECLARE @execstr VARCHAR (255) DECLARE @objectid INT DECLARE @indexid INT DECLARE @frag DECIMAL DECLARE @maxfrag DECIMAL --设置最大允许的碎片数量,超过则对索引进行碎片
  • Angularjs同步操作http请求with $promise qiaolevip 每天进步一点点学习永无止境AngularJS纵观千象
    // Define a factory app.factory('profilePromise', ['$q', 'AccountService', function($q, AccountService) { var deferred = $q.defer(); AccountService.getProfile().then(function(res) {
  • hibernate联合查询问题 sxj19881213 sqlHibernateHQL联合查询
    最近在用hibernate做项目，遇到了联合查询的问题，以及联合查询中的N+1问题。 针对无外键关联的联合查询，我做了HQL和SQL的实验，希望能帮助到大家。（我使用的版本是hibernate3.3.2）   1 几个常识：  （1）hql中的几种join查询，只有在外键关联、并且作了相应配置时才能使用。  （2）hql的默认查询策略，在进行联合查询时，会产
  • struts2.xml wuai struts
    <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE struts PUBLIC "-//Apache Software Foundation//DTD Struts Configuration 2.3//EN" "http://struts.apache
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他