10、全文检索 -- Elasticsearch -- 介绍、下载、安装、配置、开启权限认证、为 Elasticsearch 启用 SSL 和 HTTPS 支持
目录
- 全文检索 -- Elasticsearch -- 介绍、下载、安装、配置、开启安全机制、设置用户密码、为 Elasticsearch 启用 SSL 和 HTTPS 支持
-
- Elasticsearch 介绍
- 官网下载 Elasticsearch
- 安装 Elasticsearch
-
- 1、bin 目录介绍
- 2、配置环境变量
- 3、修改配置文件
- 4、启动 Elasticsearch
- 5、查看 Elasticsearch 启动结果：
- 开启 XPach 安全机制（SSL+密码）
-
- 1、修改 elasticsearch.yaml 配置文件，开启 xpack 的安全机制
- 2、为不同用户设置密码
- 3、XPach 安全机制介绍：
- 4、SSL 技术介绍：
- 为 Elasticsearch 启用 SSL 和 HTTPS 支持
-
- 1、创建证书颁发机构的证书
- 2、为各节点生成私钥证书
- 3、启用 SSL 和 HTTPS （需要用到证书来启动）
-
- 1、证书拷贝到 config 目录下
- 2、修改 elasticsearch.yml 文件
- 3、告诉 Elasticsearch 证书文件的密码
- 4、演示 SSL 和 HTTPS 是否生效
全文检索 – Elasticsearch – 介绍、下载、安装、配置、开启安全机制、设置用户密码、为 Elasticsearch 启用 SSL 和 HTTPS 支持
启动 Elasticsearch 服务器：
打开命令行窗口（小黑窗），输入命令： elasticsearch ；
即可启动 Elasticsearch 服务器
Elasticsearch 介绍
Elasticsearch 与 Solr 类似，同样是一个基于 Lucene 的开源的分布式搜索引擎。
Lucene 是基于Java 语言开发的一个框架。当年由于 Lucene 的Java API 比较难用，于是 Shay Banon 就开发出一个叫作 Compass 的框架来对 Lucene 进行封装，因此 Compass 也属于一个 Java 框架。
Compass 框架用起来十分方便，后来发现在 2009年之后，Compass 项目就不更新了。原来是因为 shay Banon 用 Elasticsearch 取代了 Compass。
把 Compass 升级、革命性更新成 Elasticsearch 。
由于 Compass 只是一个 Java 框架，所以必须掌握 Java 编程才能使用 Compass；
而 Elasticsearch 则是一个独立应用，它提供了 RESTful 的操作接口，因此不管用什么编程语言，甚至不管会不会编程，都可以很方便地使用 Elasticsearch (比如用 Postman或 cur工具)。
Solr 是 Lucene 官方所提供的一个包装，都是位于 Apache 组织下面的，而 Elasticsearch 是由第三方人员开发的一个包装。
Elasticsearch 有 社区版 和 商业版 。
官网下载 Elasticsearch
官网：https://www.elastic.co/cn/elasticsearch
此时最新的版本是8.12.1，要求JDK得是 17；
我现在jdk是11，所以是下载7.14.1的版本
7.14.1 版本下载页面：https://www.elastic.co/cn/downloads/past-releases/elasticsearch-7-14-1
安装 Elasticsearch
1、bin 目录介绍
解压压缩包，得到如下文件结构：
bin： 该目录下包含了 Elasticsearch 的各种工具命令。
config：
该目录下包含了 Elasticsearch 的各种配置文件，
尤其是 elasticsearch.yml 和 jvm.options 两个配置文件很重要，
其中 elasticsearch.yml 用于配置 Elasticsearch 自己的一些属性，
jvm.options ，用于配置 JVM 的堆内存、垃圾回收机制等选项。
plugins： Elasticsearch 的插件目录。
2、配置环境变量
配置两个环境变量ES_JAVA_HOME和PATH（将bin目录添加到PATH中）
1、bin 目录添加到环境变量的 path 路径中
2、JDK 环境变量
这个变量无需多言，基本都已经有的了。
早期它使用的 JAVA_HOME 环境变量，现在改为使用 ES_JAVA_HOME。
现在如果使用 JAVA_HOME 就会出现这个警告，如图：
所以需要添加一个变量名是 “ES_JAVA_HOME”的，然后依然指向我们自己的 JDK
3、修改配置文件
修改config/elasticsearch.yaml文件如下：
cluster.name: ljh-app # 配置集群名
node.name: node-1 # 配置节点名
#network.host: 192.168.0.1 # 配置 Elasticsearch 绑定的IP地址
#http.port: 9200 # 默认指定 Elasticsearch 服务监听的端口
【备注】：同一个局域网内的多个节点（多个Elasticsearch服务器）只要指定了相同的cluster.name，它们会自动加入同一个集群。
切记：不要在这个配置文件添加中文注释，否则会启动失败
错误演示：如图：我添加了中文注释，后面启动就失败了。
添加中文注释导致启动失败记录
4、启动 Elasticsearch
如下命令即可启动Elasticsearch：
elasticsearch
启动 Elasticsearch 服务器成功。
5、查看 Elasticsearch 启动结果：
默认情况下，Elasticsearch的发布地址为：127.0.0.1:9200。
可通过curl工具（如：Postman ）测试 Elasticsearch 是否启动成功，启动另一个窗口，执行如下命令：
http://localhost:9200
如图：在浏览器或者postman访问 http://localhost:9200， 有以下输出表示Elasticsearch 启动成功。
开启 XPach 安全机制（SSL+密码）
现在已经可以使用 Elasticsearch ，但是很明显安全性不够，所以接下来为 Elasticsearch 启用 SSL 支持，以及配置用户名和密码。
1、修改 elasticsearch.yaml 配置文件，开启 xpack 的安全机制
修改 config/elasticsearch.yml 文件，添加如下一行：
开启 xpack 的安全机制：
xpack.security.enabled: true
只需要在这个配置文件简单加上这一行就能开启 spack 安全机制了
查看是否成功启动安全机制：
先关闭 ElastisSearch 服务器，再次运行 “elasticsearch” 命令重启 ElastisSearch 服务器。
启动完成后将会看到如下输出：
Active license is now [BASIC]; Security is enabled ——开启了安全机制
备注：
我在配置文件中添加了安全机制的代码后，我忘记点击保存就重启了Elasticsearch 服务器，
但是却发现同样会出现：Active license is now [BASIC]; Security is enabled 这个输出；
但是后面在输入命令来设置用户密码的时候，就会显示还没有开启这个安全机制。
后面配置文件点击保存再重启Elasticsearch 后，就可以正常设置用户密码了。
结论就是：
无论我有没有在配置文件中添加这个： xpack.security.enabled: true 开启安全机制的代码，
启动elasticsearch服务器的时候，都会出现：Active license is now [BASIC]; Security is enabled
这个显示启动安全机制的输出
2、为不同用户设置密码
小黑车运行如下命令来创建用户名和密码：
elasticsearch-setup-passwords interactive
interactive：交互式的、互动
该命令就表示用交互式的方式来设置用户名和密码
如图：可以看到命令文件在这里：
现在再开一个命令行窗口，就是小黑窗，然后执行该命令
因为 Elasticsearch 内置了用于不同目的的几个用户，故此处要依次为每个用户都设置密码，每个密码都要设置两次。
（ 命令：elasticsearch-setup-passwords interactive ）
注意：要开启 XPach 安全机制后，才能给内置用户设置密码，否则这个设置密码的命令是执行失败的。
不同用户各自的作用，这几个用户的大致功能如下：
密码直接开头字母+123456，方便记忆。
elastic： 超级用户。
密码：123456
kibana： 供Kibana工具（第三方）通过该用户连接Elasticsearch。
密码：k123456
logstash_system： Logstash将监控信息存储到Elasticsearch中时使用。
密码：l123456
beats_system： Beats在Elasticsearch中存储监视信息时使用。
密码：b123456
apm_system： APM服务器在Elasticsearch中存储监视信息时使用。
密码：a123456
remote_monitoring_user： Metricbeat用户在Elasticsearch中收集和存储监视信息时使用。
密码：r123456
上面开启了权限验证之后，现在再来访问一下这个：http://localhost:9200 服务器网址网址，
可以看到访问失败，原因是缺少凭证。
因为上面我们开启了xpach安全机制和给用户设置了密码。
添加用户名和密码后，能访问成功，表明权限认证已经配置成功了。
至此，我们已经为 Elasticsearch 开启了 安全机制 和 权限认证（为不同的用户设置了不同的密码），所以可以正常的使用这个 Elasticsearch 了。
3、XPach 安全机制介绍：
4、SSL 技术介绍：
为 Elasticsearch 启用 SSL 和 HTTPS 支持
由于设置了 Elasticsearch 的用户名、密码的支持，因此不希望用户名、密码在网络上以明码方式传输，所以要启用SSL+HTTPS。
要启用 SSL 和 HTTPS 的支持，都是需要证书的
——在企业中，这种正规的证书应该去证书颁发机构购买的。
——对于开发者自行生成的证书（出于测试目的），各种软件都是默认不信任的。
1、创建证书颁发机构的证书
—— 形象来说，相当于注册了一个“草台班子” 公司。
简单说，下面的演示就是弄一个假的证书颁发机构，然后用这个机构生成一个假的私钥证书用来启用 SSL 和 HTTPS 而已。
因为不可能真的弄出一个证书颁发机构出来，所以用工具来创建一个证书颁发机构的证书，让这个证书假装是一个证书颁发机构。
在真实项目中，要启用 SSL 和 HTTPS 的支持，都是需要证书的，而这些证书，需要从权威的【证书颁发机构】那里购买获取。
因为此时只是演示，所以我可以通过 Elasticsearch 提供了一个 elasticsearch-certutil 工具来生成证书。
利用这个工具，可以模拟生成一个【证书颁发的机构的证书】，也可以生成【启用 SSL 和 HTTPS 所需要的证书】。
解释下什么是 证书颁发机构的证书：
下面就是演示：
我通过 elasticsearch-certutil 工具创建了一个【证书颁发机构】，说是创建一个证书颁发机构，但是我不可能真的弄一个证书颁发机构出来，所以这里只是通过工具创建出一个代表【证书颁发机构】的一个证书文件而已。
然后我就可以通过这个证书文件，来生成启用 SSL 和 HTTPS 所需要到的证书。
我这个操作相当于我虽然没钱建大楼开公司，但是我可以注册了一个公司，弄这个证书相当于成功注册了一家证书颁发机构，注册成功后，得到了这张证书，这个证书相当于一个公司的营业执照，我就可以拿这个名头来干活。但是这权威性肯定是得不到别人的认可的。
但是此时只是测试，有了这个证书颁发机构的证书文件，我就可以通过这个证书，来生成启用 SSL 和 HTTPS 的证书了
作用：
用 证书颁发机构的证书 ，来生成启用 SSL 和 HTTPS 的证书。
先演示创建【证书颁发机构的证书】：
【提示】：创建证书，当然可以用 JDK 提供的 keytools 工具来生成证书。
但此处，Elasticsearch 提供了一个 elasticsearch-certutil 工具来生成证书。
执行如下命令：
elasticsearch-certutil ca
ca 子命令用于生成证书颁发机构。
如图：
按提示输入证书颁发机构的证书文件名，此处留空，留空则使用默认的文件名：elastic-stack-ca.p12。
再提示为该证书文件设置密码，比如输入123456 作为该证书的密码。
上面命令运行完成后将会在 Elasticsearch 根目录（E:\install\Elasticsearch\elasticsearch-7.14.1）目录下生成一个elastic-stack-ca.p12文件。
如图，就生成了一个证书颁发机构的证书。
注意：这个证书不是用来启用 SSL 的那个证书，只是一个【颁发证书机构】这个机构的一个证书而已。
如图：相当于我注册了一家【证书颁发机构】，注册成功后，得到了这张证书，相当于营业执照。
有了这个文件之后，就可以通过这个文件来生成启用 SSL 和 HTTPS 的证书了（当然是生成测试版证书）。
这个证书颁发机构的证书名：elastic-stack-ca.p12，
证书密码：123456
2、为各节点生成私钥证书
—— 让证书颁发机构为你颁发一个证书。
我上面创建了一个证书颁发机构，然后得到了一个证书文件，叫：elastic-stack-ca.p12
现在就可以通过这个证书文件，来生成启用 SSL 和 HTTPS 的私钥证书
执行如下命令：
elasticsearch-certutil cert --ca elastic-stack-ca.p12
cert 子命令用于生成证书，
--ca 选项用于指定所生成的证书文件要属于哪个证书颁发机构。
此处指定是属于 elastic-stack-ca.p12 这个证书颁发机构的。
按要求输入证书颁发机构的证书的密码，也就是前一步为 elastic-stack-ca.p12 文件设置的密码（123456）。
然后为新证书文件设置文件名，此处留空即可，留空则使用默认的文件名：elastic-certificates.p12。
按提示为新证书设置密码，比如输入 123456 作为该证书的密码。
上面命令运行完成后将会在Elasticsearch根目录（E:\install\Elasticsearch\elasticsearch-7.14.1）目录下生成一个elastic-certificates.p12文件。
如图：通过证书颁发机构生成了一个私钥证书。
证书文件名：elastic-certificates.p12
证书密码：123456
3、启用 SSL 和 HTTPS （需要用到证书来启动）
上面第一步生成了证书颁发机构的证书；
第二步通过该证书颁发机构生成了私钥证书；
接下来第三步就是通过证书来启用 SSL 和 HTTPS 了
1、证书拷贝到 config 目录下
将上一步生成的 elastic-certificates.p12 证书文件复制到 config 目录下。
如图：生成证书时的提示：
为 Elasticsearch 这个客户端配置证书，只需要把证书拷贝到 config 目录下即可。
我这里直接把证书剪切过来就行。
而 Elasticsearch 这个应用凭什么信任这个我们自己生成的证书呢？毕竟连证书颁发机构都是我自己生成的
（这个解释是自己的理解，目前还不知道说的对不对，先记录下自己的想法先：）
因为是演示，所以这个证书颁发机构的证书存在这里，如图，相当于强制让 Elasticsearch 这个客户端信任这个证书颁发机构。
让 Elasticsearch 信任这个证书颁发机构之后，那么由这个机构生成的证书，那么也就会受到 Elasticsearch 这个客户端应用的信任。
正规的证书颁发机构，我们是拿不到 elastic-stack-ca.p12 这个证书文件的，相当于是拿不到别人公司的营业执照的。
只能拿到该机构颁发出来的证书而已。
2、修改 elasticsearch.yml 文件
修改 config 目录下 elasticsearch.yml 文件，在其中添加如下几行：
启用SSL支持：
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
启用HTTPS支持：
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.keystore.path: elastic-certificates.p12
xpack.security.http.ssl.truststore.path: elastic-certificates.p12
如图：这个配置就是为 Elasticsearch 启动了 SSL 和 HTTPS 支持，并设置它们都使用 elastic-certificates.p12 作为证书文件。
可以看到这四个地方用到了同一个证书
如果是企业项目，应该先从权威机构购买一个证书，然后配置使用购买的证书。
3、告诉 Elasticsearch 证书文件的密码
上面在 elasticsearch.yml 配置文件中添加了启用 SSL 和 HTTPS 的配置后，如果重启 Elasticsearch，那么 elasticsearch 就会去读取 elastic-certificates.p12 这个证书文件，但是肯定会读取失败的，因为这个证书文件是有密码的。
接下来就是演示如何告诉 Elasticsearch 我们这个 elastic-certificates.p12 证书文件的密码。
以前的 Tomcat、Spring Boot ，在开启 SSL 时，都是直接用明码的方式配置证书的密码，这样安全性就不高了。
而 Eclasticsearch 使用到了 elasticsearch.keystore 文件来管理证书文件的密码。
如图：在config目录下，专门用这个文件来管理 elasticsearch 所用到的各种证书的密码
再打开这个文件一看，发现内容是加密的，即使别人打开这个文件也是看不到我们给证书加的是什么密码的，这样安全性就很高。
因为 elasticsearch.keystore 是一个加密文件，很明显不能直接编辑，此时我们如果要把刚刚自己生成的证书的密码添加进去的话，只能使用命令来添加了。
因此 Eclasticsearch 提供了 elasticsearch-keystore 命令来管理 elasticsearch.keystore 文件中所保存的密码。
往 elasticsearch-keystore 文件添加 证书文件的密码 的命令
elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password
elasticsearch-keystore add xpack.security.http.ssl.keystore.secure_password
elasticsearch-keystore add xpack.security.http.ssl.truststore.secure_password
由于为 elastic-certificates.p12 证书文件时设置了密码 ，因此 Elasticsearch 必须知道该证书密码才能读取证书内容。
Elasticsearch 使用 config 目录下 elasticsearch.keystore 文件来管理证书的读取密码，
这四条命令就是将四个地方用到的证书文件的密码添加到 elasticsearch.keystore 文件中。
打开命令行窗口，依次输入上面的四条添加证书密码的命令：
注意：这里即使密码输错，也是不会提示的，但是后面再启动 elasticsearch 服务器的时候，就会提示读取不到证书文件。
至此，我们在 elasticsearch.yml 配置文件中，通过证书添加了启用 SSL 和 HTTPS 的配置，并在 elasticsearch.keystore 文件里面添加了使用到的证书的密码。
接下来进行演示 SSL 和 HTTPS 是否生效：
4、演示 SSL 和 HTTPS 是否生效
先重启下 elasticsearch 服务器：把小黑窗关了，重新打开，输入：elasticsearch 这个命令即可
先通过 HTTP 发送请求 ：http://localhost:9200.
之前是有相应的，而现在可以看到已经得不到响应了。
因为我们已经改成 HTTPS 了。
如图：
此时用 HTTPS 发送请求：https://localhost:9200
可以看到 postman 有提示不信任这个证书。
但是我们可以点击 【 Disable SSL Verification 】禁用这个 SSL 验证，作用就是让 postman 不用去管我们给 elasticsearch 添加的这个证书够不够权威安全，反正有这个证书，就让我们能够测试。
如图：点击 禁用 SSL 验证取消后，让 postman 不去理睬证书的真假后，就可以进行测试了，能正常获得数据。
至此，我们成功的给 elasticsearch 这个客户端添加了证书，成功的启用了 SSL 和 HTTPS 的支持。
现在我们用 https://localhost:9200 发送请求的时候，HTTPS 能够确保数据在客户端和服务器之间的传输过程中是加密的，从而提供更高的安全性，防止中间人攻击和窃听
如果在真实项目中，只需要把真正从权威机构购买的证书，拿来替换我们自己生成的测试证书即可。