Linux安装部署Elasticsearch8 全过程记录

一、安装 Elasticsearch8

1、下载

访问 Elasticsearch 官方网站（Download Elasticsearch | Elastic）。

在下载页面找到 Elasticsearch 8 的 Linux 版本（.tar.gz 格式）下载链接，点击下载。

下载Elasticsearch8，并解压至：/opt/elasticsearch-8.17.0

tar -zxvf elasticsearch-8.17.0-linux-x86_64.tar.gz
mv elasticsearch-8.17.0 /opt/elasticsearch-8.17.0

2、安装

2.1、设置环境变更

设置环境变量，修改.bashrc 文件：

export ELASTIC_HOME=/opt/elasticsearch-8.17.0
export PATH=$ELASTIC_HOME/bin:$PATH

2.2、创建数据文件夹并修改配置文件

创建两个文件夹，一个存数据，一个存日志

mkdir /var/lib/elasticsearch
mkdir /var/log/elasticsearch

修改ES的配置文件在 $ELATIC_HOME/config/elasicsearch.yml 文件中，分别修改自己的内容

cluster.name: my-es-cluster
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]

2.3、创建用户组和用户

创建：

groupadd esgroup
useradd -g esgroup esuser

为用户分配权限：

chown -R esuser:esgroup /opt/elasticsearch-8.17.0
chown -R esuser:esgroup /var/lib/elasticsearch
chown -R esuser:esgroup /var/log/elasticsearch

2.4、修改系统配置内容

修改系统资源限制

# vim /etc/security/limits.confesuser soft nofile 262144
esuser hard nofile 262144
esuser hard nproc unlimited
esuser soft nproc unlimited

修改系统虚拟内容设置

# vim /etc/sysctl.confvm.max_map_count=262144

修改完成后，运行以下命令，让设置生效

sysctl -p

3、运行 ES

# 切换用户
su - esusercd $ELASTIC_HOME/bin
./elasticsearch

可以通过在浏览器打开 https://xxxx:9200测试连接状态。

二、替换 HTTPS 证书

（转自创建tls并替换至Elasticsearch8，实现通过IP实现https访问）

1、创建TLS

1.1、创建脚本

#!/bin/bashhelp ()
{echo  ' ================================================================ 'echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'echo  ' --ssl-size: ssl加密位数，默认2048；'echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'echo  ' --ca-cert-recreate: 是否重新创建 ca-cert，ca 证书默认有效期 10 年，创建的 ssl 证书有效期如果是一年需要续签，那么可以直接复用原来的 ca 证书，默认 false;'echo  ' 使用示例:'echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ 'echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'echo  ' ================================================================'
}case "$1" in-h|--help) help; exit;;
esacif [[ $1 == '' ]];thenhelp;exit;
fiCMDOPTS="$*"
for OPTS in $CMDOPTS;
dokey=$(echo ${OPTS} | awk -F"=" '{print $1}' )value=$(echo ${OPTS} | awk -F"=" '{print $2}' )case "$key" in--ssl-domain) SSL_DOMAIN=$value ;;--ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;--ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;--ssl-size) SSL_SIZE=$value ;;--ssl-date) SSL_DATE=$value ;;--ca-date) CA_DATE=$value ;;--ssl-cn) CN=$value ;;--ca-cert-recreate) CA_CERT_RECREATE=$value ;;--ca-key-recreate) CA_KEY_RECREATE=$value ;;esac
done# CA相关配置
CA_KEY_RECREATE=${CA_KEY_RECREATE:-false}
CA_CERT_RECREATE=${CA_CERT_RECREATE:-false}CA_DATE=${CA_DATE:-3650}
CA_KEY=${CA_KEY:-cakey.pem}
CA_CERT=${CA_CERT:-cacerts.pem}
CA_DOMAIN=cattle-ca# ssl相关配置
SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
SSL_DATE=${SSL_DATE:-3650}
SSL_SIZE=${SSL_SIZE:-2048}## 国家代码(2个字母的代号),默认CN;
CN=${CN:-CN}SSL_KEY=$SSL_DOMAIN.key
SSL_CSR=$SSL_DOMAIN.csr
SSL_CERT=$SSL_DOMAIN.crtecho -e "\033[32m ---------------------------- \033[0m"
echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
echo -e "\033[32m ---------------------------- \033[0m"# 如果存在 ca-key， 并且需要重新创建 ca-key
if [[ -e ./${CA_KEY} ]] && [[ ${CA_KEY_RECREATE} == 'true' ]]; then# 先备份旧 ca-key，然后重新创建 ca-keyecho -e "\033[32m ====> 1. 发现已存在 CA 私钥，备份 "${CA_KEY}" 为 "${CA_KEY}"-bak，然后重新创建 \033[0m"mv ${CA_KEY} "${CA_KEY}"-bak-$(date +"%Y%m%d%H%M")openssl genrsa -out ${CA_KEY} ${SSL_SIZE}# 如果存在 ca-cert，因为 ca-key 重新创建，则需要重新创建 ca-cert。先备份然后重新创建 ca-certif [[ -e ./${CA_CERT} ]]; thenecho -e "\033[32m ====> 2. 发现已存在 CA 证书，先备份 "${CA_CERT}" 为 "${CA_CERT}"-bak，然后重新创建 \033[0m"mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"else# 如果不存在 ca-cert，直接创建 ca-certecho -e "\033[32m ====> 2. 生成新的 CA 证书 ${CA_CERT} \033[0m"openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"fi# 如果存在 ca-key，并且不需要重新创建 ca-key
elif [[ -e ./${CA_KEY} ]] && [[ ${CA_KEY_RECREATE} == 'false' ]]; then# 存在旧 ca-key，不需要重新创建，直接复用echo -e "\033[32m ====> 1. 发现已存在 CA 私钥，直接复用 CA 私钥 "${CA_KEY}" \033[0m"# 如果存在 ca-cert，并且需要重新创建 ca-cert。先备份然后重新创建if [[ -e ./${CA_CERT} ]] && [[ ${CA_CERT_RECREATE} == 'true' ]]; thenecho -e "\033[32m ====> 2. 发现已存在 CA 证书，先备份 "${CA_CERT}" 为 "${CA_CERT}"-bak，然后重新创建 \033[0m"mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"# 如果存在 ca-cert，并且不需要重新创建 ca-cert，直接复用elif [[ -e ./${CA_CERT} ]] && [[ ${CA_CERT_RECREATE} == 'false' ]]; thenecho -e "\033[32m ====> 2. 发现已存在 CA 证书，直接复用 CA 证书 "${CA_CERT}" \033[0m"else# 如果不存在 ca-cert ，直接创建 ca-certecho -e "\033[32m ====> 2. 生成新的 CA 证书 ${CA_CERT} \033[0m"openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"fi# 如果不存在 ca-key
else# ca-key 不存在，直接生成echo -e "\033[32m ====> 1. 生成新的 CA 私钥 ${CA_KEY} \033[0m"openssl genrsa -out ${CA_KEY} ${SSL_SIZE}# 如果存在旧的 ca-cert，先做备份，然后重新生成 ca-certif [[ -e ./${CA_CERT} ]]; thenecho -e "\033[32m ====> 2. 发现已存在 CA 证书，先备份 "${CA_CERT}" 为 "${CA_CERT}"-bak，然后重新创建 \033[0m"mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"else# 不存在旧的 ca-cert，直接生成 ca-certecho -e "\033[32m ====> 2. 生成新的 CA 证书 ${CA_CERT} \033[0m"openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"fifiecho -e "\033[32m ====> 3. 生成 Openssl 配置文件 ${SSL_CONFIG} \033[0m"
cat > ${SSL_CONFIG} <<EOM
[req]
req_extensions = v3_req
distinguished_name = req_distinguished_name
[req_distinguished_name]
[ v3_req ]
basicConstraints = CA:FALSE
keyUsage = nonRepudiation, digitalSignature, keyEncipherment
extendedKeyUsage = clientAuth, serverAuth
EOMif [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; thencat >> ${SSL_CONFIG} <<EOM
subjectAltName = @alt_names
[alt_names]
EOMIFS=","dns=(${SSL_TRUSTED_DOMAIN})dns+=(${SSL_DOMAIN})for i in "${!dns[@]}"; doecho DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}doneif [[ -n ${SSL_TRUSTED_IP} ]]; thenip=(${SSL_TRUSTED_IP})for i in "${!ip[@]}"; doecho IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}donefi
fiecho -e "\033[32m ====> 4. 生成服务 SSL KEY ${SSL_KEY} \033[0m"
openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}echo -e "\033[32m ====> 5. 生成服务 SSL CSR ${SSL_CSR} \033[0m"
openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}echo -e "\033[32m ====> 6. 生成服务 SSL CERT ${SSL_CERT} \033[0m"
openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \-CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \-days ${SSL_DATE} -extensions v3_req \-extfile ${SSL_CONFIG}echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
echo
echo -e "\033[32m ====> 8. 以 YAML 格式输出结果 \033[0m"
echo "----------------------------------------------------------"
echo "ca_key: |"
cat $CA_KEY | sed 's/^/  /'
echo
echo "ca_cert: |"
cat $CA_CERT | sed 's/^/  /'
echo
echo "ssl_key: |"
cat $SSL_KEY | sed 's/^/  /'
echo
echo "ssl_csr: |"
cat $SSL_CSR | sed 's/^/  /'
echo
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echoecho -e "\033[32m ====> 9. 附加 CA 证书到 Cert 文件 \033[0m"
cat ${CA_CERT} >> ${SSL_CERT}
echo "ssl_cert: |"
cat $SSL_CERT | sed 's/^/  /'
echoecho -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
echo "cp ${SSL_DOMAIN}.key tls.key"
cp ${SSL_DOMAIN}.key tls.key
echo "cp ${SSL_DOMAIN}.crt tls.crt"
cp ${SSL_DOMAIN}.crt tls.crt

1.2、脚本参数说明

--ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；
--ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；
--ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（TRUSTED_DOMAIN）,多个TRUSTED_DOMAIN用逗号隔开；
--ssl-size: ssl加密位数，默认2048；
--ssl-cn: 国家代码(2个字母的代号),默认CN；
使用示例:
./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \
--ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650

1.3、运行脚本

运行脚本，生成 CRT 证书

# --ssl-trusted-ip中的内容为访问该服务时使用的 IP 地址，多个用“,”隔开
bash ./self-sign-ssl.sh --ssl-trusted-ip=1.1.1.1,2.2.2.2

2、部署生成的内容至Elasticsearch

2.1、取得Elasticsearch中配置的原p12文件的密码

# 取得http.p12的密码
elasticsearch-keystore show xpack.security.http.ssl.keystore.secure_password# 如果是要取得transport.p12的密码，使用下面的语句
elasticsearch-keystore show xpack.security.transport.ssl.keystore.secure_password

2.2、使用tls.key与tls.crt生成新的p12

注意，需要密码时，要使用上一步取得的密码，可以避免其它设置

openssl pkcs12 -export -in tls.crt -inkey tls.key -out elasticsearch-keystore.p12 -name elasticsearch-key -CAfile cacerts.pem -caname root -chain

复制生成的 .p12文件至config或config/certs文件夹下，记录下路径，后面写入到config/elasticsearch.yml中

2.3、编辑config/elasticsearch.yml

cluster.name: "docker-cluster"
network.host: 0.0.0.0#----------------------- BEGIN SECURITY AUTO CONFIGURATION -----------------------
#
# The following settings, TLS certificates, and keys have been automatically
# generated to configure Elasticsearch security features on 17-07-2024 22:46:53
#
# --------------------------------------------------------------------------------# Enable security features
xpack.security.enabled: truexpack.security.enrollment.enabled: true# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:enabled: truekeystore.path: certs/elasticsearch-keystore.p12    # 修改的内容1（http）keystore.type: PKCS12# Enable encryption and mutual authentication between cluster nodes
xpack.security.transport.ssl:enabled: trueverification_mode: certificatekeystore.path: certs/transport.p12                # 修改的内容2（transport）truststore.path: certs/transport.p12              # 修改的内容3（transport）
#----------------------- END SECURITY AUTO CONFIGURATION -------------------------

2.4、重启Elasticsearch，重启Elasticsearch，重启Elasticsearch

重要事项说三遍。本人白白浪费了很多时间，才想起应该重启一下。

2.5、修改elastic账号密码

elasticsearch-reset-password -u elastic -i

3、生成 JAVA 访问用JKS

keytool -importkeystore -srckeystore http.p12 -srcstoretype PKCS12 -srcstorepass <<http.p12的密码>> -deststoretype JKS -destkeystore elasticsearch.jks -deststorepass <<JKS的密码>>

生成的 JKS 文件可以配置到应用程序中，对应修改 java 的 application.yml

spring:elasticsearch:uris: https://<<your-ip>>:<<your-port>>username: elasticpassword: <<your-elasticsearch-password>>jks: <<jks-name,如：myca.jks>>jks-pwd: <<your-jds-password>>

运行Java ，大工告成