ES调优，对系统设置，配置文件，索引设置等参数详解并设置

技术  /  管理员 发布于 3年前   2926

ES调优，对系统设置，配置文件，索引设置等参数详解并设置

## 系统设置

# 修改系统资源限制# 单用户可以打开的最大文件数量，可以设置为官方推荐的65536或更大些

echo "* - nofile 655360" >>/etc/security/limits.conf

# 单用户内存地址空间

echo "* - as unlimited" >>/etc/security/limits.conf

# 单用户线程数

echo "* - nproc 2056474" >>/etc/security/limits.conf

# 单用户文件大小

echo "* - fsize unlimited" >>/etc/security/limits.conf

# 单用户锁定内存

echo "* - memlock unlimited" >>/etc/security/limits.conf

# 单进程可以使用的最大map内存区域数量

echo "vm.max_map_count = 655300" >>/etc/sysctl.conf

# TCP全连接队列参数设置， 这样设置的目的是防止节点数较多（比如超过100）的ES集群中，节点异常重启时全连接队列在启动瞬间打满，造成节点hang住，整个集群响应迟滞的情况

echo "net.ipv4.tcp_abort_on_overflow = 1" >>/etc/sysctl.conf

echo "net.core.somaxconn = 2048" >>/etc/sysctl.conf

# 降低tcp alive time，防止无效链接占用链接数

echo 300 >/proc/sys/net/ipv4/tcp_keepalive_time

## 配置文件

#设置内存熔断参数，防止写入或查询压力过高导致OOM，具体数值可根据使用场景调整。

indices.breaker.total.limit: 30%

indices.breaker.request.limit: 6%

indices.breaker.fielddata.limit: 3%

#调小查询使用的cache，避免cache占用过多的jvm内存，具体数值可根据使用场景调整 

indices.queries.cache.count: 500

indices.queries.cache.size: 5%

#单机多节点时，主从shard分配以ip为依据，分配到不同的机器上，避免单机挂掉导致数据丢失

cluster.routing.allocation.awareness.attributes: ip

node.attr.ip: 192.168.11.23

# 适当增大写入buffer和bulk队列长度，提高写入性能和稳定性

indices.memory.index_buffer_size: 15%

thread_pool.bulk.queue_size: 1024

#计算disk使用量时，不考虑正在搬迁的shard,在规模比较大的集群中，可以防止新建shard时扫描所有shard的元数据，提升shard分配速度。

cluster.routing.allocation.disk.include_relocations: false

## 索引设置

#提高压缩比_source

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new/_settings" -d '

{

    "index.codec": "best_compression"

}'

#translog 刷新周期调整

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new" -d '

{

  "settings": {

"index": {

"translog": {

"sync_interval": "5s",

"durability": "async"

}

}

  }

}'

# 刷新时间调整。默认1s

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new" -d '

{

  "settings": {

"index": {

"refresh_interval" : "30s"

}

  }

}'

#merge并发限制

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new/_settings" -d '

{

    "index.merge.scheduler.max_thread_count": 2

}'

# 不要插入_id自动，让es自动生成。