侯体宗的博客 ES调优,对系统设置,配置文件,索引设置等参数详解并设置

石可破,丹可磨
  • 首页
  • laravel8仿版
  • beego仿版
  • go_聊天
  • 人生
  • 技术
  • php
  • 架构
  • 数据库
  • 更多
    • 文件下载
    • 匿名群聊
    • 群聊(进来吹会!)
    • 留言
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册
    • 设置栏目
    • 更多设置
    • 分割线

ES调优,对系统设置,配置文件,索引设置等参数详解并设置

技术  /  管理员 发布于 2020-05-28 10:35:28   1190

ES调优,对系统设置,配置文件,索引设置等参数详解并设置


## 系统设置

# 修改系统资源限制# 单用户可以打开的最大文件数量,可以设置为官方推荐的65536或更大些

echo "* - nofile 655360" >>/etc/security/limits.conf

# 单用户内存地址空间

echo "* - as unlimited" >>/etc/security/limits.conf

# 单用户线程数

echo "* - nproc 2056474" >>/etc/security/limits.conf

# 单用户文件大小

echo "* - fsize unlimited" >>/etc/security/limits.conf

# 单用户锁定内存

echo "* - memlock unlimited" >>/etc/security/limits.conf

# 单进程可以使用的最大map内存区域数量

echo "vm.max_map_count = 655300" >>/etc/sysctl.conf

# TCP全连接队列参数设置, 这样设置的目的是防止节点数较多(比如超过100)的ES集群中,节点异常重启时全连接队列在启动瞬间打满,造成节点hang住,整个集群响应迟滞的情况

echo "net.ipv4.tcp_abort_on_overflow = 1" >>/etc/sysctl.conf

echo "net.core.somaxconn = 2048" >>/etc/sysctl.conf

# 降低tcp alive time,防止无效链接占用链接数

echo 300 >/proc/sys/net/ipv4/tcp_keepalive_time


## 配置文件

#设置内存熔断参数,防止写入或查询压力过高导致OOM,具体数值可根据使用场景调整。

indices.breaker.total.limit: 30%

indices.breaker.request.limit: 6%

indices.breaker.fielddata.limit: 3%

#调小查询使用的cache,避免cache占用过多的jvm内存,具体数值可根据使用场景调整 

indices.queries.cache.count: 500

indices.queries.cache.size: 5%

#单机多节点时,主从shard分配以ip为依据,分配到不同的机器上,避免单机挂掉导致数据丢失

cluster.routing.allocation.awareness.attributes: ip

node.attr.ip: 192.168.11.23

# 适当增大写入buffer和bulk队列长度,提高写入性能和稳定性

indices.memory.index_buffer_size: 15%

thread_pool.bulk.queue_size: 1024

#计算disk使用量时,不考虑正在搬迁的shard,在规模比较大的集群中,可以防止新建shard时扫描所有shard的元数据,提升shard分配速度。

cluster.routing.allocation.disk.include_relocations: false


## 索引设置

#提高压缩比_source

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new/_settings" -d '

{

    "index.codec": "best_compression"

}'

#translog 刷新周期调整

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new" -d '

{

  "settings": {

"index": {

"translog": {

"sync_interval": "5s",

"durability": "async"

}

}

  }

}'

# 刷新时间调整。默认1s

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new" -d '

{

  "settings": {

"index": {

"refresh_interval" : "30s"

}

  }

}'

#merge并发限制

curl -XPUT "http://192.168.11.24:9200/yfy_goods-new/_settings" -d '

{

    "index.merge.scheduler.max_thread_count": 2

}'

# 不要插入_id自动,让es自动生成。

昵称:

邮箱:

1条评论
最新最热

1

1  2020-12-10 16:29:44 赞 (101)
  • 分类目录
  • 人生 (119)
  • 技术 (46)
  • linux (23)
  • blog从零开始 (9)
  • php (48)
  • 架构 (14)
  • 前端 (22)
  • TP(3/5) (14)
  • 数据库 (29)
  • 微信 (2)
  • Laravel (56)
  • Redis (3)
  • Docker (2)
  • Go (8)
  • 近期文章
  • PHP程序员2021年最新面试题集-持续更新中...(0个评论)
  • PHP数组的底层实现原理浅析(0个评论)
  • php7垃圾回收变量的GC机制详解(0个评论)
  • 在Laravel中进行类型转换详解(0个评论)
  • mysql数据库中事务的四个特征及四种隔离级别的浅析描述(0个评论)
  • Linux awk 命令及统计nginx日志里访问次数最多的前十个IP(0个评论)
  • 论不要在mysql中使用[utf8]编码,如果要用请用[utf8mb4](0个评论)
  • JWT源码实现逻辑详解(0个评论)
  • Laravel内核分析-设计模式之观察者模式(0个评论)
  • Laravel内核分析-设计模式之装饰模式(0个评论)
  • 近期评论
  • 博主 在

    国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 @请教  小图标没有出现 重复检查步骤5,进去看看右下角是否开启..
  • 请教 在

    国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 你好,我也遇到了安装完右上角没有显示图标,也不能打开相关网页的问题,用的是谷歌浏..
  • Test11 在

    laravel查询构造器中whereNotKey,whereKey,firstWhere用法详解中评论 <script>alert(\test\)</script&g..
  • 博主 在

    国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 @西瓜: 每一步都操作完达到效果了吗? 对了是用谷歌浏览器吧..
  • 西瓜 在

    国内用什么翻墙使用谷歌?上外网神器Ghelper插件详解中评论 你好 我安装完右上角没有显示图标,也不能打开相关网页,是怎么回事呢?..
  • 文章归档
  • 2016-10 (34)
  • 2016-11 (21)
  • 2017-06 (5)
  • 2017-07 (11)
  • 2017-08 (6)
  • 2017-09 (7)
  • 2017-10 (11)
  • 2017-11 (4)
  • 2017-12 (3)
  • 2018-01 (9)
  • 2018-02 (2)
  • 2018-03 (2)
  • 2018-04 (1)
  • 2018-05 (3)
  • 2018-06 (1)
  • 2018-10 (1)
  • 2018-11 (1)
  • 2020-03 (5)
  • 2020-04 (85)
  • 2020-05 (42)
  • 2020-06 (35)
  • 2020-07 (22)
  • 2020-08 (11)
  • 2020-09 (14)
  • 2020-10 (7)
  • 2020-11 (8)
  • 2020-12 (6)
  • 2021-01 (6)
  • 2021-02 (6)
  • 2021-03 (2)
Top
  • 友情链接
  • 侯体宗的博客
  • 三防加固笔记本
  • 澜溪博客
  • 心中hope
  • 徒步认知的博客
  • 陈大剩博客
  • 赵波的博客
  • 佘春晓的博客
  • 自动友链系统

Auther ·HouTiZong© 2009-2020 zongscan.com 版权所有ICP证: 粤ICP备20027696号 PHP交流群 也可以扫右边的二维码

侯体宗的博客