ES调优,对系统设置,配置文件,索引设置等参数详解并设置
技术  /  管理员 发布于 3年前   2926
ES调优,对系统设置,配置文件,索引设置等参数详解并设置
## 系统设置
# 修改系统资源限制# 单用户可以打开的最大文件数量,可以设置为官方推荐的65536或更大些
echo "* - nofile 655360" >>/etc/security/limits.conf
# 单用户内存地址空间
echo "* - as unlimited" >>/etc/security/limits.conf
# 单用户线程数
echo "* - nproc 2056474" >>/etc/security/limits.conf
# 单用户文件大小
echo "* - fsize unlimited" >>/etc/security/limits.conf
# 单用户锁定内存
echo "* - memlock unlimited" >>/etc/security/limits.conf
# 单进程可以使用的最大map内存区域数量
echo "vm.max_map_count = 655300" >>/etc/sysctl.conf
# TCP全连接队列参数设置, 这样设置的目的是防止节点数较多(比如超过100)的ES集群中,节点异常重启时全连接队列在启动瞬间打满,造成节点hang住,整个集群响应迟滞的情况
echo "net.ipv4.tcp_abort_on_overflow = 1" >>/etc/sysctl.conf
echo "net.core.somaxconn = 2048" >>/etc/sysctl.conf
# 降低tcp alive time,防止无效链接占用链接数
echo 300 >/proc/sys/net/ipv4/tcp_keepalive_time
## 配置文件
#设置内存熔断参数,防止写入或查询压力过高导致OOM,具体数值可根据使用场景调整。
indices.breaker.total.limit: 30%
indices.breaker.request.limit: 6%
indices.breaker.fielddata.limit: 3%
#调小查询使用的cache,避免cache占用过多的jvm内存,具体数值可根据使用场景调整
indices.queries.cache.count: 500
indices.queries.cache.size: 5%
#单机多节点时,主从shard分配以ip为依据,分配到不同的机器上,避免单机挂掉导致数据丢失
cluster.routing.allocation.awareness.attributes: ip
node.attr.ip: 192.168.11.23
# 适当增大写入buffer和bulk队列长度,提高写入性能和稳定性
indices.memory.index_buffer_size: 15%
thread_pool.bulk.queue_size: 1024
#计算disk使用量时,不考虑正在搬迁的shard,在规模比较大的集群中,可以防止新建shard时扫描所有shard的元数据,提升shard分配速度。
cluster.routing.allocation.disk.include_relocations: false
## 索引设置
#提高压缩比_source
curl -XPUT "http://192.168.11.24:9200/yfy_goods-new/_settings" -d '
{
"index.codec": "best_compression"
}'
#translog 刷新周期调整
curl -XPUT "http://192.168.11.24:9200/yfy_goods-new" -d '
{
"settings": {
"index": {
"translog": {
"sync_interval": "5s",
"durability": "async"
}
}
}
}'
# 刷新时间调整。默认1s
curl -XPUT "http://192.168.11.24:9200/yfy_goods-new" -d '
{
"settings": {
"index": {
"refresh_interval" : "30s"
}
}
}'
#merge并发限制
curl -XPUT "http://192.168.11.24:9200/yfy_goods-new/_settings" -d '
{
"index.merge.scheduler.max_thread_count": 2
}'
# 不要插入_id自动,让es自动生成。
1 2020-12-10 16:29:44 赞 (101)
1
路人 在
php中使用hyperf框架调用讯飞星火大模型实现国内版chatgpt功能示例中评论 教程很详细,如果加个前端chatgpt对话页面就完美了..博主 在
科学上网翻墙之v2rayN-Core客户端免费公益节点使用教程中评论 @ mashrdn 多切换几个节点测试,免费ssr是没那么稳..mashrdn 在
科学上网翻墙之v2rayN-Core客户端免费公益节点使用教程中评论 V2rayn免费节点添加上去了,youtobe无法打开网页,是怎么回事..张伟 在
科学上网翻墙之v2rayN-Core客户端免费公益节点使用教程中评论 3q!有用,不过免费节点隔天就要去git上复制新的导进去..博主 在
科学上网翻墙访问Google , 上外网神器佛跳墙VPN(永久免费)使用流程步骤中评论 该篇教程已不能用了,告知大家,免的老有老铁问我!..
Copyright·© 2019 侯体宗版权所有·
粤ICP备20027696号