Elasticsearch集群规划与性能调优方法- 工业快报

Elasticsearch(简称ES)作为一种分布式、高扩展、高实时的搜索与数据分析引擎,能使数据在生产环境变得更有价值,自ES从诞生以来,其应用越来越广泛,特别是大数据领域,功能也越来越强大。但当前,ES多数据中心大规模集群依然面临着数据量大、查询周期长、集群规模大、聚合分析要求高等诸多挑战。

本文针对当前面临的问题,结合百分点大数据技术团队在某海外国家级多数据中心的ES集群建设经验,总结了ES集群规划与性能调优方法,供工程师们参考。

一、ES集群建设实践

1.集群拆分

集群规模过大会导致Master节点压力比较大,造成索引的创建删除、分片分配等操作较慢,严重影响集群稳定性。所以将集群进行拆分,业务上ES集群存储三种业务类型数据A、B、C,数据占比大约A:B:C=8:3:1,根据业务类型,拆分A数据类型6个集群,B数据类型2个集群,C数据类型2个集群,存储在两个中心机房,每个集群不超过100个节点。(推荐集群节点数不要超过服务器核心数 * 5)使用跨集群搜索(Cross-cluster search),客户端在查询数据的时候连接Query集群,通过Query集群查询10个数据集群的数据。

2. 角色分离

ES集群中有多种角色,协调(coordinator)节点,主(master)节点,数据(data)节点。

一台节点可以配置成多种角色,角色分离可以避免各种角色性能互相影响。比如一个节点既是数据节点也是协调节点,可能协调角色聚合时占用大量资源导致数据角色写入数据出现异常。

通过配置elasticsearch.yml来使一个节点只承担一种角色。

主节点:当有一半主节点下线整个集群也就不可用了,一般一个集群设置3台主节点,可以容许一台主节点下线。不要配置偶数台主节点,因为配置4台主节点也仅能容许一台主节点下线。

node.master: true

node.data: false

数据节点:根据自己的数据情况配置合适的节点数量。数据节点下线会导致数据不完整,集群仍能正常工作。

node.master: false

node.data: true

协调节点:任何一个节点都可以是协调节点,我们通过配置几个仅协调节点来单独行使协调功能。

node.master: false

node.data: false

3.版本选择

在当初项目选型的时候,ES刚刚发布7.X,我们选择相对稳定的6.7.2版本,在后期大规模测试过程中发现,6.X版本有些局限性,此时ES已经发布7.8版本了。通过调研最终选用7.6.2版本,原因主要有下面两点:

(1)元数据压力

在6.7.2版本,集群shard个数达到5w时,更新template或创建index会出现大于30s的情况。详细参考问题页:https://github.com/elastic/elasticsearch/pull/47817

在7.6.2版本,集群shard个数达到5w时,更新template或创建index在3s内。

我们shard个数最多的集群达到了4.4w。

(2)跨集群搜索(Cross-cluster search)

当存在三个集群:Query集群、data1集群、data2集群时,配置data1、data2集群为Query集群的远程集群,此时可以通过向Query集群发送请求来获取data1、data2集群的数据。

跨集群搜索提供了两个处理网络延迟的选项:

最小化网络传输

您向Query集群发送跨集群搜索请求,Query集群中的协调节点接收并解析请求;

协调节点向每个集群(包括Query集群)发送单个搜索请求,每个集群独立执行搜索请求,将其自己的集群级别设置应用于请求;

每个远程集群将其搜索结果发送回Query集群的协调节点;

从每个集群收集结果后,Query集群的协调节点在跨集群搜索响应中返回最终结果。

不使用最小化网络传输

您向Query集群发送跨集群搜索请求,Query集群中的协调节点接收并解析请求;

协调节点向每个远程集群发送搜索分片API请求;

每个远程集群将其响应发送回协调节点,此响应包含有关将在其上执行跨集群搜索请求的索引和分片的信息;

协调节点向每个分片发送搜索请求,包括其自己集群中的分片,每个分片独立执行搜索请求;

每个分片将其搜索结果发送回协调节点;

从每个集群收集结果后,协调节点在跨集群搜索响应中返回最终结果。

更详细的说明参考:https://www.elastic.co/guide/en/elasticsearch/reference/7.6/modules-cross-cluster-search.html#ccs-min-roundtrips

最小化网络传输会减少与远程集群之间的网络往返次数,这减少了网络延迟对搜索速度的影响,同时各个远程集群的协调节点会预先将自己集群的数据聚合一次。即便如此,Query集群协调节点压力还会比较大,因为要聚合所有集群返回的数据。

根据最小化网络传输流程图,分析如下聚合时协调节点的压力:

搜图

编辑

coordinator node2和coordinator node3接收各自数据节点的1w条数据(shard数 * shard_size)并全量返回给coordinator node1,最终在coordinator node1上会有2w条数据,取前10条(size)返回给客户端。当我们查询的集群、索引或者索引的shard更多时,coordinator node1的压力会越来越大。测试过程中总会出现OOM的情况。

基于此考虑,我们修改部分源码,增加了coordinator_size参数,在第3步数据集群将搜索结果发回coordinator node1时只返回TOP N(前coordinator_size)。对于一个集群,通过shard_size来平衡精度与性能;对于整个跨集群方案,通过coordinator_size来平衡精度与性能。

不使用最小化网络传输由于数据不会经过coordinatornode2和coordinator node3,所以不支持这样的修改。

在6.7.2版本,跨集群搜索只支持不使用最小化网络传输的方式。

在7.6.2版本,默认使用最小化网络传输的方式进行跨集群搜索,可以在请求中添加ccs_minimize_roundtrips:false参数来选择不使用最小化网络传输。

4. 拆分索引

业务上存储的是日志数据,只有增加,没有变更,按时间累积,天然对索引的拆分友好支持,并且如果按天拆分索引有以下好处:

方便数据删除,超过保存周期的数据直接使用定时脚本在夜间删除索引即可;

提升搜索聚合的效率,业务上对数据的搜索必须要携带时间范围的参数,根据该时间参数转化为具体的索引这样搜索的shard就会比较少;

方便后期修改shard个数和mapping,虽然shard个数和mapping一般不修改,但也会遇到特殊情况,如果需要修改,我们只需要修改template,之后新索引都会应用最新的shard设置和mapping设置,等业务滚动数据存储周期天数后所有数据就都会应用最新规则。

5. 副本数量

越多的副本数量会增加搜索的并发数,但是同时也会影响写入索引的效率,占用磁盘空间。可以根据数据安全性来设置副本的数量,一般一个副本是足够的,同时可以考虑在索引创建时拥有更多的副本,当数据超过一定时间而变得不那么重要后,通过API减少副本个数。

二、ES集群配置经验

1. 内存和CPU

(1)内存分配

Lucene能很好利用文件系统的缓存,它是通过系统内核管理的。如果没有足够的文件系统缓存空间,性能会受到影响。此外,专用于堆的内存越多意味着其他所有使用doc values 的字段内存越少。参考以下原则:

当机器内存小于64G时,遵循通用的原则,50% 给 ES,50% 留给 lucene。

当机器内存大于64G时,遵循以下原则:

如果主要的使用场景是全文检索,那么建议给ES Heap分配4～32G的内存即可;其它内存留给操作系统,供lucene使用(segments cache),以提供更快的查询性能;

如果主要的使用场景是聚合或排序,并且大多数是numerics,dates,geo_points以及非分词的字符串,建议分配给ES Heap 4～32G的内存即可,其余部分留给操作系统来缓存doc values;

如果使用场景是基于分词字符串的聚合或排序,意味着需要fielddata,这时需要更多的heap size,建议机器上运行多ES实例,每个实例保持不超过50%的ES heap设置。

内存配置不要超过32G,如果堆大小小于32GB,JVM可以利用指针压缩,这可以大大降低内存的使用:每个指针4字节而不是8字节。这里32G可能因为某些因素的影响有些误差,最好配置到31G。

内存最小值(Xms)与最大值(Xmx)的大小配置相等,防止程序在运行时改变堆内存大小,这是一个很耗系统资源的过程。

配置jvm.options

-Xms31g

-Xmx31g

(2)GC设置

保持GC的现有设置,默认设置为:Concurrent-Mark and Sweep(CMS),别换成 G1 GC,因为目前G1还有很多BUG。

(3)禁止swap

禁止swap,一旦允许内存与磁盘的交换,会引起致命的性能问题,可以通过在 elasticsearch.yml 中配置以下参数以保持JVM锁定内存,保证ES的性能。

bootstrap.memory_lock: true

(4)核心数

processors配置参数的值决定了节点allocated_processors的参数值,而ES很多线程池的大小都是基于allocated_processors的值来计算的。

修改elasticsearch.yml

elasticsearch.yml

node.processors: 56

在以下情况可以考虑调整该参数:

在一台服务器部署多个ES实例,此时调整参数为处理器实际核心数一半;

错误地检测处理器的数量,此时调整参数进行修正;

实际处理器核心数大于32,ES默认处理器核心数最大限制为32个,如果物理机的处理器核心数超过了32个,为了更充分利用CPU,可以调整参数为实际处理器核心数。如果可以选择CPU,更多的核心数比更快的CPU更有意义。

2.写入(1)增加Refresh时间间隔

ES写入数据时先写入memory buffer中,memory buffer会周期性(index.refresh_interval默认1s)或者写满后做refresh操作,将内容写入到一个新的segment中。此时数据可以被搜索,这就是为什么ES提供的是近实时的搜索。如果系统对数据延迟要求不高的话,通过延长refresh时间间隔(比如index.refresh_interval设置为30s),可以有效地提高索引速度,同时减少segment个数降低segment合并压力。

修改索引的settings:

PUT /my_index/_settings

{

"index" : {

"refresh_interval" : "30s"

}

在导入大量数据的时候可以暂时设置index.refresh_interval: -1和index.number_of_replicas:0来提高性能,数据导入完成后还原设置。

(2)修改index_buffer_size的设置

上一条说memory buffer写满时也会触发refresh操作,为了减少refresh操作,我们同时也要配合增加memory buffer的大小。这是一个全局静态配置,会应用于一个节点上所有的分片上。

修改elasticsearch.yml:

# 接受百分比或字节大小值。它默认为10%,这意味着10%分配给节点的总堆中的将用作所有分片共享的索引缓冲区大小。

indices.memory.index_buffer_size: 10%

# 如果index_buffer_size指定为百分比,则此设置可用于指定绝对最小值。默认为48mb。

indices.memory.min_index_buffer_size: 48mb

# 如果index_buffer_size指定为百分比,则此设置可用于指定绝对最大值。默认为无界。

indices.memory.max_index_buffer_size: 10240mb

(3)修改translog相关的设置

refresh操作后,数据写入segment文件中,此时segment在OS Cache中,以上所有数据都保存在内存里,如果服务器异常重启则数据都不可恢复。所以数据在写入memory buffer的同时,记录当前操作到translog,每30分钟或者当translog中的数据大小达到阈值后,会触发一次flush操作将OS Cache中的segment落盘,同时清理translog。

translog默认在每次索引、删除、更新或批量请求后会提交到磁盘。我们可以通过设置使translog异步提交来提高性能:

PUT /my_index/_settings

{

"index" : {

"translog.durability": "async", # 刷新方式。默认request 同步, async 异步

"translog.sync_interval": "10s" # 刷新频率。默认5s,不能低于100ms

}

也可以控制translog的阈值来降低flush的频率:

PUT /my_index/_settings

{

"index" : {

"translog.flush_threshold_size": "1024mb" # translog阈值。默认512mb。如果达到则会强制flush,否则需要等待30分钟

}

3. 分配

(1)延迟分配配置

当集群中某个节点离开集群时:

master节点会将此节点上的主分片对应的副本分片提升为主分片;

在其他节点上重建因节点下线而丢失的分片;

重建完成后很可能还会触发集群数据平衡;

如果节点又重新加入集群,集群数据自动平衡,将一些分片迁移到此节点。

节点很可能因为网络原因或硬件原因短暂离开集群,过几分钟又重新加入集群,触发上述操作会导致集群有比较大的开销,是完全没有必要的。当设置了延时分配为5分钟时,节点下线时,只会执行上述第1步操作,此时的集群处于yellow状态,在5分钟内下线的节点重新加入集群则集群直接恢复green。避免了很多分片的迁移。通过API修改延时分配时间,值为0则表示会立即分配。

搜图

编辑

? cluster.routing.allocation.balance.shard:默认0.45f,定义分配在该节点的分片数的因子阈值=因子*(当前节点的分片数-集群的总分片数/节点数,即每个节点的平均分片数);

? cluster.routing.allocation.balance.index:默认0.55f,定义分配在该节点某个索引的分片数的因子,阈值=因子*(当前节点的某个索引的分片数-索引的总分片数/节点数,即每个节点某个索引的平均分片数);

? cluster.routing.allocation.balance.threshold:默认1.0f,超出这个阈值就会重新分配分片。

根据配置可以算出,当某一节点超过每个节点平局分片数2.2(1/0.45)个分片时会触发rebalance。

当某个节点my_index的分片数超过每个节点my_index的平均分片数1.8(1/0.55)个分片时会触发rebalance。

4.Mapping

(1)字段类型配置

不需要被分词的字段应使用not_analyzed;

不需要被搜索的字段设置index:false;

不需要聚合的字段设置doc_value:false;

仅用于精确匹配而不进行范围查询的数值字段使用keyword类型的效率更高。numeric类型从lucene6.0开始,使用了一种名为block KD tree的存储结构。这种结构比较适用于范围查找,在精确匹配方面没有倒排索引的性能好。

(2)使用自动生成的_id

避免自定义_id,建议用ES的默认ID生成策略,ES在写入对id判断是否存在时对自动生成的id有优化。同时避免使用_id字段进行排序或聚合,如果有需求建议将该_id字段的内容复制到自定义已启用doc_values 的字段中。

(3)禁用_source

_source存储了原始的document内容,如果没有获取原始文档数据的需求,可通过设置includes、excludes属性来定义放入_source的字段。

"mappings":{

"_source": {

"excludes": [

"content"

]

}

案例:在我们的方案中,考虑在架构上,原始数据保存在分布式文件系统。所以在ES中可以不存储content字段(其他字段仍然存储),只为content字段建立倒排索引用于全文检索,而实际内容从分布式文件系统中获取。

收益:

降低ES中存储;

提高查询性能(OS cache中能装更多的Segment);

shard的merge、恢复和迁移成本降低。

限制:

此字段不能高亮;

update、update_by_query、reindex APIs不能使用。

下面是我们根据业务数据特点测试不存储content字段对存储空间和查询的影响。

(1)测试不存储content字段对磁盘存储的影响

数据分布:

搜图

编辑

可以看出,不存储content字段可以加快搜索,对聚合影响不大。

总的来说,需要根据业务场景考虑益弊,比如是否对数据进行更新、reindex、高亮,或者说通过其他方式实现对数据的更新、reindex、高亮的成本如何。

结束语

实时数据分析和文档搜索是ES的常用场景之一,结合客户数据特点,百分点大数据技术团队对ES进行了优化和一定的改造,并将这些能力沉淀到了我们的大数据平台上,以更好的满足客户的业务需求。通过调优,在生产环境中ES集群已经稳定运行近两年的时间了。在实际部署前,对集群稳定性和性能进行了多次大规模测试,也模拟了多种可能发生的故障场景,正是不断地测试,发现了一些局限性,对版本升级,对源码修改,也在不断测试中增加了更多的优化项来满足需求。

文中的优化实践总体上非常的通用,希望可以给大家带来一定的参考价值。

文章的最后,就以ILM作为彩蛋吧!

ILM生命周期管理:

索引生命周期的四个阶段

Hot:index正在查询和更新,性能好的机器会设置为Hot节点来进行数据的读写。

Warm:index不再更新,但是仍然需要查询,节点性能一般可以设置为Warm节点。

Cold:index不再被更新,且很少被查询,数据仍然可以搜索,但是能接受较慢的查询,节点性能较差,但有大量的磁盘空间。

Delete:数据不需要了,可以删除。

#节点属性可以通过 elasticsearch.yml 进行配置

# node.attr.xxx: xxx,hot warm cold

node.attr.data: warm

这四个阶段按照Hot,Warm,Cold,Delete顺序执行,上一个阶段没有执行完成是不会执行下一个阶段的,对于不存在的阶段,会跳过该阶段进入到下一个阶段。