使用es必须要知道的一些知识点：索引篇_es创建索引

大家好，欢迎来到IT知识分享网。

一、索引创建

在Elasticsearch（ES）中，index操作和create操作是用于创建新文档的两种不同方式。下面是它们的区别：

Index操作：
- Index操作用于在指定的索引中创建新的文档。如果指定的索引不存在，Elasticsearch将自动创建该索引。
- 如果执行index操作时指定的文档ID已经存在，则会更新该文档。
- 如果没有指定文档ID，Elasticsearch会自动生成一个唯一的ID，并将其分配给新创建的文档。
- Index操作是幂等的，即多次执行相同的index操作不会创建重复的文档，而是更新现有的文档。
Create操作：
- Create操作也用于在指定的索引中创建新的文档。但是，与index操作不同，如果指定的文档ID已经存在，则会引发一个错误。
- 如果没有指定文档ID，Elasticsearch会自动生成一个唯一的ID，并将其分配给新创建的文档。
- Create操作是非幂等的，即多次执行相同的create操作会导致错误。

二、经验篇

使用动态模板（Dynamic Template）优化索引

在业务系统中，字符串类型的数据，一般被用作精确查询或模糊查询。

当Elasticsearch被用作大数据量存储中心时，尤其是从Mysql迁移数据进来的情况下，我们很多场景下其实无需对字符串分词，也就是说字符串存储不使用es中的text，我们可以设置属性的类型为keyword。

但是，如果数据结构中的字符串非常多，有没有一种方式，可以使字符串属性自动用keyword方式存储呢？这时候我们可以使用索引动态模板（Dynamic Template）来实现。

动态模板（Dynamic Template）

无需分词的情况下，可以在Elasticsearch动态模板中，设置所有字符串数据都用”type”: “keyword”来存储。举个例子，我们可以创建一个适当的动态模板规则。

以下是一个示例：

{ "mappings": { "dynamic\_templates": [ { "strings\_as\_keyword": { "match\_mapping\_type": "string", "mapping": { "type": "keyword" } } } ] } }

这个动态模板规则将会把所有字符串字段映射为keyword类型。

动态模板常见设置：https://blog.csdn.net/liuwenqiang1314/article/details/

使用动态模板时，如何防止子属性溢出

illegal_argument_exception, reason=Limit of total fields [1000] in index [fcs_biz_bill_body_dev] has been exceeded

增加索引的index.mapping.total_fields.limit设置值。我们可以通过更新索引设置来增加允许的最大字段数。例如，将其更改为2000：

PUT /fcs_biz_bill_body_dev/_settings { "index": { "mapping": { "total\_fields": { "limit": 2000 } } } }

请注意，在生产环境中谨慎使用这种方法，因为大量字段可能会影响性能和资源利用率。

通过正则匹配相应的属性
设置mapping.enabled: false

这是一个示例配置：

{ "mappings": { "\_doc": { "dynamic\_templates": [ { "not\_analyzed\_map": { "match\_pattern": "regex", "path\_match": "^map\_.\*$", "mapping": { "enabled": false } } } ] } } }

批量处理器（Bulk Processor）不建议处理多个索引模板的请求

一个批量处理器（Bulk Processor）不建议处理多个索引模板的请求，尤其是当这些索引模板的分区规则不一致时，主要是因为以下原因：

分区规则不一致：不同的索引模板可能具有不同的分区规则，例如按时间分区、按地理位置分区等。当批量处理器处理多个索引模板的请求时，如果分区规则不一致，会导致数据在不同的分区之间不均匀分布，影响查询性能和数据的存储效率。
索引设置不同：每个索引模板可能具有不同的索引设置，如副本数量、刷新间隔、分片数量等。当批量处理器处理多个索引模板时，这些不同的设置可能会导致性能差异或资源的不均衡分配。
管理复杂性：处理多个索引模板的请求会增加管理的复杂性，包括索引模板的创建、更新和删除等操作。同时维护多个不同设置和规则的索引模板也会增加配置和维护的工作量。

为了确保良好的性能和简化管理，建议将具有相同分区规则和设置的索引请求分组处理。这样可以确保数据在相同的分区规则下均匀分布，并且能够更有效地管理索引的创建、更新和删除等操作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

升。