# 增加新的参数，这样head插件可以访问eshttp.cors.enabled: truehttp.cors.allow-origin: "*"安装Head插件首先安装npm和gruntwuqiangdeMacBook-Pro:~ wuqiang$ brew install npmwuqiangd...

具体信息可看官方网站，在此仅记录关键信息以及所踩坑准备工作安装brew执行brew tap elastic/tap，elastic全家桶仓库Elasticsearch安装brew install elastic/tap/elasticsearch-full启动brew services start ...

ELK安装elasticsearch安装 * 下载elasticsearch-5.0.0.tar.gz，并解压。通过elasticsearch.yml可设置host和port。vim config/elasticsearch.yml network.host: 192.168.33.10http.p...

基础环境 需要安装一下软件 1.docker 2.docker-compose一.搭建elasticsearch 创建：elasticsearch.yml文件version: '2'services: elasticsearch: image: elasticsearch:2.2.0 ...

一、了解数据及建模北京空气质量数据，下载地址 数据建模：PUT air_quality{ "mappings": { "doc": { "dynamic": false, "properties": { "@timestamp": { "t...

ELK基本原理我就不再阐述了，网上一搜一大推 首先说一下运行环境： （CentOS7和java1.8.0）然后登陆elastic的官网地址下载ELK组件：https://www.elastic.co/cn/products 我是下载了6.3.0版本的： elasticsearch-6.3.0 log...

环境信息centos 7docker + docker-compsejdk8elasticesearch 7.1.1kibana 7.1.1logstash 7.1.1filebeat 7.1.1docker环境安装参考：官网安装教程#docker安装curl -sSL https://get.da...

     使用elkstack作为日志分析工具，采集nginx访问日志，项目log日志，心跳检测日志，服务器度量日志等，每天产生大量索引(Index)，占用磁盘空间。对于过期数据需要进行删除来释放磁盘空间。<!-- more -->使用官网_delete_by_query进行删除官网文档...

前言之前在《从零学ELK系列（十）:SpringBoot项目接入ELK升级版（超详细图文教程）》中演示了SpringBoot项目接入ELK请求记录及优化，本次针对于未知异常通过拦截进行记录；优化前：系统发生异常没有记录异常信息优化后：记录本次请求的异常信息目录从零学ELK系列（一）:为什么要跟我学从...

在elasticsearch里面给index起一个aliases（别名）能非常优雅的解决两个索引无缝切换的问题，这个功能在某些场景下非常使用。比如电商的核心商品索引库，除了实时增量数据外，每天都要重建一遍索引，避免index里面的数据和db里面的数据不一致，因为index分shard了，所以要一个一...

前面文章介绍了，在es里面的几种数据组织关系，包括array[object]，nested，以及今天要说的Parent-Child。Parent-Child与Nested非常类似，都可以用来处理一对多的关系，如果多对多的关系，那就拆分成一对多在处理。前面提到nested的缺点是对数据的更新需要rei...

通过前面的文章，我们已经知道在elasticsearch中每个shard每隔1秒都会refresh一次，每次refresh都会生成一个新的segment，按照这个速度过不了多久segment的数量就会爆炸，所以存在太多的segment是一个大问题，因为每一个segment都会占用文件句柄，内存资源，...

在ElaticSearch里面，路由功能算是一个高级用法，大多数时候我们用的都是系统默认的路由功能，我们知道一个es索引可以分多个shard和每个shard又可以有多个replia，那么现在思考一个问题，我们添加进去的数据，是如何分布在各个shard上面的，而查询时候它是又怎么找到特定的数据呢。默认...

### （一）scroll的介绍有时候我们可能想要读取整个es索引的数据或者其中的大部分数据，来重建索引或者加工数据，相信大多数人都会说这很简单啊直接用from+size就能搞定，但实际情况是from+size的分页方法不适合用于这种全量数据的抽取，越到后面这种方法的性能就越低，这也是es里面为什么...

上一篇文章中介绍了Elasticsearch中是如何搜索文本的，同时也简述了在es里面索引数据结构的特点不可变性。 索引不可变性的缺点限制了单个索引存储的最大数据量以及更新的频次，所以es面临的问题是如何解决倒排索引不可更新的特点而同时仍然保持不可变特性带来的好处。 答案就是使用多个索引 代替原来的...

通过前面两篇文章的介绍，我们大概已经知道了Elasticsearch处理数据的流程，其中在Elasticsearch和磁盘之间还有一层称为FileSystem Cache的系统缓存，正是由于这层cache的存在才使得es能够拥有更快搜索响应能力。我们都知道一个index是由若干个segment组成，...

Elasticsearch作为一个成熟的开源框架，对主流的多种客户端语言都支持，比如Java，JavaScript ，PHP，.Net，Python，Ruby，CURL当然还有一些小众的语言，虽然es官网没支持，但是个人开发者也有一些开源的，具体的可在es官网clients地址查看：https://...

在es查询的时候我们可以控制Preference，来完成特定shard或节点上的数据查询，默认情况下查询是随机的。假如现在我们有一份索引5个shard和3个副本，当一个查询请求过来的时候，查询操作如何执行，在没有使用路由的情况下5个shard的数据肯定都要查询，然后查询5个shard时候到底查的是主...

上篇文章介绍了在es里面批量读取数据的方法mget，本篇我们来看下关于批量写入的方法bulk。bulk api可以在单个请求中一次执行多个索引或者删除操作，使用这种方式可以极大的提升索引性能。bulk的语法格式是：````action and meta_data \noptional source ...

我们都知道es是一个分布式的存储和检索系统，在存储的时候默认是根据每条记录的_id字段做路由分发的，这意味着es服务端是准确知道每个document分布在那个shard上的。相对比于CURD上操作，search一个比较复杂的执行模式，因为我们不知道那些document会被匹配到，任何一个shard上...