- 博客(750)
- 资源 (9)
- 论坛 (1)
- 收藏
- 关注
RSS订阅
原创 Elastic：如何成为一名 Elastic 认证工程师
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
2020-10-28 11:54:13
3697
3
原创 Elastic 可观测性实战工作坊 - 12月9日 13:30 PM - 17:30 PM
从零开始安装 Elastic Stack，使用 Logstash 导入日志文件到 Elasticsearch。Logstash是一个功能强大的工具，可与各种部署集成。 它提供了大量插件，可帮助您解析，丰富，转换和缓冲来自各种来源的数据里面。本次分享含有调试及如何使用 Logstash 的 inputs, filters，outputs 及如何启动监控及集中管理。详细链接请参阅http://www.221.ib112.com/event/6696688...
2020-07-25 09:00:03
2674
6
原创 Elastic：菜鸟上手指南
您们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster, n...
2020-02-25 20:01:55
33066
28
原创 Elastic：培训视频 - 最新更新 2020-12-04
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...
2020-01-06 15:31:54
5903
7
原创 如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch
在今天的这篇文章中，我想介绍如何在Linux及MacOS上进行安装ElasticSearch。Elasticsearch的安装是非常直接的。在今天的这篇文章中，我们介绍如果直接从已经编译好的档案（.tar.gz）中来直接安装Elasticsearch。如果大家想对Elasticsearch有一个大概的了解，请参照我的文章“Elasticsearch简介”此软件包可在Elastic许可下免费使用...
2019-08-13 14:04:03
7931
11
原创 Elasticsearch 简介
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于http://www.353.8445522.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
2019-08-08 16:04:31
8129
14
原创 Elasticsearch：Elasticsearch 开发入门 - Python
在本文中，我将分享如何在 Python中如何使用Elasticsearch 来开发的经验。 顺便说一句，以防万一你从未听说过 Elasticsearch：Elasticsearch 是一个高度可扩展的开源全文本搜索和分析引擎。 它使你可以快速，近乎实时地存储，搜索和分析大量数据。 它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎/技术。如果你想了解更多关于 Elasticsearch 的介绍，你可以参阅我之前的文章 “Elasticsearch 简介”。前提条件你需要在...
2020-12-23 12:16:44
229
原创 Elasticsearch：Elasticsearch 开发入门 - Nodejs
在本文中，我将分享如何在 Node.js 中如何使用Elasticsearch 来开发的经验。 顺便说一句，以防万一你从未听说过Elasticsearch：Elasticsearch 是一个高度可扩展的开源全文本搜索和分析引擎。 它使你可以快速，近乎实时地存储，搜索和分析大量数据。 它通常用作支持具有复杂搜索功能和要求的应用程序的基础引擎/技术。如果你想了解更多关于 Elasticsearch 的介绍，你可以参阅我之前的文章 “Elasticsearch 简介”。前提条件你需要在..
2020-12-21 19:26:44
1264
1
原创 Beats：Beats processors
我们通常的做法是使用 Elasticsearch 的 ingest node 来对数据进行清洗。这其中包括删除，添加，转换等等。但是针对每个 beats 来讲，它们也分别有自己的一组 processors 来可以帮我们处理数据。我们可以访问 Elastic 的官方网站来查看针对 filebeat 的所有 processors。 也就是说，我们可以在配置 beats 的时候并同时配置相应的 processors 来对数据进行处理。每个 processor 能够修改经过它的事件。如果你想了解 inge.
2020-12-17 19:47:02
1241
原创 Elastic：配置 Elasticsearch 服务器 logs
当我们运行 Elasticsearch 集群时，我们可以看到一些 Elasticsearch 的日志，比如我们可以在如下的目录中找到相应的一些 server 日志：<cluster name>.log<cluster name>_server.json假如我在 config/eleasticsearch.yml 文件中把 cluster.name 定义为如下的值：cluster.name: liuxg-cluster那么我们就可以在 logs/ 目录下看到如下的
2020-12-15 11:18:24
384
原创 Elastic：Data tiers 介绍及索引生命周期管理 - 7.10 之后版本
Data tier也就是数据层。是一个在 7.10 版本的一个新的概念。数据层是具有相同数据角色的节点的集合，这些节点通常共享相同的硬件配置文件：Content tier（内容层）节点处理诸如产品目录之类的内容的索引和查询负载。 Hot tier（热层） 节点处理诸如日志或指标之类的时间序列数据的索引负载，并保存你最近，最常访问的数据。 Warm tier（温层）节点保存的时间序列数据访问频率较低，并且很少需要更新。 Cold tier（冷层）节点保存时间序列数据，这些数据偶尔会被访问，...
2020-12-14 19:03:45
295
原创 Kibana：在 Kibana 中的四种表格制作方式
在 Kibana 的可视化中，我们经常会绘制表格。我总结了一下，有如下的四种方法：在 Discover 界面中制作 使用 table 可视化进行制作 使用 TSVB 来制作 使用 Lens 进行制作在这几种方式中，几种制作最后的结果是不一样的。我们在实际的使用中，需要根据自己的需求来分别进行选择。准备数据在今天的实验中，我将使用 Kibana 自带的数据来进行演示。我将以 Elastic Stack 7.10 来进行展示：这样我们就完成了一个叫做kibana_s...
2020-12-13 09:51:47
233
原创 Elasticsearch：Node 介绍 - 7.9 之后版本
在 Elastic Stack 7.10 的发布中，我们可以直接在 Elasticsearch 的配置文件中配置 Node 的角色 （node roles）。这是一个新的变化。在 7.9 发布版之前，我们使用 node.master: true 来定义一个 master 节点，但是从 7.9 开始之后，我们也可以使用另外一个方法来定义一个 master 节点。我们可以通过 node.roles 来定义一个 master 节点。但是这两种方法只可以选其一，不能两种方法同时使用。在今天的文章中，我来介绍 nod
2020-12-10 18:19:56
319
4
原创 Elasticsearch：深入理解 Dissect ingest processor
与 Grok 处理器类似，dissect 处理器也从文档中的单个文本字段中提取结构化字段。 但是，与 Grok 处理器不同，解析不使用正则表达式。 这使得 Dissect 的语法更加简单，并且在某些情况下比 Grok Processor 更快。Dissect 将单个文本字段与定义的模式匹配。在我之前的文章 “Elastic可观测性 - 运用 pipeline 使数据结构化” 中我们已经对 Grok 及 Dissect 处理器做了介绍。在今天的文章中，我们想更深入地了解 dissect 处理器。在今天的讲
2020-12-09 14:06:46
185
原创 Observability：从零基础到能够完成微服务可观测性的专家 - Service Map 实践
现在的 IT 系统越来越复杂，而微服务也被广泛使用于越来越多的大型 IT 系统中。 微服务是一种软件开发技术- 面向服务的体系结构（SOA）架构样式的一种变体，将应用程序构造为一组松散耦合的服务。在微服务体系结构中，服务是细粒度的，协议是轻量级的。对于一些大型的 IT 系统来说，微服务的个数可能达到 1000 多个或者更多。如果我们的系统变得很慢，我们想查出是哪个环节出了问题。如果没有一个很好的可观测性的工具。我们有时是一头的雾水。很幸运的是 Elastic Stack 提供了一套完整的 APM （
2020-12-08 16:29:42
955
2
原创 Logstash：为 Logstash 日志启动索引生命周期管理
在 Elastic Stack 中，Logstash 作为一种 ETL 的摄入工具，它为大量摄入数据提供可能。Elastic Stack 提供索引生命周期管理可以帮我们管理被摄入的数据到不同的冷热节点中，并删除不需要保存的索引。在今天的文章中，我们将讲述如何为 Logstash 配置索引生命周期管理。在开始之前，建议你阅读如下的文档：Logstash：Logstash 入门教程 （一） Logstash：Logstash 入门教程 （二） Elasticsearch：Index 生命周期管理入门.
2020-12-07 15:17:33
281
原创 Elastic：Data stream 在索引生命周期管理中的应用
在我之前的文章中，我已经介绍了 Elasticsearch 的索引生命周期管理： Elasticsearch：Index 生命周期管理入门 Elastic: 使用索引生命周期管理实现热温冷架构 索引生命周期管理对于 Time Series Data (TSD) 非常有用。那么到底什么是 Time Series Data 呢？什么是 Time Series Data?TSD 始终与时间戳关联，该时间戳标识创建事件时该数据的时间点事件。 例如，它可以是传感器数据（温度测量）或安全设备
2020-12-03 22:51:10
374
原创 Observability：具有 Web 容器安装的 APM Java agent 动手实践 - Apache Tomcat
在之前的教程 “Solutions：应用程序性能监视/管理(APM)实践”，我详细讲述了如何使用 APM Java agent 来监视及管理一个 Spring 网路服务器。在实际的使用中，有很多的开发者也使用 Apache Tomcat 容器来安装自己的网路服务器。在今天的教程中，我将详述如何使用 APM Java agent 来监控这类 Java 应用。介绍如今，世界上有大量的 Web 容器，要覆盖全部内容并不容易。 我们将在你的机器上安装最流行的开源Web容器之一 Apache Tomca.
2020-12-03 10:30:34
228
原创 Kibana：如何在 canvas 中实现 gauge 并动态设置颜色
在 canvas 中，我们可以使用 gauge 来实现像电池电量，油表，速度等指标的显示。在今天的例子中，我们来展示如何在 canvas 中实现 gauge 可视化，并依据不同的指标而设置不同的颜色。 准备数据在今天的实验中，我们用一个很简单的数据来进行展示：PUT _ingest/pipeline/add-timestamp{ "processors": [ { "set":...
2020-11-25 17:10:26
297
原创 Kibana：如何在 canvas 中使用 timelion 绘图
在今天的文章中，我们来使用 timelion 在 canvas 中实时画图。我将以 Elastic Stack 7.10 来进行展示。准备数据我们将以 Kibana 自带的索引来进行展示。打开 Kibana:这样，我们就把索引kibana_sample_data_logs 导入到 Elasticsearch 中了。在 canvas 中使用 timelion 画图打开 canvas 应用：我们把如下的代码拷贝到如下的编辑器中：filt...
2020-11-24 17:14:30
227
原创 Kibana：如何在 Canvas 中动态地显示图片
在我之前的文章 “运用 Canvas 实时监控物联网设备状态并控制设备” ，我详细描述了如何实时地显示物联网设备的状态。在那篇文章中，我们也展示了如何使用 asset 来展示我们想要的图片，比如灯。在实际的使用中，我们有时可能希望能够动态地改变这些图片，比如我们正在播放的歌曲是不一样的，那么我们可以根据这个专辑里播放歌曲的曲子不同而需要动态地来改变这个图片。那么我们该如何实现这个功能呢？准备数据为了能够生成一个时序的数据，我们可以使用如下的方法：PUT _ingest/pipeline/.
2020-11-23 16:42:32
219
原创 Kibana：如何在 Canvas 中动态地显示时间
在使用 Canvas 的时候，我们有时希望去动态显示事件发生的时间。我们希望用我们想要的方式来显示这个时间。那么我们该如何实现呢？准备数据在今天的实验中，我们用一个很简单的数据来进行展示：PUT _ingest/pipeline/add-timestamp{ "processors": [ { "set": { "field": "@timestamp", "value": "{{_ingest.timestamp}}" .
2020-11-19 10:55:44
288
原创 Elasticsearch：如何处理 ingest pipeline 中的异常
在我之前的文章 “如何在 Elasticsearch 中使用 pipeline API 来对事件进行处理” 中，我详细地介绍了如何创建并使用一个 ingest pipeline。简单地说 pipeline 是一系列处理器的定义，这些处理器将按照声明的顺序执行。 pipeline 包含两个主要字段：描述和处理器列表：在这里，特别需要指出的是 pipeline 是运行于 ingest node 之上的。所有的 ingest pipeline 被保存于 cluster state 中。Pipel.
2020-11-17 21:01:35
993
原创 Elastic：运用 Canvas 实时监控物联网设备状态并控制设备
在我还在 Ubuntu 公司工作的时候，我曾经做过 ubuntu core 物联网操作系统。在未来，物联网是一张比互联网更大的网。在物联网世界中，经常会收集大量的数据，比如温度，湿度，天气等传感器的数据，汽车及电梯的运行状况等等。当大量的数据被收集，我们可以通过数据平台对数据进行分析，并进行实时控制。在今天的文章中，我将分享一个简单的案例来展示如何使用 Canvas 对物联网设备进行监控。在我们假想的案例中：我们家里有一些可控的灯，通过 Kibana 中的 Canvas 我们来监控等的状态，并通过 Ca
2020-11-17 13:00:50
713
原创 Kibana：如何在 Markdown 中创建一个 button
如果小伙伴对 Kibana 中的 Mardown 还不是很熟的话，请参阅我之前的文章 “Kibana：Markdown 可视化教程”。我们知道在 Markdown 中，我们可以创建一些图片以及一些 Link。那么问题来了，我们在 Markdown 是否可以把它做成一个按钮那样的 look and feel 呢？我们知道在 TSVB 中的 Markdown 可以使用 CSS 来定制这些。我们可以通过 CSS 的定制来做一些调整从而达到我们想要的效果。制作 button打开 Kibana:.
2020-11-16 13:07:38
724
原创 Kibana：如何在 Kibana 中禁止查询中使用前置通配符查询
Kibana 搜索模块涵盖的一项搜索功能是可以在搜索中使用通配符。 但是通配符是要运行的极其昂贵的查询，尤其是前置通配符。 因此，你可能要考虑禁用前导通配符，以避免有人使用它们。在我之前的文章 “Elasticsearch：正确使用 regexp 搜索” 中，我已经详述了避免使用前置通配符查询。具体来说就是如下类型的查询：GET my_example/_search{ "query": { "regexp": { "content": ".*work" } }}
2020-11-14 21:23:20
889
转载 Elastic 7.10 发布了可搜索快照的公测版和 Kibana Lens 的正式版
我们非常高兴地宣布 Elastic 7.10 版正式发布。这一新版本为基于 Elastic Stack（包括 Elasticsearch、Kibana、Beats 和 Logstash）构建而成的 Elastic 企业搜索、可观测性和安全性等诸多解决方案带来了一系列的新功能。同时，7.10 版也为市场带来了意义非凡的新功能，改变了客户和用户通过可搜索快照在成本、性能和数据深度三者之间进行权衡的方式。通过 Elastic 企业搜索，可以轻松连接到 Slack 和 Salesforce 沙箱。Elastic 可
2020-11-13 18:48:56
987
原创 Kibana：如何在可视化中显示正确的货币单位
在可视化中，我们经常会用到个性化的货币单位来表示金额的大小。如果我们只单纯地显示一个数字，看报表的人很难知道当前的金额是多少。在今天的教程中，我来教大家如何显示人民币单位在可视化中。准备数据我们来创建一个很简单的索引 shop：PUT shop/_doc/1{ "id": 1, "price": 10}在 Kibana 的 console 打入上面的指令，我们就可以创建一个叫做 shop 的索引。我们接着为它创建一个 index pattern，并在 Discover 中进
2020-11-13 15:11:58
589
原创 Elasticsearch：如何让匿名的用户访问受限的资源
我们都知道安全是一个非常重要的话题。没有安全，就像我们的家里没有锁一样，任何人可以随意进出。近一些年来，我们也看到很多 Elasticsearch 数据泄露的情况。如果你想给你的 Elasticsearch 配置上安全，那么请阅读我之前的文章 “Elasticsearch：设置 Elastic 账户安全”。但是在实际的使用中，我们有时候也希望有一些匿名的访问，这个就像我们去一个公司开会，我们有时也想得到免费的 guest WiFi 进行访问一些。我们也学希望我们的一些数据能够被一些人进行访问，具有只读的
2020-11-11 16:44:38
359
原创 Kibana：Kibana 不仅仅是针对开发者的 - 它是为所有人开发的
当我第一次接触 Elastic Stack 时，坦率地说，我对 Kibana 强大的功能所折服，但同时也担心不会使用这个工具，因为它的功能确实太多。对于一个新手来说感觉还是觉得无从下手。对于很多人来说，他们可能都一直认为：Kibana 只为专业开发者所使用，你需要懂很多的 Elasticsearch 或者大数据的知识，你才会使用这个工具。也许之前的 Kibana 版本你可能是这样认为的，但是随着 Kibana 的发展以及版本的演化。现在的 Kibana 功能不仅更加强大，而且也易于使用。特别是在最近发布的版
2020-11-11 11:35:03
339
1
原创 Kibana：为不同的用户生成不同的 Kibana 界面
在我之前的文章 “Kibana：为不同的用户生成不同的 Space” 中，我已经介绍了如何创建 space，并为不同的用户定制不同的索引权限。在今天的文章中，我们来介绍如何为不同的用户定制不同的 Kibana 用户界面。这在实际的使用中，有很多的应用场景。我们可以让不同的人登录 Kibana 中呈现不同的界面，让他们使用需要的用户界面，而不是多余的界面。 比如：在今天的展示中，我将使用 Elastic Stack 7.9 发布版。创建不同的 Space我们首先可以参考之前的文章 “Ki.
2020-11-10 12:47:03
381
原创 Elasticsearch：如何在聚合时选择所需要的 bucket 并进行可视化
Elasticsearch 是一个针对大数据的强大搜索引擎，它也是一个强大的数据分析引擎。采集上来的数据如果不经过分析，并生产有意义的见解，就没有任何的价值。在之前的文章中，我们已经详细讲解了有关 Elasticsearch 的聚合（aggregation）。如果你对 Elasticsearch 的聚合还是不太很清楚的话，请参阅我之前的文章： 开始使用Elasticsearch （3） Elasticsearch：透彻理解 Elasticsearch 中的 Bucket aggregatio
2020-11-09 12:37:16
345
原创 Beats：如何使用 Filebeat 结合机器学习导入日志
我在很早的文章 “Beats：通过 Filebeat 把日志传入到 Elasticsearch” 已经写给了如何通过 Filebeat 把日志文件写入到 Elasticsearch 中。在那篇文章中，我们没有特别特别指出是如何设计一个 pipeline 来处理数据的。我在文章 “Beats: Filebeat和pipeline processors” 中详述了如何使用 Filebeat 已经 pipeline。在今天的文章中，我将通过一个简单的示例来完整地展示如何运用 Filebeat 并结合机器学习来方便
2020-11-08 15:14:47
841
3
原创 Kibana：如何在 Dashboard 中针对部分的数据做可视化
在 Kibana 中，我们可以很方便地对整个数据做可视化。我们可使用 time picker 来调整时间的窗口，也可以在 Dashboard 里对数据进行搜索 （KQL 或 Lucene），或者在 Dashboard 里设置一下 filter 来对部分数据进行统计。但是有没有中可能在 Dashboard 中，我们不用搜索，或者使用 filter，但是我们的可视化里也能显示部分数据的可视化统计呢？在今天的展示中，我们将展示如何实现这个目的。准备数据在今天的展示中，我们将使用 Kibana 中.
2020-11-06 13:06:16
368
原创 Kibana：如何在 Search Bar 中实现模糊查询及通配符查询
我们知道在 Kibana 中，我们可以实现三种搜索DSL 搜索，你可以参照我之前的文章 “开始使用Elasticsearch （2）” 进行详细了解 KQL 搜索，你可以参照我之前的文章 “Kibana: 如何使用 Search Bar” Lucene 搜索，你可以参照我之前的文章 “Kibana: 如何使用 Search Bar”在这三种搜索方法中，DSL 以及 Lucene 搜索可以支持模糊查询 （fuzziness) 以及 通配符查询 （Regex)。KQL 是 Search Bar 的默认
2020-11-04 19:04:42
720
1
原创 Observability：独立模式下的 Elastic Agent
在这种模式下，Elastic Agent 是一种手动模式的工作方式。它和我之前文章 “使用 Elastic Agent 和 Ingest Manager 简化数据导入 （二）” 中介绍的模式是不一样的。在那篇文章中，它是一种在Fleet 管理的模式下工作的。在这种模式下，它更像之前我们先前单独使用 Filebeat 或者 Metricbeat 的模式。前提条件我们需要安装 Elastic Stack: Elasticsearch 以及 Kibana。请参阅我之前的文章 “如何在 Linux，..
2020-11-04 08:53:26
275
原创 Kibana：运用 TSVB 中的 Metric 生成两个指标的可视化
在 Kibana 中，我们有两个地方可以做 metric 的可视化。一个地方是：他能生产如下的这样的 metric：从上面的图中，我们可以看出来。它只能表达一个指标。在上面它表示了在过去一年里有 2096 个文档。在有些情况下，我们是否可以在一个指标可视化中能同时表达两个指标呢？答案是肯定的。我们可以使用 TSVB 中的 metric 来做可视化。准备数据在今天的展示中，我们将使用 Kibana 自带的数据来做演示。打开 Kibana:点击 Add data 按钮：.
2020-11-03 10:27:35
301
原创 Elasticsearch：自动生成报告并发送
在今天的文章中，我将来介绍如何生成报告，并通过电子邮件的方式来进行发送。如果你之前看了我的文章 “Kibana：如何周期性地为 Dashboard 生成 PDF Report”，你就知道如果通过 Watcher 来定时地生成报告，并存放于 Kibana 中的 Reporting 中。本文将介绍通过使用 Watcher 或脚本提交 HTTP POST 请求，自动生成 PDF 和 CSV 报告。在我们进行下面的工作之前，我们必须了解：报告请求之间的间隔必须大于生成报告所需的时间-否则，报告队列可以备份。
2020-11-02 17:39:02
330
原创 Elasticsearch：Moving average aggregation 介绍
给定一系列有序的数据，移动平均值聚合将在数据上滑动一个窗口，并发出该窗口的平均值。 例如，给定数据 [1、2、3、4、5、6、7、8、9、10]，我们可以计算出窗口大小为 5 的简单移动平均值，如下所示：(1 + 2 + 3 + 4 + 5) / 5 = 3(2 + 3 + 4 + 5 + 6) / 5 = 4(3 + 4 + 5 + 6 + 7) / 5 = 5其它移动平均值是一种平滑顺序数据的简单方法。 移动平均值通常应用于基于时间的数据，例如股票价格或服务器指标。 平滑可用于消除高频
2020-11-02 11:45:03
218
原创 Kibana：Heatmap 可视化介绍及 how-to
在 Kibana 中，你拥有完整的数据图形表示形式，大多数情况下，这可以通过简单的折线图或条形图来完成。 但是每隔一段时间，你就需要采取不同的观点，以充分利用数据。 热图是 Kibana 可视化武器库的重要组成部分，值得关注。什么是 heatmap?heatmap 是一种可视化类型，它使用颜色显示你要表示的数据的大小。 它们用于各种数据和几种不同的类型。 对于开发人员世界中的大多数人来说，我们遇到最多的人可能是GitHub Commit Graph。比如下面就是我的 github 的活动图：.
2020-10-30 20:40:17
236
Elastic 中国社区官方博客的留言板
发表于 2020-01-02 最后回复 2020-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝