『壹』 如何使用 kibana 分析 mysql 数据
Kibana4简单使用
<center>
# ELK日志系统使用说明 #
</center>
**k3与k4的对比**
1.界面美观：Kibana4 至今未提供类似 Kibana3 中的 Query 设置功能，包括 Query 别名和颜色选择器这两个常用功能2.日志显示：kibana4有高亮显示
3.页面设计：Kibana3 就是一个围绕着 dashboard 构建的单页应用。在页面逻辑上，Kibana3比较简洁，Kibana4稍复杂。
<center>
##一、 系统介绍
</center>
ELK（logstash+elasticsearch+kibana）是一套开源的实时日志分析系统。目前这套系统已经在小范围内使用了。针对各位开发人员，无需关心系统底层的实现，只需关注kibana的使用即可。kibana4中，将功能拆分成了搜索（Discover），可视化（Visualize）和仪表盘(Dashboard)三个标签，我们使用最多的地方即是搜索，目前就给大家主要介绍搜索页面的使用。
<center>
##二、 kibana4的使用
</center>
登录入口：运维平台-->应用中心：ELK
地址：https//op.zhubajie.la/
<center>
## 快速查询项目日志
</center>
**选择面板-->选择项目**
首先选择面板，搜索框输入：tags:"项目名" 或host:"项目名" 即可查看对应项目的日志<center>
## discover 功能 ##
</center>
Discover 标签页用于交互式探索你的数据。你可以访问到匹配得上你选择的索引模式的每个索引的每条记录。你可以提交搜索请求，过滤搜索结果，然后查看文档数据。你还可以看到匹配搜索请求的文档总数，获取字段值的统计情况。如果索引模式配置了时间字段，文档的时序分布情况会在页面顶部以柱状图的形式展示出来。
**查看日志数据**
点击日志内容中的小三角，查看日志详细内容。
要在单独的页面上查看文档内容，点击链接。你可以添加书签或者分享这个链接，以直接访问这条特定文档。
**1) 搜索数据**
在 Discover 页提交一个搜索，你就可以搜索匹配当前索引模式的索引数据了。
当你提交搜索的时候，直方图，文档表格，字段列表，都会自动反映成搜索的结果。hits(匹配的文档)总数会在直方图的右上角显示。
*在搜索框内输入请求字符串*：
- **通配符**：用 ? 表示单字母，* 表示任意个字母。比如 fir?t mess*。
- **简单的文本搜索**：直接输入文本字符串。比如，如果你在搜索网站服务器日志，你可以输入error 来搜索各字段中的 error单词。
- **搜索特定字段的值**：则在值前加上字段名。比如 status:200- **范围搜索**：对数值和时间，[START_VALUE TO END_VALUE]。比如，要查找 4xx 的状态码，status:[400 TO 499]。
- **多个检索条件的组合**：可以使用 NOT, AND 和 OR 来组合检索，**注意必须是大写**。比如，要查找 4xx 的状态码，还是 php 或 html 结尾的数据， status:[400 TO 499] AND (extension:php OR extension:html)。其中，[] 表示端点数值包含在范围内，{} 表示端点数值不包含在范围内。
- 近似搜索：用 ~ 表示搜索单词可能有一两个字母写的不对。比如 frist~；**2) 设置时间过滤器**
默认的时间过滤器设置为最近 15 分钟。你可以用页面顶部的时间选择器(Time Picker)来修改时间过滤器。
**3) 日志索引设置**
- Nginx日志索引：[logstash-nginx-*]
- 服务化Nginx日志索引：[api-nginx-]YYYY.MM.DD- Java日志索引：[logstash-jetty-]YYYY.MM.DD- php日志索引：[logstash-php-*]
- mysql日志索引：[logstash-]YYYY.MM.DD
- 其他日志:[logstash-]YYYY.MM.DD （注：该索引为系统默认索引，需搜索其他日志，请按步骤改变索引即可)**4) 保存搜索**
你可以在 Discover 页加载已保存的搜索面板，也可以用作 visualizations 的基础。保存一个搜索，意味着同时保存下了搜索请求字符串和当前选择的索引模式。
<table>
<td>
保存当前搜索：
1.点击 Discover 工具栏的 Save Search 按钮2.输入一个名称，点击 Save。
加载一个已存搜索：
1.点击 Discover 工具栏的 Load Search 按钮 。
2.选择你要加载的搜索。
如果已保存的搜索关联到跟你当前选择的索引模式不一样的其他索引上，加载这个搜索也会切换当前的已选索引模式。
</td>
</table>
**5) 改变你搜索的索引**
当你提交一个搜索请求，匹配当前的已选索引模式的索引都会被搜索。当前模式模式会显示在搜索栏下方。要改变搜索的索引，需要选择另外的模式模式。
要选择另外的索引模式：
(1).点击 Discover 工具栏的 Settings 按钮 。
(2).从索引模式列表中选取你打算采用的模式。
**6) 自动刷新页面**
亦可以配置一个刷新间隔来自动刷新 Discover 页面的最新索引数据。这回定期重新提交一次搜索请求。
设置刷新间隔后，会显示在菜单栏时间过滤器的左边。
要设置刷新间隔：
1.点击菜单栏右上角的 Time Filter 。
2.点击 Refresh Interval 标签。
3.从列表中选择一个刷新间隔。
要想自动刷新数据，点击 Auto-refresh 按钮然后选择一个自动刷新间隔：
『贰』 如何使用Kibana的仪表板与可视化功能
Kibana是一个为ElasticSearch提供的数据分析的Web接口。
可使用它对日志进行高效的搜索、可视化、分析等各种操作。
Kibana目前最新的版本5.0.2，回顾一下Kibana3和Kibana4的界面。
『叁』 kibana，logstashe，elasticsearch怎么读
1、elastic search英式音标：[ɪˈlæstɪk] [sɜːtʃ]，美式音标：[ɪˈlæstɪk] [sɝtʃ]。
2、logstashe英式音标：[lɔɡ] [stɑ:ʃ]，美式音标[lɔɡ] [stæ:ʃ]。
3、kibana的英式音标和美式音标都是[kɪbana]。
(3)kibana股票分析扩展阅读：
1、ElasticSearch：是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful风格接口，多数据源，自动搜索负载等。
2、Logstash： 是一个完全开源的工具，他可以对你的日志进行收集，分析，并将其存储供以后使用。
3、Kibana：也是一个开源和免费的工具， Kibana可以为Logstash 。
网络-elasticsearch
网络-英语音标
『肆』 如何使用kibana仪表板与可视化工具
ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。 Elasticsearch所涉及到的每一项技术都不是创新或者革命性的，全文搜索，分析系统以及分布式数据库这些早就已经存在了。它的革命性在于将这些独立且有用的技术整合成一个一体化的、实时的应用。Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。这种理解数据的方式与以往完全不同，这也是Elasticsearch能够执行复杂的全文搜索的原因之一。应用程序的日志大部分都是输出在服务器的日志文件中，这些日志大多数都是开发人员来看，然后开发却没有登陆服务器的权限，如果开发人员需要查看日志就需要到服务器来拿日志，然后交给开发；试想下，一个公司有10个开发，一个开发每天找运维拿一次日志，对运维人员来说就是一个不小的工作量，这样大大影响了运维的工作效率，部署ELKstack之后，开发任意就可以直接登陆到Kibana中进行日志的查看，...
『伍』 elk如何做到端到端100%完全传输日志在kibana看到的日志数量和后台看的少了几十万，是什么原因啊
2.1 日志的采集灵活性是我们选择日志采集方案更看重的因素，所以logstash属于首先方案， 它可以兼顾多种不同系统和应用类型等因素的差异，从源头上进行一些初步的日志预处理。 logstash唯一的小缺憾是它的不轻便， 因为它是使用jruby开发并跑在java虚拟机上的agent， 当然啦，同时也是优点，即各种平台上都可以用。 2.2 日志的汇总与过滤 kafka在我们挖财已经属于核心的中间件服务， 所以， 日志的汇总自然而然会倾向于使用kafka。日志的过滤和处理因为需求的多样性，可以直接对接订阅kafka， 然后根据各自的需求进行日志的定制处理， 比如过滤和监控应用日志的异常，即使通过zabbix进行预警； 或者数据仓库方面在原始日志的基础上进行清洗和转换，然后加载到新的数据源中； 2.3 日志的存储原始的日志存储我们采用ElasticSearch， 即ELK技术栈中E的原本用途，遵循ELK技术栈中各个方案之间的通用规范， 比如日志如索引采用logstash与kibana之间约定的index pattern。日志的衍生数据则日志使用各方根据需求自行选择。 2.4 日志的分析与查询 ELK技术栈中的Kibana已经可以很好的满足这一需求，这里我们不折腾。 3 需要解决哪些技术问题？因为我们在ELK技术栈的处理链路上插入了一些扩展点，所以，有些问题需要解决和澄清... 3.1 logstash与kafka的对接 ELK技术栈中， Logstash和Elastic Search是通过logstash的elasticsearch或者elasticsearch_http这几个output直接对接的， 为了让logstash转而对接kafka，我们有几种选择： logstash-kafka logstash-output-kafka logstash的httpoutput 第一种和第二种方案都需要编译打包相应的依赖到logstash，然后随同logstash一起部署到服务结点， 虽然可以work， 但依赖重， 资源消耗多， 通用性不强；个人更倾向于第三种方案，即使用logstash默认提供的http这个output， 因为http比较通用， 而且本身我们的kafka前面就有为了多系统对接而提供的http proxy方案部署。另外，依赖的管理和升级都在服务端维护，对每个服务结点是透明的。 当然， 唯一的弱点是效率可能不如基于长连接的消息传递高，只是暂时不是问题，即使将来成为瓶颈，也可以通过sharding的形式进行扩展。 3.2 kafka到elastic search的数据链路对接 kafka和es之间我们要加入一套日志过滤与处理系统， 这套系统是我们发挥整个体系最大威力的地方。 在整个系统的处理pipeline中，我们可以根据需求添加任意需要的Filter/Processor, 比如服务于应用报警的Filter/Processor，服务于数据仓库ETL的Filter/Processor等等。 但不管前面做了多少事情， 日志最终是要接入到ES进行存储的。因为ELK技术栈中三者的对接遵循一些规范或者说规则， 而我们又需要继续复用这个技术栈中的服务提供的特定功能， 所以，即使是我们在整个处理链路中插入了扩展点，但数据的存储依然需要遵循ELK原来的规范和规则， 以便Kibana可以从ES中捞日志出来分析和展示的时候不需要任何改动。 logstash存入ES的日志，一般遵循如下的index pattern： logstash-%{+YYYY.MM.dd} 使用日期进行索引（index）界定的好处是， 可以按照日期范围定期进行清理。 NOTE 进一步深入说明一下， 针对不同的日志类别， index pattern也最好分类对应。更多信息: Each log line from the input file is associated with a logstash event. Each logstash event has fields associated with it. By default, "message", "@timestamp", "@version", "host", "path" are created. The "message" field, referenced in the conditional statement, contains all the original text of the log line. 日志处理系统可以使用ES的java客户端或者直接通过ES的HTTP服务进行采集到的日志索引操作。
,
『陆』 es/logstash/kibana框架是用于什么
ELK 由三部分组成elasticsearch、logstash、kibana，elasticsearch是一个近似实时的搜索平台,它让你以前所未有的速度处理大数据成为可能。
Elasticsearch所涉及到的每一项技术都不是创新或者革命性的，全文搜索，分析系统以及分布式数据库这些早就已经存在了。它的革命性在于将这些独立且有用的技术整合成一个一体化的、实时的应用。Elasticsearch是面向文档(document oriented)的，这意味着它可以存储整个对象或文档(document)。然而它不仅仅是存储，还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中，你可以对文档（而非成行成列的数据）进行索引、搜索、排序、过滤。这种理解数据的方式与以往完全不同，这也是Elasticsearch能够执行复杂的全文搜索的原因之一。
应用程序的日志大部分都是输出在服务器的日志文件中，这些日志大多数都是开发人员来看，然后开发却没有登陆服务器的权限，如果开发人员需要查看日志就需要到服务器来拿日志，然后交给开发；试想下，一个公司有10个开发，一个开发每天找运维拿一次日志，对运维人员来说就是一个不小的工作量，这样大大影响了运维的工作效率，部署ELKstack之后，开发任意就可以直接登陆到Kibana中进行日志的查看，就不需要通过运维查看日志，这样就减轻了运维的工作。
日志种类多，且分散在不同的位置难以查找：如LAMP/LNMP网站出现访问故障，这个时候可能就需要通过查询日志来进行分析故障原因，如果需要查看apache的错误日志，就需要登陆到Apache服务器查看，如果查看数据库错误日志就需要登陆到数据库查询，试想一下，如果是一个集群环境几十台主机呢？这时如果部署了ELKstack就可以登陆到Kibana页面进行查看日志，查看不同类型的日志只需要电动鼠标切换一下索引即可。
Logstash：日志收集工具，可以从本地磁盘，网络服务（自己监听端口，接受用户日志），消息队列中收集各种各样的日志，然后进行过滤分析，并将日志输出到Elasticsearch中。
Elasticsearch：日志分布式存储/搜索工具，原生支持集群功能，可以将指定时间的日志生成一个索引，加快日志查询和访问。
Kibana：可视化日志Web展示工具，对Elasticsearch中存储的日志进行展示，还可以生成炫丽的仪表盘。
『柒』 如何开发自己的搜索帝国之ES图形化Kibana安装与使用
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。
Kibana让海量数据更容易理解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查询动态。
设置Kibana非常简单。无需编码或者额外的基础架构，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
『捌』 在Kibana的Discover面板中Time字段有多个值
①将Time对应字段的store设置为false，即不存储（同时可视情况将include_in_all也设置为false）。
②在Kibana的Management/Index Patterns/Source Filters中，将对应的字段过滤掉。
以上方案根据自己的情况任选其一，问题定位分析过程就不分享了，祝好！
『玖』 kibana配置elasticsearchurl选项 怎么才能配置灵活
Kibana是一个为ElasticSearch提供的数据分析的Web接口。可使用它对日志进行高效的搜索、可视化、分析等各种操作。Kibana目前最新的版本5.0.2，回顾一下Kibana3和Kibana4的界面。