『壹』 如何使用 kibana 分析 mysql 數據
Kibana4簡單使用
<center>
# ELK日誌系統使用說明 #
</center>
**k3與k4的對比**
1.界面美觀：Kibana4 至今未提供類似 Kibana3 中的 Query 設置功能，包括 Query 別名和顏色選擇器這兩個常用功能2.日誌顯示：kibana4有高亮顯示
3.頁面設計：Kibana3 就是一個圍繞著 dashboard 構建的單頁應用。在頁面邏輯上，Kibana3比較簡潔，Kibana4稍復雜。
<center>
##一、 系統介紹
</center>
ELK（logstash+elasticsearch+kibana）是一套開源的實時日誌分析系統。目前這套系統已經在小范圍內使用了。針對各位開發人員，無需關心系統底層的實現，只需關注kibana的使用即可。kibana4中，將功能拆分成了搜索（Discover），可視化（Visualize）和儀表盤(Dashboard)三個標簽，我們使用最多的地方即是搜索，目前就給大家主要介紹搜索頁面的使用。
<center>
##二、 kibana4的使用
</center>
登錄入口：運維平台-->應用中心：ELK
地址：https//op.zhubajie.la/
<center>
## 快速查詢項目日誌
</center>
**選擇面板-->選擇項目**
首先選擇面板，搜索框輸入：tags:"項目名" 或host:"項目名" 即可查看對應項目的日誌<center>
## discover 功能 ##
</center>
Discover 標簽頁用於互動式探索你的數據。你可以訪問到匹配得上你選擇的索引模式的每個索引的每條記錄。你可以提交搜索請求，過濾搜索結果，然後查看文檔數據。你還可以看到匹配搜索請求的文檔總數，獲取欄位值的統計情況。如果索引模式配置了時間欄位，文檔的時序分布情況會在頁面頂部以柱狀圖的形式展示出來。
**查看日誌數據**
點擊日誌內容中的小三角，查看日誌詳細內容。
要在單獨的頁面上查看文檔內容，點擊鏈接。你可以添加書簽或者分享這個鏈接，以直接訪問這條特定文檔。
**1) 搜索數據**
在 Discover 頁提交一個搜索，你就可以搜索匹配當前索引模式的索引數據了。
當你提交搜索的時候，直方圖，文檔表格，欄位列表，都會自動反映成搜索的結果。hits(匹配的文檔)總數會在直方圖的右上角顯示。
*在搜索框內輸入請求字元串*：
- **通配符**：用 ? 表示單字母，* 表示任意個字母。比如 fir?t mess*。
- **簡單的文本搜索**：直接輸入文本字元串。比如，如果你在搜索網站伺服器日誌，你可以輸入error 來搜索各欄位中的 error單詞。
- **搜索特定欄位的值**：則在值前加上欄位名。比如 status:200- **范圍搜索**：對數值和時間，[START_VALUE TO END_VALUE]。比如，要查找 4xx 的狀態碼，status:[400 TO 499]。
- **多個檢索條件的組合**：可以使用 NOT, AND 和 OR 來組合檢索，**注意必須是大寫**。比如，要查找 4xx 的狀態碼，還是 php 或 html 結尾的數據， status:[400 TO 499] AND (extension:php OR extension:html)。其中，[] 表示端點數值包含在范圍內，{} 表示端點數值不包含在范圍內。
- 近似搜索：用 ~ 表示搜索單詞可能有一兩個字母寫的不對。比如 frist~；**2) 設置時間過濾器**
默認的時間過濾器設置為最近 15 分鍾。你可以用頁面頂部的時間選擇器(Time Picker)來修改時間過濾器。
**3) 日誌索引設置**
- Nginx日誌索引：[logstash-nginx-*]
- 服務化Nginx日誌索引：[api-nginx-]YYYY.MM.DD- Java日誌索引：[logstash-jetty-]YYYY.MM.DD- php日誌索引：[logstash-php-*]
- mysql日誌索引：[logstash-]YYYY.MM.DD
- 其他日誌:[logstash-]YYYY.MM.DD （註：該索引為系統默認索引，需搜索其他日誌，請按步驟改變索引即可)**4) 保存搜索**
你可以在 Discover 頁載入已保存的搜索麵板，也可以用作 visualizations 的基礎。保存一個搜索，意味著同時保存下了搜索請求字元串和當前選擇的索引模式。
<table>
<td>
保存當前搜索：
1.點擊 Discover 工具欄的 Save Search 按鈕2.輸入一個名稱，點擊 Save。
載入一個已存搜索：
1.點擊 Discover 工具欄的 Load Search 按鈕 。
2.選擇你要載入的搜索。
如果已保存的搜索關聯到跟你當前選擇的索引模式不一樣的其他索引上，載入這個搜索也會切換當前的已選索引模式。
</td>
</table>
**5) 改變你搜索的索引**
當你提交一個搜索請求，匹配當前的已選索引模式的索引都會被搜索。當前模式模式會顯示在搜索欄下方。要改變搜索的索引，需要選擇另外的模式模式。
要選擇另外的索引模式：
(1).點擊 Discover 工具欄的 Settings 按鈕 。
(2).從索引模式列表中選取你打算採用的模式。
**6) 自動刷新頁面**
亦可以配置一個刷新間隔來自動刷新 Discover 頁面的最新索引數據。這回定期重新提交一次搜索請求。
設置刷新間隔後，會顯示在菜單欄時間過濾器的左邊。
要設置刷新間隔：
1.點擊菜單欄右上角的 Time Filter 。
2.點擊 Refresh Interval 標簽。
3.從列表中選擇一個刷新間隔。
要想自動刷新數據，點擊 Auto-refresh 按鈕然後選擇一個自動刷新間隔：
『貳』 如何使用Kibana的儀錶板與可視化功能
Kibana是一個為ElasticSearch提供的數據分析的Web介面。
可使用它對日誌進行高效的搜索、可視化、分析等各種操作。
Kibana目前最新的版本5.0.2，回顧一下Kibana3和Kibana4的界面。
『叄』 kibana，logstashe，elasticsearch怎麼讀
1、elastic search英式音標：[ɪˈlæstɪk] [sɜːtʃ]，美式音標：[ɪˈlæstɪk] [sɝtʃ]。
2、logstashe英式音標：[lɔɡ] [stɑ:ʃ]，美式音標[lɔɡ] [stæ:ʃ]。
3、kibana的英式音標和美式音標都是[kɪbana]。
(3)kibana股票分析擴展閱讀：
1、ElasticSearch：是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制， restful風格介面，多數據源，自動搜索負載等。
2、Logstash： 是一個完全開源的工具，他可以對你的日誌進行收集，分析，並將其存儲供以後使用。
3、Kibana：也是一個開源和免費的工具， Kibana可以為Logstash 。
網路-elasticsearch
網路-英語音標
『肆』 如何使用kibana儀錶板與可視化工具
ELK 由三部分組成elasticsearch、logstash、kibana，elasticsearch是一個近似實時的搜索平台,它讓你以前所未有的速度處理大數據成為可能。 Elasticsearch所涉及到的每一項技術都不是創新或者革命性的，全文搜索，分析系統以及分布式資料庫這些早就已經存在了。它的革命性在於將這些獨立且有用的技術整合成一個一體化的、實時的應用。Elasticsearch是面向文檔(document oriented)的，這意味著它可以存儲整個對象或文檔(document)。然而它不僅僅是存儲，還會索引(index)每個文檔的內容使之可以被搜索。在Elasticsearch中，你可以對文檔（而非成行成列的數據）進行索引、搜索、排序、過濾。這種理解數據的方式與以往完全不同，這也是Elasticsearch能夠執行復雜的全文搜索的原因之一。應用程序的日誌大部分都是輸出在伺服器的日誌文件中，這些日誌大多數都是開發人員來看，然後開發卻沒有登陸伺服器的許可權，如果開發人員需要查看日誌就需要到伺服器來拿日誌，然後交給開發；試想下，一個公司有10個開發，一個開發每天找運維拿一次日誌，對運維人員來說就是一個不小的工作量，這樣大大影響了運維的工作效率，部署ELKstack之後，開發任意就可以直接登陸到Kibana中進行日誌的查看，...
『伍』 elk如何做到端到端100%完全傳輸日誌在kibana看到的日誌數量和後台看的少了幾十萬，是什麼原因啊
2.1 日誌的採集靈活性是我們選擇日誌採集方案更看重的因素，所以logstash屬於首先方案， 它可以兼顧多種不同系統和應用類型等因素的差異，從源頭上進行一些初步的日誌預處理。 logstash唯一的小缺憾是它的不輕便， 因為它是使用jruby開發並跑在java虛擬機上的agent， 當然啦，同時也是優點，即各種平台上都可以用。 2.2 日誌的匯總與過濾 kafka在我們挖財已經屬於核心的中間件服務， 所以， 日誌的匯總自然而然會傾向於使用kafka。日誌的過濾和處理因為需求的多樣性，可以直接對接訂閱kafka， 然後根據各自的需求進行日誌的定製處理， 比如過濾和監控應用日誌的異常，即使通過zabbix進行預警； 或者數據倉庫方面在原始日誌的基礎上進行清洗和轉換，然後載入到新的數據源中； 2.3 日誌的存儲原始的日誌存儲我們採用ElasticSearch， 即ELK技術棧中E的原本用途，遵循ELK技術棧中各個方案之間的通用規范， 比如日誌如索引採用logstash與kibana之間約定的index pattern。日誌的衍生數據則日誌使用各方根據需求自行選擇。 2.4 日誌的分析與查詢 ELK技術棧中的Kibana已經可以很好的滿足這一需求，這里我們不折騰。 3 需要解決哪些技術問題？因為我們在ELK技術棧的處理鏈路上插入了一些擴展點，所以，有些問題需要解決和澄清... 3.1 logstash與kafka的對接 ELK技術棧中， Logstash和Elastic Search是通過logstash的elasticsearch或者elasticsearch_http這幾個output直接對接的， 為了讓logstash轉而對接kafka，我們有幾種選擇： logstash-kafka logstash-output-kafka logstash的httpoutput 第一種和第二種方案都需要編譯打包相應的依賴到logstash，然後隨同logstash一起部署到服務結點， 雖然可以work， 但依賴重， 資源消耗多， 通用性不強；個人更傾向於第三種方案，即使用logstash默認提供的http這個output， 因為http比較通用， 而且本身我們的kafka前面就有為了多系統對接而提供的http proxy方案部署。另外，依賴的管理和升級都在服務端維護，對每個服務結點是透明的。 當然， 唯一的弱點是效率可能不如基於長連接的消息傳遞高，只是暫時不是問題，即使將來成為瓶頸，也可以通過sharding的形式進行擴展。 3.2 kafka到elastic search的數據鏈路對接 kafka和es之間我們要加入一套日誌過濾與處理系統， 這套系統是我們發揮整個體系最大威力的地方。 在整個系統的處理pipeline中，我們可以根據需求添加任意需要的Filter/Processor, 比如服務於應用報警的Filter/Processor，服務於數據倉庫ETL的Filter/Processor等等。 但不管前面做了多少事情， 日誌最終是要接入到ES進行存儲的。因為ELK技術棧中三者的對接遵循一些規范或者說規則， 而我們又需要繼續復用這個技術棧中的服務提供的特定功能， 所以，即使是我們在整個處理鏈路中插入了擴展點，但數據的存儲依然需要遵循ELK原來的規范和規則， 以便Kibana可以從ES中撈日誌出來分析和展示的時候不需要任何改動。 logstash存入ES的日誌，一般遵循如下的index pattern： logstash-%{+YYYY.MM.dd} 使用日期進行索引（index）界定的好處是， 可以按照日期范圍定期進行清理。 NOTE 進一步深入說明一下， 針對不同的日誌類別， index pattern也最好分類對應。更多信息: Each log line from the input file is associated with a logstash event. Each logstash event has fields associated with it. By default, "message", "@timestamp", "@version", "host", "path" are created. The "message" field, referenced in the conditional statement, contains all the original text of the log line. 日誌處理系統可以使用ES的java客戶端或者直接通過ES的HTTP服務進行採集到的日誌索引操作。
,
『陸』 es/logstash/kibana框架是用於什麼
ELK 由三部分組成elasticsearch、logstash、kibana，elasticsearch是一個近似實時的搜索平台,它讓你以前所未有的速度處理大數據成為可能。
Elasticsearch所涉及到的每一項技術都不是創新或者革命性的，全文搜索，分析系統以及分布式資料庫這些早就已經存在了。它的革命性在於將這些獨立且有用的技術整合成一個一體化的、實時的應用。Elasticsearch是面向文檔(document oriented)的，這意味著它可以存儲整個對象或文檔(document)。然而它不僅僅是存儲，還會索引(index)每個文檔的內容使之可以被搜索。在Elasticsearch中，你可以對文檔（而非成行成列的數據）進行索引、搜索、排序、過濾。這種理解數據的方式與以往完全不同，這也是Elasticsearch能夠執行復雜的全文搜索的原因之一。
應用程序的日誌大部分都是輸出在伺服器的日誌文件中，這些日誌大多數都是開發人員來看，然後開發卻沒有登陸伺服器的許可權，如果開發人員需要查看日誌就需要到伺服器來拿日誌，然後交給開發；試想下，一個公司有10個開發，一個開發每天找運維拿一次日誌，對運維人員來說就是一個不小的工作量，這樣大大影響了運維的工作效率，部署ELKstack之後，開發任意就可以直接登陸到Kibana中進行日誌的查看，就不需要通過運維查看日誌，這樣就減輕了運維的工作。
日誌種類多，且分散在不同的位置難以查找：如LAMP/LNMP網站出現訪問故障，這個時候可能就需要通過查詢日誌來進行分析故障原因，如果需要查看apache的錯誤日誌，就需要登陸到Apache伺服器查看，如果查看資料庫錯誤日誌就需要登陸到資料庫查詢，試想一下，如果是一個集群環境幾十台主機呢？這時如果部署了ELKstack就可以登陸到Kibana頁面進行查看日誌，查看不同類型的日誌只需要電動滑鼠切換一下索引即可。
Logstash：日誌收集工具，可以從本地磁碟，網路服務（自己監聽埠，接受用戶日誌），消息隊列中收集各種各樣的日誌，然後進行過濾分析，並將日誌輸出到Elasticsearch中。
Elasticsearch：日誌分布式存儲/搜索工具，原生支持集群功能，可以將指定時間的日誌生成一個索引，加快日誌查詢和訪問。
Kibana：可視化日誌Web展示工具，對Elasticsearch中存儲的日誌進行展示，還可以生成炫麗的儀表盤。
『柒』 如何開發自己的搜索帝國之ES圖形化Kibana安裝與使用
Kibana是一個針對Elasticsearch的開源分析及可視化平台，用來搜索、查看交互存儲在Elasticsearch索引中的數據。使用Kibana，可以通過各種圖表進行高級數據分析及展示。
Kibana讓海量數據更容易理解。它操作簡單，基於瀏覽器的用戶界面可以快速創建儀錶板（dashboard）實時顯示Elasticsearch查詢動態。
設置Kibana非常簡單。無需編碼或者額外的基礎架構，幾分鍾內就可以完成Kibana安裝並啟動Elasticsearch索引監測。
『捌』 在Kibana的Discover面板中Time欄位有多個值
①將Time對應欄位的store設置為false，即不存儲（同時可視情況將include_in_all也設置為false）。
②在Kibana的Management/Index Patterns/Source Filters中，將對應的欄位過濾掉。
以上方案根據自己的情況任選其一，問題定位分析過程就不分享了，祝好！
『玖』 kibana配置elasticsearchurl選項 怎麼才能配置靈活
Kibana是一個為ElasticSearch提供的數據分析的Web介面。可使用它對日誌進行高效的搜索、可視化、分析等各種操作。Kibana目前最新的版本5.0.2，回顧一下Kibana3和Kibana4的界面。