聯系人:杜先生
咨詢熱線:13666137357
24小時服務熱線:13398160530
座機:028-64458994
公司官方網址:cisben-jp.com
QQ郵箱:1123090340@qq.com
公司地址:雙流區物聯二路臥波實業
關于監控我們有很大的興趣,但是大部分人低于監控的技術是并不清楚地。今天我們就開講講關于監控的3大技術特點。傳統的監控很多還是在停留在設備、網絡、系統相關的監控上,重視數據的采集,但是在數據算法和Role上比較傳統。對監控系統簡化抽象下,傳統監控可以大致分為三個過程:數據采集、數據存儲、響應處理。OWL監控在傳統監控基礎上,增加了Algorithm模塊,支持復雜的算法規則報警,如下圖所示:
1. 監控數據采集
Data Collection 就是數據采集,這里指的數據不光是基礎硬件的指標,也可以是業務指標。下面介紹兩個實例。
****個例子是主機硬盤狀態的采集:
下面的數據采集中****列是硬盤設備標號,第二列是硬盤的狀態,在監控的這個層面,一切都是metric,不同的層級可以抽象到不同的metric,結合 metric timestamp tagk1 tagv1… tagkN tagvN,這樣針對相同的metric去加tag,用來標示數據,方便后期的查詢。
2. 監控數據存儲
監控數據的存儲也是一個很有意思的話題,監控數據在數據結構上是很有特色的。仔細觀察發現監控數據基本上都是和時間維度相關的,以metric +timestamp的組合形式的數據占了所有監控數據量的大部分,相比而言,多維度的監控數據比較少;如果出現了多維度的監控數據,也可以通過其他的方式繞開處理。RDBMS 由于要考慮數據的關聯,所以它在整體數據存儲設計上充分考慮了數據的完整性和關系型,同時在 schema設計上還要遵守數據庫的幾大范式。傳統的監控大多數還是使用了RDBMS,但是這造成了性能上和擴展性上的局限性。針對監控數據這樣簡單的數 據結構,卻采用了一套復雜的存儲格式。隨著近些年各種各樣的垂直的。
技術領域對數據的存儲不同要求的演變,如Graph database,Time Series Databases等數據庫得到了不斷發展;監控數據在存儲上有了更多的選擇,InfluxDB,OpenTSDB,KairosDB都是不錯的選擇,** 后我們選擇了OpenTSDB,這主要是因為TalkingData的大數據基因,Hadoop和HBase在我們的業務系統中大規模使用。從現有的數據 體量上,OpenTSDB能夠滿足現在的業務要求。簡單的總結了一下OpenTSDB的優點:
此外,OpenTSDB支持API查詢,可以輕松地和其他系統進行數據對接,也方便其他系統抽取監控相關的數據。 并且,查詢方式靈活:查詢數據可以使用query接口,它既可以使用get的query string方式,也可以使用post方式以JSON格式指定查詢條件。
Algorithm這塊是傳統監控系統所欠缺的,基本上都是單個指標的大于,小于這樣的算法,但是遇到集群或者復雜的指標,就需要自己去增加一些算法,比如多個指標的加和,平均值,top10,歷史相似度等。這些算法的引入,可以增加報警的準確度,有效的減少報警數量,讓報警變得人性化。 關于報警的算法會在本系列的后續文章進行詳細介紹。
簡單的介紹一下OWL的整體架構,下面目前的架構是第四個大版本。在研發的過程中,我們也嘗試了很多的開源技術,如RRDtools、Graphlite,也踩了很多的技術坑,**后我們整體選擇了OpenTSDB,在這個技術棧下面演進了兩個版本:
成都監控電視墻報道: