分布式計算環(huán)境中的性能異常預(yù)測監(jiān)控.pdf

1、近十幾年來,分布式系統(tǒng)環(huán)境得到了廣泛的關(guān)注和研究。分布式計算將需要龐大計算資源的問題分割成若干子問題,這些子問題再由系統(tǒng)中的多個計算機分別進行處理,各個計算機處理的結(jié)果集中整合到一起成為一個最終的結(jié)果,由于一個巨大的問題需要多個計算機合作進行解決,因此計算的可靠性和有效性成了人們的關(guān)注目標(biāo)。為了提高分布式環(huán)境的可靠性,傳統(tǒng)的方法是通過使用基于冗余部件的高可用性(HA)技術(shù)來保證持續(xù)的服務(wù),在出現(xiàn)節(jié)點失效的情況下,將該節(jié)點上的應(yīng)用立即遷移

2、到冗余節(jié)點上。但是,如果使用預(yù)測機制在節(jié)點失效之前及時地發(fā)現(xiàn)系統(tǒng)中的異常,根據(jù)異常的級別和相關(guān)的維護機制,可以有效地避免節(jié)點意外中止,因此可以更大程度地高分布式環(huán)境的可靠性。在實際情況中,性能異常預(yù)測可以應(yīng)用到多方領(lǐng)域中減少不要的損失,根據(jù)需要達成特定的監(jiān)控目的。機器的性能主要可以反映為 CPU負載、內(nèi)存使用率、磁盤使用率等,因此,本文主要研究這些數(shù)據(jù)所形成的時間序列異常預(yù)測的技術(shù)。
　　目前,在異常研究領(lǐng)域,盡管已經(jīng)有不少有關(guān)性

3、能異常探測技術(shù),但性能異常預(yù)測卻尚未得到廣泛研究。異常探測只能在異常已經(jīng)發(fā)生之后對其進行檢測分析,而異常預(yù)測技術(shù)才是真正避免異常發(fā)生的關(guān)鍵所在。
　　針對這些問題,本文提出了兩類異常預(yù)測模型——單變量的異常預(yù)測算法和多變量的異常預(yù)測算法。其中,單變量的異常預(yù)測算法采用單個性能度量作為預(yù)測對象,通過尋找最相似模式與機器學(xué)習(xí)結(jié)合的方法,對異常的預(yù)兆進行判斷。多變量的異常預(yù)測算法則同時觀察系統(tǒng)的多個度量,綜合考慮多方面因素,通過改進的基

4、于KNN的方法對異常進行預(yù)測。除此以外,對每一種算法本文都設(shè)計了一系列實驗,從多角度來檢驗各算法的準(zhǔn)確性,在各實驗中,本文將算法結(jié)果與前人的算法實驗結(jié)果想對比,比較各自算法的長處和不足。
　　在本文的最后,介紹了名為“基于語義事件的分布式監(jiān)控系統(tǒng)”的分布式監(jiān)控模型,該系統(tǒng)是一種全新的監(jiān)控系統(tǒng),它用語義的形式來發(fā)布監(jiān)控信息,而語義事件可由用戶自行定義,這樣使得該系統(tǒng)更加靈活并且易于擴展。此外,我們還將以上兩類異常監(jiān)控模型整合到該系統(tǒng)