面向用戶請求路徑的分布式系統(tǒng)監(jiān)控關鍵技術研究.pdf

1、在現(xiàn)代社會，分布式系統(tǒng)發(fā)揮著越來越重要的作用，推動著各行各業(yè)的快速發(fā)展，極大地便利了人們的日常生活。隨著技術的發(fā)展和用戶需求的增加，分布式系統(tǒng)呈現(xiàn)出新的發(fā)展趨勢，包括用戶數(shù)量日趨增加、設施規(guī)模日趨龐大、系統(tǒng)結構日趨復雜等。這些發(fā)展趨勢為分布式系統(tǒng)的發(fā)展帶來了機遇，但同時也帶了挑戰(zhàn)，其中重要的一項便是日益增多的系統(tǒng)異常。這些異常嚴重地影響著系統(tǒng)的可靠性和性能，并可能造成巨大的損失，特別是在安全攸關的領域，這些異?？赡軒頌碾y性的后果。

2、r>　　作為一種運行時的技術，系統(tǒng)監(jiān)控對系統(tǒng)運行時信息進行收集，據(jù)此檢測和診斷系統(tǒng)運行過程中出現(xiàn)的異常，并對系統(tǒng)進行恢復，從而有效地提高分布式系統(tǒng)的可靠性和性能。在收集的各種類型的數(shù)據(jù)中，用戶請求路徑（簡稱路徑）記錄了用戶請求的執(zhí)行過程及上下文信息，能為異常的檢測和診斷提供更為豐富、更有價值的信息。因此，面向路徑的系統(tǒng)監(jiān)控技術得到了廣泛的應用，成為學術界和工業(yè)界關注的熱點。但是，分布式系統(tǒng)呈現(xiàn)出的發(fā)展趨勢為面向路徑的系統(tǒng)監(jiān)控技術帶來了嚴

3、峻的挑戰(zhàn)，包括：如何準確、實時、低開銷地對路徑數(shù)據(jù)進行收集并有效地進行展示；如何快速、準確地從海量的路徑數(shù)據(jù)中檢測出系統(tǒng)異常；如何基于路徑數(shù)據(jù)快速、準確地對系統(tǒng)中的故障進行細粒度地識別和定位等。另外，難以獲取滿足實際需要的路徑數(shù)據(jù)給這些技術的發(fā)展帶來了阻礙。針對這些問題和挑戰(zhàn)，本文對面向路徑系統(tǒng)監(jiān)控的關鍵技術和基礎數(shù)據(jù)展開深入的研究，主要工作和貢獻包括：
　?。?）輕量級的白盒跟蹤方法
　　文章給出了一個輕量級的白盒跟蹤方法

4、MTracer，MTracer能夠準確、實時地捕獲用戶請求路徑，記錄節(jié)點、構件、函數(shù)等不同粒度的執(zhí)行信息?；赪eb的可視化工具MTracer-Viz能夠?qū)κ占穆窂綌?shù)據(jù)進行分析，并從不同的角度對信息進行展示，以輔助用戶進行系統(tǒng)理解和維護。實驗表明，MTracer給系統(tǒng)帶來的額外開銷處于較低水平，且具有較高的處理速度，能夠有效地對實際系統(tǒng)的行為進行跟蹤。另外，MTracer在易用性和通用性方面具有較好的表現(xiàn)。
　?。?）細粒度、多

5、場景的請求路徑數(shù)據(jù)集
　　文章給出了一個細粒度、多場景的請求路徑數(shù)據(jù)集TraceBench，TraceBench是第一個以用戶請求為中心的細粒度開源路徑數(shù)據(jù)集。在數(shù)據(jù)集的收集過程中，通過設置不同的集群規(guī)模、請求類型、負載強度、故障種類等構建不同的收集場景，使目標系統(tǒng)在不同場景中表現(xiàn)出不同的行為特征，從而保證數(shù)據(jù)集可以滿足不同的應用需要。實驗表明，TraceBench中的數(shù)據(jù)真實可用，能夠有效地支持異常檢測和診斷等系統(tǒng)監(jiān)控相關技術，

6、且適用于一些其它研究，如不變式挖掘等。
　　（3）基于運行時驗證的異常檢測方法
　　文章給出了一個基于運行時驗證的異常檢測方法。該方法利用不同的邏輯語言對系統(tǒng)行為特征進行描述，并利用運行時驗證中的相關技術將系統(tǒng)特征轉(zhuǎn)換成方法的內(nèi)部表達，據(jù)此對路徑數(shù)據(jù)進行檢查，發(fā)現(xiàn)系統(tǒng)中存在的異常。實驗結果表明，方法采用的邏輯語言可以準確靈活地對系統(tǒng)行為特征模型范圍內(nèi)的行為特征進行描述；且能夠在特征描述的范圍內(nèi)準確地檢測出異常路徑，并具有較高

7、的效率，能夠滿足實際需要。
　?。?）基于路徑分割的性能異常診斷方法
　　文章給出了一個基于路徑分割的性能異常診斷方法SegDiag。SegDiag利用自動分割算法對路徑數(shù)據(jù)進行分割，達到降低數(shù)據(jù)維度、增大樣本容量、提高信息利用率等目的，從而提高分析過程的準確度和效率；SegDiag引入循環(huán)過程并給出合理的循環(huán)終止條件，可以進一步提高方法的準確度；另外，方法還采用了一個綜合投票機制，可以準確地對不同粒度的故障進行定位，并為用