分布式復雜事件處理關鍵技術研究.pdf

1、近年來，互聯(lián)網中產生的數(shù)據(jù)大幅增加，如何處理這些數(shù)據(jù)，挖掘出數(shù)據(jù)中蘊涵的信息，成為計算機領域關注的重點。傳統(tǒng)的數(shù)據(jù)挖掘方法是先將這些數(shù)據(jù)存儲到數(shù)據(jù)庫之中，再對其進行處理，但是這些數(shù)據(jù)中只有小部分是我們感興趣的，全部存儲起來代價很大，而且在很多領域，比如證券市場，電力設備的檢測，對數(shù)據(jù)處理的實時性要求很高，傳統(tǒng)的數(shù)據(jù)挖掘及數(shù)據(jù)庫的處理方法，無法滿足這些數(shù)據(jù)處理的實時性，為了能夠實時地從源源不斷的海量數(shù)據(jù)中提取出感興趣及更高層次的信息，出現(xiàn)

2、了復雜事件處理系統(tǒng)，用戶預先在系統(tǒng)中定義需要檢測的復雜事件模式，復雜事件處理系統(tǒng)實時對數(shù)據(jù)流進行檢測，當檢測到用戶自定義的復雜事件模式的時候，通知用戶或者做出響應。
　　目前已經存在著很多復雜事件處理系統(tǒng)，各個系統(tǒng)適用于不同的場景之中，也針對不同問題進行了改進，但這些系統(tǒng)普遍采用集中式的架構，隨著目前事件產生的速率不斷增加，事件的復雜度不斷的增加，傳統(tǒng)的運行在單節(jié)點上的復雜事件處理系統(tǒng)的處理能力已經遇到了瓶頸。
　　針對上述

3、問題，在本文中，我們設計實現(xiàn)了一個分布式的復雜事件處理系統(tǒng)，該系統(tǒng)通過查詢重寫方法和分布式處理，提高復雜事件處理系統(tǒng)的處理能力，本文的貢獻主要包括以下幾個方面:
　　(1)一種新的事件模型和事件模式語言，其更適用于查詢重寫和分布式實現(xiàn)。
　　(2)對基于有向圖的復雜事件模式檢測方法進行改進，并提出一種查詢重寫算法，使得復雜事件模式查詢更加高效。
　　(3)設計分布式復雜事件處理框架，并使用分布式流處理框架Storm對其