面向數(shù)據(jù)集成的數(shù)據(jù)清理關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)清理是企業(yè)數(shù)據(jù)集成領(lǐng)域重要且熱門的研究問題。隨著企業(yè)應(yīng)用日益復(fù)雜，企業(yè)數(shù)據(jù)的質(zhì)量及其管理代價成為越來越受關(guān)注的方面。傳統(tǒng)的企業(yè)數(shù)據(jù)質(zhì)量管理基于靜態(tài)質(zhì)量規(guī)則來刻畫和保障，在擴展性和自動化處理方面難以滿足企業(yè)應(yīng)用的需求。如何以完整性約束理論為基礎(chǔ)，自動化地推理和挖掘數(shù)據(jù)清理規(guī)則并保證數(shù)據(jù)的一致性，是數(shù)據(jù)質(zhì)量保障一個新的熱點問題。本文針對企業(yè)數(shù)據(jù)集成領(lǐng)域的數(shù)據(jù)質(zhì)量保障問題，研究高效地檢測和清理不一致數(shù)據(jù)的方法與技術(shù)。
　　 首先，

2、本文提出了一種基于反向約束傳播的異常數(shù)據(jù)檢測方法，根據(jù)數(shù)據(jù)集成目的端的質(zhì)量約束推理源端需要滿足的質(zhì)量約束，從而在源端進行異常數(shù)據(jù)檢測。在數(shù)據(jù)集成流程中，數(shù)據(jù)源端的數(shù)據(jù)經(jīng)過流程處理后，可能會將違反目的端的完整性約束，導(dǎo)致不成功的加載或者成為目的端數(shù)據(jù)庫中的臟數(shù)據(jù)，因為數(shù)據(jù)量大，而且可能存在遠程的數(shù)據(jù)傳輸，通過執(zhí)行調(diào)試的方法來定位問題數(shù)據(jù)的代價太大。本論文中提出反向約束傳播(Backwards ConstraintPropagation,B

3、CP)的方法，首先將數(shù)據(jù)集成流程建模為有向無環(huán)圖，然后自動將目的端數(shù)據(jù)庫的完整性約束沿著數(shù)據(jù)流反方向，向數(shù)據(jù)源端推理。文中采用一階邏輯定義并證明面向基本關(guān)系代數(shù)操作的約束傳播規(guī)則，并定義約束傳播規(guī)則支持采用屬性映射和元組映射兩個抽象操作標注的復(fù)雜數(shù)據(jù)操作，使BCP可以支持大多數(shù)類型的數(shù)據(jù)操作。案例分析及實驗表明該方法可以有效輔助捕獲異常數(shù)據(jù)并提高數(shù)據(jù)集成流程的設(shè)計效率。
　　 其次，本文提出基于NULL修復(fù)的一致性查詢方法，支持

4、對不一致數(shù)據(jù)源在查詢時自動過濾不一致的屬性信息。多個數(shù)據(jù)源的數(shù)據(jù)集成后，因為缺乏足夠的輔助信息進行清理，可能存在大量違反完整性約束的數(shù)據(jù)。一致性查詢技術(shù)(Consistent Query Answering,CQA)研究如何在查詢時采用虛擬修復(fù)的方法獲取一致的結(jié)果，但已有的方法大多基于元組刪除的修復(fù)方法，可能導(dǎo)致信息丟失，而且對于大多數(shù)約束求解CQA是NP問題。我們將約束類型限制在屬性級，即只有違反約束的屬性為不一致信息，并提出基于NU

5、LL的修復(fù)語義，將所有不一致屬性使用NULL替換得到虛擬修復(fù)。當進行NULL修復(fù)后可能會產(chǎn)生新的不一致屬性，針對該問題提出約束擴展算法，通過一輪檢測定位所有可能的不一致屬性。然后，基于NULL修復(fù)語義給出了SQL重寫算法來實現(xiàn)CQA。文中進行了實驗與性能分析，表明該方法計算復(fù)雜度與數(shù)據(jù)庫規(guī)模、不一致數(shù)據(jù)比例、查詢類型成線性比例關(guān)系。
　　 再次，本文提出了一種數(shù)據(jù)清理流程的通用優(yōu)化框架，支持對數(shù)據(jù)清理流程操作的自動重構(gòu)，優(yōu)化流程

6、的執(zhí)行效率。隨著數(shù)據(jù)量飛速的增長，性能成為數(shù)據(jù)清理的瓶頸，如果對數(shù)據(jù)清理流程的邏輯模型進行優(yōu)化，可以在不增加資源的情況下獲取性能的提升。本文提出一個框架，通過對流程進行語義等價的結(jié)構(gòu)變換生成備選流程，并預(yù)測各備選流程的執(zhí)行代價選擇最優(yōu)的流程。支持對操作組件標注其操作語義的特征屬性，定義特定領(lǐng)域的流程變換規(guī)則，同時提出根據(jù)流程代價相對關(guān)系來構(gòu)建代價偏序圖，提高流程選擇的精確度。為了表明該框架的通用性和有效性，將其應(yīng)用到web數(shù)據(jù)Mashu