并行關(guān)聯(lián)規(guī)則算法優(yōu)化的研究.pdf

1、隨著數(shù)據(jù)庫技術(shù)的迅速發(fā)展以及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多，如何充分利用這些數(shù)據(jù)信息并為企業(yè)決策者提供決策支持成為一個十分迫切又棘手的問題，數(shù)據(jù)挖掘就是為了滿足這種要求而迅速發(fā)展起來的。數(shù)據(jù)挖掘是幫助人們在海量數(shù)據(jù)中發(fā)現(xiàn)信息和知識的工具，近年來數(shù)據(jù)挖掘技術(shù)成了商業(yè)智能的核心技術(shù)，被廣泛應(yīng)用到了諸多領(lǐng)域，引起了學(xué)術(shù)界極大的關(guān)注，如何提高數(shù)據(jù)挖掘的效率成為學(xué)術(shù)界熱門的研究課題，而關(guān)聯(lián)規(guī)則的發(fā)現(xiàn)是數(shù)據(jù)挖掘中最成功和最重要的一

2、項任務(wù)，也是當(dāng)今數(shù)據(jù)挖掘中一個非常活躍的研究領(lǐng)域，其中最著名的挖掘關(guān)聯(lián)規(guī)則算法就是Apriori算法。
　　論文對數(shù)據(jù)挖掘和關(guān)聯(lián)規(guī)則的主要概念和發(fā)展?fàn)顩r作了綜述，給出了挖掘關(guān)聯(lián)規(guī)則問題的正式的描述，對典型的串行關(guān)聯(lián)規(guī)則算法和并行關(guān)聯(lián)規(guī)則算法作了較深入的分析，并且介紹了這些算法的思想及其各自的優(yōu)缺點；針對CD算法所存在的多次掃描和冗余存儲等問題進(jìn)行改進(jìn)。
　　CD算法的目標(biāo)是減少通信量獲得較好的任務(wù)分布性，使各處理器只對本地數(shù)

3、據(jù)并行地進(jìn)行處理，但算法的I/O量較重，數(shù)據(jù)結(jié)構(gòu)重復(fù)，沒有有效利用整個內(nèi)存。因此論文在CD算法的基礎(chǔ)上提出了改進(jìn)的算法NCD：通過對參與候選集的元素計數(shù)的方法來減少產(chǎn)生候選集的組合和數(shù)據(jù)庫的掃描次數(shù)以達(dá)到要求。這種方法是利用多個處理器的并行計算得到候選集S'，由于候選集無法保證是超集，有可能報告失效，這時還須掃描數(shù)據(jù)一遍或多遍，直到不再報告失效為止。這種算法讓各處理器在不知道其他處理器的任何信息的情況下獨立地計算局部大項集，直到所有的處