K-Means算法研究及在文本聚類中的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，大量文本信息存儲過程變得更加容易，在Web上可以利用文檔的數(shù)量正在迅猛地增長。在知識的海洋中，可以利用的信息總量在持續(xù)增長的時(shí)候，而用戶的理解和處理信息的能力維持不變，如何從這海量的信息當(dāng)中尋找出自己感興趣的信息，如何對這些未分類的文本信息進(jìn)行分門別類等等，這些問題涉及一個(gè)新的研究方向——文本挖掘的研究。文本挖掘最重要的研究角度之一即為文本聚類挖掘。所謂文本聚類挖掘是一個(gè)發(fā)現(xiàn)文本集類別信息和包含內(nèi)容的方法，將文本文

2、檔按照設(shè)定的相似度度量標(biāo)準(zhǔn)劃分為指定數(shù)目的類別，使得每個(gè)類別中的樣本具有較高的相似性并且給出各類別的概要描述。與對普通實(shí)驗(yàn)數(shù)據(jù)聚類相比，文本聚類有其自身的特點(diǎn)，相關(guān)的研究具有很大的挑戰(zhàn)性。目前，針對K-Means算法研究及應(yīng)用，尤其是在文本聚類挖掘?qū)用娴膽?yīng)用研究越來越多。
　　 本文首先系統(tǒng)地介紹了聚類分析和文本聚類挖掘的基本理論，然后針對K-Means算法的局限性提出自己的改進(jìn)方法，最后將改進(jìn)的K-Means算法應(yīng)用在文本聚類

3、挖掘中。
　　 首先，文章介紹了當(dāng)前國內(nèi)外的聚類算法和文本聚類挖掘的研究現(xiàn)狀。相比之下，國外的研究相對比較成熟，國內(nèi)主要的研究還只處在理論研究階段。同時(shí)，簡要地介紹了數(shù)據(jù)挖掘的理論內(nèi)容，包括數(shù)據(jù)挖掘的概念以及數(shù)據(jù)挖掘的步驟等。
　　 然后，在介紹聚類的概念和聚類算法等聚類分析相關(guān)理論知識的基礎(chǔ)上，著重闡釋了K-Means算法，并對其優(yōu)缺點(diǎn)進(jìn)行分析。針對原K-Means算法受孤立點(diǎn)影響和初始聚類中心隨機(jī)選擇等問題，提出了帶

4、孤立點(diǎn)分析的改進(jìn)的K-Means聚類算法。孤立點(diǎn)分析主要采用統(tǒng)計(jì)學(xué)中“Z分?jǐn)?shù)（標(biāo)準(zhǔn)分?jǐn)?shù)）的絕對值大于2的數(shù)據(jù)作為孤立點(diǎn)”的思想，這個(gè)方法不但有著嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)而且可以避免用戶設(shè)定閾值的前提條件。確定初始聚類中心的策略是每次都把相對集中的數(shù)據(jù)先劃分出來，這樣就可以保證每個(gè)簇劃分出的數(shù)據(jù)對象有著較高的相似性。孤立點(diǎn)檢測可以降低孤立點(diǎn)對聚類結(jié)果的影響，改進(jìn)的K-Means算法中的初始聚類中心確定策略可以降低算法陷入局部最優(yōu)的可能性并在一定

5、程度上減少算法迭代的次數(shù)。繼而使用iris數(shù)據(jù)集對改進(jìn)的算法進(jìn)行實(shí)驗(yàn)，驗(yàn)證了改進(jìn)的K-Means算法的效果和性能較原算法相比都有很大的提高。
　　 接著，描述了文本挖掘的概念和文本挖掘的主要過程，并實(shí)現(xiàn)了一個(gè)基于本文改進(jìn)后的K-Means算法的文本聚類挖掘的應(yīng)用實(shí)例。該應(yīng)用實(shí)例主要包括文本預(yù)處理模塊、聚類模塊和性能評估模塊三個(gè)模塊，其中每個(gè)模塊都給出詳細(xì)設(shè)計(jì)思路和簡要代碼結(jié)構(gòu)。在實(shí)例具體實(shí)現(xiàn)過程中，對數(shù)據(jù)預(yù)處理模塊中的tf-id