基于概念格的K-Means算法研究及應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展，搜索引擎成為人們獲取信息的主要渠道。然而搜索引擎的一次檢索結(jié)果動(dòng)則成千上萬(wàn)，所有類(lèi)別的信息混雜在一起，用戶(hù)要找到自己想要的信息如大海撈針。改善搜索引擎檢索質(zhì)量的一種有效途徑是應(yīng)用文本聚類(lèi)技術(shù)將web搜索結(jié)果中相似的web文本聚集成為一類(lèi)。對(duì)web搜索結(jié)果進(jìn)行聚類(lèi)，可以為用戶(hù)提供易于瀏覽的信息導(dǎo)航，幫助用戶(hù)快速定位到符合自己查詢(xún)需要的主題類(lèi)別，從而提高搜索引擎的檢索效率。
　　 聚類(lèi)是在預(yù)先不知道類(lèi)別的情況下

2、，將對(duì)象集合按有關(guān)的相似程度進(jìn)行分組的過(guò)程。聚類(lèi)之前，文本的表示大部分采用的是向量空間模型，在此基礎(chǔ)上進(jìn)行相似度計(jì)算。向量空間模型采用TF×IDF(TermFrequency×Inverse Document Frequency)計(jì)算權(quán)重。它的優(yōu)點(diǎn)是反映了關(guān)鍵詞對(duì)于文本的重要性，但是這種表示模型帶來(lái)了兩個(gè)問(wèn)題：(1)表示文本的特征向量維度過(guò)高；(2)文本被看作是由一組正交詞條向量所組成的向量空間，其假設(shè)前提是詞與詞之間沒(méi)有語(yǔ)義聯(lián)系，但現(xiàn)

3、實(shí)文本中的用詞往往是有語(yǔ)義關(guān)聯(lián)的，因此對(duì)計(jì)算結(jié)果的可靠性造成一定的影響。
　　 概念格是一組概念的序集，建立概念格的過(guò)程就是對(duì)概念進(jìn)行聚類(lèi)的過(guò)程。在概念格中，概念的外延為屬于這個(gè)概念的所有對(duì)象的集合，而內(nèi)涵是所有這些對(duì)象所共有的屬性集。給定一個(gè)形式背景就能在此基礎(chǔ)上構(gòu)造概念格，且構(gòu)造出的概念格是唯一的。
　　 K-Means算法是目前應(yīng)用最為廣泛的一種基于劃分的聚類(lèi)算法。本文將概念格與K-Means算法相結(jié)合，提出了一種

4、新的聚類(lèi)方K-MeansBCC(K-MeansAlgorithmBasedonConceptLattice)。將文本作為對(duì)象，文本中的特征詞作為屬性生成概念格；提取概念格中的概念并采用概念表示文本，且定義了概念之間相似度函數(shù)；最后，用K-Means算法進(jìn)行聚類(lèi)。用概念來(lái)表示文本，降低了特征詞的維數(shù)，提高了聚類(lèi)的性能。另外，對(duì)K-Means算法人為確定K值、隨機(jī)選取中心點(diǎn)的缺點(diǎn)提出了一種基于密度的解決方法。將K-MeansBCC算法應(yīng)用在