WEB文本挖掘的聚類分析.pdf

1、數(shù)據(jù)采集和存儲(chǔ)技術(shù)的進(jìn)步導(dǎo)致龐大的數(shù)據(jù)庫(kù)日益增多，從這些數(shù)據(jù)中提取出有價(jià)值的信息，成為人們?nèi)找骊P(guān)心的問(wèn)題，而且已經(jīng)形成了一門學(xué)科，成為“數(shù)據(jù)挖掘”。如果僅涉及到很小的數(shù)據(jù)集，那么就可以僅僅討論統(tǒng)計(jì)學(xué)家們所使用的標(biāo)準(zhǔn)數(shù)據(jù)探測(cè)和分析方法了。數(shù)據(jù)挖掘所分析的經(jīng)常是龐大的數(shù)據(jù)集。聚類和分類同是數(shù)據(jù)挖掘的重要內(nèi)容。 文本是存儲(chǔ)和交換信息的最自然的方式，文本挖掘具有非常重要的現(xiàn)實(shí)意義。文本挖掘所要處理的數(shù)據(jù)規(guī)模更大，因而使得許多對(duì)數(shù)據(jù)庫(kù)中數(shù)

2、據(jù)挖掘很有效的聚類算法，對(duì)于文本挖掘變得不可行。規(guī)模的增大，要求算法必須能夠增量的執(zhí)行，因?yàn)闆]有可能將數(shù)據(jù)一次調(diào)入內(nèi)存處理。另外這對(duì)算法的效率也提出了苛刻的要求。同時(shí)，Web的文本數(shù)據(jù)是不斷增長(zhǎng)的，新的信息類型不斷出現(xiàn)。算法必須有能力在不完全重新分析已有數(shù)據(jù)的情況下，增量處理新的數(shù)據(jù)，更新聚類結(jié)果。 通過(guò)對(duì)以Web文本數(shù)據(jù)為代表的高維數(shù)據(jù)特點(diǎn)的分析，認(rèn)識(shí)到傳統(tǒng)的聚類技術(shù)在這里面臨許多新的困難。本文嘗試以概率理論特別是貝葉斯方法為