基于Hadoop的短文本聚類算法的研究與應(yīng)用.pdf

1、自從互聯(lián)網(wǎng)開始普及，人們就身處在一個(gè)信息爆炸的時(shí)代，人們對待生活、工作的思維方式開始逐漸在改變。在Web2.0的UGC(User Generated Content)時(shí)代，社交網(wǎng)絡(luò)平臺(tái)作為互聯(lián)網(wǎng)發(fā)展的一個(gè)重要分支，成為了人們很重要的溝通、交流和營銷的公開平臺(tái)。社交網(wǎng)絡(luò)平臺(tái)上每天產(chǎn)生的數(shù)據(jù)是海量的，如何運(yùn)用好這些數(shù)據(jù)寶藏，成為了一個(gè)熱門的研究課題。
　　在數(shù)據(jù)分析方面，傳統(tǒng)的統(tǒng)計(jì)抽樣方法在面臨海量的快速增長的數(shù)據(jù)時(shí)顯得過時(shí)和力不從心

2、，利用全體數(shù)據(jù)而不是部分抽樣的數(shù)據(jù)成為了新的研究方法。為了達(dá)成該目的，僅依靠硬件的更新提速來提高機(jī)器的運(yùn)算能力是無法完成的。因此，如何巧妙地運(yùn)用云計(jì)算等彈性計(jì)算架構(gòu)成為了人們關(guān)注的問題。社交網(wǎng)站作為UGC時(shí)代的支柱領(lǐng)域，每天都有海量的數(shù)據(jù)產(chǎn)生，如果能運(yùn)用好這些數(shù)據(jù)，將是一筆巨大的財(cái)富。
　　論文以目前新浪微博平臺(tái)為研究對象，針對其在文本聚類和話題文本推薦上的不足，研究了文本聚類算法和分布式技術(shù)，改進(jìn)了聚類算法和相似度計(jì)算公式，實(shí)現(xiàn)

3、一個(gè)基于分布式的短文本聚類，并將聚類的結(jié)果根據(jù)用戶的輸入進(jìn)行文本推薦的應(yīng)用。論文的主要工作如下:
　　首先，研究Hadoop平臺(tái)下的HDFS、MapRedue和HBase三大基于Google核心技術(shù)實(shí)現(xiàn)的開源項(xiàng)目。包括Hadoop平臺(tái)的優(yōu)點(diǎn)、HDFS的讀寫流程、MapReduce的編程模型和HBase的結(jié)構(gòu)。
　　其次，闡述利用網(wǎng)頁爬蟲與微博API兩種不同的微博數(shù)據(jù)抓取方式的原理并對比其優(yōu)缺點(diǎn)，數(shù)據(jù)的預(yù)處理方法以及根據(jù)特征權(quán)

4、重表示為向量空間模型的方法，介紹了相似度計(jì)算方法及其改進(jìn)、K-means聚類算法和Single-Pass聚類算法的原理以及聚類算法選擇，并對Single-Pass算法進(jìn)行改進(jìn)，設(shè)計(jì)了一個(gè)測試實(shí)驗(yàn)驗(yàn)證改進(jìn)后的聚類算法和相似度計(jì)算方法的改進(jìn)效果。
　　最后，在Hadoop平臺(tái)下，使用改進(jìn)后的Single-Pass聚類算法和相似度計(jì)算方法，對抓取的海量微博文本進(jìn)行分布式聚類，并對用戶輸入的微博文本進(jìn)行相似的微博推薦。
　　實(shí)驗(yàn)表明