基于Hadoop的微博用戶興趣與社區(qū)發(fā)現(xiàn)算法研究.pdf

1、近年來，隨著Web2.0的興起，微博得到極速發(fā)展。目前有關(guān)社交網(wǎng)絡(luò)的研究主要從興趣發(fā)現(xiàn)和社區(qū)發(fā)現(xiàn)兩方面展開。但現(xiàn)有興趣發(fā)現(xiàn)算法大都基于用戶數(shù)據(jù)或行為單方面，大部分的理論模型主要用于解決信息噪音問題。尤其是近年逐漸興起的微博，現(xiàn)有算法較少考慮其社會化標(biāo)簽特征以及用戶交互行為。對于社區(qū)發(fā)現(xiàn)算法來說，微博社交網(wǎng)絡(luò)其復(fù)雜的拓?fù)浣Y(jié)構(gòu)以及節(jié)點內(nèi)容屬性區(qū)別于以往單一性質(zhì)的網(wǎng)絡(luò)結(jié)構(gòu)，如果單純考慮其中的任何一方面，都不能達(dá)到理想的社區(qū)發(fā)現(xiàn)效果。此外，現(xiàn)有

2、的社區(qū)發(fā)現(xiàn)算法大多是基于點社區(qū)的，不能很好的識別網(wǎng)絡(luò)中重疊社區(qū)。
　　鑒于以上問題，本文主要工作有以下兩個方面：
　　(1)針對現(xiàn)有社交領(lǐng)域興趣發(fā)現(xiàn)算法大都基于用戶數(shù)據(jù)或行為單方面以及忽略社會化標(biāo)簽特征的問題，本文利用微博標(biāo)簽與用戶內(nèi)容、用戶行為之間的關(guān)系，提出了基于語義向量和PageRank的微博標(biāo)簽提取算法。該算法首先解決了標(biāo)簽冷啟動問題；其次擴展標(biāo)簽語義，建立用戶語義模型，設(shè)計標(biāo)簽多樣化推薦函數(shù)；最后考慮用戶交互行為對

3、用戶興趣發(fā)現(xiàn)的影響，基于PageRank算法設(shè)計一種計算標(biāo)簽權(quán)重的目標(biāo)函數(shù)。
　　(2)針對目前社區(qū)發(fā)現(xiàn)算法大多只關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)或節(jié)點內(nèi)容，本文提出了基于網(wǎng)絡(luò)拓?fù)浜凸?jié)點內(nèi)容的微博社區(qū)發(fā)現(xiàn)算法。該算法首先建立基于用戶社交關(guān)系的有向無權(quán)微博網(wǎng)絡(luò)，然后完成加權(quán)網(wǎng)絡(luò)重構(gòu)任務(wù)。劃分微博社區(qū)時，為了克服點社區(qū)發(fā)現(xiàn)方法中節(jié)點重疊性的矛盾，采用鏈接社區(qū)完成層次聚類，并引入劃分密度作為社區(qū)評價標(biāo)準(zhǔn)。
　　最后，對提出的算法進(jìn)行實驗驗證。首先為了

4、確定算法中相關(guān)參數(shù)大小，進(jìn)行多組對比實驗，以期獲得算法的最大性能參數(shù)值。然后將本文的標(biāo)簽提取算法與協(xié)同過濾算法和基于關(guān)鍵字提取的TFIDF算法在相同數(shù)據(jù)集中進(jìn)行對比實驗，結(jié)果表明本文所提算法在準(zhǔn)確率，查全率以及F值上均有明顯提升。其次為了驗證本文的微博社區(qū)發(fā)現(xiàn)算法優(yōu)越性，分析了社區(qū)劃分過程，并選取不同規(guī)模網(wǎng)絡(luò)，進(jìn)行社區(qū)發(fā)現(xiàn)對比實驗，結(jié)果顯示無論網(wǎng)絡(luò)規(guī)模如何變化，本文算法的社區(qū)發(fā)現(xiàn)準(zhǔn)確率都是最高的。最后在Hadoop環(huán)境下進(jìn)行算法實驗，結(jié)