面向博客的垃圾評(píng)論識(shí)別方法研究.pdf

1、博客本身所具有的免費(fèi)、自由和可共享的特點(diǎn)，使博客評(píng)論中出現(xiàn)了大量包含有廣告、超鏈接、謾罵或是誹謗等信息的垃圾評(píng)論。這給網(wǎng)絡(luò)用戶閱讀評(píng)論和與他人交流帶來了不便，同時(shí)還影響了對(duì)評(píng)論內(nèi)容的挖掘。
　　 本文面向博客領(lǐng)域進(jìn)行垃圾評(píng)論的識(shí)別研究，主要工作如下：
　　 在評(píng)論識(shí)別時(shí)，考慮到評(píng)論的長(zhǎng)短不一，對(duì)只包含網(wǎng)絡(luò)常用語的短小評(píng)論，如果用評(píng)論與對(duì)應(yīng)文章比較相似度的方法來識(shí)別，容易將正常的短小評(píng)論識(shí)別為垃圾評(píng)論。因此，本文對(duì)不同長(zhǎng)度

2、的評(píng)論采取了不同的識(shí)別方法。針對(duì)短小評(píng)論，通過比較短小評(píng)論中包含的垃圾常用語和正常的網(wǎng)絡(luò)常用語的個(gè)數(shù)來判斷短小評(píng)論的類別，進(jìn)而過濾出短小的垃圾評(píng)論。
　　 識(shí)別較長(zhǎng)評(píng)論時(shí)，本文改進(jìn)了傳統(tǒng)的余弦相似度公式，將詞語間的近義關(guān)系、詞語存在的位置信息和主題詞相似度信息融入了公式中，彌補(bǔ)了傳統(tǒng)的相似度公式無法識(shí)別近義詞的不足。同時(shí)，考慮到主題詞與話題之間的相關(guān)程度會(huì)隨著話題的轉(zhuǎn)移而有所變化，提出了利用上述改進(jìn)的相似度公式對(duì)較長(zhǎng)評(píng)論進(jìn)行k輪

3、識(shí)別的方法。在每輪的識(shí)別過程中，結(jié)合識(shí)別出的正常評(píng)論和詞語間的近義關(guān)系對(duì)主題詞的權(quán)重進(jìn)行調(diào)整，從而體現(xiàn)主題詞與話題之間的相關(guān)程度；然后再?gòu)恼Ｔu(píng)論中選出主題詞的近義詞和評(píng)論中的高頻詞匯來對(duì)主題詞進(jìn)行擴(kuò)展，以適應(yīng)話題的發(fā)展變化。
　　 最后，在所有評(píng)論識(shí)別完畢后，利用網(wǎng)絡(luò)常用語和更新后的主題詞對(duì)識(shí)別出的垃圾評(píng)論進(jìn)行二次過濾，降低了正常評(píng)論被識(shí)別為垃圾評(píng)論的可能性。
　　 實(shí)驗(yàn)結(jié)果表明，利用本文的方法進(jìn)行評(píng)論的識(shí)別，在一定程