基于微博熱詞挖掘的新聞話題提取研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，傳統(tǒng)的媒體技術(shù)格局已經(jīng)逐漸改變，基于互聯(lián)網(wǎng)新興媒體技術(shù)具有傳播速度快、透明度高的特點(diǎn)，微博已經(jīng)成為互聯(lián)網(wǎng)上新聞傳播最快捷的媒體之一，越來越受到年輕人的喜歡。微博的出現(xiàn)為新聞話題的發(fā)現(xiàn)提供了一種新的方式和思路?，F(xiàn)有的新聞挖掘模型和算法主要是通過抓取網(wǎng)頁信息來獲取，并存在數(shù)據(jù)更新慢、實(shí)時(shí)性差、挖掘準(zhǔn)確率低等問題。通過微博熱詞挖掘提供新聞話題具有一定的現(xiàn)實(shí)意義。
　　本文通過分析一系列的基礎(chǔ)理論和技術(shù)，建立了基于L

2、DA的概率主題模型，用于對(duì)微博數(shù)據(jù)進(jìn)行熱詞挖掘和分析。論文設(shè)計(jì)了一個(gè)支持動(dòng)態(tài)頁面的網(wǎng)頁文本爬蟲算法。算法首先分析網(wǎng)頁中的JavaScript文件或代碼，使用HTTP協(xié)議向服務(wù)發(fā)送特定的信息請(qǐng)求，這種方式類似于行為人瀏覽網(wǎng)頁信息的方式，能夠高效的分析出網(wǎng)頁異步加載的信息內(nèi)容。同時(shí)，論文提供了一套對(duì)微博數(shù)據(jù)信息中重復(fù)微博和廣告微博進(jìn)行過濾的方法，并提出了熱詞計(jì)算的公式。在使用基于LDA的概率主體模型獲取微博熱詞后，通過綜合分析每個(gè)主題詞的廣

3、泛性和突發(fā)性，計(jì)算每個(gè)單義詞單元對(duì)應(yīng)的主題詞的熱度，確定新聞話題，并返回至用戶使用。
　　本文主要研究工作包括以下幾個(gè)方面。
　　建立了合適有效的數(shù)據(jù)采集和文本預(yù)處理模型，設(shè)計(jì)支持動(dòng)態(tài)頁面的網(wǎng)頁文本爬蟲算法，用于微博數(shù)據(jù)的采集，并以新浪微博為例，通過開放平臺(tái)獲取微博數(shù)據(jù)，對(duì)采集的數(shù)據(jù)使用ICTCLAS系統(tǒng)進(jìn)行分析處理，并進(jìn)行去停用詞處理，最后將預(yù)處理結(jié)果進(jìn)行文本特征表示;
　　通過建立基于LDA的概率主題模型確定最終的