貝葉斯網(wǎng)絡(luò)研究.pdf

1、貝葉斯網(wǎng)絡(luò)是研究不確定性問(wèn)題的重要方法之一。它基于概率和統(tǒng)計(jì)理論，具有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)。由于具有自然的表達(dá)方式、強(qiáng)大的推理能力和方便的決策機(jī)制等許多優(yōu)點(diǎn)，貝葉斯網(wǎng)絡(luò)在許多領(lǐng)域得到了廣泛的應(yīng)用。本文在貝葉斯網(wǎng)絡(luò)基礎(chǔ)理論框架的基礎(chǔ)上，主要研究了以下幾個(gè)方面的內(nèi)容：基于信息幾何理論的貝葉斯網(wǎng)絡(luò)研究、樸素貝葉斯分類器的提升、規(guī)則方法與貝葉斯網(wǎng)絡(luò)結(jié)合文本信息抽取研究、層次貝葉斯網(wǎng)絡(luò)文本分類器。本文的主要貢獻(xiàn)如下：(1)分析了貝葉斯網(wǎng)絡(luò)這一特殊類型的

2、概率分布簇所對(duì)應(yīng)的統(tǒng)計(jì)流形的特點(diǎn)：由于貝葉斯網(wǎng)絡(luò)引入了條件獨(dú)立性，從而降低了流形的維度，簡(jiǎn)化了統(tǒng)計(jì)流形上的Riemman度量矩陣。提出了基于信息幾何理論的不完備數(shù)據(jù)條件下貝葉斯網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)算法：貝葉斯網(wǎng)絡(luò)的自然梯度學(xué)習(xí)算法(NGBN)。推導(dǎo)出了離散型、連續(xù)型、條件Gaussian網(wǎng)、父節(jié)點(diǎn)連續(xù)而子節(jié)點(diǎn)離散等不同的貝葉斯網(wǎng)絡(luò)類型其自然梯度的計(jì)算公式。通過(guò)理論分析和試驗(yàn)，說(shuō)明了自然梯度學(xué)習(xí)比歐式梯度學(xué)習(xí)更合理，更快速。(2)提出了一種通過(guò)

3、在原有屬性的基礎(chǔ)上重新構(gòu)造屬性集，從而提高屬性間的條件獨(dú)立性的方式來(lái)提高樸素貝葉斯分類器性能的新方法：基于Fisher分構(gòu)建樸素貝葉斯分類器(FS—NBC)。新屬性集的分量為貝葉斯網(wǎng)概率分布函數(shù)的對(duì)數(shù)對(duì)每個(gè)分布參數(shù)的偏微分。我們證明了在一定條件下，經(jīng)過(guò)Fisher分映射后得到的新屬性集是條件獨(dú)立的，并從理論上分析了對(duì)于無(wú)先驗(yàn)信息的多項(xiàng)分布和原屬性集已經(jīng)是條件獨(dú)立的情況下新屬性集的獨(dú)立性。試驗(yàn)表明該方法較好地提高了樸素貝葉斯分類器的性能。

4、 (3)提出了一種新的文本信息抽取算法：結(jié)合規(guī)則的動(dòng)態(tài)貝葉斯信息抽取網(wǎng)(RDBIEN)。在半結(jié)構(gòu)化文本抽取任務(wù)中，主要有兩種技術(shù)手段：一種是基于規(guī)則的方法，另一種是基于概率的方法?；谝?guī)則的方法是處理確定性問(wèn)題的重要手段，它具有充分吸取專家經(jīng)驗(yàn)和更為直觀、更易于獲得的優(yōu)點(diǎn)。而基于概率的方法則更魯棒，性能更高。我們把規(guī)則方法與貝葉斯網(wǎng)絡(luò)相結(jié)合，既保持了概率方法的魯棒性等優(yōu)點(diǎn)，又結(jié)合了規(guī)則方法在吸取專家經(jīng)驗(yàn)等方面的優(yōu)點(diǎn)。試驗(yàn)表明該算法具有較