BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法的研究及應(yīng)用.pdf

1、本文針對BP神經(jīng)網(wǎng)絡(luò)的中存在的最優(yōu)結(jié)構(gòu)問題(即網(wǎng)絡(luò)中隱層數(shù)和隱層節(jié)點數(shù)難以確定的問題)及BP算法的缺陷,分別從網(wǎng)絡(luò)剪枝方法和遺傳算法等方面給出了解決方法,提出了基于權(quán)值擬熵的快速OBS剪枝算法和基于遞階遺傳算法的BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化方法。同時,在所提理論的基礎(chǔ)上,以MATLAB為仿真平臺,實現(xiàn)了Hermit多項式和非線性函數(shù)的逼近及簡單的模式分類問題,驗證了所提方法在解決“網(wǎng)絡(luò)最優(yōu)結(jié)構(gòu)”問題等方面的有效性。
　　 本文的主要研究

2、內(nèi)容包括以下四個方面:
　　 (1)分析研究BP算法,針對BP算法的缺陷,將網(wǎng)絡(luò)的權(quán)值擬熵作為懲罰項加入到目標(biāo)函數(shù)中來訓(xùn)練網(wǎng)絡(luò),使網(wǎng)絡(luò)在訓(xùn)練過程中自動約束權(quán)值分布,并使網(wǎng)絡(luò)權(quán)值的分布趨于集中。
　　 (2)針對BP神經(jīng)網(wǎng)絡(luò)中隱層節(jié)點數(shù)難以確定的問題,提出了一種基于權(quán)值擬熵的快速OBS剪枝算法。該算法對OBS剪枝算法進(jìn)行了改進(jìn),能夠大大提高網(wǎng)絡(luò)的剪枝速度。實驗結(jié)果表明,該算法能夠得到網(wǎng)絡(luò)的精簡結(jié)構(gòu),對網(wǎng)絡(luò)的泛化能力有較好的

3、改善作用,并且能夠提高剪枝算法的執(zhí)行效率。
　　 (3)提出了一種基于遞階遺傳算法的BP網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化方法,該方法利用遞階遺傳算法中染色體的分層結(jié)構(gòu)分別優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)值,并用BP算法對進(jìn)化后具有固定結(jié)構(gòu)的網(wǎng)絡(luò)權(quán)值進(jìn)一步調(diào)整,從而實現(xiàn)了網(wǎng)絡(luò)結(jié)構(gòu)與權(quán)值的同時優(yōu)化。實驗結(jié)果表明,該算法能夠得到網(wǎng)絡(luò)的精簡結(jié)構(gòu),并能大大提高網(wǎng)絡(luò)的收斂速度。
　　 (4)以MATLAB為仿真平臺,應(yīng)用上述方法實現(xiàn)了對Hermit多項式和非線性函數(shù)