fr共軛梯度法與擬牛頓法計算機實現(xiàn)及仿真

1、FR 共軛梯度法與擬牛頓法計算機實現(xiàn)及仿真 共軛梯度法與擬牛頓法計算機實現(xiàn)及仿真信計 0701 作者：翟錚 學號：0120714410105摘要：最速下降法和牛頓法是最基本的無約束最優(yōu)化方法，但由于最速下降法收斂速度慢而牛頓法雖然收斂速度比較快，但需要計算目標函數(shù)的 Hesse 矩陣及其逆矩陣，計算量比較大。我們這里采用采用一種無需計算二階導數(shù)，但收斂速度比較快的一種算法，即 FR 共軛梯度。關(guān)鍵

2、詞:FR 共軛梯度法、擬牛頓法、黃金分割法、最優(yōu)一維線性搜索、收斂性1、FR 共軛梯度法與擬牛頓法 共軛梯度法與擬牛頓法1、共軛梯度法 、共軛梯度法在共軛梯度方向法中，如果取初始的搜索方向 ) ( 0 0 x f d ?? ? ，而以以下各共軛方向 k d 由第 k 次迭代點的負梯度 ) ( k x f ? ? 與已經(jīng)得到的共軛方向 1 ? k d 的線性組合來確定，這樣就構(gòu)造了一種具體的共軛方向法。因為每一個共軛方向都依賴于迭代點處的

3、負梯度，所以稱之為共軛梯度法（conjugate gradient method）給定初始點n R x ? 0 ，取初始搜索方向 ) ( 0 0 x f d ?? ? ，從 0 x 出發(fā)，沿 0 d 進行一維搜索，得到迭代點 1 x ，一下按2 , 1 , 0 , ) ( 1 1 ? ? ? ?? ? ? ? n k d x f d k k k k ? ?來構(gòu)造搜索方向， k ? 的選取應該使得 1 ? k d 和 k d 是共軛的。因

4、為kT k k kTk kT k Qd d Qd x f Qd d ? ? ?? ? ? ? ) ( 1 1且要使 1 ? k d 和 k d 是共軛的，應有 0 1 ? ? kT k Qd d ，所以2 , 1 , 0 , ) ( 1 ? ? ? ? ? n k Qd dQd x fkT kkTkk ? ?于是得到 n 個搜索方向 1 1 0 , , , ? n d d d ? 如下：2、計算機實現(xiàn)步驟 計算機實現(xiàn)步驟由于該問題設(shè)計的

5、問題比較復雜，所用變量多，為防止變量之間的沖突，在下面的程序中全部用函數(shù)來實現(xiàn)。函數(shù)一：計算函數(shù)在任意點處的梯度值。函數(shù)名：gradient_my(f,y,num)，參數(shù)：f:待求梯度函數(shù) y：待求梯度點 num:函數(shù)變量數(shù)函數(shù)二：黃金分割法求最優(yōu)步長。函數(shù)名：golden_search(f,a,b)， 參數(shù)：f:待求梯度函數(shù) a:搜索區(qū)間左端點 b:搜索區(qū)間右端點函數(shù)三：共軛梯度法。函數(shù)名：conjugate_gradi

6、ent（f,x0,error），參數(shù)：f:待求梯度函數(shù) x0:初始點 error：允許誤差函數(shù)四：擬牛頓法函數(shù)名：quasi_Newton(f,x0,error),參數(shù)：f:待求梯度函數(shù) x0:初始點 error：允許誤差三、實驗結(jié)果及 三、實驗結(jié)果及仿真第一題、Rosenbrock 函數(shù), ) 1 ( ) ( 100 ) ( 212 2 1 2 x x x x f ? ? ? ?0 ) ( , ] 1 , 1 [ ,