有限階段半馬爾可夫決策過程.pdf

1、本文主要研究有限階段半馬爾可夫決策過程(簡記為SMDPs)。本文考慮有限階段期望報酬準則，研究可數狀態(tài)空間，有限行動空間和無界報酬的模型。與無限階段半馬氏過程不同，在本文中當系統(tǒng)達到計劃時間T后就立即結束，達到T之前系統(tǒng)的轉移次數是不確定的。本文希望找到一個方法來刻畫有限階段SMDPs的最優(yōu)方程和最優(yōu)策略。
　　 全文主要由三部分組成：
　　 第一部分簡單介紹了有限階段SMDPs的模型，通過引入剩余時間，首次給出了既依賴

2、于系統(tǒng)當前狀態(tài)又依賴于系統(tǒng)當前剩余時間的決策規(guī)則和策略，并在此基礎上構建了概率空間和相應的期望報酬最優(yōu)準則。
　　 第二部分首先提出了全文的一個基本假設.在給定假設的基礎上得到了一個計算策略π期望報酬的迭代算法。
　　 然后由不動點理論，本文證明了最優(yōu)值函數是最優(yōu)方程的唯一解，并給出了一個計算最優(yōu)值函數的迭代算法。另外，從最優(yōu)方程出發(fā)，本文證明了最優(yōu)平穩(wěn)策略的存在性和最優(yōu)策略的一些性質.最后用一個設備維護的實際例子進一步