基于邏輯馬爾可夫決策過程的關(guān)系強化學(xué)習(xí)研究.pdf

1、目前普遍認為智能主體應(yīng)當具有學(xué)習(xí)能力，能夠把握和適應(yīng)動態(tài)環(huán)境的變化。在沒有任何老師指導(dǎo)的情況下，強化學(xué)習(xí)讓主體嘗試行動，在與環(huán)境交互過程中試錯，根據(jù)收集到的環(huán)境反饋，對嘗試的行動進行評價，最終把握環(huán)境并學(xué)會行動決策以適應(yīng)環(huán)境。以馬爾可夫決策過程為基礎(chǔ)，近年來提出了很多強化學(xué)習(xí)方法，獲得了很大的進展，對以特性向量表示的狀態(tài)也有了充分的研究。 然而特性向量這種命題表示法，很難表示環(huán)境中的關(guān)系信息，特別是有大量物體，物體之間又有很多關(guān)

2、系的領(lǐng)域。為了把強化學(xué)習(xí)方法應(yīng)用到這些復(fù)雜的環(huán)境，最近提出了以關(guān)系表示為基礎(chǔ)的關(guān)系強化學(xué)習(xí)，研究在用關(guān)系邏輯表示環(huán)境的狀態(tài)和主體的行動時，如何進行學(xué)習(xí)，以及如何對環(huán)境狀態(tài)進行抽象以把握環(huán)境。用常原子表示的環(huán)境基本狀態(tài)空間巨大，需要使用適當?shù)挠凶兞康某橄鬆顟B(tài)表示方法來把握環(huán)境。 最近提出了一些關(guān)系強化學(xué)習(xí)的方法和模型，但對關(guān)系強化學(xué)習(xí)問題本身還缺乏透徹的理解，關(guān)系強化學(xué)習(xí)的理論也很不充分。本文在簡單的僅用原子表示的邏輯馬爾可夫決策

3、過程LOMDP的基礎(chǔ)上，提出了帶否定詞的邏輯馬爾可夫決策過程nLMDP，并基于該模型，提出了替換學(xué)習(xí)方法及狀態(tài)演化方法。 在邏輯馬爾可夫決策過程nLMDP中，首次引入了邏輯否定，用來準確的描述環(huán)境和任務(wù)。然后又提出了抽象狀態(tài)空間的生成方法和擴展方法，從一個準確描述的的目標抽象狀態(tài)開始，使用一次生成方法和多次擴展方法，可以讓設(shè)計者很容易的得到一個規(guī)模適度的互補抽象狀態(tài)空間，即每個基本狀態(tài)只有一個抽象狀態(tài)來表示，所有的抽象狀態(tài)又能表

4、示所有的基本狀態(tài)。 本文也提出了原型行動，以表示環(huán)境內(nèi)主體的基本行動方式，是抽象行動上的更高抽象。原型行動中同樣引入了邏輯否定表示行動的執(zhí)行條件，根據(jù)原型行動和互補的抽象狀態(tài)空間，可以很容易得到抽象狀態(tài)上的可執(zhí)行抽象行動。 邏輯馬爾可夫決策過程nLMDP基于互補的抽象狀態(tài)空間和原型行動集構(gòu)建?；趎LMDP，本文提出了替換學(xué)習(xí)(θ(λ))方法，實現(xiàn)了主體在線自動獲得抽象行動，并完成對原型行動到抽象狀態(tài)上有效替換的評價估計

5、。試驗顯示替換學(xué)習(xí)是一個高效的學(xué)習(xí)方法。 對于復(fù)雜的領(lǐng)域，設(shè)計者很難給出完善的互補抽象狀態(tài)空間，也很難對給出的互補抽象狀態(tài)空間進行評價。本文提出了狀態(tài)演化的方法，基于邏輯馬爾可夫決策過程nLMDP和替換學(xué)習(xí)，僅需要設(shè)計者提供任務(wù)的目標抽象狀態(tài)和主體的原型行動集，主體在學(xué)習(xí)中自己組織抽象狀態(tài)空間，并對他們進行評價，完成策略的學(xué)習(xí)。試驗顯示狀態(tài)演化過程中，主體能夠抓住任務(wù)的本質(zhì)，獲得的自組織互補抽象狀態(tài)空間也是合理的。 本文

6、的主要貢獻與創(chuàng)新： 1.引入邏輯否定描述抽象狀態(tài)，準確表述環(huán)境和任務(wù)；提出抽象狀態(tài)空間的生成和擴展方法，為關(guān)系強化學(xué)習(xí)提供了一個構(gòu)建互補抽象狀態(tài)空間的簡單方法。 2.提出引入邏輯否定的原型行動，并形式定義了可執(zhí)行抽象行動空間，為關(guān)系強化學(xué)習(xí)中主體自動獲得抽象行動提供了基礎(chǔ)。 3.基于互補抽象狀態(tài)空間和原型行動集，提出邏輯馬爾可夫決策過程nLMDP，成為關(guān)系強化學(xué)習(xí)的一個理論模型。 4.提出替換學(xué)習(xí)，實現(xiàn)抽