面向增強現(xiàn)實車間布局設計系統(tǒng)的人機交互語義模型.pdf

1、增強現(xiàn)實技術的提出與發(fā)展為營造一個真實車間與虛擬設備相互融合的混合環(huán)境奠定了理論與技術基礎。它提供了一種嶄新的思路讓設計師能夠通過一種直觀、自然的方式對布局方案進行設計與修改，并進行直接感官上的評價。目前傳統(tǒng)的人機交互技術無法很好地滿足操作者在混合環(huán)境下對布局方案進行直觀、自然、高效的修改操作的要求。因此，有必要對混合環(huán)境下的人機交互方法進行研究。本文采用基于手勢的交互方式進行車間布局設計，具體研究內(nèi)容包括以下幾個方面:
　　第一

2、，增強現(xiàn)實車間布局的分析及基本手勢的定義。對增強現(xiàn)實車間布局設計中的交互特點（如活動范圍有限性等）及交互需求進行分析，提取出具體的交互任務。研究在一定的活動范圍內(nèi)對大范圍增強現(xiàn)實車間環(huán)境內(nèi)的虛擬模型進行布置操作的方法。結合人們在日常生活中操作物體的行為習慣，對布局設計中的操作過程進行動作分解，提取并定義出基本手勢。
　　第二，交互語義模型的定義。建立基于手勢變化的人機交互語義模型，該語義模型分為物理層、詞法層、語法層、語義層四個層

3、次。分析各層次的功能，并使用數(shù)學公式對其進行形式化描述。該交互語義模型使用數(shù)據(jù)手套和磁跟蹤器作為手勢輸入設備，根據(jù)用戶的手勢變化、時序、手的移動及上下文信息，判斷用戶的不同操作意圖（如添加、移動、旋轉(zhuǎn)及刪除模型等）。
　　第三，交互語義模型的實例化。根據(jù)具體的操作過程，分析所使用的手勢、手勢的變化及操作條件，對交互語義模型各層次數(shù)據(jù)進行實例化（如手勢集、手勢變化集、操作意圖集及交互規(guī)則集等）。對車間布局設計中包括的基本操作進行具體

4、定義，并分析語義模型進行操作意圖判斷的過程。
　　第四，交互語義模型的實現(xiàn)。基于數(shù)據(jù)手套提取用戶的手勢數(shù)據(jù)，通過k-近鄰法建立手勢模板庫，并對用戶輸入的手勢進行識別。根據(jù)識別出的手勢，采用基于手勢序列槽填充的形式，判斷用戶的手勢變化。
　　第五，系統(tǒng)的總體實現(xiàn)。使用相關的硬件設備和軟件平臺開發(fā)與實現(xiàn)了一個完整的增強現(xiàn)實環(huán)境下的車間布局設計系統(tǒng)。開發(fā)了一個基于Android移動終端的應用程序，用于輔助用戶操作（如速度設定、文字