虛擬文物互動(dòng)展示平臺設計研究論文
0引言
2008年，比爾蓋茨提出“自然用戶(hù)界面”的概念，并預言人機交互在未來(lái)幾年內會(huì )有很大的改變，鍵盤(pán)和鼠標將會(huì )逐步被更為自然的觸摸式、視覺(jué)性以及語(yǔ)音控制界面所代替。Kinect是一個(gè)動(dòng)作捕捉設備，Kinect和用戶(hù)的結合就形成了一套完整的控制系統。
目前我國很多博物館所建立的虛擬博物館大多數是使用VRML語(yǔ)言進(jìn)行建模，借助于WRL文件瀏覽器插件基于IE進(jìn)行瀏覽，這樣用戶(hù)可以方便快捷地瀏覽。但是VRML是基于瀏覽器的一種腳本語(yǔ)言，對于相應事件的處理能力有限，與用戶(hù)的交互能力較差，并且也無(wú)法與數據庫連接，在構建虛擬展館過(guò)程中需要手動(dòng)添加文物模型[1].
針對以上問(wèn)題，本文所設計的虛擬文物互動(dòng)展示系統使用My SQL數據庫存儲文物的詳細信息； 使用FTP服務(wù)器來(lái)存儲3D模型文件，并由系統自行獲��； 使用Kinect手勢識別技術(shù)，讓用戶(hù)與文物模型隔空交互，從而有效地解決了交互能力差的問(wèn)題。本文還提出了K-Means算法來(lái)有效地解決手型圖標的抖動(dòng)問(wèn)題。
可以想象到，在一個(gè)博物館里，觀(guān)眾只需要用手勢去觸碰虛擬的按鈕，就可以選擇你感興趣的文物，只需要變換手勢，就可以對文物進(jìn)行移動(dòng)、放大、旋轉。虛擬文物與參觀(guān)者互動(dòng)的方式，讓展覽更具感染力。
1系統介紹
基于Kinect虛擬文物互動(dòng)展示系統的結構主要由顯示模塊、文物控制模塊、UI交互模塊、文物存儲模塊以及動(dòng)作捕捉與識別模塊構成，各模塊之間協(xié)同合作，構成了具有完備功能的虛擬文物展示系統，如圖1所示。
�。�1） 顯示模塊： 負責獲取場(chǎng)景中的用戶(hù)影像，并將虛擬文物模型與用戶(hù)影像進(jìn)行融合并顯示。
�。�2） 文物控制模塊： 負責對虛擬文物模型的位置、大小和角度進(jìn)行調整，并且接收動(dòng)作捕捉與識別模塊發(fā)過(guò)來(lái)的控制信息，做出相應的變動(dòng)。
�。�3）UI交互模塊： 負責獲取界面控件的位置，并且比對用戶(hù)手的位置，進(jìn)行對應的響應。
�。�4） 手勢捕捉與識別模塊： 負責捕捉到用戶(hù)手的關(guān)鍵點(diǎn)，并且獲取手的深度信息，然后對信息進(jìn)行處理，識別出用戶(hù)手勢的意思，并發(fā)送指令給文物控制模塊。
�。�5） 文物存儲模塊： 該系統包括My SQL數據庫以及FTP服務(wù)器。虛擬文物的.編號、朝代以及其他詳細信息數據會(huì )存儲到My SQL數據庫中。因為虛擬文物模型所占空間比較大，所以把模型放在FTP服務(wù)器中，由該軟件直接調用。
基于Kinect的虛擬文物互動(dòng)展示系統的結構化設計，提高了系統的靈活性，降低了模塊之間的耦合性，不同模塊之間通過(guò)接口進(jìn)行通信，使得各個(gè)模塊能夠獨立高效地完成各自功能。
2 Kinect介紹
Kinect體感設備主要是由彩色攝像頭、深度攝像頭和紅外線(xiàn)投影機組成。Kinect設備與普通攝像頭的區別在于紅外線(xiàn)發(fā)射和紅外線(xiàn)接收功能，通過(guò)這個(gè)功能，Kinect可以獲取場(chǎng)景的深度信息。Kinect的基本原理是： 紅外投影機主動(dòng)投射紅外光譜，照射到粗糙物體，或是穿透毛玻璃后，光譜發(fā)生扭曲，會(huì )形成隨機的反射斑點(diǎn)，也就是散斑，進(jìn)而被紅外攝像頭讀取。這些散斑就有高度隨機性，并且隨著(zhù)距離的變化，散斑也隨著(zhù)改變，在同一空間中不同的散斑圖案都不相同[2].因此，只要使用散斑對空間編碼，當有物體進(jìn)入空間時(shí)，即可定位。
3系統軟件設計
虛擬文物互動(dòng)展示平臺軟件采用WPF進(jìn)行開(kāi)發(fā)。WPF是微軟推出的Windows Vista的用戶(hù)界面框架。它提供了統一的編程模型、語(yǔ)言和框架，真正做到了分離界面設計人員與開(kāi)發(fā)人員的工作，同時(shí)它提供了全新的多媒體交互用戶(hù)圖形界面。WPF最重要的特色是支持3D模型，以及支持模型的點(diǎn)擊事件。整個(gè)虛擬文物展示系統軟件設計運用Kinect體感設備和WPF框架等技術(shù)手段，包括手勢識別、UI交互、文物展示以及文物存儲的智能交互展示系統，對虛擬文物展示實(shí)現了主動(dòng)選擇、交互體驗良好、操作方便的目標。虛擬文物互動(dòng)展示的主要功能模塊如圖2所示。
3. 1 GUI設計
在主界面上包括四個(gè)不同功能的懸浮按鈕，這四個(gè)懸浮按鈕是根據人體的合理肢體操作距離而設計的。這四個(gè)懸浮按鈕的功能分別為虛擬文物展示、虛擬文物詳情、博物館視頻簡(jiǎn)介以及退出。在本項目設計中，最重要的是虛擬文物展示功能。當用戶(hù)選擇虛擬文物展示懸浮按鈕時(shí)，該軟件會(huì )彈出另一個(gè)窗口，用戶(hù)可以根據自己的興趣愛(ài)好，選擇不同朝代的文物來(lái)進(jìn)行控制，比如根據不同的手勢來(lái)移動(dòng)、放大以及縮小和旋轉文物。
3. 2懸浮按鈕
懸浮按鈕控制流程如圖3所示。懸浮按鈕其實(shí)是一個(gè)普通的控件，有三種狀態(tài)分別為經(jīng)過(guò)、按下和離開(kāi)，可以有效地解決不小心點(diǎn)擊的問(wèn)題[3].通過(guò)Kinect SDK首先識別出用戶(hù)舉起的是左手還是右手，再獲取左手或者右手的三維坐標數據，然后激活界面的一張手型圖標，通過(guò)坐標映射的方法，把手的三維坐標轉換成二維坐標，轉換過(guò)的二維坐標映射到手型圖標上，這樣界面上的手型圖標會(huì )隨著(zhù)用戶(hù)的手在界面上移動(dòng)。當用戶(hù)的手型圖標沒(méi)有接觸到該懸浮按鈕的時(shí)候，它沒(méi)有任何變化。當手型圖標移動(dòng)到按鈕區域時(shí)，手型圖標周?chē)鷷?huì )出現進(jìn)度條控件，當時(shí)間超過(guò)2 s后，會(huì )觸發(fā)懸浮按鈕On Click事件，當手型圖標不在按鈕區域時(shí)，懸浮按鈕恢復初始狀態(tài)。
3. 3解決手型圖標抖動(dòng)問(wèn)題
Kinect每 秒 鐘會(huì ) 采 集30幀 的 深度/RGB數 據，每 幀所獲 取 的骨骼的 三維坐 標 都是不相 同的，轉變成二維坐標也是不相同的，所以把二 維 坐標映射 到手型圖標上，手型圖標會(huì )出現抖動(dòng)的情況。在軟件編程中，取出30幀的二維坐標數據如圖4所示。
本文的設計考慮到抖動(dòng)這一問(wèn)題，提出采用K-Means算法[4]的解決方案，其基本方法為： 首先在軟件中提取出最近的6個(gè)幀的骨骼三維數據，然后轉換成二維坐標數據。再使用K-Means算法，隨機在圖中取K個(gè)種子點(diǎn)，然后對所有點(diǎn)求出到其K個(gè)種子點(diǎn)的距離，假如點(diǎn)pi離種子點(diǎn)最近，那么pi屬于si點(diǎn)群。接下來(lái)，把種子點(diǎn)移動(dòng)到屬于它的點(diǎn)群中心。然后重復上述步驟，直到種子點(diǎn)沒(méi)有移動(dòng)。最后使用各個(gè)點(diǎn)的X/Y坐標的平均值，計算出點(diǎn)群中心的坐標。把6幀二維坐標的點(diǎn)群中心坐標映射到手型圖標上可以有效地解決抖動(dòng)的問(wèn)題。具體算法流程如圖5所示。
3. 4文物選擇與控制
該系統首先根據客戶(hù)的需求，對用戶(hù)的手勢行為做了規范協(xié)議[5],如表1、表2所示。如果用戶(hù)的手勢不是協(xié)議中所規定的，系統將不會(huì )做出任何響應。
用戶(hù)操作虛擬文物的流程如圖6所示。用戶(hù)可以用自己的左右手來(lái)選擇查看哪個(gè)朝代的文物，只需要把手放在圖標按鈕2 s即可。當用戶(hù)選擇了清朝的文物，界面右邊會(huì )出現文物的二維圖片，用戶(hù)可以繼續選擇具體的文物。當用戶(hù)選擇了一個(gè)自己比較感興趣的文物時(shí)，界面會(huì )出現一個(gè)3D文物模型，用戶(hù)可以根據手勢協(xié)議來(lái)操作模型，例如對模型旋轉、放大等。當用戶(hù)想查看其他的文物時(shí)，只需要把當前文物撤銷(xiāo)即可。用戶(hù)想要和當前文物模型合影時(shí)，只需要把手放在照相按鈕上，系統會(huì )把圖片保存到文件夾上。
4實(shí)驗結果
為了驗證系統的可靠性以及響應時(shí)間，進(jìn)行了如下的現場(chǎng)測試。測試環(huán)境為Win10 + WPF + Kinect for WindowsSDK 1. 8.測試者站在Kinect正前方，做出不同的手勢，以驗證不同手勢識別的準確性。表3為測試者做出不同手勢的結果。
實(shí)驗結果表明，使用Kinect能夠正確判斷出用戶(hù)手勢的意思，通過(guò)相應的算法以及手型圖標抖動(dòng)問(wèn)題的解決，進(jìn)而實(shí)現了對虛擬文物的位置、角度、姿態(tài)的控制，充分驗證了基于Kinect的虛擬文物互動(dòng)展示系統的可行性。
5結束語(yǔ)
基于Kinect的虛擬文物互動(dòng)展示系統是一個(gè)新穎而又充滿(mǎn)意義的課題。本文使用Kinect與WPF完成了一套用戶(hù)體驗良好、功能完備的用戶(hù)與虛擬文物互動(dòng)系統。該系統主要通過(guò)Kinect來(lái)獲取人體骨骼坐標數據，通過(guò)對數據的分析與綜合識別出用戶(hù)的肢體語(yǔ)言，然后映射到3D文物上，實(shí)現用戶(hù)與3D文物之間的互動(dòng)。本文還提出了使用K-Means算法來(lái)解決手型圖標在屏幕上的抖動(dòng)問(wèn)題，使用戶(hù)具有更好的體驗。下一步研究方向是采用手機App和Unity3D的開(kāi)發(fā)方式，如通過(guò)掃描文物圖片，在手機屏幕上出現3D文物模型，用戶(hù)通過(guò)觸屏的方式與3D文物進(jìn)行互動(dòng)。這樣可以有效地解決用戶(hù)多的問(wèn)題，讓每位用戶(hù)都可以積極參與到博物館展覽之中。
參考文獻
[1]劉鵬飛 虛擬博物館系統的設計與實(shí)現[D].長(cháng)春： 吉林大學(xué)，2011.
[2]馬源駔�；贙inect的內容展示系統設計與實(shí)現[D].鄭州： 鄭州大學(xué)，2014.
[3]韓娜，陳東偉，鐘單成，等�；贙inect的虛擬試衣系統設計與實(shí)現[J].信息技術(shù)，2015（7） :59-61.
[4]陳皓。 K-均值算法[DB/OL].（2013-11-28） [2016-08-25]
[5]胡焰�；贙inect的虛擬試衣系統的設計與實(shí)現[D].武漢： 華中科技大學(xué)，2013.
【虛擬文物互動(dòng)展示平臺設計研究論文】相關(guān)文章：
房地產(chǎn)展示系統中虛擬場(chǎng)景及互動(dòng)設計論文11-17
展示設計中的觀(guān)眾互動(dòng)性設計論文素材05-14
簡(jiǎn)析基于web 的虛擬實(shí)驗平臺的設計論文11-17
會(huì )展展示空間色彩設計研究論文10-24
移動(dòng)終端交互動(dòng)畫(huà)設計研究論文11-03
博物館文物陳列與文物保護研究論文10-22
論文：高性能虛擬技術(shù)的研究07-10