黃鎮淇

電腦與通訊學系副教授兼AI數位轉型研究中心執行長

執行USR計畫長達五年之久，互動式系統計畫是由電腦與通訊學系師生來進行研發以及辨理體驗活動，並且與特教系的老師們跨域合作，以及屏東啟智協會、屏東勝利之家、澎湖惠民啟智等單位的協助，才能讓我們專為啟智學員們開發一系列的最新AR/VR虛擬擴增實境體感互動的學習系統。

回顧這五年間，由於電通系的師生們完全不了解啟智學員，所以在計畫一開始便安排的本校VAR體感技術中心的參訪體驗活動。在學員們的體驗過程中，我們觀察發現，每一個學員都有獨特的習慣及學習能力。也發現有一些學員在戴上VR虛擬實境頭盔時，對於聲光效果會有躁動的反應，因為心智障礙者接近一半都有癲癇症狀，所以太多的聲光刺激可能導致他們大腦不正常的放電，甚至誘發癲癇，所以戴VR頭盔眼鏡方式比較不適合。另外也發現心智障礙者對於AR的接受程度較高，在第一次體驗AR科技的學員表示：「很開心，看到自己畫的魚兒投影在螢幕上，覺得最好玩，而且很神奇」。因此本計畫在規劃時會避開使用戴頭盔的VR虛擬實境設備，而改用AR虛擬實境技術或是不戴眼鏡的方式來呈現，以符合啟智學員的需求。

◆　中國時報107年6月24日報導：啟智學員 喜玩VAR。

在執行計畫期間，我們為啟智學員開發(1)VR購物學習系統、(2)VR跑步機購物學習系統、(3) AR海底世界、(4) AR地面投影系統、 (5) AR牆面投影系統、(6)垃圾分類體感互動系統等，這些系統的開發及設計說明如下：

(1)VR購物學習系統

VR購物學習系統為啟智協會的學員們製作一套VR便利商店購物學習系統，希望透過真實的便利商店環景拍攝場景來增加臨場感，因此和7-ELEVEN合作，透過7-ELEVEN的門市實景融入VR教學系統，來提供沉浸式的環境，讓學習過程中好像在7-ELEVEN便利商店購物一樣的視覺感受。

VR便利商店購物學習系統中設置了清單版和計算版兩種學習課程，清單版課程是初階型，來讓啟智學員們能學會看著購物清單來購物，結帳時如果購買商品和清單相同就會給予成功的鼓勵畫面回饋。計算版課程是進階型，來讓啟智學員們可以學會做購物金額的加減，在一百元金額範圍可以任意購買食物，但是不可以超過一百元，否則結帳時給予錯誤的回饋，讓學員可以建構金錢算數的概念。在遊戲過程中，如果碰觸玩具等非食物的物品就會即時給予錯誤的畫面回饋。

◆　華視新聞108年12月27日報導：屏大創VR學習系統 引心智障礙者自主購物。

(2)VR跑步機購物學習系統

VR跑步機購物學習系統是結合跑步機的設備，讓心智障礙成人在跑步機上運動，就像在逛購物賣場，並且訓練他們使用購物清單及估算購物金額的能力。由於跑步必須要有更大的場景來配合，因此詢問的很多大型的連鎖超市，結果都不同意拍攝，最後很感謝屏東萬丹的一家自營超市願意提供場地給我們拍攝，系統才能順利開發完成。

在經過十週的體驗學習測試，社工表示研究體驗學習的啟智學員們表現出較有願意使用跑步機。經過購物系統練習後，使用購物清單時，學員需要的提示變少，選擇的反應時間也縮短，但在估算金額方面學員仍存在困難。因此，建議不同障礙程度的學員給予不同難易度的系統進行學習。

◆　屏東啟智協會學員使用VR跑步機購物學習系統。

(3)AR海底世界

AR海底世界系統是使用屏東農科的觀賞魚為彩繪的圖示，先讓體驗者用彩色筆塗顏色在圖畫紙上，再透過視訊鏡頭拍攝已經彩繪好的圖畫紙，透過AR擴增實境技術，將平面的彩繪魚轉成3D動畫魚，必且可以與3D動畫魚進行互動，最後在透過網路上傳到伺服器，讓3D魚在海底世界游來游去，並可以將畫面錄影來提供後續的教學使用。

在疫情停課期間，只要透過遠距拍照已經彩繪好的圖畫紙，就可以使用AR海底世界系統。這段期間我們提供給屏東啟智協會與勝利之家共計13個單位231人次，轉換成影片提供到YouTube給教師課程使用，總共提供19個影片。我們也透過跨海的遠距方式來提供AR海底世界給澎湖惠民啟智使用，沒有距離的限制。

透過海底世界影片讓學員指出自己畫的魚，來增加學員的認知能力。透過指著會動的魚，跟著魚一起移動，提升學員的手眼協調能力。再加上學員的歌聲當作背景音樂，提升學員專注力。

◆　澎湖惠民啟智天人菊種子班的AR海底世界彩繪作品。

(4)AR地面投影系統

AR地面投影系統透過紅外線攝影機捕捉動作，並進行影像分析肢體動作位置來與系統互動。本系統結合了屏東在地的水果，提供切水果、打氣球、踢椰子的遊戲，讓遊戲兼具了認識水果與運動功能。勝利之家表示，坐輪椅的學員需要經常復健運動，透過AR地面投影系統可以讓學員在運動的過程更有趣且更有動機，而且學員運動時的動作幅度也比之前更大，讓學員的運動復健效果更好。

◆　屏東勝利之家的輪椅使用者體驗AR地面投影系統。

(5)AR牆面投影系統

某天到屏東啟智協會測試AR牆面投影系統時，請學員們許願這個系統可以做什麼，有一位啟智學員說想要一個認識交通工具，所以努力的讓這個願望實現。社工表示目前交通工具沒有教材，只能到現場看實體的車子來教學，因此我們就到火車站去拍攝各種火車來進行教學。AR牆面系統原理和AR地面系統相同，使用者揮動雙手就可以偵測位置進行互動，當使用者碰到車子就會唸出車子的名稱，讓使用者可以反覆記憶練習，認識交通工具的外型和名稱，來訓練啟智學員可以自行外出搭車。

◆　勝利之家學員體驗AR認識交通工具系統。

(6)垃圾分類體感互動系統

由於垃圾分類是啟智學員必須學習的生活知識，因此設計出一套以Kinect體感設備為主垃圾分類系統。透過Kinect偵測使用者的位置來進行選取回收物要丟到哪一個回收桶，視窗下方的腳丫圖案就會隨著使用者一起左右移動，腳丫圖案如果已經在正確的回收桶上時，可以將右手舉起到超過頭部的位置來進行答案確認，如果答案正確就會進行鼓勵的畫面。

本系統希望透過有趣的互動過程，來吸引智能障礙者的注意力，讓學員可以在遊戲中快樂學習，並提高學習意願，藉此達到提升啟智學員的生活自主能力。

◆　勝利之家學員體驗垃圾分類體感互動系統。

在USR計畫執行的過程中，接觸後才發現啟智學員和原先想像的不一樣，因為障礙類別不同、障礙程度不同，更需要不同程度的學習教材，透過本校電通系與特教系的師生跨域合作，讓系統能更符合啟智學員的需求。因此我們使用最新的不同技術的AR、VR、體感技術，透過不同深淺的內容及有趣的互動遊戲來強化學習動機和成效。

當然在執行的過程中，我們有觀察到輪椅使用者在這些最新科技的使用狀況，以及在設計時需要注意的細節。而參與學生們也透過這些系統開發，可以學習到跨領域的經驗，也都很開心能在大學期間對社會盡一份力。看到啟智學員使用我們開發的系統都很開心，這些辛苦的過程都值得了。在體驗活動結束時，看到學員們都依依不捨，期待我們下次再辦活動給他們，讓我們深深體會到大學應該要有社會責任，我們必須走出去協助這些社會弱勢，希望未來能有機會為社會的弱勢團體繼續努力。