南台科大電機系使用LabVIEW開發軟體化之唇控溝通輔具系統

Author(s):
張 瑋珉 - 南台科技大學電機工程系
陳 世中 - 南台科技大學電機工程系
簡 菁怡 - 南台科技大學電機工程系

Industry:
University/Education, Medical/ Medical Instrumentation

Products:
LabVIEW, PXI/CompactPCI

The Challenge:
單一項的輔具並非適合每一個傷殘患者，因此客製化的輔具是被需要的。傳統輔具需要長期配戴各式輔具配件，對於重度傷殘患者是一個相當大的困擾，同時唇控產品昂貴，許多家庭並非負擔的起。

The Solution:
我們選擇了NI LabVIEW7.1來撰寫程式。透過USB webcam或CCD +IMAQ-4011卡，利用影像處理的方式來擷取使用者嘴唇的開閉狀態，藉此傷殘者不需要配戴任何裝置在身上。

本文榮獲2007第六屆虛擬儀控應用徵文比賽學術組佳作

量測/測試所面臨之問題：

    透過USB webcam或CCD攝影機擷取使用者嘴唇開閉的狀態，並利用模糊理論判別出使用者輸入的長短音，接著將使用者輸入的摩斯碼，控制對應的API函數，以進行文書處理。

 

應用方案：

    一般輔具大多需要配戴在使用者身上,長時間下來將會造成使用者使用的不舒服,因此我們利用影像處理的方式,擷取使用者嘴唇的狀態,使殘障患者透過開閉嘴唇輸入摩斯碼,即可完成文書處理的動作.

 

內容:

    我們實現一套以LabVIEW軟體系統為主，硬體系統為輔之唇形影像辨識的溝通輔具系統，期望籍由此系統能使脊髓損傷等重度傷殘患者能夠和外界溝通，並且能使用電腦達到編輯文書等需求。在本系統中，軟體系統主要可分成二大部分，第一部分是實現一套唇形影像開閉狀態辨識之演算法，此演算法中包括人臉偵測、人臉追蹤、唇形影像定位與萃取、唇形影像處理、唇形影像辨識等步驟所組成。第二部分則是判斷摩斯碼長短音之模糊演算法（Fuzzy Algorithm），經由模糊演算法所定義的歸屬函數(Membership Function)，將唇形開閉的狀態轉換為摩斯碼的長(Dash)、短(Dot)音來達到文書編輯處裡的功能。硬體電路方面，主要實現了家電搖控系統，將軟體獲得的唇形開閉資訊，透過利用一般電腦原有的並列埠輸出到家電控制的硬體電路，使使用者只需利用唇形的開閉次數便能搖控家電設備。

    在此人機操作界面中，其功能包括唇形開閉辨識結果指示燈、系統狀態及提示訊息顯示、唇形樣板更新、唇形區域影像區域微調、使用者輸入的摩斯碼、系統模式顯示燈、並列埠輸出狀態訊號、家電控制倒數計時等。

 

張瑋珉、簡菁怡、陳世中

南台科技大學電機工程系

 

若您想閱讀完整的文章內容或觀看更多徵文比賽參賽文章，請點選下面連結，下載最新資料

http://digital.ni.com/worldwide/taiwan.nsf/web/all/1B65588C5C6DB209482573D0000DE905

Author Information:
For more information on this Case Study, contact:
陳 世中
南台科技大學電機工程系
Tel: 06-253-3131
chung@mail.stut.edu.tw

Browse All Case Studies »