Design and Implementation of Infrared-Based Input Device Using Camera Module

Abstract

目前在市面上已有越來越多以影像為基礎的輸入裝置被開發出來， 如光學式觸控裝置、 體感辨識裝置、 手勢辨識、 人臉辨識、 瞳孔辨識等產品。 這種以影像為基礎的裝置， 都是透過影像感測器(CMOS Sensor)來擷取影像再進行影像辨識處理。 既然同樣都是透過影像感測器做影像擷取裝置。 那如果將同樣用影像感測器作為影像擷取的網路攝影機做為影像辨識輸入裝置，即可以手指作為觸控介質，也可利用任意長形物體(不限制材質)當作輸入介質。此部分可解決現行電容式觸控面板必須以手指或特定物體才能控制的問題。 在本篇論文研究中，使用Notebook Webcam Module作為影像擷取裝置， 加上以紅外線光源為基礎，再加以使用影像處理的方法來判斷手指或物體的接觸透明Cover Glass，接著尋找出手指指尖或物體頂端，在進行計算其移動量，之後利用其移動量來控制電腦滑鼠游標的移動及按鍵事件控制。 本論文研究完成利用網路攝影機模組進行完整的模擬出影像辨識輸入裝置的功能。並且透過軟體控制達到滑鼠游標的控制及按鍵事件控制，且達到非限定物質即可實現觸控輸入的功能。更進一步成功實現非接觸性之輸入裝置，結合觸控及非觸控兩種領域之輸入裝置。Currently in the input device market have more and more Video-based input devices have been developed, such as optical touch device, 3-D Motion Control, somatosensory recognition, gesture recognition, face recognition, pupil identification etc.... this kinds of Video-based input devices both are through the CMOS image sensor to get the image and then perform image recognition processing. Since the input devices both are capture image by CMOS image sensor, so if we use the same CMOS image sensor as the video capture webcam image recognition as an input device, which can be used a finger as input media and can also be used arbitrarily rectangular objects (no limiting material) as input media. it can solve as touch input material must be human body of the capacitive touch panel In this thesis, use the Notebook Webcam Module as a video capture device, coupled to infrared Video-based device, coupled with use of image processing methods to determine the contact finger or an object transparent Cover Glass and used digital image processing algorithm to determine the finger or an object touch on transparent Cover Glass, and then find out the fingertip or object tip position. after find out tip position, then calculate the amounts of movement, which the amounts of movement to convert motion vector then transfer to control the used of their computer’s mouse cursor movement and mouse key event control. This thesis use the Notebook Webcam Modules to complete implementation an Infrared Based Video input device functions. And through software algorithm to analysis object behavior to control the mouse point and mouse key events, it was be confirmed the Non-limiting substances achieves touch input function can be realized. Further to the successful implementation of the non-contact input device that combines touch and Airspace (non-touch areas) of the two kinds of input devices.摘 要 i Abstract ii 目 錄 iii 表 目 錄 vi 圖 目 錄 vii 第一章、 簡 介 1 1.1 研究背景與動機 1 1.2 研究目的 3 1.3 論文架構 3 第二章、 相關工程簡介 4 2.1 紅外線光學機構 4 2.1.1 紅外線LED 6 2.1.2 IR Pass Filter 6 2.2 網路攝影機模組 9 2.2.1 鏡頭Lens 9 2.2.2 感光元件 CMOS Sensor 10 2.2.3 影像處理元件 Image Signal Process 12 2.2.4 USB控制元件 USB Controller 14 2.3 觸控技術與種類 15 2.3.1 電阻式觸控裝置 16 2.3.2 電容式觸控裝置 17 2.3.3 光學式觸控裝置 18 第三章、 使用網路攝影機模組實現觸控輸入裝置 19 3.1 系統概述 19 3.1.1 硬件設備 20 3.1.2 光學機構設計 21 3.1.3 影像分析演算軟體 23 3.2 影像處理擷取觸控物體 28 3.2.1 觸控物體影像處理及分析流程 28 3.2.2 AP端擷取影像 28 3.2.3 灰階化圖像 29 3.2.4 圖像二值化 32 3.2.5 影像濾波 34 3.2.6 圖像矩陣轉換 35 3.2.7 紅外線發射物體之判斷及排除 37 3.3 滑鼠游標控制 39 3.3.1 判斷指尖位置 40 3.3.2 判斷手指為接觸或懸空 42 3.3.3 指尖移動量轉換設定滑鼠游標移動控制 44 3.3.4 物體觸控行為轉換滑鼠按鍵控制設定 46 3.3.5 特殊功能開發 48 第四章、 實驗測試與結果 49 4.1 實驗測試 49 4.1.1 實驗一 : 像素與實體影像比例的計算(解析度計算) 49 4.1.2 實驗二 : 二值化Threshold參數值設定與游標準確度 50 4.1.3 實驗三 : 滑鼠游標移動及按鍵控制 50 4.1.4 實驗四 :特殊功能控制(全遮罩)之測試 51 4.1.5 實驗五 : Google Earth – 飛航模式 51 4.1.6 實驗六 : 測試環境光源影響影像判斷 52 4.1.7 實驗七 : 小畫家畫筆測試及比較 53 4.2 實驗結果 53 4.2.1 像素與實體影像比例之測試結果 53 4.2.2 二值化Threshold參數值設定與游標準確度之測試結果 54 4.2.3 滑鼠游標移動及按鍵控制之測試結果 54 4.2.4 特殊功能控制(全遮罩)測試之測試結果 55 4.2.5 Google Earth-飛航模式之測試結果 55 4.2.6 測試環境光源影響影像判斷之測試結果 56 4.2.7 小畫家畫筆測試及比較結果 61 第五章、 總結及未來展望 63 5.1 總結 63 5.2 未來展望 64 第六章、 參考文獻 6