畢業(yè)論文：基于頭部運動的鼠標控制的研究

畢業(yè)設計（論文）
題目：Head mouse-基于頭部運動的鼠標控制的研究

院（系） 　計算機科學與技術　
專 業(yè) 計算機科學與技術　
屆 別 　08級 　

摘要
殘疾人一直是社會中的弱勢_，因自身的缺陷使生活帶來不便外，更不能像正常人一樣享受科技發(fā)展帶來的種種福利。
為了使上肢殘疾人士共享網(wǎng)絡信息資源本論文提出了一種用攝像頭代替?zhèn)鹘y(tǒng)手動操作鼠標作為輸入設備，通過人臉特征檢測判斷眼睛和嘴唇在視頻幀圖像中的位置來控制鼠標操作。
本項研究專注于沒有手或身體癱瘓的殘疾人如何更加方便使用電腦。本項研究提出基于MFC的OpenCV[1]（Open Source Computer Vision Library）函數(shù)庫下的Visual Studio編程人臉檢測系統(tǒng)，用Web Camera[2]作為人機界面的接口，對掃描的視頻進行實現(xiàn)主要為背景處理、人臉特征定位和鼠標控制三個階段。本課題通過研究CV運動分析與KLT對象跟蹤特征點選取與建模，再加入對鼠標的控制來最終實現(xiàn)人臉控制鼠標的目的。通過對人的頭臉部運動進行捕捉，實現(xiàn)對計算機的控制，達到輸入的目的，從而擺脫對鼠標的依賴。本次畢業(yè)設計要求掌握人臉的捕捉，通過頭部運動來控制鼠標的移動,通過人臉的動作（諸如眨眼、彌嘴等）來控制鼠標的單擊或雙擊行為。
目前基于OpenCV的人臉識別模塊已經(jīng)日臻成熟，業(yè)界也有不少關于人臉識別的研究。本課題主要研究的是KLT[3]跟蹤算法下通過特征點的選取來構建人眼與嘴的特征三角形，通過人臉移動引起的三角形內(nèi)角度變化來實現(xiàn)鼠標的移動控制，并通過眨
……（新文秘網(wǎng)http://jey722.cn省略1107字，正式會員可完整閱讀）……　
points selection and modeling capturing the movement of the head and face, to achieve control of the computer, input purposes also. To get rid of the dependence of mouse, the graduation project are required to master the capture of the face, through head movements to control the movement of the mouse, though movements of the face (such as the blink of an eye and mouth, etc.) to control a mouse click or double-click behavior.
Based on OpenCV face recognition module has matured，the industry has a lot of research on face recognitions. The main subject of study is KLT tracking algorithm through the selection of feature points to build the human eye and the mouth of the characteristic triangle. Move through the human face, causing the angle of a triangle changes. These are challenging fields, be Worth of study.

Key words: Web Camera, face, recognition, mouse, control

目錄

摘要 I
ABSTRACT II
第一章 引言 5
1.1 課題背景 5
1.2 課題研究目標和工作內(nèi)容 6
第二章 開發(fā)背景 7
2.1 OPENCV 簡介 7
2.2人臉識別背景與主要研究方法 7
2.3 KLT算法研究現(xiàn)狀 9
第三章 軟件設計 10
3.1系統(tǒng)配置及編程環(huán)境 10
3.2 OPENCV函數(shù)庫配置 10
3.3基于MFC 的OPENCV 視頻人臉檢測 11
3.4軟件總體結(jié)構設計 16
第四章 成品展示 17
結(jié)語 22
注釋 24
參考文獻 25
致謝 26


第一章 引言

1.1 課題背景
根據(jù)聯(lián)合國人口署的統(tǒng)計在全球60多億人口中有近億人在肢體、視力、聽力、智力、認知力等方面存在不同程度的殘障。在中國每億人口中就有數(shù)萬殘疾人。從更廣的角度來看在行動、視力、聽力、語言能力等方面存在障礙、需要我們特別關注的絕不僅僅局限于殘疾人人們的行動能力、視力、聽力等身體機能也會隨著年齡的增長而衰退。為了使殘疾人士共享信息化帶來的便利本論文研究設計出眼控鼠標系統(tǒng)期望通過對攝像頭捕獲的包含人臉圖像的處理定位出使用者雙眼和唇的位置并根據(jù)該位置信息控制鼠標操作電腦用攝像頭作為手動操作鼠標的替代輸入設備使上肢殘疾人士同計算機的交互變得自然簡單達到無障礙的目的。
該課題主要研究的是基于開源的計算機視覺庫OpenCV（Open Source Computer Vision Library）。OpenCV是一個基于BSD許可證授權（開源）發(fā)行的跨平臺計算機視覺庫，可以運行在Linu*、Windows和Mac OS操作系統(tǒng)上。它輕量級而且高效——由一系列 C 函數(shù)和少量 C++ 類構成，同時提供了Python、Ruby、MATLAB等語言的接口，實現(xiàn)了圖像處理和計算機視覺方面的很多通用算法。本課題通過研究CV運動分析與KLT對象跟蹤特征點選取與建模，再加入對鼠標的控制來最終實現(xiàn)人臉控制鼠標的目的。
在個人電腦飛速發(fā)展的今天，鼠標當仁不讓的成為了人機交互的最主要的設備之一。通過人臉控制鼠標可以實現(xiàn)非接觸式的操作，進而減少因手腳不便借來的種種麻煩。這對于喜歡電腦的殘疾人來說無疑是喜訊。計算機視覺處理是個有著巨大發(fā)展前景的領域，隨著數(shù)字技術的發(fā)展，計算機功能的日益強大，對圖像和視頻處理的能力也越來越強大。特別是一些如OpenCV函數(shù)庫的問世更加方便了人們的視覺處理操作。人臉識別僅僅是計算機視覺中的一個小小的應用，但它卻可以應用到不同的領域，本課題的研究是十分有意義的。

1.2 課題研究目標和工作內(nèi)容
為了使上肢殘疾人士共享網(wǎng)絡信息資源本論文提出了一種用攝像頭代替?zhèn)鹘y(tǒng)手動操作鼠標作為輸入設備，通過人臉特征檢測判斷眼睛和嘴唇在視頻幀圖像中的位置來控制鼠標操作電腦的鼠標系統(tǒng)。本文主要介紹了基于MFC 的OpenCV 視頻人臉檢測系統(tǒng)，實現(xiàn)主要劃分為背景處理、人臉特征定位和鼠標控制三個階段。背景處理主要是應用膚色模型提取出背景當中的膚色區(qū)域以便后繼差分使用。人臉特征定位階段對每幅正臉采樣圖像利用灰度投影模型計算出眼睛和嘴唇的位置并記錄利用該位置信息截取包含眼睛和嘴唇在內(nèi)的小矩形區(qū)域估算出眼球和嘴唇灰度分割閾值然后通過對該階段所有采樣圖像的統(tǒng)計分析選擇出現(xiàn)概率最高的左右眼和嘴唇位置作為正臉特征信息并將統(tǒng)計概率最高的位置附近的所有圖像的灰度分割閾值的平均作為當前使用者的眼球和唇部灰度分割閾值。在鼠標控制階段由于眼睛的顏色和唇色與膚色有一定的差別利用二值化模型和唇色模型在膚色區(qū)域搜索滿足眼睛特征和唇部特征的區(qū)域找出雙眼的兩 ……（未完，全文共17279字，當前僅顯示3107字，請閱讀下面提示信息。收藏《畢業(yè)論文：基于頭部運動的鼠標控制的研究》）