畢業(yè)論文：基于頭部運(yùn)動(dòng)的鼠標(biāo)控制的研究

畢業(yè)設(shè)計(jì)（論文）
題目：Head mouse-基于頭部運(yùn)動(dòng)的鼠標(biāo)控制的研究

院（系） 　計(jì)算機(jī)科學(xué)與技術(shù)　
專 業(yè) 計(jì)算機(jī)科學(xué)與技術(shù)　
屆 別 　08級(jí) 　

摘要
殘疾人一直是社會(huì)中的弱勢(shì)_，因自身的缺陷使生活帶來(lái)不便外，更不能像正常人一樣享受科技發(fā)展帶來(lái)的種種福利。
為了使上肢殘疾人士共享網(wǎng)絡(luò)信息資源本論文提出了一種用攝像頭代替?zhèn)鹘y(tǒng)手動(dòng)操作鼠標(biāo)作為輸入設(shè)備，通過(guò)人臉特征檢測(cè)判斷眼睛和嘴唇在視頻幀圖像中的位置來(lái)控制鼠標(biāo)操作。
本項(xiàng)研究專注于沒(méi)有手或身體癱瘓的殘疾人如何更加方便使用電腦。本項(xiàng)研究提出基于MFC的OpenCV[1]（Open Source Computer Vision Library）函數(shù)庫(kù)下的Visual Studio編程人臉檢測(cè)系統(tǒng)，用Web Camera[2]作為人機(jī)界面的接口，對(duì)掃描的視頻進(jìn)行實(shí)現(xiàn)主要為背景處理、人臉特征定位和鼠標(biāo)控制三個(gè)階段。本課題通過(guò)研究CV運(yùn)動(dòng)分析與KLT對(duì)象跟蹤特征點(diǎn)選取與建模，再加入對(duì)鼠標(biāo)的控制來(lái)最終實(shí)現(xiàn)人臉控制鼠標(biāo)的目的。通過(guò)對(duì)人的頭臉部運(yùn)動(dòng)進(jìn)行捕捉，實(shí)現(xiàn)對(duì)計(jì)算機(jī)的控制，達(dá)到輸入的目的，從而擺脫對(duì)鼠標(biāo)的依賴。本次畢業(yè)設(shè)計(jì)要求掌握人臉的捕捉，通過(guò)頭部運(yùn)動(dòng)來(lái)控制鼠標(biāo)的移動(dòng),通過(guò)人臉的動(dòng)作（諸如眨眼、彌嘴等）來(lái)控制鼠標(biāo)的單擊或雙擊行為。
目前基于OpenCV的人臉識(shí)別模塊已經(jīng)日臻成熟，業(yè)界也有不少關(guān)于人臉識(shí)別的研究。本課題主要研究的是KLT[3]跟蹤算法下通過(guò)特征點(diǎn)的選取來(lái)構(gòu)建人眼與嘴的特征三角形，通過(guò)人臉移動(dòng)引起的三角形內(nèi)角度變化來(lái)實(shí)現(xiàn)鼠標(biāo)的移動(dòng)控制，并通過(guò)眨
……（新文秘網(wǎng)http://jey722.cn省略1107字，正式會(huì)員可完整閱讀）……　
points selection and modeling capturing the movement of the head and face, to achieve control of the computer, input purposes also. To get rid of the dependence of mouse, the graduation project are required to master the capture of the face, through head movements to control the movement of the mouse, though movements of the face (such as the blink of an eye and mouth, etc.) to control a mouse click or double-click behavior.
Based on OpenCV face recognition module has matured，the industry has a lot of research on face recognitions. The main subject of study is KLT tracking algorithm through the selection of feature points to build the human eye and the mouth of the characteristic triangle. Move through the human face, causing the angle of a triangle changes. These are challenging fields, be Worth of study.

Key words: Web Camera, face, recognition, mouse, control

目錄

摘要 I
ABSTRACT II
第一章 引言 5
1.1 課題背景 5
1.2 課題研究目標(biāo)和工作內(nèi)容 6
第二章 開(kāi)發(fā)背景 7
2.1 OPENCV 簡(jiǎn)介 7
2.2人臉識(shí)別背景與主要研究方法 7
2.3 KLT算法研究現(xiàn)狀 9
第三章 軟件設(shè)計(jì) 10
3.1系統(tǒng)配置及編程環(huán)境 10
3.2 OPENCV函數(shù)庫(kù)配置 10
3.3基于MFC 的OPENCV 視頻人臉檢測(cè) 11
3.4軟件總體結(jié)構(gòu)設(shè)計(jì) 16
第四章 成品展示 17
結(jié)語(yǔ) 22
注釋 24
參考文獻(xiàn) 25
致謝 26


第一章 引言

1.1 課題背景
根據(jù)聯(lián)合國(guó)人口署的統(tǒng)計(jì)在全球60多億人口中有近億人在肢體、視力、聽(tīng)力、智力、認(rèn)知力等方面存在不同程度的殘障。在中國(guó)每?jī)|人口中就有數(shù)萬(wàn)殘疾人。從更廣的角度來(lái)看在行動(dòng)、視力、聽(tīng)力、語(yǔ)言能力等方面存在障礙、需要我們特別關(guān)注的絕不僅僅局限于殘疾人人們的行動(dòng)能力、視力、聽(tīng)力等身體機(jī)能也會(huì)隨著年齡的增長(zhǎng)而衰退。為了使殘疾人士共享信息化帶來(lái)的便利本論文研究設(shè)計(jì)出眼控鼠標(biāo)系統(tǒng)期望通過(guò)對(duì)攝像頭捕獲的包含人臉圖像的處理定位出使用者雙眼和唇的位置并根據(jù)該位置信息控制鼠標(biāo)操作電腦用攝像頭作為手動(dòng)操作鼠標(biāo)的替代輸入設(shè)備使上肢殘疾人士同計(jì)算機(jī)的交互變得自然簡(jiǎn)單達(dá)到無(wú)障礙的目的。
該課題主要研究的是基于開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)OpenCV（Open Source Computer Vision Library）。OpenCV是一個(gè)基于BSD許可證授權(quán)（開(kāi)源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù)，可以運(yùn)行在Linu*、Windows和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列 C 函數(shù)和少量 C++ 類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法。本課題通過(guò)研究CV運(yùn)動(dòng)分析與KLT對(duì)象跟蹤特征點(diǎn)選取與建模，再加入對(duì)鼠標(biāo)的控制來(lái)最終實(shí)現(xiàn)人臉控制鼠標(biāo)的目的。
在個(gè)人電腦飛速發(fā)展的今天，鼠標(biāo)當(dāng)仁不讓的成為了人機(jī)交互的最主要的設(shè)備之一。通過(guò)人臉控制鼠標(biāo)可以實(shí)現(xiàn)非接觸式的操作，進(jìn)而減少因手腳不便借來(lái)的種種麻煩。這對(duì)于喜歡電腦的殘疾人來(lái)說(shuō)無(wú)疑是喜訊。計(jì)算機(jī)視覺(jué)處理是個(gè)有著巨大發(fā)展前景的領(lǐng)域，隨著數(shù)字技術(shù)的發(fā)展，計(jì)算機(jī)功能的日益強(qiáng)大，對(duì)圖像和視頻處理的能力也越來(lái)越強(qiáng)大。特別是一些如OpenCV函數(shù)庫(kù)的問(wèn)世更加方便了人們的視覺(jué)處理操作。人臉識(shí)別僅僅是計(jì)算機(jī)視覺(jué)中的一個(gè)小小的應(yīng)用，但它卻可以應(yīng)用到不同的領(lǐng)域，本課題的研究是十分有意義的。

1.2 課題研究目標(biāo)和工作內(nèi)容
為了使上肢殘疾人士共享網(wǎng)絡(luò)信息資源本論文提出了一種用攝像頭代替?zhèn)鹘y(tǒng)手動(dòng)操作鼠標(biāo)作為輸入設(shè)備，通過(guò)人臉特征檢測(cè)判斷眼睛和嘴唇在視頻幀圖像中的位置來(lái)控制鼠標(biāo)操作電腦的鼠標(biāo)系統(tǒng)。本文主要介紹了基于MFC 的OpenCV 視頻人臉檢測(cè)系統(tǒng)，實(shí)現(xiàn)主要?jiǎng)澐譃楸尘疤幚�、人臉特征定位和鼠�?biāo)控制三個(gè)階段。背景處理主要是應(yīng)用膚色模型提取出背景當(dāng)中的膚色區(qū)域以便后繼差分使用。人臉特征定位階段對(duì)每幅正臉采樣圖像利用灰度投影模型計(jì)算出眼睛和嘴唇的位置并記錄利用該位置信息截取包含眼睛和嘴唇在內(nèi)的小矩形區(qū)域估算出眼球和嘴唇灰度分割閾值然后通過(guò)對(duì)該階段所有采樣圖像的統(tǒng)計(jì)分析選擇出現(xiàn)概率最高的左右眼和嘴唇位置作為正臉特征信息并將統(tǒng)計(jì)概率最高的位置附近的所有圖像的灰度分割閾值的平均作為當(dāng)前使用者的眼球和唇部灰度分割閾值。在鼠標(biāo)控制階段由于眼睛的顏色和唇色與膚色有一定的差別利用二值化模型和唇色模型在膚色區(qū)域搜索滿足眼睛特征和唇部特征的區(qū)域找出雙眼的兩 ……（未完，全文共17279字，當(dāng)前僅顯示3107字，請(qǐng)閱讀下面提示信息。收藏《畢業(yè)論文：基于頭部運(yùn)動(dòng)的鼠標(biāo)控制的研究》）