手势识别在自然交互中应用.docx
- 文档编号:14729804
- 上传时间:2023-06-26
- 格式:DOCX
- 页数:32
- 大小:308.29KB
手势识别在自然交互中应用.docx
《手势识别在自然交互中应用.docx》由会员分享,可在线阅读,更多相关《手势识别在自然交互中应用.docx(32页珍藏版)》请在冰点文库上搜索。
手势识别在自然交互中应用
《智能机器人》课程实验报告
手势辨别在自然交互中的应用
学院计算机科学与工程学院
专业计算机应用技术
组员徐庸辉
学号201120112011
学生导师罗荣华
指导教师肖南峰教授
提交日期2012年7月1日
智能机器人课程实验报告
1.
实验要求..............................................................................................
-1-
2.
设计平台..............................................................................................
-1-
3.
实验原理..............................................................................................
-1-
3.1.
手势辨别现状及分类...........................................................................
-1-
3.1.1.
静态手势辨别................................................................................
-1-
3.1.2.
动向手势辨别................................................................................
-1-
3.2.
场景建模方法.......................................................................................
-2-
3.3.
自然交互与虚构键盘...........................................................................
-3-
4.
朴实手势辨别剖析...............................................................................
-4-
4.1.
轮廓重点点...........................................................................................
-4-
4.2.
手势地区齐心圆定位...........................................................................
-4-
5.
实验设计..............................................................................................
-5-
5.1.
背景除去流程设计...............................................................................
-5-
5.2.
手势辨别流程设计...............................................................................
-6-
5.3.
虚构键盘设计.......................................................................................
-7-
6.
实验结果..............................................................................................
-7-
6.1.
手指数目辨别结果...............................................................................
-7-
6.2.
虚构键盘输入结果...............................................................................
-9-
7.
实验心得............................................................................................
-10-
I
智能机器人课程实验报告
1.实验要求
与自然语言同样,手势语言也能表达复杂信息,这样手势辨别就能够进行人
机交互,而不存在信息传达的困难,本文的目的是设计一个朴实的,无需分类的手势辨别方法,并利用手势辨别来实现鉴于自然交互原则的虚构键盘。
这样能够讲手势语言变换为自然语言。
2.设计平台
操作系统为WindowsXP,用VS2010+QT+opencv作为开发平台。
3.实验原理
3.1.手势辨别现状及分类
手势辨别依据不一样的辨别对象,辨别方法可分为静态手势辨别和动向手势辨别。
目前流行算法的大概流程分为手势切割,手势建模,特点般配。
图3-1手势辨别办理流程图
3.1.1.静态手势辨别
静态手势辨别是针对单帧的手势图片做辨别。
在手势切割的过程中主要使用肤色模型(色彩聚类特点),轮廓边沿(canny检测)等;
在做手势建模时主要使用一些图像属性(轮廓,图像矩,特点,直方图);特点般配时使用模板般配法,神经网络法等。
3.1.2.动向手势辨别
对比与静态手势辨别,动向手势辨别是针敌手势图片序列来剖析手势的含义。
所以动向手势识其他手势切割波及到运动地区检测,场景建模等。
在做手势切割时常常用到的运动追踪方法有差值图像切割,camshaft,卡尔曼追踪展望,背景剪除法。
1
智能机器人课程实验报告
在做手势建模时主要使用一些运动序列(计算运动光流,抽取运动轨迹)来估量。
特点般配时使用近似隐马尔科夫模型法、动向时间规划法等的一些方法。
3.2.场景建模方法
运动目标检测是指在序列图像中检测出变化地区并将运动目标从背景图像
中提拿出来。
往常状况下,目标分类、追踪和行为理解等后办理过程只是考虑图像中对应于运动目标的像素地区,所以运动目标的正确检测与切割关于后期办理特别重要但是,因为场景的动向变化,如天气、光照、暗影及凌乱背景扰乱等的影响,使得运动目标的检测与切割变得相当困难。
图3-2帧差分办理成效对照图
依据摄像头能否保持静止,运动检测分为静态背景和运运动目标检测是指在
序列图像中检测出变化地区并将运动目标从背景图像中提拿出来。
往常状况下,
目标分类、追踪和行为理解等后办理过程只是考虑图像中对应于运动目标的像素
地区,所以运动目标的正确检测与切割关于后期办理特别重要但是,因为场景的
动向变化,如天气、光照、暗影及凌乱背景扰乱等的影响,使得运动目标的检测
与切割变得相当困难。
依据摄像头能否保持静止,运动检测分为静态背景和运动背景两类。
大部分视频监控系统是摄像头固定的,所以静态背景下运动目标检测算法遇到宽泛关注,常用的方法有帧差法、光流法、背景减除法,高斯背景模型等。
此中高斯背景模型成效比较好,可是因为我们的目的是利用朴实手势辨别方法来达成虚构键盘的设计,为了保证流利的用户体验,减少图像切割在背景除去中的开支,这里我们选用最简单的帧差法。
图3-3改良的背景除去方法成效图
-2-
智能机器人课程实验报告
帧差法是最为常用的运动目标检测和切割方法之一,基来源理就是在图像序列相邻两帧或三帧间采纳鉴于像素的时间差分经过闭值化来提拿出图像中的运
动地区。
第一,将相邻帧图像对应像素值相减获取差分图像,而后对差分图像二值化,在环境亮度变化不大的状况下,假如对应像素值变化小于预先确立的阂值时,能够以为此处为背景像素:
假如图像地区的像素值变化很大,能够以为这是因为图像中运动物体惹起的,将这些地区标志为远景像素,利用标志的像素地区能够确立运动目标在图像中的地点。
因为相邻两帧间的时间间隔特别短,用前一帧图像作为目前帧的背景模型拥有较好的及时性,其背景不累积,且更新速度快、算法简单、计算量小。
算法的不足在于对环境噪声较为敏感,闽值的选择相当重点,选择过低不足以克制图像中的噪声,过高则忽视了图像中实用的变化。
关于比较大的、颜色一致的运动目标,有可能在目标内部产生空洞,没法完好地提取运动目标。
3.3.自然交互与虚构键盘
人机交互、人机互动(英文:
Human–ComputerInteraction[1]或Human–MachineInteraction,简称HCI或HMI),是一门研究系统与用户之间的互动关系的学识。
系统能够是各种各种的机器,也能够是计算机化的系统和软件。
人机交互界面往常是指用户可见的部分。
用户经过人机交互界面与系统沟通,并进行操作。
小如收音机的播放按键,大至飞机上的仪表板、或是发电厂的控制室。
人机交互界面的设计要包括用户对系统的理解(即心智模型),那是为了系统的可用性或许用户友善性。
图3-4人机手势交互成效图
在过去的20多年间,键盘和鼠标向来是人机对话的主要方式。
可是科技在进步,或许在不久的未来,陪同我们多年的键盘和鼠标就会消逝在我们的视野中。
虚构激光键盘,是一种大小与小型挪动电话相仿的虚构键盘,让用户能像操作一般键盘同样轻易地打出文章或电子邮件、可方便地进行电子邮件收发、文字办理及电子表格制作,用户能够将笔录本电脑和桌面机留在家里了。
虚构键盘的合用性技术对用户手指运动加以研究,对键盘击感动作进行解码和记录。
因为虚构键盘是光投照所形成的影像,不使用时会完好消逝。
-3-
智能机器人课程实验报告
图3-5虚构激光键盘
本文的目的是利用手势辨别设计一个有益于人机自然交互的虚构数字输入键盘。
4.朴实手势辨别剖析
切割出场景中的手势轮廓后,我们经过一些朴实的方法敌手势轮廓进行多边形迫近,而后提取重点点,而后敌手势轮廓地区内不一样半径圆环上的重点点的数目和地点做统计剖析,进而辨别出手势。
4.1.轮廓重点点
轮廓的重点点是:
轮廓上包括曲线信息比许多的点。
重点点是轮廓极点的子集。
使用cvFindDominantPoints函数来获取轮廓上的重点点,该函数返回的结果一个包括重点点在轮廓极点中索引的序列(详细内容可查阅opencv参照手册)。
4.2.手势地区齐心圆定位
从手势轮廓的地区中心画出的如干个齐心圆会与手指订交,连结圆心与重点点,而后计算每个齐心圆与手指的交点,并统计每个齐心圆上交点出现的地点和数目,而后剖析出手指的数目。
假如想统计是那几个手指,或是想复原出详细的手势,能够对这些交点在每
个齐心圆上出现的地点和数目以及各交点之间的间隔做聚类剖析或学习,这样能很好的达到更精准的辨别目的。
实验中获取的重点点和齐心圆以下列图:
图4-1朴实手势辨别成效图
-4-
智能机器人课程实验报告
从图中能够看出重点点的散布其实不是依据希望的那样摆列的,有好多杂点,我们经过多级齐心圆的过滤剖析,能够渐渐除去这些杂点。
5.实验设计
为了减少因为手势轮廓提取带来的错误重点点并让用户获取比较好的虚构键盘体验成效,在实验中我们选择比较简单的背景作为实验对象测试。
5.1.背景除去流程设计
背景除去流程图:
输入图像
高斯滤波
帧差分
二值化远景图更新背景
形态学滤波
输出远景
图5-1背景除去流程图
重点函数:
/*******************************************************
*pFrame-初始图像帧
*pFrImg-远景图像
*pBkImg-背景图像
*pFrameMat-远景图像的中间矩阵
*pBkMat-背景图像的中间矩阵
********************************************************/
CvtColor(pFrame,pFrImg,CV_BGR2GRAY);
Convert(pFrImg,pFrameMat);
//高斯滤波先,以光滑图像
Smooth(pFrameMat,pFrameMat,CV_GAUSSIAN,3,0,0);
//目前帧跟背景图相减
AbsDiff(pFrameMat,pBkMat,pFrMat);
//二值化远景图
Threshold(pFrMat,pFrImg,30,255.0,CV_THRESH_BINARY);
//进行形态学滤波,去掉噪音
Erode(pFrImg,pFrImg,0,1);
Dilate(pFrImg,pFrImg,0,1);
-5-
智能机器人课程实验报告
//更新背景
RunningAvg(pFrameMat,pBkMat,0.0001,0);
//将背景转变成图像格式,用以显示
Convert(pBkMat,pBkImg);
5.2.手势辨别流程设计
手势辨别流程图:
手势轮廓提取
轮廓多边形迫近
查找多边形重点点
统计重点点数目统计重点点地点
综合剖析辨别
图5-2手势辨别流程图
重点函数:
/*******************************************************
*srcImg
-原始图像
*storage
-暂时储存
*contour
-图像轮廓
*storageApp
-暂时储存
*storageDom
-暂时储存
*mode
-轮廓查找计算方法
*CV_CHAIN_APPROX_SIMPLE
-轮廓选择模式,压缩水平,垂直或斜的部分
*CV_POLY_APPROX_DP
-多边形迫近参数
*CV_DOMINANT_IPAN
-重点点查找参数
*dmin
-最短距离(参照
4.1部分)
*dmax
-最长距离(参照
4.1部分)
*dn
-相邻距离(参照
4.1部分)
*maxAngle
-最大角度(参照
4.1部分)
********************************************************/
//查找轮廓
FindContours(srcImg,storage,&contour,sizeof(CvContour),mode,CV_CHAIN_APPROX_SIMPLE,Point(0,0));
//多边形迫近
ApproxPoly(contour,sizeof(CvContour),storageApp,CV_POLY_APPROX_DP,20,0);
-6-
智能机器人课程实验报告
//查找重点点
FindDominantPoints(contour,storageDom,CV_DOMINANT_IPAN,dmin,dmax,dn,maxAngle)
5.3.虚构键盘设计
虚构键盘办理流程图:
状态位初始化
输入重点点
检索最优重点点
改正状态位
检查目前状态
撤除焦点获取焦点选中焦点内容
输出
图5-3虚构键盘办理流程图
6.实验结果
6.1.手指数目辨别结果
实验步骤:
步骤一:
链接摄像头(分辨率大于640*480)到电脑上步骤二:
翻开可履行文件,调整摄像头
步骤三:
点击开始,查察界面gestureimgextract窗口
步骤四:
等候gestureimgextract窗口基本没有噪声点,此时背景除去模型已基本成立,能够开始辨别
界面窗口:
Virtualkeyboard:
虚构数字键盘输入窗口
Originalimage:
原始视频图像显示窗口
gestureimgextract:
手势辨别办理结果显示图
InPutNum:
虚构数字键盘输入结果显示窗口
FinguresNum:
手指数目辨别结果显示窗口
-7-
智能机器人课程实验报告
图6-1手指数目辨别成效图1
图6-2手指数目辨别成效图2
实验成效:
从6-1,6-2中能够看到,在手势基本稳固后,FingersNum标签处能正确显示手指的数目。
有时可能因为手势变化过快,或因为长时间手势逗留,会致使背景建模
-8-
智能机器人课程实验报告
错误,出现错误识其他现象(如图6-3),可是,整体的辨别成效仍是比较理想的。
6.2.虚构键盘输入结果
图6-3虚构键盘数字键获取焦点图
图6-4虚构键盘数字键被选中图
-9-
智能机器人课程实验报告
实验成效:
从6-3,6-4中能够看到,在手指地点变化的过程中,虚构键盘窗口地区能够正确的反响手势的输入状况。
图6-3展现的是手势在数字键”5”上悬停的结果,此时数字键”5”获取焦点。
图6-4展现的是手势选中数字键”5”的结果,此时InputNum窗口地区中的数字从”*110*258#”变成“*110*258#5”,表示选中数字键”5”。
更多的实验成效能够查察实验录像。
7.实验心得
经过敌手势识其他研究与虚构数字键盘的设计开发,理解了一般手势识其他办理过程,深入理解并掌握手势识其他原理及实质应用,同时对人机自然交互也有了新的认识。
从实验的成效来看,在不分类训练的状况下,朴实手势辨别方法能够正确的
辨别手指的数目,能及时捕捉重点点在虚构键盘上的地点,而且能够及时的办理
手势在虚构键盘上的输入。
从实验中能够看出手势辨别关于人机自然交互有很好
的帮助作用,能够改良传统的输入方式,给人们带来新的体验。
可是,能够从中知道手势辨别在该应用中,仍存在某些缺点:
比如手势语义分类理解问题,虚构键盘的多点触控问题等。
目前的算法还只好辨别出手指数目并对虚构键盘单点做检查并做输入辨别,可是好多状况下要求程序理解手势的语义而不只是是手指数目;同时为了加强者机交互的体验成效,单点的触控成效明显是不够的,用户需要更多的手势触控点。
-10-
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 手势 识别 自然 交互 应用