手势识别开题报告.ppt
- 文档编号:17970228
- 上传时间:2023-08-05
- 格式:PPT
- 页数:19
- 大小:1.08MB
手势识别开题报告.ppt
《手势识别开题报告.ppt》由会员分享,可在线阅读,更多相关《手势识别开题报告.ppt(19页珍藏版)》请在冰点文库上搜索。
基于手势识别的移动机器人控制研究,硕士论文开题报告,开题报告主要内容,人-机器人交互方式:
随着智能机器人技术的发展,自然的、符合人类习惯的人机交互方式逐渐成为人们研究的热点。
选题背景与研究现状,传统方式鼠标键盘手柄数据手套,新型方式视觉语音力觉触觉,这些在灵活性和实现精确控制方面存在限制,符合人类交流习惯,缺乏灵活性,方便、直接、易于使用,选题背景与研究现状,国外:
英国Essex大学通过识别人脸,比较当前人脸形状和模板人脸形状来估计人脸方向,从而控制智能轮椅。
美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简单动作的清扫机器人。
2007年,Md.Al-AminBhuiyan等人研究的通过人脸及人脸角度控制机器人AIBO的动作或者姿势。
2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、后退、左转、右转和停止五个状态。
国内:
天津大学研究了汉语语音识别系统并用来控制机器人。
上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。
天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。
清华大学研究了一个手势识别系统,选择其中识别率较高的十种手势类别作为人机互动信号应用于电脑游戏中代替手柄。
选题背景与研究现状,人-机器人交互方式实例,选题背景与研究现状,语音方式:
适应性差(语音学上的差异、生理上的差异及发音习惯的差异)、强噪声干扰环境下语音技术面临较大困难,很难将控制信号识别出来。
视觉方式:
手势、体态、人脸姿态手势适应性强,最为直观、方便、自然,研究难点:
手势本身具有多样性、多义性及时间和空间上的差异性;人手是复杂变形体;背景复杂时,很容易将非手势区域误认为手势区域,如何去除非手部分。
研究内容,本课题以轮式移动机器人为实验平台,通过单个摄像头对手势进行识别,进而完成对移动机器人的运动状态控制。
主要的研究内容可分为如下三个部分:
(1)建立本课题手势模板库分为训练集和测试集两类,在VC+环境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势分割。
(2)编写可视化软件界面,并根据手势轮廓、形状或者纹理等提取手势特征,应用模式识别分类方法实现对手势的分类及识别,并达到实时性,识别率达到95%以上。
(3)应用移动机器人平台,选取手势模板库中识别率最高的七种手势作为移动机器人的运动状态控制信号,分别控制移动机器人的前进、后退、直线加速、直线减速、左转、右转和停止七种状态。
在不同实验环境(如光照、背景)下,对系统进行整体调试。
研究方案,系统构成图,研究方案手势模板库,手势分割:
把图像中的人手区域(前景)与其他区域(背景区域)划分开。
基于肤色信息检测方法主要步骤是颜色空间变换和肤色建模。
研究方案手势分割方法,肤色建模方法,阈值化(肤色范围),参数化(高斯密度函数估计),所需存储空间小,需要考察所选颜色空间中肤色分布的形态,学习速度快,非参数化(统计直方图),皮肤纹理检测,基于统计模型方法(局部二值模式,LBP),基于信号处理方法(傅里叶变换或者小波变换),简单易行,选择合适的颜色空间,需要大量统计样本需要存储空间大,是一种表述灰度图像某像素点与周围像素点大小关系的二进制描述,研究方案特征提取方法,手势特征:
能刻画手势的本质特征,要求对目标的位移、旋转及尺度缩放具有不变性。
全局几何特征,变换域几何特征,紧密度,区域形状偏心率,区域形状实心率,矩函数,小波描绘子,傅里叶描述子,对几何矩进行非线性组合,得到一组对于图像平移、旋转、尺度缩放都不变矩,物体边界点集合,进行傅立叶变换,形状特征,面积,研究方案分类方法,手势分类:
通过特定的方法将提取的被识别对象的特征信息归为某一类别,从而实现手势识别。
分类方法,模板匹配方法,基于统计理论方法,欧式距离分类方法,最大最小距离(Hausdorff距离),神经网络方法,支持向量机(SVM),Boosting以及AdaBoost算法,随着维数的增大,计算量会增大,准确度也会下降,学习时间过长,甚至可能达不到学习的目的;体系结构通用性差;推广性差,可能出现过分配,避免过学习、维数灾难、局部极小等问题,研究方案控制部分,UP-VoyagerIIA移动机器人,硬件通讯层完成软件与硬件之间的数据交互工作,将硬件指令解析换算成控制算法中数据变量;调用控制函数生成对应的硬件控制指令,UP-Voyager系统数据流,第一步:
获取手势图像,建立手势模板库,并分为训练集及测试集两个大类,实验方案设计,第二步:
利用肤色信息和纹理特征完成手势分割,第三步:
利用不变矩和傅里叶描述子方法得到特征向量,第四步:
利用训练集应用支持向量机的方法进行训练,然后测试手势识别效果,第五步:
应用轮式移动机器人平台进行实验,验证手势识别的实时控制性能,在VC+环境中编写程序,能够实时对采集的视频图像完成手势分割及特征提取;利用手势模板库应用支持向量机方法完成对手势特征的学习,实现对视频实时手势识别,达到“速度快,精度高”;在不同实际环境下,能够利用定义的手势控制移动机器人的七种运动状态;发表一至二篇EI学术论文。
预期成果,
(1)本人对VC+运行环境和C+语言都有一定的基础;
(2)本人曾学习过相关图像处理知识,写过相关图像处理程序;(3)实验室在图像处理方面的研究已取得相当多的积累与成绩;,研究基础,简单背景阈值分割手势,利用傅里叶变换得到的相关特征参数:
0.034551;0.070123;0.038968;0.042986;0.003900;0.017425;0.010688;0.007627;0.010348;0.007532;,研究基础,实验室已经具备条件:
(1)计算机
(2)轮式移动机器人(3)机器人控制器(4)数字CCD摄像机(5)开发软件,进度安排,2011年5月2011年6月查阅资料,完成开题报告。
2011年7月2011年8月准备资料,学习相关知识,并建立相关手势库2011年9月2012年3月通过编程完成对标准手势库的训练,初步实现手势识别,并通过实验提高识别率。
2012年4月2012年6月通过USB摄像头,完成实时手势识别。
2012年7月2012年9月在移动机器人平台上运行程序,实现对其运动状态的控制。
2012年10月2012年11月撰写毕业论文文稿。
谢谢各位老师!
请老师们批评指正!
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 手势 识别 开题 报告