CN109961454A - 一种嵌入式智能机器中的人机交互装置及处理方法 - Google Patents

一种嵌入式智能机器中的人机交互装置及处理方法 Download PDF

Info

Publication number
CN109961454A
CN109961454A CN201711402515.4A CN201711402515A CN109961454A CN 109961454 A CN109961454 A CN 109961454A CN 201711402515 A CN201711402515 A CN 201711402515A CN 109961454 A CN109961454 A CN 109961454A
Authority
CN
China
Prior art keywords
motion path
image
module
infrared
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711402515.4A
Other languages
English (en)
Inventor
陶守林
徐超
陶振凯
宗井彬
陈开全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kelong Positive Electric Co Ltd
Original Assignee
Beijing Kelong Positive Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kelong Positive Electric Co Ltd filed Critical Beijing Kelong Positive Electric Co Ltd
Priority to CN201711402515.4A priority Critical patent/CN109961454A/zh
Publication of CN109961454A publication Critical patent/CN109961454A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种嵌入式智能机器中的人机交互装置，包括红外线发射器，用于向探测区域发射红外线；红外线摄像头，用于捕捉红外线图像；可见光摄像头，用于捕捉可见光图像；降噪模块，用于对捕捉的图像进行降噪处理；图像融合模块，用于将红外线图像和见光图像进行融合；运动路径合成模块，用于使用捕捉到的静态图像合成动态运动路径；运动路径特征存储模块，用于存储预设的运动路径特征；对比模块，用于将运动路径合成模块得到的动态运动路径与运动路径特征存储模块中存储的运动路径特征进行比对；控制模块，用于根据比对结果进行对应的控制操作。本发明能够改进现有技术的不足，提高了人体姿态/手势的识别成功率。

Description

一种嵌入式智能机器中的人机交互装置及处理方法
技术领域
本发明涉及智能设备技术领域，尤其是一种嵌入式智能机器中的人机交互装置及处理方法。
背景技术
人机交互的发展历史是从人适应计算机到计算机不断地适应人的发展史，它经历了几个阶段：手工作业阶段、图形用户界面阶段、网络用户界面的出现、多通道和多媒体的智能人机交互阶段。现有技术中，通过对于人体姿态/手势的识别实现人机交互是智能人机交互一种自信实现方式。但是，现阶段对于人体姿态/手势的识别成功率较低，对于识别环境要求较为苛刻，限制了这类人机交互方式的发展。
发明内容
本发明要解决的技术问题是提供一种嵌入式智能机器中的人机交互装置及处理方法，能够解决现有技术的不足，提高了人体姿态/手势的识别成功率。
为解决上述技术问题，本发明所采取的技术方案如下。
一种嵌入式智能机器中的人机交互装置，包括，
红外线发射器，用于向探测区域发射红外线；
红外线摄像头，用于捕捉红外线图像；
可见光摄像头，用于捕捉可见光图像；
降噪模块，用于对捕捉的图像进行降噪处理；
图像融合模块，用于将红外线图像和见光图像进行融合；
运动路径合成模块，用于使用捕捉到的静态图像合成动态运动路径；
运动路径特征存储模块，用于存储预设的运动路径特征；
对比模块，用于将运动路径合成模块得到的动态运动路径与运动路径特征存储模块中存储的运动路径特征进行比对；
控制模块，用于根据比对结果进行对应的控制操作。
一种上述的嵌入式智能机器中的人机交互装置的处理方法，包括以下步骤：
A、红外线发射器向探测区域发射红外线，红外线摄像头和可见光摄像头对探测区域同步获取图像；
B、降噪模块对获取的红外线图像和可见光图像进行降噪处理；
C、图像融合模块将红外线图像和见光图像进行融合；
D、运动路径合成模块使用捕捉到的静态图像按照时间轴方向合成动态运动路径；
E、对比模块将运动路径合成模块合成的动态运动路径与运动路径特征存储模块中存储的预设运动路径特征进行遍历对比；
F、控制模块根据比对结果进行对应的控制操作。
作为优选，步骤B中，包括以下步骤，
B1、在红外图像中，使用滑动窗口对图像进行遍历，得到红外图像的噪声平均水平；
B2、根据噪声平均水平设定图像替换率，使用遍历过程中标记的噪声点的关联像素点对噪声点进行替换；
B3、计算进行替换后的红外图像与可见光图像的标准差矩阵，然后进行奇异值分解，提取特征向量；
B4、将步骤B3中提取的特征向量与可见光图像的特征向量进行对比，对可见光图像进行优化，使其特征向量与步骤B3提取的特征向量线性相关；
B5、使用滑动窗口对步骤B4中得到的可见光图像进行遍历，使用替换图像对其噪声点进行替换，使用的替换图像与步骤B2得到的红外图像线性相关。
作为优选，步骤C中，使用步骤B5得到的可见光图像和步骤B2得到的红外图像进行融合；计算可见光图像和红外图像中相同位置的差向量，融合过程中剔除差向量的欧氏距离大于阈值的红外图像区域。
作为优选，步骤E中，计算动态运动路径中各部分与预设的运动路径特征的平均相似度，删除相似度低于平均相似度50％的部分，然后计算各预设的运动路径特征与动态运动路径的相似命中次数以及每次相似命中的相似率的加权平均值，选取加权平均值最高的运动路径特征为命中特征。
作为优选，控制模块外部通过串行通讯总线进行通讯，控制模块内部采用Harvard并行结构。
采用上述技术方案所带来的有益效果在于：本发明通过改进对于人体姿态/手势的图像采集和处理方法，大幅度提高了识别正确率，具有较强的抗干扰能力，从而使得通过人体姿态/手势进行人机交互的方式的适用范畴大幅度拓展，极大促进了智能人机交互的发展。
附图说明
图1是本发明一个具体实施方式的原理图。
图中：1、红外线发射器；2、红外线摄像头；3、可见光摄像头；4、降噪模块；5、图像融合模块；6、运动路径合成模块；7、运动路径特征存储模块；8、对比模块；9、控制模块。
具体实施方式
参照图1，本发明的一个具体实施方式包括，
红外线发射器1，用于向探测区域发射红外线；
红外线摄像头2，用于捕捉红外线图像；
可见光摄像头3，用于捕捉可见光图像；
降噪模块4，用于对捕捉的图像进行降噪处理；
图像融合模块5，用于将红外线图像和见光图像进行融合；
运动路径合成模块6，用于使用捕捉到的静态图像合成动态运动路径；
运动路径特征存储模块7，用于存储预设的运动路径特征；
对比模块8，用于将运动路径合成模块6得到的动态运动路径与运动路径特征存储模块7中存储的运动路径特征进行比对；
控制模块9，用于根据比对结果进行对应的控制操作。
一种上述的嵌入式智能机器中的人机交互装置的处理方法，包括以下步骤：
A、红外线发射器1向探测区域发射红外线，红外线摄像头2和可见光摄像头3对探测区域同步获取图像；
B、降噪模块4对获取的红外线图像和可见光图像进行降噪处理；
C、图像融合模块5将红外线图像和见光图像进行融合；
D、运动路径合成模块6使用捕捉到的静态图像按照时间轴方向合成动态运动路径；
E、对比模块8将运动路径合成模块6合成的动态运动路径与运动路径特征存储模块7中存储的预设运动路径特征进行遍历对比；
F、控制模块9根据比对结果进行对应的控制操作。
步骤B中，包括以下步骤，
B1、在红外图像中，使用滑动窗口对图像进行遍历，得到红外图像的噪声平均水平；
B2、根据噪声平均水平设定图像替换率，使用遍历过程中标记的噪声点的关联像素点对噪声点进行替换；
B3、计算进行替换后的红外图像与可见光图像的标准差矩阵，然后进行奇异值分解，提取特征向量；
B4、将步骤B3中提取的特征向量与可见光图像的特征向量进行对比，对可见光图像进行优化，使其特征向量与步骤B3提取的特征向量线性相关；
B5、使用滑动窗口对步骤B4中得到的可见光图像进行遍历，使用替换图像对其噪声点进行替换，使用的替换图像与步骤B2得到的红外图像线性相关。
步骤C中，使用步骤B5得到的可见光图像和步骤B2得到的红外图像进行融合；计算可见光图像和红外图像中相同位置的差向量，融合过程中剔除差向量的欧氏距离大于阈值的红外图像区域。
步骤E中，计算动态运动路径中各部分与预设的运动路径特征的平均相似度，删除相似度低于平均相似度50％的部分，然后计算各预设的运动路径特征与动态运动路径的相似命中次数以及每次相似命中的相似率的加权平均值，选取加权平均值最高的运动路径特征为命中特征。
控制模块9外部通过串行通讯总线进行通讯，控制模块9内部采用Harvard并行结构。
另外，在动态运动路径的特征对比识别过程中，如果出现识别错误，则控制模块9根据重新识别的正确结果，对步骤E中使用的相似率的加权值进行修正，从而提高不同动态运动路径特征的区别，进而提高***后续对于类似特征识别的正确率。
本发明可以大幅度提高人体姿态/手势的识别正确率。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种嵌入式智能机器中的人机交互装置，其特征在于：包括，
红外线发射器(1)，用于向探测区域发射红外线；
红外线摄像头(2)，用于捕捉红外线图像；
可见光摄像头(3)，用于捕捉可见光图像；
降噪模块(4)，用于对捕捉的图像进行降噪处理；
图像融合模块(5)，用于将红外线图像和见光图像进行融合；
运动路径合成模块(6)，用于使用捕捉到的静态图像合成动态运动路径；
运动路径特征存储模块(7)，用于存储预设的运动路径特征；
对比模块(8)，用于将运动路径合成模块(6)得到的动态运动路径与运动路径特征存储模块(7)中存储的运动路径特征进行比对；
控制模块(9)，用于根据比对结果进行对应的控制操作。
2.一种权利要求1所述的嵌入式智能机器中的人机交互装置的处理方法，其特征在于包括以下步骤：
A、红外线发射器(1)向探测区域发射红外线，红外线摄像头(2)和可见光摄像头(3)对探测区域同步获取图像；
B、降噪模块(4)对获取的红外线图像和可见光图像进行降噪处理；
C、图像融合模块(5)将红外线图像和见光图像进行融合；
D、运动路径合成模块(6)使用捕捉到的静态图像按照时间轴方向合成动态运动路径；
E、对比模块(8)将运动路径合成模块(6)合成的动态运动路径与运动路径特征存储模块(7)中存储的预设运动路径特征进行遍历对比；
F、控制模块(9)根据比对结果进行对应的控制操作。
3.根据权利要求2所述的嵌入式智能机器中的人机交互装置的处理方法，其特征在于：步骤B中，包括以下步骤，
B1、在红外图像中，使用滑动窗口对图像进行遍历，得到红外图像的噪声平均水平；
B2、根据噪声平均水平设定图像替换率，使用遍历过程中标记的噪声点的关联像素点对噪声点进行替换；
B3、计算进行替换后的红外图像与可见光图像的标准差矩阵，然后进行奇异值分解，提取特征向量；
B4、将步骤B3中提取的特征向量与可见光图像的特征向量进行对比，对可见光图像进行优化，使其特征向量与步骤B3提取的特征向量线性相关；
B5、使用滑动窗口对步骤B4中得到的可见光图像进行遍历，使用替换图像对其噪声点进行替换，使用的替换图像与步骤B2得到的红外图像线性相关。
4.根据权利要求3所述的嵌入式智能机器中的人机交互装置的处理方法，其特征在于：步骤C中，使用步骤B5得到的可见光图像和步骤B2得到的红外图像进行融合；计算可见光图像和红外图像中相同位置的差向量，融合过程中剔除差向量的欧氏距离大于阈值的红外图像区域。
5.根据权利要求2所述的嵌入式智能机器中的人机交互装置的处理方法，其特征在于：步骤E中，计算动态运动路径中各部分与预设的运动路径特征的平均相似度，删除相似度低于平均相似度50％的部分，然后计算各预设的运动路径特征与动态运动路径的相似命中次数以及每次相似命中的相似率的加权平均值，选取加权平均值最高的运动路径特征为命中特征。
6.根据权利要求2所述的嵌入式智能机器中的人机交互装置的处理方法，其特征在于：控制模块(9)外部通过串行通讯总线进行通讯，控制模块(9)内部采用Harvard并行结构。
CN201711402515.4A 2017-12-22 2017-12-22 一种嵌入式智能机器中的人机交互装置及处理方法 Pending CN109961454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711402515.4A CN109961454A (zh) 2017-12-22 2017-12-22 一种嵌入式智能机器中的人机交互装置及处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711402515.4A CN109961454A (zh) 2017-12-22 2017-12-22 一种嵌入式智能机器中的人机交互装置及处理方法

Publications (1)

Publication Number Publication Date
CN109961454A true CN109961454A (zh) 2019-07-02

Family

ID=67019015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711402515.4A Pending CN109961454A (zh) 2017-12-22 2017-12-22 一种嵌入式智能机器中的人机交互装置及处理方法

Country Status (1)

Country Link
CN (1) CN109961454A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111697523A (zh) * 2020-06-23 2020-09-22 广东电网有限责任公司 一种电缆沟智能散热***及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN102622591A (zh) * 2012-01-12 2012-08-01 北京理工大学 3d人体姿态捕捉模仿***
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互***和方法
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与***
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104461006A (zh) * 2014-12-17 2015-03-25 卢晨华 一种基于自然用户界面的互联网智能镜
CN104866112A (zh) * 2015-06-12 2015-08-26 安徽朗坤物联网有限公司 一种基于移动终端的非接触式交互方法
CN105205818A (zh) * 2015-09-18 2015-12-30 国网上海市电力公司 一种电气设备红外图像和可见光图像配准的方法
CN106200971A (zh) * 2016-07-07 2016-12-07 广东技术师范学院 基于手势识别的人机交互***装置及操作方法
CN106385530A (zh) * 2015-07-28 2017-02-08 杭州海康威视数字技术股份有限公司 一种双光谱摄像机
CN107421540A (zh) * 2017-05-05 2017-12-01 华南理工大学 一种基于视觉的移动机器人导航方法及***
CN107436686A (zh) * 2017-08-28 2017-12-05 山东浪潮商用***有限公司 一种控制待控制目标的方法、装置和***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101173987A (zh) * 2007-10-31 2008-05-07 北京航空航天大学 多模多目标精密跟踪装置和方法
CN102622591A (zh) * 2012-01-12 2012-08-01 北京理工大学 3d人体姿态捕捉模仿***
CN103295029A (zh) * 2013-05-21 2013-09-11 深圳Tcl新技术有限公司 手势控制终端的交互方法及装置
CN103246351A (zh) * 2013-05-23 2013-08-14 刘广松 一种用户交互***和方法
CN103914152A (zh) * 2014-04-11 2014-07-09 周光磊 三维空间中多点触控与捕捉手势运动的识别方法与***
CN104407694A (zh) * 2014-10-29 2015-03-11 山东大学 一种结合人脸和手势控制的人机交互方法及装置
CN104461006A (zh) * 2014-12-17 2015-03-25 卢晨华 一种基于自然用户界面的互联网智能镜
CN104866112A (zh) * 2015-06-12 2015-08-26 安徽朗坤物联网有限公司 一种基于移动终端的非接触式交互方法
CN106385530A (zh) * 2015-07-28 2017-02-08 杭州海康威视数字技术股份有限公司 一种双光谱摄像机
CN105205818A (zh) * 2015-09-18 2015-12-30 国网上海市电力公司 一种电气设备红外图像和可见光图像配准的方法
CN106200971A (zh) * 2016-07-07 2016-12-07 广东技术师范学院 基于手势识别的人机交互***装置及操作方法
CN107421540A (zh) * 2017-05-05 2017-12-01 华南理工大学 一种基于视觉的移动机器人导航方法及***
CN107436686A (zh) * 2017-08-28 2017-12-05 山东浪潮商用***有限公司 一种控制待控制目标的方法、装置和***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
周忠等: "《虚拟现实增强技术综述》", 《中国科学：信息科学》 *
张毅等: "《基于智能手机控制的家居服务机器人研发》", 《机器人技术与应用》 *
赵爱芳等: "《复杂环境中多信息融合的手势识别》", 《计算机工程与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111697523A (zh) * 2020-06-23 2020-09-22 广东电网有限责任公司 一种电缆沟智能散热***及方法

Similar Documents

Publication Publication Date Title
US12002236B2 (en) Automated gesture identification using neural networks
US10198823B1 (en) Segmentation of object image data from background image data
JP7004017B2 (ja) 物体追跡システム、物体追跡方法、プログラム
Neverova et al. Multi-scale deep learning for gesture detection and localization
Chen et al. Survey of pedestrian action recognition techniques for autonomous driving
Liu et al. Hand gesture recognition using depth data
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
Guo et al. Multiview cauchy estimator feature embedding for depth and inertial sensor-based human action recognition
CN103020606B (zh) 一种基于时空上下文信息的行人检测方法
CN104167016B (zh) 一种基于rgb彩色与深度图像的三维运动重建方法
CN109299659A (zh) 一种基于rgb相机和深度学习的人体姿态识别方法与***
CN106250867A (zh) 一种基于深度数据的人体骨骼跟踪***的实现方法
JP2017146957A (ja) 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
CN107851318A (zh) 用于对象跟踪的***和方法
CN104992171A (zh) 一种基于2d视频序列的手势识别及人机交互方法和***
CN109934127B (zh) 基于视频图像与无线信号的行人识别与跟踪方法
CN104106078B (zh) 光学字符辨识(ocr)高速缓冲存储器更新
CN105760846A (zh) 基于深度数据的目标检测与定位方法及***
CN110569785B (zh) 一种融合跟踪技术的人脸识别方法
CN105574525A (zh) 一种复杂场景多模态生物特征图像获取方法及其装置
CN109800676A (zh) 基于深度信息的手势识别方法及***
US20140321750A1 (en) Dynamic gesture recognition process and authoring system
CN106934351A (zh) 手势识别方法、装置及电子设备
Zhao et al. Real-time sign language recognition based on video stream
CN103105924A (zh) 人机交互方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190702

WD01 Invention patent application deemed withdrawn after publication