CN111047635A - 基于深度图像的平面触摸方法、装置与触摸*** - Google Patents

基于深度图像的平面触摸方法、装置与触摸*** Download PDF

Info

Publication number
CN111047635A
CN111047635A CN201911109426.XA CN201911109426A CN111047635A CN 111047635 A CN111047635 A CN 111047635A CN 201911109426 A CN201911109426 A CN 201911109426A CN 111047635 A CN111047635 A CN 111047635A
Authority
CN
China
Prior art keywords
depth image
depth
horizontal line
coordinates
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911109426.XA
Other languages
English (en)
Other versions
CN111047635B (zh
Inventor
杨帆
白立群
胡建国
潘鑫淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaoshi Technology Jiangsu Co ltd
Original Assignee
Nanjing Zhenshi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhenshi Intelligent Technology Co Ltd filed Critical Nanjing Zhenshi Intelligent Technology Co Ltd
Priority to CN201911109426.XA priority Critical patent/CN111047635B/zh
Publication of CN111047635A publication Critical patent/CN111047635A/zh
Application granted granted Critical
Publication of CN111047635B publication Critical patent/CN111047635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度图像的平面触摸方法、装置与触摸***，通过深度相机获取深度图像，对深度图像进行滤波分割算法，提取多个触摸点坐标，然后再次变换回直角坐标系，最后通过旋转平移矩阵转换到实际使用空间。如此，以解决任意平面的触摸问题，尤其是大平面的触摸问题，可以实现测量范围内获取多点触摸坐标。本发明的平面触摸方案可运用到各类交互场景，作为交互的输入设备。而且使用深度摄像头可大幅降低工程成本，对于不便于使用大面积电容式、光电对射式的场景提供了解决方案。

Description

基于深度图像的平面触摸方法、装置与触摸***
技术领域
本发明涉及触摸式交互***技术领域，具体而言涉及一种基于深度图像的平面触摸方法、装置与触摸***。
背景技术
当前触摸技术主要分为电容式、电阻式两种。电容式、电阻式触控方案均需要使用特定的触摸介质。例如手机电容电阻屏幕，其中有一层触摸屏用来实现光电转换，这类触摸方式成本较高，无法适用大场景下的触摸支持。电容屏、电阻屏都属于接触性介质，很多场景无法适用，例如墙面、地面等等。
同时，在大场景下进行触摸支持的时候，通常需要用来深度激光投影，搭建成本较为昂贵。
发明内容
本发明目的旨在解决大平面的触摸问题，实现测量范围内获取多点触摸坐标，从而提出一种基于深度图像的平面触摸方法、装置与触摸***。
为达成上述目的，本发明的第一方面提出一种基于深度图像的平面触摸方法，包括以下步骤：
步骤1、对于测量区域内的任意测量点，通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
步骤2、将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
步骤3、通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
步骤4、通过左右索引获取索引区间内的深度图像，获取物理坐标；
步骤5、将计算的物理坐标输入滤波器中，平滑物理坐标；
步骤6、将物理坐标转换为触摸平面坐标，并显示像素坐标。
进一步地，所述深度相机的布设，深度相机采用TOF相机或者结构光深度相机，其中TOF相机被设置用于墙面或者地面的触控交互，结构光相机用于桌面触控交互。
进一步地，在所述步骤2中，水平线坐标以及水平线深度图像的提取操作包括：
2-1)将深度图像的所有像素值输入到直线方程回归模型，得到水平线直线方程y＝kx+b，其中k为直线的斜率，b为主线的截距，通过水平线直线方程确定深度图像中的水平线；
2-2)遍历深度图像中的所有像素值，来提取步骤3-1)的水平线上的所有像素值，作为深度值；
2-3)将提取的深度值构成的一维图像作为水平线深度图像。
进一步地，所述操作中，在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型，该模型被配置通过模型训练得到，具体包括：
首先，采集一深度图像，并对深度图像进行霍夫曼直线检测，确定深度相机测量的最远区域，即深度相机的可达测量区域范围的边界；
然后，通过触摸测量区域范围内的最上方、最下方，使得水平线只与手指深度图像相交且不与其他物体对象相交，确定水平线的具***置，从而确定水平线的参数值k,b；
之后，再采集复数多个深度图像作为训练集，按照上述方式进行操作后，进行基于深度学习的模型训练，并将训练结果的模型和验证集进行验证，直到模型准确率达到设定阈值。
进一步地，在所述步骤3中，藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括：
将水平线深度图像中没有手指触摸区域作为背景，将手指触摸区域作为前景，背景区域像素值为0，前景区域的像素值表示深度；
将前景置为1，背景置为0；
再对相邻的像素之间两两做相减处理，右边像素减左边像素：其中，如果大于0，则右边像素记为左端点、左边像素记为右端点；如果等于0，则不做操作；如果小于0，则右边像素记为右端点、左边像素记为左端点，以此区别出每一段亮斑的左右端点；
如此，获得水平线深度图像每一段亮斑的左右端点索引坐标。
进一步地，在所述步骤4中，根据左右索引获取索引区间内的深度图像的操作包括：
通过获取左右端点索引，从水平深度图像中将对应像素拷贝出来，拷贝出来的图像即为索引区间内的深度图像。
进一步地，在所述步骤4中，基于索引区间内的深度图像进行物理坐标获取的操作包括：
首先，对索引区间内的深度图像的一段区间或者多段区间按照下述方式处理：
Figure BDA0002272281210000021
y＝mean(∑I(x))
即，通过灰度重心计算得到测量平面x的估计值，即水平线深度图的横坐标，将每一段亮斑的左右索引内深度值的和的均值作为y的估计值，得到每一段亮斑的索引坐标(x，y)，其中I(x)表示对应索引区间内的深度图像的深度值，即像素值；
然后，结合深度相机内外参将索引区间内的深度图像转为点云，转换公式如下：
x＝(u-principlePointX)/focalLengthX*d
y＝d
其中，u为前述计算得到的水平线深度图的横坐标，d为水平深度图对应横坐标的深度值；principlePointX表示深度相机主视点到测量物体间的空间距离；focalLengthX表示深度相机的焦距；
如此，将水平深度图像的(u,d)坐标转换为测量区域的空间坐标(x,y)。
根据本发明的改进，还提出一种基于深度图像的平面触摸装置，包括：
用于对于测量区域内的任意测量点，通过深度相机成像获得深度图像的模块，其中所述深度相机布设在测量区域内；
用于将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像的模块；
用于通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引的模块；
用于通过左右索引获取索引区间内的深度图像，获取物理坐标的模块；
用于将计算的物理坐标输入滤波器中，平滑物理坐标的模块；
用于将物理坐标转换为触摸平面坐标，并显示像素坐标的模块。
根据本发明的改进，还提出一种基于深度图像的平面触摸***，包括：
至少一个布设在测量区域内的深度相机，用于拍摄测量区域内的任意测量点，通过深度相机成像获得深度图像；
计算机***，所述计算机***具有：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
对于测量区域内的任意测量点，接收通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
通过左右索引获取索引区间内的深度图像，获取物理坐标；
将计算的物理坐标输入滤波器中，平滑物理坐标；
将物理坐标转换为触摸平面坐标，并显示像素坐标。
根据本发明的改进，还提出一种基于深度图像的平面触摸***，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
对于测量区域内的任意测量点，接收通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
通过左右索引获取索引区间内的深度图像，获取物理坐标；
将计算的物理坐标输入滤波器中，平滑物理坐标；
将物理坐标转换为触摸平面坐标，并显示像素坐标。
应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：
图1是根据本发明示例性实施例的深度相机(也称为图中的深度摄像头)安装的示意图，其中安装方式为吊装。
图2是根据本发明示例性实施例的深度相机(也称为图中的深度摄像头)安装的示意图，其中安装方式为底装。
图3是根据本发明示例性实施例的深度相机的视场与测量区域示意图。
图4是根据本发明示例性实施例的深度相机内参模型示意图。
图5A-5B是根据本发明示例性实施例的手指触摸时深度图像示意图，其中5A和5B的位置不同(Z方向，即深度)。
图6是根据本发明示例性实施例的对深度图像进行霍夫曼直线检测的示意图。
图7是根据本发明示例性实施例中获取每一段亮斑的左右端点索引的示意图。
图8是根据本发明示例性实施例中将测量空间坐标转换到目标坐标系的标定示意图。
具体实施方式
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是应为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
根据本发明的公开，整体上提出一种基于深度图像的平面触摸方案，通过深度相机(即结构光摄像头)获取深度图像，对深度图像进行滤波分割算法，可以提取多个触摸点坐标，然后再次变换回直角坐标系，最后通过旋转平移矩阵转换到实际使用空间。如此，以解决任意平面的触摸问题，尤其是大平面的触摸问题，可以实现测量范围内获取多点触摸坐标。本发明的平面触摸方案可运用到各类交互场景，作为交互的输入设备。而且，使用深度摄像头可大幅降低工程成本，对于不便于使用大面积电容式、光电对射式的场景提供了解决方案。
结合图1-8所示，下面更加具体地对基于深度图像的平面触摸方法的实现进行示例性说明。
{平面触摸方法}
结合本发明的示例，基于深度图像的平面触摸方法的实现包括以下过程：
步骤1、对于测量区域内的任意测量点，通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
步骤2、将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
步骤3、通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
步骤4、通过左右索引获取索引区间内的深度图像，获取物理坐标；
步骤5、将计算的物理坐标输入滤波器中，平滑物理坐标；
步骤6、将物理坐标转换为触摸平面坐标，并显示像素坐标。
{相机布置}
结合图1-3所示，深度相机的布设，深度相机采用TOF相机或者结构光深度相机。
应当理解，深度相机可采用市售的深度相机，按照吊装或者底装的方式，摄像头安装需要尽量与测量平面保持水平。测量区域受到深度摄像头内部参数的影响，可以选取不同的深度相机设配不同场景，例如，在桌面触控场景应用下，使用结构光深度相机，而在墙面或者地面触控场景下，可以使用ToF相机。
图3所示为深度相机的视场与测量区域示意，其中，深度传感器FOV(视场角)，视场角的大小决定了光学仪器的视野范围。Near表示深度相机的最近测量距离，Far表示最远测量距离，图3从near-far之间是测量***在测量平面下有效测量区域，也即深度相机的可达测量区域范围的边界。
结合图4所示的内参模型，可以通过深度相机的sdk，获得深度相机的主视点坐标PrincipalPoint和焦距FocalLength。不同的深度相机，其主视点坐标和焦距不同。
{水平线坐标与水平线深度图像}
在所述步骤2中，水平线坐标以及水平线深度图像的提取操作包括：
2-1)将深度图像的所有像素值输入到直线方程回归模型，得到水平线直线方程y＝kx+b，其中k为直线的斜率，b为主线的截距，通过水平线直线方程确定深度图像中的水平线；
2-2)遍历深度图像中的所有像素值，来提取步骤3-1)的水平线上的所有像素值，作为深度值；
2-3)将提取的深度值构成的一维图像作为水平线深度图像。
前述的直线方程回归模型可预先进行训练，例如基于VGG16直线方程回归模型来执行本发明的操作。
结合图5A-5B所示的示意，表示了手指触摸时深度图像示意，5A-5B两图表示触摸时深度变化带来的深度图像变化。将深度图像输入神经网络中，通过训练好的卷积神经网络回归出水平线的直线方程，得到直线的斜率a和截距b。如此，对于安装不够水平的情况下也可以检出触摸动作。
进一步地，所述操作中，在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型，该模型被配置通过模型训练得到，具体包括：
首先，采集一深度图像，并对深度图像进行霍夫曼直线检测，确定深度相机测量的最远区域，即深度相机的可达测量区域范围的边界；结合图6所示；
然后，通过触摸测量区域范围内的最上方、最下方，使得水平线只与手指深度图像相交且不与其他物体对象相交，确定水平线的具***置，从而确定水平线的参数值k,b；
之后，再采集复数多个深度图像作为训练集，按照上述方式进行操作后，进行基于深度学习的模型训练，并将训练结果的模型和验证集进行验证，直到模型准确率达到设定阈值。
如图6所示，其中的线条表示深度图像与墙面的平行截面。
{亮斑的左右端点索引}
在所述步骤3中，藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括：
结合图7，将水平线深度图像中没有手指触摸区域作为背景，将手指触摸区域作为前景，背景区域像素值为0，前景区域的像素值表示深度；将前景置为1，背景置为0；
再对相邻的像素之间两两做相减处理，右边像素减左边像素：其中，如果大于0，则右边像素记为左端点、左边像素记为右端点；如果等于0，则不做操作；如果小于0，则右边像素记为右端点、左边像素记为左端点，如此，产生了左右相间的一系列像素对，以此区别出每一段亮斑的左右端点；
如此，获得水平线深度图像每一段亮斑的左右端点索引坐标。
更加优选地，在像素对中，更加包含去噪处理，考虑到深度图像可能存在噪声(例如作为触摸面的墙面存在凹凸不平)，可以预先设定阈值，合并两个相近的亮斑区域。
{索引区间内的深度图像}
在所述步骤4中，根据左右索引获取索引区间内的深度图像的操作包括：
通过获取左右端点索引，从水平深度图像中将对应像素拷贝出来，拷贝出来的图像即为索引区间内的深度图像。
{测量区域的空间坐标}
在所述步骤4中，基于索引区间内的深度图像进行物理坐标获取的操作包括：
首先，对索引区间内的深度图像的一段区间或者多段区间按照下述方式处理：
Figure BDA0002272281210000071
y＝mean(∑I(x))
即，通过灰度重心计算得到测量平面x的估计值，即水平线深度图的横坐标，将每一段亮斑的左右索引内深度值的和的均值作为y的估计值，得到每一段亮斑的索引坐标(x，y)，其中I(x)表示对应索引区间内的深度图像的深度值，即像素值；
然后，结合深度相机内外参将索引区间内的深度图像转为点云，转换公式如下：
x＝(u-principlePointX)/focalLengthX*d
y＝d
其中，u为前述计算得到的水平线深度图的横坐标，d为水平深度图对应横坐标的深度值；principlePointX表示深度相机主视点到测量物体间的空间距离；focalLengthX表示深度相机的焦距；
如此，将水平深度图像的(u,d)坐标转换为测量区域的空间坐标(x,y)。
{卡尔曼滤波}
本发明的示例性实施例中，将测量区域的空间坐标(x,y)输入卡尔曼滤波器进行平滑处理，使得坐标更连续，并且响应更快。
{空间坐标转换}
通过前述步骤计算得到测量区域的空间坐标(x,y)具有实际的物理意义，表示触摸点距离摄像头的距离(如米、毫米)，实际中需要将坐标转换到目标(如屏幕、投影仪)坐标系中。
结合图8所示的转换标定，在触摸平面分别规定4个定位点，按照顺时针方向排列(1,2,3,4)。分别用手触摸四个点，每个点程序记录10次触摸坐标并取平均值，并输入4点的相对坐标。计算出平移旋转矩阵，通过深度相机内外参将图像转为点云计算的坐标，计算出scale_x,scale_y,bias_x,bias_y，。
x'＝scalex*x+biasx
y'＝scaley*y+biasy
最终得到一段的触摸点，(x’,y’)，返回多点触摸点坐标。
应当理解，本发明使用的空间坐标转换方式为空间坐标转换的示例性操作，本领域人员还可以根据需要选用其他的坐标转换方式。
最后，重复前述的步骤，可以获得每一段触摸的触摸点坐标，合并返回可得到触摸位置和轨迹变化，从而实现触摸的交互。
结合图示，本发明的前述实施例还可以根据具体实施配置如下。
{基于深度图像的平面触摸装置}
一种基于深度图像的平面触摸装置，包括：
用于对于测量区域内的任意测量点，通过深度相机成像获得深度图像的模块，其中所述深度相机布设在测量区域内；
用于将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像的模块；
用于通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引的模块；
用于通过左右索引获取索引区间内的深度图像，获取物理坐标的模块；
用于将计算的物理坐标输入滤波器中，平滑物理坐标的模块；
用于将物理坐标转换为触摸平面坐标，并显示像素坐标的模块。
{平面触摸***}
一种基于深度图像的平面触摸***，包括：
至少一个布设在测量区域内的深度相机，用于拍摄测量区域内的任意测量点，通过深度相机成像获得深度图像；
计算机***，所述计算机***具有：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
对于测量区域内的任意测量点，接收通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
通过左右索引获取索引区间内的深度图像，获取物理坐标；
将计算的物理坐标输入滤波器中，平滑物理坐标；
将物理坐标转换为触摸平面坐标，并显示像素坐标。
{平面触摸***}
一种基于深度图像的平面触摸***，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
对于测量区域内的任意测量点，接收通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
通过左右索引获取索引区间内的深度图像，获取物理坐标；
将计算的物理坐标输入滤波器中，平滑物理坐标；
将物理坐标转换为触摸平面坐标，并显示像素坐标。
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于深度图像的平面触摸方法，其特征在于，包括以下步骤：
步骤1、对于测量区域内的任意测量点，通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
步骤2、将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
步骤3、通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
步骤4、通过左右索引获取索引区间内的深度图像，获取物理坐标；
步骤5、将计算的物理坐标输入滤波器中，平滑物理坐标；
步骤6、将物理坐标转换为触摸平面坐标，并显示像素坐标。
2.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，所述深度相机的布设，深度相机采用TOF相机或者结构光深度相机，其中TOF相机被设置用于墙面或者地面的触控交互，结构光相机用于桌面触控交互。
3.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤2中，水平线坐标以及水平线深度图像的提取操作包括：
2-1)将深度图像的所有像素值输入到直线方程回归模型，得到水平线直线方程y＝kx+b，其中k为直线的斜率，b为主线的截距，通过水平线直线方程确定深度图像中的水平线；
2-2)遍历深度图像中的所有像素值，来提取步骤3-1)的水平线上的所有像素值，作为深度值；
2-3)将提取的深度值构成的一维图像作为水平线深度图像。
4.根据权利要求3所述的基于深度图像的平面触摸方法，其特征在于，所述操作中，在步骤2-1)使用的直线方程回归模型为VGG16直线方程回归模型，该模型被配置通过模型训练得到，具体包括：
首先，采集一深度图像，并对深度图像进行霍夫曼直线检测，确定深度相机测量的最远区域，即深度相机的可达测量区域范围的边界；
然后，通过触摸测量区域范围内的最上方、最下方，使得水平线只与手指深度图像相交且不与其他物体对象相交，确定水平线的具***置，从而确定水平线的参数值k,b；
之后，再采集复数多个深度图像作为训练集，按照上述方式进行操作后，进行基于深度学习的模型训练，并将训练结果的模型和验证集进行验证，直到模型准确率达到设定阈值。
5.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤3中，藉由水平线深度图像来获取每一段亮斑的左右端点索引的操作包括：
将水平线深度图像中没有手指触摸区域作为背景，将手指触摸区域作为前景，背景区域像素值为0，前景区域的像素值表示深度；
将前景置为1，背景置为0；
再对相邻的像素之间两两做相减处理，右边像素减左边像素：其中，如果大于0，则右边像素记为左端点、左边像素记为右端点；如果等于0，则不做操作；如果小于0，则右边像素记为右端点、左边像素记为左端点，以此区别出每一段亮斑的左右端点；
如此，获得水平线深度图像每一段亮斑的左右端点索引坐标。
6.根据权利要求1所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤4中，根据左右索引获取索引区间内的深度图像的操作包括：
通过获取左右端点索引，从水平深度图像中将对应像素拷贝出来，拷贝出来的图像即为索引区间内的深度图像。
7.根据权利要求1或6所述的基于深度图像的平面触摸方法，其特征在于，在所述步骤4中，基于索引区间内的深度图像进行物理坐标获取的操作包括：
首先，对索引区间内的深度图像的一段区间或者多段区间按照下述方式处理：
Figure FDA0002272281200000021
y＝mean(∑I(x))
即，通过灰度重心计算得到测量平面x的估计值，即水平线深度图的横坐标，将每一段亮斑的左右索引内深度值的和的均值作为y的估计值，得到每一段亮斑的索引坐标(x，y)，其中I(x)表示对应索引区间内的深度图像的深度值，即像素值；
然后，结合深度相机内外参将索引区间内的深度图像转为点云，转换公式如下：
x＝(u-principlePointX)/focalLengthX*d
y＝d
其中，u为前述计算得到的水平线深度图的横坐标，d为水平深度图对应横坐标的深度值；principlePointX表示深度相机主视点到测量物体间的空间距离；focalLengthX表示深度相机的焦距；
如此，将水平深度图像的(u,d)坐标转换为测量区域的空间坐标(x,y)。
8.一种基于深度图像的平面触摸装置，其特征在于，包括：
用于对于测量区域内的任意测量点，通过深度相机成像获得深度图像的模块，其中所述深度相机布设在测量区域内；
用于将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像的模块；
用于通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引的模块；
用于通过左右索引获取索引区间内的深度图像，获取物理坐标的模块；
用于将计算的物理坐标输入滤波器中，平滑物理坐标的模块；
用于将物理坐标转换为触摸平面坐标，并显示像素坐标的模块。
9.一种基于深度图像的平面触摸***，其特征在于，包括：
至少一个布设在测量区域内的深度相机，用于拍摄测量区域内的任意测量点，通过深度相机成像获得深度图像；
计算机***，所述计算机***具有：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
对于测量区域内的任意测量点，接收通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
通过左右索引获取索引区间内的深度图像，获取物理坐标；
将计算的物理坐标输入滤波器中，平滑物理坐标；
将物理坐标转换为触摸平面坐标，并显示像素坐标。
10.一种基于深度图像的平面触摸***，其特征在于，包括：
一个或多个处理器；
存储器，存储可***作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：
对于测量区域内的任意测量点，接收通过深度相机成像获得深度图像，所述深度相机布设在测量区域内；
将深度图像输入直线方程回归模型，得到水平线坐标，并根据水平线坐标提取水平线深度图像；
通过获取到的水平线深度图像，获取每一段亮斑的左右端点索引；
通过左右索引获取索引区间内的深度图像，获取物理坐标；
将计算的物理坐标输入滤波器中，平滑物理坐标；
将物理坐标转换为触摸平面坐标，并显示像素坐标。
CN201911109426.XA 2019-11-13 2019-11-13 基于深度图像的平面触摸方法、装置与触摸*** Active CN111047635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911109426.XA CN111047635B (zh) 2019-11-13 2019-11-13 基于深度图像的平面触摸方法、装置与触摸***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911109426.XA CN111047635B (zh) 2019-11-13 2019-11-13 基于深度图像的平面触摸方法、装置与触摸***

Publications (2)

Publication Number Publication Date
CN111047635A true CN111047635A (zh) 2020-04-21
CN111047635B CN111047635B (zh) 2021-02-09

Family

ID=70232817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911109426.XA Active CN111047635B (zh) 2019-11-13 2019-11-13 基于深度图像的平面触摸方法、装置与触摸***

Country Status (1)

Country Link
CN (1) CN111047635B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946261A (zh) * 2021-08-30 2022-01-18 福建中红信创科技有限公司 一种人机交互展示方法和***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114823A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 携帯用端末装置
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法
CN105045950A (zh) * 2015-05-28 2015-11-11 张家港江苏科技大学产业技术研究院 一种基于三维激光扫描的桥梁安全评估***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114823A (ja) * 2013-12-11 2015-06-22 三菱電機株式会社 携帯用端末装置
CN105045950A (zh) * 2015-05-28 2015-11-11 张家港江苏科技大学产业技术研究院 一种基于三维激光扫描的桥梁安全评估***
CN104991684A (zh) * 2015-07-23 2015-10-21 京东方科技集团股份有限公司 触控设备及其工作方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113946261A (zh) * 2021-08-30 2022-01-18 福建中红信创科技有限公司 一种人机交互展示方法和***
CN113946261B (zh) * 2021-08-30 2023-12-05 福建中红信创科技有限公司 一种人机交互展示方法和***

Also Published As

Publication number Publication date
CN111047635B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US10880541B2 (en) Stereo correspondence and depth sensors
CN112771573B (zh) 基于散斑图像的深度估计方法及装置、人脸识别***
Liu et al. Concrete crack assessment using digital image processing and 3D scene reconstruction
EP2959456B1 (en) Real time stereo matching
JP4382797B2 (ja) 対応点探索方法および３次元位置計測方法
JP5682065B2 (ja) ステレオ画像処理装置及びステレオ画像処理方法
CN104574393B (zh) 一种三维路面裂缝图像生成***和方法
US20140153816A1 (en) Depth Map Stereo Correspondence Techniques
CN113111212B (zh) 一种图像匹配方法、装置、设备及存储介质
JP2006266848A (ja) 距離測定装置
CN107592922A (zh) 用于对地面实施作业的方法
JP2014096062A (ja) 画像処理方法及び画像処理装置
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN111243003A (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN108197531B (zh) 一种道路曲线检测方法、装置和终端
CN116958145A (zh) 图像处理方法、装置、视觉检测***及电子设备
CN111047635B (zh) 基于深度图像的平面触摸方法、装置与触摸***
WO2016154808A1 (en) Cluster based photo navigation
JP2017102500A (ja) 領域抽出装置、領域抽出プログラム、及び領域抽出方法
Otero et al. Local iterative DLT soft-computing vs. interval-valued stereo calibration and triangulation with uncertainty bounding in 3D reconstruction
Chen et al. Non-metric lens distortion correction using modified particle swarm optimisation
CN113298869B (zh) 距离测定方法、装置、计算机设备和存储介质
Seo Estimation of edge displacement against brightness and camera‐to‐object distance
JP5970512B2 (ja) 情報処理方法、情報処理装置、及びプログラム
CN116485636B (zh) 一种点云立面成像方法、***及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd.

Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder