CN112462948A - 一种基于深度相机偏离用户手势控制的标定方法和装置 - Google Patents

一种基于深度相机偏离用户手势控制的标定方法和装置 Download PDF

Info

Publication number
CN112462948A
CN112462948A CN202011505047.5A CN202011505047A CN112462948A CN 112462948 A CN112462948 A CN 112462948A CN 202011505047 A CN202011505047 A CN 202011505047A CN 112462948 A CN112462948 A CN 112462948A
Authority
CN
China
Prior art keywords
depth camera
screen
point
points
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011505047.5A
Other languages
English (en)
Other versions
CN112462948B (zh
Inventor
杜国铭
于美国
冯大志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Tuobo Technology Co ltd
Original Assignee
Harbin Tuobo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Tuobo Technology Co ltd filed Critical Harbin Tuobo Technology Co ltd
Priority to CN202011505047.5A priority Critical patent/CN112462948B/zh
Publication of CN112462948A publication Critical patent/CN112462948A/zh
Application granted granted Critical
Publication of CN112462948B publication Critical patent/CN112462948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出一种基于深度相机偏离用户手势控制的标定方法和装置，所述方法包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；所述方法将空间手势坐标与屏幕像素坐标一一对应，屏幕包括平面或者曲面屏幕。本发明所述方法实现了空间手势坐标与复杂曲面屏幕坐标关系对应；解决了深度相机偏离用户手势控制的问题；并同时解决了深度相机安装位置的局限性的问题。

Description

一种基于深度相机偏离用户手势控制的标定方法和装置
技术领域
本发明属于手势控制的标定技术领域，特别是涉及一种基于深度相机偏离用户手势控制的标定方法和装置。
背景技术
利用深度相机获取手势深度信息，深度相机连接的主机分析3D手势行为，并与2D展示界面进行互动。目前比较常见的设备有互动投影，体感游戏机、智能电视机，通过深度相机识别人体姿势或手势来完成与投影幕、投影墙、电子屏幕体感交互过程。
用户在与投影幕或屏幕进行交互时，需要保证3D手势在空间坐标系下与屏幕上操作对象是一一对应的关系，并且屏幕与3D手势深度方向相互垂直。深度相机在安装过程中很难保证手势与屏幕中对象一一对应，并很难保证手势深度方向与屏幕垂直，往往深度相机深度方向与手势深度方向不是同一方向，手势操作位置也会偏离深度相机，这使得3D手势控制无法与屏幕中对象对应。
现有深度相机偏离用户手势交互标定方法的缺点。
1、依靠深度相机识别人脸朝向判断手势操作深度方向，识别精度以及人脸朝向算法精度不够，导致操作深度方向误差增大。
2、人脸朝向必须与操作深度方向保持一致，导致用户操作随意性太差。
3、深度相机必须能够拍摄到用户脸部信息，导致深度相机安装位置必须在用户前方，限制了深度相机的安装位置。
4、用户操作深度方向与操作屏幕没有相互垂直。
5、用户3D手势不能与屏幕中对象对应。
6、无法对曲面屏幕中元素进行对应。
综上所述缺点，本发明提出的一种基于深度相机偏离用户手势控制的标定方法与装置能够解决上述问题。
发明内容
本发明目的是为了解决现有的技术问题，提出了一种基于深度相机偏离用户手势控制的标定方法和装置。
本发明是通过以下技术方案实现的，本发明提出一种基于深度相机偏离用户手势控制的标定方法，包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；所述方法包括以下步骤：
步骤1、1号深度相机采集数据进行三维重建；
步骤2、由屏幕4个特征点生成空间像素点；
步骤3、将像素点模型PixObj点坐标投影到屏幕三维网格模型Obj上，从而使得像素点模型点坐标替代屏幕像素点坐标；
步骤4、1号深度相机采集屏幕三维网格模型Obj数据，通过屏幕三维网格模型Obj数据创建像素点模型PixObj数据，2号深度相机采集空间手势坐标，将1号深度相机坐标系下的像素点模型PixObj变换到2号深度相机坐标系下从而实现空间手势坐标、PixObj、屏幕像素坐标关系一一对应；
步骤5、如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标；如果空间手势坐标未提供指向方向，那么在空间直接寻找像素点模型PixObj最近点，查询点编号即可得出对应的屏幕像素点坐标。
进一步地，所述步骤1具体为：
步骤1.1、通过1号深度相机获取三维场景空间点；
步骤1.2、通过手动方式或者自动方式选取特征点，特征点位置为屏幕4个角，顺序依次为左上角、右上角、右下角、左下角；
步骤1.3、未被4个特征点所包含的三维场景空间点删除掉，删除前将4个特征点进行扩大处理防止误删；
步骤1.4、剩余的三维场景空间点，采用Delaunay三角剖分算法进行三角剖分，最终得出屏幕三维网格模型数据定义为Obj。
进一步地，在步骤2中，根据屏幕像素尺寸W，H；空间特征点坐标p1,p2,p3,p4；计算屏幕每一个像素点对应的像素点模型坐标，具体为：
步骤2.1、计算p1(x1,y1,z1)与p2(x2,y2,z2)之间距离D：
Figure BDA0002844705210000021
步骤2.2、计算横向空间像素点之间距离d：
Figure BDA0002844705210000022
步骤2.3、p1沿着p2-p1方向按照距离d依次生成空间像素点坐标，此时不能按照x轴方向生成，因为p1与p2没有保证与x轴平行；
步骤2.4、根据步骤2.1、步骤2.2、步骤2.3方法生成纵向空间像素点坐标；
步骤2.5、生成的空间像素点坐标，每个点的索引值对应屏幕像素坐标值；
步骤2.6、生成的空间像素点进行三角剖分得出像素点模型PixObj。
进一步地，所述步骤3具体为：
步骤3.1、确定投影方向，p1、p2、p3、p4，形成2组平面，p1p2p3形成A面，p3p4p1形成B面，A面向量
Figure BDA0002844705210000031
与B面向量
Figure BDA0002844705210000032
平均值得出投影向量
Figure BDA0002844705210000033
Figure BDA0002844705210000034
Figure BDA0002844705210000035
Figure BDA0002844705210000036
步骤3.2、遍历像素点模型PixObj所有点，依次投影到屏幕三维网格模型Obj表面，Obj是由无数个三角面片组成的复杂曲面，像素点模型点按照向量
Figure BDA0002844705210000037
向Obj所有三角面片依次求交点得出新的投影点，更新像素点模型PixObj；
步骤3.3、像素点模型PixObj投影到屏幕三维网格模型Obj表面后会出现点间距不等问题，采用模型横向平滑与纵向平滑，平滑后再次执行步骤3.2；执行步骤3.3次数越多精度越高。
进一步地，在1号深度相机与2号深度相机之间添加配准板，配准板正反面标有ABC三个顶点，1号与2号深度相机采集到配准板数据后，通过手动标注，或者自动识别配准板上标签点来确定A、B、C三点空间坐标，利用A、B、C三点来实现两个坐标系变换的过程具体步骤如下：
步骤4.1、1号深度相机在采集屏幕三维网格模型Obj数据同时能够采集到配准板数据，标注点A1、B1、C1；
步骤4.2、2号深度相机安装位置采集配准板数据，标注点A2、B2、C2；
步骤4.3、1号深度相机采集数据进行缩放，计算缩放系数β；
Figure BDA0002844705210000038
Figure BDA0002844705210000039
Figure BDA00028447052100000310
Figure BDA0002844705210000041
步骤4.4、按照β对A1、B1、C1和像素点模型PixObj进行缩放；
步骤4.5、采用ICP算法计算出最优匹配参数R和t，误差函数E(R,t)为：
Figure BDA0002844705210000042
其中n为最邻近点对的个数，pi表示目标点云P中的一点，qi表示源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量；
将像素点模型PixObj按照R和t进行变换，完成PixObj变换到2号深度相机坐标系下，实现空间手势坐标与像素点模型在同一坐标系下。
进一步地，所述如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标，具体为：
步骤5.1、空间手势坐标P按照手势指向方向N与PixObj进行投影，P点与PixObj所有三角面片求交点P、；
步骤5.2、P、在PixObj寻找最近点M，获取M点序号n；
步骤5.3、序号n转换像素坐标pix(x,y),W为屏幕像素宽，H为屏幕像素高；
x＝n％w (11)
Figure BDA0002844705210000043
本发明还提出一种基于深度相机偏离用户手势控制的标定装置，所述装置由深度相机、托盘、1号伸缩杆、两个直角连接件、1号连接件、两个底座、两个垂直连接件、2号伸缩杆、2号连接件、3号伸缩杆和配准板组成；所述深度相机包括1号深度相机和2号深度相机，1号深度相机放置在托盘上，2号深度相机放置在屏幕上方，1号伸缩杆用于支撑托盘，所述1号伸缩杆的另一端与直角连接件连接，所述直角连接件的另一端与1号连接件连接，所述1号连接件的另一端与垂直连接件连接，所述垂直连接件还分别与2号伸缩杆和底座连接，所述2号伸缩杆的另一端与另一个垂直连接件连接，所述另一个垂直连接件还分别与2号连接件和另一个底座连接，所述2号连接件的另一端与另一个直角连接件连接，所述另一个直角连接件的另一端与3号伸缩杆连接，所述3号伸缩杆的另一端与配准板连接，所述装置放置于屏幕前方。
本发明的有益效果：
1、实现了空间手势坐标与复杂曲面屏幕坐标关系对应；
2、解决了深度相机偏离用户手势控制的问题；
3、解决了深度相机安装位置的局限性。
附图说明
图1为1号深度相机位置放置示意图；
图2为屏幕4个特征点示意图；
图3为像素点模型PixObj示意图；
图4为像素点模型PixObj点坐标投影到屏幕三维网格模型Obj上示意图；
图5为点间距平滑处理后示意图；
图6为坐标系变换示意图；
图7为基于深度相机偏离用户手势控制的标定装置结构图；
图8为实施例装置结构示意图；
图9为实施例标定方法流程图；
图10为标定数据应用流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1-图10，本发明提出一种基于深度相机偏离用户手势控制的标定方法，包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；所述方法将空间手势坐标与屏幕像素坐标一一对应，屏幕包括平面或者曲面屏幕。所述方法包括以下步骤：
步骤1、1号深度相机采集数据进行三维重建；
步骤2、由屏幕4个特征点生成空间像素点；
步骤3、将像素点模型PixObj点坐标投影到屏幕三维网格模型Obj上，从而使得像素点模型点坐标替代屏幕像素点坐标；
步骤4、1号深度相机采集屏幕三维网格模型Obj数据，通过屏幕三维网格模型Obj数据创建像素点模型PixObj数据，2号深度相机采集空间手势坐标，将1号深度相机坐标系下的像素点模型PixObj变换到2号深度相机坐标系下从而实现空间手势坐标、PixObj、屏幕像素坐标关系一一对应；
步骤5、如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标；如果空间手势坐标未提供指向方向，那么在空间直接寻找像素点模型PixObj最近点，查询点编号即可得出对应的屏幕像素点坐标。查找最近点可使用kdtree或者octree算法。
创建像素点模型本发明提出PixObj模型与Obj模型，分别代表含义：
像素点模型PixObj是三维空间点组成的wrl或stl网格模型，点个数与屏幕像素点个数相等，点集按照一定规则进行排序，点坐标映射到投影幕或屏幕模型上。
屏幕模型Obj是三维空间点组成的wrl或stl网格模型，是由深度相机通过数据采集后进行三维重建获得的数据。
坐标系变换中提出两个坐标系，1号坐标系与2号坐标系：
1号坐标系是由1号深度相机采集的数据形成的坐标系，坐标系中心为1号深度相机镜头中心，Z轴为1号相机拍摄方向；
2号坐标系是由2号深度相机采集的数据形成的坐标系，坐标系中心为2号深度相机镜头中心，Z轴为2号相机拍摄方向；
1号深度相机与2号深度相机型号可以不一致。
用户操作对象一般为led屏幕、投影幕、投影墙，统称为屏幕。像素点模型是将屏幕上像素点映射到三维空间下的对应模型，1号深度相机安装到屏幕前方任意位置，不限制角度与距离，需要保证能够采集整个屏幕即可，屏幕尺寸形状不限制，形状可以是平面、曲面、不规则平面。
所述步骤1具体为：
步骤1.1、通过1号深度相机获取三维场景空间点；
步骤1.2、通过手动方式或者自动方式选取特征点，特征点位置为屏幕4个角，顺序依次为左上角、右上角、右下角、左下角；
步骤1.3、未被4个特征点所包含的三维场景空间点删除掉，删除前将4个特征点进行扩大处理防止误删；
步骤1.4、剩余的三维场景空间点，采用Delaunay三角剖分算法进行三角剖分，最终得出屏幕三维网格模型数据定义为Obj。
在步骤2中，根据屏幕像素尺寸W，H；空间特征点坐标p1,p2,p3,p4；计算屏幕每一个像素点对应的像素点模型坐标，具体为：
步骤2.1、计算p1(x1,y1,z1)与p2(x2,y2,z2)之间距离D：
Figure BDA0002844705210000061
步骤2.2、计算横向空间像素点之间距离d：
Figure BDA0002844705210000071
步骤2.3、p1沿着p2-p1方向按照距离d依次生成空间像素点坐标，此时不能按照x轴方向生成，因为p1与p2没有保证与x轴平行；
步骤2.4、根据步骤2.1、步骤2.2、步骤2.3方法生成纵向空间像素点坐标；
步骤2.5、生成的空间像素点坐标，每个点的索引值对应屏幕像素坐标值；
步骤2.6、生成的空间像素点进行三角剖分得出像素点模型PixObj。
像素点模型点坐标依然在空间平面上，需要将这些点集投影到屏幕三维网格模型Obj上，这样才能保证使用像素点模型点坐标替代屏幕像素点坐标目的，所述步骤3具体为：
步骤3.1、确定投影方向，p1、p2、p3、p4，形成2组平面，p1p2p3形成A面，p3p4p1形成B面，A面向量
Figure BDA0002844705210000072
与B面向量
Figure BDA0002844705210000073
平均值得出投影向量
Figure BDA0002844705210000074
Figure BDA0002844705210000075
Figure BDA0002844705210000076
Figure BDA0002844705210000077
步骤3.2、遍历像素点模型PixObj所有点，依次投影到屏幕三维网格模型Obj表面，Obj是由无数个三角面片组成的复杂曲面，像素点模型点按照向量
Figure BDA0002844705210000078
向Obj所有三角面片依次求交点得出新的投影点，更新像素点模型PixObj；
步骤3.3、像素点模型PixObj投影到屏幕三维网格模型Obj表面后会出现点间距不等问题，采用模型横向平滑与纵向平滑，平滑后再次执行步骤3.2；执行步骤3.3次数越多精度越高。
坐标系变换：1号深度相机与2号深度相机安装位置如果相同，并且2号相机能够拍摄到屏幕，则不需要进行坐标系变换，如果2号深度相机安装到屏幕上方拍摄用户手势，并且不能拍摄到屏幕，则需要1号深度相机进行屏幕数据的采集。
在1号深度相机与2号深度相机之间添加配准板，配准板正反面标有ABC三个顶点，1号与2号深度相机采集到配准板数据后，通过手动标注，或者自动识别配准板上标签点来确定A、B、C三点空间坐标，利用A、B、C三点来实现两个坐标系变换的过程具体步骤如下：
步骤4.1、1号深度相机在采集屏幕三维网格模型Obj数据同时能够采集到配准板数据，标注点A1、B1、C1；
步骤4.2、2号深度相机安装位置采集配准板数据，标注点A2、B2、C2；
步骤4.3、1号深度相机采集数据进行缩放，计算缩放系数β；
Figure BDA0002844705210000081
Figure BDA0002844705210000082
Figure BDA0002844705210000083
Figure BDA0002844705210000084
步骤4.4、按照β对A1、B1、C1和像素点模型PixObj进行缩放；
步骤4.5、采用ICP算法计算出最优匹配参数R和t，误差函数E(R,t)为：
Figure BDA0002844705210000085
其中n为最邻近点对的个数，pi表示目标点云P中的一点，qi表示源点云Q中与pi对应的最近点，R为旋转矩阵，t为平移向量；
将像素点模型PixObj按照R和t进行变换，完成PixObj变换到2号深度相机坐标系下，实现空间手势坐标与像素点模型在同一坐标系下。
所述如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标，具体为：
步骤5.1、空间手势坐标P按照手势指向方向N与PixObj进行投影，P点与PixObj所有三角面片求交点P、；
步骤5.2、P、在PixObj寻找最近点M，获取M点序号n；
步骤5.3、序号n转换像素坐标pix(x,y),W为屏幕像素宽，H为屏幕像素高；
x＝n％w (11)
Figure BDA0002844705210000086
本发明还提出一种基于深度相机偏离用户手势控制的标定装置，所述装置由深度相机、托盘、1号伸缩杆、两个直角连接件、1号连接件、两个底座、两个垂直连接件、2号伸缩杆、2号连接件、3号伸缩杆和配准板组成；所述深度相机包括1号深度相机和2号深度相机，1号深度相机放置在托盘上，2号深度相机放置在屏幕上方，1号伸缩杆用于支撑托盘，所述1号伸缩杆的另一端与直角连接件连接，所述直角连接件的另一端与1号连接件连接，所述1号连接件的另一端与垂直连接件连接，所述垂直连接件还分别与2号伸缩杆和底座连接，所述2号伸缩杆的另一端与另一个垂直连接件连接，所述另一个垂直连接件还分别与2号连接件和另一个底座连接，所述2号连接件的另一端与另一个直角连接件连接，所述另一个直角连接件的另一端与3号伸缩杆连接，所述3号伸缩杆的另一端与配准板连接，所述装置放置于屏幕前方。所有零件可拆卸。
·深度相机：标定装置上的深度相机是非固定形式位置标记为1号深度相机位置，无需固定；
·托盘：摆放深度相机平台；
·1号伸缩杆：能够伸缩，调整深度相机高度；
·直角连接件：起到连接作用；
·1号连接件：起到连接作用；
·底座：固定整体结构；
·垂直连接件：连接作用；
·2号伸缩杆：调节深度相机与配准板之间距离；
·2号连接件：起到连接作用；
·3号伸缩杆：调节配准板高度作用；
·配准板：配准板采用非对称式三角板，正反面标注A、B、C三个顶点。
实施例
下面以实施例说明本发明的实施方法。
本实施例展示了深度相机在互动投影***空间手势标定的过程与标定数据应用过程。互动投影***硬件包括：投影仪、主机、深度相机，使用墙面充当幕布；软件包括：标定***、互动投影***。
互动投影***说明：主机连接投影机连接与深度相机，***将展示的内容UI通过投影机投射到墙面，通过深度相机识别用户指尖与指向方向来获取空间手势数据，通过空间手势控制墙面UI动画的过程。
标定
选择合适位置摆放标定装置，要求1号深度相机位置与2号深度相机位置都能拍摄到配准板，1号相机能够拍摄到完整的屏幕，并且标定板不遮挡屏幕，标定流程如下：
步骤1、将1号深度相机与主机程序进行连接；
步骤2、查看1号深度相机点云图像，点云图像是否清晰，配准板是否清晰，配准板位置是否遮挡屏幕点云，适当调整相机和配准板位置来满足条件；
步骤3、选择屏幕边界点，按照左上角p1、右上角p2、右下角p3、左下角p4顺序进行选择；
步骤4、选择配准点，按照A1、B1、C1顺序进行选择，选择位置尽量与三角配准板顶点靠近；
步骤5、生成像素点模型PixObj步骤进行了网格分割，利用p1、p2、p3、p4将屏幕模型Obj分割出来，再利用p1、p2、p3、p4构建像素点模型PixObj与计算投影方向，像素点模型按照投影方向，投射到屏幕模型表面，在经过平滑处理到投影过程执行3遍；
步骤6、导出PixObj模型文件，采用wrl格式，这样能够保证点云顺序不会被改变，同时导出1号深度相机坐标系下的配准点A1、B1、C1到ABC.txt文件中；
步骤7、主机与1号深度相机断开，连接2号深度相机；
步骤8、实时观察2号深度相机点云图像，配准板能够清晰可见；
步骤9、选择配准点顺序为A2、B2、C2，选择位置尽量与三角配准板顶点靠近；
步骤10、加载像素点模型文件PixObj.wrl与1号深度相机配准点文件ABC.txt；
步骤11、按照IPC配准算法执行坐标系变换，PixObj变换到2号深度相机坐标系下；
步骤12、导出PixObj模型。
标定数据应用
互动投影***通过深度相机获取空间手势坐标与指向，利用PixObj模型完成坐标映射过程，输出屏幕像素坐标，界面做出相应。
步骤1、互动投影***初始化完成了深度相机连接任务与加载PixObj模型任务；
步骤2、进入子线程控制的循环，实时完成手势检测与坐标映射，坐标映射完成了手势坐标按照指向方向投射到像素点模型PixObj表面上，找到最近点查询像素坐标；
步骤3、输出屏幕像素坐标；
步骤4、进入另一个子线程，利用像素点坐标集合完成行为分析、界面动作相应事件。
以上对本发明所提供的一种基于深度相机偏离用户手势控制的标定方法和装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于深度相机偏离用户手势控制的标定方法，包括1号坐标系和2号坐标系，当前空间坐标系中心是1号深度相机，Z轴是深度相机深度方向；1号深度相机安装到屏幕前方任意位置，用于采集整个屏幕数据；其特征在于：所述方法包括以下步骤：
步骤1、1号深度相机采集数据进行三维重建；
步骤2、由屏幕4个特征点生成空间像素点；
步骤3、将像素点模型PixObj点坐标投影到屏幕三维网格模型Obj上，从而使得像素点模型点坐标替代屏幕像素点坐标；
步骤4、1号深度相机采集屏幕三维网格模型Obj数据，通过屏幕三维网格模型Obj数据创建像素点模型PixObj数据，2号深度相机采集空间手势坐标，将1号深度相机坐标系下的像素点模型PixObj变换到2号深度相机坐标系下从而实现空间手势坐标、PixObj、屏幕像素坐标关系一一对应；
步骤5、如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标；如果空间手势坐标未提供指向方向，那么在空间直接寻找像素点模型PixObj最近点，查询点编号即可得出对应的屏幕像素点坐标。
2.根据权利要求1所述的方法，其特征在于：所述步骤1具体为：
步骤1.1、通过1号深度相机获取三维场景空间点；
步骤1.2、通过手动方式或者自动方式选取特征点，特征点位置为屏幕4个角，顺序依次为左上角、右上角、右下角、左下角；
步骤1.3、未被4个特征点所包含的三维场景空间点删除掉，删除前将4个特征点进行扩大处理防止误删；
步骤1.4、剩余的三维场景空间点，采用Delaunay三角剖分算法进行三角剖分，最终得出屏幕三维网格模型数据定义为Obj。
3.根据权利要求2所述的方法，其特征在于：在步骤2中，根据屏幕像素尺寸W，H；空间特征点坐标p1,p2, p3, p4；计算屏幕每一个像素点对应的像素点模型坐标，具体为：
步骤2.1、计算p1(x1,y1,z1)与p2(x2,y2,z2)之间距离D：
D=
Figure DEST_PATH_IMAGE001
(1)
步骤2.2、计算横向空间像素点之间距离d：
d=
Figure 178768DEST_PATH_IMAGE002
(2)
步骤2.3、p1沿着p2-p1方向按照距离d依次生成空间像素点坐标，此时不能按照x轴方向生成，因为p1与p2没有保证与x轴平行；
步骤2.4、根据步骤2.1、步骤2.2、步骤2.3方法生成纵向空间像素点坐标；
步骤2.5、生成的空间像素点坐标，每个点的索引值对应屏幕像素坐标值；
步骤2.6、生成的空间像素点进行三角剖分得出像素点模型PixObj。
4.根据权利要求3所述的方法，其特征在于：所述步骤3具体为：
步骤3.1、确定投影方向，p1、p2、p3、p4，形成2组平面，p1p2p3形成A面，p3p4p1形成B面，A面向量
Figure DEST_PATH_IMAGE003
与B面向量
Figure 304725DEST_PATH_IMAGE004
平均值得出投影向量
Figure DEST_PATH_IMAGE005
：
Figure 940237DEST_PATH_IMAGE006
=
Figure DEST_PATH_IMAGE007
X
Figure 518855DEST_PATH_IMAGE008
(3)
Figure DEST_PATH_IMAGE009
=
Figure 29339DEST_PATH_IMAGE010
X
Figure DEST_PATH_IMAGE011
(4)
Figure 9803DEST_PATH_IMAGE012
=
Figure DEST_PATH_IMAGE013
(5)
步骤3.2、遍历像素点模型PixObj所有点，依次投影到屏幕三维网格模型Obj表面，Obj是由无数个三角面片组成的复杂曲面，像素点模型点按照向量
Figure 816216DEST_PATH_IMAGE005
向Obj所有三角面片依次求交点得出新的投影点，更新像素点模型PixObj；
步骤3.3、像素点模型PixObj投影到屏幕三维网格模型Obj表面后会出现点间距不等问题，采用模型横向平滑与纵向平滑，平滑后再次执行步骤3.2；执行步骤3.3次数越多精度越高。
5.根据权利要求4所述的方法，其特征在于：在1号深度相机与2号深度相机之间添加配准板，配准板正反面标有ABC三个顶点，1号与2号深度相机采集到配准板数据后，通过手动标注，或者自动识别配准板上标签点来确定A、B、C三点空间坐标，利用A、B、C三点来实现两个坐标系变换的过程具体步骤如下：
步骤4.1、1号深度相机在采集屏幕三维网格模型Obj数据同时能够采集到配准板数据，标注点A1、B1、C1；
步骤4.2、2号深度相机安装位置采集配准板数据，标注点A2、B2、C2；
步骤4.3、1号深度相机采集数据进行缩放，计算缩放系数β；
β1=
Figure 678867DEST_PATH_IMAGE014
(6)
β2=
Figure DEST_PATH_IMAGE015
(7)
β3=
Figure 727463DEST_PATH_IMAGE016
(8)
β=
Figure DEST_PATH_IMAGE017
(9)
步骤4.4、按照β对A1、B1、C1和像素点模型PixObj进行缩放；
步骤4.5、采用ICP算法计算出最优匹配参数R和t，误差函数E(R, t)为：
E(R,t)=
Figure 329477DEST_PATH_IMAGE018
(10)
其中n为最邻近点对的个数，
Figure DEST_PATH_IMAGE019
表示目标点云P中的一点，
Figure 70906DEST_PATH_IMAGE020
表示源点云Q中与
Figure 155274DEST_PATH_IMAGE019
对应的最近点，R为旋转矩阵，t为平移向量；
将像素点模型PixObj按照R和t进行变换，完成PixObj变换到2号深度相机坐标系下，实现空间手势坐标与像素点模型在同一坐标系下。
6.根据权利要求5所述的方法，其特征在于：所述如果空间手势坐标提供指向方向，则空间手势坐标按照指向方向投影到像素点模型PixObj表面，寻找最近点，查询点编号即可得出对应的屏幕像素点坐标，具体为：
步骤5.1、空间手势坐标P按照手势指向方向N与PixObj进行投影，P点与PixObj所有三角面片求交点
Figure DEST_PATH_IMAGE021
；
步骤5.2、
Figure 243447DEST_PATH_IMAGE021
在PixObj寻找最近点M，获取M点序号n；
步骤5.3、序号n转换像素坐标pix(x,y), W为屏幕像素宽，H为屏幕像素高；
x=
Figure 877732DEST_PATH_IMAGE022
(11)
y=
Figure DEST_PATH_IMAGE023
(12)。
7.一种基于深度相机偏离用户手势控制的标定装置，其特征在于：所述装置由深度相机、托盘、1号伸缩杆、两个直角连接件、1号连接件、两个底座、两个垂直连接件、2号伸缩杆、2号连接件、3号伸缩杆和配准板组成；所述深度相机包括1号深度相机和2号深度相机，1号深度相机放置在托盘上，2号深度相机放置在屏幕上方，1号伸缩杆用于支撑托盘，所述1号伸缩杆的另一端与直角连接件连接，所述直角连接件的另一端与1号连接件连接，所述1号连接件的另一端与垂直连接件连接，所述垂直连接件还分别与2号伸缩杆和底座连接，所述2号伸缩杆的另一端与另一个垂直连接件连接，所述另一个垂直连接件还分别与2号连接件和另一个底座连接，所述2号连接件的另一端与另一个直角连接件连接，所述另一个直角连接件的另一端与3号伸缩杆连接，所述3号伸缩杆的另一端与配准板连接，所述装置放置于屏幕前方。
CN202011505047.5A 2020-12-18 2020-12-18 一种基于深度相机偏离用户手势控制的标定方法和装置 Active CN112462948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011505047.5A CN112462948B (zh) 2020-12-18 2020-12-18 一种基于深度相机偏离用户手势控制的标定方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011505047.5A CN112462948B (zh) 2020-12-18 2020-12-18 一种基于深度相机偏离用户手势控制的标定方法和装置

Publications (2)

Publication Number Publication Date
CN112462948A true CN112462948A (zh) 2021-03-09
CN112462948B CN112462948B (zh) 2022-10-04

Family

ID=74803620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011505047.5A Active CN112462948B (zh) 2020-12-18 2020-12-18 一种基于深度相机偏离用户手势控制的标定方法和装置

Country Status (1)

Country Link
CN (1) CN112462948B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020192A (zh) * 2021-09-18 2022-02-08 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
US20150023563A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Depth Sensor Data with Real-Time Processing of Scene Sensor Data
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN108010084A (zh) * 2017-11-20 2018-05-08 深圳市云之梦科技有限公司 一种深度摄像机重建及自动标定的方法、***、设备
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
CN108717728A (zh) * 2018-07-19 2018-10-30 安徽中科智链信息科技有限公司 一种基于多视角深度摄像机的三维重建装置及方法
CN109710071A (zh) * 2018-12-26 2019-05-03 青岛小鸟看看科技有限公司 一种屏幕控制方法和装置
CN110209997A (zh) * 2019-06-10 2019-09-06 成都理工大学 基于三维特征点的深度相机自动标定算法
US20200184684A1 (en) * 2018-12-07 2020-06-11 Industrial Technology Research Institute Depth camera calibration device and method thereof

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102982557A (zh) * 2012-11-06 2013-03-20 桂林电子科技大学 基于深度相机的空间手势姿态指令处理方法
US20150023563A1 (en) * 2013-07-16 2015-01-22 Texas Instruments Incorporated Depth Sensor Data with Real-Time Processing of Scene Sensor Data
CN106125994A (zh) * 2016-06-17 2016-11-16 深圳迪乐普数码科技有限公司 坐标匹配方法及使用该坐标匹配方法的操控方法和终端
CN108010084A (zh) * 2017-11-20 2018-05-08 深圳市云之梦科技有限公司 一种深度摄像机重建及自动标定的方法、***、设备
CN108038885A (zh) * 2017-11-29 2018-05-15 深圳奥比中光科技有限公司 多深度相机标定方法
CN108717728A (zh) * 2018-07-19 2018-10-30 安徽中科智链信息科技有限公司 一种基于多视角深度摄像机的三维重建装置及方法
US20200184684A1 (en) * 2018-12-07 2020-06-11 Industrial Technology Research Institute Depth camera calibration device and method thereof
CN109710071A (zh) * 2018-12-26 2019-05-03 青岛小鸟看看科技有限公司 一种屏幕控制方法和装置
CN110209997A (zh) * 2019-06-10 2019-09-06 成都理工大学 基于三维特征点的深度相机自动标定算法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DIANA 等: ""A multiple camera calibration and point cloud fusion tool for Kinect V2"", 《SCIENCE OF COMPUTER PROGRAMMING》 *
张振普 等: ""摄像机标定的研究进展综述"", 《信息与电脑》 *
毋戈: ""基于多个深度相机的足部三维重建及形态分析"", 《中国博士学位论文全文数据库(信息科技辑)》 *
鲁栋栋: ""基于多深度相机标定的点云数据模型重构"", 《中国优秀硕士学位论文全文数据库(信息科技辑)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020192A (zh) * 2021-09-18 2022-02-08 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和***
CN114020192B (zh) * 2021-09-18 2024-04-02 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和***

Also Published As

Publication number Publication date
CN112462948B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
US9001120B2 (en) Using photo collections for three dimensional modeling
CN104937635B (zh) 基于模型的多假设目标追踪器
CN103810744B (zh) 在点云中回填点
US8265374B2 (en) Image processing apparatus, image processing method, and program and recording medium used therewith
JP5094663B2 (ja) 位置姿勢推定用モデル生成装置、位置姿勢算出装置、画像処理装置及びそれらの方法
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
Zhu et al. Video-based outdoor human reconstruction
WO2023284713A1 (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN111354007B (zh) 一种基于纯机器视觉定位的投影交互方法
KR20140033868A (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
CN105741290A (zh) 一种基于增强现实技术的印制电路板信息指示方法及装置
CN110312111A (zh) 用于图像装置的自动校准的装置、***和方法
WO2022021782A1 (zh) 六维姿态数据集自动生成方法、***、终端以及存储介质
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、***及存储介质
JP2019020778A (ja) 情報処理装置、情報処理方法
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN112462948B (zh) 一种基于深度相机偏离用户手势控制的标定方法和装置
CN117115358A (zh) 数字人自动建模方法及装置
Zhong et al. Triple screening point cloud registration method based on image and geometric features
JP2018036884A (ja) 光源推定装置及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant