CN114356102A - 基于指纹图像的三维物体绝对姿态控制方法及装置 - Google Patents

基于指纹图像的三维物体绝对姿态控制方法及装置 Download PDF

Info

Publication number
CN114356102A
CN114356102A CN202210114014.0A CN202210114014A CN114356102A CN 114356102 A CN114356102 A CN 114356102A CN 202210114014 A CN202210114014 A CN 202210114014A CN 114356102 A CN114356102 A CN 114356102A
Authority
CN
China
Prior art keywords
dimensional
fingerprint
finger
verification
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210114014.0A
Other languages
English (en)
Inventor
冯建江
周杰
段永杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210114014.0A priority Critical patent/CN114356102A/zh
Publication of CN114356102A publication Critical patent/CN114356102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于指纹图像的三维物体绝对姿态控制方法及装置，其中方法包括，实时采集当前手指的指纹图像；根据序列图像，推测出当前手指的三维姿态；将当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态；将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。本发明的三维绝对姿态控制方法可以有效拓展现有的人机交互方式，为三维空间中的物体姿态控制提供便利。

Description

基于指纹图像的三维物体绝对姿态控制方法及装置
技术领域
本发明涉及人机交互领域，尤其涉及三维姿态控制问题。
背景技术
随着人机交互技术的不断发展，人类与机器之间的交互方式有了不断的变化与发展。在游戏、虚拟现实(VR)、安防监控、航天器操控、车辆控制、机器人控制、三维设计等领域中，摄像机、3D模型、飞机、汽车等物体大都存在于三维空间中，因此能够精确、高效的对目标物体的三维姿态进行控制是一个非常重要的需求。现在已有的技术中，直接输出三维控制信号的物体姿态控制***还较少，常用的控制输入设备为传统鼠标，然后通过控制鼠标在二维平面上的移动方向、速度和位移距离来对目标物体的姿态进行控制，由于被控制的物体往往存在于三维空间中，因此需要将传统鼠标输出的2D信号与三维姿势进行复杂映射。直观来说，直接使用三维空间中的控制信号更加符合人类的使用直觉，因此能够在很大程度上提高控制***的精度和速度。
在已有的三维目标物体姿态控制方案中，仍然存在以下的局限性和不足：
基于2D控制信号的三维姿态控制***需要单独设计2D信号与3D姿态控制之间的映射关系，因此控制方式不符合人类的直观感受，需要用户在使用前进行一定时间和程度的学习，并且在使用过程中需要时刻监视目标物体的姿态变化来感知当前的控制反馈；
除了传统鼠标之外，也出现了受到航天器控制所启发的3D鼠标来应对较为复杂的三维姿态控制场景，但是这类设备大多需要复杂、精细的机械结构设计，导致造价较为昂贵，难以与现有的人机交互设备进行融合，不利于大面积的消费市场普及。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于指纹图像的三维物体绝对姿态控制方法，用于为三维空间中的物体姿态控制提供便利。
本发明的第二个目的在于提出一种基于指纹图像的三维物体绝对姿态控制装置。
为达上述目的，本发明第一方面实施例提出了一种基于指纹图像的三维物体绝对姿态控制方法，包括：实时采集当前手指的指纹图像；根据序列图像，推测出当前手指的三维姿态；将当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态；将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。
本发明实施例提出的基于指纹图像的三维物体绝对姿态控制方法，给定某交互设备上采集的某手指的指纹图像，能够首先预测出手指的三维姿态，将其用于控制现实世界中或者虚拟世界中的目标物体，从而作为一种新型的人机交互***。本发明中，首先根据传感器采集的2D指纹图像预测当前手指的三维姿态，然后将手指的三维姿态作为输入控制信号，对现实世界或者虚拟世界中的目标物体进行姿态控制。本发明中，三维绝对姿态控制***的输入是2D的指纹图像，输出为当前手指的三维姿态，用于控制目标物体的三维绝对姿态。本发明的三维绝对姿态控制***可以有效拓展现有的人机交互方式，为三维空间中的物体姿态控制提供便利。
另外，根据本发明上述实施例的基于指纹图像的三维物体绝对姿态控制方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，实时采集当前手指的指纹图像，还包括：
对指纹序列图像进行预处理，去除背景噪声并对指纹脊线进行增强。
进一步地，在本发明的一个实施例中，将所述当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态，包括：
根据需要灵活选择手指姿态与被控制物体的姿态之间的映射关系，其中包括，将手指的横滚角映射为物体的偏航角、手指的俯仰角映射为物体的横滚角，使用相同精度的映射函数；
将手指的两个角度同时映射为物体的同一个角度，使用不同精度的映射函数。
进一步地，在本发明的一个实施例中，在根据三维输入信号控制目标物体在三维空间中的绝对姿态之前，还包括：
对指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物***姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物***姿控制。
进一步地，在本发明的一个实施例中，还包括：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
为达上述目的，本发明第二方面实施例提出了一种基于指纹图像的三维物体绝对姿态控制，其中包括，采集模块，用于实时采集当前手指的指纹图像；预测模块，用于根据序列图像，推测出当前手指的三维姿态；映射模块，用于将当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态；解算模块，用于将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。
进一步地，在本发明的一个实施例中，采集模块，还用于：
对指纹序列图像进行预处理，去除背景噪声并对指纹脊线进行增强。
进一步地，在本发明的一个实施例中，映射模块，还用于：
在根据所述三维输入信号控制目标物体在三维空间中的绝对姿态之前，
对所述指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物***姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物***姿控制。
进一步地，在本发明的一个实施例中，还包括验证模块，用于：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
进一步地，在本发明的一个实施例中，还包括个性化控制模块，用于：
通过将指纹识别技术与基于指纹的三维位姿控制进行结合，可以实现个性化的控制参数。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种基于指纹图像的三维物体绝对姿态控制方法的流程示意图。
图2为本发明实施例所提供的一种基于指纹图像的三维物体绝对姿态控制装置的流程示意图。
图3为本发明实施例所提供的基于指纹图像的三维绝对姿态控制***流程图。
图4为本发明实施例所提供的手指姿态定义示意图。
图5为本发明实施例所提供的手指常用姿态覆盖区间示意图。
图6为本发明实施例所提供的一种线性控制信号曲线示意图。
图7为本发明实施例所提供的一种非线性控制信号曲线示意图。
图8为本发明实施例所提供的逐帧验证的姿态控制***示意图。
图9为本发明实施例所提供的首帧验证的姿态控制***示意图。
图10为本发明实施例所提供的基于指纹验证的自适应姿态控制***示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的基于指纹图像的三维物体绝对姿态控制方法和装置。
图1为本发明实施例所提供的一种基于指纹图像的三维物体绝对姿态控制方法的流程示意图。
如图1所示，该基于指纹图像的三维物体绝对姿态控制方法包括以下步骤：
S1：实时采集当前手指的指纹图像；
随着指纹传感技术的不断发展，除了传统的光学指纹采集方式，在现有的各种触摸屏设备中也可以集成指纹采集设备来获取到指纹图像。指纹的脊线信息蕴含了丰富的手指信息，包括采集指纹时的手指姿态信息，因此可以根据指纹图像推测出手指的三维姿态。而将手指姿态作为三维输入信号，从而可以方便、直观地对目标物体的三维姿态进行控制，这里的目标物体包括摄像机、3D模型、机械臂、车辆、航天器等需要多自由度控制的物体。同时，基于指纹图像的手指姿态信号还可以与多种人机交互技术(例如基于触摸屏的手势操作)进行结合，进一步拓展交互方式的多样性，而结合了指纹身份信息的控制***也具有更高的安全性与个性化设置。
本发明整体分为三个阶段，分别是采集指纹图像、获取手指姿态和目标物体姿态控制。在第一阶段中，获取指纹采集设备中的指纹图像，由于人机交互一般需要较高的实时性，因此采集指纹图像是实时进行的；在第二阶段中，基于采集得到的指纹图像预测当前手指的三维姿态，作为后续控制***的信号输入；在第三阶段中，将得到的手指三维姿态作为控制信号，用于控制目标物体在三维空间中的绝对姿态。第一阶段是本发明的基础步骤，采集得到的指纹图像中含有当前手指的三维姿态信息；第二阶段根据指纹图像估计手指的三维姿态；第三阶段则将预测的手指三维姿态作为控制***的姿态控制信号，从而指定被控制物体在三维空间中的目标姿态，通过姿态路径规划，使得被控制物体达到用户手指所指定的目标三维姿态。本发明包括指纹图像的采集、基于指纹图像的手指三维姿态估计以及基于手指姿态的目标物体三维姿态控制。本发明的流程图见附图3。本发明还提出了将指纹识别和姿态控制结合，实现控制的安全性和个性化。
本发明需要采集指纹图像，相比于传统触摸屏设备中的电容图像，指纹图像包含有更多手指的形状以及姿态信息，因此可以用于精确估计手指在三维空间中的姿态。获取的指纹图像的传感技术有很多，例如光学指纹采集仪、光学屏下指纹采集仪以及超声波屏下指纹采集仪等，本发明可应用于各种指纹传感技术。由于需要估计的手指三维姿态来实时、精确地控制目标物体的三维姿态，因此需要对指纹图像数据进行实时采集，即采集指纹序列图像数据。
S2：根据序列图像，推测出当前手指的三维姿态；将当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态；
进一步地，在本发明的一个实施例中，实时采集当前手指的指纹图像，还包括：
对指纹序列图像进行预处理，去除背景噪声并对指纹脊线进行增强。
根据指纹图像中的指纹脊线方向、指纹区域形状等信息，可以推测出当前手指的三维姿态。以下仅叙述一种典型的手指姿态估计算法，以辅助对本发明中该阶段的理解。具体来说，本发明中根据采集得到的指纹图像，估计当前手指的三维姿态，来作为后续的控制信号。
由于不同传感器得到的指纹图像模态与质量存在较大差异，因此需要首先对采集得到的图像进行预处理，去除背景噪声并对指纹脊线进行增强。根据经过预处理的指纹图像对当前手指的三维姿态进行估计。本发明中以基于深度学习的姿态估计算法为例，算法的输入为经过图像预处理的指纹图像，输出为预测的手指三维姿态，手指三维姿态定义见附图4，由三个角度表示，分别为横滚角α、俯仰角β和偏航角γ。
S3：将当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态；
进一步地，在本发明的一个实施例中，将所述当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态，包括：
根据需要灵活选择手指姿态与被控制物体的姿态之间的映射关系，其中包括，将手指的横滚角映射为物体的偏航角、手指的俯仰角映射为物体的横滚角，使用相同精度的映射函数；
将手指的两个角度同时映射为物体的同一个角度，使用不同精度的映射函数。
本发明中目标物体绝对姿态控制分为两个步骤，分别是手指姿态与物体姿态控制的映射和姿态变换解算。
首先根据指纹图像得到手指的三维姿态P＝(pα，pβ，pγ)后，可以将这一姿态映射为三维控制信号，用来控制目标物体(例如摄像机、3D模型等)的三维姿态。考虑到不同用户在进行物体姿态控制时手指操作习惯的不同，需要首先指定手指三维姿态零点P0，零点的定义方式有很多种，可以将其设定为一个固定值(例如横滚角0°、俯仰角-45°以及偏航角0°)；也可以选择特定某帧指纹图像(例如交互开始时获取的第一帧图像)，然后将基于该图像估计的手指三维姿态作为零点P0，本发明中以这种零点定义方式为例，计算上一阶段中基于每帧图像估计的手指姿态相对于姿态零点P0的相对数值，
P′＝(p′α，p′β，p′γ)，
并将其映射为姿态控制***的输入信号。由于手指能够方便做出的姿态范围有限(见附图5)，为了能够完整、充分地控制目标物体的三维绝对姿态，还需要对作为控制信号的手指三维姿态进行控制范围上的映射。设定Q＝(qα，qβ，qγ)为被控制物体的目标姿态，举例有如下映射：
qα＝g1(p′α)
qβ＝g2(p′β)
qγ＝g3(p′γ)
其中，g1(·)、g2(·)、g3(·)等为将手指三维姿态映射为目标物体三维姿态的控制信号函数，映射函数的定义方式较多，本发明中以简单朴素的线性映射函数q(x)＝sx为例(如附图6所示)，对三维绝对姿态控制***进行说明。
当|s|＝1时，g(·)为恒等映射，将估计得到的手指三维姿态直接作为被控制物体的目标姿态，在这种映射方式下，由于手指可达到的姿态区间有限(如附图5所示)，因此导致可控制的三维姿态范围也会受到限制；
当|s|＜1时，g(·)为压缩映射，将估计得到的手指三维姿态数值缩小后作为被控制物体的目标姿态，在这种映射方式下，大范围的手指姿态变化会使被控制物体的姿态发生小范围的变化，因此可以对物体的姿态进行更加精细的控制；
当|s|＞1时，g(·)为放大映射，将估计得到的手指三维姿态数值放大后作为被控制物体的目标姿态，在这种映射方式下，小范围的手指姿态变化会使被控制物体的姿势发生大范围的变化，因此可以对物体的姿态进行大范围、快速的粗略控制，可以更快速地将目标物体变换至想要的三维姿态下。
另一种映射为非线性映射，以附图7所示为例，可以将手指姿态量化为若干离散的物体姿态。此时可以快速将物体准确调整为常见姿态，而不需要考虑手指姿态的细微差异。
考虑到同一手指不同角度(横滚、俯仰以及偏航角)的舒适范围不同、包含指纹信息的范围也不同，不同角度可以使用各自的映射函数。例如，由于手指在俯仰角度可以变化的区间较小(约90度)，在俯仰角度上使用s＝4的放大映射，可以使得***控物体的姿态变化范围增大到360度。而偏航角虽然有效范围可以是360度，但舒适范围大约为90度，也可以使用s＝4的放大映射。而横滚角的范围大约为180度，因此使用s＝2的放大映射。
手指姿态与被控制物体的姿态映射关系有很多种，不需要保持名称上的一致，而是可以根据需要灵活选择映射关系。例如手指的横滚角可以映射为物体的偏航角、手指的俯仰角映射为物体的横滚角，甚至可以将手指的两个角度同时映射为物体的同一个角度，但是使用不同精度的映射函数，从而通过一根手指实现不同精度的姿态控制。
S4：将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。
在给定了被控制物体的目标姿态后，需要将物体变换至手指所指定的目标姿态。在这一步中，针对被控制物体的不同，姿态的变换方式也有较大的差别，例如在控制虚拟世界中的三维物体时，可以不考虑物理规律的限制，直接将物体变换至目标姿态，但是在控制诸如机械臂、监控摄像机等现实世界中的物体时，由于不能进行瞬时的姿态变化，需要根据目标姿态进行路径规划，计算物体变换至目标姿态所需要的最佳路径。该问题在机器人控制领域是一个较为成熟的问题，已经有很多的成熟算法可以使用，下面仅叙述一种简单的变换路径来进行说明：首先计算所要达到的目标姿态相对当前物体姿态的相对姿态变换，将这一姿态变换用轴角表示：轴
Figure BDA0003495677150000071
和角
Figure BDA0003495677150000072
代表可以将被控制物体从当前姿态绕轴ω旋转θ角度达到目标姿态，根据这一姿态变换公式，物体姿态变换的过程可通过时间插值的方式在一定的时间隔内平滑地变换至目标姿态。
下面对几种常见的目标物体控制应用本发明的三维绝对位姿控制***进行举例说明，以下物体可以存在于虚拟世界中或者现实世界中。对于三维物体模型，可以简单的将手指的横滚角映射为物体的横滚角、俯仰角映射为物体的俯仰角、而偏航角映射为物体的偏航角；对于摄像机控制，可以将手指的横滚角映射为摄像机的横滚旋转、俯仰角映射为摄像机的上下俯仰、而偏航角映射为摄像机的左右旋转；对于PTZ摄像机控制，则可以将手指的俯仰角映射为摄像机的上下俯仰、而偏航角映射为摄像机的左右旋转；对于四旋翼飞机控制，可以将手指的横滚角映射为飞机的左右滚转并位移、俯仰角映射为飞机的前后滚转并位移；对于固定翼飞机控制，映射方式更为直接，可以将手指的横滚角映射为飞机的横滚控制、俯仰角映射为俯仰控制。
进一步地，在本发明的一个实施例中，在根据三维输入信号控制目标物体在三维空间中的绝对姿态之前，还包括：
对指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物***姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物***姿控制。
此外，通过将现有的指纹识别技术与基于指纹的姿态控制进行结合，可以进一步拓宽控制***的安全性与隐私权限控制。例如在高机密性的控制***中，仅允许合法的注册用户进行控制。下面说明两种引入指纹识别的方法。附图8是逐帧验证方式的示意图，此时每帧图像都需要经过指纹识别***验证通过后才允许进行后续的物体姿态控制。附图9是首帧验证方式的示意图，此时仅需要对手指按下时的首帧图像进行指纹识别，验证通过后只要手指不离开控制设备，就可以持续进行后续的物体姿态控制，而手指一旦离开，则需要重新进行身份验证。
进一步地，在本发明的一个实施例中，还包括：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
此外，通过将指纹识别技术与基于指纹的姿态控制进行结合，可以实现个性化的控制参数。例如，对于多个注册的指纹(不同用户的指纹或者一个用户的不同指纹)，分别设置各自的角度映射函数。基于指纹识别的结果调用对应的角度映射函数，而未注册的手指则使用默认的角度映射函数(如附图10所示)。
本发明实施例提出的基于指纹图像的三维物体绝对姿态控制方法，给定某交互设备上采集的某手指的指纹图像，能够首先预测出手指的三维姿态，将其用于控制现实世界中或者虚拟世界中的目标物体，从而作为一种新型的人机交互***。本发明中，首先根据传感器采集的2D指纹图像预测当前手指的三维姿态，然后将手指的三维姿态作为输入控制信号，对现实世界或者虚拟世界中的目标物体进行姿态控制。本发明中，三维绝对姿态控制***的输入是2D的指纹图像，输出为当前手指的三维姿态，用于控制目标物体的三维绝对姿态。本发明的三维绝对姿态控制***可以有效拓展现有的人机交互方式，为三维空间中的物体姿态控制提供便利。
为了实现上述实施例，本发明还提出一种基于指纹图像的三维物体绝对姿态控制装置。
图2为本发明实施例提供的一种基于指纹图像的三维物体绝对姿态控制装置的结构示意图。
如图2所示，该基于指纹图像的三维物体绝对姿态控制装置包括：采集模块10，预测模块20，映射模块30，解算模块40，其中，采集模块，用于实时采集当前手指的指纹图像；预测模块，用于根据序列图像，推测出当前手指的三维姿态；映射模块，用于将当前手指的三维姿态映射为三维输入信号，根据三维输入信号控制目标物体在三维空间中的绝对姿态；解算模块，用于将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。
进一步地，在本发明的一个实施例中，采集模块，还用于：
对指纹序列图像进行预处理，去除背景噪声并对指纹脊线进行增强。
进一步地，在本发明的一个实施例中，映射模块，还用于：
在根据所述三维输入信号控制目标物体在三维空间中的绝对姿态之前，
对所述指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物***姿控制；首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物***姿控制。
进一步地，在本发明的一个实施例中，还包括验证模块，用于：
对不同的指纹图像设置各自的角度映射函数，基于指纹识别的结果调用对应的角度映射函数。
进一步地，在本发明的一个实施例中，还包括个性化控制模块，用于：
通过将指纹识别技术与基于指纹的三维位姿控制进行结合，可以实现个性化的控制参数。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例，可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于指纹图像的三维物体绝对姿态控制方法，其特征在于，包括以下步骤：
实时采集当前手指的指纹图像；
根据所述序列图像，推测出当前手指的三维姿态；
将所述当前手指的三维姿态映射为三维输入信号，根据所述三维输入信号控制目标物体在三维空间中的绝对姿态；
将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。
2.根据权利要求1所述的方法，其特征在于，所述实时采集当前手指的指纹图像，还包括：
对所述指纹序列图像进行预处理，去除背景噪声并对指纹脊线进行增强。
3.根据权利要求1所述的方法，其特征在于，所述将所述当前手指的三维姿态映射为三维输入信号，根据所述三维输入信号控制目标物体在三维空间中的绝对姿态，包括：
根据需要灵活选择手指姿态与被控制物体的姿态之间的映射关系，其中包括，将手指的横滚角映射为物体的偏航角、手指的俯仰角映射为物体的横滚角，使用相同精度的映射函数；
将手指的两个角度同时映射为物体的同一个角度，使用不同精度的映射函数。
4.根据权利要求1所述的方法，其特征在于，在根据所述三维输入信号控制目标物体在三维空间中的绝对姿态之前，还包括：
对所述指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，所述逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物体姿态控制；所述首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物体姿态控制。
5.根据权利要求1或4所述的方法，其特征在于，还包括：
对不同的指纹图像设置各自的角度映射函数，基于所述指纹识别的结果调用对应的角度映射函数。
6.一种基于指纹图像的三维物体绝对姿态控制装置，其特征在于，包括：
采集模块，实时采集当前手指的指纹图像；
预测模块，根据所述序列图像，推测出当前手指的三维姿态；
映射模块，将所述当前手指的三维姿态映射为三维输入信号，根据所述三维输入信号控制目标物体在三维空间中的绝对姿态；
解算模块，将经过控制后得到的绝对姿态作为目标姿态，计算将被控制物体变换至目标姿态的变换路径。
7.根据权利要求6所述的装置，其特征在于，所述采集模块，还用于：
对所述指纹序列图像进行预处理，去除背景噪声并对指纹脊线进行增强。
8.根据权利要求6所述的装置，其特征在于，所述映射模块，还用于：
在根据所述三维输入信号控制目标物体在三维空间中的绝对姿态之前，
对所述指纹图像进行指纹识别验证，包括逐帧验证以及首帧验证；其中，所述逐帧验证包括每帧指纹图像都需要经过指纹识别并验证通过后才允许进行后续的物***姿控制；所述首帧验证包括对指纹图像的首帧图像进行指纹识别，验证通过后保持手指不离开控制设备，以持续进行后续的物***姿控制。
9.根据权利要求6所述的装置，其特征在于，还包括验证模块，用于：
对不同的指纹图像设置各自的角度映射函数，基于所述指纹识别的结果调用对应的角度映射函数。
10.根据权利要求6所述的装置，其特征在于，还包括个性化控制模块，用于：
通过将指纹识别技术与基于指纹的三维位姿控制进行结合，可以实现个性化的控制参数。
CN202210114014.0A 2022-01-30 2022-01-30 基于指纹图像的三维物体绝对姿态控制方法及装置 Pending CN114356102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210114014.0A CN114356102A (zh) 2022-01-30 2022-01-30 基于指纹图像的三维物体绝对姿态控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210114014.0A CN114356102A (zh) 2022-01-30 2022-01-30 基于指纹图像的三维物体绝对姿态控制方法及装置

Publications (1)

Publication Number Publication Date
CN114356102A true CN114356102A (zh) 2022-04-15

Family

ID=81093518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210114014.0A Pending CN114356102A (zh) 2022-01-30 2022-01-30 基于指纹图像的三维物体绝对姿态控制方法及装置

Country Status (1)

Country Link
CN (1) CN114356102A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05223547A (ja) * 1992-02-13 1993-08-31 Nippon Telegr & Teleph Corp <Ntt> 三次元物体データの姿勢制御装置
CN103631496A (zh) * 2007-01-05 2014-03-12 苹果公司 利用触摸敏感设备控制、操纵和编辑媒体文件的姿态
CN109325444A (zh) * 2018-09-19 2019-02-12 山东大学 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法
CN110102044A (zh) * 2019-03-15 2019-08-09 歌尔科技有限公司 基于智能手环的游戏控制方法、智能手环及存储介质
CN113570699A (zh) * 2021-06-24 2021-10-29 清华大学 三维指纹重建的方法和装置
CN113569638A (zh) * 2021-06-24 2021-10-29 清华大学 由平面指纹估计手指三维姿态的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05223547A (ja) * 1992-02-13 1993-08-31 Nippon Telegr & Teleph Corp <Ntt> 三次元物体データの姿勢制御装置
CN103631496A (zh) * 2007-01-05 2014-03-12 苹果公司 利用触摸敏感设备控制、操纵和编辑媒体文件的姿态
CN109325444A (zh) * 2018-09-19 2019-02-12 山东大学 一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法
CN110102044A (zh) * 2019-03-15 2019-08-09 歌尔科技有限公司 基于智能手环的游戏控制方法、智能手环及存储介质
CN113570699A (zh) * 2021-06-24 2021-10-29 清华大学 三维指纹重建的方法和装置
CN113569638A (zh) * 2021-06-24 2021-10-29 清华大学 由平面指纹估计手指三维姿态的方法和装置

Similar Documents

Publication Publication Date Title
WO2023000119A1 (zh) 手势识别方法、装置、***及车辆
US20180186452A1 (en) Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation
US20140139429A1 (en) System and method for computer vision based hand gesture identification
JP2014501011A5 (zh)
CN110045829B (zh) 利用用户接口的事件的设备和方法
CN112750198B (zh) 一种基于非刚性点云的稠密对应预测方法
CN111444764A (zh) 一种基于深度残差网络的手势识别方法
CN111639531A (zh) 一种基于手势识别的医学模型交互可视化方法及***
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN106406518A (zh) 手势控制装置及手势识别方法
Wang et al. Immersive human–computer interactive virtual environment using large-scale display system
US10133470B2 (en) Interfacing device and method for providing user interface exploiting multi-modality
CN115712384A (zh) 一种基于姿态传感器的手势控制方法、装置以及***
Huang et al. Conceptual three-dimensional modeling using intuitive gesture-based midair three-dimensional sketching technique
Xiao et al. A hand gesture-based interface for design review using leap motion controller
Wu et al. An overview of gesture recognition
O'Hagan et al. Visual gesture interfaces for virtual environments
Dai et al. Federated filter algorithm with positioning technique based on 3D sensor
CN114356102A (zh) 基于指纹图像的三维物体绝对姿态控制方法及装置
Xing et al. Robust event detection based on spatio-temporal latent action unit using skeletal information
Kim et al. Hand shape recognition using fingertips
Sung et al. Motion quaternion-based motion estimation method of MYO using K-means algorithm and Bayesian probability
JPH08212327A (ja) 身振り認識装置
CN114356103A (zh) 基于指纹图像的三维位姿增量控制方法及装置
Shah et al. Gesture recognition technique: a review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination