WO2019128088A1 - 一种基于投影机和摄相机的手势识别方法和装置 - Google Patents

一种基于投影机和摄相机的手势识别方法和装置 Download PDF

Info

Publication number
WO2019128088A1
WO2019128088A1 PCT/CN2018/088869 CN2018088869W WO2019128088A1 WO 2019128088 A1 WO2019128088 A1 WO 2019128088A1 CN 2018088869 W CN2018088869 W CN 2018088869W WO 2019128088 A1 WO2019128088 A1 WO 2019128088A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
projector
camera
content
calibration content
Prior art date
Application number
PCT/CN2018/088869
Other languages
English (en)
French (fr)
Inventor
杨伟樑
高志强
林杰勇
Original Assignee
广景视睿科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广景视睿科技（深圳）有限公司 filed Critical 广景视睿科技（深圳）有限公司
Publication of WO2019128088A1 publication Critical patent/WO2019128088A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]

Definitions

  • the present application relates to the field of computer vision technology, and in particular, to a gesture recognition method and apparatus based on a projector and a camera.
  • the distance is not too far relative to the collection end of the television. Therefore, its accuracy is relatively guaranteed.
  • the same acquisition device cannot guarantee accurate acquisition of the real target object, especially the information of the location and contour information collected by the acquisition device (usually the acquisition device)
  • the rendering device will be set together, the purpose of which is to facilitate the installation and precision control of the device) and the distance between the actual target object causes a decrease in accuracy.
  • This problem has become the current constraint for the projector to achieve accurate target acquisition and virtual object generation. The main technical bottleneck.
  • the technical problem to be solved by the present application is to solve the reduction of the accuracy of the collection of the real target object, especially the collection of the information of the location and the contour of the target object in the prior art.
  • the distance between the device (usually a camera) and the actual target object causes a problem of reduced accuracy.
  • the present application provides a gesture recognition method based on a projector and a camera.
  • the projector and the camera are placed according to a preset position, and the method includes:
  • the camera captures the image content of the target object in the projection screen of the projector, and feeds back to the processor, so that the processor parses the first position and/or contour information of the target object according to the image content;
  • the processor generates a target object calibration content according to the first location, and the target object calibration content is projected to a position of the projection screen by the projector; wherein the location calibration content is according to the first location of the target object And/or contour information generation;
  • the processor determines that the camera collects information about the calibration content of the target object in the projection screen, the first position and/or contour information of the target object is collated according to the collected result of the feedback.
  • the calibration content is specifically: image information generated by the processor according to the first position and/or contour information of the target object, and is imaged into the projection screen through a projector lens perspective; and the projection After the calibration content is projected, when the first position of the target object and/or the accuracy of the contour information reaches a preset requirement, the calibration content is completely occluded by the target object with respect to the projection screen.
  • the correcting the first position and/or the contour information of the target object according to the collected result of the feedback includes:
  • the collection result includes a part of the calibration content projected onto the screen in the x-axis direction and the y-axis direction, wherein part of the calibration content projected onto the screen is an overflow of the calibration content;
  • the positive direction of the x-axis is to the right and the positive direction of the y-axis is upward.
  • the correcting the first position and/or the contour information of the target object according to the collected result of the feedback further comprising:
  • the size of the calibration content is reduced according to the left and right overflow values, and the proofreading process for the left side overflow or the right side overflow is continued;
  • the calibration content size is reduced according to the upper and lower overflow values, and the proofreading process for the upper overflow or the lower overflow is continued.
  • a three-dimensional model of the target object is generated according to the first position and/or contour information of the collated completed target object; wherein the three-dimensional model of the target object is used for the projector to be combined and presented in the projected content.
  • the target object is one or more of an operator's palm, equipment, and table and chair.
  • the preset position is that the distance between the lens of the camera and the lens of the projector is less than 10 cm, and the camera lens can completely collect the projection picture information projected by the projector lens.
  • the present application further provides a projector and camera-based gesture recognition apparatus, including a memory and a processor, wherein the memory and the processor are connected by a data bus, and the memory is stored with the An instruction program executed by at least one processor, the processor being specifically configured to:
  • the first position and/or contour information of the target object is collated.
  • the calibration content is specifically:
  • the calibration content is completely occluded by the target object with respect to the projection screen.
  • the device further comprises a projection unit and an imaging unit:
  • the projection unit is configured to deliver normal image information to the projection screen, and calibration information corresponding to the target object generated by the processor;
  • the camera unit is configured to collect first position and/or contour information of the target object in reality, and is also used to collect calibration information overflowed in the projection screen.
  • the embodiment of the present application further provides a non-volatile computer storage medium, where the computer storage medium stores computer executable instructions, which are executed by one or more processors for completing The projector and camera based gesture recognition method of the first aspect.
  • the camera is used to collect a target object (for example, a palm), and the projector not only needs to complete the normal projection content but also completes the delivery of the calibration content given by the processor.
  • a target object for example, a palm
  • the projector not only needs to complete the normal projection content but also completes the delivery of the calibration content given by the processor.
  • an approximate position is calculated.
  • the calibration content is delivered by the projector and delivered to the corresponding position. If all the target objects are occluded, and no calibration content overflows to the projection screen, the target is determined.
  • the positioning and/or contour information of the object is accurate; otherwise, if the camera captures the calibration content on the screen at this time, it indicates that the positioning and/or contour information of the target object is determined to be inaccurate at this time, and thus needs to be collected according to the acquisition. The result is recalibrated.
  • the solution proposed by the present application can achieve higher precision. Moreover, errors due to insufficient accuracy of the device itself can be avoided; because the calibration of the device error can be achieved by collecting the calibration content.
  • FIG. 1 is a schematic structural diagram of a gesture recognition device based on a projector and a camera provided by an embodiment of the present application;
  • FIG. 2 is a schematic flow chart of a gesture recognition method based on a projector and a camera provided by an embodiment of the present application;
  • FIG. 3 is a schematic diagram of an effect of the calibration content being completely occluded by a real target object according to an embodiment of the present application
  • FIG. 4 is a schematic diagram of an effect of a left side overflow of a calibration content provided by an embodiment of the present application
  • FIG. 5 is a schematic diagram of an effect of a right side overflow of a calibration content according to an embodiment of the present application.
  • FIG. 6 is a schematic structural diagram of a gesture recognition device based on a projector and a camera provided by an embodiment of the present application.
  • the embodiment 1 of the present application provides a gesture recognition method based on a projector and a camera.
  • the projector 11 and the camera 12 are placed according to a preset position.
  • the preset position is the camera 12 .
  • the distance between the lens and the lens of the projector 11 is less than 10 cm.
  • the method includes:
  • step 201 the camera 12 captures the image content of the target object included in the projected image of the projector 11 and feeds it back to the processor, so that the processor parses the first position and/or contour information of the target object according to the image content.
  • step 202 the processor generates target object calibration content according to the first location, and the target object calibration content is projected by the projector 11 to a position of the projection screen; wherein the location calibration content is based on The first location and/or profile information of the target object is generated.
  • step 203 if the processor determines that the camera 12 collects information about the calibration content of the target object in the projection screen, the first position and/or contour information of the target object is collated according to the collected result of the feedback.
  • the camera 12 is used to collect a target object (for example, a palm), and the projector 11 not only needs to complete the normal projection content but also completes the delivery of the calibration content given by the processor.
  • a target object for example, a palm
  • the projector 11 not only needs to complete the normal projection content but also completes the delivery of the calibration content given by the processor.
  • an approximate position is calculated, and then the calibration content is delivered by the projector 11 and placed on the corresponding position.
  • the solution proposed by the present application can achieve higher precision. Moreover, errors due to insufficient accuracy of the device itself can be avoided; because the calibration of the device error can be achieved by collecting the calibration content.
  • the calibration content specifically: generated by the processor according to the first location and/or contour information of the target object, and passed through the projector. 11 lens view is placed on the image information in the projection screen; and, after the projector 11 projects the calibration content, when the first position of the target object and/or the accuracy of the contour information reaches a preset requirement, A projection screen, the calibration content is completely occluded by the target object.
  • the calibration content may be that after the processor acquires the picture or video content displayed by the projector, the calibration content is loaded into the picture or video to be displayed by the projector through image processing, wherein The loaded location and the loaded calibration content size are generated based on the first location and/or profile information of the target object.
  • image processing may be used to load the calibration content onto the image or video to be displayed by the projector, a single frame of the image may be generated by using the calibration content, and the calibration content may be carried by using a high-speed switching method.
  • the video frame/picture frame is mixed in the normal video frame/picture, and cooperates with the synchronous acquisition of the camera to complete the detection of whether the calibration object has overflow.
  • a preferred implementation for the first position and/or the contour information of the target object according to the collected result of the feedback, a preferred implementation is provided, which includes:
  • the collection result includes a part of the calibration content projected onto the screen in the x-axis direction and the y-axis direction, wherein the part of the calibration content projected onto the screen is an overflow of the calibration content; as shown in FIG. 3, the calibration content is completely realized.
  • the calibration content is A schematic diagram of the effect of overflowing on the left side of the target object, and the left side overflow value, that is, the width of the calibration content presented on the projection screen shown in FIG.
  • the target object in the display is not necessarily in the middle of the screen, that is, due to the distance between the target object and the projection screen in reality, and its offset from the center of the projection screen, it will bring an overflow value.
  • the coordinate value in the x-axis direction of the first position and/or contour information is increased according to the right side overflow value, as shown in FIG. 5.
  • the coordinate value in the y-axis direction of the first position and/or contour information is increased according to the upper overflow value.
  • the coordinate value in the y-axis direction of the first position and/or contour information is reduced according to the lower overflow value.
  • the positive direction of the x-axis is to the right and the positive direction of the y-axis is upward.
  • the correcting the first position and/or the contour information of the target object according to the collected result of the feedback further comprising:
  • the size of the calibration content is reduced according to the left and right overflow values, and the proofreading process for the left side overflow or the right side overflow is continued;
  • the calibration content size is reduced according to the upper and lower overflow values, and the proofreading process for the upper overflow or the lower overflow is continued.
  • the target object is one or more of an operator's palm, equipment, and table and chair.
  • the present application also provides a projector and camera based gesture recognition apparatus, as shown in FIG. 6, comprising a memory 22 and a processor 21, wherein the memory 22 and the processor 21 are connected by a data bus, the memory 22 stores a program of instructions executable by the at least one processor 21, the processor 21 being specifically configured to:
  • the first position and/or contour information of the target object is collated.
  • the camera 12 is used to collect a target object (for example, a palm), and the projector 11 not only needs to complete the normal projection content but also completes the delivery of the calibration content given by the processor.
  • a target object for example, a palm
  • the projector 11 not only needs to complete the normal projection content but also completes the delivery of the calibration content given by the processor.
  • an approximate position is calculated, and then the calibration content is delivered by the projector 11 and placed on the corresponding position.
  • the solution proposed by the present application can achieve higher precision. Moreover, errors due to insufficient accuracy of the device itself can be avoided; because the calibration of the device error can be achieved by collecting the calibration content.
  • the calibration content has a preferred implementation manner, specifically:
  • the calibration content may also be passed
  • the device in addition to the external projector and the camera, can implement the related functions, and the corresponding projection unit and the imaging unit can be carried by the device itself, and the device further includes a projection unit and an imaging unit. :
  • the projection unit is configured to deliver normal image information to the projection screen, and calibration information corresponding to the target object generated by the processor 21;
  • the camera unit is configured to collect first position and/or contour information of the target object in reality, and is also used to collect calibration information overflowed in the projection screen.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • disk optical disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请涉及计算机视觉技术领域，提供了一种基于投影机和摄相机的手势识别方法和装置。方法包括摄像机采集投影机投影画面内包含目标对象的图像内容，并反馈给处理器；所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机将所述目标对象标定内容向投影屏所在位置投射；若处理器确定摄像机在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。本申请相比较现有技术中的精准度不足的问题，本申请所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。

Description

一种基于投影机和摄相机的手势识别方法和装置 技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种基于投影机和摄相机的手势识别方法和装置。
背景技术
随着立体视觉的技术的日趋成熟，由其衍生出的各种应用解决方案也被越来越多的设计出来和采用。其中，对于如何将现实目标对象完成精准采集，并以虚拟方式呈现在屏幕中，成为立体视觉领域普及应用范围最广大技术之一。例如，在家庭应用场景中，实现手掌的动作识别，并呈现为电视屏幕中的虚拟对象；在会场应用场景中实现，基于用户的手势动作，呈现为投影屏幕中相应的虚拟对象。
其中，对于家庭的应用场景来说，由于用户的手掌操作位置，相对于电视机的采集端来说，距离并不太远。因此，其精准度相对可以保证。而对于上述使用投影机的会场应用场景来说，同样的采集设备便无法保证对现实目标对象的精准采集了，尤其是其所处位置和轮廓的信息的采集，会因为采集设备(通常采集设备和呈现设备会被设置在一起，其目的是方便设备的安装和精度的控制)和现实目标对象之间的距离造成精准度的下降，这个问题成为当前制约投影机实现精准目标采集和虚拟对象生成的主要技术瓶颈。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
发明内容
本申请要解决的技术问题是解决现有技术中使用投影机的会场应用场景来说，对现实目标对象的采集精准度的下降，尤其是其所处位置和轮廓的信息的采集，会因为采集设备(通常为一摄像机)和现实目标对象之间的距离造成精准度的下降问题。
本申请采用如下技术方案：
第一方面，本申请提供了一种基于投影机和摄相机的手势识别方法，投影机和摄像机之间按照预设位置放置，所述方法包括：
摄像机采集投影机投影画面内包含目标对象的图像内容，并反馈给处理器， 以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
若处理器确定摄像机在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。
优选的，所述标定内容具体为：由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
优选的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，具体包括：
采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容，其中，投射到屏幕中的部分标定内容为标定内容的溢出；
若发生标定内容在目标对象的左侧溢出，则根据所述左侧溢出值，减小所述第一位置和/或轮廓信息中x轴方向上坐标值；
若发生标定内容在目标对象的右侧溢出，则根据所述右侧溢出值，增大所述第一位置和/或轮廓信息中x轴方向上坐标值；
若发生标定内容在目标对象的上方溢出，则根据所述上方溢出值，增大所述第一位置和/或轮廓信息中y轴方向上坐标值；
若发生标定内容在目标对象的下方溢出，则根据所述下方溢出值，减小所述第一位置和/或轮廓信息中y轴方向上坐标值；
其中，x轴的正方向向右，y轴的正方向向上。
优选的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，还包括：
若发生标定内容在目标对象的左侧和右侧均溢出，则根据所述左侧和右侧溢出值，缩小所述标定内容尺寸，并继续完成针对左侧溢出或者右侧溢出的校对过程；
若发生标定内容在目标对象的上方和下方均溢出，则根据所述上方和下方溢出值，缩小所述标定内容尺寸，并继续完成针对上方溢出或者下方溢出的校对过程。
优选的，根据校对完成的目标对象的第一位置和/或轮廓信息，生成目标对象的三维模型；其中，所述目标对象的三围模型用于供所述投影机组合到投影内容中共同呈现。
优选的，所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。
优选的，所述预设位置为摄像机的镜头和投影机的镜头之间距离为小于10cm，摄像机镜头可完整采集投影机镜头所投影的投影画面信息。
第二方面，本申请还提供了一种基于投影机和摄相机的手势识别装置，包括存储器和处理器，其中，所述存储器和处理器通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令程序，所述处理器具体用于：
获取投影机投影画面内包含目标对象的图像内容，根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
根据所述第一位置生成目标对象标定内容，并控制投影机将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
根据摄像机反馈的图像内容，若在投影屏幕中采集到有关所述目标对象标定内容的信息，则校对目标对象的第一位置和/或轮廓信息。
优选的，所述标定内容具体为：
由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
优选的，所述装置还包括投影单元和摄像单元：
所述投影单元用于向投影屏幕投放正常的图像信息，以及由所述处理器生成的对应于目标对象的标定信息；
所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息，还用于采集投影屏幕中溢出的标定信息。
第三方面，本申请实施例还提供了一种非易失性计算机存储介质，所述计 算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，用于完成第一方面所述的基于投影机和摄相机的手势识别方法。
本申请中摄像机用于采集目标对象(例如：手掌)，投影机不仅需要完成正常的投影内容的投放，还要完成处理器给它的标定内容的投放。现实场景中，摄像机拍到目标对象之后，计算了一个大概位置，然后，通过投影机投放标定内容，投放到对应位置上去，如果全部目标对象遮挡，并且没有标定内容溢出到投影屏幕，则确定目标对象的定位和/或轮廓信息是准确的；否则，如果摄像机此时在屏幕上采集到了标定内容，那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的，从而需要根据采集结果重新校准。
相比较现有技术中的精准度不足的问题，本申请所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于投影机和摄相机的手势识别装置的结构示意图；
图2是本申请实施例提供的一种基于投影机和摄相机的手势识别方法的流程示意图；
图3是本申请实施例提供的一种标定内容被现实目标对象完全遮挡的效果示意图；
图4是本申请实施例提供的一种标定内容发生左侧溢出的效果示意图；
图5是本申请实施例提供的一种标定内容发生右侧溢出的效果示意图；
图6是本申请实施例提供的一种基于投影机和摄相机的手势识别装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本申请的描述中，术语“内”、“外”、“纵向”、“横向”、“上”、“下”、“顶”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请而不是要求本申请必须以特定的方位构造和操作，因此不应当理解为对本申请的限制。
此外，下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1:
本申请实施例1提供了一种基于投影机和摄相机的手势识别方法，如图1所示，投影机11和摄像机12之间按照预设位置放置，例如：所述预设位置为摄像机12的镜头和投影机11的镜头之间距离为小于10cm。如图2所示，所述方法包括：
在步骤201中，摄像机12采集投影机11投影画面内包含目标对象的图像内容，并反馈给处理器，以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息。
在步骤202中，所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机11将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成。
在步骤203中，若处理器确定摄像机12在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。
本申请中摄像机12用于采集目标对象(例如：手掌)，投影机11不仅需要完成正常的投影内容的投放，还要完成处理器给它的标定内容的投放。现实场景中，摄像机12拍到目标对象之后，计算了一个大概位置，然后，通过投影机11投放标定内容，投放到对应位置上去，如果全部目标对象遮挡，并且没有标定内容溢出到投影屏幕，则确定目标对象的定位和/或轮廓信息是准确的；否则，如果摄像机12此时在屏幕上采集到了标定内容，那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的，从而需要根据采集结果重新校准。
相比较现有技术中的精准度不足的问题，本申请所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。
在本申请实施例中，对于所述标定内容还给予了一种较为容易理解的描述，具体为：由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机11镜头视角投放到投影屏中的图像信息；并且，所述投影机11将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。因此，所述标定内容可以是由所述处理器在获取到待投影机显示的图片或者视频内容后，通过图像处理的方式将标定内容加载到待投影机显示的图片或者视频上，其中，具体加载的位置和加载的标定内容大小是根据所述目标对象所在第一位置和/或轮廓信息生成的。除了可以采用图像处理的方式将标定内容加载到待投影机显示的图片或者视频上以外，还可以采用将标定内容生成单独的一帧图片，并利用高速切换的方式的，将所述携带标定内容的视频帧/图片帧夹杂在正常的视频帧/图片中，并配合以摄像机的同步采集完成所述标定对象是否存在溢出的检测。
在本申请实施例中，对于步骤203中所涉及的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，提供了一种优选的实现方案，具体包括：
采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容，其中，投射到屏幕中的部分标定内容为标定内容的溢出；如图3所示，为标定内容完全被现实中目标对象遮挡的效果示意图，此时，投影屏幕中是不会有标定内容出现的(即本申请实施例中所描述的溢出)。
若发生标定内容在目标对象的左侧溢出，则根据所述左侧溢出值，减小所述第一位置和/或轮廓信息中x轴方向上坐标值；如图4所示，为标定内容在目标对象的左侧溢出的效果示意图，而所述左侧溢出值，即图4中显示的呈现在投影屏幕上的标定内容的宽度。在实际情况中，考虑到显示中目标对象不一定在屏幕正中间，即由于现实中目标对象与投影屏幕之间存在的距离，以及其相对于投影屏幕中心的偏移，会带来溢出值的放大；此时，便需要先计算出现实中目标对象到投影屏幕的距离，然后通过相似三角形变换求解得到实际的溢出 值。相应的计算过程，可以参考在先专利201210204994.X，专利名称为一种定位交互方法及***，在此不再赘述。
若发生标定内容在目标对象的右侧溢出，则根据所述右侧溢出值，增大所述第一位置和/或轮廓信息中x轴方向上坐标值，如图5所示。
若发生标定内容在目标对象的上方溢出，则根据所述上方溢出值，增大所述第一位置和/或轮廓信息中y轴方向上坐标值。
若发生标定内容在目标对象的下方溢出，则根据所述下方溢出值，减小所述第一位置和/或轮廓信息中y轴方向上坐标值。
其中，x轴的正方向向右，y轴的正方向向上。
优选的，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，还包括：
若发生标定内容在目标对象的左侧和右侧均溢出，则根据所述左侧和右侧溢出值，缩小所述标定内容尺寸，并继续完成针对左侧溢出或者右侧溢出的校对过程；
若发生标定内容在目标对象的上方和下方均溢出，则根据所述上方和下方溢出值，缩小所述标定内容尺寸，并继续完成针对上方溢出或者下方溢出的校对过程。
在本申请实施例中，在通过所述标定内容获取了目标对象的第一位置和/或轮廓信息后，存在一应用途径便是，根据校对完成的目标对象的第一位置和/或轮廓信息，生成目标对象的三维模型；其中，所述目标对象的三围模型用于供所述投影机11组合到投影内容中共同呈现。
其中，所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。
实施例2：
本申请还提供了一种基于投影机和摄相机的手势识别装置，如图6所示，包括存储器22和处理器21，其中，所述存储器22和处理器21通过数据总线连接，所述存储器22存储有可被所述至少一个处理器21执行的指令程序，所述处理器21具体用于：
获取投影机11投影画面内包含目标对象的图像内容，根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
根据所述第一位置生成目标对象标定内容，并控制投影机11将所述目标对 象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
根据摄像机12反馈的图像内容，若在投影屏幕中采集到有关所述目标对象标定内容的信息，则校对目标对象的第一位置和/或轮廓信息。
本申请中摄像机12用于采集目标对象(例如：手掌)，投影机11不仅需要完成正常的投影内容的投放，还要完成处理器给它的标定内容的投放。现实场景中，摄像机12拍到目标对象之后，计算了一个大概位置，然后，通过投影机11投放标定内容，投放到对应位置上去，如果全部目标对象遮挡，并且没有标定内容溢出到投影屏幕，则确定目标对象的定位和/或轮廓信息是准确的；否则，如果摄像机12此时在屏幕上采集到了标定内容，那么就表明此时确定目标对象的定位和/或轮廓信息是有误差的，从而需要根据采集结果重新校准。
相比较现有技术中的精准度不足的问题，本申请所提出的解决方案可以达到较高的精确度。而且，可以避免因为设备自身精准度不足带来的误差；因为，通过采集标定内容，可以实现自身设备误差的校准。
在本申请实施例中，所述标定内容存在一种优选的实现方式，具体为：
由处理器21根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机11镜头视角投放到投影屏中的图像信息；并且，所述投影机11将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。作为可选的方案，所述标定内容还可以是通过
在本申请实施例中，所述装置除了可以借用外部的投影机和摄像机来实现相关功能以外，还可以通过其装置自身携带相应投影单元和摄像单元，，所述装置还包括投影单元和摄像单元：
所述投影单元用于向投影屏幕投放正常的图像信息，以及由所述处理器21生成的对应于目标对象的标定信息；
所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息，还用于采集投影屏幕中溢出的标定信息。
值得说明的是，上述装置内的模块、单元之间的信息交互、执行过程等内容，由于与本申请的处理方法实施例基于同一构思，具体内容可参见本申请方法实施例中的叙述，此处不再赘述。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (10)

  1. 一种基于投影机和摄相机的手势识别方法，其特征在于，投影机和摄像机之间按照预设位置放置，所述方法包括：
    摄像机采集投影机投影画面内包含目标对象的图像内容，并反馈给处理器，以便处理器根据所述图像内容解析出所述目标对象所在第一位置和/或轮廓信息；
    所述处理器根据所述第一位置生成目标对象标定内容，通过所述投影机将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
    若处理器确定摄像机在投影屏幕中采集到有关所述目标对象标定内容的信息，则根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息。
  2. 根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述标定内容具体为：
    由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
  3. 根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，具体包括：
    采集结果中包括有x轴方向、y轴方向上投射到屏幕中的部分标定内容，其中，投射到屏幕中的部分标定内容为标定内容的溢出；
    若发生标定内容在目标对象的左侧溢出，则根据所述左侧溢出值，减小所述第一位置和/或轮廓信息中x轴方向上坐标值；
    若发生标定内容在目标对象的右侧溢出，则根据所述右侧溢出值，增大所述第一位置和/或轮廓信息中x轴方向上坐标值；
    若发生标定内容在目标对象的上方溢出，则根据所述上方溢出值，增大所 述第一位置和/或轮廓信息中y轴方向上坐标值；
    若发生标定内容在目标对象的下方溢出，则根据所述下方溢出值，减小所述第一位置和/或轮廓信息中y轴方向上坐标值；
    其中，x轴的正方向向右，y轴的正方向向上。
  4. 根据权利要求3所述的基于投影机和摄相机的手势识别方法，其特征在于，所述根据反馈的采集结果校对目标对象的第一位置和/或轮廓信息，还包括：
    若发生标定内容在目标对象的左侧和右侧均溢出，则根据所述左侧和右侧溢出值，缩小所述标定内容尺寸，并继续完成针对左侧溢出或者右侧溢出的校对过程；
    若发生标定内容在目标对象的上方和下方均溢出，则根据所述上方和下方溢出值，缩小所述标定内容尺寸，并继续完成针对上方溢出或者下方溢出的校对过程。
  5. 根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，根据校对完成的目标对象的第一位置和/或轮廓信息，生成目标对象的三维模型；其中，所述目标对象的三围模型用于供所述投影机组合到投影内容中共同呈现。
  6. 根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述目标对象为操作人员的手掌、器材和桌椅中的一种或者多种。
  7. 根据权利要求1所述的基于投影机和摄相机的手势识别方法，其特征在于，所述预设位置为摄像机的镜头和投影机的镜头之间距离为小于10cm，摄像机镜头可完整采集投影机镜头所投影的投影画面信息。
  8. 一种基于投影机和摄相机的手势识别装置，其特征在于，包括存储器和处理器，其中，所述存储器和处理器通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令程序，所述处理器具体用于：
    获取投影机投影画面内包含目标对象的图像内容，根据所述图像内容解析 出所述目标对象所在第一位置和/或轮廓信息；
    根据所述第一位置生成目标对象标定内容，并控制投影机将所述目标对象标定内容向投影屏所在位置投射；其中，所述位置标定内容是根据目标对象所在第一位置和/或轮廓信息生成；
    根据摄像机反馈的图像内容，若在投影屏幕中采集到有关所述目标对象标定内容的信息，则校对目标对象的第一位置和/或轮廓信息。
  9. 根据权利要求8所述的基于投影机和摄相机的手势识别装置，其特征在于，所述标定内容具体为：
    由处理器根据所述目标对象所在第一位置和/或轮廓信息生成的，并通过投影机镜头视角投放到投影屏中的图像信息；并且，所述投影机将所述标定内容投射出去后，在目标对象所在第一位置和/或轮廓信息精确度达到预设要求时，相对于投影屏幕，所述标定内容被所述目标对象全遮挡。
  10. 根据权利要求8所述的基于投影机和摄相机的手势识别装置，其特征在于，所述装置还包括投影单元和摄像单元：
    所述投影单元用于向投影屏幕投放正常的图像信息，以及由所述处理器生成的对应于目标对象的标定信息；
    所述摄像单元用于采集现实中目标对象的第一位置和/或轮廓信息，还用于采集投影屏幕中溢出的标定信息。
PCT/CN2018/088869 2017-12-31 2018-05-29 一种基于投影机和摄相机的手势识别方法和装置 WO2019128088A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711494867.7A CN108563981B (zh) 2017-12-31 2017-12-31 一种基于投影机和摄相机的手势识别方法和装置
CN201711494867.7 2017-12-31

Publications (1)

Publication Number Publication Date
WO2019128088A1 true WO2019128088A1 (zh) 2019-07-04

Family

ID=63530359

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/088869 WO2019128088A1 (zh) 2017-12-31 2018-05-29 一种基于投影机和摄相机的手势识别方法和装置

Country Status (2)

Country Link
CN (1) CN108563981B (zh)
WO (1) WO2019128088A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703921A (zh) * 2019-10-17 2020-01-17 北京华捷艾米科技有限公司 一种手势跟踪方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110721927A (zh) * 2019-10-18 2020-01-24 珠海格力智能装备有限公司 基于嵌入式平台的视觉检测***、方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4121245A (en) * 1977-04-11 1978-10-17 Teknekron, Inc. Image registration system for video camera
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
JP3877274B2 (ja) * 2000-03-24 2007-02-07 富士通株式会社 画像照合処理システム
JP4910613B2 (ja) * 2006-10-05 2012-04-04 株式会社デンソーウェーブ リーダライタ
JP5224721B2 (ja) * 2007-05-15 2013-07-03 有限会社大平技研 映像投影システム
CN102508544A (zh) * 2011-10-24 2012-06-20 四川长虹电器股份有限公司 一种基于投影互动的智能电视交互方法
CN102568352B (zh) * 2012-02-17 2014-04-23 广东威创视讯科技股份有限公司 一种投影显示***及方法
US20150058782A1 (en) * 2013-08-21 2015-02-26 Intel Corporation System and method for creating and interacting with a surface display
CN107079126A (zh) * 2014-11-13 2017-08-18 惠普发展公司，有限责任合伙企业 图像投影
CN106022211B (zh) * 2016-05-04 2019-06-28 北京航空航天大学 一种利用手势控制多媒体设备的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN107071388A (zh) * 2016-12-26 2017-08-18 深圳增强现实技术有限公司 一种立体增强现实显示方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110703921A (zh) * 2019-10-17 2020-01-17 北京华捷艾米科技有限公司 一种手势跟踪方法及装置

Also Published As

Publication number Publication date
CN108563981A (zh) 2018-09-21
CN108563981B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
US8398246B2 (en) Real-time projection management
WO2018068719A1 (zh) 一种图像拼接方法及装置
US11838697B2 (en) Ultra-short-throw picture and screen alignment method and apparatus, and storage medium
US9696543B2 (en) Information processing apparatus and information processing method
US20220262287A1 (en) Ultra-short-throw Picture and Screen alignment Method and Apparatus, Ultra-short-throw Projection Device, and Medium
CN107003744B (zh) 视点确定方法、装置和电子设备
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
WO2018040480A1 (zh) 一种调整扫描状态的方法及装置
US10987198B2 (en) Image simulation method for orthodontics and image simulation device thereof
JP2013196355A (ja) 物体測定装置、及び物体測定方法
WO2016197639A1 (zh) 屏幕画面显示方法及装置
WO2017113533A1 (zh) 一种全景拍摄处理方法及装置
JP2019125943A (ja) 表示制御装置、画像投影システム、制御方法およびプログラム。
WO2019128088A1 (zh) 一种基于投影机和摄相机的手势识别方法和装置
US20160283040A1 (en) Touch detection apparatus, touch detection method, and non-transitory computer-readable recording medium
CN104660944A (zh) 图像投影装置及图像投影方法
WO2018129963A1 (zh) 一种显示方法和装置和计算机存储介质
KR101349347B1 (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
CN111627073B (zh) 一种基于人机交互的标定方法、标定装置和存储介质
CN107197222B (zh) 生成投影设备的校正信息的方法及装置
US9285906B2 (en) Information processing apparatus, information display system and information display method
JP2024519297A (ja) 表示調整方法及び装置
KR100845274B1 (ko) 관람자의 시선 방향을 고려한 전시 시스템의 인터페이스방법 및 장치
CN115816833B (zh) 图像校正数据的确定方法、装置、电子设备及存储介质
JP2017123589A (ja) 情報処理装置、情報処理方法および映像投影システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18897614

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 16.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18897614

Country of ref document: EP

Kind code of ref document: A1