CN106970709A - 一种基于全息成像的3d交互方法和装置 - Google Patents

一种基于全息成像的3d交互方法和装置 Download PDF

Info

Publication number
CN106970709A
CN106970709A CN201710204357.5A CN201710204357A CN106970709A CN 106970709 A CN106970709 A CN 106970709A CN 201710204357 A CN201710204357 A CN 201710204357A CN 106970709 A CN106970709 A CN 106970709A
Authority
CN
China
Prior art keywords
image
somatosensory device
information
projection
predeterminable area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710204357.5A
Other languages
English (en)
Other versions
CN106970709B (zh
Inventor
张春光
顾开宇
李应樵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Wanwei Display Technology Co Ltd
Original Assignee
Ningbo Wanwei Display Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Wanwei Display Technology Co Ltd filed Critical Ningbo Wanwei Display Technology Co Ltd
Priority to CN201710204357.5A priority Critical patent/CN106970709B/zh
Publication of CN106970709A publication Critical patent/CN106970709A/zh
Application granted granted Critical
Publication of CN106970709B publication Critical patent/CN106970709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Holo Graphy (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于全息成像的3D交互方法和装置,属于全息交互技术领域。该方法包括:获取预设区域内的待检测图像信息;当待检测图像信息满足预设标准时,开启全息成像投影仪;将预存的图像文件投影到预设目的位置;当检测到所述目的位置有图像文件的投影时,开启所述体感设备;基于所述体感设备获取用户的行为姿态;控制投影完成与所述行为姿态相对应的动作。本申请通过获取预设区域内的图像信息来获取预设区域内是否有用户,并通过将图像信息与人体图像信息进行匹配来进行判断,从而确定预测区域内出现的物体是否为人,当出现的是人时,开启全息成像投影仪,使得用户能够产生突然间进入3D场景的感觉,给用户带来一个突如其来的视觉差。

Description

一种基于全息成像的3D交互方法和装置
技术领域
本发明涉及全息交互技术领域,具体而言,涉及一种基于全息成像的3D交互方法和装置。
背景技术
随着科技的不断发展,基于3D交互的设备越来越多,然而目前传统的做法是通过用户主动去进行开启设备才能进行交互,或者是才能进入虚拟现实。然而由于是出于用户主动进行的,使得用户不能再毫无准备的情况下就进入虚拟现实或者是其他3D交互,使得用户的体验感大幅度下降,无法给用户带来一个新颖、刺激的交互体验。因此,如何解决上述问题,是目前亟需解决的技术难题。
发明内容
本发明提供一种基于全息成像的3D交互方法和装置,旨在改善上述问题。
本发明提供的一种基于全息成像的3D交互方法,应用于3D交互***,所述3D交互***包括全息成像投影仪和体感设备,所述方法包括:获取预设区域内的待检测图像信息;当所述待检测图像信息满足预设标准时,开启所述全息成像投影仪;将预存的图像文件投影到预设目的位置;当检测到所述目的位置有所述图像文件的投影时,开启所述体感设备;基于所述体感设备获取用户的行为姿态;控制所述投影完成与所述行为姿态相对应的动作。
优选地,所述的获取预设区域内的待检测图像信息的步骤包括:采集所述预设区域内出现的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。
优选地,所述的当所述待检测图像信息满足预设标准时的步骤包括:将所述待检测图像信息中的图像划分成多个区域;获取所述多个区域中的显著区域,所述显著区域用于表示所述图像中具有视觉显著性的区域;计算每个所述显著区域的置信度,所述置信度用于表示对应的所述显著区域中的图像是人脸图像的概率;将每个所述置信度分别与预设阀值进行比较,当多个所述置信度中任意一个所述置信度等于或大于所述预设阀值时,判定所述图像信息与预设的人体图像信息相匹配。优选地,所述目的位置设有光电传感器,所述的当所述目的位置检测到有所述图像文件的投影时,开启体感设备的步骤包括:接收所述光电传感器返回的检测信息;当所述检测信息满足第二预设规则时,开启体感设备。
优选地,所述体感设备上设有红外传感器和定位装置,所述的开启所述体感设备的步骤包括:获取所述定位装置的坐标值;将所述坐标值与所述预设区域所对应的预设坐标区间进行匹配,当所述坐标值位与所述预设坐标区间内时,控制所述红外传感器进行检查;接收所述红外传感器返回的检测值;当所述检测值满足第三预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。
本发明提供的一种基于全息成像的3D交互装置,应用于3D交互***,所述3D交互***包括全息成像投影仪和体感设备,所述装置包括:图像获取模块,用于获取预设区域内的待检测图像信息;图像判断模块,用于当所述待检测图像信息满足预设标准时,开启所述全息成像投影仪;投影模块,用于将预存的图像文件投影到预设目的位置;投影处理模块,用于当检测到所述目的位置有所述图像文件的投影时,开启所述体感设备;用户姿态获取模块,用于基于所述体感设备获取用户的行为姿态;执行模块,用于控制所述投影完成与所述行为姿态相对应的动作。
优选地,所述图像获取模块具体用于:采集所述预设区域内出现的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。
优选地,所述体感设备上设有红外传感器,所述图像判断模块具体用于:将所述待检测图像信息中的图像划分成多个区域;获取所述多个区域中的显著区域,所述显著区域用于表示所述图像中具有视觉显著性的区域;计算每个所述显著区域的置信度,所述置信度用于表示对应的所述显著区域中的图像是人脸图像的概率;将每个所述置信度分别与预设阀值进行比较,当多个所述置信度中任意一个所述置信度等于或大于所述预设阀值时,判定所述图像信息与预设的人体图像信息相匹配。
优选地,所述目的位置设有光电传感器,所述投影处理模块还用于:接收所述光电传感器返回的检测信息;当所述检测信息满足第二预设规则时,开启体感设备。
优选地,所述体感设备上设有红外传感器和定位装置,所述投影处理模块还用于:获取所述定位装置的坐标值;将所述坐标值与所述预设区域所对应的预设坐标区间进行匹配,当所述坐标值位与所述预设坐标区间内时,控制所述红外传感器进行检查;接收所述红外传感器返回的检测值;当所述检测值满足第三预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。
上述本发明提供的一种基于全息成像的3D交互方法和装置,本申请通过获取预设区域内的待检测图像信息来获取预设区域内是否有用户,并通过将待检测图像信息与预设标准进行匹配来进行判断,从而确定预测区域内所采集的待检测图像信息是否满足标准,当满足标准时,开启全息成像投影仪,播放预先存储在全息成像投影仪中的视频文件,使得用户能够产生突然间进入3D场景的感觉,给用户带来一个突如其来的视觉差。并且通过检测投影已经投影到目标位置时,开启体感设备,以使用户能够与全息成像投影仪所投影的影像进行3D交互,使得用户能够在不自主的情况下实现3D交互,带给用户一个全新的交互体验。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种3D交互***的功能结构示意图;
图2为图1所示的3D交互***中的全息成像投影仪与体感设备连接的功能结构示意图;
图3为本发明实第一施例提供的一种基于全息成像的3D交互方法的流程图;
图4为本发明实第二施例提供的一种基于全息成像的3D交互装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参照图1与图2,所述3D交互***100包括全息成像投影仪110和体感设备120。全息成像投影仪110通过网络与所述体感设备120进行通信连接,以进行数据通信或交互。所述全息成像投影仪110通过获取体感设备120所捕获的用户的行为姿态,从而使得用户与所述全息成像投影仪110所投影的影像进行3D交互。
在本实施例中,所述全息成像投影仪110包括投影仪112、控制器111、全息投影膜114和图像采集装置113。所述图像采集装置113、所述全息投影膜114与所述投影仪112均与所述控制器111耦合。所述控制器111与所述体感设备120耦合。
在本实施例中,所述控制器111可以是通用处理器,包括中央处理器(CentralProcessing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。在此,不具体限定。
所述图像采集装置113可以是摄像头,也可以是红外热像仪。在此,不作具体限定。例如,所述摄像头的型号可以是ov7725。所述红外热像仪的型号可以是FLIR T390。
在本实施例中,所述全息投影膜114上设有光电传感器1141。所述光电传感器1141与所述控制器113耦合。所述全息投影膜114用于接收所述投影仪112所投影的影像。
在本实施例中,所述体感设备120上设有红外传感器121和定位装置122。所述红外传感器121和所述定位装置122均与所述控制器111耦合。
在本实施例中,所述体感设备120可以是空间鼠标,也可以是触摸手套,还可以是全新体感感应套件(Kinect)。在此不作具体限定。例如,所述空间鼠标的型号可以是MxAir。
请参阅图3,为本发明第一实施例提供的一种基于全息成像的3D交互方法的流程图。下面将对图3所示的具体流程进行详细阐述。
步骤S301,获取预设区域内的待检测图像信息。
在本实施例中,所述全息成像投影仪上设有图像采集装置,所述图像采集装置可以是摄像头,也可以是红外热像仪。在此,不作具体限定。例如,所述摄像头的型号可以是ov7725。所述红外热像仪的型号可以是FLIR T390。
所述预设区域是指所述全息成像投影仪上设置的图像采集装置所能采集到图像的一个区域。所述预设区域的具体选取方式可以根据实际中全息成像投影仪的安装位置以及图像采集装置的采集视角来进行选取。
所述待检测图像信息是指所述预设区域内的图像。
作为一种实施方式,可以通过图像采集装置采集所述预设区域内出现的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。其中,移动物体是指进入所述预设区域内的物体。
作为另一种实施方式,可以通过红外热像仪采集所述预设区域内出现的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。即通过红外热像仪的红外成像的方式扫描获取预设区域内出现的物体的图像。
步骤S302,当所述待检测图像信息满足预设标准时,开启所述全息成像投影仪。
其中,预设标准是指所采集的待检测图像信息与预存的人体图像信息相匹配。
作为一种实施方式,将所述待检测图像信息中的图像划分成多个区域;获取所述多个区域中的显著区域,所述显著区域是所述图像中具有视觉显著性的区域。通过将图像划分成多个区域可以使得在获取显著区域时,能够获取到多个样本区域,使得每次检测的区域范围较小。例如,如果不划分为多个区域,则会使得整个图像作为一个区域,因此会导致对于一个区域内的物体进行检测的复杂度就会大大提升。计算每个所述显著区域的置信度,所述置信度用于表示对应的所述显著区域中的图像是人脸图像的概率;将每个所述置信度分别与预设阀值进行比较,当多个所述置信度中任意一个所述置信度等于或大于所述预设阀值时,判定所述图像信息与预设的人体图像信息相匹配。通过采用将所述置信度与预设阀值进行比较的方式,可以使得获得满足规则的置信度的方式更加简便,从而提高了处理效率。
作为一种优选实施方式,预先将每个所述置信度进行比较,然后获取所述多个置信度中数值最大的目标置信度;将所述目标置信度与预设阀值进行比较,通过先获取一个置信度的数值最大的目标置信度,然后将目标置信度与预设阀值进行比较,可以有效减小处理的复杂度,进而提高获取目标置信度所对应的显著区域的时间。当所述目标置信度大于所述预设阀值时,判定所述图像信息与预设的人体图像信息相匹配,开启所述全息成像投影仪。
在本实施例中,可以通过图像显著性算法获取图像中的各个候选显著区域,所述候选显著区域是该图像中具有视觉显著性的矩形区域。具体地,主要是基于特征提取与显著图生成,从而找到各个候选显著区域。所述特征提取是指先把输入图像用高斯金字塔表示出来。例如,所述高斯金字塔的层数为9层时,其中第0层是输入图像,1到8层分别是用5×5的高斯滤波器对输入图像进行滤波和采样形成的,大小分别是输入图像的1/2到1/256。然后对金字塔每一层分别提取各种特征:亮度I、红色R、绿色G、蓝色B、黄色Y、方向,从而形成亮度金字塔、色度金字塔、和方向金字塔。亮度和颜色特征由如下公式得到:
I=(r+g+b)/3;
R=r-(g+b)/2;
G=g-(r+b)/2;
B=b-(r+g)/2;
Y=r+g-2(|r-g|+b)。
其中,r、g、b分别是输入图像的红、绿、蓝三个分量。在本实施例中,负值设为0。
O(σ,θ)是对亮度特征I在尺度用方向的Gabor函数滤波得到的Gabor金字塔。其中:σ∈[0,1,2,3,…8],θ∈[0°,45°,90°,135°],这样就将特征表示成为9个金字塔:亮度1个,色度4个(分别红色、蓝色、绿色、黄色),方向4个(分别是0°,45°,90°,135°)。上述四个色度特征对黑色和白色的响应为零,对各自对应的饱和单色(红色、蓝色、绿色、黄色)有最大的响应。通过感受野对各种特征分别在特征金字塔的不同尺度间作差。感受野中心对应于尺度c的特征图像素点(c∈{2,3,4}),感受野周边区域对应于尺度s的特征图像素点(s=c+δ,δ∈{3,4})。而不同尺度特征图的分辨率不同,需要通过插值使两幅图像大小相同后,通过两幅图像之间点对点作差。这个过程可以用Θ表示。从而得到中心(尺度c)和外周(尺度s)的特征的对比表示中心和外周的局部方向特征的对比。
其中,I(c,s)=|I(c)ΘI(s)|;RG(c,s)=|(R(c)-G(c))Θ(G(s)-R(s))|;BY(c,s)=|(B(c)-Y(c))Θ(Y(s)-B(s))|;O(c,s,θ)=|O(c,θ)ΘO(s,θ)|。
其中I(c,s)表示亮度特征图,具体地,表示亮度的对比。RG(c,s)和BY(c,s)表示颜色特征图,具体地,表示视皮层中颜色的双拮抗反应。而RG(c,s)是红/绿特征图,是中心的红色对绿色的对比和外周的绿色对红色的对比之间的差,表示红/绿和绿/红双拮抗反应。BY(c,s)是蓝/黄特征图,是中心的蓝色对黄色的对比和外周黄色对蓝色的对比之间的差,表示蓝/黄和黄/蓝双拮抗反应。O(c,s,θ)表示的是方向特征图,是同一个方向θ的特征在不同尺度作差得到的,表示中心和外周的局部方向特征的对比。由于中心尺度c和外周尺度s之间有6种组合(2-5,2-6,3-6,3-7,4-7,4-8),所以四个式子都可以得到6个特征图,共42个不同尺度的特征图(分别是6个亮度特征图,12个颜色特征图,24个方向特征图)。
其中,显著图的生成可以通过归一化函数N(·)对上述的特征图中的每个像素点的显著值归一化到一个区间[0,M],形成一幅该特征的综合显著图,然后再将不同特征的显著图进行归一化处理获得最好的视觉显著图。即所述显著图即为上述显著区域。通过将每个像素点的显著值归一化到一个区间[0,M],可以有效地消除因为不同特征的显著值分布的区间不同产生的影响,其次寻找特征图中的全局最大值M,计算所有其他局部最大值的平均值最后对特征图中的每个位置乘以这样就将每幅特征图中潜在的显著区域位置进行了放大,使得那些位置的显著值相对于背景更突出。具体地,可以通过公式如下:
其中,表示亮度特征图的平均值,表示颜色特征图的平均值,表示方向特征图的平均值,S表示视觉显著图。
最后将每个候选显著区域中的宽高比处于预设宽高比区间内的候选显著区域标记为显著区域。其中,所述预设宽高比区间可以是[0.2,5]。
其中,对于显著区域的的检测方法可以是自底向上也可以是自顶向下来进行检查。具体地,例如基于频域分析的显著性检测模型或者是基于深度信息的检测模型皆为自底向上的显著区域的的检测方法。在此,不作具体限定。
其中,所述置信度可以是通过神经网络算法进行获取。具体地,在神经网络中网络一般由三层注册,第一层为输入层,输入层用于接收外界输入的信息并传递给下一层,在本实施例中,所述外界输入的信息是指所获取的图像信息中的每个显著区域。第二层是隐含层,用于接收输入层速度的信号后,经过预设的传递函数将接收到的信号再传入下一层,即第三层输出层,由输出层直接给出最终结果。其中,传递函数为:对于上述网络结构,其函数表达式为:
其中,nin和nhid分别为输入层和隐含层的节点数,Whli为连接第l隐节点与第i输入节点之权重,Wojl为连接第j输出节点与第l隐节点的权重,Wobj为第j输出节点的阀值,Hl和Hidl分别为第l隐节点的输入及输出值,Oj和Yj分别为第j输出节点的输入与输出值。在本实施例中,所述目标置信度是指所有置信度中数值最大的置信度。
在本实施例中,所述预设阀值是指预先设置的一个比对阀值。例如,所述预设阀值可以是95%。
步骤S303,将预存的图像文件投影到预设目的位置。
其中,所述图像文件是指所述全息成像投影仪需要投影的文件。
在本实施例中,所述图像文件可以存储在本地,也可以通过网络实时获取存储在云端或者是服务器上的图像文件。
其中,预设目的位置是指为所述全息成像投影仪的投影所设定的固定位置。只有当所述全息成像投影仪将影像投影到预设目的位置时,才能使得用户看见全息影像。例如,当所述目的位置处预先设有全息投影膜时,所述全息成像投影仪只有将影像投影到所述全息投影膜上时,才能形成3D影像。
步骤S304,当检测到所述目的位置有所述图像文件的投影时,开启所述体感设备。
其中,所述体感设备是指可以通过感应器,接收用户的动作或语音信息,从而可以完成交互的一个设备。
作为一种实施方式,所述体感设备上设有红外传感器。所述红外传感器可以是Honeywell的型号为SE2470的一款红外传感器,也可以是型号为SD2440的一款红外传感器,还可以是型号为SE1450的一款红外传感器。在此,不作具体限定。
通过接收所述红外传感器返回的检测值;当所述检测值满足第一预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。其中,所述检测值可以是所述红外传感器检测到的用户的体温值。所述第一预设规则是指检测值是否为零。当检测值不为零时,即满足第一预设规则。当满足第一预设规则时,表示所述体感设备被位于预设区域内的用户所携带。例如,当用户手持所述体感设备时,所述体感设备上的红外传感器就会通过用户的手来采集持有所述体感设备的用户的体温。
作为另一种实施方式,所述体感设备上还设有定位装置与所述红外传感器。所述定位装置可以是GPS定位芯片。例如,所述GPS定位芯片可以是SiRFstar III(GSW 3.0/3.1)。
通过获取所述定位装置的坐标值;再将所述坐标值与所述预设区域所对应的预设坐标区间进行匹配,当所述坐标值位与所述预设坐标区间内时,控制所述红外传感器进行检查;接收所述红外传感器返回的检测值;当所述检测值满足第三预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。其中,所述第三预设规则是指检测值是否为零。当检测值不为零时,即满足第三预设规则。当满足第三预设规则时,表示所述体感设备被位于预设区域内的用户所携带。
其中,通过获取定位装置的坐标值来获取所述体感设备的坐标值,再将获得的所述坐标值与预设坐标区间进行匹配,从而来判定该坐标值是否位于所述坐标区间内,进一步判断所述体感设备是否位于所述预设坐标区间内,所述坐标区间为所述预设区域的坐标值,从而判断所述体感设备是否位于所述预设区域内。通过对所述体感设备的坐标判断,可以使得所述红外传感器不用实时检测,而只有当所述体感设备位于所述预设区域内时,才进行检查,从而可以有效地减少所述红外传感器的工作时间,进而节约处理资源。
作为另一种实施方式,所述体感设备上设有光电传感器,所述光电传感器可以是欧姆龙的一款型号为E3JK-5M3光电传感器。通过接收所述光电传感器返回的检测信息;当所述检测信息满足第二预设规则时,开启所述体感设备。其中,所述检测信息是指所述光电传感器所采集的光电信号值,即将光信号转换为电信号,具体地,通过所述光电传感器采集投影到所述目的位置上的光信号,从而来判断是否有影像投影到所述目的位置。所述第二预设规则是指所述检测信息中的光电信号值是否与预先设置的电信号值相匹配。当匹配时,从而开启体感设备。
步骤S305,基于所述体感设备获取用户的行为姿态。
其中,所述行为姿态是指用户的动作行为。例如,所述行为姿态可以是舞动手臂或者是跳跃等。在此不作具体限定。具体地,通过体感设备上的感应器来获取用户的行为姿态。
步骤S306,控制所述投影完成与所述行为姿态相对应的动作。
其中,当所述全息成像投影仪接收到所述体感设备返回的行为姿态后,将所述行为姿态与投影到目的位置处的影像进行实时交互,即使得影像与用户的行为姿态相匹配。例如,用户做出一个扔东西的动作,影像中将会出现一个与扔东西相关的预设动作。
请参阅图4,为本发明第二实施例提供的一种基于全息成像的3D交互装置的功能模块示意图。所述基于全息成像的3D交互装置400包括图像获取模块410、图像判断模块420、投影模块430、投影处理模块440、用户姿态获取模块450和执行模块460。
图像获取模块410,用于获取预设区域内的待检测图像信息。
其中,所述图像获取模块410具体用于:采集所述预设区域内出现的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。
图像判断模块420,用于当所述待检测图像信息满足预设标准时,开启所述全息成像投影仪,其中,所述预设标准是指与人体图像信息相匹配。
其中,所述体感设备上设有红外传感器,所述图像判断模块420具体用于:将所述待检测图像信息中的图像划分成多个区域;获取所述多个区域中的显著区域,所述显著区域用于表示所述图像中具有视觉显著性的区域;计算每个所述显著区域的置信度,所述置信度用于表示对应的所述显著区域中的图像是人脸图像的概率;将每个所述置信度分别与预设阀值进行比较,当多个所述置信度中任意一个所述置信度等于或大于所述预设阀值时,判定所述图像信息与预设的人体图像信息相匹配。
投影模块430,用于将预存的图像文件投影到预设目的位置。
投影处理模块440,用于当检测到所述目的位置有所述图像文件的投影时,开启所述体感设备。
在本实施例中,所述体感设备上设有红外传感器,所述红外传感器可以是Honeywell的型号为SE2470的一款红外传感器,也可以是型号为SD2440的一款红外传感器,还可以是型号为SE1450的一款红外传感器。在此,不作具体限定。
所述投影处理模块440具体用于:当检测到所述目的位置有所述图像文件的投影时,接收所述红外传感器返回的检测值;当所述检测值满足第一预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。
在本实施例中,所述目的位置设有光电传感器。例如,所述光电传感器可以是欧姆龙的一款型号为E3JK-5M3光电传感器。
作为一种实施方式,所述投影处理模块440还用于:接收所述光电传感器返回的检测信息;当所述检测信息满足第二预设规则时,开启体感设备。
在本实施例中,所述体感设备上设有红外传感器和定位装置。所述红外传感器可以是Honeywell的型号为SE2470的一款红外传感器,也可以是型号为SD2440的一款红外传感器,还可以是型号为SE1450的一款红外传感器。在此,不作具体限定。所述定位装置可以是GPS定位芯片。例如,所述GPS定位芯片可以是SiRFstar III(GSW 3.0/3.1)。
作为另一种实施方式,所述投影处理模块440还用于:获取所述定位装置的坐标值;将所述坐标值与所述预设区域所对应的预设坐标区间进行匹配,当所述坐标值位与所述预设坐标区间内时,控制所述红外传感器进行检查;接收所述红外传感器返回的检测值;当所述检测值满足第三预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。
用户姿态获取模块450,用于基于所述体感设备获取用户的行为姿态。
执行模块460,用于控制所述投影完成与所述行为姿态相对应的动作。
综上所述,本发明提供一种基于全息成像的3D交互方法和装置,本申请通过获取预设区域内的待检测图像信息来获取预设区域内是否有用户,并通过将待检测图像信息与预设标准进行匹配来进行判断,从而确定预测区域内所采集的待检测图像信息是否满足标准,当满足标准时,开启全息成像投影仪,播放预先存储在全息成像投影仪中的视频文件,使得用户能够产生突然间进入3D场景的感觉,给用户带来一个突如其来的视觉差。并且通过检测投影已经投影到目标位置时,开启体感设备,以使用户能够与全息成像投影仪所投影的影像进行3D交互,使得用户能够在不自主的情况下实现3D交互,带给用户一个全新的交互体验。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

Claims (10)

1.一种基于全息成像的3D交互方法,应用于3D交互***,所述3D交互***包括全息成像投影仪和体感设备,其特征在于,所述方法包括:
获取预设区域内的待检测图像信息;
当所述待检测图像信息满足预设标准时,开启所述全息成像投影仪;
将预存的图像文件投影到预设目的位置;
当检测到所述目的位置有所述图像文件的投影时,开启所述体感设备;
基于所述体感设备获取用户的行为姿态;
控制所述投影完成与所述行为姿态相对应的动作。
2.根据权利要求1所述的方法,其特征在于,所述的获取预设区域内的待检测图像信息的步骤包括:
采集所述预设区域内的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。
3.根据权利要求1所述的方法,其特征在于,所述的当所述待检测图像信息满足预设标准时的步骤包括:
将所述待检测图像信息中的图像划分成多个区域;
获取所述多个区域中的显著区域,所述显著区域用于表示所述图像中具有视觉显著性的区域;
计算每个所述显著区域的置信度,所述置信度用于表示对应的所述显著区域中的图像是人脸图像的概率;
将每个所述置信度分别与预设阀值进行比较,当多个所述置信度中任意一个所述置信度等于或大于所述预设阀值时,判定所述待检测图像信息与预设的人体图像信息相匹配。
4.根据权利要求1所述的方法,其特征在于,所述目的位置设有光电传感器,所述的当所述目的位置检测到有所述图像文件的投影时,开启体感设备的步骤包括:
接收所述光电传感器返回的检测信息;
当所述检测信息满足第二预设规则时,开启所述体感设备。
5.根据权利要求1所述的方法,其特征在于,所述体感设备上设有红外传感器和定位装置,所述的开启所述体感设备的步骤包括:
获取所述定位装置的坐标值;
将所述坐标值与所述预设区域所对应的预设坐标区间进行匹配,当所述坐标值位与所述预设坐标区间内时,控制所述红外传感器进行检查;
接收所述红外传感器返回的检测值;
当所述检测值满足第三预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。
6.一种基于全息成像的3D交互装置,应用于3D交互***,所述3D交互***包括全息成像投影仪和体感设备,其特征在于,所述装置包括:
图像获取模块,用于获取预设区域内的待检测图像信息;
图像判断模块,用于当所述待检测图像信息满足预设标准时,开启所述全息成像投影仪;
投影模块,用于将所述图像文件投影到预设目的位置;
投影处理模块,用于当检测到所述目的位置有所述图像文件的投影时,开启所述体感设备;
用户姿态获取模块,用于基于所述体感设备获取用户的行为姿态;
执行模块,用于控制所述投影完成与所述行为姿态相对应的动作。
7.根据权利要求6所述的装置,其特征在于,所述图像获取模块具体用于:
采集所述预设区域内的移动物体的图像信息,将所采集的移动物体的图像信息作为所述待检测图像信息。
8.根据权利要求6所述的装置,其特征在于,所述体感设备上设有红外传感器,所述图像判断模块具体用于:
将所述待检测图像信息中的图像划分成多个区域;
获取所述多个区域中的显著区域,所述显著区域用于表示所述图像中具有视觉显著性的区域;
计算每个所述显著区域的置信度,所述置信度用于表示对应的所述显著区域中的图像是人脸图像的概率;
将每个所述置信度分别与预设阀值进行比较,当多个所述置信度中任意一个所述置信度等于或大于所述预设阀值时,判定所述图像信息与预设的人体图像信息相匹配。
9.根据权利要求6所述的装置,其特征在于,所述目的位置设有光电传感器,所述投影处理模块还用于:
接收所述光电传感器返回的检测信息;
当所述检测信息满足第二预设规则时,开启体感设备。
10.根据权利要求6所述的装置,其特征在于,所述体感设备上设有红外传感器和定位装置,所述投影处理模块还用于:
获取所述定位装置的坐标值;
将所述坐标值与所述预设区域所对应的预设坐标区间进行匹配,当所述坐标值位与所述预设坐标区间内时,控制所述红外传感器进行检查;
接收所述红外传感器返回的检测值;
当所述检测值满足第三预设规则时,判定所述体感设备被位于所述预设区域内的用户所携带,开启所述体感设备。
CN201710204357.5A 2017-03-30 2017-03-30 一种基于全息成像的3d交互方法和装置 Active CN106970709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710204357.5A CN106970709B (zh) 2017-03-30 2017-03-30 一种基于全息成像的3d交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710204357.5A CN106970709B (zh) 2017-03-30 2017-03-30 一种基于全息成像的3d交互方法和装置

Publications (2)

Publication Number Publication Date
CN106970709A true CN106970709A (zh) 2017-07-21
CN106970709B CN106970709B (zh) 2020-01-17

Family

ID=59336368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710204357.5A Active CN106970709B (zh) 2017-03-30 2017-03-30 一种基于全息成像的3d交互方法和装置

Country Status (1)

Country Link
CN (1) CN106970709B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908384A (zh) * 2017-11-18 2018-04-13 深圳市星野信息技术有限公司 一种实时显示全息人像的方法、装置、***及存储介质
CN108555422A (zh) * 2018-03-02 2018-09-21 广州市盘古机器人科技有限公司 多红外传感器三维坐标姿态获取技术
CN110096144A (zh) * 2019-04-08 2019-08-06 汕头大学 一种基于三维重建的交互全息投影方法及***
CN112782683A (zh) * 2020-12-30 2021-05-11 广州市德晟光电科技股份有限公司 一种用于地面雷达投影互动的***及方法
WO2022012194A1 (zh) * 2020-07-16 2022-01-20 腾讯科技(深圳)有限公司 交互方法、装置、显示设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307288A (zh) * 2011-07-27 2012-01-04 中国计量学院 基于人脸识别的随第一人称视线移动的投影***
JP2013038751A (ja) * 2011-08-11 2013-02-21 Panasonic Corp 撮影装置
CN105763917A (zh) * 2016-02-22 2016-07-13 青岛海信电器股份有限公司 一种终端开机的控制方法和***
CN205644372U (zh) * 2016-04-20 2016-10-12 李科 可替换模组的智能穿戴设备
CN205788091U (zh) * 2016-04-22 2016-12-07 吴丰盛 一种人体自动感应计算机设备
CN106295515A (zh) * 2016-07-28 2017-01-04 北京小米移动软件有限公司 确定图像中的人脸区域的方法及装置
CN106372484A (zh) * 2016-09-14 2017-02-01 珠海市魅族科技有限公司 一种设备控制的方法及设备控制装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307288A (zh) * 2011-07-27 2012-01-04 中国计量学院 基于人脸识别的随第一人称视线移动的投影***
JP2013038751A (ja) * 2011-08-11 2013-02-21 Panasonic Corp 撮影装置
CN105763917A (zh) * 2016-02-22 2016-07-13 青岛海信电器股份有限公司 一种终端开机的控制方法和***
CN205644372U (zh) * 2016-04-20 2016-10-12 李科 可替换模组的智能穿戴设备
CN205788091U (zh) * 2016-04-22 2016-12-07 吴丰盛 一种人体自动感应计算机设备
CN106295515A (zh) * 2016-07-28 2017-01-04 北京小米移动软件有限公司 确定图像中的人脸区域的方法及装置
CN106372484A (zh) * 2016-09-14 2017-02-01 珠海市魅族科技有限公司 一种设备控制的方法及设备控制装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107908384A (zh) * 2017-11-18 2018-04-13 深圳市星野信息技术有限公司 一种实时显示全息人像的方法、装置、***及存储介质
CN108555422A (zh) * 2018-03-02 2018-09-21 广州市盘古机器人科技有限公司 多红外传感器三维坐标姿态获取技术
CN110096144A (zh) * 2019-04-08 2019-08-06 汕头大学 一种基于三维重建的交互全息投影方法及***
CN110096144B (zh) * 2019-04-08 2022-11-15 汕头大学 一种基于三维重建的交互全息投影方法及***
WO2022012194A1 (zh) * 2020-07-16 2022-01-20 腾讯科技(深圳)有限公司 交互方法、装置、显示设备和存储介质
US11948243B2 (en) 2020-07-16 2024-04-02 Tencent Technology (Shenzhen) Company Limited Three-dimensional virtual object interaction method and apparatus, display device, and storage medium
CN112782683A (zh) * 2020-12-30 2021-05-11 广州市德晟光电科技股份有限公司 一种用于地面雷达投影互动的***及方法

Also Published As

Publication number Publication date
CN106970709B (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN106970709A (zh) 一种基于全息成像的3d交互方法和装置
CN105843386B (zh) 一种商场虚拟试衣***
JP4970195B2 (ja) 人物追跡システム、人物追跡装置および人物追跡プログラム
US7065232B2 (en) Three-dimensional ear biometrics system and method
CN104935893B (zh) 监视方法和装置
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN109819208A (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
CN106384106A (zh) 一种基于三维扫描的反欺诈人脸识别***
JP2019009752A (ja) 画像処理装置
CN109816745A (zh) 人体热力图展示方法及相关产品
CN104246793A (zh) 移动设备的三维脸部识别
US20140064602A1 (en) Method and apparatus for object positioning by using depth images
CN206322194U (zh) 一种基于三维扫描的反欺诈人脸识别***
CN112699808B (zh) 密集目标检测方法、电子设备及相关产品
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
JPH06266840A (ja) 移動物体の状態検出装置
US20230085384A1 (en) Characterizing and improving of image processing
CN110443179B (zh) 离岗检测方法、装置以及存储介质
JP5394967B2 (ja) 対象物検知装置
CN112613359B (zh) 用于人员异常行为检测的神经网络的构建方法
Kumar et al. Enhancing Face Mask Detection Using Data Augmentation Techniques
CN113222973A (zh) 图像处理方法及装置、处理器、电子设备及存储介质
JP7304235B2 (ja) 学習済みモデル、学習装置、学習方法、及び学習プログラム
CN109816628A (zh) 人脸评价方法及相关产品
CN107818596A (zh) 一种场景参数确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant