CN111399654A - 信息处理方法、装置、电子设备及存储介质 - Google Patents
信息处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111399654A CN111399654A CN202010219498.6A CN202010219498A CN111399654A CN 111399654 A CN111399654 A CN 111399654A CN 202010219498 A CN202010219498 A CN 202010219498A CN 111399654 A CN111399654 A CN 111399654A
- Authority
- CN
- China
- Prior art keywords
- target object
- virtual content
- real environment
- specified
- triggering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种信息处理方法、装置、电子设备及存储介质,涉及显示技术领域,方法包括:获取目标物体在真实环境内的第一位置信息;获取虚拟内容在所述真实环境内的第二位置信息;根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系;如果所述相对位置关系满足指定条件,则控制所述目标物体执行指定操作或者控制所述目标物体和所述虚拟内容执行指定操作。因此,能够根据目标物体和虚拟内容在真实环境的空间内的相互之间的位置关系,控制标物体与虚拟内容之间的交互动作,提高虚拟内容在真实环境内对真实物体的交互性。
Description
技术领域
本申请涉及显示技术领域,更具体地,涉及一种信息处理方法、装置、电子设备及存储介质。
背景技术
近年来,随着科技的进步,增强现实(Augmented Reality,AR)技术已逐渐成为国内外研究的热点,用户可以通过佩戴AR眼镜等头戴显示设备或者通过终端的屏幕在现实世界环境中观察到虚拟内容等内容与真实世界叠加之后的增强现实或混合现实的效果。
但是,目前的AR场景内,虚拟物体的展示和交互缺乏和真实环境的互动。
发明内容
本申请提出了一种信息处理方法、装置、电子设备及存储介质,以改善上述缺陷。
第一方面,本申请实施例提供了一种信息处理方法,包括:获取目标物体在真实环境内的第一位置信息;获取虚拟内容在所述真实环境内的第二位置信息;根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系;如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
第二方面,本申请实施例还提供了一种信息处理装置,所述装置包括:第一获取单元、第二获取单元、确定单元和处理单元。第一获取单元,用于获取目标物体在真实环境内的第一位置信息。第二获取单元,用于获取虚拟内容在所述真实环境内的第二位置信息。确定单元,用于根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系。处理单元,用于如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
第三方面,本申请实施例还提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行上述方法。
第四方面,本申请实施例还提供了一种存储介质,所述存储介质存储有处理器可执行的程序代码,所述程序代码被所述处理器执行时使所述处理器执行上述方法。
本申请提供的信息处理方法、装置、电子设备及存储介质,获取目标物体在真实环境内的第一位置信息和虚拟内容在所述真实环境内的第二位置信息,根据所述第一位置信息和所述第二位置信息,能够确定所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系,该相对位置关系能够反映真实的目标物体和虚拟内容在真实环境的空间内的相互之间的位置关系,在该关系满足指定条件,触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。因此,能够根据目标物体和虚拟内容在真实环境的空间内的相互之间的位置关系,控制标物体与虚拟内容之间的交互动作,提高虚拟内容在真实环境内对真实物体的交互性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的一种AR设备的示意图;
图2示出了本申请另一实施例提供的一种AR设备的示意图;
图3示出了本申请一实施例提供的信息处理方法的方法流程图;
图4示出了本申请另一实施例提供的信息处理方法的方法流程图;
图5示出了本申请一实施例提供的虚拟内容与真实物体的相对位置关系的示意图;
图6示出了本申请另一实施例提供的虚拟内容与真实物体的相对位置关系的示意图;
图7示出了本申请又一实施例提供的信息处理方法的方法流程图;
图8示出了本申请实施例提供的移动指令的示意图;
图9示出了本申请一实施例提供的信息处理装置的模块框图;
图10示出了本申请另一实施例提供的信息处理装置的模块框图;
图11示出了本申请一实施例提出的电子设备的模块框图;
图12示出了本申请实施例的用于保存或者携带实现根据本申请实施例的方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
随着技术的不断发展,增强现实(AR,Augmented Reality)技术的一些难点得以陆续解决。增强现实是通过计算机***提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟内容、场景或***提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知,用户可以通过佩戴AR眼镜等头戴显示设备或者通过移动终端的AR相关的应用程序在现实世界环境中观察到虚拟内容等内容与真实世界叠加之后的增强现实或混合现实的效果。
例如,一些AR眼镜可以通过AR眼镜的摄像头和传感器采集现实环境中的信息,经过处理器和特定算法运行后,渲染出相应的图像,显示在镜片上,让使用者感觉虚拟的图像与现实世界相融合。
还有一些AR眼镜为分体式结构,即眼镜的处理器模块不是在眼镜上,而是位于一个单独的计算单元上,该计算单元通过导线与AR眼镜相连接。AR眼镜的摄像头和传感器采集到的数据经过预处理后发送到计算单元,计算单元根据采集到的信息渲染出相应的虚拟图像,虚拟图像传输到AR眼镜进行显示。
如图1所示,图1示出了一种AR设备,则该AR设备可以是头戴显示设备,具体地,该头戴显示设备为AR眼镜。如图1所示,该头戴显示设备包括显示屏110、框架120和成像装置130。
该框架120包括前表面121、侧表面122和后表面123,显示屏110安装在所述框架的前表面,成像装置130能够将虚拟内容的图像显示在显示屏110上。例如,该成像装置130可以是衍射光波导,能够将图像投影到显示屏上。
作为一种实施方式,该显示屏110可以是该AR眼镜的镜片,并且该显示屏110还可以透光,即该显示屏110可以是半透半反的镜片,用户在佩戴该头戴显示设备的时候,当该显示屏110上显示图像的时候,用户能够看到该显示屏110上所显示的图像同时还可以透过该显示屏110看到周围环境中现实世界中的物体。则通过该半透半反的镜片,用户能够将镜片上所显示的图像与周围环境相叠加,从而实现增强现实的视觉效果。
其中,用户在佩戴该头戴显示设备的时候,显示屏110位于用户的眼前,即前表面121在用户眼睛的前方,后表面123位于用户眼睛的后方,侧表面122位于用户眼睛的侧方。
另外,在前表面121设置有前置摄像头,通过该前置摄像头感知前方的环境信息,以便实现即时定位与地图构建(Simultaneous Localization and Mapping,SLAM),进而实现增强现实或混合现实的视觉效果。
在另一些AR技术中,可以使用前置摄像头实现真实场景与虚拟内容的结合。具体地,可以在头戴显示设备的前表面的前置摄像头的视野方向与用户在佩戴该头戴显示设备时用户的视野方向一致,且该前置摄像头用于采集真实场景的图像,并且将所采集的真实场景的图像经过处理之后显示在用户眼前的显示屏上,具体地,可以是在真实场景的图像上叠加虚拟内容的图像,被用户看到,以使用户观察到增强现实的视觉效果。
作为另一种实施方式,还可以通过移动终端或者平板电脑、计算机设备等带有屏幕的终端实现AR效果。具体地,如图2所示,图2示出了另一种AR设备,该AR设备可以是用户终端,该终端包括摄像头和屏幕,如图2所示,在终端的屏幕上所显示的真实场景(室内场景,如图2中所显示的台灯、沙发等)的图像可以是终端的摄像头所采集的图像,并且在该屏幕上显示有虚拟内容A对应的显示内容,该显示内容可以是一张图片,能够在该屏幕上所显示真实场景对应的图像上添加一个图片,该图片对应该虚拟内容A,则用户通过该屏幕上所显示的内容,能够看到在该真实场景内设置有虚拟内容A(如图2中的球体),以获得在真实场景内放置有虚拟内容A的增强现实的显示效果。
具体地,通过图2所示的终端实现增强现实的效果的步骤包括追踪、场景理解和渲染。其中,追踪的实施方式可以是提供终端在真实环境中的相对位置。具体地,借助视觉惯性里程计,可以提供终端所在位置的精确视图以及设备朝向,视觉惯性里程计使用了相机图像和设备的运动数据。
场景理解是指确定设备周围环境的属性或特征。例如,通过平面检测(planedetection)等功能能够确定真实环境中的表面或平面。例如地板或桌子。为了放置虚拟内容,终端还需要提供命中测试功能。此功能可获得真实世界拓扑的相交点,即获取各个物体在真实环境中的具***置,例如,桌子的离地高度或者距离终端的距离等,以便在真实环境中放置虚拟内容。最后,对于场景理解可以进行光线估算。光线估算用于正确光照虚拟内容,使其与真实世界相匹配,例如,虚拟内容放置在真实世界内的时候,会显示该虚拟内容在真实世界的光照下的影子,从而增加虚拟内容的真实感以及与真实世界的匹配性。
其中,上述屏幕上所显示的真实环境可以是终端的摄像头所采集的当前环境的图像,也可以是终端实时接收的其他终端发送的真实场景的图像,例如,可以是终端与其他终端之间是视频交互的时候,图2的屏幕上所显示的是其他终端的摄像头实时采集的该终端所在的真实场景的图像。
然而,现有的AR场景的互动性不足,具体地,发明人在研究中发现,不论通过上述哪种方式实现AR效果,虚拟内容与真实环境的互动性往往都不足,具体地,现在的AR场景或者多人AR场景中,仅仅是将虚拟内容放置在真实环境内,例如,在真实环境的一个平面上放置3d模型,或者在AR场景,不同的虚拟内容之间可以交互,比如多人AR游戏里的两个虚拟3d模型的碰撞等。
因此,现有的AR场景内,虚拟内容的展示和交互缺乏和真实环境的互动,导致用户只是在相机的界面或者在头像上看到在真实环境内摆放的虚拟内容,导致AR的交互性过低,不能很好地体现AR的特性。
为了克服上述缺陷,本申请实施例提供了一种信息处理方法,该方法可以应用于上述图1和图2所示的设备。于本申请实施例中,该方法可以应用于图2所示的电子设备,即该方法的执行主体可以是该电子设备内的处理器或者客户端。另外,需要说明的是,该方法的执行主体也可以是上述图1的头戴显示设备,具体地,该头戴显示设备内设置有处理器,则该方法的执行主体可以是该头戴显示设备内的处理器。作为一种实施方式,以及为了更好地说明本实施例的效果,示例性地,本申请实施例以方法的执行主体是移动终端,例如图2所示的电子设备,但是,这并不能限定本申请的方法的应用领域,即并不对本申请所适用的设备和应用环境做限定。
请参阅图3,图3示出了一种信息处理方法,用于提高AR场景内虚拟内容与真实物体的交互性,具体地,该方法包括:S301至S304。
S301:获取目标物体在真实环境内的第一位置信息。
其中,真实环境可以是指真实世界对应的世界坐标系,则目标物体在在真实环境内的第一位置信息可以是指该目标物体在该世界坐标系内的物理坐标。其中,该世界坐标系可以是以AR终端为中心而建立的坐标系,即在AR终端在真实世界场景内的位置作为该世界坐标系的原点,其中,该终端用于将虚拟对象在真实世界内显示,具体地,该终端可以是本方法的执行主体,即可以是上述的移动终端。
其中,目标物体为真实环境内的真实物体。作为一种实施方式,在真实环境内存在多个物体时,该目标物体可以是该真实环境内的多个物体。
移动终端能够根据预设定位算法对周围环境扫描,以建立以该终端为中心的世界坐标系,以及确定真实环境内的各个真实物体在该世界坐标系内的坐标位置,该坐标位置作为真实物体在真实环境内的第一位置信息。作为一种实施方式,该移动终端内设置有摄像头和惯性测量单元,可以根据摄像头采集到的周围环境的图像以及惯性测量单元得到的移动终端的位姿信息建立该真实环境对应的世界坐标系,即以该终端为中心的世界坐标系,进而获取各个真实物体在该世界坐标系内的坐标位置。
具体地,可以利用上述的SLAM技术对周围的真实环境理解和对该真实环境内的真实物体跟踪,SLAM技术能够基于摄像头采集到的周围环境的图像以及惯性测量单元得到的移动终端的位姿信息,构建基于终端为起始点的世界坐标系,然后利用飞行时间(Time offlight,TOF)深度相机得到稠密的3D点云,其中,稠密的3D点云可以得到真实物体表面的各个点在该世界坐标系下的3D坐标,则该3D坐标能够作为各个真实物体在真实环境内的第一位置信息。
S302:获取虚拟内容在所述真实环境内的第二位置信息。
作为一种实施方式,该目标物体在真实环境内的第一位置信息可以是指该目标物体在真实环境对应的世界坐标系内的坐标信息,其中,该世界坐标系可以是以移动终端为中心建立的世界坐标系,而虚拟内容在所述真实环境内的第二位置信息也可以是虚拟内容在该世界坐标系内的坐标信息。
具体地,该虚拟内容在真实环境内的第二位置信息与该虚拟内容对应的显示内容在移动终端的显示屏上的显示信息存在映射关系,该显示信息包括该虚拟内容对应的显示内容的显示大小、形状以及位置等信息。
作为一种实施方式,在摄像头采集的真实环境的图像内,真实物体在摄像头对应的相机坐标系内,该相机坐标系的Z轴与摄像头的光轴方向匹配,具体地,摄像头的光轴方向为该相机坐标系的Z轴方向,X轴和Y轴构成的XOY平面与Z轴垂直。则可以确定真实物体在相机坐标系内的坐标。例如,根据摄像头采集的图像的像素坐标系与相机坐标系的映射关系,能够确定图像内每个真实物体的图像的像素点在相机坐标系内的坐标,该坐标包括真实物体的景深信息,例如,该真实物体的坐标在相机坐标系的Z轴上的投影就是该运动目标的景深信息。通过该真实物体在相机坐标系内的坐标的变化能够确定真实物体的景深变化,根据该景深变化能够确定真实物体距离摄像头的距离。
则将虚拟内容在真实环境内显示的一种实施方式,将该虚拟内容显示在真实环境内的某个平面或者某个物体的位置处,而该物体距离摄像头的距离可以确定,进而该虚拟内容所对应的景深信息可以确定,则通过预先设定的景深信息与虚拟内容对应的显示内的轮廓信息的对应关系,能够确定与该目标物体的景深信息对应的该显示内容的轮廓信息,该轮廓信息包括虚拟内容对应的显示内容的形状和大小。例如,根据距离越远或者景深信息越大,则轮廓越小,即近大远小的规则,可以预先设定真实环境内不同的位置与该虚拟内容对应的显示内容的轮廓信息的对应关系,进而确定虚拟内容对应的显示内容的形状和大小。
作为另一种实施方式,还可以屏幕的像素坐标内的各个像素点与真实环境内各个位置点的坐标关系,具体地,可以通过摄像头的内外参数的方式确定,例如,通过张正友标定法来确定。例如,图2所示,将虚拟内容A在真实环境的台灯附近的地面上显示,能够确定该真实环境的图像内台灯附近的地面在屏幕的像素坐标内的位置,从而能够确定将虚拟内容对应的显示内容显示在屏幕所显示的真实环境的图像内台灯附近的地面的位置处。
因此,通过预先确定的屏幕上所显示的图像的各个像素点的像素坐标与该世界坐标系内的各个位置点的世界坐标的映射关系,能够确定每个在屏幕上显示的显示内容在真实环境内的位置,进而就能够确定虚拟内容在真实环境内的位置,即能够确定虚拟内容在所述真实环境内的第二位置信息。
例如,需要将虚拟内容在指定坐标系内的位置A处显示,即用户使用该移动终端的时候能够看到在真实空间内的位置A处的显示有虚拟物体,则确定该位置A所对应的显示屏上的显示位置是位置B,那么在用户设备的显示屏的位置B处显示该虚拟物体的时候,用户就能够通过该显示屏看到位置A处显示一虚拟物体。
具体地,该虚拟内容在所述真实环境内的第二位置信息,可以是将真实环境作为该虚拟内容对应的虚拟空间,该虚拟内容在该虚拟空间内的位置信息。
其中,虚拟空间是指完全或部分人工环境,其可以是三维的;虚拟场景是指从虚拟空间内的特定视点观看的虚拟空间的表示。与虚拟空间相对的真实空间,则是指指真实环境,其可以是三维的;而真实场景是指从真实空间内的特定视点观看的真实空间的表示。其中,虚拟场景可以为AR场景、VR场景、或者MR场景等,以上虚拟空间即指的是AR场景、VR场景、或者MR场景中的虚拟空间。
虚拟空间的坐标系与真实环境的世界坐标系是相匹配的,可以理解为虚拟空间的坐标系已经对齐到真实环境的世界坐标系,即目标物体在真实环境的世界坐标系内的坐标为(x1,y1,z1),而如果虚拟内容的显示位置与目标物体完全重合,则该虚拟内容在虚拟空间的坐标系的坐标也是(x1,y1,z1),即可以理解为虚拟空间的坐标系与真实环境的世界坐标系重合,从而站在用户的视角所看到的虚拟内容可以像真实物体一样存在于真实环境内。也就是说,虚拟内容的第二位置信息和真实物体的位置的第一位置信息均可以是该虚拟内容和真实物体在上述世界坐标系内的坐标点。
例如,在真实世界中存在一个桌子,如果需要在该桌子的桌面上显示一虚拟内容,例如,虚拟的台灯,则需要确定该桌子的桌面在空间坐标系即指定坐标系内的位置,然后再根据预先建立的显示屏的像素坐标系与指定坐标系的映射关系,查找该桌面的位置与像素坐标系内的像素坐标的对应关系,从而能够找到该桌面的位置所对应的该显示屏上的显示位置,然后,在该显示位置处显示虚拟物体对应的图像。用户通过该显示屏所看到的景象为真实世界的桌面上显示有台灯。则该虚拟的台灯和该桌子的位置信息均对应在真实环境的世界坐标系内有坐标。
S303:根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系。
其中,第一位置信息能够反映真实环境内的真实物体,即目标物体在真实环境内的位置,即在该真实环境所对应的世界坐标系内的位置,第二位置信息能够反映虚拟内容在真实环境内的位置,并且,第一位置信息和第二位置信息对应的是同一个空间坐标系内的位置,因此,在第一位置信息和第二位置信息能够反映目标物体和所述虚拟内容在所述真实环境内的相对位置关系。
其中,相对位置关系包括相对运动关系和相对方位关系的至少一种。
其中,相对运动关系包括相对靠近和相对远离。其中,相对靠近和相对远离是相对头戴显示装置即用户的位置而言,即相对用户靠前和远离。相对靠近可以是指目标物体的景深逐渐变小或者在世界坐标系内与虚拟内容之间的距离逐渐变小,同理,相对远离可以是指目标物体的景深逐渐变大或者在世界坐标系内与虚拟内容之间的距离逐渐变大。
具体地,可以通过连续采集第一位置信息和第二位置信息,确定目标物体和所述虚拟内容的相对运动关系。例如,第一位置信息和第二位置信息均为上述世界坐标系内的坐标,通过连续获取目标物体在世界坐标系内的多个坐标以及虚拟内容在世界坐标系内的多个坐标,能够确定二者之间的坐标点的位置变化,如果该位置变化表明二者逐渐靠近,则就能够确定目标物体和所述虚拟内容在所述真实环境内的相对运动关系为相互靠近,如果该位置变化表明二者逐渐远离,则就能够确定目标物体和所述虚拟内容在所述真实环境内的相对运动关系为相互远离。进一步,还可以根据二者的坐标再世界坐标系的三个坐标轴方向上的坐标变换,确定二者的相互靠近或远离的方向,例如,可以是在垂直方向上相互靠近或者在水平方向上相互远离。
相对方位关系可以是目标物体和所述虚拟内容之间的方位关系,例如,虚拟内容位于目标物体的前方、后方、左前方或者右前方等,还可以是目标物体和所述虚拟内容之间的遮挡关系,例如,目标物体被虚拟内容遮挡或者虚拟内容被目标物体遮挡。具体地,遮挡的确定可以通过碰撞检测的方式,具体地,可以参考后续实施例,在此不再赘述。
S304:如果所述相对位置关系满足指定条件,则触发触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
其中,指定条件可以预先根据需求而设定,例如,如果相对位置关系为相对运动关系,则指定条件为相对靠近或者相对远离,作为一种实施方式,当目标物体和所述虚拟内容在所述真实环境内相对靠近时,判定该相对位置关系满足指定条件。
作为另一种实施方式,如果相对位置关系为目标物体和所述虚拟内容之间的方位关系,则指定条件为相互碰撞,即相互遮挡。作为一种实施方式,当目标物体和所述虚拟内容在所述真实环境内相对碰撞时,判定该相对位置关系满足指定条件。
于本申请实施例中,该相对位置满足指定条件可以作为触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作的触发条件。具体地,可以是预先设定目标物体或者目标物体与虚拟内容对应的指定操作,在确定相对位置关系满足指定条件的时候,就触发该指定操作执行。
其中,指定操作也可以是预先设定的,针对目标物体,该指定操作可以是终端发送控制指令至目标物体,该控制指令能够控制目标物体执行指定操作,例如,该目标物体是台灯,则在虚拟内容与目标物体的相对位置关系满足指定条件的时候,控制台灯开灯或者关灯。
作为另一种实施方式,还可以控制目标物体和所述虚拟内容执行指定操作,也就是说,在虚拟内容与目标物体的相对位置关系满足指定条件的时候,虚拟内容与目标物体均被终端控制执行指定操作,则该指定操作可以包括目标物体对应的第一动作和虚拟内容对应的第二动作。则终端发送第一动作指令至目标物体,指示目标物体执行第一动作,并且获取虚拟内容对应的渲染数据,根据该渲染数据改变虚拟内容对应的显示内容,以使虚拟内容在真实环境内执行第二动作。例如,该第二动作为控制虚拟内容旋转,则该渲染数据为该虚拟内容的显示动图,即该虚拟内容对应的多个图像,多个图像构成了虚拟内容的显示内容的动态画面。也就是说,改变虚拟内容在屏幕上的显示画面,以使该虚拟内容在真实环境内执行第二动作。
作为一种实施方式,该目标物体可以是能够被终端控制的电子装置,例如,该目标物体可以是台灯、电开关、电视机、电冰箱等用电设备,该目标物体与终端连接,终端能够发送控制指令至该目标物体并且控制该目标物体执行指定操作。
具体地,该目标物体可以是物联网内的受控设备。物联网是在“互联网概念”的基础上,将其用户端延伸和扩展到任何物品与物品之间,进行信息交换和通信的一种网络概念。随着物联网技术的发展,在物联网***中可以配置一些场景。对于配置的场景,可以涉及到多个受控设备,而且多个受控设备之间具有一定的联动关系,能够协同工作。
其中,受控设备可以为投影仪、投屏幕、智能灯、智能插座、人体传感器、门窗传感器、无线开关、空调伴侣、烟雾报警器、智能窗帘电机、以及空气净化器、智能音箱等移动终端。在一种实施方式中,在物联网***内,起控制作用的电子设备(如上述移动终端)可以通过直接与路由器建立无线连接的方式实现与受控设备之间进行数据交互。再者,电子设备也可以通过与云端建立连接后,通过云端与路由器之间的数据链路实现与受控设备之间的数据交互。而作为另外一种方式,受控设备可以通过网关与路由器建立无线连接。其中,数据交互可以包括移动终端向受控设备发送控制指令,还可以包括受控设备向移动终端返回状态信息或者返回指令执行结果等。其中,移动终端与受控设备之间的数据交互可以由移动终端中安装的客户端来触发。
作为另一种实施方式,该目标物体虽然是电子装置,但是与移动终端未连接或者无法被移动终端直接控制。则在一些实施例中,目标物体能够***作终端所控制,即该目标物体是该操作终端的受控设备,具体地,在移动终端判定相对位置满足指定条件的时候,移动终端发送控制指令至操作终端,操作终端响应该控制指令控制目标物体执行指定操作。例如,该操作终端可以是上述物联网的控制中心,也可以是其他的能够同时与移动终端和目标物体数据交互的电子装置。
在又一种实施方式中,该目标物体无法与电子设备通信。例如,该目标物体并非是电子装置,或者,该目标物体虽然是电子装置但是已经损坏而无法正常启动,从而无法与移动终端或其他的电子设备通信,再或者,该目标物体虽然是电子设备且能够正常使用,但是其处于无连接状态,即在该无连接状态下,该目标物体屏蔽数据连接,例如,在该无连接状态下,该目标物体的无线和有线通信模块关闭,移动终端或其他的电子设备无法与该目标物体建立无线和有线通信连接。
在该目标物体无法与电子设备通信的情况下,触发该目标物体执行指定操作的实施方式可以是,发送操控指令至智能操控设备,该智能操控设备响应该操控指令执行该操控指令对应的预定动作,且该预定动作作用于目标物体,使得目标物体能够执行指定操作。作为一种实施方式,该预定动作作用于目标物体的时候,能够使得该目标物体的状态发生改变,其中,该状态包括目标物体的位姿信息,则该位姿信息包括目标物体的位置、朝向和摆放状态等。在该实施方式中,该指定操作可以是该目标物体的移动操作,例如,将目标物体朝向指定方向移动一定距离,则该指定方向可以是与虚拟内容靠近目标物体的方向同向,再例如,将目标物体移动到指定位置。则该智能操控设备可以是能够控制目标物体移动的设备,例如,该智能操控设备可以是机械手臂或者移动平台,该移动平台可以是传送带。
以智能操控设备为机械手臂为例,该指定操作可以是目标物体由当前位置移动到指定位置,则触发所述目标物体执行指定操作的实施方式可以是,移动终端发送操控指令至智能操控设备,智能操控设备响应该操控指令抓取该目标物体并且移动至指定位置后将目标物体放在该指定位置处,从而目标物体完成了指定操作,即目标物体由当前位置被移动到指定位置。
作为另一种实施方式,上述状态还可以包括目标物体的工作状态,且该目标物体设置有工作状态切换键,在该实施方式中,该指定操作可以是更改该目标物体的工作状态,具体地,可以通过控制智能操控设备触控该工作状态切换键,以更改该工作状态切换键的状态,从而能够更改目标物体的工作状态。在一些实施例中,该智能操控设备可以是智能机器人,该智能机器人能够被移动终端控制移动到目标物体的位置处,并且触控该目标物体上的工作状态切换键。则触发所述目标物体执行指定操作的实施方式可以是,移动终端发送操控指令至智能操控设备,智能操控设备响应该操控指令触控该目标物体上的工作状态切换键,以更改该工作状态切换键的状态为指定状态,在目标物体的工作状态切换键为指定状态下,该目标物体能够执行指定操作。
例如,以目标物体为照明灯为例且该智能操控设备为智能机器人,且该照明灯属于上述的无法与电子设备通信的类型,移动终端触发该照明灯执行的指定操作为将照明灯打开,则该照明灯的工作状态切换键为开关按键,移动终端发送操控指令至智能机器人,智能机器人响应该操控指令操控智能机器人的手臂按下该开关按键,使的该开关按键处于打开状态,从而控制照明灯点亮。
请参阅图4,图4示出了一种信息处理方法,用于提高AR场景内虚拟内容与真实物体的交互性,具体地,该方法包括:S401至S406。
S401:获取目标物体在真实环境内的第一位置信息。
S402:获取虚拟内容在所述真实环境内的第二位置信息。
S403:根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系。
其中,第一位置信息的获取和第二位置信息的获取可以参考前述实施例。具体地,利用基于终端采集的图像和imu的输入进行环境理解和追踪,即根据上述的SLAM技术对真实环境扫描,再利用tof硬件进行物体深度的测量并建立稠密的3D点云,根据该3D点云能够真实环境内的真实物体在上述世界坐标系内的坐标,即第一位置信息,并且根据终端的屏幕的像素坐标与世界坐标的映射关系,能够得到虚拟物体在该世界坐标系内的坐标,即第二位置信息,进而获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系。
作为一种实施方式,所述相对位置关系包括所述目标物体和所述虚拟内容在所述真实环境内的距离差,则该相对位置关系满足指定条件包括目标物体和虚拟内容碰撞,即基于碰撞检测确定该目标物体和虚拟内容之间是否满足指定条件,即是否发生碰撞。
作为一种实施方式,可以根据二叉空间分割法树(BSP)检测目标物体和虚拟内容是否碰撞。
其中,二叉空间分割法树(BSP)是一种类型的空间分割技术。其用于world-object式的碰撞检测。BSP树的遍历是使用BSP的一个基本技术。碰撞检测本质上减少了树的遍历或搜索。这种方法因为它能在早期排除大量的多边形,所以仅仅是对少数面进行碰撞检测。BSP树的遍历是使用BSP的一个基本技术。碰撞检测本质上减少了树的遍历或搜索。具体地,用找出两个物体间的分隔面的方法适合于判断两个物体是否相交。如果分隔面存在,就没有发生碰撞。因此递归地遍历world树并判断分割面是否和包围球或包围盒相交。还可以通过检测每一个物体的多边形来提高精确度。进行这种检测最简单的一个方法是测试看看物体的所有部分是否都在分割面的一侧。用迪卡尔平面等式ax+by+cz+d=0去判断点位于平面的哪一侧。如果满足等式,点在平面上;如果ax+by+cz+d>0那么点在平面的正面;如果ax+by+cz+d<0点在平面的背面。
在碰撞没发生的时候,一个物体(或它的包围盒)必须在分割面的正面或背面。如果在平面的正面和背面都有顶点,说明物体与这个平面相交了,即两个物体发生了碰撞。
作为另一种实施方式,可以基于目标物体和所述虚拟内容在所述真实环境内的距离差确定目标物体和所述虚拟内容是否碰撞,即判断目标物体和所述虚拟内容在所述真实环境内的距离差是否小于指定阈值,如果小于指定阈值则确定目标物体和所述虚拟内容在所述真实环境内的相对位置关系满足指定条件。其中,指定阈值可以是预先设定的,例如,可以是一个很小的数值,例如,该数值可以是0至1之间的数值,单位可以是厘米。
S404:如果所述相对位置关系满足指定条件,基于预先获取的所述目标物体的图像确定所述目标物体的物体标识。
其中,目标物体的物体标识可以是用于描述该目标物体的类型、型号、尺寸参数等信息,例如,该物体标识可以是该目标物体的类型,则可以根据获取的目标物体的图像确定目标物体的物体类型。作为一种实施方式,移动终端设置有摄像头,摄像头能够采集到目标物体所在的真实场景的图像,如图2所示的真实场景的图像,然后,分析提取该图像内的真实物体的类型,将得到的每个物体的类型作为该物体的物体标识,例如图2中至少包括落地灯、沙发、桌子、杯子和盆栽等,作为一种实施方式,可以将真实场景内的用电设备作为目标物体。
S405:根据所述物体标识确定所述指定操作。
作为一种实施方式,预先设定有物体标识和动作的对应关系,然后在获取到目标物体的物体标识之后,在该对应关系内查找该目标物体的物体标识对应的指定操作。
作为另一种实施方式,针对某些物体所确定的指定操作,可以考虑该相对位置关系。具体地,根据所述物体标识确定所述指定操作的实施方式可以是根据物体标识和相对位置关系确定所述指定操作。
在一些实施例中,可以确定该物体标识是否与指定标识匹配,如果匹配,则获取该相对位置关系对应的运动数据,根据该运动数据确定指定操作。其中,可以预先设定两类物体标识,分别为指定标识和非指定标识,其中,非指定标识的物体所对应的指定操作可以是预先设定的并且与相对位置关系对应的运动数据无关,即不管该运动数据如何,只要在相对位置满足该指定条件,该非指定标识的物体就被触发执行指定操作。而指定标识的物体所对应有多个操作,且会根据相对位置关系对应的运动数据而选择一个操作作为指定操作。其中,该运动数据包括目标物体和虚拟内容之间的相对运动方向和相对运动变化率,其中,该相对运动方向可以是虚拟内容相对目标物体的运动的方向,例如,虚拟内容从目标物体的左侧靠近目标物体。其中,该相对运动变化率可以是指相对加速度,可以是虚拟内容朝向或者远离目标物体运动时的加速度。
作为一种实施方式,针对该目标物体,预先设置有运动数据与操作的对应关系,在获取运动数据之后,确定该运动数据对应的操作作为该目标物体的指定操作。例如,该目标物体为机器人,虚拟内容为虚拟的拳击手套,在虚拟内容从左侧打到机器人的头部的时候,机器人的头部向右侧转动,在虚拟内容从右侧打到机器人的头部的时候,机器人的头部向左侧转动,因此,在运动数据为从左侧相对靠近和从右侧相对靠近的时候,机器人所执行的指定操作是不同的,能够提高互动性。
作为另一种实施方式,该目标物体可以实现跟随虚拟内容的移动而运动的操作,则该目标物体的类别可以是能自由移动的物体,例如,该目标物体是电动玩具汽车。因此,上述指定类别为预先统计的能自由移动的物体的标识,判断该目标物体的物体标识是否为指定标识,如果是,则表明该目标物体属于能自由移动的物体,从而能够被移动终端触控根据虚拟内容的移动而运动。然后,在确定运动数据,该运动数据包括相对运动方向,具体地,该相对运动方向可以是虚拟内容朝向或远离目标物体运动的方向。然后,根据该相对运动方向确定目标物体的运动方向,触发该目标物体根据该运动方向移动,其中,该运动方向与该相对运动方向同向。
作为一种实施方式,考虑到目标物体具有一定的体积和形状大小,即目标物体整体可以被分为多个部分,而每个部分可能具有不同的语义,其中,该语义能表达物体部分或者整体含义的词汇,比如桌子的桌面和桌腿,人的头,鼻子,眼睛,手等。
具体地,在一些实施例中,目标物体的物体标识包括所述目标物体的至少一个部位和每个所述部位的部位标识。则上述的获取目标物体在真实环境内的第一位置信息的实施方式可以是获取所述目标物体的每个部位在所述真实环境内的子位置信息,即所述第一位置信息包括所述目标物体的每个部位在所述真实环境内的子位置信息。
作为一种实施方式,在获取到上述的3D点云之后,就能够获取到目标物体的各个部位在世界坐标系内的坐标点,即能够获取目标物体的每个部位在所述真实环境内的子位置信息。则根据所述物体标识确定所述指定操作的实施方式可以是,基于所述目标物体的每个部位的子位置信息,确定与所述虚拟内容在所述真实环境内的相对位置关系满足指定条件的部位,作为目标部位,基于所述目标部位的部位标识确定所述指定操作。
具体地,获取到目标物体的各个部位在真实环境内的位置信息,然后,分别获取每个部位的位置信息与虚拟内容在真实环境内的位置信息之间的相对位置关系,从而确定目标物体的每个部位与虚拟内容的第二位置信息的相对位置关系满足指定条件的部位,命名为目标部位。
具体地,以相对位置关系满足指定条件是指发生碰撞为例,基于目标物体的各个部位在真实环境内的位置信息,确定在真实环境对应的世界坐标系内,与虚拟内容发生碰撞的目标物体的某个部位,即目标部位,获取该目标部位对应的部位标识,基于该部位标识确定指定操作。
作为一种实施方式,该部位标识为部位标识,该部位标识是指目标物体的每个部位的标识,例如,计算机的屏幕、键盘和鼠标,或者机器人的头部、手部和腹部等。
然后,基于目标部位的部位标识确定所述指定操作,具体地,预先设置有目标物体的不同部位的部位标识对应的动作的对应关系,根据该对应关系能够确定目标部位的部位标识对应的动作,即为指定操作。
其中,识别图像内的目标物体的部位和每个所述部位的部位标识可以根据预先建立的模型而确定。具体地,基于预先获取的所述目标物体的图像确定所述目标物体的物体标识的实施方式包括:获取所述目标物体的图像;基于所述图像内的特征点确定所述目标物体的至少一个部位;根据预先训练完成的神经网络模型获取每个所述部位的部位标识,其中,所述训练完成的神经网络模型根据样本数据训练完成,所述样本数据包括多个物体图像样本,每个所述物体图像样本内的物体的各个部位被标注有部位标识。
其中,图像内的特征点可以是图像内的轮廓线,根据预先建立的模型将该图像的特征点输入该模型,识别出目标物体的多个部位,其中,该模型可以是神经网络模型。
另外,可以预先采集多个物体图像样本,其中,每个物体图像样本内包括真实物体的图像,并且对真实物体的图像做标注,具体地,可以是通过人工标注的方式,标记物体图像的各个部位以及每个部位对应的部位标识,从而就能够得到用于训练神经网络模型的样本数据。
因此,将样本数据输入该神经网络模型,该神经网络模型分析识别到每个图像样本内的各个部位和每个部位对应的部位标识,然后,将预先标注的部位和部位标识作为期望值,经过反复训练之后,训练后的神经网络模型就能够基于目标物体的图像分析出该目标物体的多个部位以及每个部位的部位标识。
S406:触发所述目标物体执行所述指定操作或者触发所述目标物体和所述虚拟内容执行所述指定操作。
请参阅图5和6,假设目标物体是落地灯,则该目标物体至少包括两个部分,即灯座P1和灯罩P2,如图5所示,在虚拟内容A与灯座P1之间的相对位置关系满足指定条件,即虚拟内容A与灯座P1碰撞的时候,根据该灯座P1确定指定操作,例如,根据该灯座P1确定的指定操作是将落地灯打开,则终端控制落地灯开启。如图6所示,在虚拟内容A与灯罩P2之间的相对位置关系满足指定条件,即虚拟内容A与灯罩P2碰撞的时候,根据该灯罩P2确定指定操作,例如,根据该灯罩P2确定的指定操作是改变落地灯的发光亮度,例如,改变发光的色温或者亮度大小等。
因此,对于同一个目标物体,在虚拟内容与该目标物体的不同部位碰撞的时候,所能控制目标物体执行的动作也是不同的。
再例如,该目标物体是墙面上的开关,则虚拟内容和墙面上的开关产生碰撞,终端可以发送指令给开关控制器进行关灯操作,又例如,该目标物体是放置在桌面上的机器人,则在虚拟内容和桌面上的机器人的头产生碰撞时,控制机器人发出哎呦声音,在虚拟内容和机器人腹部产生碰撞时,控制机器人发出哈哈笑的声音。
另外,除了可以控制目标物体执行指定操作,还可以控制虚拟内容执行指定操作,该指定操作也可以与目标部位相关,如图6所示的例子,在落地灯的发光亮度发生改变的时候,可以控制虚拟内容执行指定操作,例如,可以改变虚拟内容的被灯光照亮的亮度。
作为一种实施方式,该目标物体的工作状态可以因指定操作的改变而改变,例如,该目标物体可以是上述的台灯或开关等,在执行该指定操作之前该目标物体的工作状态为第一工作状态。且此时虚拟内容和目标物体的相对位置关系满足指定条件,也就是说,在相对位置关系满足指定条件,触发所述目标物体由第一工作状态变为第二工作状态或者触发所述目标物体和所述虚拟内容由第一工作状态变为第二工作状态。
例如,以台灯为例且相对位置关系满足指定条件为目标物体和所述虚拟内容在所述真实环境内的距离差小于指定阈值,该台灯的第一工作状态为熄灭状态且第二工作状态为点亮状态。在虚拟内容与台灯的距离差小于指定阈值的时候,台灯由熄灭状态变为点亮状态。
如果触发所述目标物体和所述虚拟内容由第一工作状态变为第二工作状态的话,则台灯由熄灭状态变为点亮状态,且虚拟内容的被灯光照亮的亮度由第一亮度变为第二亮度,作为一种实施方式,第一亮度小于第二亮度。
之后,相对位置关系会随着虚拟内容和目标物体之前的位置的改变而改变,则在相对位置关系不满足指定条件时,触发所述目标物体由第二工作状态变为第一工作状态或者触发所述目标物体和所述虚拟内容由第二工作状态变为第一工作状态。同理,以上述的台灯为例,在距离差大于指定阈值的时候,台灯由点亮状态变为熄灭状态,虚拟内容的被灯光照亮的亮度由第二亮度变为第一亮度。另外,不仅仅可以根据目标部位的描述信息确定指定动作,还可以在虚拟内容运动的时候,根据该虚拟内容的运动速度确定指定操作。作为一种实施方式,确定虚拟内容与目标内容碰撞的时候,虚拟内容的移动速度,根据该移动速度和目标部位的部位标识确定指定操作。
再者,本申请实施例中,控制虚拟内容执行指定操作还可以用于本方案中的碰撞还可运用在其他的场景中,例如在ar导航中,如果没有碰撞检测,虚拟物体遇到障碍物时就会穿过障碍物前景,这样体验就不太好,增加了和真实障碍物的碰撞,就可以让虚拟物体绕过障碍物再前进从而增加了ar导航的真实感,提升了用户体验。
请参阅图7,图7示出了一种信息处理方法,用于提高AR场景内虚拟内容与真实物体的交互性,具体地,该方法包括:S701至S705。
S701:控制所述虚拟内容在所述真实环境内移动。
作为一种实施方式,用户为了提高AR的趣味性,在将虚拟内容设置在真实环境内之后,可以控制虚拟内容的移动,从而使得虚拟内容和目标物体在真实环境内的相对位置关系。
其中,该移动指令的输入方式可以是用户在终端的屏幕上输入的指令,也可以是用户通过语音的方式输入的指令。
于本申请实施例中,该移动指令的输入方式可以是用户在终端的屏幕上输入的指令,则作为一种实施方式,基于移动指令控制所述虚拟内容在所述真实环境内朝向所述目标物体移动的实施方式可以是,获取用户作用于在所述屏幕上显示的显示内容的触控滑动操作,所述触控滑动操作为所述移动指令;基于所述触控滑动操作控制所述虚拟内容在所述真实环境内朝向所述目标物体移动。
于本申请实施例中,终端通过将所述虚拟内容对应的显示内容在所述屏幕上显示的方式将所述虚拟内容设置于所述真实环境内,具体的实施方式可以参考前述实施例,在此不再赘述。
其中,用户作用在所述屏幕上的触控滑动操作可以包括按压操作、滑动操作,作为一种实施方式,终端获取到用户作用于在所述屏幕的触控操作,确定该触控操作对应的屏幕上的位置,并且确定屏幕当前所显示的内容是否包括虚拟内容的显示内容,即确定虚拟内容的显示内容是否被显示在屏幕上,如果是,确定用户作用于在所述屏幕的触控操作的位置是否为该虚拟内容的显示内容,如果是,则确定获取到用户作用于在所述屏幕上显示的显示内容的触控操作,然后检测用户基于该触控操作的滑动操作,从而获取到触控滑动操作。
然后,基于所述触控滑动操作控制所述虚拟内容在所述真实环境内朝向所述目标物体移动,具体地,控制该虚拟内容根据该触控滑动操作的移动轨迹而移动,如图8所示,触控滑动操作为在屏幕的位置W1平行滑动到位置W2,则根据前述的屏幕的像素坐标和世界坐标系的对应关系,位置W1对应到真实世界的第一位置,位置W3对应到真实世界的第一位置,则虚拟内容从第一位置移动至第二位置,从而用户能够触控屏幕从而控制虚拟内容在真实环境内移动。
S702:获取目标物体在真实环境内的第一位置信息。
S703:获取虚拟内容在所述真实环境内的第二位置信息。
S704:根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系。
S705:如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
请参阅图9,其示出了本申请实施例提供的一种信息处理装置900,该装置可以包括:第一获取单元901、第二获取单元902、确定单元903和处理单元904。
第一获取单元901,用于获取目标物体在真实环境内的第一位置信息;
第二获取单元902,用于获取虚拟内容在所述真实环境内的第二位置信息;
确定单元903,用于根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系;
处理单元904,用于如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
请参阅图10,其示出了本申请实施例提供的一种信息处理装置900,该装置可以包括:第一获取单元1002、第二获取单元1003、确定单元1004和处理单元1005。
移动单元1001,用于控制所述虚拟内容在所述真实环境内移动。
具体地,移动单元1001具体用于将所述虚拟内容对应的显示内容在所述屏幕上显示;获取用户作用于在所述屏幕上显示的显示内容的触控滑动操作,所述触控滑动操作为所述移动指令;基于所述触控滑动操作控制所述虚拟内容在所述真实环境内朝向所述目标物体移动。
第一获取单元1002,用于获取目标物体在真实环境内的第一位置信息;
第二获取单元1003,用于获取虚拟内容在所述真实环境内的第二位置信息;
确定单元1004,用于根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系;
处理单元1005,用于如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
处理单元1005还用于基于预先获取的所述目标物体的图像确定所述目标物体的物体标识;根据所述物体标识确定所述指定操作;触发所述目标物体执行所述指定操作或者触发所述目标物体和所述虚拟内容执行所述指定操作。具体地,所述目标物体的物体标识包括所述目标物体的至少一个部位和每个所述部位的部位标识,所述第一位置信息包括所述目标物体的每个部位在所述真实环境内的子位置信息,所述处理单元1005还用于基于所述目标物体的每个部位的子位置信息,确定与所述虚拟内容在所述真实环境内的相对位置关系满足指定条件的部位,作为目标部位;基于所述目标部位的部位标识确定所述指定操作。
处理单元1005还用于获取所述目标物体的图像;基于所述图像内的特征点确定所述目标物体的至少一个部位;根据预先训练完成的神经网络模型获取每个所述部位的部位标识,其中,所述训练完成的神经网络模型根据样本数据训练完成,所述样本数据包括多个物体图像样本,每个所述物体图像样本内的物体的各个部位被标注有部位标识。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图11,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。具体地,该电子设备可以是上述的头显或者移动终端。
本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图12,其示出了本申请实施例提供的一种存储介质的结构框图。该介质1200中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
存储介质1200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,存储介质1200包括非易失性介质(non-transitorycomputer-readable storage medium)。存储介质1200具有执行上述方法中的任何方法步骤的程序代码1210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1210可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种信息处理方法,其特征在于,包括:
获取目标物体在真实环境内的第一位置信息;
获取虚拟内容在所述真实环境内的第二位置信息;
根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系;
如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
2.根据权利要求1所述的方法,其特征在于,所述触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作,包括:
根据所述目标物体的图像确定所述目标物体的物体标识;
根据所述物体标识确定所述指定操作;
触发所述目标物体执行所述指定操作或者触发所述目标物体和所述虚拟内容执行所述指定操作。
3.根据权利要求2所述的方法,其特征在于,所述目标物体的物体标识包括所述目标物体的至少一个部位和每个所述部位的部位标识,所述第一位置信息包括所述目标物体的每个部位在所述真实环境内的子位置信息;所述根据所述物体标识确定所述指定操作,包括:
基于所述目标物体的每个部位的子位置信息,确定与所述虚拟内容在所述真实环境内的相对位置关系满足指定条件的部位,作为目标部位;
基于所述目标部位的部位标识确定所述指定操作。
4.根据权利要求3所述的方法,其特征在于,所述基于预先获取的所述目标物体的图像确定所述目标物体的物体标识,包括:
获取所述目标物体的图像;
基于所述图像内的特征点确定所述目标物体的至少一个部位;
根据预先训练完成的神经网络模型获取每个所述部位的部位标识,其中,所述训练完成的神经网络模型根据样本数据训练完成,所述样本数据包括多个物体图像样本,每个所述物体图像样本内的物体的各个部位被标注有部位标识。
5.根据权利要求1所述的方法,其特征在于,所述相对位置关系包括所述目标物体和所述虚拟内容在所述真实环境内的距离差,所述相对位置关系满足指定条件包括所述距离差小于指定阈值。
6.根据权利要求1所述的方法,其特征在于,所述如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作,包括:
如果所述相对位置关系满足指定条件,则触发所述目标物体由第一工作状态变为第二工作状态或者触发所述目标物体和所述虚拟内容由第一工作状态变为第二工作状态。
7.根据权利要求6所述的方法,其特征在于,还包括:
如果所述相对位置关系不满足指定条件,则触发所述目标物体由第二工作状态变为第一工作状态或者触发所述目标物体和所述虚拟内容由第二工作状态变为第一工作状态。
8.根据权利要求1所述的方法,其特征在于,所述获取虚拟内容在所述真实环境内的第二位置信息之前,还包括:
控制所述虚拟内容在所述真实环境内移动。
9.根据权利要求8所述的方法,其特征在于,应用于电子设备,所述电子设备包括屏幕,所述基于移动指令控制所述虚拟内容在所述真实环境内朝向所述目标物体移动,包括:
将所述虚拟内容对应的显示内容在所述屏幕上显示;
获取用户作用于在所述屏幕上显示的显示内容的触控滑动操作,所述触控滑动操作为所述移动指令;
基于所述触控滑动操作控制所述虚拟内容在所述真实环境内朝向所述目标物体移动。
10.一种信息处理装置,其特征在于,包括:
第一获取单元,用于获取目标物体在真实环境内的第一位置信息;
第二获取单元,用于获取虚拟内容在所述真实环境内的第二位置信息;
确定单元,用于根据所述第一位置信息和所述第二位置信息,获取所述目标物体和所述虚拟内容在所述真实环境内的相对位置关系;
处理单元,用于如果所述相对位置关系满足指定条件,则触发所述目标物体执行指定操作或者触发所述目标物体和所述虚拟内容执行指定操作。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种存储介质,其特征在于,所述存储介质存储有处理器可执行的程序代码,所述程序代码被所述处理器执行时使所述处理器执行权利要求1-9任一项所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010219498.6A CN111399654B (zh) | 2020-03-25 | 2020-03-25 | 信息处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010219498.6A CN111399654B (zh) | 2020-03-25 | 2020-03-25 | 信息处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111399654A true CN111399654A (zh) | 2020-07-10 |
CN111399654B CN111399654B (zh) | 2022-08-12 |
Family
ID=71429186
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010219498.6A Active CN111399654B (zh) | 2020-03-25 | 2020-03-25 | 信息处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111399654B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112051961A (zh) * | 2020-09-04 | 2020-12-08 | 脸萌有限公司 | 虚拟交互方法、装置、电子设备及计算机可读存储介质 |
CN112233172A (zh) * | 2020-09-30 | 2021-01-15 | 北京零境科技有限公司 | 一种视频穿透式混合现实方法、***、可读存储介质及电子设备 |
CN113010140A (zh) * | 2021-03-15 | 2021-06-22 | 深圳市慧鲤科技有限公司 | 一种声音播放方法及装置、电子设备和存储介质 |
CN113269782A (zh) * | 2021-04-21 | 2021-08-17 | 青岛小鸟看看科技有限公司 | 数据生成方法、装置及电子设备 |
CN113724397A (zh) * | 2021-08-27 | 2021-11-30 | 浙江商汤科技开发有限公司 | 虚拟对象的定位方法、装置、电子设备及存储介质 |
CN113797525A (zh) * | 2020-12-23 | 2021-12-17 | 广州富港生活智能科技有限公司 | 一种新型游戏*** |
WO2024012268A1 (zh) * | 2022-07-14 | 2024-01-18 | 维沃移动通信有限公司 | 虚拟操作方法、装置、电子设备及可读存储介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140292807A1 (en) * | 2013-03-27 | 2014-10-02 | Giuseppe Raffa | Environment actuation by one or more augmented reality elements |
CN105739879A (zh) * | 2016-01-29 | 2016-07-06 | 广东欧珀移动通信有限公司 | 一种虚拟现实的应用方法及终端 |
US20180181199A1 (en) * | 2016-11-14 | 2018-06-28 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
CN108986199A (zh) * | 2018-06-14 | 2018-12-11 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
US20180365898A1 (en) * | 2017-06-16 | 2018-12-20 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
CN109683700A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视觉感知的人机交互实现方法和装置 |
US20190172262A1 (en) * | 2017-12-05 | 2019-06-06 | Samsung Electronics Co., Ltd. | System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality |
CN109960404A (zh) * | 2019-02-15 | 2019-07-02 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
US20190213796A1 (en) * | 2016-06-30 | 2019-07-11 | Microsoft Technology Licensing, Llc | Reality to virtual reality portal for dual presence of devices |
US20190312747A1 (en) * | 2018-04-10 | 2019-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and system for controlling home device |
US20190344449A1 (en) * | 2018-05-09 | 2019-11-14 | Sony Interactive Entertainment Inc. | Apparatus Control Systems and Method |
-
2020
- 2020-03-25 CN CN202010219498.6A patent/CN111399654B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140292807A1 (en) * | 2013-03-27 | 2014-10-02 | Giuseppe Raffa | Environment actuation by one or more augmented reality elements |
CN105739879A (zh) * | 2016-01-29 | 2016-07-06 | 广东欧珀移动通信有限公司 | 一种虚拟现实的应用方法及终端 |
US20190213796A1 (en) * | 2016-06-30 | 2019-07-11 | Microsoft Technology Licensing, Llc | Reality to virtual reality portal for dual presence of devices |
US20180181199A1 (en) * | 2016-11-14 | 2018-06-28 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
US20180365898A1 (en) * | 2017-06-16 | 2018-12-20 | Microsoft Technology Licensing, Llc | Object holographic augmentation |
CN109683700A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视觉感知的人机交互实现方法和装置 |
US20190172262A1 (en) * | 2017-12-05 | 2019-06-06 | Samsung Electronics Co., Ltd. | System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality |
US20190312747A1 (en) * | 2018-04-10 | 2019-10-10 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus and system for controlling home device |
US20190344449A1 (en) * | 2018-05-09 | 2019-11-14 | Sony Interactive Entertainment Inc. | Apparatus Control Systems and Method |
CN108986199A (zh) * | 2018-06-14 | 2018-12-11 | 北京小米移动软件有限公司 | 虚拟模型处理方法、装置、电子设备及存储介质 |
CN109960404A (zh) * | 2019-02-15 | 2019-07-02 | 联想(北京)有限公司 | 一种数据处理方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112051961A (zh) * | 2020-09-04 | 2020-12-08 | 脸萌有限公司 | 虚拟交互方法、装置、电子设备及计算机可读存储介质 |
CN112233172A (zh) * | 2020-09-30 | 2021-01-15 | 北京零境科技有限公司 | 一种视频穿透式混合现实方法、***、可读存储介质及电子设备 |
CN113797525A (zh) * | 2020-12-23 | 2021-12-17 | 广州富港生活智能科技有限公司 | 一种新型游戏*** |
CN113797525B (zh) * | 2020-12-23 | 2024-03-22 | 广州富港生活智能科技有限公司 | 一种新型游戏*** |
CN113010140A (zh) * | 2021-03-15 | 2021-06-22 | 深圳市慧鲤科技有限公司 | 一种声音播放方法及装置、电子设备和存储介质 |
CN113269782A (zh) * | 2021-04-21 | 2021-08-17 | 青岛小鸟看看科技有限公司 | 数据生成方法、装置及电子设备 |
US11995741B2 (en) | 2021-04-21 | 2024-05-28 | Qingdao Pico Technology Co., Ltd. | Data generation method and apparatus, and electronic device |
CN113724397A (zh) * | 2021-08-27 | 2021-11-30 | 浙江商汤科技开发有限公司 | 虚拟对象的定位方法、装置、电子设备及存储介质 |
WO2024012268A1 (zh) * | 2022-07-14 | 2024-01-18 | 维沃移动通信有限公司 | 虚拟操作方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111399654B (zh) | 2022-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111399654B (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN111510701A (zh) | 虚拟内容的显示方法、装置、电子设备及计算机可读介质 | |
US9855496B2 (en) | Stereo video for gaming | |
EP3039656B1 (en) | Method and apparatus for representing physical scene | |
JP7181316B2 (ja) | Hmd環境での高速中心窩レンダリングのための予測及びgpuに対する最新の更新を伴う視線追跡 | |
US11176748B2 (en) | Image processing apparatus, image processing method, and program | |
EP2371434B1 (en) | Image generation system, image generation method, and information storage medium | |
US9639989B2 (en) | Video processing device, video processing method, and video processing system | |
US11244511B2 (en) | Augmented reality method, system and terminal device of displaying and controlling virtual content via interaction device | |
US20110292036A1 (en) | Depth sensor with application interface | |
JP6679523B2 (ja) | 画像処理プログラム、画像処理システム、画像処理装置および画像処理方法 | |
US20130335405A1 (en) | Virtual object generation within a virtual environment | |
EP2395454A2 (en) | Image generation system, shape recognition method, and information storage medium | |
US11508141B2 (en) | Simple environment solver using planar extraction | |
US20220283631A1 (en) | Data processing method, user equipment and augmented reality system | |
EP4170594A1 (en) | System and method of simultaneous localisation and mapping | |
KR101473234B1 (ko) | 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템 | |
US10445940B2 (en) | Modeling interactions between simulated characters and real-world objects for more realistic augmented reality | |
CN114207671A (zh) | 图像处理装置、图像处理方法和程序 | |
JP7510723B1 (ja) | キャラクター表示制御システム、キャラクター表示制御方法およびプログラム | |
KR20230097449A (ko) | 마커 기반 mr 시스템의 가상 환경 자동 생성 장치 및 방법 | |
WO2024076543A1 (en) | Display of three-dimensional scenes with changing perspectives |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |