发明内容
本发明实施例提供一种信息处理方法、装置、云处理设备及计算机程序产品,提高了对静态事物的识别精度和速度,叠加AR模型更加准确。
第一方面,本发明实施例提供一种信息处理方法,包括:
获取终端拍摄的影像信息;
获取所述终端的位置信息;
根据所述位置信息与所述影像信息检索AR模型;
将所述AR模型发送至所述终端。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据所述位置信息与所述影像信息检索AR模型,包括:
根据所述位置信息确定检索范围;
检索所述检索范围内的所有建筑物信息;
获取与所述建筑物信息中的每个建筑物对应的图像信息;
根据所述图像信息确定所述影像信息中包含的建筑物;
检索与所述建筑物对应的AR模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取与所述建筑物信息中每个建筑物对应的图像信息,包括:
获取与所述建筑物信息中每个建筑物对应的3D模型信息;或者,
若未获取到与所述建筑物信息对应的3D模型信息,获取与所述建筑物信息中每个建筑物对应的2D图片信息。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述方法还包括:
根据建筑物信息、图像信息与AR模型建立至少一个关系数据库。
第二方面,本发明实施例还提供一种信息处理装置,包括:
第一获取单元,用于获取终端拍摄的影像信息;
第二获取单元,用于获取所述终端的位置信息;
检索单元,用于根据所述位置信息与所述影像信息检索AR模型;
发送单元,用于将所述AR模型发送至所述终端。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述检索单元,具体用于:
根据所述位置信息确定检索范围;
检索所述检索范围内的建筑物信息;
获取与所述建筑物信息中的每个建筑物对应的图像信息;
根据所述图像信息确定所述影像信息中包含的建筑物;
检索与所述建筑物对应的AR模型。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述检索单元,具体用于:
获取与所述建筑物信息中每个建筑物对应的3D模型信息;或者,
若未获取到与所述建筑物信息对应的3D模型信息,获取与所述建筑物信息中每个建筑物对应的2D图片信息。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述装置还包括:
建立单元,用于根据建筑物信息、图像信息与AR模型建立至少一个关系数据库。
第三方面,本发明实施例还提供一种云处理设备,所述设备包括处理器以及存储器;所述存储器用于存储指令,所述指令被所述处理器执行时,使得所述设备执行如第一方面中任一种所述的方法。
第四方面,本发明实施例还提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现如第一方面中任一种所述的方法。
本发明实施例提供的信息处理方法、装置、云处理设备及计算机程序产品,通过获取终端拍摄的影像信息与位置信息,然后结合位置信息与影像信息来检索对应的AR模型,其中,根据位置信息来检索AR模型可以缩小检索范围,提高检索精度,再结合终端拍摄的影像信息来确定对应的AR模型就可以提高检索效率,提高对静态事物的识别率,解决了现有技术中识别静态事物检索量大,准确性较低的问题。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
用户在使用终端或者可穿戴设备时,经常会用到摄像头拍摄视频或者图像等,当用户在户外环境中时,摄像头中经常会出现建筑物等静态事物,或者用户主动对建筑物等静态事物进行拍摄。由于室外建筑物的表面可以贴附各种信息,例如,服务信息、广告信息、宣传信息等,但均具有更换内容费时费力、成本高等缺点,因此,借助于前述内容提到的用户使用终端或者可穿戴设备的使用习惯,可以将AR技术融合到室外建筑物上,增强可定制化、低成本、浸入感强等效果。
但是,由于室外建筑物会受到光照变化而影像图像采集,以及当建筑物体积较大时,采集到的图像仅仅是建筑物的一部分,在一定程度上降低对建筑物识别的准确性。为了能够解决上述的情况,本发明实施例提供一种信息处理方法,具体的,图1为本发明实施例提供的图像处理方法实施例的流程图,如图1所示,本发明实施例提供的信息处理方法,具体可以包括如下步骤:
101、获取终端拍摄的影像信息。
在本发明实施例中,终端可以包括:手机、平板电脑、笔记本电脑、车载设备、可穿戴设备等具有摄像功能的智能设备。并且,在本发明实施例中,终端还需要具有网络通信功能。
终端拍摄的影像信息是由用户控制摄像头等具有采集影像功能的器件对户外环境进行拍摄得到的影像信息。获取影像信息的可以是具有较强计算能力的计算设备,并且,计算设备至少包括运算单元、无线传输单元,例如,本地计算机、云处理中心等。终端与计算设备之间可以相互进行通信,通信的方式可以使用2G、3G、4G、WiFi等无线通信方式。
在本发明实施例中,终端可以将拍摄得到的影像信息主动上传至计算设备,由计算设备进行接收,也可以是由计算设备主动获取终端拍摄的影像信息。
102、获取终端的位置信息。
在本发明实施例中,终端的位置信息可以通过定位来完成,具体的,在一个具体的实现过程中,可以利用GPS(Global Positioning System,全球定位***)来确定终端的经纬度,结合地图信息对终端进行定位。在另一个具体的实现过程中,还可以通过基站信息来确定终端的位置,终端将自身当前所属基站的标识以及信号强度上报给定位装置,进而确定终端当前所处位置的坐标。
在本发明实施例中,终端可以自身的位置信息主动上传至计算设备,由计算设备进行接收,也可以是由计算设备主动获取终端的信息对终端进行定位得到位置信息。通过获取终端的位置信息,可以更加精准的确定终端的位置,最大程度上缩小对后续影像信息识别的难度,为提高影像信息识别的精确度建立基础。
103、根据位置信息与影像信息检索AR模型。
在本发明实施例中,由于终端的位置可能发生变化,以及获取到的位置信息可能具有一定的误差,为了提高准确性,首先,可以根据位置信息确定检索范围。在一个具体的实现过程中,可以是距离位置信息一定范围的区域,例如,距离定位位置50米的平面区域。
然后,检索检索范围内的建筑物信息。在该过程中,可以依赖于地图信息或者建筑物供应商提供的信息等可以确定建筑物位置的信息,检索的结果为,在检索范围内包含几个建筑以及每个建筑物的名字、每个建筑物的编号等信息。
接着,获取与建筑物信息中的每个建筑物对应的图像信息。在本发明实施例中,图像信息包括3D模型信息和2D图片信息,并且,图像信息可以预先存储在数据库中。其中,3D模型信息可以是由建筑物的设计者提供,也可以是用户使用摄像头等对建筑物的外观进行扫描重建后得到的,一般情况下包括建筑物的完整三维形状。2D图片信息可以由用户采集后上传到计算设备,一般情况下,既可以是建筑物的整体外观,也可以是建筑物的局部图。在本发明实施例中,无论是3D模型信息和2D图片信息,都需要人工对其进行标注,确定叠加AR模型的区域或者位置。因此,获取与建筑物信息对应的图像信息,需要根据建筑物的名字或者编号来确定建筑物的3D模型信息,或者根据建筑物的名字或者编号来确定建筑物的2D图片信息。在本发明实施例中,获取与建筑物对应的图像信息目的在于与用户获取的摄影信息进行对比,确定用户拍摄的建筑物。
接着,根据的图像信息确定影像信息中包含的建筑物;在本发明实施例中,利用图像对比的方法确定影像信息中的主体是否与前面获取到的建筑物对应的图像信息相同,若相同,则可以确定影像信息包含的建筑物是哪一个。具体的,分别提取影像信息中主体内容的特征点和图像信息的特征点,将二者的特征点进行比对,对比结果显示误差在一定范围内即可以理解为影像信息中主体内容对应的建筑物与图像信息代表的建筑物相同。
最后,检索与建筑物对应的AR模型。在本发明实施例中,预先会在云处理设备中存储不同的AR模型,例如,图片、视频、3D模型、动画等。相应的,不同的AR模型对应不同的建筑物图像信息,其可以由人工进行匹配或者标记。当确定了建筑物后,直接检索就可以得到对应的AR模型。
需要说明的是,在本发明实施例中,在获取与建筑物信息中的每个建筑物对应的图像信息时,优先获取与建筑物信息中每个建筑物对应的3D模型信息;若未获取到与建筑物信息对应的3D模型信息,获取与建筑物信息中每个建筑物对应的2D图片信息。优选使用3D模型的原因在于,3D模型为建筑物完整的形状,在叠加AR模型时,可以更精确的进行操作,并且,3D模型对局部细节的变化以及光照的变化鲁棒性更好,且有利于后续计算位姿。当没有3D模型时,使用2D图片,其好处在于,数据量大,图片来源广泛。
104、将AR模型发送至终端。
在本发明实施例中,当AR模型发送至终端后,终端根据接收到的AR模型,开始进行叠加操作,为了能够将AR模型准确的叠加至影像信息中,首先计算影像信息中的建筑物与图像信息中建筑物的相对位姿。具体的,在一个具体的实现过程中,首先提取图像信息中建筑物的特征点,然后提取影像信息中的建筑物的特征点,接着,按照特征点匹配原则分别计算每个特征点的相对位置关系,根据相对位置关系来确定影像信息中的建筑物的相对位姿。
然后,根据相对位姿将AR模型叠加至影像信息中,形成叠加影像信息,使得AR的位姿与影像信息中建筑物的位置相同。在显示单元内显示叠加影像信息。
本发明实施例提供的信息处理方法,通过获取终端拍摄的影像信息与位置信息,然后结合位置信息与影像信息来检索对应的AR模型,其中,根据位置信息来检索AR模型可以缩小检索范围,提高检索精度,再结合终端拍摄的影像信息来确定对应的AR模型就可以提高检索效率,提高对静态事物的识别率,解决了现有技术中识别静态事物检索量大,准确性较低的问题。
当用户手持终端时,或者用户在走动时,终端的位置或者角度是不固定的,相应的,终端拍摄到的影像信息也是不固定的,因此,为了能够增强浸入感,以及在视觉上更加的流畅,在前述内容的基础上,终端还可以采集惯性测量数据,根据惯性测量数据确定终端的移动位姿,进而调整AR模型的位置。在本发明实施例中,可以利用IMU(Inertialmeasurement unit,惯性测量单元)在终端发生位置或者角度变化时产生的数据,来计算终端的移动位姿,具体的,通过采集终端内的IMU的加速度变化值,角速度变化值等数据,然后根据数据值计算终端的位置变化,即移动位姿。进而根据移动位姿来更新了AR模型在叠加影像信息中的位置。
因此,本发明实施例提供的技术方案实现AR模型跟随用户拍摄的影像信息移动而移动,提高了时效性,以及从视觉上更加的流畅,增强与用户的互动。
在本发明实施例中,计算设备内存储有大量的数据,因此,为了提高检索的速度以及精度,还可以预先建立一个关系数据库,具体的,图2为本发明实施例提供的图像处理方法实施例的另一流程图,如图2所示,本发明实施例提供的信息处理方法,在步骤101之前,还可以包括如下步骤:
100、根据建筑物信息、图像信息与AR模型建立至少一个关系数据库。
在本发明实施例中,可以依赖于地图信息、用户通过各种途径上传的图像信息来为每一个建筑物确定图像信息,并对图像信息进行标注,确定AR模型叠加的位置或者AR模型叠加的区域,以及,为每个建筑物匹配对应的AR模型,建立一个完整的关于建筑物信息、图像信息以及AR模型的关系数据库或者分别建立关系数据库。
并且,数据库的内容可以不断的变化,根据实际需要进行调整,进行内容的增加、删除、修改等。
建立数据库的目的在于能够提高检索精度和效率,使得能够更加精准的将AR模型叠加在用户拍摄的影像信息中。
为了实现前述内容中的方法,本发明实施例还提供一种信息处理装置,图3为本发明实施例提供的信息处理装置实施例的结构示意图,如图3所示,本实施例的装置可以包括:第一获取单元11、第二获取单元12、检索单元13和发送单元。
第一获取单元11,用于获取终端拍摄的影像信息;
第二获取单元12,用于获取终端的位置信息;
检索单元13,用于根据位置信息与影像信息检索AR模型;
发送单元14,用于将AR模型发送至终端。
在一个具体的实现过程中,检索单元13,具体用于:
根据位置信息确定检索范围;
检索检索范围内的建筑物信息;
获取与建筑物信息中的每个建筑物对应的图像信息;
根据图像信息确定影像信息中包含的建筑物;
检索与建筑物对应的AR模型。
在一个具体的实现过程中,所述获取与建筑物信息中的每个建筑物对应的图像信息,包括:
获取与所述建筑物信息中每个建筑物对应的3D模型信息;或者,
若未获取到与所述建筑物信息对应的3D模型信息,获取与所述建筑物信息中每个建筑物对应的2D图片信息。
本发明实施例提供的信息处理装置,可以用于执行图1所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
进一步地,本发明实施例还提供一种信息处理装置,图4为本发明实施例提供的信息处理装置实施例的另一结构示意图,如图4所示,本实施例的装置,在前述内容的基础上,还可以包括:建立单元15。
建立单元15,用于根据建筑物信息、图像信息与AR模型建立至少一个关系数据库。
本发明实施例提供的信息处理装置,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图5为本发明实施例提供的云处理设备实施例的结构示意图,如图5所示,本发明实施例提供的云处理设备,具体可以包括:处理器21以及存储器22。
其中,存储器21用于存储指令,指令被处理器22执行时,使得设备执行如图1或者图2所示任意一种方法。
本发明实施例提供的云处理设备,可以用于执行图1或图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本发明实施例还提供一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,计算机程序经由计算机载入并执行后能够实现如图1或图2所示任意一种方法。
本发明实施例提供的计算机程序产品,可以用于执行图1或图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。