CN115760964B - 一种获取目标对象的屏幕位置信息的方法与设备 - Google Patents
一种获取目标对象的屏幕位置信息的方法与设备 Download PDFInfo
- Publication number
- CN115760964B CN115760964B CN202211407742.7A CN202211407742A CN115760964B CN 115760964 B CN115760964 B CN 115760964B CN 202211407742 A CN202211407742 A CN 202211407742A CN 115760964 B CN115760964 B CN 115760964B
- Authority
- CN
- China
- Prior art keywords
- information
- coordinate system
- position information
- image capturing
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009466 transformation Effects 0.000 claims description 103
- 230000001131 transforming effect Effects 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000009877 rendering Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 239000004984 smart glass Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- -1 smart phones Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请的目的是提供一种获取目标对象的屏幕位置信息的方法与设备，包括：获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。本申请能够在显示装置中直观地、实时地显示目标对象，为用户提供了直观参照。
Description
技术领域
本申请涉及通信领域，尤其涉及一种用于获取目标对象的屏幕位置信息的技术。
背景技术
随着技术的进步与发展，新型监控设备广泛应用于各个领域，例如使用无人机和AR眼镜对城市进行监控与巡查。目前，监控设备的监控与巡查大多为传统的视频监控，通过将监控设备的视频流数据传输到地面控制端及监控***，可以看到监控设备画面内设备、道路、建筑等目标对象的实时情况以及监控设备的位置信息，但现场态势感知不足，以二维电子地图方式来查看视频、警力分布等信息不够直观，作战人员缺乏对现场态势的全局感知，只能依赖个人经验研判，无法在画面内直观显示目标对象的位置信息。
发明内容
本申请的一个目的是提供一种获取目标对象的屏幕位置信息的方法与设备。
根据本申请的一个方面，提供了一种获取目标对象的屏幕位置信息的方法，其中，该方法包括：
获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。
根据本申请的另一个方面，提供了一种获取目标对象的屏幕位置信息的设备，其中，该设备包括：
一一模块，用于获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
一二模块，用于获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
一三模块，用于根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系的中的平面坐标信息。
根据本申请的一个方面，提供了一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得***进行执行如上任一所述方法的步骤。
根据本申请的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如上任一所述方法的步骤。
与现有技术相比，本申请能够实时获取目标对象在当前图像中的屏幕位置信息，从而能够在显示装置中直观地、实时地显示目标对象，为用户提供了直观参照，帮助用户快速、准确将当前图像与目标对象相关的真实地理位置对应起来。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种获取目标对象的屏幕位置信息的方法流程图；
图2示出根据本申请另一个实施例的一种计算机设备的设备结构图；
图3示出可被用于实施本申请中所述的各个实施例的示例性***。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如，中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change Memory，PCM)、可编程随机存取存储器(Programmable Random Access Memory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random AccessMemory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如无人机、智能眼镜、智能手机、平板电脑等，所述移动电子产品可以采用任意操作***，如Android操作***、iOS操作***等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital SignalProcessor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了根据本申请一个方面的一种获取目标对象的屏幕位置信息的方法，该方法应用于计算机设备，具体包括步骤S101、步骤S102、步骤S103。在步骤S101中，获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；在步骤S102中，获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；在步骤S103中，根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。例如，所述计算机设备包括但不限于用户设备、网络设备或者用户设备与网络设备的集合设备；其中，所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑、无人机设备、智能眼镜、智能头盔等；所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云，例如，地面控制中心服务器等，其中，所述无人机设备包括利用无线电遥控设备和自备的程序控制装置操纵的不载人飞行设备。其中，步骤S101和步骤S102不分先后，可以先执行步骤S101再执行步骤S102，也可以先执行步骤S102再执行步骤S101。在此，我们可以对应用户设备包括无人机设备为例阐述以下该等实施例，本领域技术人员应能理解，该等实施例同样适用于其他用户设备的情形。
具体而言，在步骤S101中，获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息。例如，计算机设备包括摄像装置，用于采集当前场景的图像信息，如无人机设备的设备摄像头、智能眼镜的摄像头、PTZ监控摄像头或者手机摄像头等；在一些实施例中，所述计算机设备还包括对应通信装置，用于与其他设备(例如，用户设备、地面控制中心等)建立对应通信连接并进行信息传输。计算机设备基于控制用户的操作或者预设指令采集当前场景的图像信息确定当前图像，例如，无人机设备基于预设航行路线进行飞行，在无人机设备飞行过程中通过摄像装置进行地面场景的采集从而确定当前图像，又如，对应用户佩戴智能眼镜通过摄像装置拍摄用户前方场景从而确定当前图像，还如，对应用户手持手机通过手机的前置/后置摄像头拍摄所处场景从而确定当前图像等。
所述计算机设备获取当前图像时还能够获取到对应摄像装置对应的摄像位姿信息，该摄像位姿信息包括对应摄像装置的摄像位置信息及摄像姿态信息等，其中，所述摄像位置信息包括但不限于摄像装置的相对位置信息或者绝对位置信息(例如，摄像装置对应的摄像坐标系原点的相对位置信息或者绝对位置信息)，其中，相对位置信息包括但不限于该摄像装置对应的摄像坐标系原点(例如，摄像装置的中心等)在三维坐标系中的三维坐标信息，对应绝对位置信息包括该摄像装置对应的摄像坐标系原点(例如，摄像装置的中心等)的经纬度信息及海拔信息等。
在一些实施方式中，在步骤S101中，获取所述摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像实时位置信息及所述摄像装置的摄像姿态信息；基于所述摄像实时位置信息、所述摄像姿态信息确定所述摄像装置的摄像位姿信息。例如，在一些情形下，忽略对应用户设备(例如，无人机设备或者智能眼镜等)与摄像装置之间的平移关系，可以直接将用户设备的实时地理位置信息确定为摄像装置的实时摄像位置信息；在另一些情形下，先确定拍摄当前图像时用户设备的实时地理位置信息，并基于该实时地理位置信息及摄像装置与用户设备的平移关系，确定该摄像装置的实时摄像位置信息等，其中，所述平移关系包括该摄像装置对应的摄像坐标系的原点相对于用户设备对应的坐标系的原点的平移关系等。
所述摄像装置的摄像姿态信息包括该摄像装置在拍摄当前图像时的摄像角度信息，在一些情形下，该摄像装置调整对应的摄像角度信息，具体地，角度包括yaw/pitch/roll三轴角度信息，yaw为偏航角，pitch为俯仰角，roll为翻滚角等，当用户设备为无人机设备时，摄像角度由云台提供，当用户设备为智能眼镜或手机等时，摄像角度通过对应姿态传感器(如三轴陀螺仪等)获取等。
在步骤S102中，获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应。其中，目标对象可以是用户任意关注的对象，例如，对应目标对象为基于用户在电子地图、其他采集设备采集的图像或者当前图像相关图像帧中的指定操作(如点击、框选等操作)确定的对象等，如地面上建筑或者街道等；例如，对应目标对象为任意空间位置点、线段、区域等，空间位置点、线段、区域等可以是某地理位置、街道位置、建筑位置或其他任意空间点、线段、区域等。在一些情形下，该目标对象可以带有对应指示信息(例如，位置指示、名称指示或者其他操作指示等)，该目标对象可以是处于地理坐标系中，也可以是处于三维直角坐标系中，还可以是处于屏幕坐标系等其他三维/二维坐标系中，在此不作限定；在一些情形下，所述目标对象包括对目标对象增加地理位置信息的地理标签信息，地理位置信息包括但不限于目标对象的经纬度信息，优选地，该地理位置信息还包括目标对象的高度信息。例如，所述地理坐标系包括基于全球定位***(Global PositioningSystem，GPS)建立的坐标***，由经纬度坐标及高度信息表示，如世界大地坐标系(WorldGeodetic System-1984 Coordinate System，WGS84)、国家大地坐标系、西安坐标系等。例如，对应地理位置信息由地理坐标(Ba,La,Ha)表示，其中，Ba表示纬度信息，La表示经度信息，Ha表示高度(如海拔等)信息等。例如，该目标对象的地理坐标通过在电子地图、其他采集设备采集的图像或者当前图像相关图像帧上操作(如点选、框选等)、在数字高程模型中操作(如点选、框选等)、从地理标签数据库选择(如全选、根据条件选择等)等方式获取。在一些情形下，地理位置信息可以是事先获取的，目标对象的地理位置信息可以是存储于对应地理数据库中，如在一些实施方式中，所述方法还包括步骤S106(未示出)，建立或更新对应地理信息库，其中，所述地理信息库中包含至少一个地理标签信息，每个地理标签信息包括对应地理位置信息和/或地图位置信息；其中，在步骤S102中，从所述地理信息库的至少一个地理标签信息中确定所述目标对象的目标标签信息，从而获取所述目标对象的地理位置信息。例如，计算机设备或者其他设备端存储有对应地理信息库，该地理信息库包括一个或多个目标对象对应的地理标签，每个地理标签信息包括目标对象对应的地理位置信息和/或地图位置信息等。该地理数据库可以是存储于该计算机设备，或者存储于与计算机设备存在通信连接的其他设备，基于与其他设备的通信连接获取关于目标对象的地理标签信息，并从中获取目标对象的地理位置信息等，如直接读取该地理标签信息中的地理位置信息或者根据地理标签信息中包含的地图位置信息换算确定对应地理位置信息等。在另一些情形下，该地理位置信息可以是实时获取的，例如，基于用户在电子地图或者其他采集设备采集的图像中的实时操作(如框选目标对象或者点选目标对象等)等确定目标对象的地理位置信息，又例如，基于用户在当前图像相关图像帧(如前序图像帧等)中的实时操作(如框选目标对象或者点选目标对象等)，并基于用户设备的摄像装置的摄像位姿信息计算得到该目标对象的地理位置信息等。
在步骤S103中，根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。例如，所述计算机设备还包括显示装置，用于呈现所述当前图像并在对应当前图像中渲染所述目标对象等。所述屏幕坐标系是指以显示装置的整个屏幕确定的二维平面坐标系，例如，以显示屏幕的左上角为坐标原点，X轴向右为正，Y轴向下为正的二维直角坐标系等，其中，对应屏幕坐标信息中X、Y坐标为对应平面坐标信息等，其中，像素深度(pixel depth)信息用于指示摄像装置到目标对象的距离，基于该像素深度信息可以对目标对象的显示进行准确控制，如在当前图像中不显示出现在摄像装置的远平面及***面确定的裁剪空间外面的目标对象的目标渲染信息。由于地理坐标系通常是固定的，我们只需要获取摄像装置对应的摄像位置信息、摄像姿态信息，即可确定从地理坐标系转换至该当前图像对应的摄像坐标系的转换关系，并在已知摄像装置的内参的情形时，从摄像坐标系转换至屏幕坐标系，从而确定对应的屏幕位置信息。其中，所述摄像坐标系通常被看作是一种特殊的“物体”坐标系，该“物体”坐标系就定义在摄像机的屏幕可视区域，如摄像机坐标系中，以摄像机光心为原点，x轴向右，z轴向后(朝向屏幕内)，y轴向上(不是世界的上方而是摄像机本身的上方)。例如，我们可以设置一个虚拟世界三维直角坐标系作为中转坐标系，先将地理位置信息从对应地理坐标系转换至对应虚拟世界三维直角坐标系中，再从虚拟世界三维直角坐标系转换至摄像坐标系中，最后，从摄像坐标系中转换至对应屏幕坐标系中，从而确定地理位置信息在屏幕坐标系中的对应屏幕位置信息。
在一些实施方式中，所述步骤S103包括子步骤S1031(未示出)、子步骤S1032(未示出)、子步骤S1033(未示出)以及步骤S1034(未示出)，其中，在步骤S1031中，获取所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息；在步骤S1032中，根据所述摄像位置信息、所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的第二坐标变换信息；在步骤S1033中，获取所述摄像装置的所述摄像坐标系变换至对应屏幕坐标系的第三坐标变换信息；在步骤S1034中，基于所述地理位置信息、所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。其中，对应虚拟世界三维直角坐标系是基于投影算法和高度信息确定的一种三维直角坐标系，该虚拟世界三维直角坐标系中的坐标(Xa,Ya,Za)，其中，Ya是指高度，(Xa,Za)是指通过投影算法将经纬度投影后的坐标值。。由于投影算法已知的情况下，该地理位置信息从地理坐标系转换至虚拟世界三维直角坐标系对应的第一坐标变换信息也为已知的；同时，基于已知的虚拟世界三维直角坐标系及摄像位姿信息，我们可以求解出该虚拟世界三维直角坐标系转换至摄像坐标系的第二坐标变换信息；通常摄像装置的内参在标定后可以确定，我们可以基于该标定的内参将坐标从摄像坐标系变换至裁剪坐标系，并进一步将裁剪坐标系变换至屏幕坐标系，从而确定对应第三坐标变换信息。计算机设备基于前述第一坐标变换信息、第二坐标变换信息以及第三坐标变换信息可以实现任一位置对应的地理位置信息转换至当前图像对应的屏幕坐标系下确定对应的屏幕位置信息。其中，所述第一、第二、第三以及后续相似名词前缀等仅用于进行坐标变换信息在不同坐标系间变换，并不涉及任何先后、次序或者等级方面的排序等。
在一些实施方式中，在步骤S1031中，通过投影算法及高度信息确定所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息。例如，地理坐标系是通过三维球面来定义地球表面位置，以实现通过经纬度信息对地球表面点位置引用的坐标系，也称为大地坐标系，该坐标系中，首先将地球抽象成一个规则的逼近原始自然地球表面的椭球体，称为参考椭球体，然后在参考椭球体上定义一系列的经线和纬线构成经纬网，从而达到通过经纬度来描述地表点位的目的。该经纬地理坐标系不是平面坐标系，因为度不是标准的长度单位，不可用其直接量测面积长度，所以我们需要对该地理坐标系进行转换，将经纬度信息转换为能够测量的直角坐标系中，如将地理坐标系先转换至虚拟世界三维直角坐标系中，再从虚拟世界三维直角坐标系转换至对应摄像坐标系中。在此，所述摄像位置信息为用户设备的地理坐标(B，L，H)，其中，经纬度(B，L)由用户设备自带的GPS等传感器获取，用户设备高度(如海拔等)H由地面点的高度(如海拔等)h0加用户设备距离地面点高度alt两部分组成，即：
H＝h0+alt (1)
对应用户设备距离地面点高度由用户设备自带传感器获取(固定监控设备可由安装参数获取)，地面点高度(如海拔等)可通过数字高程模型等方式获取，在此，地理坐标(B，L，H)的获取方式仅为举例，在此不做限定。
在一些情形下，我们可以通过投影算法将地理坐标转换到平面直角坐标系，根据平面直角坐标系下的平面坐标加上高度信息(如高程海拔数据等)，组成虚拟世界三维直角坐标系，其中，所述投影算法包括但不限于墨卡托投影、web墨卡托投影、通用墨卡尔投影、高斯投影、米勒投影、兰伯特投影、以及不经过投影以地心为坐标原点的地心坐标系等。以下以墨卡托投影为例阐述以下实施例，本领域技术人员应能理解该等实施例同样适用于其他投影算法。具体地，在一些情形下，通过GPS等传感器获得的位置信息单位是角度，墨卡托投影算法的经纬度的单位是弧度，先将角度转换成弧度，再进行墨卡托投影算法：弧度度数(rad)＝(角度数/180)π，对应转化公式为：
Y＝H (3)
X＝K(L-L0) (4)
其中，
前述式(2)-(5)中，a为椭球体长半轴，取WGS84椭球体参数6378137；
b为椭球体短半轴，取WGS84椭球体参数6356752.3142；
f为扁率，即(a-b)/a；
e为第一偏心率，即
e’为第二偏心率，即
N为卯酉圈曲率半径，即
R为子午圈曲率半径，即
B为纬度，L为经度，单位弧度(RAD)；
X为横直角坐标，Z为纵直角坐标，Y为高度坐标，单位米(M)；
且墨卡托投影正解公式：(B，L)→(X，Z)，原点纬度B0，原点经度L0。
在一些情形下，由于墨卡托投影是左手坐标系，第二坐标变换信息、透视投影变换信息是右手坐标系，经过前述墨卡托投影后，还需要通过Z＝-Z来转换坐标系，从而确定对应第一坐标变换信息等。
在一些实施方式中，在步骤S1032中，根据所述摄像位置信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标偏移信息，根据所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标旋转信息，以确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的第二坐标变换信息。例如，计算机设备可以获取到对应用户设备的角度信息(φ，θ，λ)，其中，φ，θ，λ分别对应pitch、yaw、roll。在此，我们可以直接将该角度信息确定为摄像装置的摄像姿态信息，或者基于该用户设备角度信息进行坐标轴转换将角度信息的各个角度转换至摄像坐标系下从而确定对应的摄像姿态信息等。在一些情形下，根据所述摄像位置信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标偏移信息，如根据前述第一坐标变换信息将地理坐标变换至虚拟世界三维直角坐标系下确定对应坐标(X，Y，Z)后，对应平移矩阵：
在另一些情形下，所述计算机设备确定对应处于摄像坐标系下的摄像姿态信息后，计算机设备可以根据角度信息确定对应旋转矩阵信息，并将旋转矩阵信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标旋转信息等，例如，
基于前述式(7)-(9)，我们可以确定角度信息对应的旋转矩阵：
Rcamera＝RyRxRz (10)
其中，旋转顺序可以变化，不同的旋转顺序对应的旋转矩阵不同，在此不做限定。在一些情形下，若旋转云台是左手坐标系，则需将角度信息(φ，θ，λ)转换成右手坐标系下的角度信息后再进行旋转矩阵的计算等。
此时，我们可以确定对应摄像装置的变换矩阵：
Mcamera＝RcameraTcamera (11)
进一步，第二坐标变换信息为摄像机的变换矩阵Mcamera的逆矩阵，即：
在一些实施方式中，在步骤S1033中，获取所述摄像装置对应内参，并基于所述内参确定所述摄像坐标系变换至对应裁剪坐标系的齐次透视投影变换信息；获取所述裁剪坐标系变换至对应屏幕坐标系的第四坐标变换信息；根据所述齐次透视投影变换信息及所述第四坐标变换信息确定所述摄像坐标系变换至所述屏幕坐标系的第三坐标变换信息。例如，我们通过标定摄像装置的内参参数计算透视关系，摄像装置通过计算机视觉常用标定算法标定，获得其摄像装置无变焦时内参，包括长焦距，短焦距、长轴光心偏移、短轴光心偏移等，并通过应用程序接口，获取摄像装置初始变焦大小、视频图像序列宽W、高H。在此，设远平面F和***面N，假设摄像头支持变焦的透视投影矩阵，设相对变焦倍数为z0，则齐次透视投影矩阵：
其中，当标定内参时不是一倍变焦，相对变焦倍数是基于标定时变焦的倍数确定，如，标定内参时摄像机的变焦倍数是4倍，实时变焦倍数是8倍，则相对变焦倍数z0为8/4＝2倍，fx和fy代表云台相机焦距，cx和cy代表主点坐标。fx、fy、cx、cy可通过相机标定得到。该透视投影矩阵信息描述了摄像坐标系到裁剪坐标系的变换关系，透视投影矩阵的变换本质，是将视锥体变换到裁剪空间中，视锥体具有六个面，近裁剪面，远裁剪面，左裁剪面，右裁剪面，上裁剪面，下裁剪面，所有超出视锥体的都会被舍弃，也就是被裁剪，我们之后的操作都是对视锥体内部进行计算。当采集设备不支持变焦/无变焦/一倍变焦时，z0＝1带入上式，得到对应的齐次透视投影矩阵：
基于上述，记Mprojview＝MprojMview，可以理解为虚拟世界三维直角坐标系到裁剪空间坐标系的变换矩阵。进一步地，确定裁剪坐标系变换至对应屏幕坐标系的第四坐标变换信息，然后根据齐次透视投影变换信息及第四坐标变换信息确定摄像坐标系变换至屏幕坐标系的第三坐标变换信息。
在一些实施方式中，所述获取所述裁剪坐标系变换至对应屏幕坐标系的第四坐标变换信息，包括：获取所述裁剪坐标系变换至对应标准设备坐标系的第五坐标变换信息；获取所述摄像装置采集的所述当前图像的像素范围信息，根据所述像素范围信息确定所述标准设备坐标系变换至对应屏幕坐标系的第六坐标变换信息；根据所述第五坐标变换信息、所述第六坐标变换信息确定所述裁剪坐标系变换至所述屏幕坐标系的第四坐标变换信息。例如，所述标准化设备坐标系是一个x、y和z值在-1.0到1.0的一小段空间坐标系，任何落在范围外的坐标都会被丢弃/裁剪，不会显示在当前屏幕上。我们可以基于前述裁剪坐标系，获取所述裁剪坐标系变换至对应标准设备坐标系的第五坐标变换信息，同时获取所述摄像装置采集的所述当前图像的像素范围信息(例如，像素宽度和像素高度)，根据所述像素范围信息确定所述标准设备坐标系变换至对应屏幕坐标系的第六坐标变换信息，从而根据所述第五坐标变换信息、所述第六坐标变换信息确定所述裁剪坐标系变换至所述屏幕坐标系的第四坐标变换信息。计算机设备基于上述方法能够实现坐标从地理坐标系转换至对应屏幕坐标系，下面我们结合具体实施例对上述转换过程进行具体介绍：
1)计算机设备获取目标对象的地理坐标(Ba，La，Ha)，其中Ba表示纬度，La表示经度，Ha表示海拔，例如，该目标对象的地理坐标通过在电子地图、其他采集设备采集的图像或者当前图像相关图像帧上操作(如点选、框选等)、在数字高程模型中操作(如点选、框选等)、从地理标签数据库选择(如全选、根据条件选择等)等方式获取。在一些实施例中，目标对象的地理坐标仅需获取一次，获取成功后可存储到地理标签数据库里，之后每次需要使用时从地理标签数据库里获取；
2)基于前述第一坐标变换信息将目标对象的地理坐标(Ba，La，Ha)转换到虚拟世界三维直角空间坐标系，转换后的坐标为(Xa，Ya，Za)，其中Ya＝Ha；
3)基于第二坐标变换信息及齐次透视投影矩阵信息将目标对象在虚拟世界三维直角坐标系下的坐标(Xa，Ya，Za)转到裁剪坐标系下确定对应的裁剪坐标(xclip，yclip，zclip，wclip)，其中，
进一步地，根据第五坐标变换信息将裁剪坐标变换至标准化设备坐标系下：
进一步地，计算像素深度(pixel depth)信息：
此外，基于第六坐标变换信息将其转换至屏幕坐标系中：
xs＝(xndc+1.0)x 0.5 X W (20)
ys＝(1.0-(Yndc+1.0)x 0.5)xH (21)
从而确定目标对象的屏幕位置坐标，包括目标对象的像素深度信息(Zdepth)以及在屏幕坐标系中的平面坐标信息(xs、ys)。
在一些实施方式中，所述方法还包括步骤S104(未示出)，在步骤S104中，基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。例如，计算机设备可以基于前述坐标变换确定目标对象的屏幕位置信息，从而确定目标对象在显示屏幕中的平面坐标信息，从而在当前图像中叠加呈现目标对象的目标渲染信息，其中，目标渲染信息包括对该目标对象进行标识，如高亮渲染该目标对象、叠加显示该目标对象对应的描述信息或者叠加显示该目标对象的地理标签信息包含的数据内容，例如，叠加显示对应地理坐标信息或者呈现该目标对象的对象标识信息或介绍信息等。当然，在实际使用过程中，我们可以是先计算出对应坐标变换信息后根据该坐标变换信息计算对应屏幕位置信息，或者，可以是在计算坐标变换信息的过程中，通过地理位置信息对应经纬度、海拔信息等不断转换从而确定对应屏幕位置信息。在一些情形下，计算机设备还可以在后续实时当前图像中对目标对象进行实时跟踪渲染等，例如，计算机设备利用上述方法，可以实时计算每一个实时拍摄的实时当前图像对应的实时屏幕位置信息，其中，对应实时屏幕位置信息包括所述目标对象的像素深度信息及在所述实时当前图像的屏幕坐标系中的实时平面坐标信息等，从而基于实时屏幕位置信息叠加呈现目标对象的目标渲染信息。
在一些情形下，有些目标对象并没有出现在采集设备摄像头对应的远平面及***面确定的裁剪空间内，例如，地理标签数据库中的地理标签较多，并没有全部出现在摄像头对应的远平面及***面确定的裁剪空间内，为了保证目标对象在屏幕中呈现的效果更加有效，我们可以设置一定阈值空间，从而保证目标对象的屏幕位置信息处于对应阈值空间内时渲染对应目标对象，如对应阈值空间包括像素深度阈值和/或像素范围阈值等。在一些实施方式中所述方法还包括步骤S105(未示出)，在步骤S105中，若所述像素深度信息满足像素深度阈值，则基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。例如，计算机设备确定目标对象的像素深度信息后，确定该像素深度信息是否满足像素深度阈值，其中，像素深度阈值可以是单个数值阈值，也可以是区间数值阈值，在此不做限定，例如确定该像素深度信息是否小于或等于像素深度阈值(例如，0.8或者1等)，或者确定该像素深度信息是否位于像素深度阈值区间内(例如，(0,1)区间等)，若是，则认为该目标对象出现在采集设备摄像头远平面及***面确定的裁剪空间内，则计算机设备基于屏幕位置信息中的平面坐标信息在显示屏幕中呈现该目标对象对应的目标渲染信息，若否，则认为该目标对象出现在远平面及***面确定的裁剪空间外面，则不呈现该目标对象的目标渲染信息等。又如在一些实施方式中，所述屏幕坐标系由对应像素范围信息确定；其中，所述基于所述屏幕位置信息在所述摄像装置拍摄的当前图像叠加呈现所述目标对象的目标渲染信息，包括：若所述目标对象在屏幕位置信息中平面坐标信息处于所述像素范围信息内，基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。例如，对应屏幕坐标系通常由屏幕宽W，高H确定，还可以基于特定像素范围确定等，计算机设备基于目标对象的平面坐标信息确定是否处于像素范围内，例如，xs介于0到屏幕宽W或者其他倍数屏幕宽(例如，0.8W)，ys介于0到屏幕高H或者其他倍数屏幕高(例如，0.8H)等。若是，则计算机设备在显示屏幕中呈现该目标对象对应的目标渲染信息，若否，则不呈现该目标对象的目标渲染信息或等。
上文主要对本申请的一种获取目标对象的屏幕位置信息的方法的各实施方式进行了介绍，此外，本申请还提供能够实时上述各实施方式的具体设备，下面结合图2进行介绍。
图2示出了根据本申请一个方面的一种获取目标对象的屏幕位置信息的计算机设备100，具体包括一一模块101、一二模块102、一三模块103。一一模块101，用于获取对应摄像装置拍摄的关于目标对象的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；一二模块102，用于获取所述目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；一三模块103，用于根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。
在一些实施方式中，一一模块101，用于获取所述摄像装置拍摄的关于目标对象的当前图像及所述当前图像被拍摄时所述摄像装置的摄像实时位置信息及所述摄像装置的摄像姿态信息；基于所述摄像实时位置信息、所述摄像姿态信息确定所述摄像装置的摄像位姿信息。
在一些实施方式中，所述计算机设备还包括一六模块(未示出)，用于建立或更新对应地理信息库，其中，所述地理信息库中包含至少一个地理标签信息，每个地理标签信息包括对应地理位置信息和/或地图位置信息；其中，一二模块102，用于从所述地理信息库的至少一个地理标签信息中确定所述目标对象的目标标签信息，从而获取所述目标对象的地理位置信息。
在一些实施方式中，所述一三模块103包括一三一单元(未示出)、一三二单元(未示出)、一三三单元(未示出)以及一三四单元(未示出)，其中，一三一单元，用于获取所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息；一三二单元，用于根据所述摄像位置信息、所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息；一三三单元，用于获取所述摄像装置的所述摄像坐标系变换至对应屏幕坐标系的第三坐标变换信息；一三四单元，用于基于所述地理位置信息、所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在所述屏幕坐标系中的平面坐标信息。
在一些实施方式中，一三一单元，用于通过投影算法及高度信息确定所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息。
在一些实施方式中，一三二单元，用于根据所述摄像位置信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标偏移信息，根据所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标旋转信息，以确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的第二坐标变换信息。
在一些实施方式中，一三三单元，用于获取所述摄像装置对应内参，并基于所述内参确定所述摄像坐标系变换至对应裁剪坐标系的齐次透视投影变换信息；获取所述裁剪坐标系变换至对应屏幕坐标系的第四坐标变换信息；根据所述齐次透视投影变换信息及所述第四坐标变换信息确定所述摄像坐标系变换至所述屏幕坐标系的第三坐标变换信息。
在一些实施方式中，所述获取所述裁剪坐标系变换至对应屏幕坐标系的第四坐标变换信息，包括：获取所述裁剪坐标系变换至对应标准设备坐标系的第五坐标变换信息；获取所述摄像装置采集的所述当前图像的像素范围信息，根据所述像素范围信息确定所述标准设备坐标系变换至对应屏幕坐标系的第六坐标变换信息；根据所述第五坐标变换信息、所述第六坐标变换信息确定所述裁剪坐标系变换至所述屏幕坐标系的第四坐标变换信息。
在一些实施方式中，所述设备还包括一四模块(未示出)，用于基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。
在一些实施方式中，所述设备还包括一五模块(未示出)，若所述像素深度信息满足像素深度阈值，则基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。在一些实施方式中，所述屏幕坐标系由对应像素范围信息确定；其中，所述基于所述屏幕位置信息在所述摄像装置拍摄的当前图像叠加呈现所述目标对象的目标渲染信息，包括：若所述目标对象在屏幕位置信息中平面坐标信息处于所述像素范围信息内，基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。
在此，所述一一模块101、一二模块102、一三模块103、一四模块、一五模块以及一六模块对应的具体实施方式与前述步骤S101、步骤S102、步骤S103、步骤S104、步骤S105以及步骤S106的实施例相同或相似，因而不再赘述，以引用的方式包含于此。
除上述各实施例介绍的方法和设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图3示出了可被用于实施本申请中所述的各个实施例的示例性***；
如图3所示在一些实施例中，***300能够作为各所述实施例中的任意一个上述设备。在一些实施例中，***300可包括具有指令的一个或多个计算机可读介质(例如，***存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器305)。
对于一个实施例，***控制模块310可包括任意适当的接口控制器，以向(一个或多个)处理器305中的至少一个和/或与***控制模块310通信的任意适当的设备或组件提供任意适当的接口。
***控制模块310可包括存储器控制器模块330，以向***存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
***存储器315可被用于例如为***300加载和存储数据和/或指令。对于一个实施例，***存储器315可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，***存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例，***控制模块310可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如，NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为***300被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为***300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。***300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器(例如，存储器控制器模块330)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑封装在一起以形成***级封装(SiP)。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器305中的至少一个可与***控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上***(SoC)。
在各个实施例中，***300可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，***300可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，***300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (11)
1.一种获取目标对象的屏幕位置信息的方法，其中，该方法包括：
获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在屏幕坐标系中的平面坐标信息，所述像素深度信息用于指示所述摄像装置到所述目标对象的距离；
其中，所述根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，包括：
获取所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息；
根据所述摄像位置信息、所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息；
获取所述摄像装置对应内参，并基于所述内参确定所述摄像坐标系变换至对应裁剪坐标系的齐次透视投影变换信息；获取所述裁剪坐标系变换至对应标准设备坐标系的第五坐标变换信息；获取所述摄像装置采集的所述当前图像的像素范围信息，根据所述像素范围信息确定所述标准设备坐标系变换至对应屏幕坐标系的第六坐标变换信息，其中，所述屏幕坐标系为二维直角坐标系；根据所述第五坐标变换信息、所述第六坐标变换信息确定所述裁剪坐标系变换至所述屏幕坐标系的第四坐标变换信息；根据所述齐次透视投影变换信息及所述第四坐标变换信息确定所述摄像坐标系变换至所述屏幕坐标系的第三坐标变换信息；
基于所述地理位置信息、所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述目标对象的屏幕位置信息。
2.根据权利要求1所述的方法，其中，所述获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，包括：
获取所述摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像实时位置信息及所述摄像装置的摄像姿态信息；
基于所述摄像实时位置信息、所述摄像姿态信息确定所述摄像装置的摄像位姿信息。
3.根据权利要求1所述的方法，其中，所述获取所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息，包括：
通过投影算法及高度信息确定所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息。
4.根据权利要求1所述的方法，其中，所述根据所述摄像位置信息、所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息，包括：
根据所述摄像位置信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标偏移信息，根据所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的坐标旋转信息，以确定所述虚拟世界三维直角坐标系变换至所述摄像装置的摄像坐标系的第二坐标变换信息。
5.根据权利要求1至4中任一项所述的方法，其中，所述方法还包括：
基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。
6.根据权利要求5所述的方法，其中，所述方法还包括：
若所述像素深度信息满足像素深度阈值，则基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。
7.根据权利要求5或6所述的方法，其中，所述屏幕坐标系由对应像素范围信息确定；
其中，所述基于所述屏幕位置信息在所述摄像装置拍摄的当前图像叠加呈现所述目标对象的目标渲染信息，包括：
若所述目标对象在屏幕位置信息中平面坐标信息处于所述像素范围信息内，基于所述屏幕位置信息在所述摄像装置拍摄的当前图像上叠加呈现所述目标对象的目标渲染信息。
8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：
建立或更新对应地理信息库，其中，所述地理信息库中包含至少一个地理标签信息，每个地理标签信息包括对应地理位置信息和/或地图位置信息；
其中，所述获取目标对象的地理位置信息，包括：
从所述地理信息库的至少一个地理标签信息中确定目标对象的目标标签信息，从而获取所述目标对象的地理位置信息。
9.一种获取目标对象的屏幕位置信息的设备，其中，该设备包括：
一一模块，用于获取对应摄像装置拍摄的当前图像及所述当前图像被拍摄时所述摄像装置的摄像位姿信息，其中，所述摄像位姿信息包括所述摄像装置的摄像位置信息及摄像姿态信息；
一二模块，用于获取目标对象的地理位置信息，其中，所述地理位置信息与对应地理坐标系相对应；
一三模块，用于根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，其中，所述屏幕位置信息包括所述目标对象的像素深度信息及在屏幕坐标系中的平面坐标信息，所述像素深度信息用于指示所述摄像装置到所述目标对象的距离；
其中，所述根据所述摄像位置信息、所述摄像姿态信息以及所述地理位置信息确定所述目标对象的屏幕位置信息，包括：
获取所述地理坐标系变换至虚拟世界三维直角坐标系的第一坐标变换信息；
根据所述摄像位置信息、所述摄像姿态信息确定所述虚拟世界三维直角坐标系变换所述摄像装置的摄像坐标系的第二坐标变换信息；
获取所述摄像装置对应内参，并基于所述内参确定所述摄像坐标系变换至对应裁剪坐标系的齐次透视投影变换信息；获取所述裁剪坐标系变换至对应标准设备坐标系的第五坐标变换信息；获取所述摄像装置采集的所述当前图像的像素范围信息，根据所述像素范围信息确定所述标准设备坐标系变换至对应屏幕坐标系的第六坐标变换信息，其中，所述屏幕坐标系为二维直角坐标系；根据所述第五坐标变换信息、所述第六坐标变换信息确定所述裁剪坐标系变换至所述屏幕坐标系的第四坐标变换信息；根据所述齐次透视投影变换信息及所述第四坐标变换信息确定所述摄像坐标系变换至所述屏幕坐标系的第三坐标变换信息；
基于所述地理位置信息、所述第一坐标变换信息、所述第二坐标变换信息以及所述第三坐标变换信息确定所述目标对象的屏幕位置信息。
10.一种计算机设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令在被执行时使得***进行执行如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211407742.7A CN115760964B (zh) | 2022-11-10 | 2022-11-10 | 一种获取目标对象的屏幕位置信息的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211407742.7A CN115760964B (zh) | 2022-11-10 | 2022-11-10 | 一种获取目标对象的屏幕位置信息的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115760964A CN115760964A (zh) | 2023-03-07 |
| CN115760964B true CN115760964B (zh) | 2024-03-15 |
Family
ID=85369911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211407742.7A Active CN115760964B (zh) | 2022-11-10 | 2022-11-10 | 一种获取目标对象的屏幕位置信息的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760964B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829964A (zh) * | 2019-02-11 | 2019-05-31 | 北京邮电大学 | Web增强现实的渲染方法和装置 |
| CN111199560A (zh) * | 2019-12-31 | 2020-05-26 | 海能达通信股份有限公司 | 一种视频监控的定位方法及视频监控*** |
| CN111766951A (zh) * | 2020-09-01 | 2020-10-13 | 北京七维视觉科技有限公司 | 图像显示方法和装置、计算机***和计算机可读存储介质 |
| CN112634370A (zh) * | 2020-12-31 | 2021-04-09 | 广州极飞科技有限公司 | 一种无人机打点方法、装置、设备及存储介质 |
| CN113345028A (zh) * | 2021-06-01 | 2021-09-03 | 亮风台（上海）信息科技有限公司 | 一种确定目标坐标变换信息的方法与设备 |
| WO2021208648A1 (zh) * | 2020-04-17 | 2021-10-21 | Oppo广东移动通信有限公司 | 虚拟对象调整方法、装置、存储介质与增强现实设备 |
| WO2021227359A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111949111B (zh) * | 2019-05-14 | 2022-04-26 | Oppo广东移动通信有限公司 | 交互控制方法、装置、电子设备及存储介质 |
-
2022
- 2022-11-10 CN CN202211407742.7A patent/CN115760964B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829964A (zh) * | 2019-02-11 | 2019-05-31 | 北京邮电大学 | Web增强现实的渲染方法和装置 |
| CN111199560A (zh) * | 2019-12-31 | 2020-05-26 | 海能达通信股份有限公司 | 一种视频监控的定位方法及视频监控*** |
| WO2021208648A1 (zh) * | 2020-04-17 | 2021-10-21 | Oppo广东移动通信有限公司 | 虚拟对象调整方法、装置、存储介质与增强现实设备 |
| WO2021227359A1 (zh) * | 2020-05-14 | 2021-11-18 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
| CN111766951A (zh) * | 2020-09-01 | 2020-10-13 | 北京七维视觉科技有限公司 | 图像显示方法和装置、计算机***和计算机可读存储介质 |
| CN112634370A (zh) * | 2020-12-31 | 2021-04-09 | 广州极飞科技有限公司 | 一种无人机打点方法、装置、设备及存储介质 |
| CN113345028A (zh) * | 2021-06-01 | 2021-09-03 | 亮风台（上海）信息科技有限公司 | 一种确定目标坐标变换信息的方法与设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115760964A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210021761A1 (en) | Connecting And Using Building Data Acquired From Mobile Devices | |
| CN109887003B (zh) | 一种用于进行三维跟踪初始化的方法与设备 | |
| CN111127563A (zh) | 联合标定方法、装置、电子设备及存储介质 | |
| CN113345028B (zh) | 一种确定目标坐标变换信息的方法与设备 | |
| US9219858B2 (en) | Generating a composite field of view using a plurality of oblique panoramic images of a geographic area | |
| CN108810473B (zh) | 一种在移动平台上实现gps映射摄像机画面坐标的方法及*** | |
| US8803880B2 (en) | Image-based lighting simulation for objects | |
| CN112288853B (zh) | 三维重建方法、三维重建装置、存储介质 | |
| CN115439528B (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
| CN109561282B (zh) | 一种用于呈现地面行动辅助信息的方法与设备 | |
| CN113869231B (zh) | 一种用于获取目标对象的实时图像信息的方法与设备 | |
| CN115439531A (zh) | 一种获取目标对象的目标空间位置信息的方法与设备 | |
| CN109656319B (zh) | 一种用于呈现地面行动辅助信息方法与设备 | |
| CA3069813C (en) | Capturing, connecting and using building interior data from mobile devices | |
| CN108629842B (zh) | 一种无人驾驶设备运动信息提供及运动控制方法与设备 | |
| CN113205515A (zh) | 目标检测方法、装置、及计算机存储介质 | |
| CN115190237A (zh) | 一种确定承载设备的转动角度信息的方法与设备 | |
| CN116858215B (zh) | 一种ar导航地图生成方法及装置 | |
| CN115565092A (zh) | 一种获取目标对象的地理位置信息的方法与设备 | |
| CN109345567A (zh) | 物体运动轨迹识别方法、装置、设备和存储介质 | |
| CN115760964B (zh) | 一种获取目标对象的屏幕位置信息的方法与设备 | |
| CN115460539B (zh) | 一种获取电子围栏的方法、设备、介质及程序产品 | |
| JP7375149B2 (ja) | 測位方法、測位装置、ビジュアルマップの生成方法およびその装置 | |
| CN109688381B (zh) | Vr监控方法、装置、设备及存储介质 | |
| CN115439635A (zh) | 一种呈现目标对象的标记信息的方法与设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Applicant before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |