CN111199584B - 目标物定位虚实融合方法及装置 - Google Patents

目标物定位虚实融合方法及装置 Download PDF

Info

Publication number
CN111199584B
CN111199584B CN201911404384.2A CN201911404384A CN111199584B CN 111199584 B CN111199584 B CN 111199584B CN 201911404384 A CN201911404384 A CN 201911404384A CN 111199584 B CN111199584 B CN 111199584B
Authority
CN
China
Prior art keywords
camera
coordinate system
world
target object
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911404384.2A
Other languages
English (en)
Other versions
CN111199584A (zh
Inventor
何勇
谢瑜
钟义明
姚继锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingyun Construction Technology Hangzhou Co ltd
Qingdao Industrial Software Research Institute Qingdao Branch Of Software Research Institute Cas
Wuhan Urban Construction Engineering Co ltd
Original Assignee
Jingyun Construction Technology Hangzhou Co ltd
Qingdao Industrial Software Research Institute Qingdao Branch Of Software Research Institute Cas
Wuhan Urban Construction Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingyun Construction Technology Hangzhou Co ltd, Qingdao Industrial Software Research Institute Qingdao Branch Of Software Research Institute Cas, Wuhan Urban Construction Engineering Co ltd filed Critical Jingyun Construction Technology Hangzhou Co ltd
Priority to CN201911404384.2A priority Critical patent/CN111199584B/zh
Publication of CN111199584A publication Critical patent/CN111199584A/zh
Application granted granted Critical
Publication of CN111199584B publication Critical patent/CN111199584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/296Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种目标物定位虚实融合方法及装置,该方法包括获取目标物在世界坐标系中的坐标以及每个摄像头在世界坐标系中的位置以及视角方向,通过引入世界矩阵及其逆矩阵,通过坐标转换得到目标物在每个摄像头的相机坐标系中的坐标,并判断该相机坐标系中的坐标是否在每个摄像头的BIM三维模型的三维视域范围内,通过调用在该视域范围内的摄像头的监控视频获得该目标物的显示监控状态,实现了目标物在监控视频对应的物理实体(即目标物)和BIM三维模型对应的数字空间两者之间的双向映射,实现了包含该目标物的监控视频的检索和播放,从而获知该目标物的实际工作状态。

Description

目标物定位虚实融合方法及装置
技术领域
本发明涉及建筑工程施工数字化管理技术领域,特别涉及一种目标物定位虚实融合方法及装置。
背景技术
建筑信息化模型(Building Information Modeling,BIM模型,或称为BIM三维模型)是建筑学、工程学及土木工程的新工具,基于BIM三维模型实现目标物的三维可视化是当前施工现场管理中广泛采用的技术,通过GIS、北斗GNSS、蓝牙、wifi测距等定位技术,或者视频智能分析技术,获得目标物在BIM三维模型中的坐标信息,并进行三维可视化显示。
现有技术的主要缺点是仅能实现从现实物理空间到以BIM为代表的三维数字虚拟空间的单向映射,即可以在BIM三维模型中看到当前目标物的位置,但无法有效反映目标物的实际状态。
发明内容
针对上述现有技术存在的可以在BIM三维模型中看到当前目标物的位置,但无法有效反映目标物的实际状态技术问题,本发明提供一种目标物定位虚实融合方法,通过该方法获得所有可显示该目标物的监控视频并显示,实现该目标物在监控视频对应的物理实体和BIM三维模型对应的数字空间两者之间的双向映射。本发明还提供一种目标物定位虚实融合装置。
本发明的技术方案如下:
一种目标物定位虚实融合方法,用于获取建筑工地的目标物实际状态,其特征在于,所述方法包括如下步骤:
信息获取步骤,在建筑工地部署若干监控摄像头或利用建筑工地已有若干监控摄像头并对建筑工地进行BIM建模以获得建筑工地BIM三维模型,获取BIM三维模型中每个摄像头在BIM三维模型中的世界坐标系中的位置和视角方向;并获取目标物在世界坐标系中的坐标;根据所述每个摄像头在世界坐标系中的位置和视角方向计算得到所述每个摄像头在所述世界坐标系中的世界矩阵;并获取每个摄像头对应的所述BIM三维模型的三维视域;
转换步骤,根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标;
判断步骤,判断所述目标物在所述每个摄像头的相机坐标系中的坐标是否在对应的摄像头对应的所述BIM三维模型的三维视域范围内,得到包含目标物在相机坐标系中的坐标的所有视域;
调用步骤,调用显示包含目标物在相机坐标系中的坐标的所有视域内的摄像头的监控视频,以获得该目标物的显示监控状态。
进一步地,在所述转换步骤中,所述根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标包括:
计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵,并计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵与所述目标物在世界坐标系中的坐标的乘积,得到在对应的摄像头的视锥范围内的目标物在对应的摄像头的相机坐标系中的坐标。
进一步地,所述世界矩阵为4*4的矩阵,每个所述世界矩阵中包含每个摄像头的位置和视角方向,所述世界矩阵的前三列分别代表模型自身向右、向上、向前的向量,所述世界矩阵的第四列代表摄像头的位置。
进一步地,所述目标物包括一个或多个施工人员。
一种目标物定位虚实融合装置,用于获取建筑工地的目标物实际状态,其特征在于,包括:
信息获取模块,用于获取在建筑工地部署的若干监控摄像头在对建筑工地进行BIM建模所获得的建筑工地BIM三维模型中每个摄像头在BIM三维模型中的世界坐标系中的位置和视角方向;并获取目标物在世界坐标系中的坐标;根据所述每个摄像头在世界坐标系中的位置和视角方向计算得到所述每个摄像头在所述世界坐标系中的世界矩阵;并获取每个摄像头对应的所述BIM三维模型的三维视域;
转换模块,用于根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标;
判断模块,用于判断所述目标物在所述每个摄像头的相机坐标系中的坐标是否在对应的摄像头对应的所述BIM三维模型的三维视域范围内,得到包含目标物在相机坐标系中的坐标的所有视域;
调用模块,用于调用显示包含目标物在相机坐标系中的坐标的所有视域内的摄像头的监控视频,以获得该目标物的显示监控状态。
进一步地,所述转换模块用于计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵,并计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵与所述目标物在世界坐标系中的坐标的乘积,得到在对应的摄像头的视锥范围内的目标物在对应的摄像头的相机坐标系中的坐标。
进一步地,所述世界矩阵为4*4的矩阵,每个所述世界矩阵中包含每个摄像头的位置和视角方向,所述世界矩阵的前三列分别代表模型自身向右、向上、向前的向量,所述世界矩阵的第四列代表摄像头的位置。
进一步地,所述目标物包括一个或多个施工人员。
本发明的技术效果如下:
本发明提供一种目标物定位虚实融合方法,该方法基于BIM和视频智能分析进行施工人员定位虚实融合,通过将现实中的所有摄像头尽可能完整地在建筑工地BIM三维模型中的计算机三维世界坐标系中展示出来,并且每个摄像头都有自己的相机坐标系和视锥范围(即三维视域),将存储在世界坐标系中的目标物的坐标转化到每个摄像头的相机坐标系中,并判断是否在每个摄像头的视锥范围内,确定出目标物在摄像头视锥范围内的摄像头,调出这些摄像头在现实世界中的关于目标物的监控视频,通过将目标物在世界坐标系中的坐标转化为在各个摄像头的相机坐标系中的坐标,并判断目标物在各个相机坐标系中的坐标是否在各个摄像头的视锥范围内,将目标物在视锥范围内的摄像头的监控视频调用以显示目标物的监控状态,可以有效反映目标物的实际状态,实现该目标物在监控视频对应的物理实体(即目标物)和BIM三维模型对应的数字空间两者之间的双向映射,能够基于BIM三维模型中监控摄像头信息和已经定位的目标物信息,实现包含该目标物的监控视频的检索和播放,从而获知该目标物的实际工作状态。
本发明还提供一种目标物定位虚实融合装置,该装置与上述的目标物定位虚实融合方法相对应,也可以理解为是实现目标物定位虚实融合方法的装置,该装置基于BIM和视频智能分析进行施工人员定位虚实融合,实质是利用上述方法进行目标物监控状态的显示,该装置的信息获取模块、转换模块、判断模块和调用模块依次连接并相互协同工作,通过信息获取模块获取每个摄像头在世界坐标系中的位置和视角方向、目标物在世界坐标系中的坐标以及每个摄像头在世界坐标系中的世界矩阵,通过转换模块将目标物在世界坐标系中的坐标转化为在各个摄像头的相机坐标系中的坐标,通过判断模块判断目标物在各个相机坐标系中的坐标是否在各个摄像头的视锥范围内,并通过调用模块调用目标物在视锥范围内的摄像头的监控视频以显示目标物的监控状态,可以有效反映目标物的实际状态,实现该目标物在监控视频对应的物理实体和BIM三维模型对应的数字空间两者之间的双向映射,能够基于BIM三维模型中监控摄像头信息和已经定位的目标物信息,实现包含该目标物的监控视频的检索和播放,从而获知该目标物的实际工作状态。
附图说明
图1为本发明目标物定位虚实融合方法的流程图。
图2为本发明目标物定位虚实融合方法的优选实施例的流程图。
图3为本发明摄像头位置及其三维视域的示意图。
图4为本发明目标物定位虚实融合装置的结构框图。
具体实施方式
下面结合附图对本发明的技术方案做详细的说明。
本发明提供一种目标物定位虚实融合方法,用于获取建筑工地的目标物实际状态,如图1所示,该方法包括如下步骤:信息获取步骤,在建筑工地部署若干监控摄像头或利用建筑工地已有若干监控摄像头并对建筑工地进行BIM建模以获得建筑工地BIM三维模型,获取BIM三维模型中每个摄像头在BIM三维模型中的世界坐标系中的位置和视角方向;并获取每个摄像头的相机坐标系以及目标物在世界坐标系中的坐标;根据每个摄像头在世界坐标系中的位置和视角方向计算得到每个摄像头在世界坐标系中的世界矩阵;并获取每个摄像头对应的BIM三维模型的三维视域;转换步骤,根据每个摄像头在世界坐标系中的世界矩阵,将目标物在世界坐标系中的坐标转换为在每个摄像头的相机坐标系中的坐标;判断步骤,判断目标物在每个摄像头的相机坐标系中的坐标是否在对应的摄像头对应的BIM三维模型的三维视域范围内,得到包含目标物在相机坐标系中的坐标的所有视域;调用步骤,调用显示包含目标物在相机坐标系中的坐标的所有视域内的摄像头的监控视频,以获得该目标物的显示监控状态。
具体地,目标定位虚实融合方法中的“虚”指的是目标物在BIM三维模型中的定位,“实”指的是目标物在真实的世界坐标系中的定位,并且,目标物的实际状态指的是全面、大量地获知目标物全方位的动作状态、神态、交流状态或穿戴状态,也即通过包含目标物的各个方位的视频获知目标物的实际状态,例如,这个实际状态可以是目标物的位置、目标物的实时肢体语言或目标物的实时穿戴状态等,例如该目标物为施工人员时,则其实际状态可以是施工人员是否戴安全帽、是否处于安全的状态、是否与人交谈等,本发明对该实际状态的具体表现不做具体限定。此外,在建筑工地部署的若干监控摄像头或者已有的若干监控摄像头的设置地点可以为工地现场的高点,例如塔吊设备上、电线杆上或者房顶上,以获得更多的监测范围,本发明对此不做具体限定。
基于本发明的实施例,本发明提供的一种目标物定位虚实融合方法基于BIM和视频智能分析进行施工人员定位虚实融合,该方法是通过将现实中的所有摄像头尽可能完整地在建筑工地BIM三维模型中的计算机三维世界坐标系中展示出来,并且每个摄像头都有自己的相机坐标系和视锥范围(即三维视域),将存储在世界坐标系中的目标物的坐标转化到每个摄像头的相机坐标系中,并判断是否在每个摄像头的视锥范围内,确定出目标物在摄像头视锥范围内的摄像头,调出这些摄像头在现实世界中的关于目标物的监控视频,通过将目标物在世界坐标系中的坐标转化为在各个摄像头的相机坐标系中的坐标,并判断目标物在各个相机坐标系中的坐标是否在各个摄像头的视锥范围内,将目标物在视锥范围内的摄像头的监控视频调用以显示目标物的监控状态,可以有效反映目标物的实际状态,实现该目标物在监控视频对应的物理实体(即目标物)和BIM三维模型对应的数字空间两者之间的双向映射,能够基于BIM三维模型中监控摄像头信息和已经定位的目标物信息,实现包含该目标物的监控视频的检索和播放,从而获知该目标物的实际工作状态。
作为本发明目标物定位虚实融合方法的优选实施例,如图2所示,具体包括如下步骤:
第一步骤,即信息获取步骤:在建筑工地部署多个监控摄像头1,2,3,...,n;对建筑工地进行BIM三维建模,获得详细的建筑工地三维模型信息;在工地BIM三维模型中标识所有监控摄像头的位置和视角方向,根据这些位置和视角方向得到在世界坐标系中每个摄像头的世界矩阵M1,M2,M3,...,Mn,并同时得到每个摄像头对应的BIM三维模型的三维视域V1,V2,V3,...,Vn视域为一个三维锥形空间区域,如图3所示;并得到目标物(即下述的施工人员)在世界坐标系中的坐标P0(x0,y0,z0)。
在现实中,每个摄像头都有实际的位置、朝向、视野角度、宽高比等信息,由此使得每个摄像头的世界坐标矩阵都是不同的,并且世界矩阵为4*4的矩阵,每个世界矩阵中包含每个摄像头的位置和视角方向,世界矩阵的前三列分别代表模型自身向右、向上、向前的向量,世界矩阵的第四列代表摄像头的位置。此外,目标物包括一个或多个施工人员,以下以目标物为一个施工人员进行举例说明。
具体地,每个摄像头的世界坐标矩阵由四列组成,前三列代表三个方向,第四列代表摄像头在世界坐标系中的位置信息,并且该世界坐标矩阵的最后一行记为[0 0 0 1],其中最后一行的0代表方向,最后一行的1代表一个位置点,即代表摄像头在世界坐标系中的位置点,每个摄像头的世界坐标矩阵由以下方式得出:根据所述摄像头在三维世界坐标系中的视角方向确定所述摄像头需要分别绕三个坐标轴旋转的欧拉角,并根据所述欧拉角计算得到所述摄像头的世界坐标矩阵的除去最后一行的第一二三列;根据所述摄像头在三维世界坐标系的位置信息得到所述摄像头的世界坐标矩阵除去最后一行的的第四列。也就是说,根据所述摄像头在世界坐标系中的视角方向得到所述摄像头需要分别绕xyz轴旋转的欧拉角(α,β,γ),将所述欧拉角(α,β,γ)按照预设矩阵公式进行计算得到所述摄像头的世界坐标矩阵的除去最后一行的第一二三列,所述预设矩阵公式①为:
所述世界坐标矩阵的除去最后一行的第四列,是所述摄像头在世界坐标系中的位置信息,表示为
所述世界坐标矩阵的最后一行,表示为[0 0 0 1];
由以上分析得到每个摄像头的4阶世界坐标矩阵M1,M2,M3,...,Mn
根据本发明的实施例,本发明的目标物定位虚实融合方法通过已知的目标物(即施工人员)在世界坐标系中的定位以及各个摄像头在世界坐标系中的位置及视角方向来对目标物的显示监控状态进行查看,实现了从监控视频对应的现实物理空间到以BIM为代表的三维数字虚拟空间的双向映射,可以有效反映施工人员的实际状态。
第二步骤,即转换步骤:根据每个摄像头的世界矩阵的逆矩阵M1 -1,M2 -1,M3 -1,...,Mn -1将施工人员在世界坐标系中的坐标P0(x0,y0,z0)转换为施工人员在每个摄像头的相机坐标系中的坐标P1(x1,y1,z1),P2(x2,y2,z2),P3(x3,y3,z3),...,Pn(xn,yn,zn),具体转换方式如下:
Pi=Mi -1*P0,i=1,2,……n。
本发明通过引入世界矩阵的逆矩阵,将施工人员在世界坐标系中的坐标简单地转化为每个摄像头的相机坐标系中的坐标,不需要复杂的转换步骤,操作简单方便,效率高。
第三步骤,即判断步骤:判断施工人员在以每个摄像头为原点的坐标系中的坐标Pi=Mi -1*P0,i=1,2,……n,是否在对应的摄像头的BIM三维模型的三维视域Vi,i=1,2,……n中,计算得到包含Pi=Mi -1*P0,i=1,2,……n的所有视域Vi,i=1,2,……m(1≤m≤n),从而得到每个摄像头中包含该坐标的一个或多个视图K1,K2,K3,...,Km,其中1≤m≤n。
具体地,多个视图K1,K2,K3,...,Km从多个角度完整地展示了一个施工人员的实际工作状态,当涉及到多个施工人员时,按照同样的方式进行多个施工人员实际状态信息的采集,在此不再赘述。
本发明通过自动将施工人员在各个摄像头的BIM三维模型的三维视域中的视图找出,节省了实际操作中对多个摄像头排查的时间,提高了工作效率。
第四步骤,即调用步骤:调用显示K1,K2,K3,...,Km视图对应的共m个监控视频。
具体来说就是:将施工人员在以每个摄像头为原点的坐标系中的坐标Pi=Mi -1*P0,i=1,2,……n在对应的摄像头的BIM三维模型的三维视域Vi,i=1,2,……m(1≤m≤n)中的各个摄像头拍摄到的视图K1,K2,K3,...,Km对应的m个监控视频调用,以获得该施工人员的显示监控状态。
本发明基于BIM三维模型中监控摄像头信息和已经定位的施工人员信息,实现包含该施工人员的监控视频的检索和播放,从而获知该施工人员的实际工作状态,方便快捷,效率高。也就是说,本发明从BIM三维模型反向获知施工人员监控视频;通过BIM三维模型中摄像头对应三维视域和BIM三维模型中施工人员位置分析,获得包括施工人员的监控视频。
本发明还提供一种目标物定位虚实融合装置,该装置与上述目标物定位虚实融合方法相对应,也可以理解为是实现上述目标物定位虚实融合方法的装置,该装置基于BIM和视频智能分析进行施工人员定位虚实融合,实质是利用上述方法进行目标物监控状态的显示,该目标物定位虚实融合装置的实施例以及所达到的效果和解决的技术问题与上述目标物定位虚实融合方法所达到的效果和解决的技术问题相同,此处仅作简要叙述,重复部分不再赘述。如图4所示的结构框图,该装置用于获取建筑工地的目标物(即施工人员)实际状态,包括依次连接的信息获取模块、转换模块、判断模块和调用模块,具体可参考图2所示,即图2也可以理解为是本发明的目标物定位虚实融合装置的工作原理图。
其中,信息获取模块:信息获取模块,用于获取在建筑工地部署的若干监控摄像头(1,2,3,...,n)在对建筑工地进行BIM建模所获得的建筑工地BIM三维模型中每个摄像头在BIM三维模型中的世界坐标系中的位置和视角方向;并获取摄像头的相机坐标系每个摄像头的相机坐标系目标物在世界坐标系中的坐标;根据摄像头的相机坐标系每个摄像头在世界坐标系中的位置和视角方向计算得到摄像头的相机坐标系每个摄像头在摄像头的相机坐标系世界坐标系中的世界矩阵;并获取每个摄像头对应的摄像头的相机坐标系BIM三维模型的三维视域(V1,V2,V3,...,Vn)。
转换模块,用于根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标。优选地,在该实施例中,转换模块用于计算每个摄像头在世界坐标系中的世界矩阵对应的逆矩阵,并计算每个摄像头在世界坐标系中的世界矩阵对应的逆矩阵与目标物在世界坐标系中的坐标的乘积,得到在对应的摄像头的视锥范围内的目标物在对应的摄像头的相机坐标系中的坐标。
优选地,在该实施例中,世界矩阵为4*4的矩阵,每个世界矩阵中包含每个摄像头的位置和视角方向,世界矩阵的前三列分别代表模型自身向右、向上、向前的向量,世界矩阵的第四列代表摄像头的位置,所述目标物包括一个或多个施工人员。
判断模块,用于判断所述目标物在所述每个摄像头的相机坐标系中的坐标(x,y,z)是否在对应的摄像头对应的所述BIM三维模型的三维视域范围内,得到包含目标物在相机坐标系中的坐标Pi=Mi -1*P0,i=1,2,……n的所有视域Vi,i=1,2,……m(1≤m≤n)。
调用模块,用于调用显示包含目标物在相机坐标系中的坐标的所有视域内的摄像头的监控视频,即调用显示K1,K2,K3,...,Km视图对应的共m个监控视频,以获得该目标物的显示监控状态。
本发明提供的一种目标物定位虚实融合装置,该装置的信息获取模块、转换模块、判断模块和调用模块依次连接并相互协同工作,通过信息获取模块获取每个摄像头在世界坐标系中的位置和视角方向、目标物在世界坐标系中的坐标以及每个摄像头在世界坐标系中的世界矩阵,通过转换模块将目标物在世界坐标系中的坐标转化为在各个摄像头的相机坐标系中的坐标,通过判断模块判断目标物在各个相机坐标系中的坐标是否在各个摄像头的视锥范围内,并通过调用模块调用目标物在视锥范围内的摄像头的监控视频以显示目标物的监控状态,可以有效反映目标物的实际状态,实现该目标物在监控视频对应的物理实体和BIM三维模型对应的数字空间两者之间的双向映射,能够基于BIM三维模型中监控摄像头信息和已经定位的目标物信息,实现包含该目标物的监控视频的检索和播放,从而获知该目标物的实际工作状态。
应当指出,以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造,但不以任何方式限制本发明创造。因此,尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明,但是,本领域技术人员应当理解,仍然可以对本发明创造进行修改或者等同替换,总之,一切不脱离本发明创造的精神和范围的技术方案及其改进,其均应涵盖在本发明创造专利的保护范围当中。

Claims (8)

1.一种目标物定位虚实融合方法,用于获取建筑工地的目标物实际状态,其特征在于,所述方法包括如下步骤:
信息获取步骤,在建筑工地部署若干监控摄像头或利用建筑工地已有若干监控摄像头并对建筑工地进行BIM建模以获得建筑工地BIM三维模型,获取BIM三维模型中每个摄像头在BIM三维模型中的世界坐标系中的位置和视角方向;并获取目标物在世界坐标系中的坐标;根据所述每个摄像头在世界坐标系中的位置和视角方向计算得到所述每个摄像头在所述世界坐标系中的世界矩阵;并获取每个摄像头对应的所述BIM三维模型的三维视域;
转换步骤,根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标;
判断步骤,判断所述目标物在所述每个摄像头的相机坐标系中的坐标是否在对应的摄像头对应的所述BIM三维模型的三维视域范围内,得到包含目标物在相机坐标系中的坐标的所有视域;
调用步骤,调用显示包含目标物在相机坐标系中的坐标的所有视域内的摄像头的监控视频,以获得该目标物的显示监控状态。
2.如权利要求1所述的方法,其特征在于,在所述转换步骤中,所述根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标包括:
计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵,并计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵与所述目标物在世界坐标系中的坐标的乘积,得到在对应的摄像头的视锥范围内的目标物在对应的摄像头的相机坐标系中的坐标。
3.如权利要求1或2所述的方法,其特征在于,所述世界矩阵为4*4的矩阵,每个所述世界矩阵中包含每个摄像头的位置和视角方向,所述世界矩阵的前三列分别代表BIM三维模型自身向右、向上、向前的向量,所述世界矩阵的第四列代表摄像头的位置。
4.如权利要求1或2所述的方法,其特征在于,所述目标物包括一个或多个施工人员。
5.一种目标物定位虚实融合装置,用于获取建筑工地的目标物实际状态,其特征在于,包括:
信息获取模块,用于获取在建筑工地部署的若干监控摄像头在对建筑工地进行BIM建模所获得的建筑工地BIM三维模型中每个摄像头在BIM三维模型中的世界坐标系中的位置和视角方向;并获取目标物在世界坐标系中的坐标;根据所述每个摄像头在世界坐标系中的位置和视角方向计算得到所述每个摄像头在所述世界坐标系中的世界矩阵;并获取每个摄像头对应的所述BIM三维模型的三维视域;
转换模块,用于根据所述每个摄像头在所述世界坐标系中的世界矩阵,将所述目标物在所述世界坐标系中的坐标转换为在所述每个摄像头的相机坐标系中的坐标;
判断模块,用于判断所述目标物在所述每个摄像头的相机坐标系中的坐标是否在对应的摄像头对应的所述BIM三维模型的三维视域范围内,得到包含目标物在相机坐标系中的坐标的所有视域;
调用模块,用于调用显示包含目标物在相机坐标系中的坐标的所有视域内的摄像头的监控视频,以获得该目标物的显示监控状态。
6.如权利要求5所述的装置,其特征在于,所述转换模块用于计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵,并计算所述每个摄像头在所述世界坐标系中的世界矩阵对应的逆矩阵与所述目标物在世界坐标系中的坐标的乘积,得到在对应的摄像头的视锥范围内的目标物在对应的摄像头的相机坐标系中的坐标。
7.如权利要求5或6所述的装置,其特征在于,所述世界矩阵为4*4的矩阵,每个所述世界矩阵中包含每个摄像头的位置和视角方向,所述世界矩阵的前三列分别代表BIM三维模型自身向右、向上、向前的向量,所述世界矩阵的第四列代表摄像头的位置。
8.如权利要求5或6所述的装置,其特征在于,所述目标物包括一个或多个施工人员。
CN201911404384.2A 2019-12-31 2019-12-31 目标物定位虚实融合方法及装置 Active CN111199584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911404384.2A CN111199584B (zh) 2019-12-31 2019-12-31 目标物定位虚实融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911404384.2A CN111199584B (zh) 2019-12-31 2019-12-31 目标物定位虚实融合方法及装置

Publications (2)

Publication Number Publication Date
CN111199584A CN111199584A (zh) 2020-05-26
CN111199584B true CN111199584B (zh) 2023-10-20

Family

ID=70746215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911404384.2A Active CN111199584B (zh) 2019-12-31 2019-12-31 目标物定位虚实融合方法及装置

Country Status (1)

Country Link
CN (1) CN111199584B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111696216B (zh) * 2020-06-16 2023-10-03 浙江大华技术股份有限公司 三维增强现实全景融合方法及***
CN111832105B (zh) * 2020-06-24 2023-03-24 万翼科技有限公司 模型融合方法及相关装置
CN113660421A (zh) * 2021-08-16 2021-11-16 北京中安瑞力科技有限公司 一种定位视频的联动方法及联动***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011118282A1 (ja) * 2010-03-24 2011-09-29 株式会社日立製作所 世界座標系データベースを利用したサーバ及び端末
DE102011100628A1 (de) * 2011-05-05 2012-11-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
WO2017077217A1 (fr) * 2015-11-04 2017-05-11 Smart Pixels Calibration 3d d'un systeme de mapping video
CN110047142A (zh) * 2019-03-19 2019-07-23 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140192159A1 (en) * 2011-06-14 2014-07-10 Metrologic Instruments, Inc. Camera registration and video integration in 3d geometry model

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011118282A1 (ja) * 2010-03-24 2011-09-29 株式会社日立製作所 世界座標系データベースを利用したサーバ及び端末
DE102011100628A1 (de) * 2011-05-05 2012-11-08 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Bestimmung mindestens eines Kameraparameters
WO2017077217A1 (fr) * 2015-11-04 2017-05-11 Smart Pixels Calibration 3d d'un systeme de mapping video
CN110047142A (zh) * 2019-03-19 2019-07-23 中国科学院深圳先进技术研究院 无人机三维地图构建方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马伟 ; 宫乐 ; 冯浩 ; 殷晨波 ; 周俊静 ; 曹东辉 ; .基于视觉的挖掘机工作装置位姿测量.机械设计与研究.2018,(第05期),全文. *

Also Published As

Publication number Publication date
CN111199584A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
CN111199584B (zh) 目标物定位虚实融合方法及装置
EP3222042B1 (en) Display system for remote control of working machine
CN107885096B (zh) 一种无人机巡检航迹三维仿真监控***
US20160247269A1 (en) Guiding method and information processing apparatus
Wen et al. Augmented reality and unmanned aerial vehicle assist in construction management
CN111192321B (zh) 目标物三维定位方法与装置
RU2013148372A (ru) Автоматическая калибровка системы отсчета дополненной реальности
CN114140528A (zh) 数据标注方法、装置、计算机设备及存储介质
CN101833115A (zh) 基于增强现实技术的生命探测与救援***及其实现方法
CN110220675B (zh) 一种显示器性能测试***、方法、终端及存储介质
JP2005283221A (ja) 測量データ処理システム、電子地図を格納する記憶媒体及び電子地図表示装置
CN111246181B (zh) 一种机器人的监控方法、***、设备及存储介质
CN105678839A (zh) 基于计算机三维场景模拟技术的安防设备分布设计方法
EP2476999A1 (en) Method for measuring displacement, device for measuring displacement, and program for measuring displacement
CN116151628B (zh) 隧道施工中地面沉降的监测与预警***
CN107679015B (zh) 一种基于三维地图的云台摄像机实时监控范围仿真方法
CN104700409B (zh) 一种根据监控目标自动调整摄像机预置位的方法
JP2014149718A (ja) 撮影指示装置、撮影指示方法、及びプログラム
CN201673267U (zh) 基于增强现实技术的生命探测与救援***
CN204855838U (zh) 一种基于光学观测的雷电定位装置
CN116524143A (zh) 一种gis地图构建方法
Yan et al. Intergrating UAV development technology with augmented reality toward landscape tele-simulation
CN104157135A (zh) 一种智能交通***
CN113436317B (zh) 图像处理方法及装置、电子设备及计算机可读存储介质
CN106033623A (zh) 一种3d可视化的海量数据处理的方法、装置以及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant