CN1788188B - 拍摄图像显示方法及拍摄图像显示装置 - Google Patents

拍摄图像显示方法及拍摄图像显示装置 Download PDF

Info

Publication number
CN1788188B
CN1788188B CN038266636A CN03826663A CN1788188B CN 1788188 B CN1788188 B CN 1788188B CN 038266636 A CN038266636 A CN 038266636A CN 03826663 A CN03826663 A CN 03826663A CN 1788188 B CN1788188 B CN 1788188B
Authority
CN
China
Prior art keywords
photographic images
map
ground
boundary mark
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN038266636A
Other languages
English (en)
Other versions
CN1788188A (zh
Inventor
野野山泰匡
前田佳子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1788188A publication Critical patent/CN1788188A/zh
Application granted granted Critical
Publication of CN1788188B publication Critical patent/CN1788188B/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明揭示一种拍摄图像显示方法,以3维方式规定从空中拍摄的地面拍摄图像的位置,计算并求出所拍摄的地面的拍摄范围,依据该拍摄范围使拍摄图像变形后,叠合在地理信息***的地图上进行显示。从地理信息***的地图和拍摄图像分别提取界标,并核对对应的界标,从而校正计算所拍摄的拍摄范围中使用的参数。

Description

拍摄图像显示方法及拍摄图像显示装置
技术领域
本发明涉及拍摄图像显示方法以及使用这种拍摄图像显示方法的拍摄图像显示装置,其特征为通过将例如直升机上装载的摄像装置发来的图像叠合在地理信息***的地图上进行显示,能方便且高精度地进行判断发生地震、失火等天灾和***、严重事故等人祸等灾害时地上的状况。
背景技术
在地图上特定从空中拍摄的地上的拍摄对象的位置,是发生地震、失火等天灾和***、严重事故等人祸等灾害时容易地进行地上的状况用的非常重要的技术。已有的定位方法和装置例如日本国专利第2695393号公报所揭示,以3维方式规定空中拍摄位置,测量相对于拍摄位置的目标物方向,根据预先编制的包含对地面起伏的高度信息的3维地形数据求出目标物存在的地面,将从空中拍摄的地面目标物的位置规定为地面与从拍摄位置往目标物方向延伸的直线的交点位置。
已有的定位方法和装置中,为了规定地面目标物的位置,需要预先编制的包含对地面起伏的高度信息的3维地形数据作为前提。而且,不能校正以3维方式规定空中拍摄位置并测量目标物对拍摄位置的方向时产生的测量误差而难以准确定位。又由于定位限于目标物一点,存在不可能按面掌握地面状况的问题。
发明内容
本发明是为解决上述问题而完成的,其目的为:提供一种拍摄图像显示方法以及使用这种方法的拍摄图像显示装置,可通过将拍摄图像叠合在地理信息***地图上进行显示,按面掌握所拍摄的地面的状况,而且利用核对拍摄图像和地图,校正图像在地图上的显示位置,进行高精度重叠显示,从而能较方便且快速地掌握所拍摄的地面的状况。
为了达到该目的,本发明的拍摄图像显示方法及拍摄图像显示装置,对装载在空中机体的摄像装置拍摄后的地面拍摄图像进行图像处理并加以显示,其中以3维方式规定空中的拍摄位置,计算并求出所拍摄的地面的拍摄范围,依据该拍摄范围使拍摄图像变形后,将其叠合在地理信息***的地图上进行显示。
该显示方法及装置对装载在空中机体的摄像装置拍摄后的地面拍摄图像进行图像处理并加以显示,其中以3维方式规定空中的拍摄位置,计算并求出所拍摄的地面的拍摄范围,依据该拍摄范围使拍摄图像变形后,将其叠合在地理信息***的地图上进行显示,并且从所述地理信息***的地图和所述拍摄图像分别提取界标,核对对应的界标,从而校正计算所拍摄的地面的拍摄范围时使用的参数,将拍摄图像精度良好地叠合在地理信息***的地图上进行显示。
根据本发明,便于确认图像信息与地图的一致性,能方便地判别目标地点。
附图说明
图1是示出实施本发明实施方式1的拍摄图像显示方法的拍摄图像显示装置的框图。
图2是实施方式1的地图处理手段的功能说明图。
图3是示出实施方式1的显示画面的照片。
图4是示出利用本发明实施方式2的拍摄图像显示方法及装置取得的显示画面的照片。
图5是说明本发明实施方式3的图。
图6是说明实施方式3的地图处理的图。
图7是说明本发明实施方式4的图。
图8是说明实施方式4的地图处理的图。
图9是说明本发明实施方式5的图。
图10是说明实施方式5的地图处理的图。
图11是说明本发明实施方式6的拍摄图像显示方法及装置的地图处理的图。
图12是说明本发明实施方式7的拍摄图像显示方法及装置的地图处理的图。
图13是说明本发明实施方式8的拍摄图像显示方法及装置的地图处理的图。
图14是示出实施本发明实施方式9的拍摄图像显示方法的拍摄图像显示装置的框图。
图15是实施方式9的地图处理手段的功能说明图。
图16是示出实施方式9的图像显示方法的运作的流程图。
图17是说明实施方式9的地图处理手段中用于计算拍摄视框的角度参数的图。
图18是说明实施方式9的地图处理手段中的拍摄视框计算的图。
图19是说明实施方式9的地图处理手段中的参数校正的图。
图20是示出实施方式9的图像显示方法及装置的效果的图。
图21是说明本发明实施方式11的图。
图22是说明本发明实施方式12的图。
图23是示出本发明实施方式14的图像显示方法及装置的运作的流程图。
图24是示出实施方式14的图像显示方法及装置的效果的图。
图25是说明本发明实施方式15的图。
图26是说明本发明实施方式16的图。
具体实施方式
实施方式1
首先,说明本发明的梗概。本发明通过将从空中拍摄地面而得的拍摄图像叠合在地理信息***(在计算机画面上显示GIS(Geographic Information System:地理信息***)地图的***)的地图上进行显示,便于确认图像信息与地图的一致性,从而便于判别目标地点。但是,从空中用摄像机拍摄地面时,不管摄像机的取向,其图像总是只拍摄成一定的矩形,所以难以将拍摄的图像原样叠合(张贴)在地理信息***取得的地图上。因此,本发明中,利用使用拍摄图像时的摄像机信息和机体姿态信息的计算,根据摄像机对地面的姿态等,由计算求出从矩形变换成接近梯形和菱形等复杂形状的地面拍摄范围(=拍摄视框),依据该视框使图像变形,以张贴在地图上进行显示。
下面,参照附图说明本发明实施方式1的拍摄图像显示方法和拍摄图像处理***。图1是说明实施本发明的拍摄图像显示装置(***)的框图,图2是说明地图处理手段的功能的图。由装载摄像装置(摄像机)等的直升机等飞行体(=机体)组成的机上***100和设在地面的接收并处理来自机上***100的信号的地面***200实现本发明的方法及装置。
机上***100由机上装置组成,该机上装置具有从空中拍摄地面的拍摄手段、作为获取以3维方式规定拍摄手段的拍摄位置用的信息的信息收集部的机***置测量手段108和机体姿态测量手段107、发送所述拍摄手段拍摄的拍摄图像和所述信息数据部取得的信息的发送手段。
即,机上***100中,机体101装载作为从空中拍摄地面的拍摄手段105的摄像机102。机体101具有利用作为GSP信号接收部的天线103取得当前位置信息并进行机***置检测的机***置测量手段108和陀螺仪,还具有进行检测出机体的姿态(即仰角(=倾角)和摆角)的机体姿态检测的机体姿态测量手段107。
包含摄像机102的拍摄手段105拍摄地面,输出其拍摄图像,同时还一起输出摄像机的光圈、变焦距等摄像机信息。摄像机102装在万向架上,该万向架具有检测出摄像机的旋转角(全景拍摄角)、倾角(倾斜)的摄像机姿态测量手段的106,并输出其值。
用复接手段109将来自所述机***置测量手段108的输出信号、机体姿态测量手段107的输出信号、摄像机拍摄手段105的图像信号、摄像机信息信号、摄像机姿态测量手段106的输出信号复接后,在信号变换手段110形成数字信号,并从具有跟踪手段111的发送手段104往地面***200发送。
地面***200主要由输入以3维方式规定拍摄手段从空中拍摄的地面拍摄图像和所述拍摄手段的拍摄位置用的信息的输入部、对输入的信息进行信号处理的信号处理部、在画面上显示地图的地理信息***、将信号处理部处理的信息包含在内进行图像处理并显示在显示部的地图处理部组成。
即,在具有跟踪手段202的接收手段201接收来自机上***100的信号,用信号变换手段203对其进行变换。由去复接手段204取出该信号,当作图像信号、以及其它机***置、机体姿态、摄像机姿态、摄像机信息等的信息信号。在信号处理手段205对取出的这些信号进行信号处理,并且将图像信号作为活动图像数据207和静止图像数据208用于下一步骤的地图处理手段206中的地图处理。此外,还将包含地理信息***的2维地图数据209、地形数据210的信息信号用于地图处理手段206中的地图处理。211是监视器显示手段。
图2是示出本实施方式的拍摄图像显示***的地图处理手段概况的图。如图2所示,地图处理手段206根据作为图像信号的活动图像数据207和静止图像数据208、以及机***置、机体姿态、摄像机姿态的信息信号和地理信息***的2维地图数据209、3维地形数据210,进行处理,主要由求出与拍摄手段拍摄的拍摄图像的拍摄范围对应的地理信息***的地图上的拍摄范围的拍摄范围计算部(视框计算处理部212)、依据视框计算212求出的拍摄范围使所述拍摄图像变形的图像变形部(图像变形处理部213)、将所述变形后的拍摄图像叠合在所述地图上的所述拍摄范围的显示部(图像叠合处理部214等)组成。
地图处理手段206首先在视框计算212利用机***置信息信号,以3维方式规定空中拍摄位置,并根据摄像机和机体对地面的姿态进行利用计算求出拍摄的地面的拍摄范围(=拍摄视框)的视框计算。依据该视框进行图像变形213。该图像变形使图像变形为符合地图的接近梯形或菱形等形状。接着,用叠合214使得变形后的图像叠合(张贴)在地理信息***的地图上后,将其显示在CRT(阴极射线管)等监视器显示手段211(也称为监视器显示部)。
图3是将拍摄图像302叠合在地理信息***的地图301上并且使拍摄视框303与地图相合的照片。304是机体的飞行路径,305是机***置(摄像机位置)。如图3所示,通过用地图处理手段206进行包含所述变形处理的地图处理,使图像与地图大致完全相符,便于确认图像信息与地图的一致性,从而能方便地判别目标地点。
成为,如图3所示,除能将摄像机拍摄的视框的图像叠合在地图上进行显示外,还能方便地擦除拍摄图像302,仅显示视框303。这里,将拍摄图像302叠合在2维地图上。因此,用拍摄图像302辨认例如发生灾害的地方(例如发生火灾的建筑物)等,在拍摄图像302上核对(点击)其位置后,擦除拍摄图像302,作为仅有视框303的显示,显示拍摄图像302下面的2维地图,则能迅速识别在拍摄图像上点击的位置相当于地图上的何处。而且,不管摄像机的朝向,预先使监视器的显示图像对一定方向显示,则更容易判别目标地点。
实施方式2
本实施方式中,测量机体101的当前位置,在地理信息***的地图上计算从机上拍摄的地面拍摄视框,依据该拍摄视框使拍摄的图像变形后贴合,并且进行拍摄图像与地图的核对时,以规定的周期对连续拍摄的拍摄图像连续多张地取样,将连续的多张图像贴合在地理信息***的地图上进行显示,根据该贴合在地图上的图像规定目标地点。
图4示出此方法的监视器显示画面,304是机体飞行路径,305是机***置(摄像机位置)。按规定的定时对摄像机沿飞行路径304拍摄的图像取样,求出各视框,并对拍摄图像作变形处理,使其符合视框后,张贴在地图301上。302a~302f是张贴的图像,303a~303f是其视框。
如实施方式1所说明,由使用拍摄时的摄像机信息和机体姿态信息的计算进行拍摄视框计算和图像对各视框的变形。各图像的取样周期可随机体速度改变。通常机体速度快时取样周期短,机体速度慢时取样周期长。
本实施方式2中,可一面确认基于地图和多张连续图像的大范围地面状况,一面识别地上的状况,能进一步有效地进行目标地点判别。
实施方式3
本实施方式中,测量机体101的当前位置和摄像机102对机体的旋转角和倾角(全景拍摄角和倾斜=摄像机姿态),根据该摄像机姿态,在地理信息***的地图上计算从机上拍摄的地面拍摄视框,依据该拍摄视框使拍摄的图像变形并贴合后,进行拍摄图像和地图的核对。
根据本实施方式3,通过根据作为拍摄手段的摄像机的姿态计算拍摄视框,可一面确认拍摄图像与地图的位置关系,一面识别精度较高的地上的状况。
现在,假设机体101与摄像机102的关系为图5那样将摄像机102收装在万向架112,机体101进行水平飞行,则如图5(b)、(c)所示,将摄像机102的倾角作为偏离机体101中心轴的倾角(=倾斜)输出,将摄像机102的旋转角度(全景拍摄角)作为偏离机体101行进方向的旋转角度输出。即,(b)的状态表示摄像机102朝向正下方,因而倾角为0度;(c)的状态表示摄像机102的倾角θ变成偏离垂直面的倾角。
可作为计算机图形的基础,用3D坐标内的矩形(视框)的旋转移动和投影处理取得摄像机拍摄视框计算方法。基本上根据摄像机信息和机体信息对摄像机拍摄视框进行变换处理,计算对地面投影时的图框,从而能得到目的视框。3D坐标内各坐标的计算方法可用下面的行列式计算方法。
(1)计算基准状态下的拍摄视框
首先,如图6(a)所示,将机***置作为原点,将计算视框的4个点的位置计算为相对坐标。根据摄像机的焦距、视场角和高度在基准位置计算拍摄视框,从而得到4个点的坐标。
(2)按摄像机的倾斜(z轴)计算4个点在旋转后的位置
如图6(b)所示,根据摄像机倾角θ使拍摄视框在z轴周围旋转。用下面的式1进行变换并求出旋转后的坐标。
[式1]
x ′ y ′ z ′ 1 = x y z 1 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 0 0 0 0 1
(3)按摄像机方位角(y轴)计算4个点旋转后的位置
如图6(c)所示,根据摄像机方位角θ使拍摄视框在y轴周围旋转。用下面的式2进行变换并求出旋转后的坐标。
[式2]
x ′ y ′ z ′ 1 = x y z 1 cos θ 0 - sin θ 0 0 1 0 0 sin θ 0 cos θ 0 0 0 0 1
(4)计算将旋转处理后的视框从原点(机***置)投影到地面(y轴高度地点)的视框
如图6(d)所示,通过将视框投影到地面(y轴高度),取得投影平面(拍摄视框)。用下面的式3变换并求出投影后的坐标。
[式3]
x ′ y ′ z ′ 1 = x y z 1 1 0 0 0 0 1 0 1 / d 0 0 1 0 0 0 0 0
用下面的式4取得广义同维坐标***[X、Y、Z、W]。其中,d为海拔高度。
[式4]
[X Y Z W]=[x y z y/d]
接着,除以W’(=y/d),还原为3D,则变成下面的式5。
[式5]
X W Y W Z W 1 = xp yp zp 1 = x y / d d z y / d 1
实施方式4
本实施方式中,测量机体101的当前位置和机体101的仰角与摆角,根据各仰角和摆角,在地理信息***的地图上计算从机上拍摄的地面拍摄视框,依据该拍摄视框使拍摄的图像变形并贴合后,进行拍摄图像和地图的核对。根据本实施方式4,通过从机体101对地面的位置信息计算拍摄视框,可一面确认拍摄图像与地图的位置关系,一面识别精度较高的地上的状况。
现在,假定机体与摄像机的关系如图7那样使摄像机102固定在机体101上(即不使用万向架),则如图7(b)所示,机体101本身离开地面水平飞行时,摄像机102朝向正下方,因而摄像机102的倾角为0度。机体101如图7(c)那样倾斜时,该情况为摄像机102的姿态,因而根据机体102的仰角(倾角)、摆角计算摄像机拍摄视框。
(1)计算基准状态下的拍摄视框
如图8(a)所示,将机***置作为原点,将视框的4个点的位置计算为相对坐标。根据摄像机的焦距、视场角和高度在基准位置计算拍摄视框,从而得到4个点的坐标。
(2)按机体的摆角(x轴)计算4个点在旋转后的位置
如图8(b)所示,根据摄像机摆角θ使拍摄视框在z轴周围旋转。用下面的式6进行变换并求出旋转后的坐标。
[式6]
x ′ y ′ z ′ 1 = x y z 1 1 0 0 0 0 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1
(3)按机体倾角(z轴)计算4个点旋转后的位置
如图8(c)所示,根据机体倾角θ使拍摄视框在z轴周围旋转。用下面的式7进行变换并求出旋转后的坐标。
[式7]
x ′ y ′ z ′ 1 = x y z 1 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 0 0 0 0 1
(4)计算将旋转处理后的视框从原点(机***置)投影到地面(y轴高度地点)的视框
如图8(d)所示,通过将视框投影到地面(y轴高度),取得投影平面(拍摄视框)。
用下面的式8变换并求出投影后的坐标。
[式8]
x ′ y ′ z ′ 1 = x y z 1 1 0 0 0 0 1 0 1 / d 0 0 1 0 0 0 0 0
用下面的式9取得广义同维坐标***[X、Y、Z、W]。其中,d为海拔高度。
[式9]
[X Y Z W]=[x y z y/d]
接着,除以W’(=y/d),还原为3D,则变成下面的式10。
[式10]
X W Y W Z W 1 = xp yp zp 1 = x y / d d z y / d 1
实施方式5
本实施方式中,测量机体101的当前位置和摄像机102对机体的旋转角和倾角,并且测量机体101的仰角和摆角,根据这些角度,在地理信息***的地图上计算从机上拍摄的地面拍摄视框,依据该拍摄视框使拍摄的图像变形并贴合后,进行拍摄图像和地图的核对。根据本实施方式5,通过根据摄像机姿态信息和机体姿态信息计算拍摄视框,可一面确认拍摄图像与地图的位置关系,一面识别精度较高的地上的状况。
现在,假设机体101与摄像机102的关系为图9那样将摄像机102收装在万向架112,机体101以自由姿态进行水平飞行,则如图5(b)所示,从万向架112输出摄像机102的倾角和摄像机旋转角度。还从万向架输出机体101对地面的仰角和摆角。
用3D坐标内的矩形(视框)的旋转移动和投影处理取得摄像机拍摄视框计算方法,可作为计算机图形的基础。基本上根据摄像机信息和机体信息对摄像机拍摄视框进行变换处理,计算对地面投影时的图框,从而能得到目的视框。3D坐标内各坐标的计算方法可用下面的行列式计算方法。
(1)计算基准状态下的拍摄视框
如图10(a)所示,将机***置作为原点,将视框的4个点的位置计算为相对坐标。根据摄像机的焦距、视场角和高度在基准位置计算拍摄视框,从而得到4个点的坐标。
(2)按摄像机的倾斜(z轴)计算4个点在旋转后的位置
如图10(b)所示,根据摄像机倾角θ使拍摄视框在z轴周围旋转。用下面的式11进行变换并求出旋转后的坐标。
[式11]
x ′ y ′ z ′ 1 = x y z 1 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 0 0 0 0 1
(3)按摄像机方位角(y轴)计算4个点旋转后的位置
如图10(c)所示,根据摄像机方位角θ使拍摄视框在y轴周围旋转。用下面的式12进行变换并求出旋转后的坐标。
[式12]
x ′ y ′ z ′ 1 = x y z 1 cos θ 0 - sin θ 0 0 1 0 0 sin θ 0 cos θ 0 0 0 0 1
(4)按机体的摆角(x轴)计算4个点在旋转后的位置
如图10(d)所示,根据摄像机摆角θ使拍摄视框在z轴周围旋转。用下面的式13进行变换并求出旋转后的坐标。
[式13]
x ′ y ′ z ′ 1 = x y z 1 1 0 0 0 0 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1
(5)按机体倾角(z轴)计算4个点旋转后的位置
如图10(e)所示,根据机体倾角θ使拍摄视框在z轴周围旋转。用下面的式14进行变换并求出旋转后的坐标。
[式14]
x ′ y ′ z ′ 1 = x y z 1 cos θ sin θ 0 0 - sin θ cos θ 0 0 0 0 1 0 0 0 0 1
(6)计算将旋转处理后的视框从原点(机***置)投影到地面(y轴高度地点)的视框
如图10(f)所示,通过将视框投影到地面(y轴高度),取得投影平面(拍摄视框)。用下面的式15变换并求出投影后的坐标。
[式15]
x ′ y ′ z ′ 1 = x y z 1 1 0 0 0 0 1 0 1 / d 0 0 1 0 0 0 0 0
(7)用下面的式16取得广义同维坐标***[X、Y、Z、W]。
[式16]
[X Y Z W]=[x y z y/d]
(8)接着,除以W’(=y/d),还原为3D,则变成下面的式17。
[式17]
X W Y W Z W 1 = xp yp zp 1 = x y / d d z y / d 1
实施方式6
本实施方式中,测量机体101的当前位置和摄像机102对机体的旋转角和倾角,并且测量机体101的仰角和摆角,根据这些角度,在地理信息***的地图上计算从机上拍摄的地面拍摄视框。在该拍摄视框的4点计算处理中,利用地形高度数据校正机体101的飞行位置,并计算拍摄视框。依据该拍摄视框使拍摄的图像变形并贴合在地理信息***的地图上后,进行拍摄图像和地图的核对。
根据本实施方式6,使用机体的位置、高度、机体姿态信息和摄像机姿态信息,并根据地面的地形高度信息进行校正,以计算拍摄视框,从而可一面确认拍摄图像与地图的位置关系,一面识别精度较高的地上的状况。
如图11所示,在上述实施方式5的旋转后对地面的拍摄视框的计算处理中,以相对于GSP装置取得的海拔高度利用地面的地形高度信息的方式,对机体的高度使用拍摄地点的地面高度(相对高度d=海拔高度-地面高度),实施拍摄视框的4点计算。
(1)计算将旋转处理后的视框从原点(机***置)投影到地面(y轴高度地点)的视框
通过将视框投影到地面(y轴高度),取得投影平面(拍摄视框)。用下面的式18进行变换并求出投影后的坐标。
[式18]
x ′ y ′ z ′ 1 = x y z 1 1 0 0 0 0 1 0 1 / d 0 0 1 0 0 0 0 0
用下面的式19取得广义同维坐标***[X、Y、Z、W]。
[式19]
[X Y Z W]=[x y z y/d]
接着,除以W’(=y/d),还原为3D,则变成下面的式20。
[式20]
X W Y W Z W 1 = xp yp zp 1 = x y / d d z y / d 1
这里,从GPS装置取得的离开地平线的绝对高度减去目标地点的地形高度后,求出使用的相对高度d,并利用来自摄像机的相对高度,从而计算高精度拍摄视框位置。
实施方式7
本实施方式中,测量机体101的当前位置,在地理信息***的地图上计算从机上拍摄的地面拍摄视框,依据该拍摄视框使拍摄的图像变形后贴合,并且进行拍摄图像与地图的核对时,将地图上贴合的拍摄图像连续地以多张连续的方式贴合在地理信息***的地图上进行显示,根据该贴合在地图上的图像规定目标地点。
在进行多张拍摄图像贴合在地理信息***的地图上的处理中,按照计算的拍摄视框进行配置后,确认各拍摄图像的重复部分的接合状态,并移动图像,进行位置校正,使图像重叠状态最多。使用该校正值,使拍摄图像在地理信息***的地图上依据拍摄视框变形,并进行贴合处理。
图12示出其步骤。将随着机体101的移动拍摄到的例如2张拍摄图像1(A)和拍摄图像2(B)重叠,使A和B相对移动,以检测出重复部分(图中的粗框内)C,并且图像重叠状态最多,从而得到接合时的位置校正值,进行位置校正D,使其接合。用图2的图像位置接合与校正部215进行位置校正。
根据本实施方式7,多张连续图像形成精度较高的接合,从而可一面确认范围较大的地面状况,一面识别地上的状况。
实施方式8
本实施方式中,测量机体101的当前位置和摄像机102对机体的旋转角和倾角,并且测量机体101的仰角和摆角,在地理信息***的地图上计算从机上拍摄的地面拍摄视框,依据该拍摄视框使拍摄的图像变形并贴合后,进行拍摄图像和地图的核对。
进行此处理时,重要的是在地面***200完全同步地接收机上***100发送的各信息。为了实现这点,需要调整机***置测量手段的处理时间、摄像机的万向架的姿态处理手段的处理时间、图像发送的处理时间等处理时间,以便与拍摄图像同步发送各信息。为了实现这点,图1中设置缓存,从而将机上的摄像机的图像信号暂时存储在存储手段113,使其与GPS等的机***置检测的计算处理时间的延迟同步地发送到地面***200。
利用图13说明此关系。机体101接收GPS信号并检测出机***置前需要时间T,机体101在该时间中从位置P1移动到位置P2。因此,在完成机***置检测的时间点,摄像机102拍摄的区域变成从位置P1拍摄的区域隔开距离R的区域,产生误差。
图13(b)是示出修正该误差的步骤的时序图。从检测出基准位置用的GPS观测时间点t1开始,在缓存器中将图像信号暂时保存一段GPS计算时间T后,在t2将暂时保存的图像信号与机***置、机体姿态、摄像机信息等合在一起发送。
根据本实施方式,从拍摄装置的安装信息计算拍摄视框,从而可一面确认拍摄图像与地图的位置关系,一面识别精度较高的地上的状况。
上述各实施方式中,计算视框后,依据该视框使拍摄图像变形,并将该变形的图像以叠合的方式贴在地图上,但也可仅求出与拍摄手段拍摄的拍摄图像对应的地图上的拍摄范围,将拍摄图像叠合在地图上的该范围进行显示。
上述各实施方式中,根据机上***发送的信息在地面***进行地图处理,但不限于此。也可在机上***设置显示器等显示装置,在机上***进行地图处理,使其显示在机上***的显示装置上,或将处理后的信息发送到地面***,在地面***进行显示。
实施方式9
本实施方式从拍摄图像提取表示地图上的特征地点的例如交叉点、车站、大建筑物等“界标”,或从地图上的拍摄范围所对应的区域提取相应的界标,调整视框计算参数(下文表示用于计算作为地面的摄像机拍摄范围的拍摄视框的机***置、机体姿态、摄像机姿态信息和摄像机设定信息),使图像和地图上的界标一致,从而精度良好地使图像变形并重叠合在GIS画面上显示。
下面参照附图进行说明。图14中,省略图1的天线103、复接手段109、信号变换手段110、跟踪手段111、暂存手段113、发送手段104、接收手段201、跟踪手段202、信号变换手段203、去复接手段204。图15是说明地图处理手段的功能说明图。
图14中,利用直升机等的飞行体(=机体)101中装载的GPS装置等机***置测量手段108进行机***置测量,取得当前位置信息。机体101具有陀螺仪等,并利用该机体姿态测量手段107测量机体的姿态,即仰角(=倾角)和摆角。机体101中装载的摄像机102的拍摄手段105拍摄地面,输出其图像信号,同时还一起输出摄像机的变焦距等摄像机信息。将摄像机102装在万向架等上,利用该摄像机姿态测量手段106测量摄像机的旋转角度(=全景拍摄角)、倾角(=倾斜)。
将这些机***置测量手段108、机体姿态测量手段107、拍摄手段105、摄像机姿态测量手段106的输出输入到信号处理手段205,分别进行信号处理,并且将摄像机拍摄的图像信号变换成活动图像数据207、静止图像数据208。将信号处理手段205的输出和2维地图数据209输入到地图处理手段226,进行地图处理。
地图处理手段226具有图15所示的功能。如图15所示,地图处理手段226利用作为图像信号的活动图像数据207和静止图像数据208、以及机***置、机体姿态、摄像机姿态的信息信号和地理信息***的2维地图数据209进行处理。
地图处理手段226中,首先以3维方式规定空中拍摄位置,根据摄像机和机体对地面的姿态,进行利用计算求出拍摄的地面的拍摄范围(=拍摄视框)的视框计算212。接着,在与地理信息***的地图上的拍摄范围周边对应的范围进行界标提取202,还从静止图像数据208进行界标提取221。进行使这些界标一致用的界标核对222,根据界标核对222的结果进行图像变形与校正223,校正拍摄图像重叠到地图上的显示位置后,对图像进行往地理信息***的地图上的叠合214。最后,利用CRT等监视器显示手段211将其显示在监视器上。
接着,根据图16的流程图说明运作。首先,将图14中作为机***置测量手段108的输出的机***置、作为机体姿态测量手段107的输出的俯仰角和摆角、作为摄像机姿态测量手段106的输出的全景拍摄角和倾斜、作为拍摄手段105的输出的摄像机102的变焦距、信号处理手段205中得到的静止图像数据208、以及2维地图数据209分别当作输入数据读入(S21)。接着,将机***置、俯仰角、摆角、摄像机的全景拍摄角、倾斜、变焦距当作参数,进行视框计算(S22)。接着,在与地理信息***地图上的视框计算212求出的拍摄范围对应的区域周边进行界标提取(S23)。在S23提取界标时,进行从静止图像数据208提取相应的界标(S24)(S25)。
S25中从图像提取界标时,核对S23和S 25中得到的相应的界标,并校正S22的视框计算中用的参数(例如全景拍摄角、倾斜)的值,使这些界标一致(S26)(S26)(S27)。进而,根据S28中求出的参数校正值再次计算拍摄视框,依据该拍摄视框使静止图像数据208变形后,叠合在地理信息***的地图上进行显示(S29)(S30)(S31)。
S23或S25中未提取界标时,依据S22中求出的拍摄视框使静止图像数据208变形后,叠合在地理信息***的地图上进行显示(S29)(S30)(S31)。图17示出作为视框计算212中使用的角度参数的俯仰角、摆角、摄像机的全景拍摄角、倾斜。
拍摄视框计算方法使用上述方法,根据各角度参数对基准状态下的拍摄视框进行旋转处理后,将其投影到地面,从而得到地面的摄像机拍摄范围,即拍摄视框。如图18所示,将机***置作为原点,将x轴取为机体行进方向,z轴取为对地面向上垂直的方向,并且将y轴取为对x轴、z轴垂直,则具体计算如下。
基准状态下的拍摄视框计算
基于摄像机倾斜的y轴周围旋转
基于摄像机全景拍摄角的z轴周围旋转
基于机体摆角的x轴周围旋转
基于机体俯仰角的y轴周围旋转
对地面(绝对高度(=海拔高度)为0的水平面)的投影
图18(a)示出计算基准状态下的拍摄视框42的状态,图18(b)示出根据各角度参数对基准状态下的拍摄视框42作旋转处理后投影到地面的状态。
用图19说明校正摄像机的全景拍摄角和倾斜的方法。将机体高度取为h,倾斜测量值取为θ,全景拍摄角测量值取为φ,图像上的界标坐标取为(x、y),地图上的界标坐标取为(xo、yo)时,校正后的倾斜和全景拍摄角的值θo、φo可通过解下面的公式21求出。
[式21]
h · tan θ 0 · cos φ 0 = x 0 h · tan θ 0 · sin φ 0 = y 0
其中,这里进行核对的地图上的界标坐标(xo、yo)是进行下面的变换后的坐标。
基于机体俯仰角的y轴周围反向旋转
基于机体摆角的x轴周围反向旋转
对地面(绝对高度(=海拔高度)为0的水平面)
图20(a)是将拍摄视框42和拍摄图像43叠合在地理信息***的地图41上而不进行本发明的校正的照片,图20(b)是将拍摄视框42和拍摄图像43叠合在地理信息***的地图41上并且进行本发明的校正的照片。44是机***置(摄像机位置)。通过进行包含上述校正处理的地图处理手段226的处理,如图20(b)所示,图像与地图完全一致,能进行高精度的重叠显示,从而能较方便且快速地掌握所拍摄的地面的状况。
根据实施方式9,不仅能修正测量各参数的各测量设备的测量误差,而且在操作装在机体上的摄像机过程中将拍摄的图像叠合在地图上显示时,也能修正因拍摄定时与摄像机姿态信息(全景拍摄角、倾斜)数据获取定时偏差而产生的误差。
实施方式10
本实施方式是通过校正机体姿态信息(摆角、俯仰角),而非通过校正全景拍摄角、倾斜,进行拍摄视框校正的方法,利用下面的计算进行摆角和俯仰角校正。
将进行到基于倾斜和全景拍摄角的旋转处理为止时的图像时的界标坐标取为(x1、y1、z1),又用式22求出进行基于摆角θ和俯仰角φ的旋转时的界标坐标取为(x2、y2、z2)。
[式22]
x 2 y 2 z 2 = x 1 y 1 z 1 cos θ 0 sin θ 0 1 0 - sin θ 0 cos θ 1 0 0 0 cos φ sin φ 0 - sin φ cos φ
进而,进行对地面的投影时,用式23求出界标坐标(x、y、z)。
[式23]
x y z = x 2 y 2 z 2 · h z 2
其中,h是机体高度,满足将地图上的界标坐标取为(xo、yo)时的式24的θ、φ是校正后的θo、φo
[式24]
x ( θ , φ ) = x 0 y ( θ , φ ) = y 0
根据本实施方式10,在将摄像机固定装在机体上,设置成全景拍摄角和倾斜的角度不变,因而全景拍摄角和倾斜的校正无效时,也能通过修正机体姿态信息(即摆角、俯仰角)作较接近实际的参数校正,可进行高精度重叠显示,因而能较方便且快速地掌握所拍摄的地面的状况。
实施方式11
本实施方式提取界标的2个点,并根据这2点之间的距离进行机体高度校正。在实施方式9(图16)的S23提取界标的2点时,也同样从静止图像数据205提取相应的2个点的界标(S24)(S25)。
S25中从图像提取相应的界标时,核对S23与S25中取得的界标。并且校正机体高度(本情况下当作基于GPS装置的离开海面的绝对高度获取机体高度,因而高度校正形成地面相对高度),使图像上的界标2点间的距离与GIS地图上的界标2点间的距离相同(S27)(S28)。
进而,根据S28中求出的参数校正值再次计算拍摄视框,依据该拍摄视框使静止图像数据208变形后,重叠合在地理信息***的地图上进行显示(S29)(S30)(S31)。
从图21(b)可知,将机体绝对高度当作h,利用下式求出本发明进行界标间距离校正后的高度(相对高度)h’。
其中,E是地图上的距离,F是图像上的距离。
通过进行包含上述校正处理的地图处理手段226的处理,对地面高于海面的地点的拍摄图像也能进行高精度重叠显示,从而能较方便且快速地掌握所拍摄的地面的状况。
实施方式12
本实施方式通过根据界标数量进行参数校正,可作精度较高的拍摄图像与地图的重叠显示。在实施方式9(图16)的S22提取界标2点时,同样也从静止图像数据208提取相应的界标2点(S24)(S25)。S25中从图像提取界标时,核对S23和S25中得到的相应界标(S27)。
首先,校正用于S22的视框计算的参数(全景拍摄角、倾斜)值,使与第1点相应界标一致,接着修正机体姿态参数(摆角、俯仰角)值,以修正第2点相应的界标的差额(S27)(S28)。进而,根据S28求出的各参数校正值再次计算拍摄视框,依据该拍摄视框使静止图像数据208变形后,重叠合在地理信息***的地图上进行显示(S29)(S30)(S31)。
图22是说明这点的图,黑圆表示地图上的界标,黑三角表示图像上的界标。图22(a)示出拍摄图像重叠合在GIS地图上进行显示的状态,图22(b)示出进行上述实施方式11的高度校正后的状态,图22(c)示出进行其后的全景拍摄角和倾斜校正后的状态,图22(d)示出进一步进行摆角和俯仰角校正后的状态。
根据本实施方式12,仅1点界标一致的参数调整中,在整个拍摄范围难以高精度重叠并显示拍摄图像和地图时,通过使用2个点的界标,能进行精度较高的重叠显示,从而能较方便且快速地掌握所拍摄的地面的状况。
实施方式13
本实施方式在提取3个以上的界标时,求出全部2点间的参数校正值,将其平均值作为参数校正值。实施方式9(图16)的S23中提取2个以上的界标时,也同样对静止图像数据208提取2个以上的多个界标(S24)(S25)。
S25中从图像提取界标时,从S23和S25中得到的界标选择相应的2点,分别进行核对,从而求出参数校正值。对全部界标2点选择都这样进行,从而取得多个参数校正值,对每一参数取这些校正值的平均,将这些平均值分别作为各参数的校正值(S27)(S28)。进而,根据S28求出的参数校正值再次计算拍摄视框,依据该拍摄视框使静止图像数据208变形后,重叠合在地理信息***的地图上进行显示(S29)(S30)(S31)。
通过进行包含上述校正处理的地图处理,与根据界标1点或2点的位置对图像和地图的重叠进行显示校正时相比,能进行精度较高的重叠显示,从而能较方便且快速地掌握所拍摄的地面的状况。
实施方式14
本实施方式涉及连续按规定周期拍摄多张拍摄图像,并提供连续的多张图像作为静止图像数据时的地图上的重叠显示处理。对得到的静止图像进行界标提取处理,其结果提取出界标,则通过与GIS地图核对,进行校正,但不一定能从全部静止图像提取界标。在一面拍摄一面进行重叠显示的现场显示处理中,由于处理时间的关系,难以对全部拍摄图像即时执行图像处理,并提取界标进行校正。
因此,未提取界标的静止图像在地图上的重叠显示根据进行上次校正时的校正值再次进行视框计算,依据求出的拍摄视框使图像变形后,重叠合在地理信息***的地图上进行显示,从而提高重叠位置精度。
此处理相当于图23的S24、S26、S32、S33、S31,在S24提取相应的界标时,进行与实施方式9相同的处理。图24示出此方法的监视器显示画面,41是地图,44是机***置(摄像机位置),45是机体飞行路径。按规定的定时对摄像机沿飞行路径45拍摄的图像取样,分别进行重叠位置校正后,重叠合在地理信息***的地图41上进行显示。43a~43g是张贴后的图像,42是最新图像43g的拍摄视框。
本实施方式14中,在未提取界标时,也能进行重叠显示位置的校正,从而可进行高精度重叠显示,同时还能较方便且快速地掌握遍及所拍摄的大范围的地面状况。
实施方式15
本实施方式15涉及连续按规定周期拍摄多张拍摄图像,并提供连续的多张图像作为静止图像数据时的地图上的重叠显示处理。连续的拍摄图像中存在利用界标核对执行重叠位置校正的图像和不能提取界标从而不能进行基于核对的重叠位置校正的拍摄图像。
此情况下,实际飞行时,如上述实施方式14所示,在下次提取界标前,继续使用上次的校正值;使用过去的飞行图像在地图上进行图像重叠显示的处理中,与现场飞行时相比,能使位置校正的处理时间有余量。因此,在地图上重叠并显示过去的飞行图像时,如图25所示,通过回溯到与进行上次界标核对校正的地点的中间点,应用接着提取界标的地点上求出的各参数校正值,进行重叠显示位置的校正。
图25中,灰色方框表示界标提取图像,白色方框表示未提取界标的图像。箭头号G表示从提取界标并进行重叠位置校正的图像挪用其重叠位置校正值,校正重叠位置。利用本实施方式15,能改善不能作界标核对校正时的图像间重复状态,如图25所示。
图25(a)示出不用本实施方式的情况,图25(b)示出应用本实施方式的情况。将可作界标核对图像重叠位置校正的拍摄图像作为基点,以进行重叠显示校正的拍摄图像之间的中间地点为目标,调整图像配置,使前后图像重复部分的一致率最大,从而能在GIS地图上精度较高地重叠并显示连续拍摄的图像。
根据本实施方式15,在GIS地图上重叠并显示过去的飞行图像的处理中未提取界标时,也能进行重叠显示位置校正。而且,界标提取图像不割裂图像间的重复状况,能进行较顺畅连续的高精度重叠显示,同时还能较方便且快速地掌握遍及所拍摄的大范围的地面状况。
实施方式16
本实施方式中,通过按位置链接并登记从过去的飞行图像提取的拍摄图像的高度校正数据,在不能从拍摄图像提取界标时也能进行拍摄地点的高度校正。
因界标一致而能执行高度校正处理时,绝对高度与相对高度之差给出的高度校正值按拍摄地点作为该地点的高度校正值进行登记并加以管理,使其经常能用,从而下次及其后机体在该地点附近的地点飞行的情况下,处理时间有限的现场飞行时和不能提取2个以上静止图像和地图中对应的界标时,都能进行高度校正。
图26示出在GIS地图上重叠并显示连续拍摄的静止图像的状态。该图中,说明在最后1张图像51和中间的1张图像52提取2个界标,并能取得高度的校正值的情况。
图像51和图像52中,设由于2个以上界标一致而能取得高度校正值时该校正值分别为61、62,则将作为地图的地点的高度校正值61、62当作象征标志进行登记,以对不能提取2个以上界标的图像提供该地点的高度校正值。因此,不仅摄像机安装角度而且地面高度,都能进行误差校正,使连续拍摄的图像可在GIS地图上精度较高地重叠并显示。
实施方式16中,通过在地图上的地点登记从过去的飞行图像提取的高度校正数据,即使对不能提取2个以上界标的图像也能进行高度校正,从而可进行精度较高的重叠显示。
工业上的实用性
能用于在发生地震、失火等天灾和***、严重事故等人祸时,从直升机等飞机上拍摄地上的状况的拍摄图像显示装置。

Claims (8)

1.一种拍摄图像显示方法,对装载在空中机体的摄像装置拍摄后的地面拍摄图像进行图像处理并加以显示,其特征在于,具备
根据对于所述地面的所述机体与所述摄像装置的姿势,以3维方式规定空中的拍摄位置,计算并求出所拍摄的大于等于1张的地面的图像的拍摄范围,
依据该拍摄范围使拍摄图像变形后,
将变形后的所述拍摄图像叠合在地理信息***的地图上时,从所述地理信息***的地图和所述拍摄图像分别提取界标,核对对应的界标,从而校正计算所拍摄的地面的拍摄范围时使用的参数,将拍摄图像叠合在地理信息***的地图上进行显示,同时能消除在地图上叠合的拍摄图像,使其仅留下拍摄范围框。
2.如权利要求1所述的拍摄图像显示方法,其特征在于,
根据提取的界标校正所述摄像装置对所述机体的倾角和旋转角,并计算所拍摄的地面的拍摄范围。
3.如权利要求1所述的拍摄图像显示方法,其特征在于,
根据提取的界标校正所述机体对地面的倾角和摆角,并计算所拍摄的地面的拍摄范围。
4.如权利要求1所述的拍摄图像显示方法,其特征在于,
使用提取的界标的2个点,根据2个点之间的距离校正所述机体高度,并计算所拍摄的地面的拍摄范围。
5.如权利要求1所述的拍摄图像显示方法,其特征在于,
提取的界标为3个或多于3个时,用各界标的2点间参数校正值的平均值计算所拍摄的地面的拍摄范围。
6.如权利要求1所述的拍摄图像显示方法,其特征在于,
从所述地理信息***的地图和多张的各拍摄图像分别提取界标时,在没有对应的界标的情况下,根据上次提取界标时的校正值校正计算所拍摄的地面的拍摄范围时使用的参数,并移动相互重复一部分地接合且叠合在地图上显示的拍摄图像,使得该重复部的重复状态成为最多后,进行接合。
7.如权利要求1所述的拍摄图像显示方法,其特征在于,
从所述地理信息***的地图和各拍摄图像分别提取界标,回溯到提取上次界标时的拍摄图像与当前的拍摄图像的中间地点,根据当前的校正值校正计算连续拍摄的地面的各拍摄范围时使用的参数,从而将这些多张拍摄图像叠合在地理信息***的地图上进行显示。
8.如权利要求4所述的拍摄图像显示方法,其特征在于,
对因界标一致而执行拍摄图像的高度校正处理的地点进行高度校正值登记,下一次及其后在该地点附近的地点飞行时,可将所述登记的高度校正值作为高度校正基准值再次利用。
CN038266636A 2003-06-20 2003-06-20 拍摄图像显示方法及拍摄图像显示装置 Expired - Fee Related CN1788188B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/007861 WO2004113836A1 (ja) 2003-06-20 2003-06-20 撮影映像表示方法

Publications (2)

Publication Number Publication Date
CN1788188A CN1788188A (zh) 2006-06-14
CN1788188B true CN1788188B (zh) 2012-02-29

Family

ID=33524172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN038266636A Expired - Fee Related CN1788188B (zh) 2003-06-20 2003-06-20 拍摄图像显示方法及拍摄图像显示装置

Country Status (8)

Country Link
US (1) US7800645B2 (zh)
JP (1) JPWO2004113836A1 (zh)
CN (1) CN1788188B (zh)
AU (1) AU2003244321B8 (zh)
CA (1) CA2526105C (zh)
GB (1) GB2418558B (zh)
TW (1) TWI220839B (zh)
WO (1) WO2004113836A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800645B2 (en) * 2003-06-20 2010-09-21 Mitsubishi Denki Kabushiki Kaisha Image display method and image display apparatus
JP2007166084A (ja) * 2005-12-12 2007-06-28 Olympus Imaging Corp カメラ及びカメラの表示方法
JP2007241085A (ja) * 2006-03-10 2007-09-20 Mitsubishi Electric Corp 撮影映像処理システム及び撮影映像処理装置並びに撮影映像表示方法
JP4624287B2 (ja) * 2006-03-17 2011-02-02 株式会社パスコ 建物形状変化検出方法及び建物形状変化検出システム
JP5047515B2 (ja) * 2006-03-20 2012-10-10 株式会社ゼンリン 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置
JP2007333998A (ja) * 2006-06-15 2007-12-27 Hitachi Ltd 地図の自動生成装置
JP4960659B2 (ja) * 2006-06-20 2012-06-27 クボテック株式会社 3次元仮想空間を利用したビデオカメラ撮影制御装置およびビデオカメラ撮影制御方法
US20080078865A1 (en) * 2006-09-21 2008-04-03 Honeywell International Inc. Unmanned Sensor Placement In A Cluttered Terrain
US8253797B1 (en) * 2007-03-05 2012-08-28 PureTech Systems Inc. Camera image georeferencing systems
US8319165B2 (en) * 2007-07-03 2012-11-27 Holland Kyle H Variable rate chemical management for agricultural landscapes
JP4623088B2 (ja) * 2007-11-30 2011-02-02 ソニー株式会社 地図表示装置と地図表示方法および撮像装置
KR101503904B1 (ko) 2008-07-07 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
US9459515B2 (en) * 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8428341B2 (en) * 2008-12-08 2013-04-23 Electronics And Telecommunications Research Institute Apparatus for calculating 3D spatial coordinates of digital images and method thereof
US9127908B2 (en) * 2009-02-02 2015-09-08 Aero Vironment, Inc. Multimode unmanned aerial vehicle
JP4560128B1 (ja) * 2009-08-13 2010-10-13 株式会社パスコ 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム
CA2789722C (en) 2009-09-09 2018-08-28 Aerovironment, Inc. Systems and devices for remotely operated unmanned aerial vehicle report-suppressing launcher with portable rf transparent launch tube
JP5471224B2 (ja) * 2009-09-15 2014-04-16 ソニー株式会社 撮像システム、撮像装置、情報処理装置及び撮像方法
JP5716273B2 (ja) * 2009-11-27 2015-05-13 日本電気株式会社 捜索目標位置特定装置、捜索目標位置特定方法及びプログラム
JP5409451B2 (ja) * 2010-03-15 2014-02-05 三菱電機株式会社 3次元変化検出装置
CN103443839B (zh) * 2011-03-28 2016-04-13 松下知识产权经营株式会社 图像显示装置
US9215383B2 (en) * 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
CN102495522A (zh) * 2011-12-01 2012-06-13 天津曙光敬业科技有限公司 基于无人直升机航拍的360°空中全景互动漫游***的制作方法
JP2013126107A (ja) * 2011-12-14 2013-06-24 Samsung Yokohama Research Institute Co Ltd デジタル放送受信装置
CN108322653B (zh) * 2012-06-12 2020-11-13 奥林巴斯株式会社 摄像装置
JP5997988B2 (ja) * 2012-09-13 2016-09-28 株式会社日立製作所 画像伝送システムおよび画像伝送方法
US8918234B2 (en) * 2012-09-17 2014-12-23 Bell Helicopter Textron Inc. Landing point indication system
CN107168360B (zh) * 2013-07-05 2021-03-30 深圳市大疆创新科技有限公司 无人飞行器的飞行辅助方法和装置
US10365804B1 (en) * 2014-02-20 2019-07-30 Google Llc Manipulation of maps as documents
CN104079834B (zh) * 2014-07-02 2017-07-14 中国科学院长春光学精密机械与物理研究所 全景式航空相机拍照周期的计算方法
CN104469155B (zh) * 2014-12-04 2017-10-20 中国航空工业集团公司第六三一研究所 一种机载图形图像虚实叠加方法
JP6506032B2 (ja) * 2015-01-28 2019-04-24 株式会社トプコン 測量データ処理装置、測量データ処理方法およびプログラム
JP6515612B2 (ja) * 2015-03-19 2019-05-22 日本電気株式会社 目標情報取得装置及び目標情報取得方法
CN108614543A (zh) 2015-04-24 2018-10-02 深圳市大疆创新科技有限公司 用于呈现移动平台的操作信息的方法和装置
US9936133B2 (en) * 2015-08-19 2018-04-03 Harris Corporation Gimbaled camera object tracking system
CN106875096B (zh) * 2017-01-17 2020-10-02 山西省地震局 一种地震房屋损失评估***
JP2019028560A (ja) * 2017-07-26 2019-02-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd モバイルプラットフォーム、画像合成方法、プログラム、及び記録媒体
JP2019032682A (ja) * 2017-08-08 2019-02-28 ヤンマー株式会社 自動走行システム
WO2019070300A1 (en) * 2017-10-06 2019-04-11 Google Llc SYSTEMS AND METHODS FOR IMAGE SWITCHING
CN108600607A (zh) * 2018-03-13 2018-09-28 上海网罗电子科技有限公司 一种基于无人机的消防全景信息展示方法
WO2020103019A1 (zh) * 2018-11-21 2020-05-28 广州极飞科技有限公司 一种测绘采样点的规划方法、装置、控制终端及存储介质
JP2020088821A (ja) * 2018-11-30 2020-06-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像生成装置、画像生成方法、プログラム、及び記録媒体
JP6991268B2 (ja) * 2020-05-07 2022-02-03 国際航業株式会社 測量システム、及び測量方法
JP7474137B2 (ja) 2020-06-30 2024-04-24 キヤノン株式会社 情報処理装置およびその制御方法
US12033528B2 (en) 2021-02-04 2024-07-09 Honeywell International Inc. Display systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149916A (zh) * 1994-06-03 1997-05-14 沃尔弗勒姆·基尔赫纳 地理数据的收集,分析,测量和存储方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8324318D0 (en) * 1983-09-12 1983-10-12 British Telecomm Video map display
US4825232A (en) * 1988-03-25 1989-04-25 Enserch Corporation Apparatus for mounting aerial survey camera under aircraft wings
US5200902A (en) * 1990-10-09 1993-04-06 Pilley Harold R Airport control/management system
FR2706599B1 (fr) * 1993-06-09 1995-08-18 Eurocopter France Système de visée pour aéronef.
JP3498852B2 (ja) * 1993-10-20 2004-02-23 富士写真光機株式会社 雲台情報表示用コントローラ
JP3653769B2 (ja) * 1995-02-07 2005-06-02 朝日航洋株式会社 流れ計測方法及び装置
JP2695393B2 (ja) 1995-04-10 1997-12-24 川崎重工業株式会社 位置特定方法および装置
US5589901A (en) * 1995-05-15 1996-12-31 Means; Kevin P. Apparatus and method for synchronizing search and surveillance devices
US5818951A (en) * 1995-10-13 1998-10-06 Infrared Service Corporation Methods and related apparatus for generating thermographic survey images
JP3225434B2 (ja) * 1996-04-23 2001-11-05 重之 山口 映像提示システム
JP3718579B2 (ja) * 1996-11-19 2005-11-24 住友電気工業株式会社 映像監視システム
US6529615B2 (en) * 1997-10-10 2003-03-04 Case Corporation Method of determining and treating the health of a crop
FR2775814B1 (fr) * 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
JP3569627B2 (ja) 1998-05-15 2004-09-22 三菱電機株式会社 画像上の位置判読装置
JP3128549B2 (ja) * 1999-04-26 2001-01-29 三菱電機株式会社 三次元画像表示方法
JP3410391B2 (ja) * 1999-05-31 2003-05-26 株式会社エヌ・ティ・ティ・データ 遠隔撮影システム、撮影指示装置、撮影装置、情報表示装置及び遠隔撮影方法
JP3466512B2 (ja) * 1999-07-07 2003-11-10 三菱電機株式会社 遠隔撮影システム、撮影装置及び遠隔撮影方法
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
WO2001088648A2 (en) * 2000-05-17 2001-11-22 Karem Abraham E Intuitive vehicle and machine control
TW552561B (en) * 2000-09-12 2003-09-11 Asml Masktools Bv Method and apparatus for fast aerial image simulation
US6925382B2 (en) * 2000-10-16 2005-08-02 Richard H. Lahn Remote image management system (RIMS)
JP3992452B2 (ja) * 2000-11-09 2007-10-17 日立ソフトウエアエンジニアリング株式会社 変化検出装置、変化検出方法及び該方法に係るプログラムを記憶した記憶媒体並びにシステム
JP2002182556A (ja) * 2000-12-12 2002-06-26 Ntt-Me Hokuriku Corp 地図データ修正方法
EP3388784B1 (en) * 2001-05-04 2019-07-17 Vexcel Imaging GmbH Method and large format camera for acquiring a large format image of a large area object
US7054741B2 (en) * 2002-02-11 2006-05-30 Landnet Corporation Land software tool
JP2002369189A (ja) * 2001-06-06 2002-12-20 Ffc:Kk カメラ映像表示装置およびカメラ映像表示方法
JP2003005628A (ja) 2001-06-20 2003-01-08 Mitsubishi Electric Corp 写真画像処理装置
TW593978B (en) * 2002-02-25 2004-06-21 Mitsubishi Electric Corp Video picture processing method
CA2386651A1 (en) * 2002-05-16 2003-11-16 Dan Keith Andersen Method of monitoring utility lines with aircraft
US6535816B1 (en) * 2002-06-10 2003-03-18 The Aerospace Corporation GPS airborne target geolocating method
US7800645B2 (en) * 2003-06-20 2010-09-21 Mitsubishi Denki Kabushiki Kaisha Image display method and image display apparatus
US7358498B2 (en) * 2003-08-04 2008-04-15 Technest Holdings, Inc. System and a method for a smart surveillance system
US7236613B2 (en) * 2003-08-29 2007-06-26 The Boeing Company Methods and apparatus for infrared resolution of closely-spaced objects
US6822742B1 (en) * 2003-12-19 2004-11-23 Eastman Kodak Company System and method for remote quantitative detection of fluid leaks from a natural gas or oil pipeline
WO2006041937A2 (en) * 2004-10-04 2006-04-20 Solid Terrain Modeling Three-dimensional cartographic user interface system
US7186978B2 (en) * 2004-10-15 2007-03-06 Millennium Enginerring And Integration Company Compact emissivity and temperature measuring infrared detector
US7411196B2 (en) * 2005-08-18 2008-08-12 Itt Manufacturing Enterprises, Inc. Multi-sensors and differential absorption LIDAR data fusion
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
US20080074494A1 (en) * 2006-09-26 2008-03-27 Harris Corporation Video Surveillance System Providing Tracking of a Moving Object in a Geospatial Model and Related Methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1149916A (zh) * 1994-06-03 1997-05-14 沃尔弗勒姆·基尔赫纳 地理数据的收集,分析,测量和存储方法

Also Published As

Publication number Publication date
TWI220839B (en) 2004-09-01
AU2003244321A1 (en) 2005-01-04
US20060215027A1 (en) 2006-09-28
GB0525769D0 (en) 2006-01-25
AU2003244321B2 (en) 2007-08-16
CA2526105A1 (en) 2004-12-29
TW200501741A (en) 2005-01-01
US7800645B2 (en) 2010-09-21
CA2526105C (en) 2010-08-10
CN1788188A (zh) 2006-06-14
GB2418558A (en) 2006-03-29
GB2418558B (en) 2007-07-04
JPWO2004113836A1 (ja) 2006-08-03
WO2004113836A1 (ja) 2004-12-29
AU2003244321B8 (en) 2008-02-21

Similar Documents

Publication Publication Date Title
CN1788188B (zh) 拍摄图像显示方法及拍摄图像显示装置
US10767990B2 (en) Device, method, and system for processing survey data, and program therefor
KR100556103B1 (ko) 자동촬영시스템을 이용한 항공촬영방법
US6507406B1 (en) Three-dimensional data input apparatus
CN102575933B (zh) 地图图像综合数据库生成***以及地图图像综合数据库生成程序
Muller et al. A program for direct georeferencing of airborne and spaceborne line scanner images
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
CN102840852A (zh) 航空摄影图像拾取方法和航空摄影图像拾取装置
KR20070096370A (ko) Los벡터 조정모델을 이용한 영상의 기하보정 방법 및 그장치
CN105160125A (zh) 一种星敏感器四元数的仿真分析方法
KR20170094030A (ko) 실내 내비게이션 및 파노라마 사진 맵핑 제공 시스템 및 그 방법
KR20190049086A (ko) 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
JP7161304B2 (ja) 位置同定システム
Zhao et al. Direct georeferencing of oblique and vertical imagery in different coordinate systems
CN113296133B (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
KR20030070553A (ko) 촬영영상 처리방법
CN110411443B (zh) 一种采煤机摇臂惯性/视觉组合定姿装置和方法
Eugster et al. Integrated georeferencing of stereo image sequences captured with a stereovision mobile mapping system–approaches and practical results
CN114966793B (zh) 三维测量***、方法及gnss***
Kordić et al. Spatial data performance test of mid-cost UAS with direct georeferencing
KR100745105B1 (ko) 촬영 영상 표시 방법 및 촬영 영상 표시 장치
CN110706287A (zh) 一种基于地面标识格的车辆定位方法、车辆及定位***
Deltsidis et al. Orthorectification of World View 2 stereo pair using a new rigorous orientation model
Nagarajan et al. Boresight Calibration of Low Point Density Lidar Sensors
Alamús et al. Geomobil: ICC land based mobile mapping system for cartographic data capture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120229

Termination date: 20160620