JP2014228881A - Mosaic image generation device, generation method, and generation program - Google Patents

Mosaic image generation device, generation method, and generation program Download PDF

Info

Publication number
JP2014228881A
JP2014228881A JP2013105415A JP2013105415A JP2014228881A JP 2014228881 A JP2014228881 A JP 2014228881A JP 2013105415 A JP2013105415 A JP 2013105415A JP 2013105415 A JP2013105415 A JP 2013105415A JP 2014228881 A JP2014228881 A JP 2014228881A
Authority
JP
Japan
Prior art keywords
plane
image
images
tracking
mosaic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013105415A
Other languages
Japanese (ja)
Other versions
JP2014228881A5 (en
JP6155091B2 (en
Inventor
信博 知原
Nobuhiro Chihara
信博 知原
宣隆 木村
Nobutaka Kimura
宣隆 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2013105415A priority Critical patent/JP6155091B2/en
Publication of JP2014228881A publication Critical patent/JP2014228881A/en
Publication of JP2014228881A5 publication Critical patent/JP2014228881A5/ja
Application granted granted Critical
Publication of JP6155091B2 publication Critical patent/JP6155091B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To create a mosaic image free of distortion in real time, without using information about camera position and posture, from an image derived by successively photographing, using a moving camera, a subject having so much undulations that plane assumption cannot be established.SOLUTION: A plurality of photographed images 260 contiguous in time series are inputted from a camera 130. A corrected image 320 is generated by a corresponding point detection unit 220 by correcting the lens distortion of the photographed images 260. A corresponding point which is a set of the same point between images is obtained from two of the corrected images 320 in which the same area is image-captured. A specific plane is tracked by a plane tracking unit 230, and a geometric relation between the images is estimated from only the corresponding point included in the tracked plane. The corrected image is deformed on the basis of the estimated geometric relation between the images on the tracked plane by an image update unit 240 so that the tracked plane matches, and the resulting image is superposed on a mosaic image, whereby the mosaic image is updated.

Description

本発明は、移動するカメラによって撮影された複数枚の時系列画像データから、広範囲の画像を生成するモザイク画像生成装置及び生成方法並びにプログラムに係り、特に、撮影対象が起伏や大きな高低差がある被写体に用いるのに適したモザイク画像生成方式に関する。   The present invention relates to a mosaic image generating apparatus, a generating method, and a program for generating a wide range of images from a plurality of time-series image data captured by a moving camera. The present invention relates to a mosaic image generation method suitable for use in a subject.

近年、被災地での情報収集や農耕地や山林などの観測のために航空機が情報収集に利用されている。航空機が収集する情報の中でも特に地上を撮影した画像情報はさまざまな用途に利用される。中でも時系列的に連続する複数の撮影画像を繋ぎ合わせることで生成できるモザイク画像は、撮影地域全体を俯瞰する事ができるため撮影地域全体の状況把握に有効である。   In recent years, aircraft have been used for information collection for collecting information in stricken areas and observing agricultural land and forests. Among the information collected by aircraft, image information taken on the ground is used for various purposes. In particular, a mosaic image that can be generated by connecting a plurality of time-sequentially captured images is effective in grasping the situation of the entire imaging region because it can provide an overview of the entire imaging region.

そのため、航空機に搭載したカメラで撮影した時系列的に連続する複数の撮影画像を繋ぎ合わせて広域かつ高解像度な広域モザイク画像を生成する技術が重要となっている。なおモザイク画像生成技術の用途は広範囲の空撮画像生成に限らず、風景画像を合成したパノラマ画像生成などにも利用でき応用範囲は広い。   Therefore, a technique for generating a wide-area and high-resolution wide-area mosaic image by connecting a plurality of time-sequentially captured images captured by a camera mounted on an aircraft is important. The application of the mosaic image generation technique is not limited to the generation of a wide range of aerial images, but can also be used for generating a panoramic image obtained by synthesizing a landscape image.

次に、従来の一般的なモザイク画像の生成方法を説明する。
図１８はモザイク画像生成処理の概念を示す図である。モザイク画像生成では、まず図１８の（ａ）に示す通りカメラで撮影した時系列的に連続する２枚の画像（Ｉｍ−１），（Ｉｍ−２）に対してコーナー特徴などの画像的特徴を利用して特徴点を検出する。次に、図１８の（ｂ）に示す通り、二枚の画像（Ｉｍ−１），（Ｉｍ−２）の特徴点情報から、特徴点同士の対応付けを行い、対応する特徴点のペアを対応点とする。次に、二枚の画像内の撮影対象の全体を平面と仮定し、画像間の対応点から画像平面の幾何関係の推定を行い、幾何関係情報を得る。 Next, a conventional general method for generating a mosaic image will be described.
FIG. 18 is a diagram showing the concept of mosaic image generation processing. In the generation of the mosaic image, first, as shown in FIG. 18A, image features such as a corner feature with respect to two images (Im-1) and (Im-2) that are continuous in time series taken by the camera. A feature point is detected using. Next, as shown in FIG. 18B, the feature points are associated with each other from the feature point information of the two images (Im-1) and (Im-2), and a pair of corresponding feature points is obtained. A corresponding point. Next, assuming that the entire object to be imaged in the two images is a plane, the geometric relationship between the image planes is estimated from corresponding points between the images, and geometric relationship information is obtained.

幾何関係情報のうち一般的に利用されるのは、平面間の透視投影変換を表すホモグラフィ行列であり、二枚の画像内の対応点の座標をそれぞれ[u v]としたときに、次の式の通り画像間の対応点の座標変換を表す次式として表現される。   Of the geometric relation information, a homography matrix that expresses perspective projection transformation between planes is generally used. When the coordinates of corresponding points in two images are [uv], It is expressed as the following equation representing the coordinate conversion of corresponding points between images as expressed in the equation.

Figure 2014228881
Figure 2014228881

最後に、図１８の（ｃ）に示す通り、二枚の画像（Ｉｍ−１），（Ｉｍ−２）間の幾何関係から、二枚の画像が重なる様に新しい方の画像を変形させて作成済みのモザイク画像に重ね合せることで、モザイク画像の更新を行う。   Finally, as shown in FIG. 18C, the new image is deformed so that the two images overlap from the geometric relationship between the two images (Im-1) and (Im-2). The mosaic image is updated by overlapping the created mosaic image.

しかし、この従来の方法では、起伏のある地形や画面内に大きな高低差のある物体が写っている場合に、撮影対象の全体に関して、平面仮定が成立せず、ズレや歪が発生し高精度なモザイク画像を生成できないという課題があった。   However, with this conventional method, when a rough terrain or an object with a large difference in elevation is reflected in the screen, the assumption of plane is not established for the entire object to be photographed, and displacement and distortion occur, resulting in high accuracy. There was a problem that a simple mosaic image could not be generated.

図１９、図２０および図２１は、このズレや歪が発生する要因を示した図である。
図１９では、航空機１００に搭載されたカメラを頂点とする例えば四角錐の撮影対象領域５０内が撮影対象になるものとする。撮影対象領域５０内において、地面４０及び道路４５はほぼ平坦であり、この道路４５に沿って背の低いポスト４６があり、その後方に高さの高いビル３０があるものと仮定する。図１９の様に、撮影対象に、起伏や大きな高低差がある場合、所定の高度を水平に飛行する航空機１００上で二つの異なる地点Ｐ２０およびＰ１０から撮影された空撮画像を取得すると、図２０に示す様な空撮画像（ａ）および（ｂ）が撮影される。地点Ｐ２０（ｔ＝ｔ０）で撮影された空撮画像（Ｉｍ−２０）が図２０（ｂ）、地点Ｐ１０（ｔ＝ｔ１）で撮影された空撮画像（Ｉｍ−１０）が図２０（ａ）であるとする。なお、図２０（ａ）の符号３１と図２０（ｂ）の符号３２は同じビル、図２０（ａ）の符号４１と図２０（ｂ）の符号４２は同じ地面を、示している。 FIG. 19, FIG. 20 and FIG. 21 are diagrams showing factors that cause this deviation and distortion.
In FIG. 19, it is assumed that, for example, a quadrangular pyramid shooting target area 50 having a camera mounted on the aircraft 100 as a vertex is a shooting target. It is assumed that the ground 40 and the road 45 are substantially flat in the imaging target area 50, a short post 46 is along the road 45, and a tall building 30 is behind the post 46. As shown in FIG. 19, when there are undulations or a large height difference in the object to be imaged, when aerial images captured from two different points P20 and P10 are acquired on the aircraft 100 flying horizontally at a predetermined altitude, Aerial images (a) and (b) as shown in FIG. 20 are taken. An aerial image (Im-20) taken at the point P20 (t = t0) is shown in FIG. 20B, and an aerial image (Im-10) taken at the point P10 (t = t1) is shown in FIG. ). Note that reference numeral 31 in FIG. 20A and reference numeral 32 in FIG. 20B indicate the same building, and reference numeral 41 in FIG. 20A and reference numeral 42 in FIG. 20B indicate the same ground.

図２０（ａ）と図２０（ｂ）の差異は、二つの別々の地点Ｐ１０およびＰ２０から同一の地形を撮影した空撮画像（Ｉｍ−１０），（Ｉｍ−２０）において、カメラから遠い距離の停止物体（地面４１，４２）およびポスト４６は画像間での動きが小さいのに対して、カメラに近い距離の停止物体（高いビル３１および３２）は画像間での動きが大きくなる、視差という現象に起因している。   The difference between FIG. 20 (a) and FIG. 20 (b) is the distance far from the camera in the aerial images (Im-10) and (Im-20) taken from the same terrain from two separate points P10 and P20. The stop object (the ground 41, 42) and the post 46 have a small movement between images, whereas the stop object (the tall buildings 31 and 32) close to the camera has a large movement between images. This is due to the phenomenon.

従って、図２１に示す様に、撮影対象に起伏や大きな高低差がある場合、図２１（ａ）に示す様に、撮影対象の全体にわたって、平面仮定に基づいて２枚の撮像画像（Ｉｍ−１０），（Ｉｍ−２０）の特徴点同士（Ｐ９０−Ｑ９０，Ｐ４００−Ｑ４００等）を対応付けたとしても、地形の起伏により図２１（ｂ）に示す様に視差（例えば、△Ｐ９０と△Ｐ４００）が発生しているため、全体を重ね合せ繋ぎ合わせたモザイク画像（（Ｉｍ−１００），（Ｉｍ−２０）には、図２１（ｃ）に示す様にズレや歪が生じてしまうという問題があった。   Therefore, as shown in FIG. 21, when there is an undulation or a large difference in height in the shooting target, as shown in FIG. 21A, two captured images (Im− 10) and (Im-20) feature points (P90-Q90, P400-Q400, etc.) are associated with each other, as shown in FIG. P400) occurs, and the mosaic images ((Im-100) and (Im-20), which are overlapped and joined as a whole, are displaced or distorted as shown in FIG. 21 (c). There was a problem.

この問題は、衛星写真など高高度から撮影された画像に比べて、撮影対象とカメラ間の距離が比較的小さい航空写真などで、より顕著に発生する。   This problem occurs more remarkably in aerial photographs where the distance between the object to be photographed and the camera is relatively small compared to images taken from a high altitude such as satellite photographs.

この様な問題に対して、特許文献１や特許文献２では、撮影対象に大きな起伏があっても、高精度なモザイク画像生成を行う方法が提案されている。   In order to deal with such a problem, Patent Document 1 and Patent Document 2 propose a method for generating a highly accurate mosaic image even if there is a large undulation in the object to be photographed.

特許文献１では、撮影対象の時系列画像データから自動的に対象の三次元形状を検出し復元しながらパノラマ画像を生成することで高精度なモザイク画像を生成している。   In Patent Literature 1, a high-precision mosaic image is generated by generating a panoramic image while automatically detecting and restoring a target three-dimensional shape from time-series image data to be captured.

特許文献２には、位置姿勢センサや飛行計画から求まる位置姿勢情報に基づいて地面平面の動きベクトルを推定、実際の画像内の動きベクトルと比較して地面平面を判定して画像間の位置合わせを行っている。   In Patent Document 2, the motion vector of the ground plane is estimated based on the position and orientation information obtained from the position and orientation sensor and the flight plan, and the ground plane is determined by comparing with the motion vector in the actual image to align the images. It is carried out.

特開２００２−２５９９５２号公報JP 2002-255992 A 特開２００２−１５０２６４号公報JP 2002-150264 A

上記のとおり、従来の技術においても、撮影対象に平面仮定が成立しない程の大きな起伏があっても、時系列的に連続する複数の撮影画像を繋ぎ合わせて高精度なモザイク画像生成を行う方法が開示されている。   As described above, even in the conventional technology, even when there is a large undulation that does not hold the assumption of a plane, a method for generating a highly accurate mosaic image by connecting a plurality of time-sequentially captured images Is disclosed.

しかし、特許文献１の方法では、三次元地形形状の復元の演算量が多く実時間でのモザイク画像生成が困難となり、ユーザへの実時間でのモザイク画像の提示やモザイク画像生成状況の動的な飛行計画へのフィードバックなどが行えないという問題がある。   However, with the method of Patent Document 1, the amount of computation for restoring the three-dimensional terrain shape is large, and it is difficult to generate a mosaic image in real time. There is a problem that it is not possible to provide feedback to a difficult flight plan.

また、特許文献２の方法では、別途位置姿勢センサ情報が必要になる上に、位置姿勢センサが非常に高精度でなければ高精度なモザイク画像は生成できないという問題がある。   In addition, the method of Patent Document 2 requires separate position / orientation sensor information, and has a problem that a highly accurate mosaic image cannot be generated unless the position / orientation sensor is very accurate.

本発明は上記の問題を鑑みて行われたもので、平面仮定が成立しない程の起伏のある被写体を撮影した画像であっても、パノラマ画像を生成したり、別途位置・姿勢センサを使用したりすることなく、高精度なモザイク画像を実時間で作成することのできるモザイク画像生成方式を提供することを目的としている。   The present invention has been made in view of the above problems, and even if an image is taken of a subject that is so rough that the plane assumption is not satisfied, a panoramic image is generated or a separate position / posture sensor is used. It is an object of the present invention to provide a mosaic image generation method that can create a high-precision mosaic image in real time without any trouble.

本発明の代表的な物の一例を示すと、次のとおりである。モザイク画像生成装置は、時系列的に連続した複数枚の画像からモザイク画像を生成するモザイク画像生成装置であって、前記時系列的に連続した２枚の画像から、該画像内で重複した領域内の同一点の組である対応点を求める対応点検出手段と、前記複数枚の画像において特定平面を追跡する平面追跡手段と、画像更新手段とを備え、前記平面追跡手段は、前記対応点のうち、前記特定平面上にある対応点のみから、前記２枚の画像間の幾何関係を推定する幾何関係推定部を有し、前記画像更新手段は、前記２枚の画像間の前記幾何関係に基づき、前記モザイク画像を生成することを特徴とする。   An example of a representative product of the present invention is as follows. The mosaic image generating device is a mosaic image generating device that generates a mosaic image from a plurality of images that are continuous in time series, and is an overlapping region in the images from the two images that are continuous in time series Corresponding point detection means for obtaining corresponding points that are a set of the same points, plane tracking means for tracking a specific plane in the plurality of images, and image updating means, wherein the plane tracking means includes the corresponding points And a geometric relationship estimating unit that estimates a geometric relationship between the two images only from corresponding points on the specific plane, and the image updating means includes the geometric relationship between the two images. Based on the above, the mosaic image is generated.

本発明によると、撮影対象に平面仮定が成立しない程に奥行き方向に対して大きな起伏のある場合でも、別途位置・姿勢センサを使用することなく、高精度なモザイク画像を実時間で生成することができる。   According to the present invention, a highly accurate mosaic image can be generated in real time without using a separate position / orientation sensor even when there is a large undulation in the depth direction so that a plane assumption is not established for the object to be imaged. Can do.

本発明の第一の実施例に係るモザイク画像生成装置の構成例を示す図。The figure which shows the structural example of the mosaic image generation apparatus which concerns on the 1st Example of this invention. 図１のモザイク画像生成装置を含む、モザイク画像生成・利用システムの構成例を示す図。The figure which shows the structural example of a mosaic image production | generation system using the mosaic image production | generation apparatus of FIG. 図１の対応点検出部の構成例を示す図。The figure which shows the structural example of the corresponding point detection part of FIG. 図３の特徴点抽出部の処理フローを示す図。The figure which shows the processing flow of the feature point extraction part of FIG. 図１のモザイク画像生成装置の運用形態の一例を示す図。The figure which shows an example of the operation | use form of the mosaic image generation apparatus of FIG. 第一の実施例の特徴点抽出処理の概念を示す図。The figure which shows the concept of the feature point extraction process of a 1st Example. 第一の実施例の対応点探索処理の概念を示す図。The figure which shows the concept of the corresponding point search process of a 1st Example. 図３の平面追跡部の構成例を示す図。The figure which shows the structural example of the plane tracking part of FIG. 追跡平面内対応点抽出部の処理フローを示す図。The figure which shows the processing flow of the corresponding point extraction part in a tracking plane. 追跡平面新規対応点抽出部の処理フローを示す図。The figure which shows the processing flow of a tracking plane new corresponding point extraction part. 図３の画像更新部の構成例を示す図。The figure which shows the structural example of the image update part of FIG. モザイク画像更新部の処理フローを示す図。The figure which shows the processing flow of a mosaic image update part. モザイク画像生成結果の例を示す図。The figure which shows the example of a mosaic image generation result. 本発明の第二の実施例に係る平面追跡部の構成例を示す図。The figure which shows the structural example of the plane tracking part which concerns on the 2nd Example of this invention. 第二の実施例の複数平面抽出処理の概念を示す図。The figure which shows the concept of the multiple plane extraction process of a 2nd Example. 第二の実施例の複数平面抽出部の処理フローを示す図。The figure which shows the processing flow of the multiple plane extraction part of a 2nd Example. 第二の実施例の追跡平面判定部の処理フローを示す図。The figure which shows the processing flow of the tracking plane determination part of a 2nd Example. 一般的なモザイク画像生成処理の概念を示す図。The figure which shows the concept of a general mosaic image generation process. 撮影対象に起伏や大きな高低差がある場合を説明する図。The figure explaining the case where an imaging | photography object has a undulation and a big height difference. 撮影対象に起伏や大きな高低差がある場合の撮影画像例を示す図。The figure which shows the example of a picked-up image in case an imaging | photography object has a undulation and a big height difference. 撮影対象に起伏や大きな高低差がある場合にモザイク画像に生じる歪の例を示す図。The figure which shows the example of the distortion which arises in a mosaic image when there exists a undulation and a big height difference in imaging | photography object.

本発明は、時系列的に連続した複数の撮影画像内から画像特徴に基づいて特徴点を検出し、同一領域を撮像した２枚の撮影画像の対から特徴点に基づいて画像間における同一点の対応関係を対応点として検出、特定の平面を追跡対象として、対応点の中から、既に時系列的に前の画像内において追跡平面上に存在すると判定されている対応点を追跡対応点として抽出し、追跡対応点のみから撮影画像間の幾何関係を推定し、撮影画像間の全対応点のうち、前記幾何関係を満足する対応点を追跡平面上に存在すると判定し、一方で、前記幾何関係に基づいて追跡平面が一致する様に撮影画像をモザイク画像に変形・重畳することでモザイク画像を更新する。   The present invention detects feature points based on image features from a plurality of time-sequentially captured images, and uses the same points between images based on feature points from a pair of two captured images that capture the same region. The corresponding point is detected as a corresponding point, and a specific plane is set as the tracking target, and the corresponding point that has already been determined to exist on the tracking plane in the previous image in time series is selected as the tracking corresponding point. Extracting, estimating the geometric relationship between the captured images only from the tracking corresponding points, and determining that the corresponding points satisfying the geometric relationship among all corresponding points between the captured images exist on the tracking plane, The mosaic image is updated by deforming and superimposing the captured image on the mosaic image so that the tracking planes match based on the geometric relationship.

これにより、撮影対象に平面仮定が成立しえないほど奥行き方向に対して大きな起伏がある場合においても、撮影対象内の特定平面を追跡し追跡平面で画像を重ねることで、歪みの少ない高精度なモザイク画像を実時間で生成できるようにしたものである。また、モザイク画像を生成する過程で導出された幾何関係からカメラの高精度な位置・姿勢推定を行うことができる。   As a result, even when there are large undulations in the depth direction so that a plane assumption cannot be established for the shooting target, high accuracy with low distortion is achieved by tracking a specific plane within the shooting target and overlaying the image on the tracking plane. A simple mosaic image can be generated in real time. In addition, it is possible to estimate the position and orientation of the camera with high accuracy from the geometric relationship derived in the process of generating the mosaic image.

以下、本発明の第１の実施例に係るモザイク画像生成装置について、図面を参照しながら説明する。
［モザイク画像生成装置］
図１は、本発明の第１の実施例に係るモザイク画像生成装置の構成を示す図である。また、図２は、モザイク画像生成装置を含む、モザイク画像生成・利用システムの構成例を示す図である。 Hereinafter, a mosaic image generating apparatus according to a first embodiment of the present invention will be described with reference to the drawings.
[Mosaic image generator]
FIG. 1 is a diagram showing a configuration of a mosaic image generating apparatus according to the first embodiment of the present invention. FIG. 2 is a diagram illustrating a configuration example of a mosaic image generation / use system including a mosaic image generation apparatus.

本発明によるモザイク画像生成装置２００は、記憶装置２１０と、対応点検出部２２０と平面追跡部２３０と画像更新部２４０を備える。   The mosaic image generating apparatus 200 according to the present invention includes a storage device 210, a corresponding point detection unit 220, a plane tracking unit 230, and an image update unit 240.

モザイク画像生成装置２００は、CPU、メモリ、記憶装置、入出力装置、インターフェイス等を備えたコンピュータにより構成されている。メモリには、各種のプログラムが格納されており、動作時にはCPUがそれらを読み出して実行する。主なプログラムとしては、対応点検出処理プログラム、平面追跡処理プログラム、画像更新処理プログラムがある。これらのプログラムをCPUで実行することにより、コンピュータ(モザイク画像生成装置)を、対応点検出部２２０、平面追跡部２３０、及び、画像更新部２４０として機能させる。   The mosaic image generating apparatus 200 is configured by a computer including a CPU, a memory, a storage device, an input / output device, an interface, and the like. Various programs are stored in the memory, and during operation, the CPU reads and executes them. The main programs include a corresponding point detection processing program, a plane tracking processing program, and an image update processing program. By executing these programs by the CPU, the computer (mosaic image generation apparatus) is caused to function as the corresponding point detection unit 220, the plane tracking unit 230, and the image update unit 240.

図２に示したように、このモザイク画像生成装置２００は、画像記録・処理装置１２０、第一の記憶装置１４０、及び、表示装置２５０と共に、地上局１１０に設置される。航空機１００等の移動体に搭載されたカメラ１３０により任意の時間間隔でほぼ同じ対象を撮影した少なくとも２枚の撮影画像２６０は、第一の記憶装置１４０やモザイク画像生成装置２００の記憶装置２１０に、時系列画像データとして格納されている。画像データは、画面上の各点の座標値とその点の色情報とがセットになったものを、テーブル化して、保持される。地上局１１０には、モザイク画像を利用するための再生装置１５０が接続されている。さらに、モザイク画像を利用するために、地上局１１０は、さらに、ネットワーク１６０を介して、第二の記憶装置を有するサーバ１７０や端末装置１８０に接続可能に構成されている。   As shown in FIG. 2, the mosaic image generating device 200 is installed in the ground station 110 together with the image recording / processing device 120, the first storage device 140, and the display device 250. At least two photographed images 260 obtained by photographing substantially the same object at arbitrary time intervals by the camera 130 mounted on a moving body such as the aircraft 100 are stored in the first storage device 140 and the storage device 210 of the mosaic image generating device 200. Are stored as time-series image data. The image data is stored as a table of a set of coordinate values of points on the screen and color information of the points. A reproduction apparatus 150 for using a mosaic image is connected to the ground station 110. Further, in order to use the mosaic image, the ground station 110 is further configured to be connectable to the server 170 and the terminal device 180 having the second storage device via the network 160.

図１に戻って、記憶装置２１０の時系列画像データは、対応点検出部２２０に画像データとして提供される。対応点検出部２２０は、撮影画像２６０を画像解析し、対応点情報２７０を生成して平面追跡部２３０に、歪補正画像３２０を画像更新部２４０に出力する。平面追跡部２３０は、対応点情報２７０を入力し、特定平面の追跡を行い、時系列的に連続した撮影画像間の特定平面での幾何関係推定結果２８０と、追跡に成功したか失敗したかの判定結果を追跡判定結果３４０として画像更新部２４０に出力する。   Returning to FIG. 1, the time-series image data in the storage device 210 is provided to the corresponding point detection unit 220 as image data. The corresponding point detection unit 220 performs image analysis on the photographed image 260, generates corresponding point information 270, and outputs the distortion correction image 320 to the plane tracking unit 230 and the image update unit 240. The plane tracking unit 230 inputs the corresponding point information 270, performs tracking of the specific plane, the geometric relationship estimation result 280 in the specific plane between time-series continuous captured images, and whether the tracking has succeeded or failed Is output to the image updating unit 240 as a tracking determination result 340.

画像更新部２４０は、幾何関係推定結果２７０と歪補正画像３２０からモザイク画像２９０の更新とカメラの位置姿勢推定を行い、表示装置２５０にモザイク画像２９０と位置姿勢情報３５０を出力する。表示装置２５０は、地上局１１０において、モザイク画像２９０と位置姿勢情報３５０をユーザに提示する。なお、モザイク画像２９０のデータは、記憶装置（フレームバッファ）にも保持される。   The image update unit 240 updates the mosaic image 290 and estimates the position and orientation of the camera from the geometric relationship estimation result 270 and the distortion correction image 320, and outputs the mosaic image 290 and the position and orientation information 350 to the display device 250. Display device 250 presents mosaic image 290 and position and orientation information 350 to the user at ground station 110. Note that the data of the mosaic image 290 is also stored in a storage device (frame buffer).

［対応点検出部］
図３は、モザイク画像生成装置２００の対応点検出部２２０の構成例を示す図である。対応点検出部２２０は、特徴点抽出部３００と対応点探索部３１０によって構成される。特徴点抽出部３００は、カメラ２１０から入力した撮影画像２６０から特徴点を抽出し、歪補正画像３２０と特徴点情報３３０を出力する。歪補正画像３２０は、画像更新部２４０に入力される。対応点探索部３１０は、歪補正画像３２０と特徴点情報３３０を入力して、時系列的に連続した歪補正画像３２０のペアから対となる特徴点を探索し、対応点情報２７０として平面追跡部２３０に出力する。 [Corresponding point detector]
FIG. 3 is a diagram illustrating a configuration example of the corresponding point detection unit 220 of the mosaic image generation device 200. The corresponding point detection unit 220 includes a feature point extraction unit 300 and a corresponding point search unit 310. The feature point extraction unit 300 extracts feature points from the captured image 260 input from the camera 210 and outputs a distortion correction image 320 and feature point information 330. The distortion corrected image 320 is input to the image update unit 240. Corresponding point search unit 310 receives distortion corrected image 320 and feature point information 330, searches for a pair of feature points from a pair of time-series continuous distortion corrected images 320, and performs planar tracking as corresponding point information 270. Output to the unit 230.

［特徴点抽出部］
図４は、特徴点抽出部３００の処理内容を示したフロー図である。特徴点抽出部３００では、処理を開始したら、画像読込ステップ４００を実行する。この画像読込ステップ４００では、特徴点抽出部３００の外部、例えば記憶装置２１０、から撮影画像２６０の読み込みを行い、レンズ歪補正ステップ４１０を実行する。レンズ歪補正ステップ４１０では、外部から設定するレンズ歪補正係数を用いて、撮影画像２６０のレンズ歪補正を行った画像を歪補正画像３２０として出力し、注目点配置ステップ４２０及び特徴点抽出ステップ４３０を実行する。レンズ歪補正係数は、事前にカメラキャリブレーションを行い求めたものを用いる。特徴点抽出ステップ４３０によって得られた特徴点抽出データは、記憶装置２１０等に保持される。 [Feature point extraction unit]
FIG. 4 is a flowchart showing the processing contents of the feature point extraction unit 300. In the feature point extraction unit 300, when the process is started, an image reading step 400 is executed. In this image reading step 400, the photographed image 260 is read from outside the feature point extraction unit 300, for example, the storage device 210, and the lens distortion correction step 410 is executed. In the lens distortion correction step 410, an image obtained by correcting the lens distortion of the captured image 260 using a lens distortion correction coefficient set from the outside is output as a distortion correction image 320, and the attention point arrangement step 420 and the feature point extraction step 430 are performed. Execute. The lens distortion correction coefficient is obtained by camera calibration in advance. The feature point extraction data obtained by the feature point extraction step 430 is held in the storage device 210 or the like.

次に、本実施例のモザイク画像生成装置の運用形態について説明する。
図５は、モザイク画像生成装置２００の運用形態の一例を表した図である。本実施例のモザイク画像生成装置の運用形態の一例として、航空機１００にカメラ１３０を搭載し、モザイク画像生成装置２００と表示装置２５０を、図１に示したように、自動車に設置された地上局１１０に設置する構成が考えられる。この例では、道路に沿ったコース６０を飛行する航空機１００のカメラ１３０により、時系列的に連続して撮影された画像２６０−２（（第一の画像、ｔ＝ｔ０）、２６０−１（第二の画像、ｔ＝ｔ１）のデータが、無線通信によりアンテナを備えた地上局１１０に送信される。この例では、地面４０の及び道路４５が比較的平坦であり、この道路４５に沿って背の低いポスト４６があり、その後方に高さの高いビル３０があるものと仮定する。 Next, an operation mode of the mosaic image generating apparatus according to the present embodiment will be described.
FIG. 5 is a diagram illustrating an example of an operation mode of the mosaic image generating apparatus 200. As an example of the operation mode of the mosaic image generating apparatus according to the present embodiment, a camera 130 is mounted on an aircraft 100, and the mosaic image generating apparatus 200 and the display apparatus 250 are installed on a ground station as shown in FIG. The structure installed in 110 can be considered. In this example, images 260-2 ((first image, t = t 0), 260-1 (first image, t = t 0) continuously taken in time series by the camera 130 of the aircraft 100 flying on the course 60 along the road. The data of the second image, t = t1) is transmitted by radio communication to the ground station 110 equipped with the antenna.In this example, the ground 40 and the road 45 are relatively flat and along the road 45 Suppose that there is a tall post 46 and a tall building 30 behind it.

なお、撮影画像２６０のデータに関しては、カメラ１３０で撮影された時系列的に連続した撮影画像を航空機１００側の記憶装置に一旦保持し、この画像データを、搬送可能な記録媒体等を介して、地上局１１０の記憶装置に移すようにしても良い。また、カメラ１３０モザイク画像生成装置の全体が航空機１００側に搭載される構成や、モザイク画像生成装置２００の機能が航空機１００側と地上局１１０側に分けて搭載される場合も、本発明に含まれるものとする。また、本発明の航空機は、無線操縦される無人航空機（ＵＡＶ）を含む。さらに、本発明における画像は、空撮画像に限定されるものではなく、自動車のような地上を移動する物体に搭載されたカメラ等により、連続的に撮影された画像についても、適用可能である。   As for the data of the captured image 260, time-series continuous captured images captured by the camera 130 are temporarily held in the storage device on the aircraft 100 side, and this image data is transferred via a transportable recording medium or the like. Alternatively, it may be transferred to the storage device of the ground station 110. The present invention also includes a configuration in which the entire camera 130 mosaic image generating device is mounted on the aircraft 100 side, and a case where the functions of the mosaic image generating device 200 are mounted separately on the aircraft 100 side and the ground station 110 side. Shall be. The aircraft of the present invention also includes a radio-operated unmanned aerial vehicle (UAV). Furthermore, the image in the present invention is not limited to an aerial image, and can be applied to an image continuously captured by a camera or the like mounted on an object moving on the ground such as an automobile. .

図６は、図４の注目点配置処理及び特徴点抽出処理の概念を示した図である。２枚の画像（ａ−１）、（ａ−２）には、異なる地点（時刻ｔ＝ｔ０、ｔ＝ｔ１）から、同一領域、例えば同じ道路や同じビルが、重複して撮像されている。
注目点配置ステップ４２０では、図６の（ａ−１）に示すように、撮影画像２６０−１に対応する歪補正画像３２０の全体に、破線で示したグリッド状の微小な各矩形領域にそれぞれ注目点Ａ０１（座標ｘ＝ａ１，ｙ＝ａ１，色情報ａ１），−，Ａｎ（座標ｘ＝ａｎ，ｙ＝ａｎ，色情報ａｎ）を配置する。同様に、図６の（ａ−２）に示すように、撮影画像２６０−２に対応する歪補正画像の全体にも、グリッド状の微小な各矩形領域にそれぞれ注目点Ｂ０１（座標ｘ＝ｂ１，ｙ＝ｂ１，色情報ｂ１），−，Ｂｎ（座標ｘ＝ｂｎ，ｙ＝ｂｎ，色情報ｂｎ）を配置する。 FIG. 6 is a diagram showing the concept of the attention point arrangement process and the feature point extraction process of FIG. In the two images (a-1) and (a-2), the same region, for example, the same road or the same building, is imaged from different points (time t = t0, t = t1). .
At the point-of-interest placement step 420, as shown in FIG. 6 (a-1), the entire distortion-corrected image 320 corresponding to the photographed image 260-1 is placed on each of the grid-like minute rectangular areas indicated by broken lines. Attention points A01 (coordinates x = a1, y = a1, color information a1), −, An (coordinates x = an, y = an, color information an) are arranged. Similarly, as shown in (a-2) of FIG. 6, the attention point B01 (coordinate x = b1) is also added to each of the grid-like minute rectangular areas in the entire distortion-corrected image corresponding to the captured image 260-2. , Y = b1, color information b1),-, Bn (coordinates x = bn, y = bn, color information bn).

次に、特徴点抽出ステップ４３０では、重複して撮像されている同じ対象物の特徴点を抽出する。すなわち、歪補正画像３２０内から各注目点Ａ０１、Ｂ０１等を探索開始位置として、図６の（ｂ−１）に示す様に、該注目点の周囲一定範囲内、すなわち各矩形領域から画像特徴を小数画素精度で探索し、画像特徴の小数画素精度の座標位置などを特徴点情報として出力する。例えば、撮影画像２６０−１に対応する歪補正画像３２０において、注目点Ａ９０（座標ｘ＝−，ｙ＝−）を探索開始位置として、同じ矩形領内に道路４５の縁である特徴点Ｐ９０（座標ｘ＝−，ｙ＝−）を抽出する。また、注目点Ａ１００（座標ｘ＝ａ１００，ｙ＝ａ１００）を探索開始位置として、同じ矩形領内にビル３１の地表上の１つのコーナーである特徴点Ｐ１００（座標ｘ＝−，ｙ＝−）を抽出し、さらに、注目点Ａ６００（座標ｘ＝ａ６００，ｙ＝ａ６００）を探索開始位置として、同じ矩形領内にビル３１の屋上のコーナーである特徴点Ｐ６００（座標ｘ＝−，ｙ＝−）を抽出する。そして、これらの各座標位置などを特徴点情報として出力する。同様に、図６（ｂ−２）に示す様に、撮影画像２６０−２に対応する歪補正画像においても、特徴点Ｑ９０（座標ｘ＝−，ｙ＝−），Ｑ１００（座標ｘ＝−，ｙ＝−），Ｑ６００（座標ｘ＝−，ｙ＝−）等を抽出し、それらの座標位置や色情報などを特徴点情報として出力する。   Next, in a feature point extraction step 430, feature points of the same object that have been imaged in duplicate are extracted. That is, with the attention points A01, B01, etc. from the distortion corrected image 320 as search start positions, as shown in FIG. 6 (b-1), image features from a certain range around the attention point, that is, from each rectangular area. Are searched with decimal pixel accuracy, and the coordinate position of the decimal feature of the image feature is output as feature point information. For example, in the distortion correction image 320 corresponding to the photographed image 260-1, the feature point P90 (coordinates) that is the edge of the road 45 within the same rectangular area with the attention point A90 (coordinates x = −, y = −) as the search start position. x = −, y = −) are extracted. A feature point P100 (coordinates x = −, y = −) which is one corner on the ground surface of the building 31 is set in the same rectangular area with the attention point A100 (coordinates x = a100, y = a100) as a search start position. Further, the feature point P600 (coordinates x = −, y = −) that is the corner of the roof of the building 31 is set in the same rectangular area with the attention point A600 (coordinates x = a600, y = a600) as the search start position. Extract. These coordinate positions are output as feature point information. Similarly, as shown in FIG. 6B-2, also in the distortion corrected image corresponding to the captured image 260-2, the feature points Q90 (coordinates x = −, y = −), Q100 (coordinates x = −, y =-), Q600 (coordinates x =-, y =-), etc. are extracted, and their coordinate positions, color information, etc. are output as feature point information.

本実施例では画像特徴にはコーナー特徴を用いるが、画像間の対応付けが可能な画像特徴であれば、本発明ではこの方法に限らない。小数画素精度で画像特徴を探索することで、特徴点位置の精度を高め、後述の処理の精度を向上することができる。
また、グリッド状に注目点を配置し各注目点の周囲の画像特徴を探索することで、仮に歪補正画像３２０内で追跡平面以外の領域に大きな画像特徴が偏在していた場合でも、歪補正画像３２０全体から満遍なく画像特徴を抽出することができ、追跡平面以外に偏ることなく、平面追跡を継続することができる。
本発明では画面全体から満遍なく特徴点を検出する方法であれば、それらを採用可能であり、上記方法に限らない。 In this embodiment, a corner feature is used as an image feature. However, the present invention is not limited to this method as long as the image feature can be associated with each other. By searching for image features with decimal pixel accuracy, the accuracy of feature point positions can be increased, and the accuracy of processing described later can be improved.
Further, by disposing attention points in a grid and searching for image features around each attention point, even if large image features are unevenly distributed in regions other than the tracking plane in the distortion correction image 320, distortion correction is performed. Image features can be extracted uniformly from the entire image 320, and plane tracking can be continued without being biased to other than the tracking plane.
In the present invention, any method can be used as long as it can detect feature points uniformly from the entire screen, and the present invention is not limited to the above method.

なお、ある矩形領域の近傍に、ビル３１の外縁等を示す特徴点がない時は、その矩形領域に関する特徴点情報は出力されない。このようにして得られた特徴点抽出データは、例えば、テーブル形式でまとめられ、記憶装置２１０等に保持される。   If there is no feature point indicating the outer edge of the building 31 in the vicinity of a certain rectangular area, the feature point information regarding the rectangular area is not output. The feature point extraction data obtained in this way is collected, for example, in a table format and held in the storage device 210 or the like.

［対応点探索部］
図７は、図３の対応点探索部３１０の処理の概念を示す図である。
対応点探索部３１０では、特徴点抽出部３００から歪補正画像と図７の（ａ−１）、（ａ−２）に示す様なＰ９０、Ｑ９０等の特徴点情報（特徴点抽出データ）３３０を入力し、時系列的に連続した二枚の歪補正画像３２０およびその特徴点情報３３０から、図７の（ｂ−１）、（ｂ−２）に示す様に、対応点Ｐｉ，Ｑｉの探索を行い、対応点情報２７０として平面追跡部２３０へと出力する。 [Corresponding point search part]
FIG. 7 is a diagram showing a concept of processing of the corresponding point search unit 310 of FIG.
In the corresponding point search unit 310, the distortion correction image from the feature point extraction unit 300 and feature point information (feature point extraction data) 330 such as P90 and Q90 as shown in (a-1) and (a-2) of FIG. From the two distortion corrected images 320 and their feature point information 330 that are continuous in time series, as shown in (b-1) and (b-2) of FIG. 7, the corresponding points Pi and Qi A search is performed, and the corresponding point information 270 is output to the plane tracking unit 230.

このとき、時系列上で連続した二枚の歪補正画像３２０のうち、前の歪補正画像３２０の特徴点と一致する次の歪補正画像３２０内の対応点をＰｙｒａｍｉｄＬＫ（ＬｕｃａｓＫａｎａｄｅ）法を用いて探索し、次の歪補正画像３２０の特徴点と一致する前の歪補正画像３２０内の対応点をＰｙｒａｍｉｄＬＫ法を用いて探索するように、両方の歪補正画像３２０から対応点を探索する。例えば、時系列的に連続してほぼ同一領域を撮像した２枚の撮影画像（２６０−２，２０６−１）の歪補正画像から、２つの画像間における同一点の対応関係を対応点として、図７の（ｂ−１）の特徴点Ｐ９０（座標ｘ＝−，ｙ＝−）と、図７の（ｂ−２）の特徴点Ｑ９０（座標ｘ＝−，ｙ＝−）とが、同じ道路の同じ縁に相当する対応点として抽出される。また、図７の（ｂ−１）のＰ４００（座標ｘ＝−，ｙ＝−）と、図７の（ｂ−２）の特徴点Ｑ４００（座標ｘ＝−，ｙ＝−）とが、同じビルの屋上の同じコーナーに相当する対応点として抽出される。これらの各対応点Ｐｉ，Ｑｉとそれらの位置情報等がテーブル化されたものが対応点情報２７０であり、記憶装置２１０等に保持される。   At this time, the corresponding point in the next distortion correction image 320 that coincides with the feature point of the previous distortion correction image 320 out of two distortion correction images 320 continuous in time series is used by the Pyramide LK (LucasKanade) method. A corresponding point is searched from both of the distortion corrected images 320 so that the corresponding point in the previous distortion corrected image 320 that matches the feature point of the next distortion corrected image 320 is searched using the PyramidLK method. For example, from the distortion-corrected images of two captured images (260-2, 206-1) obtained by capturing substantially the same region in time series, the correspondence of the same point between the two images is used as the corresponding point. The feature point P90 (coordinates x =-, y =-) in FIG. 7B-1 and the feature point Q90 (coordinates x =-, y =-) in FIG. 7B-2 are the same. It is extracted as a corresponding point corresponding to the same edge of the road. Further, P400 (coordinates x = −, y = −) in FIG. 7B-1 and the feature point Q400 (coordinates x = −, y = −) in FIG. 7B-2 are the same. It is extracted as a corresponding point corresponding to the same corner on the roof of the building. The corresponding points Pi, Qi and their position information are tabulated as corresponding point information 270, which is held in the storage device 210 or the like.

このように、時系列上で連続した両方の歪補正画像３２０から対応点Ｐｉ，Ｑｉを探索することで、後述の平面追跡処理が対応点情報２７０をベースとして行うことが出来る。
本実施の形態では、対応点の探索方法はＰｙｒａｍｉｄＬＫ法を使用しているが、本発明では二枚の画像間の対応関係を導出できる方法であれば、ＰｙｒａｍｉｄＬＫに限らない。 In this way, by searching for the corresponding points Pi and Qi from both the distortion corrected images 320 that are continuous in time series, the plane tracking process described later can be performed based on the corresponding point information 270.
In the present embodiment, the pyramid LK method is used as the corresponding point search method. However, in the present invention, the method is not limited to pyramid LK as long as the correspondence relationship between two images can be derived.

［平面追跡部］
図８は、図１の平面追跡部２３０の構成を示した図である。
平面追跡部２３０は、追跡平面内対応点抽出部５００と追跡平面幾何推定部５１０と追跡平面対応点更新部５２０から構成される。
追跡平面内対応点抽出部５００は、対応点検出部２２０から対応点情報２７０を、追跡平面対応点更新部５２０から前画像における追跡平面内特徴点情報５５０を入力し、対をなす画像間の平面追跡を行い、その判定結果３４０を画像更新部２４０に出力し、また、対をなす画像の追跡平面内に含まれる対応点の抽出を行い、その結果を追跡平面対応点情報５３０として追跡平面幾何推定部５１０に出力する。（追跡平面内対応点抽出部の詳細な動作は図９で説明する。）
追跡平面幾何推定部５１０では、追跡平面内対応点情報５３０を入力し、二枚の画像間の幾何関係を推定し、幾何関係推定結果２８０を追跡平面幾何学的関係結果として追跡平面対応点更新部５２０及び画像更新部２４０に出力する。
追跡平面対応点更新部５２０では、幾何推定結果２８０を入力とし、新規対応点から幾何関係推定結果２８０を満たす対応点を抜き出し、追跡平面内特徴点情報５５０として追跡平面内対応点抽出部５００に出力する（詳細な動作は、図１０で説明する）。 [Plane tracking part]
FIG. 8 is a diagram illustrating a configuration of the plane tracking unit 230 of FIG.
The plane tracking unit 230 includes a tracking plane corresponding point extraction unit 500, a tracking plane geometry estimation unit 510, and a tracking plane corresponding point update unit 520.
The tracking plane corresponding point extraction unit 500 receives the corresponding point information 270 from the corresponding point detection unit 220 and the tracking plane in-track feature point information 550 in the previous image from the tracking plane corresponding point update unit 520, so Plane tracking is performed, and the determination result 340 is output to the image update unit 240. Also, corresponding points included in the tracking plane of the paired images are extracted, and the result is used as tracking plane corresponding point information 530. The result is output to the geometric estimation unit 510. (The detailed operation of the tracking plane corresponding point extraction unit will be described with reference to FIG. 9.)
The tracking plane geometric estimation unit 510 receives tracking plane corresponding point information 530, estimates the geometric relationship between the two images, and updates the tracking plane corresponding point using the geometric relationship estimation result 280 as the tracking plane geometric relationship result. Output to the unit 520 and the image update unit 240.
The tracking plane corresponding point update unit 520 receives the geometric estimation result 280 as an input, extracts corresponding points satisfying the geometric relationship estimation result 280 from the new corresponding points, and supplies the tracking plane corresponding point extraction unit 500 as the tracking plane feature point information 550. (The detailed operation will be described with reference to FIG. 10).

このように、平面追跡部２３０は、時系列的に連続してほぼ同一領域を撮像した２枚の撮影画像（第一、第二の画像）の対応点の中から、既に時系列的に前の画像（第一の画像）内において追跡平面上に存在すると判定されている対応点を追跡対応点として抽出し、追跡対応点のみから２枚の撮影画像（第一、第二の画像）間の幾何関係を推定し、２枚の撮影画像間の全対応点のうち、前記幾何関係を満足する対応点を追跡平面上に存在する対応点と判定する。   As described above, the plane tracking unit 230 has already time-sequentially selected from the corresponding points of the two captured images (first and second images) obtained by capturing substantially the same region in time series. A corresponding point determined to exist on the tracking plane in the image (first image) is extracted as a tracking corresponding point, and between the two captured images (first and second images) only from the tracking corresponding point Then, among the corresponding points between the two captured images, the corresponding point satisfying the geometric relationship is determined as the corresponding point existing on the tracking plane.

本実施例の平面追跡部２３０によると、モザイク画像生成に必要な二枚の画像間の幾何関係推定を利用して特定平面の追跡を行うため、特定平面のための演算量は少なく実時間処理が可能となる。   According to the plane tracking unit 230 of the present embodiment, the tracking of the specific plane is performed using the geometric relationship estimation between the two images necessary for generating the mosaic image, so that the amount of calculation for the specific plane is small and real time processing is performed. Is possible.

［追跡平面内対応点抽出部］
図９は、図８の追跡平面内対応点抽出部５００の処理内容を示したフロー図である。追跡平面内対応点抽出部５００は、処理を開始したら平面内特徴点情報読込ステップ６００を実行する。この平面内特徴点情報読込ステップ６００では、前画像（第一の画像）で追跡平面内と判定されている特徴点Ｐ，Ｑの情報を追跡平面内特徴点情報５５０として読み込む。 [Tracking plane corresponding point extraction unit]
FIG. 9 is a flowchart showing the processing contents of the corresponding point extraction unit 500 in the tracking plane of FIG. The tracking-plane corresponding point extraction unit 500 executes the in-plane feature point information reading step 600 when the processing is started. In the in-plane feature point information reading step 600, information on the feature points P and Q determined to be in the tracking plane in the previous image (first image) is read as the in-track feature point information 550.

継続判定ステップ６１０では、追跡平面内特徴点情報５５０の特徴点Ｐ，Ｑの数が平面内特徴点数閾値以上かの判定を行い、閾値以上なら追跡判定結果３４０を真として画像更新部２４０に出力し、第二の画像に対して平面内対応点抽出ステップ６２０を実行し、閾値未満なら追跡判定結果３４０を偽として画像更新部２４０に出力し、新規平面選択ステップ６３０を実行する。   In the continuation determination step 610, it is determined whether the number of feature points P and Q in the tracking plane feature point information 550 is equal to or greater than the threshold value for the number of feature points in the plane. Then, the in-plane corresponding point extraction step 620 is executed for the second image, and if it is less than the threshold value, the tracking determination result 340 is output as false to the image update unit 240, and the new plane selection step 630 is executed.

これにより、時系列的に連続した二枚の画像間で平面追跡が実行出来ている間は、追跡平面内特徴点情報５５０の特徴点Ｐ，Ｑの数は十分な数存在するため、平面内対応点抽出ステップ６２０が実行され平面追跡が継続されるが、初回起動時もしくは前フレーム（第一の画像）で平面追跡に失敗した場合は、新規平面ステップ６３０を実行し、第一の画像として新たな平面を抽出して追跡対象とする。   Thus, while plane tracking can be executed between two images that are continuous in time series, there are a sufficient number of feature points P and Q in the tracking plane feature point information 550. The corresponding point extraction step 620 is executed and the plane tracking is continued. However, when the plane tracking fails at the first activation or in the previous frame (first image), the new plane step 630 is executed as the first image. A new plane is extracted and set as a tracking target.

平面内対応点抽出ステップ６２０では、対応点検出部２２０から入力した二枚の画像の対応点情報２７０のうち、追跡平面内特徴点情報５００と一致する特徴点を含む対応点Ｐｉ，Ｑｉを平面内対応点５３０として抽出し出力する。   In the in-plane corresponding point extraction step 620, the corresponding points Pi and Qi including the feature points matching the in-track feature point information 500 out of the corresponding point information 270 of the two images input from the corresponding point detection unit 220 are obtained as a plane. An internal corresponding point 530 is extracted and output.

一方で、新規平面選択ステップ６３０では、
初回動作の場合は、小型のＵＡＶは一般に平坦な地面など平地から離陸するため、最初の画像の撮影時には（第一の画像）の画面全体に平面である平地が撮影されていると仮定し、画面全体を追跡することを意図して、
また、前フレームで平面追跡に失敗した場合には、撮影対象が平地から台地や森林地帯に差し掛かったために画面内から追跡対象の平面が無くなったと仮定し、第一の画像として別の追跡平面を見つけることを意図して、
対応点検出部２２０から入力した対応点情報２７０の全てを平面内対応点５３０として出力する。 On the other hand, in the new plane selection step 630,
In the case of the first operation, since a small UAV generally takes off from a flat ground such as a flat ground, it is assumed that a flat ground plane is shot on the entire screen of the first image (first image), Intended to track the entire screen,
Also, if plane tracking fails in the previous frame, it is assumed that the plane to be tracked has disappeared from within the screen because the shooting target has reached the plateau or forest area from the flat ground, and another tracking plane is used as the first image. Intended to find
All of the corresponding point information 270 input from the corresponding point detection unit 220 is output as in-plane corresponding points 530.

なお、本実施例の新規平面選択ステップ６３０では地面平面を追跡することを想定した処理となっているが、用途に応じて処理を変えるべきであり、例えば、他の新規平面選択の方法として、道路面を検出してその面を追跡したり、平面追跡に失敗する度にユーザが追跡平面を再設定する場合も本発明の範囲内である。   In the new plane selection step 630 of the present embodiment, the process is assumed to track the ground plane. However, the process should be changed according to the application. For example, as another method of selecting a new plane, It is also within the scope of the present invention to detect a road surface and track the surface, or when the user resets the tracking plane every time plane tracking fails.

［追跡平面の幾何関係推定部］
図８の追跡平面幾何推定部５１０は、追跡平面内対応点抽出部５００から入力した平面内対応点情報５３０から追跡平面の幾何関係を推定し、幾何関係推定結果２８０を追跡平面対応点更新部５２０と画像更新部２４０に出力する。
本実施例の幾何関係推定では、ホモグラフィ推定とＲＡＮＳＡＣ（ＲＡＮｄｏｍＳＡｍｐｌｅＣｏｎｓｅｎｓｕｓ）法を使用する。これにより、平面追跡が実行出来ている場合の対応点探索ミスや移動物体、初回動作時や平面追跡に失敗した場合に次の追跡平面以外の対応点を外れ値として除外して射影変換に基づいた幾何関係を推定することができる。
なお、本発明における幾何関係推定は、ホモグラフィ推定とＲＡＮＳＡＣ法の組み合わせに限定されるものではなく、アフィン推定など他の幾何関係推定方法を使用する場合でも本発明の範囲内である。 [Tracking plane geometric relation estimation unit]
The tracking plane geometric estimation unit 510 in FIG. 8 estimates the geometric relationship of the tracking plane from the in-plane corresponding point information 530 input from the tracking plane corresponding point extraction unit 500, and the geometric relationship estimation result 280 is used as the tracking plane corresponding point update unit. 520 and the image update unit 240.
In the geometric relationship estimation of the present embodiment, homography estimation and RANSAC (RANdomSampleConsensus) method are used. Based on projective transformation, this method excludes corresponding points other than the next tracking plane as outliers when a plane tracking can be performed, corresponding point search mistakes or moving objects, and when the initial operation or plane tracking fails. Geometric relationships can be estimated.
The geometric relationship estimation in the present invention is not limited to the combination of the homography estimation and the RANSAC method, and is within the scope of the present invention even when other geometric relationship estimation methods such as affine estimation are used.

［追跡平面対応点更新部］
図８の追跡平面対応点更新部５２０では、対応点探索部から入力した全ての対応点情報（Ｐｉ，Ｑｉ）２７０に対して処理を行う。
図１０は、追跡平面対応点更新部５２０で対応点情報２７０毎に実行される処理内容を示したフロー図である。 [Tracking plane corresponding point update unit]
The tracking plane corresponding point update unit 520 in FIG. 8 performs processing on all corresponding point information (Pi, Qi) 270 input from the corresponding point search unit.
FIG. 10 is a flowchart showing the processing contents executed for each corresponding point information 270 by the tracking plane corresponding point updating unit 520.

追跡平面対応点更新部５２０は処理を開始したら、まず座標変換ステップ７００を実行する。座標変換ステップ７００では、対応点探索部２２０から入力した対応点情報（Ｐｉ，Ｑｉ）２７０のうち次画像の特徴点座標を追跡平面幾何推定部５１０から入力した追跡平面の幾何関係推定結果２８０に基づき座標変換を行い、仮に追跡平面上に存在すると仮定した場合の前画像での対応座標を求め、座標差分ステップ７１０を実行する。座標差分ステップ７１０では、対応点情報２７０の前画像での特徴点座標と対応座標の距離を対応座標間距離（ΔＰ，ΔＱ）として算出し、差分判定ステップ７２０を実行する。   When the tracking plane corresponding point update unit 520 starts the processing, first, the coordinate conversion step 700 is executed. In the coordinate conversion step 700, the feature point coordinates of the next image among the corresponding point information (Pi, Qi) 270 input from the corresponding point search unit 220 are added to the tracking plane geometric relationship estimation result 280 input from the tracking plane geometric estimation unit 510. Coordinate conversion is performed based on this, and the corresponding coordinates in the previous image when it is assumed to exist on the tracking plane are obtained, and the coordinate difference step 710 is executed. In the coordinate difference step 710, the distance between the feature point coordinate and the corresponding coordinate in the previous image of the corresponding point information 270 is calculated as the distance between corresponding coordinates (ΔP, ΔQ), and the difference determination step 720 is executed.

差分判定ステップ７２０では、対応座標間距離が対応座標距離閾値（ΔＺ）以下であれば追跡平面内対応点追加ステップ７３０を実行し、対応座標間距離（ΔＰ，ΔＱ）が座標差分閾値よりも大きければこの対応点情報２７０に対する処理フローを終了する。   In the difference determination step 720, if the corresponding inter-coordinate distance is equal to or smaller than the corresponding coordinate distance threshold (ΔZ), a corresponding point in tracking plane adding step 730 is executed, and the corresponding inter-coordinate distance (ΔP, ΔQ) is larger than the coordinate difference threshold. For example, the processing flow for the corresponding point information 270 ends.

例えば、図７の（ｂ−１）の特徴点Ｐ９０と、図７の（ｂ−２）の特徴点Ｑ９０とは、カメラから遠い停止物体、すなわち平坦な地面上の道路の同じ縁に相当する対応点であり、点Ｐ９０とＱ９０の対応座標間距離（ΔＰ９０）は、対応座標距離閾値（ΔＺ）以下となり、幾何関係を満足する対応点となる。一方、図７の（ｂ−１）の特徴点Ｐ４００と、図７の（ｂ−２）の特徴点Ｑ４００とは、カメラから近い停止物体、すなわち高いビルの屋上の同じコーナーに相当する対応点であり、点Ｐ４００とＱ４００の対応座標間距離（ΔＰ４００）は、対応座標距離閾値（ΔＺ）よりも大きく、幾何関係を満足しない対応点となる。   For example, the feature point P90 in (b-1) in FIG. 7 and the feature point Q90 in (b-2) in FIG. 7 correspond to the same edge of a stop object far from the camera, that is, a road on a flat ground. The corresponding coordinate distance between the points P90 and Q90 (ΔP90) is equal to or less than the corresponding coordinate distance threshold (ΔZ), and the corresponding point satisfies the geometric relationship. On the other hand, the feature point P400 in (b-1) in FIG. 7 and the feature point Q400 in (b-2) in FIG. 7 are corresponding points corresponding to the same corner on the top of a stationary object close to the camera, that is, a high building. The distance between the corresponding coordinates (ΔP400) between the points P400 and Q400 is larger than the corresponding coordinate distance threshold (ΔZ), and is a corresponding point that does not satisfy the geometric relationship.

ΔＰ９０（＝Ｐ９０−Ｑ９０）＜ΔＺ
ΔＰ４００（＝Ｐ４００−Ｑ４００）＞ΔＺ
従って、特徴点Ｐ９０とＱ９０は、追跡平面内対応点追加ステップ７３０の対象になるが、点Ｐ４００とＱ４００は、追跡平面内対応点追加ステップ７３０の対象とならない。換言すると、この例では、平坦な地面が特定平面となり、この特定平面上の各特徴点は追跡平面内対応点となるが、高いビルの屋上の平面は特定平面とはならず、屋上の各特徴点は追跡平面内対応点にならない。一方、高さの異なる高層ビル群が多数存在する市街地であっても、高層ビル群の間に連続した平坦な道路がある場合には、この道路を特定平面とし、道路上の各特徴点を追跡平面内対応点とする。 ΔP90 (= P90−Q90) <ΔZ
ΔP400 (= P400−Q400)> ΔZ
Therefore, the feature points P90 and Q90 are the targets of the in-track corresponding point adding step 730, but the points P400 and Q400 are not the targets of the in-track corresponding point adding step 730. In other words, in this example, the flat ground is a specific plane, and each feature point on the specific plane is a corresponding point in the tracking plane, but the rooftop plane of a high building is not a specific plane, The feature points do not become corresponding points in the tracking plane. On the other hand, even in an urban area where there are many high-rise buildings with different heights, if there is a continuous flat road between the high-rise buildings, this road is designated as a specific plane, and each feature point on the road is The corresponding point in the tracking plane.

追跡平面内対応点追加ステップ７３０では、追跡平面内対応点に対応点情報２７０の次画像における特徴点情報を追跡平面内特徴点情報５５０に追加して、本対応点に対する処理フローを終了する。追跡平面対応点更新部５２０は、全ての対応点情報２７０に対する処理が終了したら、平面内特徴点情報５５０を追跡平面内対応点抽出部５００に出力する。   In the tracking plane corresponding point adding step 730, the feature point information in the next image of the corresponding point information 270 is added to the tracking plane corresponding point information 550 as the corresponding point in the tracking plane, and the processing flow for this corresponding point is ended. The tracking plane corresponding point update unit 520 outputs the in-plane feature point information 550 to the tracking plane corresponding point extraction unit 500 when the processing for all the corresponding point information 270 is completed.

［画像更新部］
図１１は、画像更新部２４０の構成の概要を示した図である。
画像更新部２４０は、モザイク画像更新部８００とフレームバッファ８１０によって構成される。モザイク画像更新部８００は、幾何関係に基づいて追跡平面が一致する様に２枚の撮影画像を１枚のモザイク画像に変形・重畳することで、モザイク画像２９０を更新する。すなわち、モザイク画像更新部８００は、平面追跡部２３０の出力３４０と歪補正画像３２０と幾何関係推定結果２８０と、フレームバッファ８１０からのモザイク画像２９０を入力として、位置姿勢情報３５０と更新したモザイク画像２９０を表示装置２５０に出力し、更新したモザイク画像をフレームバッファ８１０に書き込む。 [Image update unit]
FIG. 11 is a diagram showing an outline of the configuration of the image update unit 240.
The image update unit 240 includes a mosaic image update unit 800 and a frame buffer 810. The mosaic image update unit 800 updates the mosaic image 290 by transforming and superimposing two captured images on one mosaic image so that the tracking planes match based on the geometric relationship. That is, the mosaic image update unit 800 receives the output 340 of the plane tracking unit 230, the distortion correction image 320, the geometric relationship estimation result 280, and the mosaic image 290 from the frame buffer 810 as input, and the updated mosaic image with the position and orientation information 350. 290 is output to the display device 250, and the updated mosaic image is written into the frame buffer 810.

図１２は、画像更新部２４０の処理内容を示したフロー図である。
モザイク画像更新部８００は、処理を開始したらまず更新判定ステップ９００を実行する。更新判定ステップ９００では、平面追跡部２３０から入力した追跡判定結果３４０から、追跡判定結果３４０が真の場合は幾何関係積算ステップ９１０を、偽の場合はモザイク画像クリアステップ９５０を実行する。これにより、平面追跡が失敗した場合は、その都度モザイク画像２９０を生成し直すため、追跡平面の切り替わりによるモザイク画像の歪を抑えることができる。 FIG. 12 is a flowchart showing the processing contents of the image update unit 240.
When the mosaic image update unit 800 starts processing, the mosaic image update unit 800 first executes an update determination step 900. In the update determination step 900, from the tracking determination result 340 input from the plane tracking unit 230, when the tracking determination result 340 is true, the geometric relationship integration step 910 is executed, and when it is false, the mosaic image clear step 950 is executed. Thereby, when the plane tracking fails, the mosaic image 290 is generated again each time, so that distortion of the mosaic image due to switching of the tracking plane can be suppressed.

幾何関係積算ステップ９１０では、平面追跡部２３０から入力した幾何関係推定結果３４０を絶対幾何関係に積算して絶対幾何関係を更新し、画像変形ステップ９２０を実行する。絶対幾何関係は、動作開始時に単位行列に初期化されるものとする。   In the geometric relationship integration step 910, the geometric relationship estimation result 340 input from the plane tracking unit 230 is integrated into the absolute geometric relationship to update the absolute geometric relationship, and the image transformation step 920 is executed. The absolute geometric relationship is initialized to the unit matrix at the start of the operation.

画像変形ステップ９２０では、平面追跡部２３０から入力した歪補正画像３２０を絶対幾何関係に基づいて変形し、変形撮影画像を生成し、モザイク画像重畳ステップ９３０を実行する。モザイク画像重畳ステップ９３０では、フレームバッファ８１０から読み込んだモザイク画像２９０に変形撮影画像を重畳してモザイク画像の更新を行い、モザイク画像更新ステップ９４０を実行する。   In the image deformation step 920, the distortion correction image 320 input from the plane tracking unit 230 is deformed based on the absolute geometric relationship, a deformed captured image is generated, and the mosaic image superimposing step 930 is executed. In the mosaic image superimposing step 930, the mosaic image is updated by superimposing the modified captured image on the mosaic image 290 read from the frame buffer 810, and the mosaic image updating step 940 is executed.

モザイク画像更新ステップ９４０は、更新したモザイク画像２９０をフレームバッファ８１０に書き出し、モザイク画像更新部８００の処理を終了する。モザイク画像クリアステップ９５０では、フレームバッファ８１０上のモザイク画像を消去し、絶対幾何関係を単位行列に、位置姿勢情報３５０を初期化しモザイク画像更新部８００の処理を終了する。位置姿勢推定ステップ９６０では、絶対幾何関係からカメラの位置姿勢推定を行い、計算した位置姿勢情報３５０を出力する。   The mosaic image update step 940 writes the updated mosaic image 290 to the frame buffer 810, and ends the processing of the mosaic image update unit 800. In the mosaic image clear step 950, the mosaic image on the frame buffer 810 is deleted, the position / orientation information 350 is initialized with the absolute geometric relationship as the unit matrix, and the processing of the mosaic image update unit 800 is terminated. In the position / orientation estimation step 960, the position / orientation of the camera is estimated from the absolute geometric relationship, and the calculated position / orientation information 350 is output.

更新されたモザイク画像２９０は、２枚の画像の一方に、他方の画像が上書きされたものとなる。モザイク画像生成装置の画像更新部２４０の出力は、表示装置２５０や、再生装置１５０等に提供される。これにより、ユーザへの実時間でのモザイク画像の提示やモザイク画像生成状況の動的な飛行計画へのフィードバックなどが行える。   The updated mosaic image 290 is obtained by overwriting one of the two images with the other image. The output of the image update unit 240 of the mosaic image generation device is provided to the display device 250, the playback device 150, and the like. As a result, it is possible to present the mosaic image to the user in real time and to feed back the mosaic image generation status to the dynamic flight plan.

図１３は、分かりやすさのために、二枚の画像を透過合成して示した、本実施例によるモザイク画像生成結果の例を示すものである。   FIG. 13 shows an example of a mosaic image generation result according to the present embodiment, in which two images are transparently combined for easy understanding.

本発明によると、図１３の（ａ−１）、（ａ−２）の様に、撮影対象に平面仮定が成立しない程に奥行き方向に対して大きな起伏（３１、３２）のある場合でも、時系列上で連続した二枚の撮影画像内の特定平面（例えば平坦な地面４１、４２や平坦な道路４５）を追跡し、追跡平面で撮影画像同士を重ね合せ、繋ぎ合せることにより、別途位置・姿勢センサを使用することなく、図１３（ｂ）の様に地面平面に歪の無い高精度なモザイク画像２９０を実時間で生成することができる。さらに、２枚の画像を上書きする場合でも、図１３（ｃ１）のように、第二の画像を上にしたモザイク画像や、（ｃ２）のように、第一の画像上にしたモザイク画像を生成することもできる。   According to the present invention, as shown in (a-1) and (a-2) of FIG. 13, even when there is a large undulation (31, 32) in the depth direction so that the plane assumption is not satisfied in the imaging target, By tracking a specific plane (for example, flat grounds 41 and 42 and a flat road 45) in two captured images that are continuous in time series, the captured images are overlapped and connected to each other on the tracking plane. Without using an attitude sensor, a highly accurate mosaic image 290 without distortion on the ground plane can be generated in real time as shown in FIG. 13B. Furthermore, even when two images are overwritten, a mosaic image with the second image up as shown in FIG. 13 (c1) or a mosaic image on the first image as shown in (c2). It can also be generated.

また、同一領域を撮像した２枚の撮像画像（ａ−１）、（ａ−２）から画像同士の幾何関係を推定し、その幾何関係推定過程で同時に特定平面（例えば平坦な地面や平坦な道路）の追跡を行うため、位置姿勢センサを使用することなく、少ない演算量で実時間にモザイク画像を生成できる。
また、撮影画像内の追跡平面から推定した２枚の画像同士の幾何関係からカメラの位置姿勢推定を行うことで、追跡平面に対する位置姿勢推定を高精度に行うことができる。 In addition, the geometric relationship between the images is estimated from the two captured images (a-1) and (a-2) obtained by imaging the same region, and at the same time in the geometric relationship estimation process, a specific plane (for example, flat ground or flat Therefore, a mosaic image can be generated in real time with a small amount of calculation without using a position and orientation sensor.
Further, by estimating the position and orientation of the camera from the geometric relationship between the two images estimated from the tracking plane in the captured image, the position and orientation can be estimated with respect to the tracking plane with high accuracy.

以下、本発明の第２の実施例に係るモザイク画像生成装置について、図面を参照しながら説明する。第１の実施例では、撮像対象の地面が比較的平坦であることを想定したが、撮像対象には、地面が起伏に富んでおり広い面積の平坦面を確保し難い場合もある。第２の実施例はこのような状況にも対応できるモザイク画像生成装置を提供するものである。
なお本実施例における装置は、平面追跡部以外は実施例１と同じため説明を省く。 A mosaic image generating apparatus according to the second embodiment of the present invention will be described below with reference to the drawings. In the first embodiment, it is assumed that the ground of the imaging target is relatively flat. However, there are cases where it is difficult to secure a flat surface with a large area because the ground is rich in undulations. The second embodiment provides a mosaic image generating apparatus that can cope with such a situation.
Since the apparatus in the present embodiment is the same as that of the first embodiment except for the plane tracking unit, the description thereof is omitted.

［平面追跡部］
図１４は、本実施例における平面追跡部２３０の構成を示した図である。
平面追跡部は、複数平面抽出部１０００と追跡平面判定部１０１０によって構成される。
複数平面抽出部１０００では、対応点検出部２２０から対応点情報２７０を、複数平面分の幾何関係推定結果とその幾何関係に合致する対応点の組となる平面推定結果である複数平面推定結果１０２０を生成し追跡平面判定部１０１０に出力する（詳細は図１６で説明）。 [Plane tracking part]
FIG. 14 is a diagram illustrating a configuration of the plane tracking unit 230 in the present embodiment.
The plane tracking unit includes a plurality of plane extraction unit 1000 and a tracking plane determination unit 1010.
In the multi-plane extraction unit 1000, the corresponding point information 270 from the corresponding point detection unit 220 is used as the multi-plane estimation result 1020, which is a plane estimation result that is a set of geometric relationship estimation results for a plurality of planes and corresponding points matching the geometric relationship. Is output to the tracking plane determination unit 1010 (details will be described with reference to FIG. 16).

追跡平面判定部１０１０では、複数平面抽出部１０００から入力した複数平面推定結果１０２０の中から追跡平面に合致する特定平面を特定し、その特定平面の幾何関係を幾何関係推定結果２８０として、追跡判定結果３４０を画像更新部２４０に出力する（詳細は図１７で説明）。   The tracking plane determination unit 1010 specifies a specific plane that matches the tracking plane from the plurality of plane estimation results 1020 input from the plurality of plane extraction unit 1000, and uses the geometric relationship of the specific plane as the geometric relationship estimation result 280 for tracking determination. The result 340 is output to the image update unit 240 (details will be described with reference to FIG. 17).

［複数平面抽出部］
図１５は、複数平面抽出部１０００の処理概念を示した図である。
図１５の（ａ−１，ａ−２）の様に、対応点検出部２４０から２枚の撮影画像の対応点情報２７０が与えられた場合、複数平面抽出部１０００により、図１５の（ｂ）では地面平面１３００とビル平面１３１０の様に、同じ幾何関係が推定される対応点群の領域毎に複数の平面推定結果として特定平面を組分けする。例えば、対応点Ｐ９０，Ｑ９０が含まれる地面平面１３００において、応点Ｐ９０、Ｑ９０間の移動量をΔＰＱ９０とすると、地面平面１３００の他の対応点間の移動量もΔＰＱ９０とほぼ同じ値になっている。すなわち、地面平面１３００内では、同じ幾何関係が推定される。一方、地面平面１３００よりも高い位置（カメラから近い距離）に有るビルの屋上の平面１３１０において、対対応点Ｐ４００、Ｑ４００間の移動量をΔＰＱ４００とすると、ΔＰＱ４００はΔＰＱ９０よりも大きいものの、屋上の平面１３１０の各対応点間の移動量もΔＰＱ４００とほぼ同じ値になっている。すなわち、屋上の平面１３１０内では、同じ幾何関係が推定される。このように、２枚の撮影画像の画面内には、対応する２つの特定平面が存在する。 [Multiple plane extraction unit]
FIG. 15 is a diagram illustrating a processing concept of the multiple plane extraction unit 1000.
As shown in (a-1, a-2) of FIG. 15, when the corresponding point information 270 of the two photographed images is given from the corresponding point detection unit 240, the multiple plane extraction unit 1000 causes the ), Like the ground plane 1300 and the building plane 1310, a specific plane is grouped as a plurality of plane estimation results for each region of the corresponding point group in which the same geometric relationship is estimated. For example, in the ground plane 1300 including the corresponding points P90 and Q90, if the amount of movement between the corresponding points P90 and Q90 is ΔPQ90, the amount of movement between the other corresponding points of the ground plane 1300 is almost the same value as ΔPQ90. Yes. That is, in the ground plane 1300, the same geometric relationship is estimated. On the other hand, if the amount of movement between the corresponding points P400 and Q400 is ΔPQ400 on the flat surface 1310 of the building that is higher than the ground plane 1300 (closer to the camera), ΔPQ400 is larger than ΔPQ90, but the rooftop The amount of movement between corresponding points on the plane 1310 is also substantially the same as ΔPQ400. That is, the same geometric relationship is estimated in the rooftop plane 1310. Thus, there are two corresponding specific planes in the screen of the two captured images.

図１６は、本実施例における複数平面抽出部１０００の処理フローを示した図である。複数平面抽出部１０００では、画面内に複数の特定平面が存在すると仮定して、ＲＡＮＳＡＣ法を用いた幾何関係推定を複数回繰り返すことによって、対応点検出部２２０から入力した対応点情報２７０から、幾何関係推定結果とその幾何関係に合致する対応点の組である平面推定結果を複数平面分求め、これら複数の平面推定結果を複数平面推定結果１０２０として出力する。複数平面抽出部１０００は、平面推定結果１０２０として、例えば、抽出された特定平面毎に、対対応点Ｐ、Ｑの座標等を記録したテーブルを生成する。   FIG. 16 is a diagram illustrating a processing flow of the multiple plane extraction unit 1000 in the present embodiment. In the multi-plane extraction unit 1000, assuming that there are a plurality of specific planes in the screen, the geometric relationship estimation using the RANSAC method is repeated a plurality of times, so that the corresponding point information 270 input from the corresponding point detection unit 220 is A plane estimation result which is a set of geometric relationship estimation results and corresponding points matching the geometric relationship is obtained for a plurality of planes, and the plurality of plane estimation results are output as a plurality of plane estimation results 1020. The multiple plane extraction unit 1000 generates, as the plane estimation result 1020, for example, a table that records the coordinates of the corresponding points P and Q for each extracted specific plane.

複数平面抽出部１０００は処理を開始したらまず対応点読込ステップ１１００を実行する。対応点読込ステップ１１００では、対応点検出部２４０から対応点情報２７０を読み込み、幾何関係推定対応点として幾何関係推定ステップ１１１０を実行する。
幾何関係推定ステップ１１１０では、幾何関係推定対応点からホモグラフィ推定とＲＡＮＳＡＣ法を使用して幾何関係の推定を行い、幾何関係推定結果とその幾何関係に合致する対応点の組を平面推定結果として、終了判定ステップ１１２０を実行する。
この際、画面内に複数の特定平面が存在すると仮定した場合、ＲＡＮＳＡＣ法により最も合致する対応点数の多い特定平面上の幾何関係が推定結果として求められる。 When the multi-plane extraction unit 1000 starts the processing, first, the corresponding point reading step 1100 is executed. In the corresponding point reading step 1100, the corresponding point information 270 is read from the corresponding point detection unit 240, and the geometric relationship estimation step 1110 is executed as the geometric relationship estimation corresponding point.
In the geometric relationship estimation step 1110, the geometric relationship is estimated from the geometric relationship estimation corresponding points using the homography estimation and the RANSAC method, and the set of the geometric relationship estimation result and the corresponding points matching the geometric relationship is obtained as the plane estimation result. Then, the end determination step 1120 is executed.
At this time, if it is assumed that there are a plurality of specific planes in the screen, the geometric relationship on the specific plane with the most matching points with the most matching number is obtained as an estimation result by the RANSAC method.

なお、本発明における幾何関係推定はホモグラフィ推定とＲＡＮＳＡＣ法の組み合わせに限定されるものではなく、アフィン推定など他の幾何関係推定方法を使用する場合でも、推定結果の特定平面以外に含まれる対応点が外れ値として除去出来る方法であれば本発明の範囲内である。   Note that the geometric relationship estimation in the present invention is not limited to the combination of the homography estimation and the RANSAC method, and even when other geometric relationship estimation methods such as affine estimation are used, the correspondence included in the estimation results other than the specific plane Any method capable of removing points as outliers is within the scope of the present invention.

終了判定ステップ１１２０では、幾何関係推定ステップ１１１０で求まった平面推定結果の対応点数が対応点数閾値以下になった場合、もしくは終了判定が一定回数実行された場合、または幾何関係推定対応点の対応点数から平面推定結果の対応点数を引いた数が残対応点数閾値以下になった場合に複数平面抽出部１０００の処理を終了し、そうでない場合は対応点更新ステップ１１３０を実行する。   In the end determination step 1120, when the number of corresponding points of the plane estimation result obtained in the geometric relationship estimation step 1110 is equal to or less than the corresponding point number threshold, or when the end determination is executed a certain number of times, or the corresponding points of the geometric relationship estimation corresponding points. If the number obtained by subtracting the number of corresponding points in the plane estimation result is equal to or less than the threshold value of the remaining corresponding points, the process of the multi-plane extracting unit 1000 is terminated. Otherwise, the corresponding point update step 1130 is executed.

対応点更新ステップ１１３０では、複数平面推定結果１０２０に平面推定結果を追加し、幾何関係推定対応点から平面推定結果の対応点を除いたものを新たな幾何関係推定対応点として幾何関係ステップ１１１０を実行する。   In the corresponding point update step 1130, the plane estimation result is added to the multi-plane estimation result 1020, and the geometric relationship step 1110 is defined as a new geometric relationship estimation corresponding point obtained by removing the corresponding point of the plane estimation result from the geometric relationship estimation corresponding point. Run.

［追跡平面判定部］
図１４に戻って、追跡平面判定部１０１０では、複数平面抽出部１０００から入力した複数平面推定結果１０２０の中から、前画像のモザイク画像生成処理時に追跡平面内と判定された特徴点の座標を含む特定平面を追跡平面と判定することで、追跡平面に合致する平面を特定し、その特定平面の幾何関係を幾何関係推定結果２８０として、追跡判定結果３４０を画像更新部２４０に出力する。 [Tracking plane judgment unit]
Returning to FIG. 14, in the tracking plane determination unit 1010, the coordinates of the feature points determined to be in the tracking plane during the mosaic image generation process of the previous image from the multiple plane estimation result 1020 input from the multiple plane extraction unit 1000 are obtained. By determining the included specific plane as the tracking plane, the plane that matches the tracking plane is specified, and the tracking determination result 340 is output to the image update unit 240 as the geometric relationship estimation result 280 of the specific plane.

図１７は、追跡平面判定部１０１０の処理内容を示したフロー図である。
追跡平面判定部１０１０は、処理を開始したら、追跡平面合致特徴点数を０に初期化して、まず平面推定読込ステップ１２００を実行する。平面ステップ読込ステップ１２００では、複数平面抽出部１０００から入力した複数平面推定結果１０２０の中から平面推定結果を一平面分読み込み、合致特徴点数カウントステップ１２１０を実行する。合致特徴点数カウントステップ１２１０では、前画像のモザイク画像生成処理において特定平面と推定された対応点の前画像の特徴点情報である平面内特徴点情報と、平面推定結果に含まれる対応点のうち前画像の特徴点座標との距離が同一座標閾値以下となる特徴点数をカウントして、合致特徴点数として追跡平面判定ステップ１２２０を実行する。 FIG. 17 is a flowchart showing the processing contents of the tracking plane determination unit 1010.
When the tracking plane determination unit 1010 starts processing, it initializes the number of tracking plane matching feature points to 0, and first executes a plane estimation reading step 1200. In a plane step reading step 1200, a plane estimation result is read for one plane from the plurality of plane estimation results 1020 input from the plurality of plane extraction unit 1000, and a matching feature point count step 1210 is executed. In the matching feature point count step 1210, in-plane feature point information, which is feature point information of the previous image of the corresponding point estimated as the specific plane in the mosaic image generation processing of the previous image, and the corresponding points included in the plane estimation result The number of feature points whose distance from the feature point coordinates of the previous image is equal to or less than the same coordinate threshold is counted, and the tracking plane determination step 1220 is executed as the number of matching feature points.

追跡平面判定ステップ１２２０では、合致特徴点数が追跡平面合致特徴点数以上の場合は追跡平面更新ステップ１２３０を、そうでない場合は、終了判定ステップ１２４０を実行する。追跡平面更新ステップ１２３０では、追跡平面合致特徴点数に合致特徴点数を代入して、幾何関係推定結果にその平面推定結果の幾何関係を設定し、終了判定ステップ１２４０を実行する。終了判定ステップ１２４０では、複数平面推定結果の全ての平面推定結果に対する評価が完了した場合には追跡成否判定ステップ１２５０を、そうでない場合には次の平面推定結果に対する平面推定読込ステップ１２００を実行する。   In the tracking plane determination step 1220, if the number of matching feature points is equal to or greater than the number of tracking plane matching feature points, a tracking plane update step 1230 is executed, and if not, an end determination step 1240 is executed. In tracking plane update step 1230, the number of matching feature points is substituted into the number of tracking plane matching feature points, the geometric relationship of the plane estimation result is set in the geometric relationship estimation result, and end determination step 1240 is executed. In the end determination step 1240, the tracking success / failure determination step 1250 is executed when the evaluation for all the plane estimation results of the plurality of plane estimation results is completed, and the plane estimation reading step 1200 for the next plane estimation result is executed otherwise. .

追跡成否判定ステップ１２５０では、幾何関係を幾何関係推定結果２８０として出力し、その幾何関係を含んだ平面推定結果の対応点数が成否判定閾値以上の場合は追跡判定結果３４０を真として、それ以外の場合は偽として出力する。   In the tracking success / failure determination step 1250, the geometric relationship is output as a geometric relationship estimation result 280. If the number of corresponding points of the plane estimation result including the geometric relationship is equal to or greater than the success / failure determination threshold, the tracking determination result 340 is set to be true. In this case, it is output as false.

モザイク画像生成装置の画像更新部２４０の出力は、表示装置２５０や、再生装置１５０等に提供される。これにより、ユーザへの実時間でのモザイク画像の提示やモザイク画像生成状況の動的な飛行計画へのフィードバックなどが行える。   The output of the image update unit 240 of the mosaic image generation device is provided to the display device 250, the playback device 150, and the like. As a result, it is possible to present the mosaic image to the user in real time and to feed back the mosaic image generation status to the dynamic flight plan.

本実施例によると、撮影対象に平面仮定が成立しない程に奥行き方向に対して大きな起伏のある場合でも、撮影画像内の特定平面を追跡し、追跡平面で撮影画像同士を重ね合せることにより、別途位置・姿勢センサを使用することなく、地面平面に歪の無い高精度なモザイク画像を実時間で生成することができる。   According to the present embodiment, even when there is a large undulation in the depth direction so that the plane assumption is not satisfied for the shooting target, by tracking a specific plane in the shot image, by superimposing the shot images on the tracking plane, Without using a separate position / posture sensor, a highly accurate mosaic image without distortion on the ground plane can be generated in real time.

また、同一領域を撮像した時系列上で連続した２枚の撮像画像から、画像同士の幾何関係を推定し、その幾何関係推定過程で同時に特定平面の追跡を行うため、位置姿勢センサを使用することなく、少ない演算量で実時間にモザイク画像を生成できる。   In addition, a position and orientation sensor is used to estimate the geometric relationship between images from two consecutive images captured in time series of the same area, and to track a specific plane simultaneously in the geometric relationship estimation process. Therefore, a mosaic image can be generated in real time with a small amount of calculation.

１０ 撮影地点、２０ 撮影地点、３０ カメラから近い停止物体、３１ カメラから近い停止物体、３２ カメラから近い停止物体、４０ カメラから遠い停止物体、４１ カメラから遠い停止物体、４２ カメラから遠い停止物体、１００ 航空機、１１０ 地上局、２００ モザイク画像生成装置、２１０ カメラ、２２０ 対応点検出部、２３０ 平面追跡部、２４０ 画像更新部、２５０ 表示装置、２６０ 撮影画像、２７０ 対応点情報、２８０ 幾何関係推定結果、２９０ モザイク画像、３００ 特徴点抽出部、３１０ 対応点探索部、３２０ 歪補正画像、３３０ 特徴点情報、３４０ 追跡判定結果、３５０ 位置姿勢情報、４００ 画像読込ステップ、４１０ レンズ歪補正ステップ、４２０ 注目点配置ステップ、４３０ 特徴点抽出ステップ、５００ 追跡平面内対応点抽出部、５１０ 追跡平面幾何推定部、５２０ 追跡平面対応点更新部、５３０ 追跡平面対応点情報、５５０ 追跡平面内特徴点情報、６００ 平面内特徴点情報読込ステップ、６１０ 継続判定ステップ、６２０ 平面内対応点抽出ステップ、６３０ 新規平面選択ステップ、７００ 座標変換ステップ、７１０ 座標差分ステップ、７２０ 差分判定ステップ、７３０ 追跡平面内対応点追加ステップ、８００ モザイク画像更新部、８１０ フレームバッファ、９００ 更新判定ステップ、９１０ 幾何関係積算ステップ、９２０ 画像変形ステップ、９３０ モザイク画像重畳ステップ、９４０ モザイク画像更新ステップ、９５０ モザイク画像クリアステップ、１０００ 複数平面抽出部、１０１０ 追跡平面判定部、１０２０ 複数平面推定結果、１１００ 対応点読込ステップ、１１１０ 幾何関係推定ステップ、１１２０ 終了判定ステップ、１１３０ 対応点更新ステップ、１２００ 平面ステップ読込ステップ、１２１０ 合致特徴点数カウントステップ、１２２０ 追跡平面判定ステップ、１２３０ 追跡平面更新ステップ、１２４０ 終了判定ステップ、１２５０ 追跡成否判定ステップ、１３００ 地面平面、１３１０ ビル平面。 10 shooting point, 20 shooting point, 30 stop object near camera, 31 stop object near camera, 32 stop object near camera, 40 stop object far from camera, 41 stop object far from camera, 42 stop object far from camera, 100 aircraft, 110 ground station, 200 mosaic image generation device, 210 camera, 220 corresponding point detection unit, 230 plane tracking unit, 240 image update unit, 250 display device, 260 captured image, 270 corresponding point information, 280 geometric relationship estimation result 290 mosaic image, 300 feature point extraction unit, 310 corresponding point search unit, 320 distortion correction image, 330 feature point information, 340 tracking determination result, 350 position and orientation information, 400 image reading step, 410 lens distortion correction step, 420 Point placement step, 430 Feature point extraction Step, 500 tracking plane corresponding point extraction unit, 510 tracking plane geometry estimation unit, 520 tracking plane corresponding point update unit, 530 tracking plane corresponding point information, 550 tracking plane feature point information, 600 in-plane feature point information reading step, 610 continuation determination step, 620 in-plane corresponding point extraction step, 630 new plane selection step, 700 coordinate conversion step, 710 coordinate difference step, 720 difference determination step, 730 tracking in-plane corresponding point addition step, 800 mosaic image update unit, 810 Frame buffer, 900 update determination step, 910 geometric relationship integration step, 920 image transformation step, 930 mosaic image superimposition step, 940 mosaic image update step, 950 mosaic image clear step, 1000 multiple plane extraction unit, 1010 tracking Surface determination unit, 1020 Multi-plane estimation result, 1100 Corresponding point reading step, 1110 Geometric relationship estimation step, 1120 End determination step, 1130 Corresponding point update step, 1200 Plane step reading step, 1210 Matching feature point count step, 1220 Tracking plane determination Step 1230 Tracking plane update step 1240 End determination step 1250 Tracking success / failure determination step 1300 Ground plane 1310 Building plane

Claims (15)

時系列的に連続して同一領域を撮像した複数枚の画像からモザイク画像を生成するモザイク画像生成装置であって、
前記時系列的に連続した２枚の画像から、該画像内で重複した領域内の同一点の組である対応点を求める対応点検出手段と、
前記複数枚の画像において特定平面を追跡する平面追跡手段と、
画像更新手段とを備え、
前記平面追跡手段は、前記対応点のうち、前記特定平面上にある対応点のみから、前記２枚の画像間の幾何関係を推定する幾何関係推定部を有し、
前記画像更新手段は、前記２枚の画像間の前記幾何関係に基づき、前記モザイク画像を生成する
ことを特徴とするモザイク画像生成装置。 A mosaic image generating device that generates a mosaic image from a plurality of images obtained by imaging the same region in time series,
Corresponding point detection means for obtaining a corresponding point that is a set of identical points in an overlapping region in the image from the two images that are continuous in time series;
Plane tracking means for tracking a specific plane in the plurality of images;
Image updating means,
The plane tracking unit includes a geometric relationship estimation unit that estimates a geometric relationship between the two images from only the corresponding points on the specific plane among the corresponding points.
The mosaic image generating device, wherein the image updating means generates the mosaic image based on the geometric relationship between the two images. 請求項１において、
前記平面追跡手段は、
前記２枚の画像間の前記対応点から、前記特定平面に含まれる対応点のみを平面内対応点として抽出する追跡平面内対応点抽出部と、
前記平面内対応点から前記平面の幾何関係を推定する追跡平面幾何推定部と、
前記２枚の画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する追跡平面対応点更新部とを備える
ことを特徴とするモザイク画像生成装置。 In claim 1,
The plane tracking means includes
From the corresponding points between the two images, only the corresponding points included in the specific plane are extracted as in-plane corresponding points;
A tracking plane geometry estimator for estimating a geometric relationship of the plane from the corresponding point in the plane;
A mosaic image generating apparatus, comprising: a tracking plane corresponding point updating unit that extracts only corresponding points satisfying the geometric relationship from all corresponding points between the two images. 請求項１において、
前記平面追跡手段は、
前記２枚の画像間の対応点を異なる幾何関係となる組に分類する複数平面抽出部と、
前記２枚の画像のうち時系列的に前の画像におけるモザイク画像生成で前記特定平面上に存在すると推定された対応点を含む幾何関係の組を探索する追跡平面判定部とを備える
ことを特徴とするモザイク画像生成装置。 In claim 1,
The plane tracking means includes
A plurality of plane extraction units for classifying corresponding points between the two images into sets having different geometric relationships;
A tracking plane determining unit that searches for a set of geometric relationships including corresponding points that are estimated to exist on the specific plane by generating a mosaic image in the previous image in time series among the two images. A mosaic image generating device. 請求項２において、
前記画像更新手段は、
モザイク画像更新部とフレームバッファとを備え、
前記モザイク画像更新部は、前記幾何関係に基づいて追跡平面が一致する様に前記２枚の撮影画像を１枚の画像に変形・重畳することで、前記モザイク画像を更新する
ことを特徴とするモザイク画像生成装置。 In claim 2,
The image update means includes
A mosaic image update unit and a frame buffer;
The mosaic image update unit updates the mosaic image by deforming and superimposing the two photographed images on one image so that the tracking planes coincide with each other based on the geometric relationship. Mosaic image generation device. 請求項４において、
前記追跡平面内対応点抽出部は、
前記特定平面の追跡に失敗した場合に、別の特定平面に追跡対象を切り替える機能と、
作成済みの前記モザイク画像を破棄する機能とを備える
ことを特徴とするモザイク画像生成装置。 In claim 4,
The tracking plane corresponding point extraction unit,
A function of switching the tracking target to another specific plane when tracking of the specific plane fails,
A mosaic image generating apparatus comprising a function of discarding the created mosaic image. 請求項１において、
前記平面追跡手段は、
前記画像が航空機からカメラで撮影された空撮画像かつ前記特定平面が地面平面である場合に、前記航空機が地面平面から離着陸することを用いて、離着陸時の直下の平面を前記特定平面として追跡する
ことを特徴とするモザイク画像生成装置。 In claim 1,
The plane tracking means includes
When the image is an aerial image taken by a camera from an aircraft and the specific plane is a ground plane, the plane immediately under take-off and landing is tracked as the specific plane using the aircraft taking off and landing from the ground plane. A mosaic image generating apparatus characterized by: 請求項６において、
前記画像更新手段は、
前記平面上の対応点のみから推定された前記幾何関係に基づいて前記カメラの位置姿勢の軌跡を推定し、
表示装置に前記モザイク画像と前カメラの位置姿勢情報を出力する
ことを特徴とするモザイク画像生成装置。 In claim 6,
The image update means includes
Estimating the locus of the position and orientation of the camera based on the geometric relationship estimated from only the corresponding points on the plane;
A mosaic image generating apparatus, wherein the mosaic image and position and orientation information of a previous camera are output to a display device. 移動するカメラにより時系列的に連続して同一領域を撮影した複数枚の画像から、モザイク画像生成装置により、モザイク画像を生成する方法であって、
前記モザイク画像生成装置は、対応点検出手段と、平面追跡手段と、画像更新手段とを備えており、
前記対応点検出手段により、前記複数枚の画像のうち同じ領域が重複して撮像されている２画像から前記重複領域内の同一点の組である対応点を求める対応点検出工程と、
前記平面追跡手段により、
前記複数枚の画像において特定平面を追跡する平面追跡工程と、
前記対応点のうち前記平面上にあるもののみから前記２画像間の幾何関係を推定する幾何関係推定工程と、
前記画像更新手段により、前記幾何関係に基づき前記２画像から前記モザイク画像を生成するモザイク画像更新工程とを有する
ことを特徴とするモザイク画像生成方法。 A method of generating a mosaic image by a mosaic image generation device from a plurality of images obtained by capturing the same region continuously in time series with a moving camera,
The mosaic image generating apparatus includes corresponding point detection means, plane tracking means, and image update means,
A corresponding point detecting step of obtaining a corresponding point that is a set of the same point in the overlapping region from two images in which the same region of the plurality of images is picked up by the corresponding point detecting unit;
By the plane tracking means,
A plane tracking step of tracking a specific plane in the plurality of images;
A geometric relationship estimation step of estimating a geometric relationship between the two images from only the corresponding points on the plane;
A mosaic image generation method comprising: a mosaic image update step of generating the mosaic image from the two images based on the geometric relationship by the image update means. 請求項８において、
前記平面追跡工程は、
前記２画像間の対応点から前記特定平面に含まれる対応点のみを平面内対応点として抽出する工程と、
前記平面内対応点から前記平面の幾何関係を推定する工程と、
前記２画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する工程とを含む
ことを特徴とするモザイク画像生成方法。 In claim 8,
The plane tracking step includes
Extracting only corresponding points included in the specific plane from corresponding points between the two images as in-plane corresponding points;
Estimating a geometric relationship of the plane from the corresponding point in the plane;
And extracting only corresponding points satisfying the geometric relationship from all corresponding points between the two images. 請求項８において、
前記平面追跡工程は、
前記２画像間の対応点を異なる幾何関係となる組に分類する工程と、
前記２画像のうち時系列的に前の画像におけるモザイク画像生成で前記特定平面上に存在する推定された対応点を含む幾何関係の組を探索する工程とを含む
ことを特徴とするモザイク画像生成方法。 In claim 8,
The plane tracking step includes
Classifying corresponding points between the two images into different geometric relationships;
And a step of searching for a set of geometric relations including estimated corresponding points existing on the specific plane by generating a mosaic image in the previous image in time series among the two images. Method. 請求項９において、
前記平面追跡工程は、
前記特定平面の追跡に失敗した場合に、
別の特定平面に追跡対象を切り替える工程と、
作成済みの前記モザイク画像を破棄する工程とを含む
ことを特徴とするモザイク画像生成方法。 In claim 9,
The plane tracking step includes
If tracking of the specific plane fails,
Switching the tracking target to another specific plane;
And a step of discarding the created mosaic image. 請求項８において、
前記平面追跡工程は、
前記画像が航空機からカメラにより撮影された空撮画像でかつ前記特定平面が地面平面である場合に、
前記航空機が地面平面から離着陸することを用いて、離着陸時の直下の平面を前記特定平面として追跡する、
ことを特徴とするモザイク画像生成方法。 In claim 8,
The plane tracking step includes
When the image is an aerial image taken by a camera from an aircraft and the specific plane is a ground plane,
The plane immediately under takeoff and landing is tracked as the specific plane using the aircraft taking off and landing from the ground plane.
A method for generating a mosaic image. 請求項１２において、
前記平面上の対応点のみから推定された前記幾何関係に基づいて前記カメラの位置姿勢の軌跡を推定する工程を有する
ことを特徴とするモザイク画像生成方法。 In claim 12,
A method for generating a mosaic image, comprising: estimating a locus of a position and orientation of the camera based on the geometric relationship estimated from only corresponding points on the plane. 移動するカメラにより連続的に撮影した複数枚の画像から、モザイク画像生成装置により、モザイク画像を生成するための、モザイク画像生成プログラムであって、
コンピュータを、
前記複数枚の画像のうち同一領域が重複して撮像されている２画像から前記重複領域内の同一点の組である対応点を求める対応点検出手段と、
前記複数枚の画像において特定平面を追跡し、前記対応点のうち前記平面上にあるもののみから前記２画像間の幾何関係を推定する平面追跡手段と、
前記幾何関係に基づき２画像から前記モザイク画像を生成する画像更新手段として機能させるためのプログラム。 A mosaic image generating program for generating a mosaic image by a mosaic image generating device from a plurality of images continuously captured by a moving camera,
Computer
Corresponding point detection means for obtaining a corresponding point that is a set of the same points in the overlapping region from two images in which the same region is captured in duplicate among the plurality of images;
A plane tracking unit that tracks a specific plane in the plurality of images and estimates a geometrical relationship between the two images only from the corresponding points on the plane;
A program for functioning as an image updating unit that generates the mosaic image from two images based on the geometric relationship. 請求項１４において、
前記コンピュータを、
前記２画像間の対応点から前記特定平面に含まれる対応点のみを平面内対応点として抽出する手段と、
前記平面内対応点から前記平面の幾何関係を推定する手段と、
前記２画像間の全対応点から前記幾何関係を満足する対応点のみを抽出する手段として機能させるためのプログラム。 In claim 14,
The computer,
Means for extracting only corresponding points included in the specific plane from corresponding points between the two images as in-plane corresponding points;
Means for estimating a geometric relationship of the plane from the corresponding point in the plane;
A program for functioning as means for extracting only corresponding points satisfying the geometric relationship from all corresponding points between the two images.
JP2013105415A 2013-05-17 2013-05-17 Mosaic image generation apparatus, generation method, and mosaic image generation program Expired - Fee Related JP6155091B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013105415A JP6155091B2 (en) 2013-05-17 2013-05-17 Mosaic image generation apparatus, generation method, and mosaic image generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013105415A JP6155091B2 (en) 2013-05-17 2013-05-17 Mosaic image generation apparatus, generation method, and mosaic image generation program

Publications (3)

Publication Number Publication Date
JP2014228881A true JP2014228881A (en) 2014-12-08
JP2014228881A5 JP2014228881A5 (en) 2016-06-16
JP6155091B2 JP6155091B2 (en) 2017-06-28

Family

ID=52128709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013105415A Expired - Fee Related JP6155091B2 (en) 2013-05-17 2013-05-17 Mosaic image generation apparatus, generation method, and mosaic image generation program

Country Status (1)

Country Link
JP (1) JP6155091B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186682A (en) * 2015-03-27 2016-10-27 綜合警備保障株式会社 Aerial image processing system and aerial image processing method
KR101837403B1 (en) * 2016-12-13 2018-04-19 국방과학연구소 Method and Apparatus for Fast mosaicking of Unmanned Aerial Vehicle Images
JP2019046149A (en) * 2017-09-01 2019-03-22 コニカミノルタ株式会社 Crop cultivation support apparatus
KR20190067671A (en) * 2017-12-07 2019-06-17 한국전자통신연구원 Method and Apparatus for correcting geometric correction of images captured by multi cameras
JP2022158951A (en) * 2021-04-01 2022-10-17 ネイバーラボス コーポレーション Method and system for updating aerial map utilizing drone image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265448A (en) * 1998-03-17 1999-09-28 Hitachi Ltd Shape separating and synthesizing method for image data
JP2002150264A (en) * 2000-11-07 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Mosaic image synthesis method and device, and record medium with mosaic image synthesis program recorded therein
JP2006189940A (en) * 2004-12-28 2006-07-20 Ntt Data Corp Mosaic image synthesizing device, mosaic image synthesizing program, and mosaic image synthesizing method
WO2009057619A1 (en) * 2007-10-30 2009-05-07 Pasco Corporation House movement determining method, house movement determining program, house movement determining image generating method, and house movement determining image
WO2011153624A2 (en) * 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265448A (en) * 1998-03-17 1999-09-28 Hitachi Ltd Shape separating and synthesizing method for image data
JP2002150264A (en) * 2000-11-07 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> Mosaic image synthesis method and device, and record medium with mosaic image synthesis program recorded therein
JP2006189940A (en) * 2004-12-28 2006-07-20 Ntt Data Corp Mosaic image synthesizing device, mosaic image synthesizing program, and mosaic image synthesizing method
WO2009057619A1 (en) * 2007-10-30 2009-05-07 Pasco Corporation House movement determining method, house movement determining program, house movement determining image generating method, and house movement determining image
WO2011153624A2 (en) * 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016186682A (en) * 2015-03-27 2016-10-27 綜合警備保障株式会社 Aerial image processing system and aerial image processing method
KR101837403B1 (en) * 2016-12-13 2018-04-19 국방과학연구소 Method and Apparatus for Fast mosaicking of Unmanned Aerial Vehicle Images
JP2019046149A (en) * 2017-09-01 2019-03-22 コニカミノルタ株式会社 Crop cultivation support apparatus
JP7069609B2 (en) 2017-09-01 2022-05-18 コニカミノルタ株式会社 Crop cultivation support device
KR20190067671A (en) * 2017-12-07 2019-06-17 한국전자통신연구원 Method and Apparatus for correcting geometric correction of images captured by multi cameras
KR102211769B1 (en) * 2017-12-07 2021-02-03 한국전자통신연구원 Method and Apparatus for correcting geometric correction of images captured by multi cameras
JP2022158951A (en) * 2021-04-01 2022-10-17 ネイバーラボス コーポレーション Method and system for updating aerial map utilizing drone image
JP7375064B2 (en) 2021-04-01 2023-11-07 ネイバーラボス コーポレーション Aerial map update method and system using drone footage

Also Published As

Publication number Publication date
JP6155091B2 (en) 2017-06-28

Similar Documents

Publication Publication Date Title
US10303966B2 (en) Method and system of image-based change detection
US10885328B2 (en) Determination of position from images and associated camera positions
US10182212B2 (en) Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
Yahyanejad et al. Incremental mosaicking of images from autonomous, small-scale uavs
Rumpler et al. Evaluations on multi-scale camera networks for precise and geo-accurate reconstructions from aerial and terrestrial images with user guidance
JP6510247B2 (en) Survey data processing apparatus, survey data processing method and program
JP6155091B2 (en) Mosaic image generation apparatus, generation method, and mosaic image generation program
US10740608B2 (en) Wide area intermittent video using non-orthorectified feature matching in long period aerial image capture with pixel-based georeferencing
Verykokou et al. Oblique aerial images: a review focusing on georeferencing procedures
He et al. Automated relative orientation of UAV-based imagery in the presence of prior information for the flight trajectory
JP2019032218A (en) Location information recording method and device
JP2020008802A (en) Three-dimensional map generation device and three-dimensional map generation method
Moussa et al. A fast approach for stitching of aerial images
Yahyanejad et al. Incremental, orthorectified and loop-independent mosaicking of aerial images taken by micro UAVs
CN106846385A (en) Many sensing Remote Sensing Images Matching Methods, device and system based on unmanned plane
He et al. Three-point-based solution for automated motion parameter estimation of a multi-camera indoor mapping system with planar motion constraint
Rau et al. Development of a large-format uas imaging system with the construction of a one sensor geometry from a multicamera array
Sheikh et al. Geodetic alignment of aerial video frames
CN113129422A (en) Three-dimensional model construction method and device, storage medium and computer equipment
US10553022B2 (en) Method of processing full motion video data for photogrammetric reconstruction
CN113421332A (en) Three-dimensional reconstruction method and device, electronic equipment and storage medium
Vasile et al. Efficient city-sized 3D reconstruction from ultra-high resolution aerial and ground video imagery
Sheikh et al. Feature-based georegistration of aerial images
Bartelsen et al. Orientation of image sequences acquired from uavs and with gps cameras
Coulter et al. Automated co-registration of multitemporal airborne frame images for near real-time change detection

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20140908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170605

R150 Certificate of patent or registration of utility model

Ref document number: 6155091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees