WO2021117558A1 - Image processing method, image processing device, image processing program, and image processing system - Google Patents

Image processing method, image processing device, image processing program, and image processing system Download PDF

Info

Publication number
WO2021117558A1
WO2021117558A1 PCT/JP2020/044729 JP2020044729W WO2021117558A1 WO 2021117558 A1 WO2021117558 A1 WO 2021117558A1 JP 2020044729 W JP2020044729 W JP 2020044729W WO 2021117558 A1 WO2021117558 A1 WO 2021117558A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
unit
image processing
unit image
dimensional
Prior art date
Application number
PCT/JP2020/044729
Other languages
French (fr)
Japanese (ja)
Inventor
正志 藏之下
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021563880A priority Critical patent/JP7421572B2/en
Publication of WO2021117558A1 publication Critical patent/WO2021117558A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • SLAM is a technology that obtains a three-dimensional point cloud of an object with a laser sensor or the like, and estimates its own position by using the match with the three-dimensional point cloud of the object obtained again after moving.
  • SLAM has a problem that it is necessary to execute ICP (Iterative Closest Point) for obtaining the correspondence between two points of two point sets while sequentially shifting their own positions, which is expensive to calculate.
  • ICP Intelligent Closest Point
  • the correlation value is obtained by the ZNCC (Zero mean Normalized Cross Correlation) method.
  • ZNCC Zero mean Normalized Cross Correlation
  • a preferable process for calculating the correlation value is specified.
  • the image data acquisition device 202 includes an image sensor such as CMOS (Complementary Metal Oxide Semiconductor) (not shown).
  • the image pickup device has a plurality of pixels composed of photoelectric exchange elements two-dimensionally arranged in the x direction (horizontal direction) and the y direction (vertical direction), and on the upper surface of the plurality of pixels, for example, R.
  • a color filter (not shown) in which (red), G (green), and B (blue) filters are two-dimensionally Bayer-arranged is arranged.
  • the image data acquisition device 202 can acquire two-dimensional color image data.
  • the image data acquisition device 202 acquires image data for each angle of view for each image capture.
  • the imaging range is determined by the angle of view of the image data acquisition device 202.
  • the image data acquisition device 202 acquires a plurality of image data for the object.
  • the angle of view represents the imaging range when the image data acquisition device 202 captures the image.
  • corresponding points are searched for all combinations of shapes estimated for each unit image data (step S32).
  • the shapes estimated for each unit image data UDI are all the shapes estimated from the image data ID included in the unit image data UDI in step S2. That is, in the embodiment, there are three estimated planes (A1, A2, A3) of the image data ID (A) shown in FIG. 8, and two estimated planes (B1, B2) of the image data ID (B) are units.
  • the shape is estimated for each image data UDI.
  • the image data ID (B) is shown on the right side of the upper row. On the left side of the upper row, the converted image data CID (A) obtained by applying the projective transformation matrix obtained in step 33 to the image data ID (A) is shown.
  • the image data ID (B) is fixed, the converted image data CID (A) is moved, and the image data ID (B) and the converted image data CID (A) are superimposed.
  • a three-dimensional model 360 is created from the unit image data group 350 of the unit image data UID with the bridge as the object.
  • the unit image data group 350 includes 22 unit image data UIDs.
  • Each unit image data UID includes image data and three-dimensional data.
  • the hardware that realizes the image processing device according to the present invention can be configured by various processors.
  • Various processors include CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute programs and function as various processing units, and whose circuit configurations can be changed after manufacturing. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit).
  • One processing unit constituting the image display device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Provided are an image processing method, an image processing device, an image processing program, and an image processing system with which it is possible to reduce an amount of image data. The image processing method includes: a step of acquiring a plurality of sets of unit image data in which a plurality of sets of image data of an object, acquired from an image data acquiring device, and three-dimensional data of the object, acquired from a three-dimensional data acquiring device, are associated with one another for each set of image data; a shape estimating step of estimating shapes on the basis of the three-dimensional data contained in the unit image data, for each set of unit image data; a correspondence relationship acquiring step of acquiring a correspondence relationship, for each pixel in the image data for each estimated shape, between adjacent sets of unit image data among the plurality of sets of unit image data; an estimating step of estimating a rotation matrix and a translation vector between the adjacent sets of unit image data, from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixel; and a combining step of applying the rotation matrix and the translation vector to all pixels, between the adjacent sets of unit image data, to combine each of the adjacent sets of unit image data onto one spatial coordinate.

Description

画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムImage processing method, image processing device, image processing program, and image processing system
　本発明は画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムに関する。 The present invention relates to an image processing method, an image processing device, an image processing program, and an image processing system.
　近年、構造物の撮像画像を取得し、その取得した撮像画像から三次元モデルを生成する技術が提案されている。 In recent years, a technique has been proposed in which a captured image of a structure is acquired and a three-dimensional model is generated from the captured image.
　例えば、特許文献１は、三次元モデルの生成に最適な画像に対して、ＳｆＭ（Structure　from　Motion）、又はＳＬＡＭ（Simultaneous　Localization　and　Mapping）のデータ処理を適用することを開示する。 For example, Patent Document 1 discloses that SfM (Structure from Motion) or SLAM (Simultaneous Localization and Mapping) data processing is applied to an image that is optimal for generating a three-dimensional model.
特開２００９－２３７８４８号公報JP-A-2009-237848
　ＳｆＭは、撮像範囲を互いに重ね合せた大量の二次元画像データを必要とし、各画像間の運動視差を利用して、自己位置と対象物の三次元点を推定する。そのために、例えば、次の処理が実行される。 SfM requires a large amount of two-dimensional image data in which the imaging ranges are superimposed on each other, and estimates the self-position and the three-dimensional point of the object by using the motion parallax between the images. Therefore, for example, the following processing is executed.
　（１）各画像上で持徴点を抽出し、対応点を取得することにより、複数の画像に写り込んでいる物体上の点を見つけ出す。（２）各画像間を撮影した三次元空間上の相対的な配置位置関係を推定し、写り込んだ物体上の点の三次元座標を推定する。（３）三次元点が各二次元画像に再投影されたときの誤差の総和を求める。（４）再投影誤差の総和を小さくさせるために、物体上の点の三次元座標の補正、各画像の自己位置を補正する。（１）から（４）の処理が繰り返し実行される。 (1) By extracting the points on each image and acquiring the corresponding points, the points on the object reflected in multiple images are found. (2) Estimate the relative arrangement and positional relationship between the images in the three-dimensional space taken, and estimate the three-dimensional coordinates of the points on the reflected object. (3) Find the sum of the errors when the 3D points are reprojected on each 2D image. (4) In order to reduce the total reprojection error, the three-dimensional coordinates of the points on the object are corrected and the self-position of each image is corrected. The processes (1) to (4) are repeatedly executed.
　ところで、２つの画像から、それぞれ持徴点、及び対応点を取得する場合、対象物が明るく、鮮明なテクスチャーを持つ平面の場合に特徴点及び対応点を見つけることは難しくない。 By the way, when acquiring the possession points and the corresponding points from the two images, it is not difficult to find the feature points and the corresponding points when the object is a plane having a bright and clear texture.
　一方、対象物のテクスチャーが鮮明でない場合、特徴点及び対応点が取得しにくい。また、凹凸がある場合、得られにくく、視差の影響で対応点を得ることが難しくなる。例えば、撮影の対象物が橋梁の床版の場合、対象物が暗くテクスチャーが鮮明ではなく、また、鋼部材などの凹凸がある点から、画像間の持徴点、及び対応点を取得することは容易ではないという問題がある。 On the other hand, if the texture of the object is not clear, it is difficult to obtain feature points and corresponding points. Further, when there is unevenness, it is difficult to obtain it, and it is difficult to obtain a corresponding point due to the influence of parallax. For example, when the object to be photographed is a deck of a bridge, the object is dark and the texture is not clear, and there are irregularities such as steel members. Has the problem that it is not easy.
　ＳＬＡＭは、レーザーセンサなどで対象物の三次元点群を得、移動先後、再度得られた対象物の三次元点群との一致を利用して、自己位置を推定する技術である。ＳＬＡＭは、例えば、２つの点集合の２点の対応関係を、逐次的に自己位置をずらしながら求めるＩＣＰ（Iterative Closest Point）を実行する必要があり、計算に費用がかかるという問題がある。 SLAM is a technology that obtains a three-dimensional point cloud of an object with a laser sensor or the like, and estimates its own position by using the match with the three-dimensional point cloud of the object obtained again after moving. SLAM has a problem that it is necessary to execute ICP (Iterative Closest Point) for obtaining the correspondence between two points of two point sets while sequentially shifting their own positions, which is expensive to calculate.
　本発明はこのような事情に鑑みてなされたもので、効率よく三次元モデルを生成できる画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image processing method, an image processing device, an image processing program, and an image processing system capable of efficiently generating a three-dimensional model.
　第１態様に係る画像処理方法は、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得するステップと、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する形状推定ステップと、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する対応関係取得ステップと、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する推定ステップと、隣接する単位画像データの間で、全ての画素に回転行列と並進ベクトルとを適用し、隣接する単位画像データを１つの空間座標上で合成する合成ステップと、を含む。第１態様によれば、効率よく三次元モデルを生成できる。 The image processing method according to the first aspect is a plurality of units in which a plurality of image data of an object acquired from an image data acquisition device and three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data. A step of acquiring image data, a shape estimation step of estimating a shape based on three-dimensional data included in the unit image data for each unit image data, and a unit image data adjacent to each other in a plurality of unit image data. Then, from the correspondence relationship acquisition step for acquiring the correspondence relationship for each pixel of the image data for each estimated shape, the correspondence relationship for each acquired pixel, and the three-dimensional data corresponding to the pixel, the adjacent unit image data Between the estimation step of estimating the rotation matrix and translation vector between, and the adjacent unit image data, the rotation matrix and translation vector are applied to all pixels, and the adjacent unit image data is displayed on one spatial coordinate. Includes a synthesis step to synthesize with. According to the first aspect, a three-dimensional model can be efficiently generated.
　第２態様に係る画像処理方法において、形状が平面である。第２態様によれば、形状の推定を容易に実行できる。 In the image processing method according to the second aspect, the shape is flat. According to the second aspect, the shape can be easily estimated.
　第３態様に係る画像処理方法において、合成ステップは、対応する画素の間で色味を調整することを含む。第３態様によれば、色味を調整することにより、質の高い三次元モデルを取得できる。 In the image processing method according to the third aspect, the compositing step includes adjusting the tint between the corresponding pixels. According to the third aspect, a high-quality three-dimensional model can be obtained by adjusting the color.
　第４態様に係る画像処理方法において、対応関係取得ステップは、画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び単位画像データごとに推定された形状の全ての組み合わせに対して対応点の探索を含む。第４態様によれば、対応関係取得ステップの好ましい処理を特定する。 In the image processing method according to the fourth aspect, the correspondence acquisition step is to extract feature points and calculate feature amounts from the image data, and to perform all combinations of shapes estimated for each unit image data. On the other hand, the search for corresponding points is included. According to the fourth aspect, a preferable process of the correspondence acquisition step is specified.
　第５態様に係る画像処理方法において、対応関係取得ステップにおける特徴点の抽出は、ＳＩＦＴ、ＳＵＲＦ、及びＡＫＡＺＥの群から選択されるアルゴリズムを含む。第５態様によれば、特徴点の抽出の好ましい処理を特定する。 In the image processing method according to the fifth aspect, the extraction of feature points in the correspondence acquisition step includes an algorithm selected from the group of SIFT, SURF, and AKAZE. According to the fifth aspect, a preferred process for extracting feature points is specified.
　第６態様に係る画像処理方法において、対応関係取得ステップは、対応点から得られた射影変換行列により、隣接する単位画像データの画像データを重ね合せたオーバーラップ領域を抽出し、オーバーラップ領域における相関値に基づいて、画像データの画素ごとの対応関係を取得することを含む。第６態様によれば、相関値を算出することで、より正確に対応関係を決定できる。 In the image processing method according to the sixth aspect, in the correspondence relationship acquisition step, the overlap region in which the image data of the adjacent unit image data is superimposed is extracted by the projective transformation matrix obtained from the correspondence point, and the overlap region is used. It includes acquiring the correspondence relationship for each pixel of the image data based on the correlation value. According to the sixth aspect, the correspondence can be determined more accurately by calculating the correlation value.
　第７態様に係る画像処理方法において、相関値をＺＮＣＣ（Zero mean Normalized Cross Correlation）法により求める。第７態様によれば、相関値算出の好ましい処理を特定する。 In the image processing method according to the seventh aspect, the correlation value is obtained by the ZNCC (Zero mean Normalized Cross Correlation) method. According to the seventh aspect, a preferable process for calculating the correlation value is specified.
　第８態様に係る画像処理方法において、画像データ取得装置と三次元データ取得装置とがＲＧＢ－Ｄカメラである。第８態様によれば、校正された画像データと三次元データとを取得できる。 In the image processing method according to the eighth aspect, the image data acquisition device and the three-dimensional data acquisition device are RGB-D cameras. According to the eighth aspect, the calibrated image data and the three-dimensional data can be acquired.
　第９態様に係る画像処理装置は、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する単位画像データ取得部と、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する形状推定部と、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する対応関係取得部と、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する推定部と、隣接する単位画像データの間で、全ての画素に回転行列と並進ベクトルとを適用し、隣接する単位画像データを１つの空間座標上で合成する合成部と、を含む。第９態様によれば、第１態様と同様に、効率よく三次元モデルを生成できる。 The image processing device according to the ninth aspect is a plurality of units in which a plurality of image data of an object acquired from the image data acquisition device and three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data. A unit image data acquisition unit that acquires image data, a shape estimation unit that estimates the shape based on the three-dimensional data included in the unit image data for each unit image data, and adjacent units in a plurality of unit image data. Adjacent to each other from the correspondence relationship acquisition unit that acquires the correspondence relationship for each pixel of the image data for each estimated shape, the correspondence relationship for each acquired pixel, and the three-dimensional data corresponding to the pixel. The rotation matrix and translation vector are applied to all pixels between the estimation unit that estimates the rotation matrix and translation vector between the unit image data and the adjacent unit image data, and the adjacent unit image data is set to 1. Includes a compositing part that synthesizes on one spatial coordinate. According to the ninth aspect, a three-dimensional model can be efficiently generated as in the first aspect.
　第１０態様に係る画像処理プログラムは、上記画像処理方法をコンピュータに実行させる。第１０態様によれば、コンピュータにより画像処理方法を実行できる。 The image processing program according to the tenth aspect causes a computer to execute the above image processing method. According to the tenth aspect, the image processing method can be executed by a computer.
　第１１態様に係る画像処理システムは、校正された画像データ取得装置と三次元データ取得装置とを備える移動体と、上記画像処理装置と、を備える。 The image processing system according to the eleventh aspect includes a moving body including a calibrated image data acquisition device and a three-dimensional data acquisition device, and the image processing device.
　本発明の画像処理方法、画像処理装置、及び画像処理プログラムによれば、効率よく三次元モデルを生成できる。 According to the image processing method, the image processing device, and the image processing program of the present invention, a three-dimensional model can be efficiently generated.
図１は画像処理システムを概念的に示す図である。FIG. 1 is a diagram conceptually showing an image processing system. 図２は移動体に搭載された撮像装置により対象物を撮像する様子を概念的に示した図である。FIG. 2 is a diagram conceptually showing a state in which an object is imaged by an image pickup device mounted on a moving body. 図３は移動体マイコンが実現する機能を示すブロック図である。FIG. 3 is a block diagram showing a function realized by a mobile microcomputer. 図４は画像処理装置の機能構成例を示すブロック図である。FIG. 4 is a block diagram showing a functional configuration example of the image processing device. 図５は画像処理装置を使用した画像処理方法を説明するフローチャートである。FIG. 5 is a flowchart illustrating an image processing method using an image processing apparatus. 図６は画像データと三次元データとが関連付けられた単位画像データを説明するための図である。FIG. 6 is a diagram for explaining unit image data in which image data and three-dimensional data are associated with each other. 図７は撮像装置により取得された単位画像データの一例を示す図である。FIG. 7 is a diagram showing an example of unit image data acquired by the imaging device. 図８は画像データに対して実施された平面推定を模式的に示す図である。FIG. 8 is a diagram schematically showing the plane estimation performed on the image data. 図９は図５に示したステップＳ１００の処理の第１例を示すサブルーチンを示す図である。FIG. 9 is a diagram showing a subroutine showing a first example of the process of step S100 shown in FIG. 図１０は特徴点の対応付けの確認を示す図である。FIG. 10 is a diagram showing confirmation of association of feature points. 図１１はオーバーラップ領域の抽出を説明するための図である。FIG. 11 is a diagram for explaining the extraction of the overlap region. 図１２は相関値の算出を説明するための図である。FIG. 12 is a diagram for explaining the calculation of the correlation value. 図１３は画像合成を説明するための図である。FIG. 13 is a diagram for explaining image composition. 図１４は単位画像データ群に基づいて対象物の三次元モデルが生成されることを説明する概念図である。FIG. 14 is a conceptual diagram illustrating that a three-dimensional model of an object is generated based on a unit image data group.
　以下、添付図面に従って本発明に係る画像処理方法、画像処理装置、及び画像処理プログラムの好ましい実施の形態について説明する。 Hereinafter, preferred embodiments of the image processing method, the image processing apparatus, and the image processing program according to the present invention will be described with reference to the accompanying drawings.
　図１は、画像処理システムを概念的に示す図である。画像処理システムは、画像処理装置１００と撮像装置２００とにより構成される。 FIG. 1 is a diagram conceptually showing an image processing system. The image processing system includes an image processing device 100 and an image pickup device 200.
　画像処理装置１００は、コンピュータにより構成される。画像処理装置１００には、例えば、操作部１１０、及び表示部１２０が接続されている。画像処理装置１００を構成するコンピュータは、インストールされた画像処理プログラムを実行することにより、画像処理装置１００として機能する。なお、図示されたコンピュータの形態は一例であり、コンピュータと同様の機能を有する装置は本発明の画像処理装置１００を備えることができる。例えば、画像処理装置１００はタブレット端末により構成される。 The image processing device 100 is composed of a computer. For example, an operation unit 110 and a display unit 120 are connected to the image processing device 100. The computer constituting the image processing device 100 functions as the image processing device 100 by executing the installed image processing program. The illustrated form of the computer is an example, and the device having the same function as the computer can include the image processing device 100 of the present invention. For example, the image processing device 100 is composed of a tablet terminal.
　撮像装置２００は、校正された画像データ取得装置２０２と三次元データ取得装置２０４とを備える。撮像装置２００は、対象物の一例である橋梁１を撮像して、単位画像データＵＩＤを取得する。単位画像データＵＩＤは、画像データ取得装置２０２により取得される画像データと三次元データ取得装置２０４により取得された三次元データとを関連付けたデータである。 The image pickup device 200 includes a calibrated image data acquisition device 202 and a three-dimensional data acquisition device 204. The image pickup apparatus 200 takes an image of a bridge 1 which is an example of an object, and acquires a unit image data UID. The unit image data UID is data in which the image data acquired by the image data acquisition device 202 and the three-dimensional data acquired by the three-dimensional data acquisition device 204 are associated with each other.
　撮像装置２００は、橋梁１を分割して撮像することにより複数の単位画像データＵＩＤを取得する。 The image pickup device 200 acquires a plurality of unit image data UIDs by dividing the bridge 1 and taking an image.
　撮像装置２００は、撮像範囲を移動しながら、順番に隣接する複数の単位画像データＵＩＤを取得する。なお、複数の単位画像データＵＩＤは、合成されることを考慮して、隣接する単位画像データＵＩＤと重複領域を有するように撮像される。複数の単位画像データＵＩＤが画像処理装置１００に入力される。 The imaging device 200 acquires a plurality of unit image data UIDs that are adjacent to each other in order while moving the imaging range. The plurality of unit image data UIDs are imaged so as to have an overlapping region with the adjacent unit image data UIDs in consideration of being combined. A plurality of unit image data UIDs are input to the image processing device 100.
　なお、対象物の一例である橋梁１は、複数の橋脚４と、橋脚４の間に渡された主桁２と、主桁２の上部に打設された、車輌等が走行するための床版３と、を備える。床版３は一般的な鉄筋コンクリート製のものとする。なお橋梁１は、主桁２及び床版３の他に図示せぬ横桁、対傾構、及び横構等の部材を有する。なお、橋梁１の床版３は、暗くテクスチャーが鮮明ではなく、また、鋼部材などの凹凸がある点から、画像間の持徴点、及び対応点を取得することは重要である。 The bridge 1 which is an example of the object is a plurality of piers 4, a main girder 2 passed between the piers 4, and a floor placed on the upper part of the main girder 2 for vehicles and the like to travel. The version 3 and the like are provided. The floor slab 3 is made of general reinforced concrete. The bridge 1 has members such as a horizontal girder, an anti-tilt structure, and a horizontal structure, which are not shown, in addition to the main girder 2 and the floor slab 3. It is important to obtain the points to be held between the images and the corresponding points from the fact that the floor slab 3 of the bridge 1 is dark and the texture is not clear, and there are irregularities such as steel members.
　ここで、本発明が適用される対象物は上述した橋梁１に限定されない。対象物は、例えば、ダム、トンネル、建物などの構造物を含む。 Here, the object to which the present invention is applied is not limited to the bridge 1 described above. Objects include structures such as dams, tunnels, and buildings.
　図２は、移動体に搭載され撮像装置が対象物である橋梁を撮像する様子を概念的に示した図である。図３は、図２の移動体に搭載された移動体マイコンが実現する機能を示すブロック図である。 FIG. 2 is a diagram conceptually showing a state in which an image pickup device mounted on a moving body images a bridge which is an object. FIG. 3 is a block diagram showing a function realized by the mobile microcomputer mounted on the mobile body of FIG.
　図２に示されるように、撮像装置２００が、移動体３００に搭載されている。図２に示される移動体３００は、無人航空機（UAV：Unmanned Aerial Vehicle）である。移動体３００が、対象物であるの橋梁１の周囲を、コントローラ２５０から送信される制御信号に基づいて飛行する。また、移動体３００に搭載された撮像装置２００は、コントローラ２５０から送信される制御信号に基づいて、移動体３００の移動に合わせて、撮像範囲を移動させながら、橋梁１を撮像する。その結果。撮像装置２００は、順番に隣接する複数の単位画像データＵＩＤ（図１参照）を取得する。 As shown in FIG. 2, the image pickup device 200 is mounted on the moving body 300. The mobile body 300 shown in FIG. 2 is an unmanned aerial vehicle (UAV). The moving body 300 flies around the bridge 1 which is an object based on the control signal transmitted from the controller 250. Further, the image pickup device 200 mounted on the moving body 300 takes an image of the bridge 1 while moving the imaging range according to the movement of the moving body 300 based on the control signal transmitted from the controller 250. resulting in. The image pickup apparatus 200 acquires a plurality of unit image data UIDs (see FIG. 1) that are adjacent to each other in order.
　図３は、移動体３００の構成を示すブロック図である。移動体３００は、プロペラ駆動モータ３１０と、モータドライバ３１２と、センサ部３１６と、機体側無線通信部３１８と、移動体マイコン（マイコン：マイクロコンピュータ）３３０と、を備える。 FIG. 3 is a block diagram showing the configuration of the moving body 300. The mobile body 300 includes a propeller drive motor 310, a motor driver 312, a sensor unit 316, a machine body side wireless communication unit 318, and a mobile microcomputer (microcomputer: microcomputer) 330.
　移動体マイコン３３０は、制御部３３２と、移動制御部３３４と、カメラ制御部３３８と、機体側無線通信制御部３３６と、を備える。制御部３３２は、移動制御部３３４、機体側無線通信制御部３３６、及びカメラ制御部３３８の各機能の全体を管理する。移動体マイコン３３０は、プログラムを実行することにより、制御部３３２と、移動制御部３３４と、カメラ制御部３３８と、機体側無線通信制御部３３６として、機能させることができる。 The mobile microcomputer 330 includes a control unit 332, a movement control unit 334, a camera control unit 338, and a machine-side wireless communication control unit 336. The control unit 332 manages the entire functions of the movement control unit 334, the airframe side wireless communication control unit 336, and the camera control unit 338. The mobile microcomputer 330 can function as a control unit 332, a mobile control unit 334, a camera control unit 338, and a machine-side wireless communication control unit 336 by executing a program.
　移動制御部３３４は、モータドライバ３１２を介してプロペラ駆動モータ３１０の駆動を制御することにより、移動体３００の飛行（移動）を制御する。移動制御部３３４は、コントローラ２５０から送信される制御信号、及びセンサ部３１６から出力される移動体３００の飛行状態の情報に基づいて、各プロペラ駆動モータ３１０の駆動を制御し、移動体３００の飛行を制御する。 The movement control unit 334 controls the flight (movement) of the moving body 300 by controlling the driving of the propeller drive motor 310 via the motor driver 312. The movement control unit 334 controls the drive of each propeller drive motor 310 based on the control signal transmitted from the controller 250 and the flight state information of the moving body 300 output from the sensor unit 316, and controls the driving of the moving body 300. Control flight.
　センサ部３１６は、移動体３００の飛行状態を検出する。センサ部３１６は、ＩＭＵ（inertial measurement unit）、ＧＮＳＳ（Global Navigation Satellite System）等の各種センサ類を備えて構成される。ＩＭＵは、例えば、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ等を複数軸で組み合わせて構成される。センサ部３１６は、各種センサで検出された移動体３００の飛行状態の情報を移動体マイコン３３０に出力する。 The sensor unit 316 detects the flight state of the moving body 300. The sensor unit 316 is configured to include various sensors such as an IMU (inertial measurement unit) and a GNSS (Global Navigation Satellite System). The IMU is configured by combining, for example, a gyro sensor, a geomagnetic sensor, an acceleration sensor, a speed sensor, and the like on a plurality of axes. The sensor unit 316 outputs information on the flight state of the moving body 300 detected by various sensors to the moving body microcomputer 330.
　機体側無線通信部３１８は、移動体マイコン３３０による制御の下、コントローラ２５０と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ２５０が操作された場合、その操作に基づく制御信号がコントローラ２５０から移動体３００に向けて送信される。機体側無線通信部３１８は、コントローラ２５０から送信された制御信号を受信し、移動体３００に出力する。 The airframe side wireless communication unit 318 wirelessly communicates with the controller 250 under the control of the mobile microcomputer 330, and transmits and receives various signals to and from each other. For example, when the controller 250 is operated, a control signal based on the operation is transmitted from the controller 250 to the mobile body 300. The aircraft side wireless communication unit 318 receives the control signal transmitted from the controller 250 and outputs it to the mobile body 300.
　移動体マイコン３３０は、図示しないが、ＣＰＵ（Central Processing Unit／中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ＲＯＭに格納される。 Although not shown, the mobile microcomputer 330 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and realizes various functions by executing a predetermined program. .. The program is stored in ROM.
　カメラ制御部３３８は、コントローラ２５０から送信される制御信号に基づいて、撮像装置２００を制御する。例えば、コントローラ２５０からの撮像開始指示に応じて、撮像装置２００は撮像を開始できる。コントローラ２５０からの撮像終了指示に応じて、撮像装置２００は撮像を終了させる。 The camera control unit 338 controls the image pickup device 200 based on the control signal transmitted from the controller 250. For example, the imaging device 200 can start imaging in response to an imaging start instruction from the controller 250. In response to the image pickup end instruction from the controller 250, the image pickup apparatus 200 ends the image pickup.
　機体側無線通信制御部３３６は、機体側無線通信部３１８を介して、コントローラ２５０との間の通信を制御する。 The airframe side wireless communication control unit 336 controls communication with the controller 250 via the airframe side wireless communication unit 318.
　移動体３００の飛行計画、撮像装置２００の撮像条件は、制御ソフトウェア等で事前に決定できる。飛行計画は、例えば、移動体３００の飛行経路、速度、及び高度を含む。撮像条件は、撮像装置２００を等時間間隔で撮像させること、及び等距離間隔で撮像させること等を含む。等時間間隔、等距離間隔等の条件が適宜選択される。制御部３３２は、飛行計画に基づいて、移動制御部３３４を制御する。移動制御部３３４は、制御部３３２からの信号に従い、モータドライバ３１２を介してプロペラ駆動モータ３１０の駆動を制御する。制御部３３２は、撮像条件に基づいて、カメラ制御部３３８を制御する。カメラ制御部３３８は、撮像装置２００を制御する。飛行計画と撮像条件を組み合わせることにより、飛行経路上の撮像範囲のオーバーラップ率、及び飛行経路間の撮像範囲のサイドラップ率等が決定される。 The flight plan of the moving body 300 and the imaging conditions of the imaging device 200 can be determined in advance by control software or the like. The flight plan includes, for example, the flight path, speed, and altitude of the mobile 300. The imaging conditions include having the imaging apparatus 200 image at equal time intervals, imaging at equidistant intervals, and the like. Conditions such as equidistant intervals and equidistant intervals are appropriately selected. The control unit 332 controls the movement control unit 334 based on the flight plan. The movement control unit 334 controls the drive of the propeller drive motor 310 via the motor driver 312 according to the signal from the control unit 332. The control unit 332 controls the camera control unit 338 based on the imaging conditions. The camera control unit 338 controls the image pickup device 200. By combining the flight plan and the imaging conditions, the overlap rate of the imaging range on the flight path, the side wrap rate of the imaging range between the flight paths, and the like are determined.
　移動体３００として、無人航空機を例示したが、これらに限定されない。移動体３００は、車両、船舶等でもよい。移動体３００は、無人であっても、有人であってもよい。また、移動体３００を使用しないで撮像できる。 An unmanned aerial vehicle was exemplified as the mobile body 300, but the present invention is not limited to these. The moving body 300 may be a vehicle, a ship, or the like. The mobile body 300 may be unmanned or manned. Moreover, it is possible to take an image without using the moving body 300.
　次に、図４を参照して、画像処理装置１００を説明する。図４は、画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行し各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。 Next, the image processing device 100 will be described with reference to FIG. FIG. 4 is a block diagram showing a functional configuration example of the image processing device 100. The hardware-like structure that executes various controls of the image processing device 100 is various processors as shown below. For various processors, the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various control units. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD), which is a processor, and an ASIC (Application Specific Integrated Circuit). ..
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of control units may be configured by one processor. As an example of configuring a plurality of control units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of control units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of control units with one IC (Integrated Circuit) chip is used. is there. As described above, the various control units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
　画像処理装置１００は、単位画像データ取得部１３２、形状推定部１３４、対応関係取得部１３６、推定部１３８、合成部１４０、制御部１４２から構成される。制御部１４２は、単位画像データ取得部１３２、形状推定部１３４、対応関係取得部１３６、推定部１３８、合成部１４０、操作部１１０、及び表示部１２０の各機能の全体を管理する。 The image processing device 100 is composed of a unit image data acquisition unit 132, a shape estimation unit 134, a correspondence acquisition unit 136, an estimation unit 138, a synthesis unit 140, and a control unit 142. The control unit 142 manages the entire functions of the unit image data acquisition unit 132, the shape estimation unit 134, the correspondence acquisition unit 136, the estimation unit 138, the synthesis unit 140, the operation unit 110, and the display unit 120.
　次に、画像処理方法について図面を参照して説明する。 Next, the image processing method will be described with reference to the drawings.
　図５は、画像処理装置１００を使用して実行される画像処理方法を示すフローチャートである。 FIG. 5 is a flowchart showing an image processing method executed by using the image processing device 100.
　図５に示されるように、画像処理方法は、単位画像データ取得ステップ（ステップＳ１）、形状推定ステップ（ステップＳ２）、対応関係取得ステップ（ステップＳ３）、回転行列と並進ベクトル推定ステップ（ステップＳ４）、及び隣接画像合成ステップ（ステップＳ５）を備える。 As shown in FIG. 5, the image processing method includes a unit image data acquisition step (step S1), a shape estimation step (step S2), a correspondence acquisition step (step S3), a rotation matrix and a translation vector estimation step (step S4). ), And an adjacent image composition step (step S5).
　（単位画像データ取得ステップ）
　単位画像データ取得ステップでは、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する（ステップＳ１）。 (Unit image data acquisition step)
In the unit image data acquisition step, a plurality of unit image data in which a plurality of image data of the object acquired from the image data acquisition device and the three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data are generated. Acquire (step S1).
　図６は、画像データと三次元データとが関連付けられた単位画像データを説明するための図である。図６に示されるように、撮像装置２００の画像データ取得装置２０２は、対象物の画角範囲毎に二次元カラー画像データである画像データＩＤを取得する。画像データＩＤは、複数の画素データを含んでいる。画素データは、Ｘ軸とＹ軸の二次元座標系上で位置（Ｘ、Ｙ）の情報と、ＲＧＢ（Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ）情報を有している。 FIG. 6 is a diagram for explaining unit image data in which image data and three-dimensional data are associated with each other. As shown in FIG. 6, the image data acquisition device 202 of the image pickup device 200 acquires an image data ID which is two-dimensional color image data for each angle of view range of the object. The image data ID includes a plurality of pixel data. The pixel data has position (X, Y) information and RGB (Red-Green-Blue) information on the two-dimensional coordinate system of the X-axis and the Y-axis.
　撮像装置２００の三次元データ取得装置２０４は、対象物までの深度データＤＰを取得する。深度データＤＰは、画素毎の深度Ｄの集合であり、深度Ｄは対象物と三次元データ取得装置２０４との距離である。深度データＤＰは、画素毎に深度データを有している。図６において、深度データＤＰは、画素毎の距離のカラー画像を模式的にグレースケールの濃淡で表示している。深度データＤＰの中央より少し下が濃い領域で、距離が最も遠い。濃い領域の周囲が白い領域で、濃い領域に比較して距離が近い。さらに、白い領域の周囲の少し濃い領域が、白い領域に比較して近い。 The three-dimensional data acquisition device 204 of the image pickup device 200 acquires the depth data DP to the object. The depth data DP is a set of depths D for each pixel, and the depth D is the distance between the object and the three-dimensional data acquisition device 204. The depth data DP has depth data for each pixel. In FIG. 6, the depth data DP schematically displays a color image of the distance for each pixel in grayscale shades. The area slightly below the center of the depth data DP is the darkest area, and the distance is the longest. The area around the dark area is white, and the distance is shorter than that of the dark area. Furthermore, the slightly darker areas around the white areas are closer than the white areas.
　撮像装置２００は、画像データ取得装置２０２で取得した画像データの２次元座標上の位置と三次元データ取得装置２０４で取得した深度データＤＰ内の２次元座標上の位置が一致するように校正されているので、画像データＩＤと深度データＤＰの各画素が関連付けられる。画像データ取得装置２０２力メラの内部パラメータを使うことで、画像の深度データＤＰ（深度画像）から１画素毎に、レンズ中央を原点とする（Ｘ、Ｙ、Ｚ）の座標、すなわち三次元データＴＤを得ることができる。 The image pickup device 200 is calibrated so that the position on the two-dimensional coordinates of the image data acquired by the image data acquisition device 202 and the position on the two-dimensional coordinates in the depth data DP acquired by the three-dimensional data acquisition device 204 match. Therefore, each pixel of the image data ID and the depth data DP is associated with each other. By using the internal parameters of the image data acquisition device 202 power mela, the coordinates (X, Y, Z) with the center of the lens as the origin, that is, three-dimensional data, for each pixel from the depth data DP (depth image) of the image. You can get TD.
　画像データ取得装置２０２は、図示しないＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含む。撮像素子は、ｘ方向（水平方向）及びｙ方向（垂直方向）に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）のフィルタが二次元的にベイヤー配列されたカラーフィルタ（図示せず）が配置される。実施形態では、画像データ取得装置２０２は、二次元カラー画像データを取得できる。画像データ取得装置２０２は、一回の撮像毎に、画角毎の画像データを取得する。撮像範囲は画像データ取得装置２０２の画角により決定される。画像データ取得装置２０２は、対象物に対して複数の画像データを取得する。画角は、画像データ取得装置２０２で撮像した際の撮像範囲を表す。 The image data acquisition device 202 includes an image sensor such as CMOS (Complementary Metal Oxide Semiconductor) (not shown). The image pickup device has a plurality of pixels composed of photoelectric exchange elements two-dimensionally arranged in the x direction (horizontal direction) and the y direction (vertical direction), and on the upper surface of the plurality of pixels, for example, R. A color filter (not shown) in which (red), G (green), and B (blue) filters are two-dimensionally Bayer-arranged is arranged. In the embodiment, the image data acquisition device 202 can acquire two-dimensional color image data. The image data acquisition device 202 acquires image data for each angle of view for each image capture. The imaging range is determined by the angle of view of the image data acquisition device 202. The image data acquisition device 202 acquires a plurality of image data for the object. The angle of view represents the imaging range when the image data acquisition device 202 captures the image.
　三次元データ取得装置２０４は、対象物の三次元データを取得する。三次元データ取得装置２０４は、例えば、ステレオカメラ、レーザースキャナー、又はタイムオブフライト（Time-of-Flight：ＴｏＦ）式カメラである。 The three-dimensional data acquisition device 204 acquires three-dimensional data of the object. The three-dimensional data acquisition device 204 is, for example, a stereo camera, a laser scanner, or a time-of-flight (ToF) type camera.
　ステレオカメラは、異なる位置に配置された複数のカメラから同時に画像データを撮像し、画像データにおける視差を用いて、対象物までの三次元データを取得するカメラである。三次元データ取得装置２０４がステレオカメラである場合、複数のカメラの一台を画像データ取得装置２０２として利用できる。三次元データ取得装置２０４とは別に、画像データ取得装置２０２を設けることができる。 A stereo camera is a camera that simultaneously captures image data from a plurality of cameras arranged at different positions and acquires three-dimensional data up to an object by using the parallax in the image data. When the three-dimensional data acquisition device 204 is a stereo camera, one of the plurality of cameras can be used as the image data acquisition device 202. An image data acquisition device 202 can be provided separately from the three-dimensional data acquisition device 204.
　レーザースキャナーはレーザーパルスを対象物に出射し、対象物の表面で反射されたレーザーパルスが戻ってくるまでの時間により距離を計測する。そして、計測した距離とレーザーパルスの出射方向の角度情報とによりレーザーパルスの反射点の三次元データが取得される。すなわち、三次元データは三次元座標を含む。レーザースキャナーは、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により三次元データが取得できる。 The laser scanner emits a laser pulse to the object and measures the distance by the time until the laser pulse reflected on the surface of the object returns. Then, three-dimensional data of the reflection point of the laser pulse is acquired from the measured distance and the angle information of the emission direction of the laser pulse. That is, the three-dimensional data includes the three-dimensional coordinates. The laser scanner is not limited to the time-of-flight method, but can acquire three-dimensional data by the phase difference method and the trigonometry method.
　タイムオブフライト式カメラは、光の飛行時間を測ることで三次元データを取得するカメラである。 A time-of-flight camera is a camera that acquires three-dimensional data by measuring the flight time of light.
　画像データ取得装置２０２と三次元データ取得装置２０４とは、これらに限定されない。 The image data acquisition device 202 and the three-dimensional data acquisition device 204 are not limited to these.
　図４に示されるように、画像データＩＤと深度データＤＰとから、画像データＩＤと三次元データＴＤとを画素毎に関連付けた（Ｘ、Ｙ、Ｚ、Ｒ、Ｇ、Ｂ）の複数の単位画像データＵＩＤが撮像装置２００により取得される。 As shown in FIG. 4, a plurality of units (X, Y, Z, R, G, B) in which the image data ID and the three-dimensional data TD are associated with each pixel from the image data ID and the depth data DP. The image data UID is acquired by the image pickup apparatus 200.
　画像処理装置１００の単位画像データ取得部１３２が、撮像装置２００から複数の単位画像データＵＩＤを取得する（ステップＳ１）。単位画像データ取得部１３２は、装置入出力部（不図示）を介して、撮像装置２００により取得された複数の単位画像データＵＩＤを取得する。複数の単位画像データＵＩＤは、飛行計画、及び撮像条件に基づいて、対象物をオーバーラップ及びサイドラップさせて撮像されている。図７に示されるように、対象物の隣接領域を取得した単位画像データＵＩＤ（Ａ）、及び単位画像データＵＩＤ（Ｂ）が、単位画像データ取得部１３２に入力される。単位画像データＵＩＤ（Ａ）、及び単位画像データＵＩＤ（Ｂ）は撮像位置が異なるので、それぞれの原点は異なる。 The unit image data acquisition unit 132 of the image processing device 100 acquires a plurality of unit image data UIDs from the image pickup device 200 (step S1). The unit image data acquisition unit 132 acquires a plurality of unit image data UIDs acquired by the image pickup apparatus 200 via the device input / output unit (not shown). The plurality of unit image data UIDs are imaged by overlapping and side-wrapping the objects based on the flight plan and the imaging conditions. As shown in FIG. 7, the unit image data UID (A) and the unit image data UID (B) obtained by acquiring the adjacent region of the object are input to the unit image data acquisition unit 132. Since the unit image data UID (A) and the unit image data UID (B) have different imaging positions, their origins are different.
　（形状推定ステップ）
　形状推定ステップは、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する（ステップＳ２）。なお、実施形態においては、推定する形状を平面として説明する。 (Shape estimation step)
In the shape estimation step, the shape is estimated for each unit image data based on the three-dimensional data included in the unit image data (step S2). In the embodiment, the estimated shape will be described as a plane.
　複数の単位画像データＵＩＤが単位画像データ取得部１３２から形状推定部１３４に入力される（図４参照）。形状推定部１３４は、単位画像データＵＩＤ毎に三次元データＴＤから、単位画像データＵＩＤに含まれる平面を推定する。 A plurality of unit image data UIDs are input from the unit image data acquisition unit 132 to the shape estimation unit 134 (see FIG. 4). The shape estimation unit 134 estimates the plane included in the unit image data UID from the three-dimensional data TD for each unit image data UID.
　形状推定部１３４は、例えば、次式に示す平面方程式を求めることにより、単位画像データＵＩＤに含まれる平面を推定できる。
［数１］
　ａｒＸ＋ｂｒＹ＋ｃｒＺ－ｄｒ＝０
　［数１］式において、Ｘ、Ｙ及びＺはカメラ座標系の３軸直交方向の三次元データであり、ａｒ、ｂｒ、ｃｒ、及びｄｒはそれぞれ平面方程式の係数を示す。三次元データＴＤの（Ｘ，Ｙ，Ｚ）の各点との２乗距離が最小となる平面の係数ａｒ、ｂｒ、ｃｒ、及びｄｒを求めることで推定される平面が決定される。 The shape estimation unit 134 can estimate the plane included in the unit image data UID, for example, by obtaining the equation of a plane shown in the following equation.
[Number 1]
a r X + b r Y + cr r Z- dr = 0
In Expression 1, X, Y and Z are three-dimensional data of three-axis orthogonal direction of the camera coordinate system, showing the coefficients of a r, b r, c r , and d r respectively plane equation. The three-dimensional data TD (X, Y, Z) 2 squared distance factor plane is minimum a r a each point, b r, c r, and the plane is estimated by determining the d r is determined To.
　図８は、画像データＩＤ（Ａ）、及び画像データＩＤ（Ｂ）の二次元画像に対して実施された平面推定を模式的に示す図である。図８に示されるように、画像データＩＤ（Ａ）に対して、Ａ１で示されるように平面が推定される。推定された平面に含まれる点に対応する画素に同一の色が付されている。推定された平面の領域を示すため、領域を二点鎖線で示している。 FIG. 8 is a diagram schematically showing the plane estimation performed on the two-dimensional images of the image data ID (A) and the image data ID (B). As shown in FIG. 8, for the image data ID (A), a plane is estimated as shown by A1. The pixels corresponding to the points contained in the estimated plane are colored in the same color. In order to show the region of the estimated plane, the region is indicated by the alternate long and short dash line.
　Ａ１で平面が推定されると、その平面がマスクされ一時的に取り除かれ、残りの画素に対して平面の推定が実行される。Ａ２では、画像データＩＤ（Ａ）に対して、Ａ１とは異なる平面が推定される。 When a plane is estimated in A1, the plane is masked and temporarily removed, and the plane is estimated for the remaining pixels. In A2, a plane different from that in A1 is estimated for the image data ID (A).
　Ａ１及びＡ２で平面が推定されると、それらの平面がマスクされ一時的に取り除かれ、同様に残りの画素に対して平面の推定が実行される。Ａ３では、画像データＩＤ（Ａ）に対して、Ａ１及びＡ２とは異なる平面が推定される。画像データＩＤ（Ａ）では、３つの平面が推定される。画像データＩＤ（Ｂ）に同様の処理が実行され、Ｂ１とＢ２の２つの平面が推定される。画像データＩＤ（Ａ）、及び画像データＩＤ（Ｂ）からそれぞれ推定平面が特定される。各画像データＩＤから最大で３つの推定平面が特定される。 When planes are estimated in A1 and A2, those planes are masked and temporarily removed, and plane estimation is similarly performed for the remaining pixels. In A3, a plane different from A1 and A2 is estimated with respect to the image data ID (A). In the image data ID (A), three planes are estimated. Similar processing is executed for the image data ID (B), and two planes B1 and B2 are estimated. An estimated plane is specified from the image data ID (A) and the image data ID (B), respectively. A maximum of three estimated planes are specified from each image data ID.
　実施形態では、推定する形状が平面である場合を示したが、平面に限定されず円柱等の他の形状であっても推定できる。 In the embodiment, the case where the shape to be estimated is a plane is shown, but it is not limited to the plane and can be estimated even if it is another shape such as a cylinder.
　（対応関係取得ステップ）
　対応関係取得ステップでは、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する（ステップＳ３）。 (Correspondence acquisition step)
In the correspondence relationship acquisition step, the correspondence relationship for each pixel of the image data is acquired for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data (step S3).
　複数の単位画像データＵＩＤ（例えば、図７における単位画像データＵＩＤ（Ａ）、（Ｂ））と、形状推定ステップで取得された推定平面に関するデータ（例えば、Ａ１、Ａ２、Ａ３、Ｂ１、Ｂ２）とが、対応関係取得部１３６に入力される。 A plurality of unit image data UIDs (for example, unit image data UIDs (A) and (B) in FIG. 7) and data related to the estimation plane acquired in the shape estimation step (for example, A1, A2, A3, B1, B2). Is input to the correspondence acquisition unit 136.
　次に、ステップＳ３の処理について詳細に説明する。図９はステップＳ３の処理の一例のサブルーチンを示す図である。 Next, the process of step S3 will be described in detail. FIG. 9 is a diagram showing a subroutine as an example of the process of step S3.
　図９に示されるように、対応関係取得ステップは、特徴点抽出及び特徴量算出ステップ（ステップＳ３１）、対応点探索ステップ（ステップＳ３２）、射影変換行列算出ステップ（ステップＳ３３）、オーバーラップ領域抽出ステップ（ステップＳ３４）、相関値算出ステップ（ステップＳ３５）及び対応平面決定ステップ（ステップＳ３６）を備える。 As shown in FIG. 9, the correspondence relationship acquisition step includes a feature point extraction and feature amount calculation step (step S31), a correspondence point search step (step S32), a projection transformation matrix calculation step (step S33), and an overlap area extraction. A step (step S34), a correlation value calculation step (step S35), and a corresponding plane determination step (step S36) are provided.
　特徴点抽出及び特徴量算出ステップでは、複数の画像データＩＤに対して、特徴点の抽出、及び特徴量の算出を実施する（ステップＳ３１）。特徴点の抽出、及び特徴量の算出は、例えば、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、及びＡＫＡＺＥ（Accelerated KAZE Features）の群から選択されるアルゴリズムにより実行される。尚、１枚の画像データに対して複数の形状（平面）が推定された場合は、推定された形状毎（平面毎）に特徴点の抽出、及び特徴量の算出を行ってもよい。 In the feature point extraction and feature amount calculation steps, feature point extraction and feature amount calculation are performed for a plurality of image data IDs (step S31). The extraction of feature points and the calculation of feature quantities are executed by, for example, an algorithm selected from the group of SIFT (ScaleInvariantFeatureTransform), SURF (SpeededUpRobustFeatures), and AKAZE (AcceleratedKAZEFeatures). When a plurality of shapes (planes) are estimated for one image data, feature points may be extracted and feature amounts may be calculated for each estimated shape (plane).
　次に、時系列的に隣接する画像データＩＤ（Ａ）、及び画像データＩＤ（Ｂ）に対して、以下の処理が実行される。 Next, the following processing is executed for the image data ID (A) and the image data ID (B) that are adjacent in chronological order.
　対応点探索ステップでは、単位画像データごとに推定された形状の全ての組み合わせに対して対応点が探索される（ステップＳ３２）。単位画像データＵＤＩごとに推定された形状とは、ステップＳ２により、単位画像データＵＤＩに含まれる画像データＩＤから推定された全ての形状である。すなわち、実施形態では、図８で示される画像データＩＤ（Ａ）の３つの推定平面（Ａ１、Ａ２、Ａ３）であり、画像データＩＤ（Ｂ）の２つの推定平面（Ｂ１、Ｂ２）が単位画像データＵＤＩごとに推定された形状となる。 In the corresponding point search step, corresponding points are searched for all combinations of shapes estimated for each unit image data (step S32). The shapes estimated for each unit image data UDI are all the shapes estimated from the image data ID included in the unit image data UDI in step S2. That is, in the embodiment, there are three estimated planes (A1, A2, A3) of the image data ID (A) shown in FIG. 8, and two estimated planes (B1, B2) of the image data ID (B) are units. The shape is estimated for each image data UDI.
　全ての組み合わせに対して対応点を探索するとは、画像データＩＤ（Ａ）のある推定平面と、画像データＩＤ（Ｂ）のある推定平面とに含まれる特徴点に対して、全てを組み合わせて対応点を探索することである。実施形態では、画像データＩＤ（Ａ）の３つの推定平面と、画像データＩＤ（Ｂ）の２つの推定平面との間で対応点を探索することであり、ここでは、６パターン、すなわち（Ａ１：Ｂ１）、（Ａ１：Ｂ２）、（Ａ２：Ｂ１）、（Ａ２：Ｂ２）、（Ａ３：Ｂ１）、（Ａ３：Ｂ２）の組み合わせに対して、それぞれ対応点が探索される。 Searching for corresponding points for all combinations corresponds to all the feature points included in the estimated plane having the image data ID (A) and the estimated plane having the image data ID (B) in combination. It is to search for a point. In the embodiment, a corresponding point is searched between the three estimation planes of the image data ID (A) and the two estimation planes of the image data ID (B), and here, six patterns, that is, (A1). : B1), (A1: B2), (A2: B1), (A2: B2), (A3: B1), (A3: B2), the corresponding points are searched for, respectively.
　対応点の探索では、例えば、各画像の特徴点の特徴量ベクトルを算出し、算出した特徴量ベクトル間の距離が近いものを互いに類似する特徴点として対応づける。対応点の探索方法として、例えば、総当たりマッチングが挙げられる。総当たりマッチングでは、画像データＩＤ（Ａ）の中のある推定平面のある特徴点の特徴量ベクトルと画像データＩＤ（Ｂ）の中の全特徴点の特徴量ベクトルとの距離をそれぞれ算出する。そして、画像データＩＤ（Ｂ）の全特徴点のうち、画像データＩＤ（Ａ）の特徴点の特徴量ベクトルと最も距離が小さい特徴点を対応する特徴点（対応点）として決定する。 In the search for corresponding points, for example, the feature amount vectors of the feature points of each image are calculated, and those with a short distance between the calculated feature amount vectors are associated with each other as similar feature points. As a method of searching for a corresponding point, for example, brute force matching can be mentioned. In the round-robin matching, the distances between the feature amount vector of a certain feature point on a certain estimation plane in the image data ID (A) and the feature amount vector of all the feature points in the image data ID (B) are calculated respectively. Then, among all the feature points of the image data ID (B), the feature point having the shortest distance from the feature amount vector of the feature point of the image data ID (A) is determined as a corresponding feature point (corresponding point).
　次に、射影変換行列算出ステップでは、得られた対応点から、各画素の座標情報に基づいて、２つの画像データＩＤの間の射影変換行列を求める（ステップＳ３３）。 Next, in the projection transformation matrix calculation step, the projection transformation matrix between the two image data IDs is obtained from the obtained corresponding points based on the coordinate information of each pixel (step S33).
　図１０は、上段に２つの画像データＩＤ（Ａ）、画像データＩＤ（Ｂ）の間での特徴点の対応付けを確認するための画像であり、下段に２つの画像データＩＤ（Ａ）、画像データＩＤ（Ｂ）を示している。画像データＩＤ（Ａ）と画像データＩＤ（Ｂ）との間では、Ａ１に相当する画像と、Ｂ１に相当する画像との間で特徴点の対応付けが確認されている。図１０の上段に示されるように、（Ａ１：Ｂ１）の組み合わせにおいて、特徴点の間に引かれている線が平行であるから、正しい対応点が多く得られている。特徴点、及び特徴量が対応付けられていると判断できる。Ａ１とＢ１とに基づいて、画像データＩＤ（Ｂ）から画像データＩＤ（Ａ）への射影変換行列が求められる。 FIG. 10 is an image for confirming the correspondence of the feature points between the two image data IDs (A) and the image data IDs (B) in the upper row, and the two image data IDs (A) in the lower row. The image data ID (B) is shown. Between the image data ID (A) and the image data ID (B), the association of feature points between the image corresponding to A1 and the image corresponding to B1 has been confirmed. As shown in the upper part of FIG. 10, in the combination of (A1: B1), since the lines drawn between the feature points are parallel, many correct corresponding points are obtained. It can be determined that the feature points and the feature amounts are associated with each other. Based on A1 and B1, a projective transformation matrix from the image data ID (B) to the image data ID (A) is obtained.
　（Ａ１：Ｂ１）の組み合わせにおいて、特徴点の対応付けを確認し、射影変換行列を求める場合を示している。残りの５つの組み合わせのパターンに対しても特徴点の対応付けが確認され、射影変換行列を求める処理が実行される。ただし、特徴点の対応付けを確認できない組合せパターンの場合、射影変換行列は求められない。 In the combination of (A1: B1), the case where the correspondence of the feature points is confirmed and the projective transformation matrix is obtained is shown. Correspondence of feature points is confirmed for the remaining five combinations of patterns, and a process of obtaining a projective transformation matrix is executed. However, in the case of a combination pattern in which the correspondence of feature points cannot be confirmed, the projective transformation matrix cannot be obtained.
　次に、オーバーラップ領域抽出ステップでは、ステップ３３で求めた、２つの画像データＩＤの間で射影変換行列を適用し、２つの画像データＩＤがオーバーラップするオーバーラップ領域を抽出する（ステップＳ３４）。 Next, in the overlap region extraction step, a projective transformation matrix is applied between the two image data IDs obtained in step 33, and an overlap region in which the two image data IDs overlap is extracted (step S34). ..
　図１１に示されるように、上段の右側には、画像データＩＤ（Ｂ）が示されている。上段の左側には、画像データＩＤ（Ａ）に対して、ステップ３３で求めた射影変換行列を適用することで得られる変換後画像データＣＩＤ（Ａ）が示されている。実施形態では、画像データＩＤ（Ｂ）を固定し、変換後画像データＣＩＤ（Ａ）移動し、画像データＩＤ（Ｂ）と変換後画像データＣＩＤ（Ａ）が重ね合せられる。 As shown in FIG. 11, the image data ID (B) is shown on the right side of the upper row. On the left side of the upper row, the converted image data CID (A) obtained by applying the projective transformation matrix obtained in step 33 to the image data ID (A) is shown. In the embodiment, the image data ID (B) is fixed, the converted image data CID (A) is moved, and the image data ID (B) and the converted image data CID (A) are superimposed.
　下段の右側には、画像データＩＤ（Ｂ）と変換後画像データＣＩＤ（Ａ）とがオーバーラップする領域であって、画像データＩＤ（Ｂ）に含まれるオーバーラップ領域ＯＬ（Ｂ）が示されている。下段の左側には、画像データＩＤ（Ｂ）と変換後画像データＣＩＤ（Ａ）とがオーバーラップする領域であって、変換後画像データＣＩＤ（Ａ）に含まれるオーバーラップ領域ＯＬ（Ａ）が示されている。 On the right side of the lower row, an area in which the image data ID (B) and the converted image data CID (A) overlap, and the overlap area OL (B) included in the image data ID (B) is shown. ing. On the left side of the lower row is an area where the image data ID (B) and the converted image data CID (A) overlap, and the overlapping area OL (A) included in the converted image data CID (A) is It is shown.
　図１１に示される処理によって、オーバーラップ領域ＯＬ（Ａ）とオーバーラップ領域ＯＬ（Ｂ）とが抽出される。 By the process shown in FIG. 11, the overlap region OL (A) and the overlap region OL (B) are extracted.
　（Ａ１：Ｂ１）の組合せパターンから得られた射影変換行列を適用してオーバーラップ領域ＯＬ（Ａ）とオーバーラップ領域ＯＬ（Ｂ）とが抽出される。オーバーラップ領域の抽出は、ステップ３３で求められた全ての射影変換行列を適用して行われる。例えば、（Ａ１：Ｂ２）、（Ａ２：Ｂ２）の組合せパターンで求められた射影変換行列を適用してオーバーラップ領域が抽出される。 The overlap region OL (A) and the overlap region OL (B) are extracted by applying the projective transformation matrix obtained from the combination pattern of (A1: B1). The extraction of the overlap region is performed by applying all the projective transformation matrices obtained in step 33. For example, the overlap region is extracted by applying the projective transformation matrix obtained by the combination pattern of (A1: B2) and (A2: B2).
　次に、相関値算出ステップでは、ステップ３４で抽出された複数のオーバーラップ領域の間での相関値を算出する（ステップＳ３５）。 Next, in the correlation value calculation step, the correlation value between the plurality of overlapping regions extracted in step 34 is calculated (step S35).
　射影変換行列を適用した画像データＩＤ（Ａ）と画像データＩＤ（Ｂ）とがオーバーラップする画素に対して相関値を求める。相関値は、例えば、ＺＮＣＣ(Zero-mean Norma1ized Cross-Correlation)により求めることができる。実施形態では、特徴点及び特徴量が対応付けられている（Ａ１：Ｂ１）（Ａ１：Ｂ２）、及び（Ａ２：Ｂ２）の組合せパターンを相関値算出する対象とする。 The correlation value is obtained for the pixel in which the image data ID (A) to which the projection transformation matrix is applied and the image data ID (B) overlap. The correlation value can be obtained by, for example, ZNCC (Zero-mean Norma1ized Cross-Correlation). In the embodiment, the combination pattern of (A1: B1) (A1: B2) and (A2: B2) to which the feature points and the feature quantities are associated is the target for which the correlation value is calculated.
　図１２に示されるように、特徴点の対応関係が確認された（Ａ１：Ｂ１）から抽出されたオーバーラップ領域、（Ａ１：Ｂ２）から抽出されたオーバーラップ領域、及び（Ａ２：Ｂ２）から抽出されたオーバーラップ領域、それぞれの領域のみの画素に対して相関値を求める。 As shown in FIG. 12, from the overlap region extracted from (A1: B1) where the correspondence of the feature points was confirmed, the overlap region extracted from (A1: B2), and (A2: B2). The correlation value is obtained for the extracted overlap region and the pixels of each region only.
　実施形態では、（Ａ１：Ｂ１）ではＺＮＣＣ＝０．８３３０５、（Ａ１：Ｂ２）ではＺＮＣＣ＝０．４４８９２、（Ａ２：Ｂ２）ではＺＮＣＣ＝０．８３３０５、（Ａ２：Ｂ２）では、ＺＮＣＣ＝０．８３３０５である。（Ａ１：Ｂ１）及び（Ａ２：Ｂ２）のＺＮＣＣが、（Ａ１：Ｂ２）のＺＮＣＣより高い。 In the embodiment, ZNCC = 0.83305 for (A1: B1), ZNCC = 0.44892 for (A1: B2), ZNCC = 0.83305 for (A2: B2), and ZNCC = 0 for (A2: B2). It is .83305. The ZNCC of (A1: B1) and (A2: B2) is higher than the ZNCC of (A1: B2).
　つまり、（Ａ２：Ｂ２）は特徴点及び特徴量が対応付けられている場合でも、相関値の大きさが異なることが理解できる。 That is, it can be understood that (A2: B2) has different magnitudes of correlation values even when feature points and feature quantities are associated with each other.
　次に、対応平面決定ステップでは、オーバーラップ領域の相関値に基づいて、隣接する画像データに含まれる推定平面に対し、対応平面を決定する（ステップＳ３６）。 Next, in the corresponding plane determination step, the corresponding plane is determined with respect to the estimated plane included in the adjacent image data based on the correlation value of the overlap region (step S36).
　オーバーラップ領域の相関値が閾値を越えていれば、推定された平面領域は同じ平面である推定し、平面の対応関係の情報を記憶する。推定された平面形状ごとに画像データＩＤの画素ごとの対応関係が取得され、記憶される。 If the correlation value of the overlap region exceeds the threshold value, the estimated plane region is estimated to be the same plane, and the information on the correspondence between the planes is stored. The correspondence relationship of the image data ID for each pixel is acquired and stored for each estimated plane shape.
　対応平面が決定されると（ステップＳ３６）、対応関係取得ステップ（ステップＳ３）が終了する。図５に示される、回転行列及び並進ベクトル推定ステップ（ステップＳ４）に進む。 When the correspondence plane is determined (step S36), the correspondence acquisition step (step S3) ends. The process proceeds to the rotation matrix and translation vector estimation step (step S4) shown in FIG.
　（回転行列及び並進ベクトル推定ステップ）
　回転行列及び並進ベクトル推定ステップは、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する（ステップＳ４）。 (Rotation matrix and translation vector estimation step)
The rotation matrix and translation vector estimation step estimates the rotation matrix and translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixels (step S4). ..
　対応関係取得ステップにより、隣接する画像データＩＤに含まれる推定平面の対応関係が決定され、画素ごとの対応関係が取得されている。隣接する単位画像データＵＩＤにおいて、決定された対応平面に含まれる三次元データＴＤは同じ位置である。隣接する単位画像データＵＩＤのそれぞれの三次元データＴＤから回転行列、及び並進ベクトルを推定する。 The correspondence relationship acquisition step determines the correspondence relationship of the estimated planes included in the adjacent image data IDs, and the correspondence relationship for each pixel is acquired. In the adjacent unit image data UID, the three-dimensional data TD included in the determined corresponding plane is at the same position. The rotation matrix and translation vector are estimated from the three-dimensional data TDs of the adjacent unit image data UIDs.
　実施形態では、単位画像データＵＩＤ（Ａ）の三次元データＴＤ群から単位画像データＵＩＤ（Ｂ）の三次元データＴＤ群への回転行列、及び並進ベクトルが推定される。 In the embodiment, the rotation matrix from the three-dimensional data TD group of the unit image data UID (A) to the three-dimensional data TD group of the unit image data UID (B) and the translation vector are estimated.
　図４に示される推定部１３８が、単位画像データＵＩＤ（Ａ）の画素に対応する三次元データＴＤと単位画像データＵＩＤ（Ｂ）の画素に対応する三次元データＴＤから回転行列、及び並進ベクトルを求める。対応付けられた単位画像データＵＩＤ（Ａ）の画素と単位画像データＵＩＤ（Ｂ）の画素との間の全ての回転行列、及び並進ベクトルが求められる。推定部１３８は、求められた全ての回転行列、及び並進ベクトルから、最小二乗法等により単位画像データＵＩＤ（Ａ）から単位画像データＵＩＤ（Ｂ）への回転行列、及び並進ベクトル（数１）を推定する。なお、１つの画像データに複数の形状（平面）が推定された場合は、複数の形状（平面）のそれぞれで単位画像データＵＩＤ（Ａ）の三次元データＴＤ群から単位画像データＵＩＤ（Ｂ）の三次元データＴＤ群への回転行列及び並進ベクトルが推定してもよい。また、推定した各形状（平面）における複数の回転行列及び並進ベクトルを用いて最小二乗法等により、最終的な単位画像データＵＩＤ（Ａ）から、単位画像データＵＩＤ（Ｂ）への回転行列及び並進ベクトルを推定してもよい。 The estimation unit 138 shown in FIG. 4 has a rotation matrix and a translation vector from the three-dimensional data TD corresponding to the pixels of the unit image data UID (A) and the three-dimensional data TD corresponding to the pixels of the unit image data UID (B). Ask for. All rotation matrices and translation vectors between the pixels of the associated unit image data UID (A) and the pixels of the unit image data UID (B) are obtained. The estimation unit 138 uses the rotation matrix from all the obtained rotation matrices and the translation vector to the unit image data UID (A) to the unit image data UID (B) by the minimum square method or the like, and the translation vector (Equation 1). To estimate. When a plurality of shapes (planes) are estimated in one image data, the unit image data UID (B) is obtained from the three-dimensional data TD group of the unit image data UID (A) for each of the plurality of shapes (planes). The rotation matrix and translation vector to the three-dimensional data TD group of the above may be estimated. Further, the rotation matrix from the final unit image data UID (A) to the unit image data UID (B) and the rotation matrix from the final unit image data UID (B) by the least squares method or the like using a plurality of rotation matrices and translation vectors in each estimated shape (plane). The translation vector may be estimated.
　回転行列は０．９９６８から０．８９１１までの３×３で示され、並進ベクトルは－０．０００１から０．０６３３までの３×１で示される。４行目の０から１までの１×４は、同次座標系という考えがあり、Ｘ、Ｙ、Ｚの３次元を１つ上にあげて４次元にして計算する。 The rotation matrix is represented by 3x3 from 0.9968 to 0.8911, and the translation vector is represented by 3x1 from -0.0001 to 0.0633. There is an idea that 1 × 4 from 0 to 1 on the 4th line is a homogeneous coordinate system, and the three dimensions of X, Y, and Z are raised by one to make four dimensions.
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000001
　（隣接画像合成ステップ）
　隣接画像合成ステップでは、隣接する単位画像データの間で、全ての画素に回転行列と前記並進ベクトルとを適用し、隣接する単位画像データを１つの空間座標上で合成する（ステップＳ５）。 (Adjacent image composition step)
In the adjacent image composition step, the rotation matrix and the translation vector are applied to all the pixels between the adjacent unit image data, and the adjacent unit image data are combined on one spatial coordinate (step S5).
　図４に示される合成部１４０は、求められた回転行列と並進ベクトルを単位画像データＵＩＤ（Ｂ）の全ての画素に適用し、単位画像データＵＩＤ（Ａ）と単位画像データＵＩＤ（Ｂ）とを１つの空間座標上で合成する。 The synthesis unit 140 shown in FIG. 4 applies the obtained rotation matrix and translation vector to all the pixels of the unit image data UID (B), and obtains the unit image data UID (A) and the unit image data UID (B). Is synthesized on one spatial coordinate.
　図１３に示されるように、単位画像データＵＩＤ（Ｂ）が単位画像データＵＩＤ（Ａ）の空間座標上で合成され、合成画像ＣＩ－ＡＢが生成される。 As shown in FIG. 13, the unit image data UID (B) is synthesized on the spatial coordinates of the unit image data UID (A), and the composite image CI-AB is generated.
　取得された全ての単位画像データＵＩＤに対して、時系列的に、形状推定ステップ（ステップＳ２）、対応関係取得ステップ（ステップＳ３）、回転行列と並進ベクトル推定ステップ（ステップＳ４）、及び隣接画像合成ステップ（ステップＳ５）を実行する。 For all the acquired unit image data UIDs, in chronological order, a shape estimation step (step S2), a correspondence acquisition step (step S3), a rotation matrix and translation vector estimation step (step S4), and an adjacent image. The synthesis step (step S5) is executed.
　図１４に示されるように、橋梁を対象物として、単位画像データＵＩＤの単位画像データ群３５０から三次元モデル３６０が作成される。単位画像データ群３５０は２２個の単位画像データＵＩＤを含んでいる。各単位画像データＵＩＤは画像データと三次元データとを含んでいる。 As shown in FIG. 14, a three-dimensional model 360 is created from the unit image data group 350 of the unit image data UID with the bridge as the object. The unit image data group 350 includes 22 unit image data UIDs. Each unit image data UID includes image data and three-dimensional data.
　三次元モデル３６０は、作成可能な三次元モデルの画像を含んでいる。画像３６２及び画像３６４は、架橋及び床版の画像である。画像３６６は、横から見た橋梁の全体画像である。画像３６８は、橋梁の床版に対応するオルソ画像である。床版の歪みがない三次元モデル３６０が２分程度の処理時間で得られた。実施形態では、隣接する単位画像データＵＩＤにおける対応する画素の間で色味が調整されている。色味を調整することで、色味が統一され質の高い三次元モデル３６０が取得できる。なお、色味の調整は、対応する画素同士のＲＧＢの平均ベクトルを求め、シフトさせることで実行できる。 The 3D model 360 includes an image of a 3D model that can be created. Image 362 and image 364 are images of bridges and decks. Image 366 is an overall image of the bridge as seen from the side. Image 368 is an ortho image corresponding to the deck of the bridge. A three-dimensional model 360 without distortion of the deck was obtained in a processing time of about 2 minutes. In the embodiment, the tint is adjusted between the corresponding pixels in the adjacent unit image data UID. By adjusting the color, it is possible to obtain a high-quality three-dimensional model 360 in which the color is unified. The tint can be adjusted by finding and shifting the RGB average vector of the corresponding pixels.
　本発明に係る画像処理装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像表示装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。 The hardware that realizes the image processing device according to the present invention can be configured by various processors. Various processors include CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute programs and function as various processing units, and whose circuit configurations can be changed after manufacturing. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit). One processing unit constituting the image display device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types. For example, one processing unit may be composed of a plurality of FPGAs or a combination of a CPU and an FPGA. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure. Further, the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
　以上、本発明について説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよい。 Although the present invention has been described above, the present invention is not limited to the above examples, and various improvements and modifications may be made without departing from the gist of the present invention.
１：橋梁
２：主桁
３：床版
４：橋脚
１００：画像処理装置
１１０：操作部
１２０：表示部
１３２：単位画像データ取得部
１３４：形状推定部
１３６：対応関係取得部
１３８：推定部
１４０：合成部
１４２：制御部
２００：撮像装置
２０２：画像データ取得装置
２０４：三次元データ取得装置
２５０：コントローラ
３００：移動体
３１０：プロペラ駆動モータ
３１２：モータドライバ
３１６：センサ部
３１８：機体側無線通信部
３３０：移動体マイコン
３３２：制御部
３３４：移動制御部
３３６：機体側無線通信制御部
３３８：カメラ制御部
３５０：単位画像データ群
３６０：三次元モデル
３６２、３６４、３６６、３６８：画像 1: Bridge 2: Main girder 3: Floor slab 4: Bridge leg 100: Image processing device 110: Operation unit 120: Display unit 132: Unit image data acquisition unit 134: Shape estimation unit 136: Correspondence relationship acquisition unit 138: Estimating unit 140 : Synthesis unit 142: Control unit 200: Imaging device 202: Image data acquisition device 204: Three-dimensional data acquisition device 250: Controller 300: Mobile unit 310: Propeller drive motor 312: Motor driver 316: Sensor unit 318: Aircraft side wireless communication Unit 330: Mobile microcomputer 332: Control unit 334: Mobile control unit 336: Aircraft side wireless communication control unit 338: Camera control unit 350: Unit image data group 360: Three- dimensional model 362, 364, 366, 368: Image

Claims (11)

  1. 　画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した前記対象物の三次元データとを前記画像データ毎に関連付けた複数の単位画像データを取得するステップと、
    　前記単位画像データごとに、前記単位画像データに含まれる前記三次元データに基づいて形状を推定する形状推定ステップと、
    　前記複数の単位画像データの中で隣接する前記単位画像データの同士で、推定された前記形状ごとに前記画像データの画素ごとの対応関係を取得する対応関係取得ステップと、
    　取得された前記画素ごとの対応関係と、前記画素に対応する前記三次元データとから、隣接する前記単位画像データの間の回転行列と並進ベクトルとを推定する推定ステップと、
    　隣接する前記単位画像データの間で、全ての画素に前記回転行列と前記並進ベクトルとを適用し、隣接する前記単位画像データを１つの空間座標上で合成する合成ステップと、
    　を含む画像処理方法。     A step of acquiring a plurality of unit image data in which a plurality of image data of an object acquired from an image data acquisition device and a plurality of unit image data of the object acquired from a three-dimensional data acquisition device are associated with each image data.
    For each unit image data, a shape estimation step for estimating a shape based on the three-dimensional data included in the unit image data, and a shape estimation step.
    A correspondence relationship acquisition step of acquiring a correspondence relationship for each pixel of the image data for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data,
    An estimation step for estimating a rotation matrix and a translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixel.
    A synthesis step of applying the rotation matrix and the translation vector to all the pixels among the adjacent unit image data and synthesizing the adjacent unit image data on one spatial coordinate.
    Image processing method including.
  2. 　前記形状が平面である請求項１に記載の画像処理方法。 The image processing method according to claim 1, wherein the shape is a flat surface.
  3. 　前記合成ステップは、対応する前記画素の間で色味を調整することを含む、請求項１又は２に記載の画像処理方法。 The image processing method according to claim 1 or 2, wherein the compositing step includes adjusting a tint between the corresponding pixels.
  4. 　前記対応関係取得ステップは、前記画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び前記単位画像データごとに推定された前記形状の全ての組み合わせに対して対応点の探索を含む、請求項１から３のいずれか一項に記載の画像処理方法。 The correspondence acquisition step extracts feature points from the image data and calculates a feature amount, and searches for corresponding points for all combinations of the shapes estimated for each unit image data. The image processing method according to any one of claims 1 to 3, which comprises.
  5. 　前記対応関係取得ステップにおける前記特徴点の抽出は、ＳＩＦＴ、ＳＵＲＦ、及びＡＫＡＺＥの群から選択されるアルゴリズムを含む、請求項４に記載の画像処理方法。 The image processing method according to claim 4, wherein the extraction of the feature points in the correspondence acquisition step includes an algorithm selected from the group of SIFT, SURF, and AKAZE.
  6. 　前記対応関係取得ステップは、前記対応点から得られた射影変換行列により、隣接する前記単位画像データの画像データを重ね合せたオーバーラップ領域を抽出し、前記オーバーラップ領域における相関値に基づいて、前記画像データの画素ごとの対応関係を取得することを含む、請求項４又は５に記載の画像処理方法。 In the correspondence relationship acquisition step, an overlap region in which the image data of the adjacent unit image data is superimposed is extracted from the projective transformation matrix obtained from the correspondence point, and based on the correlation value in the overlap region, the overlap region is extracted. The image processing method according to claim 4 or 5, which comprises acquiring a correspondence relationship for each pixel of the image data.
  7. 　前記相関値をＺＮＣＣ法により求める、請求項６に記載の画像処理方法。 The image processing method according to claim 6, wherein the correlation value is obtained by the ZNCC method.
  8. 　前記画像データ取得装置と前記三次元データ取得装置とがＲＧＢ－Ｄカメラである、請求項１から７のいずれか一項に記載の画像処理方法。 The image processing method according to any one of claims 1 to 7, wherein the image data acquisition device and the three-dimensional data acquisition device are RGB-D cameras.
  9. 　画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した前記対象物の三次元データとを前記画像データ毎に関連付けた複数の単位画像データを取得する単位画像データ取得部と、
    　前記単位画像データごとに、前記単位画像データに含まれる前記三次元データに基づいて形状を推定する形状推定部と、
    　前記複数の単位画像データの中で隣接する前記単位画像データの同士で、推定された前記形状ごとに前記画像データの画素ごとの対応関係を取得する対応関係取得部と、
    　取得された前記画素ごとの対応関係と、前記画素に対応する前記三次元データとから、隣接する前記単位画像データの間の回転行列と並進ベクトルとを推定する推定部と、
    　隣接する前記単位画像データの間で、全ての画素に前記回転行列と前記並進ベクトルとを適用し、隣接する前記単位画像データを１つの空間座標上で合成する合成部と、
    　を含む画像処理装置。     Unit image data for acquiring a plurality of unit image data in which a plurality of image data of an object acquired from an image data acquisition device and three-dimensional data of the object acquired from a three-dimensional data acquisition device are associated with each image data. Acquisition department and
    For each unit image data, a shape estimation unit that estimates a shape based on the three-dimensional data included in the unit image data, and a shape estimation unit.
    A correspondence relationship acquisition unit that acquires a correspondence relationship for each pixel of the image data for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data.
    An estimation unit that estimates a rotation matrix and a translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixel.
    Among the adjacent unit image data, a compositing unit that applies the rotation matrix and the translation vector to all pixels and synthesizes the adjacent unit image data on one spatial coordinate.
    Image processing equipment including.
  10. 　請求項１から８のいずれか一項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。 An image processing program for causing a computer to execute the image processing method according to any one of claims 1 to 8.
  11. 　校正された画像データ取得装置と三次元データ取得装置とを備える移動体と、
    　請求項９に記載の画像処理装置と、
    　を備える画像処理システム。     A moving body equipped with a calibrated image data acquisition device and a three-dimensional data acquisition device,
    The image processing apparatus according to claim 9,
    An image processing system equipped with.
PCT/JP2020/044729 2019-12-09 2020-12-01 Image processing method, image processing device, image processing program, and image processing system WO2021117558A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021563880A JP7421572B2 (en) 2019-12-09 2020-12-01 Image processing method, image processing device, image processing program, and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019221840 2019-12-09
JP2019-221840 2019-12-09

Publications (1)

Publication Number Publication Date
WO2021117558A1 true WO2021117558A1 (en) 2021-06-17

Family

ID=76330250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044729 WO2021117558A1 (en) 2019-12-09 2020-12-01 Image processing method, image processing device, image processing program, and image processing system

Country Status (2)

Country Link
JP (1) JP7421572B2 (en)
WO (1) WO2021117558A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003621A (en) * 2017-05-09 2019-01-10 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ Determining architectural layout
JP2019148926A (en) * 2018-02-26 2019-09-05 株式会社リコー Information processing apparatus, moving body system, imaging system, and information processing method
WO2019198562A1 (en) * 2018-04-11 2019-10-17 富士フイルム株式会社 Structure management device, structure management method, and structure management program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003621A (en) * 2017-05-09 2019-01-10 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ Determining architectural layout
JP2019148926A (en) * 2018-02-26 2019-09-05 株式会社リコー Information processing apparatus, moving body system, imaging system, and information processing method
WO2019198562A1 (en) * 2018-04-11 2019-10-17 富士フイルム株式会社 Structure management device, structure management method, and structure management program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SALAS-MORENO R. F. ET AL.: "Dense Planar SLAM", 2014 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGUMENTED REALITY (ISMAR, 2014, pages 157 - 164, XP032676132, DOI: 10.1109/ISMAR.2014.6948422 *
YASUTAKA FURUKAWA; JEAN PONCE: "Accurate, Dense, and Robust Multiview Stereopsis", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 32, no. 8, 2009, pages 1362 - 1376, XP011295489 *

Also Published As

Publication number Publication date
JPWO2021117558A1 (en) 2021-06-17
JP7421572B2 (en) 2024-01-24

Similar Documents

Publication Publication Date Title
US10659677B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN111436216B (en) Method and system for color point cloud generation
CN108474658B (en) Ground form detection method and system, unmanned aerial vehicle landing method and unmanned aerial vehicle
US20140376821A1 (en) Method and system for determining position and/or orientation
US10645365B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
García-Moreno et al. LIDAR and panoramic camera extrinsic calibration approach using a pattern plane
EP3032818B1 (en) Image processing device
CN110044374B (en) Image feature-based monocular vision mileage measurement method and odometer
Umeda et al. Registration of range and color images using gradient constraints and range intensity images
CN106233219A (en) Mobile platform operating system and method
EP3193136A1 (en) Method and system for geometric referencing of multi-spectral data
KR20220113781A (en) How to measure the topography of your environment
JP2024072827A (en) CONTROL DEVICE, IMAGING SYSTEM, AND IMAGING METHOD
Salvi et al. Visual SLAM for 3D large-scale seabed acquisition employing underwater vehicles
JP7067479B2 (en) Displacement measuring device, displacement measuring system, displacement measuring method and program
WO2021117558A1 (en) Image processing method, image processing device, image processing program, and image processing system
US20220276387A1 (en) Image processing method, image processing apparatus, and image processing program
Maset et al. Exploiting multi-camera constraints within bundle block adjustment: An experimental comparison
CN113052974A (en) Method and device for reconstructing three-dimensional surface of object
JP4139137B2 (en) Building outline extraction method and system
Nagai et al. Development of digital surface model and feature extraction by integrating laser scanner and CCD sensor with IMU
CN103310448B (en) Camera head pose estimation and the real-time method generating composite diagram for DAS
KR102107465B1 (en) System and method for generating epipolar images by using direction cosine
Li et al. Extrinsic calibration between a stereoscopic system and a LIDAR with sensor noise models
Shahbazi et al. Seamless co-registration of images from multi-sensor multispectral cameras

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897748

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563880

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20897748

Country of ref document: EP

Kind code of ref document: A1