WO2021117558A1 - Image processing method, image processing device, image processing program, and image processing system - Google Patents
Image processing method, image processing device, image processing program, and image processing system Download PDFInfo
- Publication number
- WO2021117558A1 WO2021117558A1 PCT/JP2020/044729 JP2020044729W WO2021117558A1 WO 2021117558 A1 WO2021117558 A1 WO 2021117558A1 JP 2020044729 W JP2020044729 W JP 2020044729W WO 2021117558 A1 WO2021117558 A1 WO 2021117558A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image data
- unit
- image processing
- unit image
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Definitions
- SLAM is a technology that obtains a three-dimensional point cloud of an object with a laser sensor or the like, and estimates its own position by using the match with the three-dimensional point cloud of the object obtained again after moving.
- SLAM has a problem that it is necessary to execute ICP (Iterative Closest Point) for obtaining the correspondence between two points of two point sets while sequentially shifting their own positions, which is expensive to calculate.
- ICP Intelligent Closest Point
- the correlation value is obtained by the ZNCC (Zero mean Normalized Cross Correlation) method.
- ZNCC Zero mean Normalized Cross Correlation
- a preferable process for calculating the correlation value is specified.
- the image data acquisition device 202 includes an image sensor such as CMOS (Complementary Metal Oxide Semiconductor) (not shown).
- the image pickup device has a plurality of pixels composed of photoelectric exchange elements two-dimensionally arranged in the x direction (horizontal direction) and the y direction (vertical direction), and on the upper surface of the plurality of pixels, for example, R.
- a color filter (not shown) in which (red), G (green), and B (blue) filters are two-dimensionally Bayer-arranged is arranged.
- the image data acquisition device 202 can acquire two-dimensional color image data.
- the image data acquisition device 202 acquires image data for each angle of view for each image capture.
- the imaging range is determined by the angle of view of the image data acquisition device 202.
- the image data acquisition device 202 acquires a plurality of image data for the object.
- the angle of view represents the imaging range when the image data acquisition device 202 captures the image.
- corresponding points are searched for all combinations of shapes estimated for each unit image data (step S32).
- the shapes estimated for each unit image data UDI are all the shapes estimated from the image data ID included in the unit image data UDI in step S2. That is, in the embodiment, there are three estimated planes (A1, A2, A3) of the image data ID (A) shown in FIG. 8, and two estimated planes (B1, B2) of the image data ID (B) are units.
- the shape is estimated for each image data UDI.
- the image data ID (B) is shown on the right side of the upper row. On the left side of the upper row, the converted image data CID (A) obtained by applying the projective transformation matrix obtained in step 33 to the image data ID (A) is shown.
- the image data ID (B) is fixed, the converted image data CID (A) is moved, and the image data ID (B) and the converted image data CID (A) are superimposed.
- a three-dimensional model 360 is created from the unit image data group 350 of the unit image data UID with the bridge as the object.
- the unit image data group 350 includes 22 unit image data UIDs.
- Each unit image data UID includes image data and three-dimensional data.
- the hardware that realizes the image processing device according to the present invention can be configured by various processors.
- Various processors include CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute programs and function as various processing units, and whose circuit configurations can be changed after manufacturing. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit).
- One processing unit constituting the image display device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types.
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Provided are an image processing method, an image processing device, an image processing program, and an image processing system with which it is possible to reduce an amount of image data. The image processing method includes: a step of acquiring a plurality of sets of unit image data in which a plurality of sets of image data of an object, acquired from an image data acquiring device, and three-dimensional data of the object, acquired from a three-dimensional data acquiring device, are associated with one another for each set of image data; a shape estimating step of estimating shapes on the basis of the three-dimensional data contained in the unit image data, for each set of unit image data; a correspondence relationship acquiring step of acquiring a correspondence relationship, for each pixel in the image data for each estimated shape, between adjacent sets of unit image data among the plurality of sets of unit image data; an estimating step of estimating a rotation matrix and a translation vector between the adjacent sets of unit image data, from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixel; and a combining step of applying the rotation matrix and the translation vector to all pixels, between the adjacent sets of unit image data, to combine each of the adjacent sets of unit image data onto one spatial coordinate.
Description
本発明は画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムに関する。
The present invention relates to an image processing method, an image processing device, an image processing program, and an image processing system.
近年、構造物の撮像画像を取得し、その取得した撮像画像から三次元モデルを生成する技術が提案されている。
In recent years, a technique has been proposed in which a captured image of a structure is acquired and a three-dimensional model is generated from the captured image.
例えば、特許文献1は、三次元モデルの生成に最適な画像に対して、SfM(Structure from Motion)、又はSLAM(Simultaneous Localization and Mapping)のデータ処理を適用することを開示する。
For example, Patent Document 1 discloses that SfM (Structure from Motion) or SLAM (Simultaneous Localization and Mapping) data processing is applied to an image that is optimal for generating a three-dimensional model.
SfMは、撮像範囲を互いに重ね合せた大量の二次元画像データを必要とし、各画像間の運動視差を利用して、自己位置と対象物の三次元点を推定する。そのために、例えば、次の処理が実行される。
SfM requires a large amount of two-dimensional image data in which the imaging ranges are superimposed on each other, and estimates the self-position and the three-dimensional point of the object by using the motion parallax between the images. Therefore, for example, the following processing is executed.
(1)各画像上で持徴点を抽出し、対応点を取得することにより、複数の画像に写り込んでいる物体上の点を見つけ出す。(2)各画像間を撮影した三次元空間上の相対的な配置位置関係を推定し、写り込んだ物体上の点の三次元座標を推定する。(3)三次元点が各二次元画像に再投影されたときの誤差の総和を求める。(4)再投影誤差の総和を小さくさせるために、物体上の点の三次元座標の補正、各画像の自己位置を補正する。(1)から(4)の処理が繰り返し実行される。
(1) By extracting the points on each image and acquiring the corresponding points, the points on the object reflected in multiple images are found. (2) Estimate the relative arrangement and positional relationship between the images in the three-dimensional space taken, and estimate the three-dimensional coordinates of the points on the reflected object. (3) Find the sum of the errors when the 3D points are reprojected on each 2D image. (4) In order to reduce the total reprojection error, the three-dimensional coordinates of the points on the object are corrected and the self-position of each image is corrected. The processes (1) to (4) are repeatedly executed.
ところで、2つの画像から、それぞれ持徴点、及び対応点を取得する場合、対象物が明るく、鮮明なテクスチャーを持つ平面の場合に特徴点及び対応点を見つけることは難しくない。
By the way, when acquiring the possession points and the corresponding points from the two images, it is not difficult to find the feature points and the corresponding points when the object is a plane having a bright and clear texture.
一方、対象物のテクスチャーが鮮明でない場合、特徴点及び対応点が取得しにくい。また、凹凸がある場合、得られにくく、視差の影響で対応点を得ることが難しくなる。例えば、撮影の対象物が橋梁の床版の場合、対象物が暗くテクスチャーが鮮明ではなく、また、鋼部材などの凹凸がある点から、画像間の持徴点、及び対応点を取得することは容易ではないという問題がある。
On the other hand, if the texture of the object is not clear, it is difficult to obtain feature points and corresponding points. Further, when there is unevenness, it is difficult to obtain it, and it is difficult to obtain a corresponding point due to the influence of parallax. For example, when the object to be photographed is a deck of a bridge, the object is dark and the texture is not clear, and there are irregularities such as steel members. Has the problem that it is not easy.
SLAMは、レーザーセンサなどで対象物の三次元点群を得、移動先後、再度得られた対象物の三次元点群との一致を利用して、自己位置を推定する技術である。SLAMは、例えば、2つの点集合の2点の対応関係を、逐次的に自己位置をずらしながら求めるICP(Iterative Closest Point)を実行する必要があり、計算に費用がかかるという問題がある。
SLAM is a technology that obtains a three-dimensional point cloud of an object with a laser sensor or the like, and estimates its own position by using the match with the three-dimensional point cloud of the object obtained again after moving. SLAM has a problem that it is necessary to execute ICP (Iterative Closest Point) for obtaining the correspondence between two points of two point sets while sequentially shifting their own positions, which is expensive to calculate.
本発明はこのような事情に鑑みてなされたもので、効率よく三次元モデルを生成できる画像処理方法、画像処理装置、画像処理プログラム、及び画像処理システムを提供することを目的とする。
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an image processing method, an image processing device, an image processing program, and an image processing system capable of efficiently generating a three-dimensional model.
第1態様に係る画像処理方法は、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得するステップと、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する形状推定ステップと、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する対応関係取得ステップと、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する推定ステップと、隣接する単位画像データの間で、全ての画素に回転行列と並進ベクトルとを適用し、隣接する単位画像データを1つの空間座標上で合成する合成ステップと、を含む。第1態様によれば、効率よく三次元モデルを生成できる。
The image processing method according to the first aspect is a plurality of units in which a plurality of image data of an object acquired from an image data acquisition device and three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data. A step of acquiring image data, a shape estimation step of estimating a shape based on three-dimensional data included in the unit image data for each unit image data, and a unit image data adjacent to each other in a plurality of unit image data. Then, from the correspondence relationship acquisition step for acquiring the correspondence relationship for each pixel of the image data for each estimated shape, the correspondence relationship for each acquired pixel, and the three-dimensional data corresponding to the pixel, the adjacent unit image data Between the estimation step of estimating the rotation matrix and translation vector between, and the adjacent unit image data, the rotation matrix and translation vector are applied to all pixels, and the adjacent unit image data is displayed on one spatial coordinate. Includes a synthesis step to synthesize with. According to the first aspect, a three-dimensional model can be efficiently generated.
第2態様に係る画像処理方法において、形状が平面である。第2態様によれば、形状の推定を容易に実行できる。
In the image processing method according to the second aspect, the shape is flat. According to the second aspect, the shape can be easily estimated.
第3態様に係る画像処理方法において、合成ステップは、対応する画素の間で色味を調整することを含む。第3態様によれば、色味を調整することにより、質の高い三次元モデルを取得できる。
In the image processing method according to the third aspect, the compositing step includes adjusting the tint between the corresponding pixels. According to the third aspect, a high-quality three-dimensional model can be obtained by adjusting the color.
第4態様に係る画像処理方法において、対応関係取得ステップは、画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び単位画像データごとに推定された形状の全ての組み合わせに対して対応点の探索を含む。第4態様によれば、対応関係取得ステップの好ましい処理を特定する。
In the image processing method according to the fourth aspect, the correspondence acquisition step is to extract feature points and calculate feature amounts from the image data, and to perform all combinations of shapes estimated for each unit image data. On the other hand, the search for corresponding points is included. According to the fourth aspect, a preferable process of the correspondence acquisition step is specified.
第5態様に係る画像処理方法において、対応関係取得ステップにおける特徴点の抽出は、SIFT、SURF、及びAKAZEの群から選択されるアルゴリズムを含む。第5態様によれば、特徴点の抽出の好ましい処理を特定する。
In the image processing method according to the fifth aspect, the extraction of feature points in the correspondence acquisition step includes an algorithm selected from the group of SIFT, SURF, and AKAZE. According to the fifth aspect, a preferred process for extracting feature points is specified.
第6態様に係る画像処理方法において、対応関係取得ステップは、対応点から得られた射影変換行列により、隣接する単位画像データの画像データを重ね合せたオーバーラップ領域を抽出し、オーバーラップ領域における相関値に基づいて、画像データの画素ごとの対応関係を取得することを含む。第6態様によれば、相関値を算出することで、より正確に対応関係を決定できる。
In the image processing method according to the sixth aspect, in the correspondence relationship acquisition step, the overlap region in which the image data of the adjacent unit image data is superimposed is extracted by the projective transformation matrix obtained from the correspondence point, and the overlap region is used. It includes acquiring the correspondence relationship for each pixel of the image data based on the correlation value. According to the sixth aspect, the correspondence can be determined more accurately by calculating the correlation value.
第7態様に係る画像処理方法において、相関値をZNCC(Zero mean Normalized Cross Correlation)法により求める。第7態様によれば、相関値算出の好ましい処理を特定する。
In the image processing method according to the seventh aspect, the correlation value is obtained by the ZNCC (Zero mean Normalized Cross Correlation) method. According to the seventh aspect, a preferable process for calculating the correlation value is specified.
第8態様に係る画像処理方法において、画像データ取得装置と三次元データ取得装置とがRGB-Dカメラである。第8態様によれば、校正された画像データと三次元データとを取得できる。
In the image processing method according to the eighth aspect, the image data acquisition device and the three-dimensional data acquisition device are RGB-D cameras. According to the eighth aspect, the calibrated image data and the three-dimensional data can be acquired.
第9態様に係る画像処理装置は、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する単位画像データ取得部と、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する形状推定部と、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する対応関係取得部と、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する推定部と、隣接する単位画像データの間で、全ての画素に回転行列と並進ベクトルとを適用し、隣接する単位画像データを1つの空間座標上で合成する合成部と、を含む。第9態様によれば、第1態様と同様に、効率よく三次元モデルを生成できる。
The image processing device according to the ninth aspect is a plurality of units in which a plurality of image data of an object acquired from the image data acquisition device and three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data. A unit image data acquisition unit that acquires image data, a shape estimation unit that estimates the shape based on the three-dimensional data included in the unit image data for each unit image data, and adjacent units in a plurality of unit image data. Adjacent to each other from the correspondence relationship acquisition unit that acquires the correspondence relationship for each pixel of the image data for each estimated shape, the correspondence relationship for each acquired pixel, and the three-dimensional data corresponding to the pixel. The rotation matrix and translation vector are applied to all pixels between the estimation unit that estimates the rotation matrix and translation vector between the unit image data and the adjacent unit image data, and the adjacent unit image data is set to 1. Includes a compositing part that synthesizes on one spatial coordinate. According to the ninth aspect, a three-dimensional model can be efficiently generated as in the first aspect.
第10態様に係る画像処理プログラムは、上記画像処理方法をコンピュータに実行させる。第10態様によれば、コンピュータにより画像処理方法を実行できる。
The image processing program according to the tenth aspect causes a computer to execute the above image processing method. According to the tenth aspect, the image processing method can be executed by a computer.
第11態様に係る画像処理システムは、校正された画像データ取得装置と三次元データ取得装置とを備える移動体と、上記画像処理装置と、を備える。
The image processing system according to the eleventh aspect includes a moving body including a calibrated image data acquisition device and a three-dimensional data acquisition device, and the image processing device.
本発明の画像処理方法、画像処理装置、及び画像処理プログラムによれば、効率よく三次元モデルを生成できる。
According to the image processing method, the image processing device, and the image processing program of the present invention, a three-dimensional model can be efficiently generated.
以下、添付図面に従って本発明に係る画像処理方法、画像処理装置、及び画像処理プログラムの好ましい実施の形態について説明する。
Hereinafter, preferred embodiments of the image processing method, the image processing apparatus, and the image processing program according to the present invention will be described with reference to the accompanying drawings.
図1は、画像処理システムを概念的に示す図である。画像処理システムは、画像処理装置100と撮像装置200とにより構成される。
FIG. 1 is a diagram conceptually showing an image processing system. The image processing system includes an image processing device 100 and an image pickup device 200.
画像処理装置100は、コンピュータにより構成される。画像処理装置100には、例えば、操作部110、及び表示部120が接続されている。画像処理装置100を構成するコンピュータは、インストールされた画像処理プログラムを実行することにより、画像処理装置100として機能する。なお、図示されたコンピュータの形態は一例であり、コンピュータと同様の機能を有する装置は本発明の画像処理装置100を備えることができる。例えば、画像処理装置100はタブレット端末により構成される。
The image processing device 100 is composed of a computer. For example, an operation unit 110 and a display unit 120 are connected to the image processing device 100. The computer constituting the image processing device 100 functions as the image processing device 100 by executing the installed image processing program. The illustrated form of the computer is an example, and the device having the same function as the computer can include the image processing device 100 of the present invention. For example, the image processing device 100 is composed of a tablet terminal.
撮像装置200は、校正された画像データ取得装置202と三次元データ取得装置204とを備える。撮像装置200は、対象物の一例である橋梁1を撮像して、単位画像データUIDを取得する。単位画像データUIDは、画像データ取得装置202により取得される画像データと三次元データ取得装置204により取得された三次元データとを関連付けたデータである。
The image pickup device 200 includes a calibrated image data acquisition device 202 and a three-dimensional data acquisition device 204. The image pickup apparatus 200 takes an image of a bridge 1 which is an example of an object, and acquires a unit image data UID. The unit image data UID is data in which the image data acquired by the image data acquisition device 202 and the three-dimensional data acquired by the three-dimensional data acquisition device 204 are associated with each other.
撮像装置200は、橋梁1を分割して撮像することにより複数の単位画像データUIDを取得する。
The image pickup device 200 acquires a plurality of unit image data UIDs by dividing the bridge 1 and taking an image.
撮像装置200は、撮像範囲を移動しながら、順番に隣接する複数の単位画像データUIDを取得する。なお、複数の単位画像データUIDは、合成されることを考慮して、隣接する単位画像データUIDと重複領域を有するように撮像される。複数の単位画像データUIDが画像処理装置100に入力される。
The imaging device 200 acquires a plurality of unit image data UIDs that are adjacent to each other in order while moving the imaging range. The plurality of unit image data UIDs are imaged so as to have an overlapping region with the adjacent unit image data UIDs in consideration of being combined. A plurality of unit image data UIDs are input to the image processing device 100.
なお、対象物の一例である橋梁1は、複数の橋脚4と、橋脚4の間に渡された主桁2と、主桁2の上部に打設された、車輌等が走行するための床版3と、を備える。床版3は一般的な鉄筋コンクリート製のものとする。なお橋梁1は、主桁2及び床版3の他に図示せぬ横桁、対傾構、及び横構等の部材を有する。なお、橋梁1の床版3は、暗くテクスチャーが鮮明ではなく、また、鋼部材などの凹凸がある点から、画像間の持徴点、及び対応点を取得することは重要である。
The bridge 1 which is an example of the object is a plurality of piers 4, a main girder 2 passed between the piers 4, and a floor placed on the upper part of the main girder 2 for vehicles and the like to travel. The version 3 and the like are provided. The floor slab 3 is made of general reinforced concrete. The bridge 1 has members such as a horizontal girder, an anti-tilt structure, and a horizontal structure, which are not shown, in addition to the main girder 2 and the floor slab 3. It is important to obtain the points to be held between the images and the corresponding points from the fact that the floor slab 3 of the bridge 1 is dark and the texture is not clear, and there are irregularities such as steel members.
ここで、本発明が適用される対象物は上述した橋梁1に限定されない。対象物は、例えば、ダム、トンネル、建物などの構造物を含む。
Here, the object to which the present invention is applied is not limited to the bridge 1 described above. Objects include structures such as dams, tunnels, and buildings.
図2は、移動体に搭載され撮像装置が対象物である橋梁を撮像する様子を概念的に示した図である。図3は、図2の移動体に搭載された移動体マイコンが実現する機能を示すブロック図である。
FIG. 2 is a diagram conceptually showing a state in which an image pickup device mounted on a moving body images a bridge which is an object. FIG. 3 is a block diagram showing a function realized by the mobile microcomputer mounted on the mobile body of FIG.
図2に示されるように、撮像装置200が、移動体300に搭載されている。図2に示される移動体300は、無人航空機(UAV:Unmanned Aerial Vehicle)である。移動体300が、対象物であるの橋梁1の周囲を、コントローラ250から送信される制御信号に基づいて飛行する。また、移動体300に搭載された撮像装置200は、コントローラ250から送信される制御信号に基づいて、移動体300の移動に合わせて、撮像範囲を移動させながら、橋梁1を撮像する。その結果。撮像装置200は、順番に隣接する複数の単位画像データUID(図1参照)を取得する。
As shown in FIG. 2, the image pickup device 200 is mounted on the moving body 300. The mobile body 300 shown in FIG. 2 is an unmanned aerial vehicle (UAV). The moving body 300 flies around the bridge 1 which is an object based on the control signal transmitted from the controller 250. Further, the image pickup device 200 mounted on the moving body 300 takes an image of the bridge 1 while moving the imaging range according to the movement of the moving body 300 based on the control signal transmitted from the controller 250. resulting in. The image pickup apparatus 200 acquires a plurality of unit image data UIDs (see FIG. 1) that are adjacent to each other in order.
図3は、移動体300の構成を示すブロック図である。移動体300は、プロペラ駆動モータ310と、モータドライバ312と、センサ部316と、機体側無線通信部318と、移動体マイコン(マイコン:マイクロコンピュータ)330と、を備える。
FIG. 3 is a block diagram showing the configuration of the moving body 300. The mobile body 300 includes a propeller drive motor 310, a motor driver 312, a sensor unit 316, a machine body side wireless communication unit 318, and a mobile microcomputer (microcomputer: microcomputer) 330.
移動体マイコン330は、制御部332と、移動制御部334と、カメラ制御部338と、機体側無線通信制御部336と、を備える。制御部332は、移動制御部334、機体側無線通信制御部336、及びカメラ制御部338の各機能の全体を管理する。移動体マイコン330は、プログラムを実行することにより、制御部332と、移動制御部334と、カメラ制御部338と、機体側無線通信制御部336として、機能させることができる。
The mobile microcomputer 330 includes a control unit 332, a movement control unit 334, a camera control unit 338, and a machine-side wireless communication control unit 336. The control unit 332 manages the entire functions of the movement control unit 334, the airframe side wireless communication control unit 336, and the camera control unit 338. The mobile microcomputer 330 can function as a control unit 332, a mobile control unit 334, a camera control unit 338, and a machine-side wireless communication control unit 336 by executing a program.
移動制御部334は、モータドライバ312を介してプロペラ駆動モータ310の駆動を制御することにより、移動体300の飛行(移動)を制御する。移動制御部334は、コントローラ250から送信される制御信号、及びセンサ部316から出力される移動体300の飛行状態の情報に基づいて、各プロペラ駆動モータ310の駆動を制御し、移動体300の飛行を制御する。
The movement control unit 334 controls the flight (movement) of the moving body 300 by controlling the driving of the propeller drive motor 310 via the motor driver 312. The movement control unit 334 controls the drive of each propeller drive motor 310 based on the control signal transmitted from the controller 250 and the flight state information of the moving body 300 output from the sensor unit 316, and controls the driving of the moving body 300. Control flight.
センサ部316は、移動体300の飛行状態を検出する。センサ部316は、IMU(inertial measurement unit)、GNSS(Global Navigation Satellite System)等の各種センサ類を備えて構成される。IMUは、例えば、ジャイロセンサ、地磁気センサ、加速度センサ、速度センサ等を複数軸で組み合わせて構成される。センサ部316は、各種センサで検出された移動体300の飛行状態の情報を移動体マイコン330に出力する。
The sensor unit 316 detects the flight state of the moving body 300. The sensor unit 316 is configured to include various sensors such as an IMU (inertial measurement unit) and a GNSS (Global Navigation Satellite System). The IMU is configured by combining, for example, a gyro sensor, a geomagnetic sensor, an acceleration sensor, a speed sensor, and the like on a plurality of axes. The sensor unit 316 outputs information on the flight state of the moving body 300 detected by various sensors to the moving body microcomputer 330.
機体側無線通信部318は、移動体マイコン330による制御の下、コントローラ250と無線で通信し、互いに各種信号を送受信する。例えば、コントローラ250が操作された場合、その操作に基づく制御信号がコントローラ250から移動体300に向けて送信される。機体側無線通信部318は、コントローラ250から送信された制御信号を受信し、移動体300に出力する。
The airframe side wireless communication unit 318 wirelessly communicates with the controller 250 under the control of the mobile microcomputer 330, and transmits and receives various signals to and from each other. For example, when the controller 250 is operated, a control signal based on the operation is transmitted from the controller 250 to the mobile body 300. The aircraft side wireless communication unit 318 receives the control signal transmitted from the controller 250 and outputs it to the mobile body 300.
移動体マイコン330は、図示しないが、CPU(Central Processing Unit/中央処理装置)、ROM(Read Only Memory)、RAM(Random Access Memory)を備え、所定のプログラムを実行することにより各種機能を実現する。プログラムは、ROMに格納される。
Although not shown, the mobile microcomputer 330 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and realizes various functions by executing a predetermined program. .. The program is stored in ROM.
カメラ制御部338は、コントローラ250から送信される制御信号に基づいて、撮像装置200を制御する。例えば、コントローラ250からの撮像開始指示に応じて、撮像装置200は撮像を開始できる。コントローラ250からの撮像終了指示に応じて、撮像装置200は撮像を終了させる。
The camera control unit 338 controls the image pickup device 200 based on the control signal transmitted from the controller 250. For example, the imaging device 200 can start imaging in response to an imaging start instruction from the controller 250. In response to the image pickup end instruction from the controller 250, the image pickup apparatus 200 ends the image pickup.
機体側無線通信制御部336は、機体側無線通信部318を介して、コントローラ250との間の通信を制御する。
The airframe side wireless communication control unit 336 controls communication with the controller 250 via the airframe side wireless communication unit 318.
移動体300の飛行計画、撮像装置200の撮像条件は、制御ソフトウェア等で事前に決定できる。飛行計画は、例えば、移動体300の飛行経路、速度、及び高度を含む。撮像条件は、撮像装置200を等時間間隔で撮像させること、及び等距離間隔で撮像させること等を含む。等時間間隔、等距離間隔等の条件が適宜選択される。制御部332は、飛行計画に基づいて、移動制御部334を制御する。移動制御部334は、制御部332からの信号に従い、モータドライバ312を介してプロペラ駆動モータ310の駆動を制御する。制御部332は、撮像条件に基づいて、カメラ制御部338を制御する。カメラ制御部338は、撮像装置200を制御する。飛行計画と撮像条件を組み合わせることにより、飛行経路上の撮像範囲のオーバーラップ率、及び飛行経路間の撮像範囲のサイドラップ率等が決定される。
The flight plan of the moving body 300 and the imaging conditions of the imaging device 200 can be determined in advance by control software or the like. The flight plan includes, for example, the flight path, speed, and altitude of the mobile 300. The imaging conditions include having the imaging apparatus 200 image at equal time intervals, imaging at equidistant intervals, and the like. Conditions such as equidistant intervals and equidistant intervals are appropriately selected. The control unit 332 controls the movement control unit 334 based on the flight plan. The movement control unit 334 controls the drive of the propeller drive motor 310 via the motor driver 312 according to the signal from the control unit 332. The control unit 332 controls the camera control unit 338 based on the imaging conditions. The camera control unit 338 controls the image pickup device 200. By combining the flight plan and the imaging conditions, the overlap rate of the imaging range on the flight path, the side wrap rate of the imaging range between the flight paths, and the like are determined.
移動体300として、無人航空機を例示したが、これらに限定されない。移動体300は、車両、船舶等でもよい。移動体300は、無人であっても、有人であってもよい。また、移動体300を使用しないで撮像できる。
An unmanned aerial vehicle was exemplified as the mobile body 300, but the present invention is not limited to these. The moving body 300 may be a vehicle, a ship, or the like. The mobile body 300 may be unmanned or manned. Moreover, it is possible to take an image without using the moving body 300.
次に、図4を参照して、画像処理装置100を説明する。図4は、画像処理装置100の機能構成例を示すブロック図である。画像処理装置100の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行し各種の制御部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
Next, the image processing device 100 will be described with reference to FIG. FIG. 4 is a block diagram showing a functional configuration example of the image processing device 100. The hardware-like structure that executes various controls of the image processing device 100 is various processors as shown below. For various processors, the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various control units. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD), which is a processor, and an ASIC (Application Specific Integrated Circuit). ..
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の制御部を1つのプロセッサで構成してもよい。複数の制御部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の制御部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of control units may be configured by one processor. As an example of configuring a plurality of control units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of control units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of control units with one IC (Integrated Circuit) chip is used. is there. As described above, the various control units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
画像処理装置100は、単位画像データ取得部132、形状推定部134、対応関係取得部136、推定部138、合成部140、制御部142から構成される。制御部142は、単位画像データ取得部132、形状推定部134、対応関係取得部136、推定部138、合成部140、操作部110、及び表示部120の各機能の全体を管理する。
The image processing device 100 is composed of a unit image data acquisition unit 132, a shape estimation unit 134, a correspondence acquisition unit 136, an estimation unit 138, a synthesis unit 140, and a control unit 142. The control unit 142 manages the entire functions of the unit image data acquisition unit 132, the shape estimation unit 134, the correspondence acquisition unit 136, the estimation unit 138, the synthesis unit 140, the operation unit 110, and the display unit 120.
次に、画像処理方法について図面を参照して説明する。
Next, the image processing method will be described with reference to the drawings.
図5は、画像処理装置100を使用して実行される画像処理方法を示すフローチャートである。
FIG. 5 is a flowchart showing an image processing method executed by using the image processing device 100.
図5に示されるように、画像処理方法は、単位画像データ取得ステップ(ステップS1)、形状推定ステップ(ステップS2)、対応関係取得ステップ(ステップS3)、回転行列と並進ベクトル推定ステップ(ステップS4)、及び隣接画像合成ステップ(ステップS5)を備える。
As shown in FIG. 5, the image processing method includes a unit image data acquisition step (step S1), a shape estimation step (step S2), a correspondence acquisition step (step S3), a rotation matrix and a translation vector estimation step (step S4). ), And an adjacent image composition step (step S5).
(単位画像データ取得ステップ)
単位画像データ取得ステップでは、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する(ステップS1)。 (Unit image data acquisition step)
In the unit image data acquisition step, a plurality of unit image data in which a plurality of image data of the object acquired from the image data acquisition device and the three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data are generated. Acquire (step S1).
単位画像データ取得ステップでは、画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した対象物の三次元データとを画像データ毎に関連付けた複数の単位画像データを取得する(ステップS1)。 (Unit image data acquisition step)
In the unit image data acquisition step, a plurality of unit image data in which a plurality of image data of the object acquired from the image data acquisition device and the three-dimensional data of the object acquired from the three-dimensional data acquisition device are associated with each image data are generated. Acquire (step S1).
図6は、画像データと三次元データとが関連付けられた単位画像データを説明するための図である。図6に示されるように、撮像装置200の画像データ取得装置202は、対象物の画角範囲毎に二次元カラー画像データである画像データIDを取得する。画像データIDは、複数の画素データを含んでいる。画素データは、X軸とY軸の二次元座標系上で位置(X、Y)の情報と、RGB(Red-Green-Blue)情報を有している。
FIG. 6 is a diagram for explaining unit image data in which image data and three-dimensional data are associated with each other. As shown in FIG. 6, the image data acquisition device 202 of the image pickup device 200 acquires an image data ID which is two-dimensional color image data for each angle of view range of the object. The image data ID includes a plurality of pixel data. The pixel data has position (X, Y) information and RGB (Red-Green-Blue) information on the two-dimensional coordinate system of the X-axis and the Y-axis.
撮像装置200の三次元データ取得装置204は、対象物までの深度データDPを取得する。深度データDPは、画素毎の深度Dの集合であり、深度Dは対象物と三次元データ取得装置204との距離である。深度データDPは、画素毎に深度データを有している。図6において、深度データDPは、画素毎の距離のカラー画像を模式的にグレースケールの濃淡で表示している。深度データDPの中央より少し下が濃い領域で、距離が最も遠い。濃い領域の周囲が白い領域で、濃い領域に比較して距離が近い。さらに、白い領域の周囲の少し濃い領域が、白い領域に比較して近い。
The three-dimensional data acquisition device 204 of the image pickup device 200 acquires the depth data DP to the object. The depth data DP is a set of depths D for each pixel, and the depth D is the distance between the object and the three-dimensional data acquisition device 204. The depth data DP has depth data for each pixel. In FIG. 6, the depth data DP schematically displays a color image of the distance for each pixel in grayscale shades. The area slightly below the center of the depth data DP is the darkest area, and the distance is the longest. The area around the dark area is white, and the distance is shorter than that of the dark area. Furthermore, the slightly darker areas around the white areas are closer than the white areas.
撮像装置200は、画像データ取得装置202で取得した画像データの2次元座標上の位置と三次元データ取得装置204で取得した深度データDP内の2次元座標上の位置が一致するように校正されているので、画像データIDと深度データDPの各画素が関連付けられる。画像データ取得装置202力メラの内部パラメータを使うことで、画像の深度データDP(深度画像)から1画素毎に、レンズ中央を原点とする(X、Y、Z)の座標、すなわち三次元データTDを得ることができる。
The image pickup device 200 is calibrated so that the position on the two-dimensional coordinates of the image data acquired by the image data acquisition device 202 and the position on the two-dimensional coordinates in the depth data DP acquired by the three-dimensional data acquisition device 204 match. Therefore, each pixel of the image data ID and the depth data DP is associated with each other. By using the internal parameters of the image data acquisition device 202 power mela, the coordinates (X, Y, Z) with the center of the lens as the origin, that is, three-dimensional data, for each pixel from the depth data DP (depth image) of the image. You can get TD.
画像データ取得装置202は、図示しないCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を含む。撮像素子は、x方向(水平方向)及びy方向(垂直方向)に二次元的に配列された光電交換素子で構成された複数の画素を有し、複数の画素の上面には、例えば、R(赤)、G(緑)及びB(青)のフィルタが二次元的にベイヤー配列されたカラーフィルタ(図示せず)が配置される。実施形態では、画像データ取得装置202は、二次元カラー画像データを取得できる。画像データ取得装置202は、一回の撮像毎に、画角毎の画像データを取得する。撮像範囲は画像データ取得装置202の画角により決定される。画像データ取得装置202は、対象物に対して複数の画像データを取得する。画角は、画像データ取得装置202で撮像した際の撮像範囲を表す。
The image data acquisition device 202 includes an image sensor such as CMOS (Complementary Metal Oxide Semiconductor) (not shown). The image pickup device has a plurality of pixels composed of photoelectric exchange elements two-dimensionally arranged in the x direction (horizontal direction) and the y direction (vertical direction), and on the upper surface of the plurality of pixels, for example, R. A color filter (not shown) in which (red), G (green), and B (blue) filters are two-dimensionally Bayer-arranged is arranged. In the embodiment, the image data acquisition device 202 can acquire two-dimensional color image data. The image data acquisition device 202 acquires image data for each angle of view for each image capture. The imaging range is determined by the angle of view of the image data acquisition device 202. The image data acquisition device 202 acquires a plurality of image data for the object. The angle of view represents the imaging range when the image data acquisition device 202 captures the image.
三次元データ取得装置204は、対象物の三次元データを取得する。三次元データ取得装置204は、例えば、ステレオカメラ、レーザースキャナー、又はタイムオブフライト(Time-of-Flight:ToF)式カメラである。
The three-dimensional data acquisition device 204 acquires three-dimensional data of the object. The three-dimensional data acquisition device 204 is, for example, a stereo camera, a laser scanner, or a time-of-flight (ToF) type camera.
ステレオカメラは、異なる位置に配置された複数のカメラから同時に画像データを撮像し、画像データにおける視差を用いて、対象物までの三次元データを取得するカメラである。三次元データ取得装置204がステレオカメラである場合、複数のカメラの一台を画像データ取得装置202として利用できる。三次元データ取得装置204とは別に、画像データ取得装置202を設けることができる。
A stereo camera is a camera that simultaneously captures image data from a plurality of cameras arranged at different positions and acquires three-dimensional data up to an object by using the parallax in the image data. When the three-dimensional data acquisition device 204 is a stereo camera, one of the plurality of cameras can be used as the image data acquisition device 202. An image data acquisition device 202 can be provided separately from the three-dimensional data acquisition device 204.
レーザースキャナーはレーザーパルスを対象物に出射し、対象物の表面で反射されたレーザーパルスが戻ってくるまでの時間により距離を計測する。そして、計測した距離とレーザーパルスの出射方向の角度情報とによりレーザーパルスの反射点の三次元データが取得される。すなわち、三次元データは三次元座標を含む。レーザースキャナーは、タイムオブフライト方式によるものに限らず、位相差方式、三角法方式により三次元データが取得できる。
The laser scanner emits a laser pulse to the object and measures the distance by the time until the laser pulse reflected on the surface of the object returns. Then, three-dimensional data of the reflection point of the laser pulse is acquired from the measured distance and the angle information of the emission direction of the laser pulse. That is, the three-dimensional data includes the three-dimensional coordinates. The laser scanner is not limited to the time-of-flight method, but can acquire three-dimensional data by the phase difference method and the trigonometry method.
タイムオブフライト式カメラは、光の飛行時間を測ることで三次元データを取得するカメラである。
A time-of-flight camera is a camera that acquires three-dimensional data by measuring the flight time of light.
画像データ取得装置202と三次元データ取得装置204とは、これらに限定されない。
The image data acquisition device 202 and the three-dimensional data acquisition device 204 are not limited to these.
図4に示されるように、画像データIDと深度データDPとから、画像データIDと三次元データTDとを画素毎に関連付けた(X、Y、Z、R、G、B)の複数の単位画像データUIDが撮像装置200により取得される。
As shown in FIG. 4, a plurality of units (X, Y, Z, R, G, B) in which the image data ID and the three-dimensional data TD are associated with each pixel from the image data ID and the depth data DP. The image data UID is acquired by the image pickup apparatus 200.
画像処理装置100の単位画像データ取得部132が、撮像装置200から複数の単位画像データUIDを取得する(ステップS1)。単位画像データ取得部132は、装置入出力部(不図示)を介して、撮像装置200により取得された複数の単位画像データUIDを取得する。複数の単位画像データUIDは、飛行計画、及び撮像条件に基づいて、対象物をオーバーラップ及びサイドラップさせて撮像されている。図7に示されるように、対象物の隣接領域を取得した単位画像データUID(A)、及び単位画像データUID(B)が、単位画像データ取得部132に入力される。単位画像データUID(A)、及び単位画像データUID(B)は撮像位置が異なるので、それぞれの原点は異なる。
The unit image data acquisition unit 132 of the image processing device 100 acquires a plurality of unit image data UIDs from the image pickup device 200 (step S1). The unit image data acquisition unit 132 acquires a plurality of unit image data UIDs acquired by the image pickup apparatus 200 via the device input / output unit (not shown). The plurality of unit image data UIDs are imaged by overlapping and side-wrapping the objects based on the flight plan and the imaging conditions. As shown in FIG. 7, the unit image data UID (A) and the unit image data UID (B) obtained by acquiring the adjacent region of the object are input to the unit image data acquisition unit 132. Since the unit image data UID (A) and the unit image data UID (B) have different imaging positions, their origins are different.
(形状推定ステップ)
形状推定ステップは、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する(ステップS2)。なお、実施形態においては、推定する形状を平面として説明する。 (Shape estimation step)
In the shape estimation step, the shape is estimated for each unit image data based on the three-dimensional data included in the unit image data (step S2). In the embodiment, the estimated shape will be described as a plane.
形状推定ステップは、単位画像データごとに、単位画像データに含まれる三次元データに基づいて形状を推定する(ステップS2)。なお、実施形態においては、推定する形状を平面として説明する。 (Shape estimation step)
In the shape estimation step, the shape is estimated for each unit image data based on the three-dimensional data included in the unit image data (step S2). In the embodiment, the estimated shape will be described as a plane.
複数の単位画像データUIDが単位画像データ取得部132から形状推定部134に入力される(図4参照)。形状推定部134は、単位画像データUID毎に三次元データTDから、単位画像データUIDに含まれる平面を推定する。
A plurality of unit image data UIDs are input from the unit image data acquisition unit 132 to the shape estimation unit 134 (see FIG. 4). The shape estimation unit 134 estimates the plane included in the unit image data UID from the three-dimensional data TD for each unit image data UID.
形状推定部134は、例えば、次式に示す平面方程式を求めることにより、単位画像データUIDに含まれる平面を推定できる。
[数1]
arX+brY+crZ-dr=0
[数1]式において、X、Y及びZはカメラ座標系の3軸直交方向の三次元データであり、ar、br、cr、及びdrはそれぞれ平面方程式の係数を示す。三次元データTDの(X,Y,Z)の各点との2乗距離が最小となる平面の係数ar、br、cr、及びdrを求めることで推定される平面が決定される。 Theshape estimation unit 134 can estimate the plane included in the unit image data UID, for example, by obtaining the equation of a plane shown in the following equation.
[Number 1]
a r X + b r Y + cr r Z- dr = 0
In Expression 1, X, Y and Z are three-dimensional data of three-axis orthogonal direction of the camera coordinate system, showing the coefficients of a r, b r, c r , and d r respectively plane equation. The three-dimensional data TD (X, Y, Z) 2 squared distance factor plane is minimum a r a each point, b r, c r, and the plane is estimated by determining the d r is determined To.
[数1]
arX+brY+crZ-dr=0
[数1]式において、X、Y及びZはカメラ座標系の3軸直交方向の三次元データであり、ar、br、cr、及びdrはそれぞれ平面方程式の係数を示す。三次元データTDの(X,Y,Z)の各点との2乗距離が最小となる平面の係数ar、br、cr、及びdrを求めることで推定される平面が決定される。 The
[Number 1]
a r X + b r Y + cr r Z- dr = 0
In Expression 1, X, Y and Z are three-dimensional data of three-axis orthogonal direction of the camera coordinate system, showing the coefficients of a r, b r, c r , and d r respectively plane equation. The three-dimensional data TD (X, Y, Z) 2 squared distance factor plane is minimum a r a each point, b r, c r, and the plane is estimated by determining the d r is determined To.
図8は、画像データID(A)、及び画像データID(B)の二次元画像に対して実施された平面推定を模式的に示す図である。図8に示されるように、画像データID(A)に対して、A1で示されるように平面が推定される。推定された平面に含まれる点に対応する画素に同一の色が付されている。推定された平面の領域を示すため、領域を二点鎖線で示している。
FIG. 8 is a diagram schematically showing the plane estimation performed on the two-dimensional images of the image data ID (A) and the image data ID (B). As shown in FIG. 8, for the image data ID (A), a plane is estimated as shown by A1. The pixels corresponding to the points contained in the estimated plane are colored in the same color. In order to show the region of the estimated plane, the region is indicated by the alternate long and short dash line.
A1で平面が推定されると、その平面がマスクされ一時的に取り除かれ、残りの画素に対して平面の推定が実行される。A2では、画像データID(A)に対して、A1とは異なる平面が推定される。
When a plane is estimated in A1, the plane is masked and temporarily removed, and the plane is estimated for the remaining pixels. In A2, a plane different from that in A1 is estimated for the image data ID (A).
A1及びA2で平面が推定されると、それらの平面がマスクされ一時的に取り除かれ、同様に残りの画素に対して平面の推定が実行される。A3では、画像データID(A)に対して、A1及びA2とは異なる平面が推定される。画像データID(A)では、3つの平面が推定される。画像データID(B)に同様の処理が実行され、B1とB2の2つの平面が推定される。画像データID(A)、及び画像データID(B)からそれぞれ推定平面が特定される。各画像データIDから最大で3つの推定平面が特定される。
When planes are estimated in A1 and A2, those planes are masked and temporarily removed, and plane estimation is similarly performed for the remaining pixels. In A3, a plane different from A1 and A2 is estimated with respect to the image data ID (A). In the image data ID (A), three planes are estimated. Similar processing is executed for the image data ID (B), and two planes B1 and B2 are estimated. An estimated plane is specified from the image data ID (A) and the image data ID (B), respectively. A maximum of three estimated planes are specified from each image data ID.
実施形態では、推定する形状が平面である場合を示したが、平面に限定されず円柱等の他の形状であっても推定できる。
In the embodiment, the case where the shape to be estimated is a plane is shown, but it is not limited to the plane and can be estimated even if it is another shape such as a cylinder.
(対応関係取得ステップ)
対応関係取得ステップでは、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する(ステップS3)。 (Correspondence acquisition step)
In the correspondence relationship acquisition step, the correspondence relationship for each pixel of the image data is acquired for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data (step S3).
対応関係取得ステップでは、複数の単位画像データの中で隣接する単位画像データの同士で、推定された形状ごとに画像データの画素ごとの対応関係を取得する(ステップS3)。 (Correspondence acquisition step)
In the correspondence relationship acquisition step, the correspondence relationship for each pixel of the image data is acquired for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data (step S3).
複数の単位画像データUID(例えば、図7における単位画像データUID(A)、(B))と、形状推定ステップで取得された推定平面に関するデータ(例えば、A1、A2、A3、B1、B2)とが、対応関係取得部136に入力される。
A plurality of unit image data UIDs (for example, unit image data UIDs (A) and (B) in FIG. 7) and data related to the estimation plane acquired in the shape estimation step (for example, A1, A2, A3, B1, B2). Is input to the correspondence acquisition unit 136.
次に、ステップS3の処理について詳細に説明する。図9はステップS3の処理の一例のサブルーチンを示す図である。
Next, the process of step S3 will be described in detail. FIG. 9 is a diagram showing a subroutine as an example of the process of step S3.
図9に示されるように、対応関係取得ステップは、特徴点抽出及び特徴量算出ステップ(ステップS31)、対応点探索ステップ(ステップS32)、射影変換行列算出ステップ(ステップS33)、オーバーラップ領域抽出ステップ(ステップS34)、相関値算出ステップ(ステップS35)及び対応平面決定ステップ(ステップS36)を備える。
As shown in FIG. 9, the correspondence relationship acquisition step includes a feature point extraction and feature amount calculation step (step S31), a correspondence point search step (step S32), a projection transformation matrix calculation step (step S33), and an overlap area extraction. A step (step S34), a correlation value calculation step (step S35), and a corresponding plane determination step (step S36) are provided.
特徴点抽出及び特徴量算出ステップでは、複数の画像データIDに対して、特徴点の抽出、及び特徴量の算出を実施する(ステップS31)。特徴点の抽出、及び特徴量の算出は、例えば、SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)、及びAKAZE(Accelerated KAZE Features)の群から選択されるアルゴリズムにより実行される。尚、1枚の画像データに対して複数の形状(平面)が推定された場合は、推定された形状毎(平面毎)に特徴点の抽出、及び特徴量の算出を行ってもよい。
In the feature point extraction and feature amount calculation steps, feature point extraction and feature amount calculation are performed for a plurality of image data IDs (step S31). The extraction of feature points and the calculation of feature quantities are executed by, for example, an algorithm selected from the group of SIFT (ScaleInvariantFeatureTransform), SURF (SpeededUpRobustFeatures), and AKAZE (AcceleratedKAZEFeatures). When a plurality of shapes (planes) are estimated for one image data, feature points may be extracted and feature amounts may be calculated for each estimated shape (plane).
次に、時系列的に隣接する画像データID(A)、及び画像データID(B)に対して、以下の処理が実行される。
Next, the following processing is executed for the image data ID (A) and the image data ID (B) that are adjacent in chronological order.
対応点探索ステップでは、単位画像データごとに推定された形状の全ての組み合わせに対して対応点が探索される(ステップS32)。単位画像データUDIごとに推定された形状とは、ステップS2により、単位画像データUDIに含まれる画像データIDから推定された全ての形状である。すなわち、実施形態では、図8で示される画像データID(A)の3つの推定平面(A1、A2、A3)であり、画像データID(B)の2つの推定平面(B1、B2)が単位画像データUDIごとに推定された形状となる。
In the corresponding point search step, corresponding points are searched for all combinations of shapes estimated for each unit image data (step S32). The shapes estimated for each unit image data UDI are all the shapes estimated from the image data ID included in the unit image data UDI in step S2. That is, in the embodiment, there are three estimated planes (A1, A2, A3) of the image data ID (A) shown in FIG. 8, and two estimated planes (B1, B2) of the image data ID (B) are units. The shape is estimated for each image data UDI.
全ての組み合わせに対して対応点を探索するとは、画像データID(A)のある推定平面と、画像データID(B)のある推定平面とに含まれる特徴点に対して、全てを組み合わせて対応点を探索することである。実施形態では、画像データID(A)の3つの推定平面と、画像データID(B)の2つの推定平面との間で対応点を探索することであり、ここでは、6パターン、すなわち(A1:B1)、(A1:B2)、(A2:B1)、(A2:B2)、(A3:B1)、(A3:B2)の組み合わせに対して、それぞれ対応点が探索される。
Searching for corresponding points for all combinations corresponds to all the feature points included in the estimated plane having the image data ID (A) and the estimated plane having the image data ID (B) in combination. It is to search for a point. In the embodiment, a corresponding point is searched between the three estimation planes of the image data ID (A) and the two estimation planes of the image data ID (B), and here, six patterns, that is, (A1). : B1), (A1: B2), (A2: B1), (A2: B2), (A3: B1), (A3: B2), the corresponding points are searched for, respectively.
対応点の探索では、例えば、各画像の特徴点の特徴量ベクトルを算出し、算出した特徴量ベクトル間の距離が近いものを互いに類似する特徴点として対応づける。対応点の探索方法として、例えば、総当たりマッチングが挙げられる。総当たりマッチングでは、画像データID(A)の中のある推定平面のある特徴点の特徴量ベクトルと画像データID(B)の中の全特徴点の特徴量ベクトルとの距離をそれぞれ算出する。そして、画像データID(B)の全特徴点のうち、画像データID(A)の特徴点の特徴量ベクトルと最も距離が小さい特徴点を対応する特徴点(対応点)として決定する。
In the search for corresponding points, for example, the feature amount vectors of the feature points of each image are calculated, and those with a short distance between the calculated feature amount vectors are associated with each other as similar feature points. As a method of searching for a corresponding point, for example, brute force matching can be mentioned. In the round-robin matching, the distances between the feature amount vector of a certain feature point on a certain estimation plane in the image data ID (A) and the feature amount vector of all the feature points in the image data ID (B) are calculated respectively. Then, among all the feature points of the image data ID (B), the feature point having the shortest distance from the feature amount vector of the feature point of the image data ID (A) is determined as a corresponding feature point (corresponding point).
次に、射影変換行列算出ステップでは、得られた対応点から、各画素の座標情報に基づいて、2つの画像データIDの間の射影変換行列を求める(ステップS33)。
Next, in the projection transformation matrix calculation step, the projection transformation matrix between the two image data IDs is obtained from the obtained corresponding points based on the coordinate information of each pixel (step S33).
図10は、上段に2つの画像データID(A)、画像データID(B)の間での特徴点の対応付けを確認するための画像であり、下段に2つの画像データID(A)、画像データID(B)を示している。画像データID(A)と画像データID(B)との間では、A1に相当する画像と、B1に相当する画像との間で特徴点の対応付けが確認されている。図10の上段に示されるように、(A1:B1)の組み合わせにおいて、特徴点の間に引かれている線が平行であるから、正しい対応点が多く得られている。特徴点、及び特徴量が対応付けられていると判断できる。A1とB1とに基づいて、画像データID(B)から画像データID(A)への射影変換行列が求められる。
FIG. 10 is an image for confirming the correspondence of the feature points between the two image data IDs (A) and the image data IDs (B) in the upper row, and the two image data IDs (A) in the lower row. The image data ID (B) is shown. Between the image data ID (A) and the image data ID (B), the association of feature points between the image corresponding to A1 and the image corresponding to B1 has been confirmed. As shown in the upper part of FIG. 10, in the combination of (A1: B1), since the lines drawn between the feature points are parallel, many correct corresponding points are obtained. It can be determined that the feature points and the feature amounts are associated with each other. Based on A1 and B1, a projective transformation matrix from the image data ID (B) to the image data ID (A) is obtained.
(A1:B1)の組み合わせにおいて、特徴点の対応付けを確認し、射影変換行列を求める場合を示している。残りの5つの組み合わせのパターンに対しても特徴点の対応付けが確認され、射影変換行列を求める処理が実行される。ただし、特徴点の対応付けを確認できない組合せパターンの場合、射影変換行列は求められない。
In the combination of (A1: B1), the case where the correspondence of the feature points is confirmed and the projective transformation matrix is obtained is shown. Correspondence of feature points is confirmed for the remaining five combinations of patterns, and a process of obtaining a projective transformation matrix is executed. However, in the case of a combination pattern in which the correspondence of feature points cannot be confirmed, the projective transformation matrix cannot be obtained.
次に、オーバーラップ領域抽出ステップでは、ステップ33で求めた、2つの画像データIDの間で射影変換行列を適用し、2つの画像データIDがオーバーラップするオーバーラップ領域を抽出する(ステップS34)。
Next, in the overlap region extraction step, a projective transformation matrix is applied between the two image data IDs obtained in step 33, and an overlap region in which the two image data IDs overlap is extracted (step S34). ..
図11に示されるように、上段の右側には、画像データID(B)が示されている。上段の左側には、画像データID(A)に対して、ステップ33で求めた射影変換行列を適用することで得られる変換後画像データCID(A)が示されている。実施形態では、画像データID(B)を固定し、変換後画像データCID(A)移動し、画像データID(B)と変換後画像データCID(A)が重ね合せられる。
As shown in FIG. 11, the image data ID (B) is shown on the right side of the upper row. On the left side of the upper row, the converted image data CID (A) obtained by applying the projective transformation matrix obtained in step 33 to the image data ID (A) is shown. In the embodiment, the image data ID (B) is fixed, the converted image data CID (A) is moved, and the image data ID (B) and the converted image data CID (A) are superimposed.
下段の右側には、画像データID(B)と変換後画像データCID(A)とがオーバーラップする領域であって、画像データID(B)に含まれるオーバーラップ領域OL(B)が示されている。下段の左側には、画像データID(B)と変換後画像データCID(A)とがオーバーラップする領域であって、変換後画像データCID(A)に含まれるオーバーラップ領域OL(A)が示されている。
On the right side of the lower row, an area in which the image data ID (B) and the converted image data CID (A) overlap, and the overlap area OL (B) included in the image data ID (B) is shown. ing. On the left side of the lower row is an area where the image data ID (B) and the converted image data CID (A) overlap, and the overlapping area OL (A) included in the converted image data CID (A) is It is shown.
図11に示される処理によって、オーバーラップ領域OL(A)とオーバーラップ領域OL(B)とが抽出される。
By the process shown in FIG. 11, the overlap region OL (A) and the overlap region OL (B) are extracted.
(A1:B1)の組合せパターンから得られた射影変換行列を適用してオーバーラップ領域OL(A)とオーバーラップ領域OL(B)とが抽出される。オーバーラップ領域の抽出は、ステップ33で求められた全ての射影変換行列を適用して行われる。例えば、(A1:B2)、(A2:B2)の組合せパターンで求められた射影変換行列を適用してオーバーラップ領域が抽出される。
The overlap region OL (A) and the overlap region OL (B) are extracted by applying the projective transformation matrix obtained from the combination pattern of (A1: B1). The extraction of the overlap region is performed by applying all the projective transformation matrices obtained in step 33. For example, the overlap region is extracted by applying the projective transformation matrix obtained by the combination pattern of (A1: B2) and (A2: B2).
次に、相関値算出ステップでは、ステップ34で抽出された複数のオーバーラップ領域の間での相関値を算出する(ステップS35)。
Next, in the correlation value calculation step, the correlation value between the plurality of overlapping regions extracted in step 34 is calculated (step S35).
射影変換行列を適用した画像データID(A)と画像データID(B)とがオーバーラップする画素に対して相関値を求める。相関値は、例えば、ZNCC(Zero-mean Norma1ized Cross-Correlation)により求めることができる。実施形態では、特徴点及び特徴量が対応付けられている(A1:B1)(A1:B2)、及び(A2:B2)の組合せパターンを相関値算出する対象とする。
The correlation value is obtained for the pixel in which the image data ID (A) to which the projection transformation matrix is applied and the image data ID (B) overlap. The correlation value can be obtained by, for example, ZNCC (Zero-mean Norma1ized Cross-Correlation). In the embodiment, the combination pattern of (A1: B1) (A1: B2) and (A2: B2) to which the feature points and the feature quantities are associated is the target for which the correlation value is calculated.
図12に示されるように、特徴点の対応関係が確認された(A1:B1)から抽出されたオーバーラップ領域、(A1:B2)から抽出されたオーバーラップ領域、及び(A2:B2)から抽出されたオーバーラップ領域、それぞれの領域のみの画素に対して相関値を求める。
As shown in FIG. 12, from the overlap region extracted from (A1: B1) where the correspondence of the feature points was confirmed, the overlap region extracted from (A1: B2), and (A2: B2). The correlation value is obtained for the extracted overlap region and the pixels of each region only.
実施形態では、(A1:B1)ではZNCC=0.83305、(A1:B2)ではZNCC=0.44892、(A2:B2)ではZNCC=0.83305、(A2:B2)では、ZNCC=0.83305である。(A1:B1)及び(A2:B2)のZNCCが、(A1:B2)のZNCCより高い。
In the embodiment, ZNCC = 0.83305 for (A1: B1), ZNCC = 0.44892 for (A1: B2), ZNCC = 0.83305 for (A2: B2), and ZNCC = 0 for (A2: B2). It is .83305. The ZNCC of (A1: B1) and (A2: B2) is higher than the ZNCC of (A1: B2).
つまり、(A2:B2)は特徴点及び特徴量が対応付けられている場合でも、相関値の大きさが異なることが理解できる。
That is, it can be understood that (A2: B2) has different magnitudes of correlation values even when feature points and feature quantities are associated with each other.
次に、対応平面決定ステップでは、オーバーラップ領域の相関値に基づいて、隣接する画像データに含まれる推定平面に対し、対応平面を決定する(ステップS36)。
Next, in the corresponding plane determination step, the corresponding plane is determined with respect to the estimated plane included in the adjacent image data based on the correlation value of the overlap region (step S36).
オーバーラップ領域の相関値が閾値を越えていれば、推定された平面領域は同じ平面である推定し、平面の対応関係の情報を記憶する。推定された平面形状ごとに画像データIDの画素ごとの対応関係が取得され、記憶される。
If the correlation value of the overlap region exceeds the threshold value, the estimated plane region is estimated to be the same plane, and the information on the correspondence between the planes is stored. The correspondence relationship of the image data ID for each pixel is acquired and stored for each estimated plane shape.
対応平面が決定されると(ステップS36)、対応関係取得ステップ(ステップS3)が終了する。図5に示される、回転行列及び並進ベクトル推定ステップ(ステップS4)に進む。
When the correspondence plane is determined (step S36), the correspondence acquisition step (step S3) ends. The process proceeds to the rotation matrix and translation vector estimation step (step S4) shown in FIG.
(回転行列及び並進ベクトル推定ステップ)
回転行列及び並進ベクトル推定ステップは、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する(ステップS4)。 (Rotation matrix and translation vector estimation step)
The rotation matrix and translation vector estimation step estimates the rotation matrix and translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixels (step S4). ..
回転行列及び並進ベクトル推定ステップは、取得された画素ごとの対応関係と、画素に対応する三次元データとから、隣接する単位画像データの間の回転行列と並進ベクトルとを推定する(ステップS4)。 (Rotation matrix and translation vector estimation step)
The rotation matrix and translation vector estimation step estimates the rotation matrix and translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixels (step S4). ..
対応関係取得ステップにより、隣接する画像データIDに含まれる推定平面の対応関係が決定され、画素ごとの対応関係が取得されている。隣接する単位画像データUIDにおいて、決定された対応平面に含まれる三次元データTDは同じ位置である。隣接する単位画像データUIDのそれぞれの三次元データTDから回転行列、及び並進ベクトルを推定する。
The correspondence relationship acquisition step determines the correspondence relationship of the estimated planes included in the adjacent image data IDs, and the correspondence relationship for each pixel is acquired. In the adjacent unit image data UID, the three-dimensional data TD included in the determined corresponding plane is at the same position. The rotation matrix and translation vector are estimated from the three-dimensional data TDs of the adjacent unit image data UIDs.
実施形態では、単位画像データUID(A)の三次元データTD群から単位画像データUID(B)の三次元データTD群への回転行列、及び並進ベクトルが推定される。
In the embodiment, the rotation matrix from the three-dimensional data TD group of the unit image data UID (A) to the three-dimensional data TD group of the unit image data UID (B) and the translation vector are estimated.
図4に示される推定部138が、単位画像データUID(A)の画素に対応する三次元データTDと単位画像データUID(B)の画素に対応する三次元データTDから回転行列、及び並進ベクトルを求める。対応付けられた単位画像データUID(A)の画素と単位画像データUID(B)の画素との間の全ての回転行列、及び並進ベクトルが求められる。推定部138は、求められた全ての回転行列、及び並進ベクトルから、最小二乗法等により単位画像データUID(A)から単位画像データUID(B)への回転行列、及び並進ベクトル(数1)を推定する。なお、1つの画像データに複数の形状(平面)が推定された場合は、複数の形状(平面)のそれぞれで単位画像データUID(A)の三次元データTD群から単位画像データUID(B)の三次元データTD群への回転行列及び並進ベクトルが推定してもよい。また、推定した各形状(平面)における複数の回転行列及び並進ベクトルを用いて最小二乗法等により、最終的な単位画像データUID(A)から、単位画像データUID(B)への回転行列及び並進ベクトルを推定してもよい。
The estimation unit 138 shown in FIG. 4 has a rotation matrix and a translation vector from the three-dimensional data TD corresponding to the pixels of the unit image data UID (A) and the three-dimensional data TD corresponding to the pixels of the unit image data UID (B). Ask for. All rotation matrices and translation vectors between the pixels of the associated unit image data UID (A) and the pixels of the unit image data UID (B) are obtained. The estimation unit 138 uses the rotation matrix from all the obtained rotation matrices and the translation vector to the unit image data UID (A) to the unit image data UID (B) by the minimum square method or the like, and the translation vector (Equation 1). To estimate. When a plurality of shapes (planes) are estimated in one image data, the unit image data UID (B) is obtained from the three-dimensional data TD group of the unit image data UID (A) for each of the plurality of shapes (planes). The rotation matrix and translation vector to the three-dimensional data TD group of the above may be estimated. Further, the rotation matrix from the final unit image data UID (A) to the unit image data UID (B) and the rotation matrix from the final unit image data UID (B) by the least squares method or the like using a plurality of rotation matrices and translation vectors in each estimated shape (plane). The translation vector may be estimated.
回転行列は0.9968から0.8911までの3×3で示され、並進ベクトルは-0.0001から0.0633までの3×1で示される。4行目の0から1までの1×4は、同次座標系という考えがあり、X、Y、Zの3次元を1つ上にあげて4次元にして計算する。
The rotation matrix is represented by 3x3 from 0.9968 to 0.8911, and the translation vector is represented by 3x1 from -0.0001 to 0.0633. There is an idea that 1 × 4 from 0 to 1 on the 4th line is a homogeneous coordinate system, and the three dimensions of X, Y, and Z are raised by one to make four dimensions.
(隣接画像合成ステップ)
隣接画像合成ステップでは、隣接する単位画像データの間で、全ての画素に回転行列と前記並進ベクトルとを適用し、隣接する単位画像データを1つの空間座標上で合成する(ステップS5)。 (Adjacent image composition step)
In the adjacent image composition step, the rotation matrix and the translation vector are applied to all the pixels between the adjacent unit image data, and the adjacent unit image data are combined on one spatial coordinate (step S5).
隣接画像合成ステップでは、隣接する単位画像データの間で、全ての画素に回転行列と前記並進ベクトルとを適用し、隣接する単位画像データを1つの空間座標上で合成する(ステップS5)。 (Adjacent image composition step)
In the adjacent image composition step, the rotation matrix and the translation vector are applied to all the pixels between the adjacent unit image data, and the adjacent unit image data are combined on one spatial coordinate (step S5).
図4に示される合成部140は、求められた回転行列と並進ベクトルを単位画像データUID(B)の全ての画素に適用し、単位画像データUID(A)と単位画像データUID(B)とを1つの空間座標上で合成する。
The synthesis unit 140 shown in FIG. 4 applies the obtained rotation matrix and translation vector to all the pixels of the unit image data UID (B), and obtains the unit image data UID (A) and the unit image data UID (B). Is synthesized on one spatial coordinate.
図13に示されるように、単位画像データUID(B)が単位画像データUID(A)の空間座標上で合成され、合成画像CI-ABが生成される。
As shown in FIG. 13, the unit image data UID (B) is synthesized on the spatial coordinates of the unit image data UID (A), and the composite image CI-AB is generated.
取得された全ての単位画像データUIDに対して、時系列的に、形状推定ステップ(ステップS2)、対応関係取得ステップ(ステップS3)、回転行列と並進ベクトル推定ステップ(ステップS4)、及び隣接画像合成ステップ(ステップS5)を実行する。
For all the acquired unit image data UIDs, in chronological order, a shape estimation step (step S2), a correspondence acquisition step (step S3), a rotation matrix and translation vector estimation step (step S4), and an adjacent image. The synthesis step (step S5) is executed.
図14に示されるように、橋梁を対象物として、単位画像データUIDの単位画像データ群350から三次元モデル360が作成される。単位画像データ群350は22個の単位画像データUIDを含んでいる。各単位画像データUIDは画像データと三次元データとを含んでいる。
As shown in FIG. 14, a three-dimensional model 360 is created from the unit image data group 350 of the unit image data UID with the bridge as the object. The unit image data group 350 includes 22 unit image data UIDs. Each unit image data UID includes image data and three-dimensional data.
三次元モデル360は、作成可能な三次元モデルの画像を含んでいる。画像362及び画像364は、架橋及び床版の画像である。画像366は、横から見た橋梁の全体画像である。画像368は、橋梁の床版に対応するオルソ画像である。床版の歪みがない三次元モデル360が2分程度の処理時間で得られた。実施形態では、隣接する単位画像データUIDにおける対応する画素の間で色味が調整されている。色味を調整することで、色味が統一され質の高い三次元モデル360が取得できる。なお、色味の調整は、対応する画素同士のRGBの平均ベクトルを求め、シフトさせることで実行できる。
The 3D model 360 includes an image of a 3D model that can be created. Image 362 and image 364 are images of bridges and decks. Image 366 is an overall image of the bridge as seen from the side. Image 368 is an ortho image corresponding to the deck of the bridge. A three-dimensional model 360 without distortion of the deck was obtained in a processing time of about 2 minutes. In the embodiment, the tint is adjusted between the corresponding pixels in the adjacent unit image data UID. By adjusting the color, it is possible to obtain a high-quality three-dimensional model 360 in which the color is unified. The tint can be adjusted by finding and shifting the RGB average vector of the corresponding pixels.
本発明に係る画像処理装置を実現するハードウェアは、各種のプロセッサ(processor)で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device;PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。画像表示装置を構成する1つの処理部は、上記各種プロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、あるいは、CPUとFPGAの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip;SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを1つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
The hardware that realizes the image processing device according to the present invention can be configured by various processors. Various processors include CPUs (Central Processing Units) and FPGAs (Field Programmable Gate Arrays), which are general-purpose processors that execute programs and function as various processing units, and whose circuit configurations can be changed after manufacturing. It includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit). One processing unit constituting the image display device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types. For example, one processing unit may be composed of a plurality of FPGAs or a combination of a CPU and an FPGA. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure. Further, the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
以上、本発明について説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよい。
Although the present invention has been described above, the present invention is not limited to the above examples, and various improvements and modifications may be made without departing from the gist of the present invention.
1:橋梁
2:主桁
3:床版
4:橋脚
100:画像処理装置
110:操作部
120:表示部
132:単位画像データ取得部
134:形状推定部
136:対応関係取得部
138:推定部
140:合成部
142:制御部
200:撮像装置
202:画像データ取得装置
204:三次元データ取得装置
250:コントローラ
300:移動体
310:プロペラ駆動モータ
312:モータドライバ
316:センサ部
318:機体側無線通信部
330:移動体マイコン
332:制御部
334:移動制御部
336:機体側無線通信制御部
338:カメラ制御部
350:単位画像データ群
360:三次元モデル
362、364、366、368:画像 1: Bridge 2: Main girder 3: Floor slab 4: Bridge leg 100: Image processing device 110: Operation unit 120: Display unit 132: Unit image data acquisition unit 134: Shape estimation unit 136: Correspondence relationship acquisition unit 138: Estimating unit 140 : Synthesis unit 142: Control unit 200: Imaging device 202: Image data acquisition device 204: Three-dimensional data acquisition device 250: Controller 300: Mobile unit 310: Propeller drive motor 312: Motor driver 316: Sensor unit 318: Aircraft side wireless communication Unit 330: Mobile microcomputer 332: Control unit 334: Mobile control unit 336: Aircraft side wireless communication control unit 338: Camera control unit 350: Unit image data group 360: Three- dimensional model 362, 364, 366, 368: Image
2:主桁
3:床版
4:橋脚
100:画像処理装置
110:操作部
120:表示部
132:単位画像データ取得部
134:形状推定部
136:対応関係取得部
138:推定部
140:合成部
142:制御部
200:撮像装置
202:画像データ取得装置
204:三次元データ取得装置
250:コントローラ
300:移動体
310:プロペラ駆動モータ
312:モータドライバ
316:センサ部
318:機体側無線通信部
330:移動体マイコン
332:制御部
334:移動制御部
336:機体側無線通信制御部
338:カメラ制御部
350:単位画像データ群
360:三次元モデル
362、364、366、368:画像 1: Bridge 2: Main girder 3: Floor slab 4: Bridge leg 100: Image processing device 110: Operation unit 120: Display unit 132: Unit image data acquisition unit 134: Shape estimation unit 136: Correspondence relationship acquisition unit 138: Estimating unit 140 : Synthesis unit 142: Control unit 200: Imaging device 202: Image data acquisition device 204: Three-dimensional data acquisition device 250: Controller 300: Mobile unit 310: Propeller drive motor 312: Motor driver 316: Sensor unit 318: Aircraft side wireless communication Unit 330: Mobile microcomputer 332: Control unit 334: Mobile control unit 336: Aircraft side wireless communication control unit 338: Camera control unit 350: Unit image data group 360: Three-
Claims (11)
- 画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した前記対象物の三次元データとを前記画像データ毎に関連付けた複数の単位画像データを取得するステップと、
前記単位画像データごとに、前記単位画像データに含まれる前記三次元データに基づいて形状を推定する形状推定ステップと、
前記複数の単位画像データの中で隣接する前記単位画像データの同士で、推定された前記形状ごとに前記画像データの画素ごとの対応関係を取得する対応関係取得ステップと、
取得された前記画素ごとの対応関係と、前記画素に対応する前記三次元データとから、隣接する前記単位画像データの間の回転行列と並進ベクトルとを推定する推定ステップと、
隣接する前記単位画像データの間で、全ての画素に前記回転行列と前記並進ベクトルとを適用し、隣接する前記単位画像データを1つの空間座標上で合成する合成ステップと、
を含む画像処理方法。 A step of acquiring a plurality of unit image data in which a plurality of image data of an object acquired from an image data acquisition device and a plurality of unit image data of the object acquired from a three-dimensional data acquisition device are associated with each image data.
For each unit image data, a shape estimation step for estimating a shape based on the three-dimensional data included in the unit image data, and a shape estimation step.
A correspondence relationship acquisition step of acquiring a correspondence relationship for each pixel of the image data for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data,
An estimation step for estimating a rotation matrix and a translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixel.
A synthesis step of applying the rotation matrix and the translation vector to all the pixels among the adjacent unit image data and synthesizing the adjacent unit image data on one spatial coordinate.
Image processing method including. - 前記形状が平面である請求項1に記載の画像処理方法。 The image processing method according to claim 1, wherein the shape is a flat surface.
- 前記合成ステップは、対応する前記画素の間で色味を調整することを含む、請求項1又は2に記載の画像処理方法。 The image processing method according to claim 1 or 2, wherein the compositing step includes adjusting a tint between the corresponding pixels.
- 前記対応関係取得ステップは、前記画像データに対し、特徴点を抽出し、かつ特徴量を算出すること、及び前記単位画像データごとに推定された前記形状の全ての組み合わせに対して対応点の探索を含む、請求項1から3のいずれか一項に記載の画像処理方法。 The correspondence acquisition step extracts feature points from the image data and calculates a feature amount, and searches for corresponding points for all combinations of the shapes estimated for each unit image data. The image processing method according to any one of claims 1 to 3, which comprises.
- 前記対応関係取得ステップにおける前記特徴点の抽出は、SIFT、SURF、及びAKAZEの群から選択されるアルゴリズムを含む、請求項4に記載の画像処理方法。 The image processing method according to claim 4, wherein the extraction of the feature points in the correspondence acquisition step includes an algorithm selected from the group of SIFT, SURF, and AKAZE.
- 前記対応関係取得ステップは、前記対応点から得られた射影変換行列により、隣接する前記単位画像データの画像データを重ね合せたオーバーラップ領域を抽出し、前記オーバーラップ領域における相関値に基づいて、前記画像データの画素ごとの対応関係を取得することを含む、請求項4又は5に記載の画像処理方法。 In the correspondence relationship acquisition step, an overlap region in which the image data of the adjacent unit image data is superimposed is extracted from the projective transformation matrix obtained from the correspondence point, and based on the correlation value in the overlap region, the overlap region is extracted. The image processing method according to claim 4 or 5, which comprises acquiring a correspondence relationship for each pixel of the image data.
- 前記相関値をZNCC法により求める、請求項6に記載の画像処理方法。 The image processing method according to claim 6, wherein the correlation value is obtained by the ZNCC method.
- 前記画像データ取得装置と前記三次元データ取得装置とがRGB-Dカメラである、請求項1から7のいずれか一項に記載の画像処理方法。 The image processing method according to any one of claims 1 to 7, wherein the image data acquisition device and the three-dimensional data acquisition device are RGB-D cameras.
- 画像データ取得装置から取得した対象物の複数の画像データと三次元データ取得装置から取得した前記対象物の三次元データとを前記画像データ毎に関連付けた複数の単位画像データを取得する単位画像データ取得部と、
前記単位画像データごとに、前記単位画像データに含まれる前記三次元データに基づいて形状を推定する形状推定部と、
前記複数の単位画像データの中で隣接する前記単位画像データの同士で、推定された前記形状ごとに前記画像データの画素ごとの対応関係を取得する対応関係取得部と、
取得された前記画素ごとの対応関係と、前記画素に対応する前記三次元データとから、隣接する前記単位画像データの間の回転行列と並進ベクトルとを推定する推定部と、
隣接する前記単位画像データの間で、全ての画素に前記回転行列と前記並進ベクトルとを適用し、隣接する前記単位画像データを1つの空間座標上で合成する合成部と、
を含む画像処理装置。 Unit image data for acquiring a plurality of unit image data in which a plurality of image data of an object acquired from an image data acquisition device and three-dimensional data of the object acquired from a three-dimensional data acquisition device are associated with each image data. Acquisition department and
For each unit image data, a shape estimation unit that estimates a shape based on the three-dimensional data included in the unit image data, and a shape estimation unit.
A correspondence relationship acquisition unit that acquires a correspondence relationship for each pixel of the image data for each estimated shape between the unit image data adjacent to each other in the plurality of unit image data.
An estimation unit that estimates a rotation matrix and a translation vector between adjacent unit image data from the acquired correspondence relationship for each pixel and the three-dimensional data corresponding to the pixel.
Among the adjacent unit image data, a compositing unit that applies the rotation matrix and the translation vector to all pixels and synthesizes the adjacent unit image data on one spatial coordinate.
Image processing equipment including. - 請求項1から8のいずれか一項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。 An image processing program for causing a computer to execute the image processing method according to any one of claims 1 to 8.
- 校正された画像データ取得装置と三次元データ取得装置とを備える移動体と、
請求項9に記載の画像処理装置と、
を備える画像処理システム。 A moving body equipped with a calibrated image data acquisition device and a three-dimensional data acquisition device,
The image processing apparatus according to claim 9,
An image processing system equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021563880A JP7421572B2 (en) | 2019-12-09 | 2020-12-01 | Image processing method, image processing device, image processing program, and image processing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019221840 | 2019-12-09 | ||
JP2019-221840 | 2019-12-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021117558A1 true WO2021117558A1 (en) | 2021-06-17 |
Family
ID=76330250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/044729 WO2021117558A1 (en) | 2019-12-09 | 2020-12-01 | Image processing method, image processing device, image processing program, and image processing system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7421572B2 (en) |
WO (1) | WO2021117558A1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019003621A (en) * | 2017-05-09 | 2019-01-10 | ダッソー システムズDassault Systemes | Determining architectural layout |
JP2019148926A (en) * | 2018-02-26 | 2019-09-05 | 株式会社リコー | Information processing apparatus, moving body system, imaging system, and information processing method |
WO2019198562A1 (en) * | 2018-04-11 | 2019-10-17 | 富士フイルム株式会社 | Structure management device, structure management method, and structure management program |
-
2020
- 2020-12-01 WO PCT/JP2020/044729 patent/WO2021117558A1/en active Application Filing
- 2020-12-01 JP JP2021563880A patent/JP7421572B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019003621A (en) * | 2017-05-09 | 2019-01-10 | ダッソー システムズDassault Systemes | Determining architectural layout |
JP2019148926A (en) * | 2018-02-26 | 2019-09-05 | 株式会社リコー | Information processing apparatus, moving body system, imaging system, and information processing method |
WO2019198562A1 (en) * | 2018-04-11 | 2019-10-17 | 富士フイルム株式会社 | Structure management device, structure management method, and structure management program |
Non-Patent Citations (2)
Title |
---|
SALAS-MORENO R. F. ET AL.: "Dense Planar SLAM", 2014 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGUMENTED REALITY (ISMAR, 2014, pages 157 - 164, XP032676132, DOI: 10.1109/ISMAR.2014.6948422 * |
YASUTAKA FURUKAWA; JEAN PONCE: "Accurate, Dense, and Robust Multiview Stereopsis", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 32, no. 8, 2009, pages 1362 - 1376, XP011295489 * |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021117558A1 (en) | 2021-06-17 |
JP7421572B2 (en) | 2024-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659677B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
CN111436216B (en) | Method and system for color point cloud generation | |
CN108474658B (en) | Ground form detection method and system, unmanned aerial vehicle landing method and unmanned aerial vehicle | |
US20140376821A1 (en) | Method and system for determining position and/or orientation | |
US10645365B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
García-Moreno et al. | LIDAR and panoramic camera extrinsic calibration approach using a pattern plane | |
EP3032818B1 (en) | Image processing device | |
CN110044374B (en) | Image feature-based monocular vision mileage measurement method and odometer | |
Umeda et al. | Registration of range and color images using gradient constraints and range intensity images | |
CN106233219A (en) | Mobile platform operating system and method | |
EP3193136A1 (en) | Method and system for geometric referencing of multi-spectral data | |
KR20220113781A (en) | How to measure the topography of your environment | |
JP2024072827A (en) | CONTROL DEVICE, IMAGING SYSTEM, AND IMAGING METHOD | |
Salvi et al. | Visual SLAM for 3D large-scale seabed acquisition employing underwater vehicles | |
JP7067479B2 (en) | Displacement measuring device, displacement measuring system, displacement measuring method and program | |
WO2021117558A1 (en) | Image processing method, image processing device, image processing program, and image processing system | |
US20220276387A1 (en) | Image processing method, image processing apparatus, and image processing program | |
Maset et al. | Exploiting multi-camera constraints within bundle block adjustment: An experimental comparison | |
CN113052974A (en) | Method and device for reconstructing three-dimensional surface of object | |
JP4139137B2 (en) | Building outline extraction method and system | |
Nagai et al. | Development of digital surface model and feature extraction by integrating laser scanner and CCD sensor with IMU | |
CN103310448B (en) | Camera head pose estimation and the real-time method generating composite diagram for DAS | |
KR102107465B1 (en) | System and method for generating epipolar images by using direction cosine | |
Li et al. | Extrinsic calibration between a stereoscopic system and a LIDAR with sensor noise models | |
Shahbazi et al. | Seamless co-registration of images from multi-sensor multispectral cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20897748 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021563880 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20897748 Country of ref document: EP Kind code of ref document: A1 |