JP6779368B2 - Image processing equipment, image processing methods, and programs - Google Patents
Image processing equipment, image processing methods, and programs Download PDFInfo
- Publication number
- JP6779368B2 JP6779368B2 JP2019509255A JP2019509255A JP6779368B2 JP 6779368 B2 JP6779368 B2 JP 6779368B2 JP 2019509255 A JP2019509255 A JP 2019509255A JP 2019509255 A JP2019509255 A JP 2019509255A JP 6779368 B2 JP6779368 B2 JP 6779368B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- divided
- reduced
- unit
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 63
- 238000003672 processing method Methods 0.000 title claims description 8
- 239000002131 composite material Substances 0.000 claims description 211
- 238000006243 chemical reaction Methods 0.000 claims description 112
- 230000009466 transformation Effects 0.000 claims description 96
- 239000011159 matrix material Substances 0.000 claims description 65
- 238000000034 method Methods 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 13
- 238000007689 inspection Methods 0.000 description 10
- 230000002194 synthesizing effect Effects 0.000 description 9
- 238000010295 mobile communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 239000003292 glue Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000011150 reinforced concrete Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に分割撮影を行う場合に撮りこぼしの発生を抑制する技術に関する。 The present invention relates to an image processing apparatus, an image processing method, and a program, and particularly to a technique for suppressing the occurrence of shot spills when performing divided shooting.
従来より、一つの撮影対象物について分割撮影を行い分割画像を取得し、その取得した分割画像を合成して撮影対象の全体像が写った合成画像を取得する手法が知られている。 Conventionally, there has been known a method of performing divided shooting on one object to be photographed, acquiring a divided image, and synthesizing the acquired divided images to acquire a composite image showing the entire image of the object to be photographed.
例えば、橋梁等の構造物の損傷の検出検査を行う場合には、格間単位に検査が行われることが多く、その場合格間の領域の床版を分割撮影して複数の分割画像が取得され、得られた分割画像により格間全体の床版が写った合成画像が生成される。 For example, when detecting and inspecting damage to a structure such as a bridge, the inspection is often performed in units of coffers. In that case, the floor slab in the coffer area is divided and photographed to obtain a plurality of divided images. Then, a composite image showing the floor slab of the entire coffer is generated from the obtained divided image.
また例えば、特許文献1には、三次元計測用の画像を撮影する場合に、撮りこぼし(撮り漏れ)を防ぐことを意図した技術が記載されている。具体的には特許文献1には、測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、三次元座標が求められた各特徴点を書き込み、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む3以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤーフレーム画像として形成し、その撮影範囲画像において撮影不足領域が有るか否かを判定する技術が記載されている。 Further, for example, Patent Document 1 describes a technique intended to prevent missed shots (missing shots) when an image for three-dimensional measurement is taken. Specifically, in Patent Document 1, each feature point for which three-dimensional coordinates are obtained is written in the coordinate space of the photographing range image that expresses the photographing range of the measurement object in the three-dimensional space, and the coordinate space of the photographing range image is written. Of the feature points written in, three or more feature points surrounding the shooting area are connected to divide each shooting area, a shooting range image is formed as a wire frame image, and there is a shooting shortage area in the shooting range image. A technique for determining whether or not it is described is described.
しかしながら、特許文献1に記載された技術では、撮影範囲画像を3次元座標において求められた特徴点に基づくワイヤーフレーム画像で生成しているために、撮影範囲画像を生成するための時間を要する。すなわち、三次元座標が求められた各特徴点が3次元座標空間に書き込まれ、その特徴点のうち撮影領域を囲む3以上の特徴点を結線してワイヤーフレーム画像を生成しているので、ワイヤーフレーム画像は多くの情報量を有する画像であり、ワイヤーフレーム画像を合成するための時間を要してしまう。 However, in the technique described in Patent Document 1, since the photographing range image is generated as a wire frame image based on the feature points obtained in the three-dimensional coordinates, it takes time to generate the photographing range image. That is, each feature point for which three-dimensional coordinates have been obtained is written in the three-dimensional coordinate space, and three or more feature points surrounding the shooting area are connected to generate a wireframe image. The frame image is an image having a large amount of information, and it takes time to synthesize the wire frame image.
また、例えば橋梁等の構造物の損傷の検出検査を行う場合には、上述したように格間の領域の床版を分割撮影して得られた分割画像により合成画像を生成するが、分割画像も多くの情報量を有する画像であるので、分割画像を合成して合成画像を生成する処理は時間を要してしまう。 Further, for example, when detecting and inspecting damage to a structure such as a bridge, a composite image is generated from a divided image obtained by dividing the floor slab of the coffer area as described above. Is an image having a large amount of information, so the process of synthesizing the divided images to generate a composite image takes time.
ここで、短時間で撮りこぼしの確認を行うことができれば、点検(撮影)現場においても簡便に撮りこぼしの確認を行うことができ、点検現場から事務所に帰ってきて合成画像を生成した時に撮りこぼしを発見して再度点検現場に行かなければならないという事態の発生を抑制することができる。すなわち、短時間で撮りこぼしの確認を行うことができれば、点検作業を効率的に進めることができる。 Here, if the missed shots can be confirmed in a short time, the missed shots can be easily confirmed even at the inspection (shooting) site, and when the composite image is generated after returning to the office from the inspection site. It is possible to suppress the occurrence of a situation in which a photograph is found and the inspection site must be visited again. That is, if it is possible to confirm the missed shot in a short time, the inspection work can be efficiently carried out.
本発明はこのような事情に鑑みてなされたもので、その目的は、短時間で計算コストをかけずに、撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を行うことができる画像処理装置、画像処理方法、およびプログラムを提供することである。 The present invention has been made in view of such circumstances, and an object of the present invention is to be able to perform a display capable of confirming the presence or absence of missed shots and the position of missed shots in a short time without incurring a calculation cost. It is to provide an image processing apparatus, an image processing method, and a program.
上記目的を達成するために、本発明の一の態様である画像処理装置は、撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得する対応点情報取得部と、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する基準分割画像特定部と、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出する行列算出部と、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換する第1の射影変換部と、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示する表示部と、を備える。 In order to achieve the above object, the image processing apparatus according to one aspect of the present invention is between an image input unit in which a plurality of divided images obtained by subject to division shooting are input and a plurality of divided images. A correspondence point information acquisition unit that searches for a correspondence point and acquires correspondence point information related to the correspondence point, a reference division image identification unit that specifies a reference division image that is a reference for projection conversion among a plurality of division images, and a correspondence point. Based on the information and the reference-divided image, the matrix calculation unit that calculates the projective conversion matrix for the reference-divided image of the converted-divided image other than the reference-divided image among the plurality of divided images, and the calculated projective conversion matrix are used for conversion. When the reference divided image and the converted divided image after the projection conversion are combined with the first projective conversion unit that projects the contour position information indicating the contour of the divided image and the projected contour position information. A composite information generation unit that generates contour position information of the composite image and a display unit that displays the contour of the composite image based on the contour position information of the composite image are provided.
本態様によれば、第1の射影変換部により、算出された射影変換行列で、被変換分割画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示される。すなわち本態様は、射影変換された分割画像の輪郭位置情報に基づく合成画像の輪郭を表示する。これにより本態様は、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。 According to this aspect, the contour position information indicating the contour of the divided image to be transformed is projected by the projective transformation matrix calculated by the first projective transformation unit, and the contour position converted by the composite information generation unit. Based on the information, the contour position information of the composite image when the reference split image and the transformed split image after the projective transformation are combined is generated, and the contour of the composite image is displayed based on the contour position information of the composite image. Will be done. That is, this aspect displays the contour of the composite image based on the contour position information of the projected and transformed divided image. Thereby, this aspect can provide the user with a display capable of confirming the presence or absence of a missed shot and the position of the missed shot in a short time without incurring a calculation cost.
好ましくは、画像処理装置は、射影変換行列に基づいて、一部の被変換分割画像を射影変換する第2の射影変換部を備え、表示部は、第2の射影変換部で変換された一部の被変換分割画像および基準分割画像のうち少なくとも一方を、合成画像の輪郭に表示する。 Preferably, the image processing apparatus includes a second projective transformation unit that transforms a part of the divided images to be transformed based on the projective transformation matrix, and the display unit is converted by the second projective transformation unit. At least one of the part to be transformed and the reference divided image is displayed on the outline of the composite image.
本態様によれば、第2の射影変換部により、射影変換行列に基づいて、一部の被変換分割画像が射影変換され、表示部により、第2の射影変換部で変換された一部の被変換分割画像および基準分割画像のうち少なくとも一方が、合成画像の輪郭に表示される。これにより本態様は合成画像の輪郭に合わせて一部の分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, a part of the divided image to be transformed is projected by the second projecting unit based on the projecting transformation matrix, and a part of the converted image is converted by the display unit by the second projecting unit. At least one of the to-transformed divided image and the reference divided image is displayed on the outline of the composite image. As a result, in this embodiment, a part of the divided image is also displayed on the display unit according to the outline of the composite image, so that it is possible to provide a display capable of more accurately confirming the presence or absence of missed shots and the position of missed shots. it can.
好ましくは、第2の射影変換部は、合成画像の隅に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the corner of the composite image.
本態様によれば、第2の射影変換部により、合成画像の隅に対応する被変換分割画像を射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、ユーザはより正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the corner of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. Can more accurately confirm the presence or absence of missed shots and the position of missed shots.
好ましくは、第2の射影変換部は、合成画像の4隅に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the four corners of the composite image.
本態様によれば、第2の射影変換部により、合成画像の4隅に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the four corners of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. It is possible to provide a display that can more accurately confirm the presence or absence of missed shots and the position of missed shots.
好ましくは、第2の射影変換部は、合成画像の辺に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the side of the composite image.
本態様によれば、第2の射影変換部により、合成画像の辺に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the side of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. It is possible to provide a display that can accurately confirm the presence or absence of missed shots and the position of missed shots.
好ましくは、第2の射影変換部は、合成画像の4辺に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the four sides of the composite image.
本態様によれば、第2の射影変換部により、合成画像の4辺に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the four sides of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. It is possible to provide a display that can more accurately confirm the presence or absence of missed shots and the position of missed shots.
好ましくは、画像処理装置は、表示部に表示された合成画像の輪郭における位置の指定を受け付ける第1の指定受付部を備え、第2の射影変換部は、第1の指定受付部で受け付けられた位置に対応する被変換分割画像を射影変換する。 Preferably, the image processing device includes a first designated reception unit that accepts the designation of the position in the outline of the composite image displayed on the display unit, and the second projective conversion unit is received by the first designated reception unit. The converted divided image corresponding to the position is projected and converted.
本態様によれば、第1の指定受付部により、表示部に表示された合成画像の輪郭における位置の指定が受け付けられて、第2の射影変換部により、第1の指定受付部で受け付けられた位置に対応する被変換分割画像が射影変換される。そして、本態様では第1の指定受付部で受け付けられた位置に対応する分割画像が合成画像の輪郭に合わせて表示部に表示される。これにより本態様は、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the first designated reception unit accepts the designation of the position in the outline of the composite image displayed on the display unit, and the second projective conversion unit accepts the designation at the first designated reception unit. The converted divided image corresponding to the position is projected and converted. Then, in this embodiment, the divided image corresponding to the position accepted by the first designated reception unit is displayed on the display unit according to the outline of the composite image. Thereby, this aspect can provide a display capable of more accurately confirming the presence or absence of a missed shot and the position of the missed shot.
好ましくは、画像処理装置は、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、射影変換行列に基づいて、一部の縮小画像を射影変換する第3の射影変換部とを備え、表示部は、第3の射影変換部で変換された一部の縮小画像を、合成画像の輪郭に表示する。 Preferably, the image processing apparatus has a reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a second method that projects and transforms a part of the reduced image based on the projection transformation matrix. The display unit includes the projection conversion unit of 3, and the display unit displays a part of the reduced image converted by the third projection conversion unit on the outline of the composite image.
本態様によれば、縮小画像生成部により、画像入力部に入力された分割画像の解像度を下げた縮小画像が生成され、第3の射影変換部により、射影変換行列に基づいて、縮小画像が射影変換される。これにより本態様は、縮小画像の情報量は分割画像よりも少ないため縮小画像の射影変換は分割画像の射影変換よりも短時間に行うことができ、より高速に撮りこぼしの有無および撮りこぼしの位置の確認をできる表示をユーザに提供することができる。 According to this aspect, the reduced image generation unit generates a reduced image in which the resolution of the divided image input to the image input unit is lowered, and the third projection conversion unit produces the reduced image based on the projection transformation matrix. It is projected and transformed. As a result, in this embodiment, since the amount of information of the reduced image is smaller than that of the divided image, the projective transformation of the reduced image can be performed in a shorter time than the projective transformation of the divided image, and the presence or absence of spillage and the spillage It is possible to provide the user with a display that allows confirmation of the position.
好ましくは、画像処理装置は、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、射影変換行列に基づいて、縮小画像を射影変換する第3の射影変換部と、表示部に表示された縮小画像の指定を受け付ける第2の指定受付部と、を備え、表示部は、第2の指定受付部で指定された縮小画像を、縮小画像に対応する、第2の射影変換部で射影変換された被変換分割画像または基準分割画像に切り替える。 Preferably, the image processing apparatus has a reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a third projection that projects and transforms the reduced image based on the projection conversion matrix. A conversion unit and a second designated reception unit that accepts the designation of the reduced image displayed on the display unit are provided, and the display unit corresponds to the reduced image designated by the second designated reception unit. , The second projecting unit switches to the projected divided image or the reference divided image.
本態様によれば、縮小画像生成部により、画像入力部に入力された分割画像の解像度を下げた縮小画像が生成され、第3の射影変換部により、射影変換行列に基づいて、縮小画像が射影変換され、第2の指定受付部により、表示部に表示された縮小画像の指定が受け付けられて、縮小画像に対応する分割画像が表示される。これにより本態様は、縮小画像の表示では撮りこぼしの有無または撮りこぼしの位置が分かりにくいような場合に、指定された箇所が分割画像に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the reduced image generation unit generates a reduced image in which the resolution of the divided image input to the image input unit is lowered, and the third projection conversion unit produces the reduced image based on the projection conversion matrix. The projective conversion is performed, and the second designated reception unit accepts the designation of the reduced image displayed on the display unit, and the divided image corresponding to the reduced image is displayed. As a result, in this embodiment, when the presence or absence of missed shots or the position of missed shots is difficult to understand when displaying the reduced image, the specified part is displayed in the divided image, so that the presence or absence of missed shots and the shooting are more accurate. It is possible to provide a display that allows the location of the spill to be confirmed.
好ましくは、基準分割画像特定部は、基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて、基準分割画像を特定する。 Preferably, the reference divided image identification unit specifies the reference divided image based on the designation of the reference divided image or the information regarding the input order of the divided images to be the reference divided image.
本態様によれば、基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて基準分割画像が特定されるので、基準分割画像として相応しい基準分割画像が特定され、より適切な合成画像の輪郭位置情報を取得することができる。 According to this aspect, since the reference divided image is specified based on the designation of the reference divided image or the information regarding the input order of the divided images to be the reference divided image, the reference divided image suitable as the reference divided image is specified, and more. It is possible to acquire the contour position information of an appropriate composite image.
本発明の他の態様である画像処理装置は、撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、縮小画像間の対応点を探索して対応点に関する対応点情報を取得する対応点情報取得部と、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する基準縮小画像特定部と、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出する行列算出部と、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する第3の射影変換部と、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示する表示部と、を備える。 In the image processing apparatus according to another aspect of the present invention, the resolution of the image input unit in which a plurality of divided images obtained by dividing the image to be photographed are input and the resolution of the divided images input to the image input unit are lowered. A reduced image generation unit that generates a reduced image, a corresponding point information acquisition unit that searches for corresponding points between reduced images and acquires corresponding point information related to the corresponding points, and a reference for projection conversion among a plurality of reduced images. Based on the reference reduced image identification unit that specifies the reference reduced image, the corresponding point information, and the reference reduced image, the projection conversion matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images is calculated. A reference reduced image based on a matrix calculation unit, a third projection conversion unit that projects and transforms contour position information indicating the contour of the reduced image to be converted by the calculated projection conversion matrix, and contour position information that has been projected and converted. A composite information generator that generates contour position information of the composite image when the converted reduced image after projection conversion is combined, and a display unit that displays the contour of the composite image based on the contour position information of the composite image. , Equipped with.
本態様によれば、第1の射影変換部により、算出された射影変換行列で、被変換縮小画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示される。すなわち本態様は、射影変換された縮小画像の輪郭位置情報に基づく合成画像の輪郭を表示する。これにより本態様は、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。 According to this aspect, the contour position information indicating the contour of the reduced image to be transformed is projected by the projective transformation matrix calculated by the first projective transformation unit, and the contour position converted by the composite information generation unit. Based on the information, the contour position information of the composite image when the reference reduced image and the converted reduced image after the projective transformation are combined is generated, and the contour of the composite image is displayed based on the contour position information of the composite image. Will be done. That is, this aspect displays the contour of the composite image based on the contour position information of the projected reduced image. Thereby, this aspect can provide the user with a display capable of confirming the presence or absence of a missed shot and the position of the missed shot in a short time without incurring a calculation cost.
本発明の他の態様である画像処理方法は、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む。 In the image processing method according to another aspect of the present invention, there is a step of inputting a plurality of divided images obtained by subject to division and shooting, and a corresponding point between the plurality of divided images is searched for and a correspondence regarding the corresponding point. A step of acquiring point information, a step of specifying a reference divided image as a reference for projection conversion among a plurality of divided images, and a reference divided image among a plurality of divided images based on the corresponding point information and the reference divided image. A step of calculating a projection conversion matrix for a reference divided image of a divided image to be converted other than the above, a step of projecting and converting contour position information indicating the contour of the divided image to be converted by the calculated projection conversion matrix, and a projection conversion. Based on the contour position information, the step of generating the contour position information of the composite image when the reference divided image and the converted divided image after the projection conversion are combined, and the step of generating the contour position information of the composite image, and the composite image based on the contour position information of the composite image. Includes steps to display contours.
本発明の他の態様である画像処理方法は、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、分割画像の解像度を下げた縮小画像を生成するステップと、縮小画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む。 The image processing method according to another aspect of the present invention includes a step of inputting a plurality of divided images obtained by subject to division shooting, a step of generating a reduced image in which the resolution of the divided image is lowered, and a reduction. A step of searching for a corresponding point between images to obtain corresponding point information related to the corresponding point, a step of specifying a reference reduced image as a reference for projection conversion among a plurality of reduced images, and a corresponding point information and a reference reduced image. Based on the step of calculating the projection conversion matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images, and the contour showing the outline of the converted reduced image by the calculated projection conversion matrix. A step of projecting and converting the position information, and a step of generating the contour position information of the composite image when the reference reduced image and the converted reduced image after the projection conversion are combined based on the projected contour position information. , A step of displaying the contour of the composite image based on the contour position information of the composite image.
本発明の他の態様であるプログラムは、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む工程をコンピュータに実行させる。 The program according to another aspect of the present invention searches for a step in which a plurality of divided images obtained by subject to division shooting are input and a corresponding point between the plurality of divided images, and provides corresponding point information regarding the corresponding point. And the step of specifying the reference divided image that is the reference of the projective transformation among the plurality of divided images, and the steps other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image. A step of calculating a projective transformation matrix for a reference segmented image of a segmented image to be transformed, a step of projecting and transforming contour position information indicating the contour of the segmented image to be transformed by the calculated projective transformation matrix, and a step of projecting and transforming the contour position. Based on the information, the step of generating the contour position information of the composite image when the reference split image and the transformed split image after the projective transformation are combined, and the contour of the composite image based on the contour position information of the composite image. Have the computer perform the steps to display and the steps including.
本発明の他の態様であるプログラムは、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、分割画像の解像度を下げた縮小画像を生成するステップと、縮小画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む工程をコンピュータに実行させる。 In the program according to another aspect of the present invention, a step of inputting a plurality of divided images obtained by subject to division shooting, a step of generating a reduced image with a reduced resolution of the divided image, and a step between the reduced images. Based on the corresponding point information and the reference reduced image, the step of searching for the corresponding point of the above and acquiring the corresponding point information about the corresponding point, the step of specifying the reference reduced image that is the reference of the projection conversion among the plurality of reduced images, and the step Then, the step of calculating the projection conversion matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images, and the contour position information indicating the contour of the converted reduced image by the calculated projective conversion matrix. And the step of generating the contour position information of the composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information. Based on the contour position information of the image, the computer is made to execute a step including displaying the contour of the composite image.
本発明によれば、第1の射影変換部により、算出された射影変換行列で、被変換分割画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示されるので、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。 According to the present invention, the contour position information indicating the contour of the divided image to be transformed is projected by the projective transformation matrix calculated by the first projective transformation unit, and the contour position converted by the composite information generation unit. Based on the information, the contour position information of the composite image when the reference split image and the transformed split image after the projective transformation are combined is generated, and the contour of the composite image is displayed based on the contour position information of the composite image. Therefore, it is possible to provide the user with a display capable of confirming the presence or absence of a missed shot and the position of the missed shot in a short time without incurring a calculation cost.
以下、添付図面にしたがって本発明にかかる画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。 Hereinafter, preferred embodiments of the image processing apparatus, image processing method, and program according to the present invention will be described with reference to the accompanying drawings.
図1は、撮影対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。本発明における撮影対象物は、特に限定されるものではないが、例えば、構造物の損傷の検出検査を行う場合に使用される撮影画像を合成する場合に本発明が適用される。具体的には格間単位で床版6(図1)の損傷検出検査を行う場合に、格間502(図5)の領域の床版6を分割撮影し、その分割撮影された撮影画像を合成する場合に本発明が適用される。 FIG. 1 is a perspective view showing a structure of a bridge, which is one of the structures to be photographed, and is a perspective view of the bridge as viewed from below. The object to be imaged in the present invention is not particularly limited, but the present invention is applied, for example, when synthesizing a photographed image used for detecting and inspecting damage to a structure. Specifically, when performing a damage detection inspection of the floor slab 6 (FIG. 1) in units of coffers, the floor slab 6 in the area of the coffer 502 (FIG. 5) is divided and photographed, and the photographed image obtained by dividing the image is captured. The present invention is applied when synthesizing.
図1に示す橋梁1は、主桁2と、横桁3と、対傾構4と、横構5とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁2等の上部には、車輌等が走行するための床版6が打設されている。床版6は、鉄筋コンクリート製のものが一般的である。 The bridge 1 shown in FIG. 1 has a main girder 2, a cross girder 3, an anti-tilt structure 4, and a horizontal structure 5, and these are connected by bolts, rivets, or welds. Further, a floor slab 6 for vehicles and the like is placed on the upper part of the main girder 2 and the like. The floor slab 6 is generally made of reinforced concrete.
主桁2は、橋台または橋脚の間に渡され、床版6上の車輌等の荷重を支える部材である。横桁3は、荷重を複数の主桁2で支持するため、主桁2を連結する部材である。対傾構4および横構5は、それぞれ風および地震の横荷重に抵抗するため、主桁2を相互に連結する部材である。 The main girder 2 is a member that is passed between the abutment or the pier and supports the load of a vehicle or the like on the floor slab 6. The cross girder 3 is a member that connects the main girders 2 in order to support the load by the plurality of main girders 2. The anti-tilt structure 4 and the horizontal structure 5 are members that connect the main girders 2 to each other in order to resist the lateral loads of wind and earthquake, respectively.
図2は、床版6を分割撮影することにより分割画像を取得する撮影システムを示す概念図である。 FIG. 2 is a conceptual diagram showing a photographing system that acquires a divided image by taking a divided image of the floor slab 6.
撮影システム500は、移動体100とコンピュータ300とで構成されている。すなわち撮影システム500において、移動体100で取得された分割画像はコンピュータ300に送信され、コンピュータ300には画像処理装置400(図7)が備えられている。 The photographing system 500 includes a mobile body 100 and a computer 300. That is, in the photographing system 500, the divided image acquired by the moving body 100 is transmitted to the computer 300, and the computer 300 is provided with the image processing device 400 (FIG. 7).
移動体100は、カメラ101を備えており、コンピュータ300の制御により移動およびカメラ101による撮影を行う。移動体100は、コンピュータ300の制御により移動および撮影を行えるものであれば特に限定されるものではない。例えば移動体100は、走行型ロボット、小型のヘリコプター、マルチコプター、ドローンまたはUAV(Unmanned Aerial Vehicles、無人航空機)と呼ばれる装置があげられる。 The moving body 100 includes a camera 101, and moves and shoots with the camera 101 under the control of the computer 300. The moving body 100 is not particularly limited as long as it can move and photograph under the control of the computer 300. For example, the moving body 100 includes a traveling robot, a small helicopter, a multicopter, a drone, or a device called a UAV (Unmanned Aerial Vehicles).
コンピュータ300および移動体100は相互に通信可能であり、コンピュータ300は、移動体100の移動の制御およびカメラ101での撮影制御を遠隔で行うことができる。また、移動体100が撮影した撮影画像は、コンピュータ300の表示部326(図4)と入力部328(図4)とを兼ねたタッチパネルディスプレイ302に表示される。 The computer 300 and the mobile body 100 can communicate with each other, and the computer 300 can remotely control the movement of the mobile body 100 and the shooting control by the camera 101. Further, the captured image captured by the moving body 100 is displayed on the touch panel display 302 that also serves as the display unit 326 (FIG. 4) and the input unit 328 (FIG. 4) of the computer 300.
図3は、移動体100の撮影位置を概念的に示した図である。なお、図3は図1においてX軸方向から床版6を見た概念的な図である。またカメラ101は、図2で示したように移動体100に備えられ、移動体100の移動によって移動させられる。なお、図3では移動体100は省略されている。また床版6上には車輌10が走行し、床版6の下方からの撮影画像を取得して床版6の損傷の検出検査が行われる。 FIG. 3 is a diagram conceptually showing the photographing position of the moving body 100. Note that FIG. 3 is a conceptual diagram of the floor slab 6 viewed from the X-axis direction in FIG. Further, the camera 101 is provided on the moving body 100 as shown in FIG. 2, and is moved by the movement of the moving body 100. In FIG. 3, the moving body 100 is omitted. Further, the vehicle 10 runs on the floor slab 6, and an image taken from below the floor slab 6 is acquired to detect and inspect the damage of the floor slab 6.
移動体100は、コンピュータ300の制御により各撮影位置に移動させられ、撮影を行って撮影画像を取得する。床版6の格間単位で検査が行われる場合には、分割撮影により床版6の分割画像が取得される。 The moving body 100 is moved to each shooting position under the control of the computer 300, shoots, and acquires a shot image. When the inspection is performed in units of coffers of the floor slab 6, the divided image of the floor slab 6 is acquired by the divided shooting.
図4は、コンピュータ300のシステム構成例を示すブロック図である。 FIG. 4 is a block diagram showing a system configuration example of the computer 300.
図4に示すように、コンピュータ300は、コンピュータ300の全体の動作を制御するCPU(Central Processing Unit)310を備え、このCPU310にシステムバス312を介して、メインメモリ314、不揮発性メモリ316、モバイル通信部318、無線LAN通信部320、近距離無線通信部322、有線通信部324、表示部326、入力部328、キー入力部330、音声処理部332、画像処理部334等が接続されて構成される。 As shown in FIG. 4, the computer 300 includes a CPU (Central Processing Unit) 310 that controls the overall operation of the computer 300, and the CPU 310 is connected to the main memory 314, the non-volatile memory 316, and the mobile via the system bus 312. Communication unit 318, wireless LAN communication unit 320, short-range wireless communication unit 322, wired communication unit 324, display unit 326, input unit 328, key input unit 330, voice processing unit 332, image processing unit 334, etc. are connected and configured. Will be done.
CPU310は、不揮発性メモリ316に記憶された動作プログラム(OS(Operating System)、および、そのOS上で動作するアプリケーションプログラム)、および、定型データ等を読み出し、メインメモリ314に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。 The CPU 310 reads an operating program (OS (Operating System) and an application program running on the OS) stored in the non-volatile memory 316, standard data, and the like, expands the data into the main memory 314, and performs the operation. By executing the program, it functions as a control unit that controls the operation of the entire computer.
メインメモリ314は、たとえば、RAM(Random Access Memory)で構成され、CPU310のワークメモリとして機能する。 The main memory 314 is composed of, for example, a RAM (Random Access Memory) and functions as a work memory of the CPU 310.
不揮発性メモリ316は、たとえば、フラッシュEEPROM(EEPROM:Electrically Erasable Programmable Read Only Memory)で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ316は、コンピュータ300の記憶部として機能し、各種データを記憶する。 The non-volatile memory 316 is composed of, for example, a flash EEPROM (EEPROM: Electrically Erasable Programmable Read Only Memory), and stores the above-mentioned operation program and various standard data. Further, the non-volatile memory 316 functions as a storage unit of the computer 300 and stores various data.
モバイル通信部318は、IMT−2000規格(International Mobile Telecommunication-2000)に準拠した第3世代移動通信システム、および、IMT−Advance規格(International Mobile Telecommunications-Advanced)に準拠した第4世代移動通信システムに基づき、アンテナ318Aを介して、最寄りの図示しない基地局との間でデータの送受を実行する。 The mobile communication unit 318 is a third-generation mobile communication system compliant with the IMT-2000 standard (International Mobile Telecommunication-2000) and a fourth-generation mobile communication system compliant with the IMT-Advance standard (International Mobile Telecommunications-Advanced). Based on this, data is transmitted and received to and from the nearest base station (not shown) via the antenna 318A.
無線LAN通信部320は、アンテナ320Aを介して、無線LANアクセスポイントや無線LAN通信が可能な外部機器との間で所定の無線LAN通信規格(たとえば、例えばIEEE802.11a/b/g/n規格)に従った無線LAN通信を行う。 The wireless LAN communication unit 320 has a predetermined wireless LAN communication standard (for example, IEEE802.11a / b / g / n standard) with a wireless LAN access point or an external device capable of wireless LAN communication via the antenna 320A. ) Is performed for wireless LAN communication.
近距離無線通信部322は、アンテナ322Aを介して、たとえばクラス2(半径約10m内)の範囲内にある他のBluetooth(登録商標)規格の機器とデータの送受を実行する。 The short-range wireless communication unit 322 transmits and receives data to and from other Bluetooth (registered trademark) standard devices within a range of, for example, class 2 (within a radius of about 10 m) via the antenna 322A.
有線通信部324は、外部接続端子306を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、USB(Universal Serial Bus)通信を行う。 The wired communication unit 324 communicates with an external device connected by a cable via the external connection terminal 306 according to a predetermined communication standard. For example, USB (Universal Serial Bus) communication is performed.
表示部326は、タッチパネルディスプレイ302のディスプレイ部分を構成するカラーLCD(liquid crystal display)パネルと、その駆動回路と、で構成され、各種画像を表示する。 The display unit 326 is composed of a color LCD (liquid crystal display) panel constituting the display portion of the touch panel display 302 and a drive circuit thereof, and displays various images.
入力部328は、タッチパネルディスプレイ302のタッチパネル部分を構成する。入力部328は、透明電極を用いてカラーLCDパネルと一体的に構成される。 The input unit 328 constitutes a touch panel portion of the touch panel display 302. The input unit 328 is integrally configured with the color LCD panel by using a transparent electrode.
キー入力部330は、コンピュータ300の筐体に備えられた複数の操作ボタンと、その駆動回路と、で構成される。 The key input unit 330 is composed of a plurality of operation buttons provided in the housing of the computer 300 and a drive circuit thereof.
音声処理部332は、システムバス312を介して与えられるデジタル音声データをアナログ化してスピーカー304から出力する。 The voice processing unit 332 converts the digital voice data given via the system bus 312 into analog and outputs it from the speaker 304.
画像処理部334は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ305から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。 The image processing unit 334 digitizes the analog image signal output from the built-in camera 305 provided with the photographing lens and the image sensor, performs necessary signal processing, and outputs the analog image signal.
次に、撮りこぼしの例に関して説明する。特に以下で説明する例は、床版6の損傷検出検査を格間単位で行う場合に発生しうる撮りこぼしの例である。 Next, an example of spillage will be described. In particular, the example described below is an example of spillage that may occur when the damage detection inspection of the floor slab 6 is performed in units of coffers.
図5はタイプ1の撮りこぼしが発生している合成画像501を示す図であり、図6はタイプ2の撮りこぼしが発生している合成画像501を示す図である。なお、図5および図6に示された合成画像501は、床版6を分割撮影して得られた複数の分割画像を射影変換して合成したものである。すなわち床版6を撮影した分割画像は、射影変換されて合成され、合成画像501を形成している。 FIG. 5 is a diagram showing a composite image 501 in which a type 1 spillage occurs, and FIG. 6 is a diagram showing a composite image 501 in which a type 2 spillage occurs. The composite image 501 shown in FIGS. 5 and 6 is a composite image obtained by projecting and transforming a plurality of divided images obtained by taking a divided image of the floor slab 6. That is, the divided images obtained by photographing the floor slab 6 are projected and combined to form the composite image 501.
図5に示された合成画像501では、撮りこぼし503が発生している。すなわち本来、合成画像501には格間502の領域の床版6が漏れなく写っているはずであるが、撮りこぼし503の箇所は、床版6に対応する画像が無い。分割画像を合成する場合には、合成される各画像において糊代を設けて、糊代の領域において合成される。したがって、糊代の領域の見積もりを含めて分割画像を撮影する必要があるが、見積もりが誤りであった場合には、例えば撮りこぼし503が発生してしまう。 In the composite image 501 shown in FIG. 5, a spilled image 503 has occurred. That is, originally, the floor slab 6 in the area of the coffer 502 should be captured in the composite image 501 without omission, but there is no image corresponding to the floor slab 6 in the portion of the missed shot 503. When the divided images are combined, a glue margin is provided in each of the combined images, and the divided images are combined in the glue margin region. Therefore, it is necessary to take a divided image including the estimation of the region of the glue allowance, but if the estimation is incorrect, for example, a missed shot 503 will occur.
図6に示された合成画像501では、撮りこぼし507が発生している。すなわち本来、合成画像501には格間502の領域の床版6が漏れなく写っているはずであるが、撮りこぼし507の箇所は、床版6に対応する画像が無い。撮りこぼし507は、いわゆる中抜けであり、合成画像501は中抜けを有する画像となってしまっている。 In the composite image 501 shown in FIG. 6, the spilled image 507 has occurred. That is, originally, the floor slab 6 in the area of the coffer 502 should be captured in the composite image 501 without omission, but there is no image corresponding to the floor slab 6 in the spilled 507. The missed image 507 is a so-called hollow, and the composite image 501 is an image having a hollow.
ここで、図5および図6には合成画像501が示されており、合成画像501をユーザが確認することにより、撮りこぼし503および撮りこぼし507の発生を確認することができる。しかしながら、合成画像501は分割画像で構成されているため、各分割画像を射影変化しなければならず、合成画像501の生成には時間および計算コストを要する。例えば、橋梁1の損傷の検出検査を行う場合には、合計800の格間についてそれぞれ分割画像から構成される合成画像501を生成することを考えると、撮りこぼしの確認のために合成画像501を撮影現場で生成していては、点検作業の効率を大幅に下げてしまう。 Here, the composite image 501 is shown in FIGS. 5 and 6, and the user can confirm the occurrence of the missed shot 503 and the missed shot 507 by checking the composite image 501. However, since the composite image 501 is composed of divided images, each divided image must be projected and changed, and it takes time and calculation cost to generate the composite image 501. For example, when performing a damage detection inspection of the bridge 1, considering that a composite image 501 composed of divided images is generated for each of a total of 800 coffers, the composite image 501 is used for confirmation of spillage. If it is generated at the shooting site, the efficiency of inspection work will be greatly reduced.
したがって、本発明では短時間で計算コストをかけずに、撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提案する。 Therefore, the present invention proposes a display capable of confirming the presence or absence of missed shots and the position of missed shots in a short time without incurring a calculation cost.
<第1の実施形態>
本発明の第1の実施形態に関して説明する。図7は、本実施形態の画像処理装置400の機能構成例を示す図である。<First Embodiment>
The first embodiment of the present invention will be described. FIG. 7 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment.
画像処理装置400は、画像入力部401、対応点情報取得部403、基準分割画像特定部405、行列算出部407、射影変換部409、合成情報生成部413、および表示部415を備える。 The image processing device 400 includes an image input unit 401, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit 415.
画像入力部401は、撮影対象が分割撮影されることにより、得られた複数の分割画像が入力される。例えば、移動体100で取得された床版6の分割画像が画像入力部401に、分割画像が取得される毎にまたは一つの格間502を撮影し終える毎に入力される。画像入力部401は、例えばコンピュータ300のモバイル通信部318、無線LAN通信部320、または近距離無線通信部322で実現される。 The image input unit 401 inputs a plurality of divided images obtained by taking a divided image of the object to be photographed. For example, the divided image of the floor slab 6 acquired by the moving body 100 is input to the image input unit 401 every time the divided image is acquired or every time one coffer 502 is photographed. The image input unit 401 is realized by, for example, the mobile communication unit 318 of the computer 300, the wireless LAN communication unit 320, or the short-range wireless communication unit 322.
対応点情報取得部403は、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得する。具体的には対応点情報取得部403は、各分割画像において特徴点を抽出し、抽出された特徴点において分割画像間の対応点に関する情報を取得する。対応点に関する情報とは、例えば対応点の座標である。なお、対応点情報取得部403は、公知の手法により対応分割画像間における対応点に関する情報を取得することができる。例えば、対応点に関する情報の取得の手法として、画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF(Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。 The correspondence point information acquisition unit 403 searches for the correspondence points between the plurality of divided images and acquires the correspondence point information regarding the correspondence points. Specifically, the corresponding point information acquisition unit 403 extracts feature points in each divided image, and acquires information on corresponding points between the divided images at the extracted feature points. The information about the corresponding point is, for example, the coordinates of the corresponding point. The correspondence point information acquisition unit 403 can acquire information on the correspondence points between the correspondence division images by a known method. For example, as a method for acquiring information on corresponding points, SIFT (Scale-invariant feature transform) features and SURF (Speed-Upped Robust Features) are used as robust local features that are resistant to scaling, rotation, and lighting changes between images. ) Features and AKAZE (Accelerated KAZE) features are known.
基準分割画像特定部405は、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する。基準分割画像は、その後の射影変換および合成画像の輪郭位置情報の生成に必要となるので、少なくとも1枚特定される必要がある。特定される基準分割画像は、射影変換の基準となり、合成画像の輪郭位置情報に影響する。すなわち、特定する基準分割画像によっては、被写体に対して正対した合成画像の輪郭位置情報が生成される場合もあり、アオリを有する合成画像の輪郭位置情報が生成される場合もある。撮りこぼしの確認をするためであれば、合成画像の形状および正対しているか否かは、決定的な問題とならいため、基準分割画像の特定は無作為(ランダム)に特定されてもよい。 The reference divided image specifying unit 405 specifies a reference divided image as a reference for projection conversion among the plurality of divided images. Since the reference divided image is required for the subsequent projective transformation and the generation of the contour position information of the composite image, it is necessary to specify at least one image. The specified reference divided image serves as a reference for the projective transformation and affects the contour position information of the composite image. That is, depending on the reference divided image to be specified, the contour position information of the composite image facing the subject may be generated, or the contour position information of the composite image having tilt may be generated. In order to confirm the spillage, the shape of the composite image and whether or not it faces each other are not a decisive issue. Therefore, the reference divided image may be specified at random.
また、基準分割画像特定部405は、複数の分割画像のうちの射影変換の基準となる基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて、基準分割画像を特定してもよい。例えば基準分割画像特定部405は、コンピュータ300のタッチパネルディスプレイ302に表示された分割画像をユーザが選択することにより、ユーザの指定を受け付けて基準分割画像の指定を受け付ける。また基準分割画像特定部405は、コンピュータ300のメインメモリ314に記憶されている基準分割画像となる分割画像の入力順序に関する情報を受け付けることにより、基準分割画像を特定する。例えば、基準分割画像となる分割画像の入力順序に関する情報とは、格間毎の撮影において最初に入力された分割画像を基準分割画像とする、または入力された分割画像の真ん中の順番に入力された分割画像を基準分割画像とするなどである。基準分割画像特定部405は、例えばコンピュータ300のCPU310で実現される。 Further, the reference divided image specifying unit 405 determines the reference divided image based on the designation of the reference divided image as the reference of the projection conversion among the plurality of divided images or the input order of the divided images to be the reference divided image. It may be specified. For example, the reference divided image specifying unit 405 accepts the user's designation by selecting the divided image displayed on the touch panel display 302 of the computer 300, and accepts the designation of the reference divided image. Further, the reference divided image specifying unit 405 identifies the reference divided image by receiving information regarding the input order of the divided images to be the reference divided images stored in the main memory 314 of the computer 300. For example, the information regarding the input order of the divided images to be the reference divided images is such that the divided image first input in the shooting for each interval is used as the reference divided image, or the divided images are input in the middle order of the input divided images. For example, the divided image is used as a reference divided image. The reference divided image identification unit 405 is realized by, for example, the CPU 310 of the computer 300.
行列算出部407は、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出する。すなわち行列算出部407は、基準分割画像特定部405で特定された基準分割画像に隣接する被変換分割画像の対応点情報に基づき、基準分割画像に合わせるように射影変換を行い、順次被変換分割画像の対応点情報に基づき被変換分割画像の射影変換行列を算出する。 The matrix calculation unit 407 calculates a projective transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image. That is, the matrix calculation unit 407 performs a projective transformation so as to match the reference division image based on the corresponding point information of the conversion divided image adjacent to the reference division image specified by the reference division image identification unit 405, and sequentially performs the transformation division. The projective transformation matrix of the image to be transformed is calculated based on the corresponding point information of the image.
射影変換部409は、輪郭位置情報を射影変換する第1の射影変換部411を有する。第1の射影変換部411は、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換する。すなわち、行列算出部407で算出された各被変換分割画像毎の射影変換行列により、各被変換分割画像の輪郭を示す輪郭位置情報を射影変換する。射影変換部409は、例えばコンピュータ300のCPU310で実現される。 The projective transformation unit 409 has a first projective transformation unit 411 that projects and transforms contour position information. The first projective transformation unit 411 projects and transforms contour position information indicating the contour of the image to be transformed by the calculated projective transformation matrix. That is, the contour position information indicating the contour of each converted divided image is projected and converted by the projection transformation matrix for each converted divided image calculated by the matrix calculation unit 407. The projection conversion unit 409 is realized by, for example, the CPU 310 of the computer 300.
図8は、第1の射影変換部411が行う被変換分割画像の輪郭位置情報の射影変換について説明する図である。 FIG. 8 is a diagram illustrating the projective transformation of the contour position information of the image to be transformed, which is performed by the first projective transformation unit 411.
図8(A)は、射影変換前の被変換分割画像D1の輪郭位置情報を示す図である。具体的には被変換分割画像D1の四隅の座標E1、F1、G1およびH1が輪郭位置情報として示されている。 FIG. 8A is a diagram showing contour position information of the converted divided image D1 before the projection conversion. Specifically, the coordinates E1, F1, G1 and H1 at the four corners of the converted divided image D1 are shown as contour position information.
図8(B)は、射影変換後の被変換分割画像D2の輪郭位置情報を示す図である。被変換分割画像D1の輪郭位置情報を示す座標E1、F1、G1、およびH1を射影変換行列により射影変換し、座標E2、F2、G2、およびH2に変換する。座標E2、F2、G2、およびH2は射影変換後の被変換分割画像D2の輪郭を示す。 FIG. 8B is a diagram showing contour position information of the converted divided image D2 after the projective conversion. The coordinates E1, F1, G1, and H1 indicating the contour position information of the divided image D1 to be transformed are projected and transformed by the projective transformation matrix, and converted into the coordinates E2, F2, G2, and H2. Coordinates E2, F2, G2, and H2 show the outline of the transformed image D2 after the projective transformation.
ここで、第1の射影変換部411は、被変換分割画像D1の輪郭位置情報を示す座標E1、F1、G1、およびH1を射影変換しており、被変換分割画像D1を構成する全ての画素を射影変換しない。すなわち第1の射影変換部411は、被変換分割画像D1の輪郭のみ射影変換して、射影変換後の被変換分割画像D2の輪郭位置情報を算出する。このように第1の射影変換部411に、分割画像の輪郭のみの射影変換をさせることにより、射影変換にかかる時間を短縮することができ、射影変換にかかる計算コストを抑制することができる。なお、図8に示した例では、輪郭位置情報として被変換分割画像の四隅の座標を示したが、これに限定されるものではない。被変換分割画像の輪郭を示す情報であれば他の態様の情報も使われる。 Here, the first projective conversion unit 411 projects and transforms the coordinates E1, F1, G1, and H1 indicating the contour position information of the converted divided image D1, and all the pixels constituting the converted divided image D1. Does not project. That is, the first projective transformation unit 411 projects and transforms only the contour of the converted divided image D1, and calculates the contour position information of the converted divided image D2 after the projective transformation. By causing the first projective transformation unit 411 to perform the projective transformation of only the contour of the divided image in this way, the time required for the projective transformation can be shortened, and the calculation cost required for the projective transformation can be suppressed. In the example shown in FIG. 8, the coordinates of the four corners of the divided image to be converted are shown as the contour position information, but the present invention is not limited to this. Information of other modes is also used as long as it is information indicating the outline of the divided image to be converted.
図7に戻って、合成情報生成部413は、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像501の輪郭位置情報を生成する。すなわち合成情報生成部413は、第1の射影変換部411で変換された被変換分割画像の輪郭位置情報を合成することにより、基準分割画像および被変換分割画像を合成した合成画像501の輪郭位置情報を算出する。合成情報生成部413は、例えばコンピュータ300のCPU310で実現される。 Returning to FIG. 7, the composite information generation unit 413 combines the contour position information of the composite image 501 when the reference divided image and the converted divided image after the projection conversion are combined based on the contour position information obtained by the projection conversion. To generate. That is, the composite information generation unit 413 synthesizes the contour position information of the converted divided image converted by the first projective conversion unit 411, so that the contour position of the composite image 501 obtained by synthesizing the reference divided image and the converted divided image Calculate the information. The synthetic information generation unit 413 is realized by, for example, the CPU 310 of the computer 300.
表示部415は、合成画像501の輪郭位置情報に基づき合成画像501の輪郭505を表示する。すなわち表示部415は、合成情報生成部413で生成された合成画像501の輪郭位置情報により、コンピュータ300のタッチパネルディスプレイ302に合成画像501の輪郭505を表示する。タッチパネルディスプレイ302に合成画像501の輪郭505が表示されることにより、ユーザは撮りこぼしの有無および撮りこぼしの位置について確認することができる。表示部415は、例えばコンピュータ300の表示部326で実現される。 The display unit 415 displays the contour 505 of the composite image 501 based on the contour position information of the composite image 501. That is, the display unit 415 displays the contour 505 of the composite image 501 on the touch panel display 302 of the computer 300 based on the contour position information of the composite image 501 generated by the composite information generation unit 413. By displaying the contour 505 of the composite image 501 on the touch panel display 302, the user can confirm the presence or absence of missed shots and the position of missed shots. The display unit 415 is realized by, for example, the display unit 326 of the computer 300.
図9および図10は、合成情報生成部413が生成する合成画像501の輪郭情報に基づいて、表示部415がタッチパネルディスプレイ302に表示した合成画像501の輪郭505を示す図である。図9は図5で説明した撮りこぼし503を有する合成画像501についての合成画像501の輪郭505の表示であり、図10は図6で説明した撮りこぼし507を有する合成画像501の輪郭505の表示である。 9 and 10 are diagrams showing the contour 505 of the composite image 501 displayed on the touch panel display 302 by the display unit 415 based on the contour information of the composite image 501 generated by the composite information generation unit 413. FIG. 9 is a display of the contour 505 of the composite image 501 for the composite image 501 having the missed shot 503 described in FIG. 5, and FIG. 10 is a display of the contour 505 of the composite image 501 having the missed shot 507 described in FIG. Is.
図9(A)には比較のために、通常に分割画像(基準分割画像および射影変換後の被変換分割画像)を合成して得られた合成画像501が示されている。 For comparison, FIG. 9A shows a composite image 501 obtained by synthesizing a normally divided image (a reference divided image and a converted divided image after projection conversion).
一方図9(B)には、合成情報生成部413で生成された合成画像501の輪郭情報に基づいて合成画像501の輪郭505が示されている。具体的には、図8で説明したように第1の射影変換部411により各被変換分割画像の輪郭位置情報を射影変換し、合成情報生成部413により合成画像501の輪郭位置情報を生成し、合成画像501の輪郭505を表示部415に示している。 On the other hand, FIG. 9B shows the contour 505 of the composite image 501 based on the contour information of the composite image 501 generated by the composite information generation unit 413. Specifically, as described with reference to FIG. 8, the first projective conversion unit 411 projects the contour position information of each divided image to be converted, and the composite information generation unit 413 generates the contour position information of the composite image 501. The outline 505 of the composite image 501 is shown on the display unit 415.
例えばユーザは、一つの格間502の床版6について分割画像を複数枚取得した後に、合成画像501の輪郭505を確認する。そしてユーザは、格間502の床版6についての合成画像501の輪郭505であれば略矩形となっているので、撮りこぼし503に対応する輪郭505の表示を確認することにより、格間502の床版6について撮りこぼしが発生していることがわかる。 For example, the user confirms the contour 505 of the composite image 501 after acquiring a plurality of divided images for the floor slab 6 of one coffer 502. Then, since the contour 505 of the composite image 501 for the floor slab 6 of the coffer 502 is substantially rectangular, the user confirms the display of the contour 505 corresponding to the missed shot 503, so that the coffer 502 It can be seen that the floor slab 6 has been missed.
図10(A)には比較のために、通常に分割画像(基準分割画像および射影変換後の被変換分割画像)を合成して得られた合成画像501が示されている。 FIG. 10A shows a composite image 501 obtained by synthesizing a normally divided image (a reference divided image and a converted divided image after projection conversion) for comparison.
一方図10(B)には、図9(B)と同様に合成情報生成部413で生成された合成画像501の輪郭情報に基づいて合成画像501の輪郭505が示されている。 On the other hand, FIG. 10B shows the contour 505 of the composite image 501 based on the contour information of the composite image 501 generated by the composite information generation unit 413 as in FIG. 9B.
ユーザは、一つの格間502の床版6について分割画像を複数枚取得した後に、合成画像501の輪郭505を確認する。そしてユーザは、格間502の床版6についての合成画像501の輪郭505が、撮りこぼし507に対応する輪郭505のような中抜けとはならないので、格間502の床版6について撮りこぼしが発生していることがわかる。 The user confirms the contour 505 of the composite image 501 after acquiring a plurality of divided images for the floor slab 6 of one coffer 502. Then, the user does not have the contour 505 of the composite image 501 for the floor slab 6 of the coffer 502 as a hollow like the contour 505 corresponding to the missed shot 507, so that the floor slab 6 of the coffer 502 is missed. You can see that it is occurring.
図11は、画像処理装置400の動作を示すフロー図である。 FIG. 11 is a flow chart showing the operation of the image processing device 400.
先ず、格間502の床版6について、移動体100により分割画像が撮影される。格間502の床版6について分割画像の撮影が一通り終了すると、コンピュータ300に分割画像が送信される。そして、画像入力部401に撮影対象が分割撮影されて得られた複数の分割画像が入力される(ステップS10)。 First, a divided image is taken by the moving body 100 of the floor slab 6 of the coffer 502. When the shooting of the divided image of the floor slab 6 of the coffer 502 is completed, the divided image is transmitted to the computer 300. Then, a plurality of divided images obtained by dividing the image to be photographed are input to the image input unit 401 (step S10).
次に、対応点情報取得部403により、入力された複数の分割画像間の対応点が探索されて、探索された対応点に関する対応点情報が取得される(ステップS11)。そして、基準分割画像特定部405により、基準分割画像が特定される(ステップS12)。例えば、基準分割画像の指定は入力部328を介してユーザにより入力され、また例えばコンピュータ300のメインメモリ314に記憶されていた基準分割画像となる分割画像の入力順序に関する情報を受け付ける。 Next, the corresponding point information acquisition unit 403 searches for the corresponding points between the input plurality of divided images, and acquires the corresponding point information regarding the searched corresponding points (step S11). Then, the reference divided image identification unit 405 specifies the reference divided image (step S12). For example, the designation of the reference divided image is input by the user via the input unit 328, and also receives information regarding the input order of the divided images to be the reference divided image stored in the main memory 314 of the computer 300, for example.
次に、行列算出部407により、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列が算出される(ステップS13)。そして、射影変換部409の第1の射影変換部411により、算出された射影変換行列により、被変換分割画像の輪郭505を示す輪郭位置情報が射影変換される(ステップS14)。その後、合成情報生成部413により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成される(ステップS15)。そして、表示部415により合成画像501の輪郭505が表示される(ステップS16)。 Next, the matrix calculation unit 407 calculates a projective transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image (step S13). ). Then, the contour position information indicating the contour 505 of the divided image to be transformed is projected by the first projecting conversion unit 411 of the projecting conversion unit 409 by the projected projection matrix calculated (step S14). After that, the composite information generation unit 413 generates the contour position information of the composite image when the reference divided image and the converted divided image after the projection conversion are combined based on the contour position information obtained by the projection conversion ( Step S15). Then, the outline 505 of the composite image 501 is displayed by the display unit 415 (step S16).
上記実施形態において、各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。 In the above embodiment, the hardware structure of the processing unit that executes various processes is various processors as shown below. For various processors, the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. Includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute a specific process such as a programmable logic device (PLD), an ASIC (Application Specific Integrated Circuit), etc. Is done.
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサ(例えば、複数のFPGA、あるいはCPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。 Further, the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ(処理手順)をコンピュータ300に実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのようなプログラムをインストール可能なコンピュータ300に対しても本発明を適用することが可能である。 Each of the above configurations and functions can be appropriately realized by any hardware, software, or a combination of both. For example, a program that causes the computer 300 to execute the above-mentioned processing steps (processing procedure), a computer-readable recording medium (non-temporary recording medium) that records such a program, or a computer 300 that can install such a program. The present invention can also be applied to the above.
<第2の実施形態>
次に、本発明の第2の実施形態に関して説明する。先ず本実施形態で解決される撮りこぼしの例について説明する。<Second embodiment>
Next, a second embodiment of the present invention will be described. First, an example of missed shots solved by the present embodiment will be described.
図12は、タイプ3の撮りこぼしが発生している合成画像501を示す図である。 FIG. 12 is a diagram showing a composite image 501 in which a type 3 shot is missed.
図12に示された合成画像501では、撮りこぼし509が発生している。なお、図12に示された合成画像501は、床版6を分割撮影して得られた複数の分割画像を射影変換して合成したものである。すなわち床版6を撮影した分割画像は、射影変換されて合成され、合成画像501を形成している。 In the composite image 501 shown in FIG. 12, a spilled image 509 has occurred. The composite image 501 shown in FIG. 12 is a composite image obtained by projecting and transforming a plurality of divided images obtained by subjecting the floor slab 6 in a divided manner. That is, the divided images obtained by photographing the floor slab 6 are projected and combined to form the composite image 501.
図12に示された合成画像501では、撮りこぼし509が発生している。すなわち本来、合成画像501には格間502の領域の床版6が漏れなく写っているはずであるが、撮りこぼし509の箇所は、格間502の端部に対応する床版6の画像が欠如している。 In the composite image 501 shown in FIG. 12, a spilled image 509 has occurred. That is, originally, the floor slab 6 in the area of the coffer 502 should be captured in the composite image 501 without omission, but the image of the floor slab 6 corresponding to the end of the coffer 502 is in the spilled part 509. Missing.
図13は、合成情報生成部413が生成する合成画像501の輪郭情報に基づいて、表示部415がタッチパネルディスプレイ302に表示した合成画像501の輪郭505を示す図である。図13は図12で説明した撮りこぼし509を有する合成画像501についての合成画像501の輪郭505の表示である。 FIG. 13 is a diagram showing the contour 505 of the composite image 501 displayed on the touch panel display 302 by the display unit 415 based on the contour information of the composite image 501 generated by the composite information generation unit 413. FIG. 13 is a display of the contour 505 of the composite image 501 for the composite image 501 having the missed shot 509 described in FIG.
図13(A)には比較のために、通常に分割画像(基準分割画像および射影変換後の被変換分割画像)を合成して得られた合成画像501が示されている。 FIG. 13A shows a composite image 501 obtained by synthesizing a normally divided image (a reference divided image and a converted divided image after projection conversion) for comparison.
一方図13(B)には、合成情報生成部413で生成された合成画像501の輪郭情報に基づいて合成画像501の輪郭505が示されている。ここで、タイプ3のような撮りこぼし509の場合には、ユーザは、第1の実施形態で説明したように合成画像501の輪郭505を確認しただけでは撮りこぼしがあることを確認することが困難である。すなわち、図13に示すように、表示部415に表示された合成画像501の輪郭505だけでは格間502の床版6について漏れなく撮影が行えているかの判別は困難である。 On the other hand, FIG. 13B shows the contour 505 of the composite image 501 based on the contour information of the composite image 501 generated by the composite information generation unit 413. Here, in the case of a missed shot 509 as in type 3, the user can confirm that there is a missed shot just by checking the contour 505 of the composite image 501 as described in the first embodiment. Have difficulty. That is, as shown in FIG. 13, it is difficult to determine whether or not the floor slab 6 of the coffer 502 can be photographed without omission only by the contour 505 of the composite image 501 displayed on the display unit 415.
本実施形態では、タイプ3のような撮りこぼしをも確認できるように、部分的に合成画像501の輪郭505と共に分割画像(基準分割画像または射影変換された被変換分割画像)も表示する。 In the present embodiment, a divided image (reference divided image or projected divided image) is also partially displayed together with the outline 505 of the composite image 501 so that a missed image such as type 3 can be confirmed.
図14は、本実施形態の画像処理装置400の機能構成例を示す図である。図7で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 14 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.
画像処理装置400は、画像入力部401、対応点情報取得部403、基準分割画像特定部405、行列算出部407、射影変換部409、合成情報生成部413、表示部415、第1の指定受付部419を備える。なお、図7で既に説明を行った箇所は、同じ符号を付し説明は省略する。 The image processing device 400 includes an image input unit 401, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, a display unit 415, and a first designated reception unit. A unit 419 is provided. The parts already described in FIG. 7 are designated by the same reference numerals and the description thereof will be omitted.
射影変換部409は、第1の射影変換部411および第2の射影変換部417で構成されている。なお、射影変換部409は、複数の機能(第1の射影変換部411および第2の射影変換部417)を備えるが、射影変換部409一つにより実現してもよいし、各機能にそれぞれハードウェア(またはソフトウェア、或いは両者の組み合わせ)が割り当てられていてもよい。 The projective transformation unit 409 is composed of a first projective conversion unit 411 and a second projective conversion unit 417. The projection conversion unit 409 includes a plurality of functions (first projection conversion unit 411 and second projection conversion unit 417), but may be realized by one projection conversion unit 409, or each function may be realized. Hardware (or software, or a combination of both) may be assigned.
第2の射影変換部417は、射影変換行列に基づいて、一部の被変換分割画像を射影変換する。すなわち第2の射影変換部417は、射影変換行列に基づいて一部の被変換分割画像を射影変換し、射影変換された被変換分割画像を生成する。 The second projective transformation unit 417 projects and transforms a part of the divided image to be transformed based on the projective transformation matrix. That is, the second projective transformation unit 417 projects and transforms a part of the converted divided images based on the projective transformation matrix, and generates the projected transformed divided image.
第2の射影変換部417が射影変換を行う被変換分割画像の具体例としては、合成画像501の隅に対応する被変換分割画像、合成画像501の4隅に対応する被変換分割画像があげられる。また第2の射影変換部417が射影変換を行う被変換分割画像の他の具体例としては、合成画像501の辺に対応する被変換分割画像、合成画像501の4辺に対応する被変換分割画像があげられる。 Specific examples of the converted divided image to be projected by the second projective conversion unit 417 include a converted divided image corresponding to the corner of the composite image 501 and a converted divided image corresponding to the four corners of the composite image 501. Be done. Further, as another specific example of the converted divided image in which the second projective conversion unit 417 performs the projective conversion, the converted divided image corresponding to the side of the composite image 501 and the converted divided image corresponding to the four sides of the composite image 501 are converted. An image can be given.
合成情報生成部413は、第1の射影変換部411で射影変換された輪郭位置情報と第2の射影変換部417で射影変換された被変換分割画像とを合成する。すなわち、合成画像501の輪郭位置情報を生成するとともに、第2の射影変換部417で射影変換された被変換分割画像を、合成画像501の輪郭505に合わせるように合成する。 The composite information generation unit 413 synthesizes the contour position information projected by the first projecting unit 411 and the converted divided image projected by the second projecting unit 417. That is, the contour position information of the composite image 501 is generated, and the converted divided image converted by the second projective conversion unit 417 is combined so as to match the contour 505 of the composite image 501.
表示部415は、合成情報生成部413で生成された合成画像501の輪郭位置情報および射影変換後の被変換分割画像または基準分割画像を表示する。すなわち表示部415は、合成画像501の輪郭位置情報が示す輪郭505に、被変換分割画像および基準分割画像のうち少なくとも一方を、合成して表示する。 The display unit 415 displays the contour position information of the composite image 501 generated by the composite information generation unit 413 and the converted divided image or the reference divided image after the projection conversion. That is, the display unit 415 combines and displays at least one of the converted divided image and the reference divided image on the contour 505 indicated by the contour position information of the composite image 501.
第1の指定受付部419は、表示部415に表示された合成画像501の輪郭505における位置の指定を受け付ける。具体的には第1の指定受付部419は、コンピュータ300のタッチパネルディスプレイ302に表示された合成画像501の輪郭505がユーザに指定されることにより、合成画像501の位置の指定が受け付けられる。そして、第1の指定受付部419で指定が受け付けられた場合に、第2の射影変換部417は、第1の指定受付部419で受け付けられた位置に対応する被変換分割画像を射影変換してもよい。すなわち、表示部415に表示される合成画像501の輪郭505に合わせて表示される基準分割画像または変換された被変換分割画像の表示を、第1の指定受付部419を介してユーザが行ってもよい。 The first designated reception unit 419 receives the designation of the position of the composite image 501 displayed on the display unit 415 in the contour 505. Specifically, the first designated reception unit 419 receives the designation of the position of the composite image 501 by designating the contour 505 of the composite image 501 displayed on the touch panel display 302 of the computer 300 to the user. Then, when the designation is accepted by the first designated reception unit 419, the second projection conversion unit 417 projects and converts the converted divided image corresponding to the position accepted by the first designated reception unit 419. You may. That is, the user performs the display of the reference divided image displayed in accordance with the contour 505 of the composite image 501 displayed on the display unit 415 or the converted divided image to be converted via the first designated reception unit 419. May be good.
図15は、合成情報生成部413が生成する合成画像501の輪郭情報に基づいて、表示部415がタッチパネルディスプレイ302に表示した合成画像501の輪郭505を示す図である。 FIG. 15 is a diagram showing the contour 505 of the composite image 501 displayed on the touch panel display 302 by the display unit 415 based on the contour information of the composite image 501 generated by the composite information generation unit 413.
図15(A)には比較のために、通常に分割画像(基準分割画像および射影変換後の被変換分割画像)を合成して得られた合成画像501の輪郭505が示されている。 FIG. 15A shows the contour 505 of the composite image 501 obtained by synthesizing the divided images (reference divided image and converted divided image after projection conversion) for comparison.
一方図15(B)には、合成画像501の輪郭505および一部の分割画像が表示されている。具体的には、合成画像501の輪郭505と合成画像501の輪郭505の四隅に対応する分割画像511、分割画像513、分割画像515、および分割画像517が合成画像501の輪郭505に合わせて表示されている。 On the other hand, in FIG. 15B, the contour 505 of the composite image 501 and a part of the divided images are displayed. Specifically, the divided image 511, the divided image 513, the divided image 515, and the divided image 517 corresponding to the four corners of the contour 505 of the composite image 501 and the contour 505 of the composite image 501 are displayed according to the contour 505 of the composite image 501. Has been done.
ユーザは、一つの格間502の床版6について分割画像を複数枚取得した後に、合成画像501の輪郭505および一部の分割画像の表示を確認することにより、分割画像513では格間502の床版6が欠如していることを確認することができ、撮りこぼし509に対応する輪郭505は、格間502の床版6について撮りこぼしが発生していることがわかる。 After acquiring a plurality of divided images for the floor slab 6 of one coffer 502, the user confirms the display of the contour 505 of the composite image 501 and a part of the divided images, so that the coffer 502 is displayed in the divided image 513. It can be confirmed that the floor slab 6 is absent, and the contour 505 corresponding to the missed shot 509 shows that the floor slab 6 of the coffer 502 has a missed shot.
<第3の実施形態>
次に、本発明の第3の実施形態に関して説明する。本実施形態では第2の実施形態で表示された分割画像に対応して、合成画像501の一部の箇所に縮小画像が表示される。<Third embodiment>
Next, a third embodiment of the present invention will be described. In the present embodiment, the reduced image is displayed at a part of the composite image 501 corresponding to the divided image displayed in the second embodiment.
図16は、本実施形態の画像処理装置400の機能構成例を示す図である。図7で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 16 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.
画像処理装置400は、画像入力部401、縮小画像生成部423、対応点情報取得部403、基準分割画像特定部405、行列算出部407、射影変換部409、合成情報生成部413、および表示部415を備える。 The image processing device 400 includes an image input unit 401, a reduced image generation unit 423, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit. It is equipped with 415.
縮小画像生成部423は、画像入力部401に入力された分割画像の解像度を下げた縮小画像を生成する。具体的には縮小画像生成部423は、分割画像が有する画素数の90%から50%、好ましくは80%から60%の縮小画像を生成する。縮小画像生成部423は公知の技術により、縮小画像を生成する。 The reduced image generation unit 423 generates a reduced image in which the resolution of the divided image input to the image input unit 401 is lowered. Specifically, the reduced image generation unit 423 generates a reduced image of 90% to 50%, preferably 80% to 60% of the number of pixels of the divided image. The reduced image generation unit 423 generates a reduced image by a known technique.
射影変換部409は、第1の射影変換部411および第3の射影変換部421を備える。第3の射影変換部421は、射影変換行列に基づいて、一部の縮小画像を射影変換する。すなわち、第3の射影変換部421は、射影変換行列に基づいて一部の縮小画像を射影変換し、射影変換された縮小画像を生成する。なお、射影変換部409は、3つの機能(第1の射影変換部411および第3の射影変換部421)を備えるが、射影変換部409一つにより実現してもよいし、各機能にそれぞれハードウェア(またはソフトウェア、或いは両者の組み合わせ)が割り当てられていてもよい。 The projection conversion unit 409 includes a first projection conversion unit 411 and a third projection conversion unit 421. The third projective transformation unit 421 projects and transforms a part of the reduced image based on the projective transformation matrix. That is, the third projective transformation unit 421 projects and transforms a part of the reduced image based on the projective transformation matrix to generate the projected reduced image. The projection conversion unit 409 includes three functions (first projection conversion unit 411 and third projection conversion unit 421), but it may be realized by one projection conversion unit 409, or each function may be realized. Hardware (or software, or a combination of both) may be assigned.
第3の射影変換部421が射影変換を行う縮小画像の具体例としては、合成画像501の隅に対応する縮小画像、合成画像501の4隅に対応する縮小画像があげられる。また第3の射影変換部421が射影変換を行う縮小画像の他の具体例としては、合成画像501の辺に対応する縮小画像、合成画像501の4辺に対応する縮小画像があげられる。 Specific examples of the reduced image to be projected by the third projective conversion unit 421 include a reduced image corresponding to the corner of the composite image 501 and a reduced image corresponding to the four corners of the composite image 501. Further, as another specific example of the reduced image in which the third projective conversion unit 421 performs the projecting conversion, there are a reduced image corresponding to the sides of the composite image 501 and a reduced image corresponding to the four sides of the composite image 501.
表示部415は、第3の射影変換部421で変換された一部の縮小画像を、合成画像501の輪郭505に表示する。このように、表示部415に射影変換された縮小画像または基準分割画像に対応する縮小画像が表示されることにより、第2の実施形態で説明したように、合成画像501の輪郭505の表示だけでは判別が困難な撮りこぼしをユーザに確認させることができる。また、本実施形態では、縮小画像を射影変換していることから、より短時間での処理および計算コストの軽減が実現される。 The display unit 415 displays a part of the reduced image converted by the third projective conversion unit 421 on the contour 505 of the composite image 501. In this way, the reduced image corresponding to the projected reduced image or the reference divided image is displayed on the display unit 415, so that only the outline 505 of the composite image 501 is displayed as described in the second embodiment. This allows the user to check for missed shots that are difficult to distinguish. Further, in the present embodiment, since the reduced image is projected and transformed, processing in a shorter time and reduction of calculation cost can be realized.
<第4の実施形態>
次に、本発明の第4の実施形態に関して説明する。本実施形態では、第3の実施形態で表示された縮小画像が指定され、指定された縮小画像の表示が解像度の高い分割画像の表示に切り替えられる。<Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described. In the present embodiment, the reduced image displayed in the third embodiment is designated, and the display of the designated reduced image is switched to the display of the divided image having a high resolution.
図17は、本実施形態の画像処理装置400の機能構成例を示す図である。図7で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 17 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.
画像処理装置400は、画像入力部401、縮小画像生成部423、対応点情報取得部403、基準分割画像特定部405、行列算出部407、射影変換部409、合成情報生成部413、表示部415、および第2の指定受付部425を備える。 The image processing device 400 includes an image input unit 401, a reduced image generation unit 423, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit 415. , And a second designated reception unit 425.
射影変換部409は、第1の射影変換部411、第2の射影変換部417、および第3の射影変換部421を備える。なお、射影変換部409は、3つの機能(第1の射影変換部411、第2の射影変換部417、および第3の射影変換部421)を備えるが、射影変換部409一つにより実現してもよいし、各機能にそれぞれハードウェア(またはソフトウェア、或いは両者の組み合わせ)が割り当てられていてもよい。 The projection conversion unit 409 includes a first projection conversion unit 411, a second projection conversion unit 417, and a third projection conversion unit 421. The projection conversion unit 409 includes three functions (first projection conversion unit 411, second projection conversion unit 417, and third projection conversion unit 421), but is realized by one projection conversion unit 409. Hardware (or software, or a combination of both) may be assigned to each function.
第2の射影変換部417は、第2の指定部で受け付けられた位置に対応する分割画像が被変換分割画像である場合には、射影変換行列を使用して被変換分割画像を射影変換する。 When the divided image corresponding to the position accepted by the second designated unit is the converted divided image, the second projecting transformation unit 417 projects and transforms the converted divided image using the projective transformation matrix. ..
第2の指定受付部425は、表示部415に表示された縮小画像の指定を受け付ける。具体的には第2の指定受付部425は、コンピュータ300のタッチパネルディスプレイ302に表示された合成画像501の縮小画像がユーザに指定されることにより、合成画像501の位置の指定が受け付けられる。 The second designated reception unit 425 receives the designation of the reduced image displayed on the display unit 415. Specifically, the second designated reception unit 425 receives the designation of the position of the composite image 501 by designating the reduced image of the composite image 501 displayed on the touch panel display 302 of the computer 300 to the user.
表示部415は、第2の指定受付部425で指定された縮小画像を、縮小画像に対応する、第2の射影変換部417で射影変換された被変換分割画像または基準分割画像に切り替える。すなわち表示部415は、第2の指定受付部425で指定された縮小画像を、より解像度の高い分割画像に切り替えて表示する。このように、ユーザからの指定により解像度の低い縮小画像から解像度の高い分割画像へ切り替えることにより、より正確な撮りこぼしの確認をできる表示を提供することができる。 The display unit 415 switches the reduced image designated by the second designated reception unit 425 to the converted divided image or the reference divided image corresponding to the reduced image and which has been projected and converted by the second projective conversion unit 417. That is, the display unit 415 switches the reduced image designated by the second designated reception unit 425 to a divided image having a higher resolution and displays it. In this way, by switching from a reduced image having a low resolution to a divided image having a high resolution according to a specification from the user, it is possible to provide a display capable of more accurately confirming missed shots.
<第5の実施形態>
次に、本発明の第5の実施形態に関して説明する。本実施形態では、入力された分割画像を解像度を下げた縮小画像に変換し、変換された縮小画像に基づいて第1の実施形態で説明したように合成画像501の輪郭505の表示がされる。本実施形態では縮小画像に基づいて、処理が行われることから、処理時間の短縮化がより図られる。<Fifth Embodiment>
Next, a fifth embodiment of the present invention will be described. In the present embodiment, the input divided image is converted into a reduced image having a reduced resolution, and the contour 505 of the composite image 501 is displayed based on the converted reduced image as described in the first embodiment. .. In the present embodiment, since the processing is performed based on the reduced image, the processing time can be further shortened.
図18は、本実施形態の画像処理装置400の機能構成例を示す図である。なお、図7で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 18 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.
画像処理装置400は、画像入力部401、縮小画像生成部423、対応点情報取得部403、基準縮小画像特定部427、行列算出部407、射影変換部409、合成情報生成部413、および表示部415を備える。 The image processing device 400 includes an image input unit 401, a reduced image generation unit 423, a corresponding point information acquisition unit 403, a reference reduced image identification unit 427, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit. It is equipped with 415.
対応点情報取得部403は、縮小画像間の対応点を探索して対応点に関する対応点情報を取得する。 The correspondence point information acquisition unit 403 searches for the correspondence points between the reduced images and acquires the correspondence point information regarding the correspondence points.
基準縮小画像特定部427は、前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する。 The reference reduced image specifying unit 427 specifies a reference reduced image that serves as a reference for projection conversion among the plurality of reduced images.
行列算出部407は、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出する。 The matrix calculation unit 407 calculates a projective transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
第3の射影変換部421は、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する。 The third projective transformation unit 421 projects and transforms the contour position information indicating the contour of the image to be transformed by the calculated projective transformation matrix.
合成画像生成部413は、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像501の輪郭位置情報を生成する。 The composite image generation unit 413 generates the contour position information of the composite image 501 when the reference reduced image and the converted reduced image after the projection conversion are combined based on the contour position information obtained by the projection conversion.
表示部415は、合成画像501の輪郭位置情報に基づき、合成画像501の輪郭505を表示する。 The display unit 415 displays the contour 505 of the composite image 501 based on the contour position information of the composite image 501.
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Although the examples of the present invention have been described above, it goes without saying that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.
1 橋梁
2 主桁
3 横桁
4 対傾構
5 横構
6 床版
10 車輌
100 移動体
101 カメラ
300 コンピュータ
302 タッチパネルディスプレイ
304 スピーカー
305 内蔵カメラ
306 外部接続端子
310 CPU
312 システムバス
314 メインメモリ
316 不揮発性メモリ
318 モバイル通信部
318A アンテナ
320 無線LAN通信部
320A アンテナ
322 近距離無線通信部
322A アンテナ
324 有線通信部
326 表示部
328 入力部
330 キー入力部
332 音声処理部
334 画像処理部
400 画像処理装置
401 画像入力部
403 対応点情報取得部
405 基準分割画像特定部
407 行列算出部
409 射影変換部
411 第1の射影変換部
413 合成情報生成部
415 表示部
417 第2の射影変換部
419 第1の指定受付部
421 第3の射影変換部
423 縮小画像生成部
425 第2の指定受付部
427 基準縮小画像特定部
500 撮影システム
501 合成画像
502 格間
505 輪郭
511 分割画像
513 分割画像
515 分割画像
517 分割画像
S10−S16 画像処理の工程1 Bridge 2 Main girder 3 Horizontal girder 4 Anti-tilt structure 5 Horizontal structure 6 Floor slab 10 Vehicle 100 Moving object 101 Camera 300 Computer 302 Touch panel display 304 Speaker 305 Built-in camera 306 External connection terminal 310 CPU
312 System bus 314 Main memory 316 Non-volatile memory 318 Mobile communication unit 318A Antenna 320 Wireless LAN communication unit 320A Antenna 322 Short-range wireless communication unit 322A Antenna 324 Wired communication unit 326 Display unit 328 Input unit 330 Key input unit 332 Voice processing unit 334 Image processing unit 400 Image processing device 401 Image input unit 403 Corresponding point information acquisition unit 405 Reference division image identification unit 407 Matrix calculation unit 409 Projection conversion unit 411 First projection conversion unit 413 Composite information generation unit 415 Display unit 417 Second Homography unit 419 First designated reception unit 421 Third projection conversion unit 423 Reduced image generation unit 425 Second designated reception unit 427 Reference reduced image identification unit 500 Shooting system 501 Composite image 502 Gaku 505 Outline 511 Divided image 513 Divided image 515 Divided image 517 Divided image S10-S16 Image processing step
Claims (17)
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得する対応点情報取得部と、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する基準分割画像特定部と、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出する行列算出部と、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換する第1の射影変換部と、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示する表示部と、
を備えた画像処理装置。An image input unit in which a plurality of divided images obtained by dividing the shooting target are input, and
A correspondence point information acquisition unit that searches for correspondence points between the plurality of divided images and acquires correspondence point information related to the correspondence points.
A reference divided image specifying unit that specifies a reference divided image that serves as a reference for projection conversion among the plurality of divided images,
A matrix calculation unit that calculates a projective transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image.
A first projective transformation unit that projects and transforms contour position information indicating the contour of the divided image to be transformed by the calculated projective transformation matrix.
A composite information generation unit that generates contour position information of a composite image when the reference divided image and the converted divided image after the projective transformation are combined based on the contour position information that has been projected and transformed.
A display unit that displays the contour of the composite image based on the contour position information of the composite image, and
Image processing device equipped with.
前記表示部は、前記第2の射影変換部で変換された前記一部の被変換分割画像および前記基準分割画像のうち少なくとも一方を、前記合成画像の輪郭に表示する請求項1に記載の画像処理装置。A second projective transformation unit that projects and transforms a part of the converted divided images based on the projective transformation matrix is provided.
The image according to claim 1, wherein the display unit displays at least one of the partially converted divided image and the reference divided image converted by the second projective conversion unit on the outline of the composite image. Processing equipment.
前記第2の射影変換部は、前記第1の指定受付部で受け付けられた前記位置に対応する前記被変換分割画像を射影変換する請求項2から6のいずれか1項に記載の画像処理装置。It is provided with a first designated reception unit that receives designation of a position in the outline of the composite image displayed on the display unit.
The image processing apparatus according to any one of claims 2 to 6, wherein the second projective conversion unit projects a projective transformation of the converted divided image corresponding to the position received by the first designated reception unit. ..
前記射影変換行列に基づいて、一部の前記縮小画像を射影変換する第3の射影変換部とを備え、
前記表示部は、前記第3の射影変換部で変換された前記一部の前記縮小画像を、前記合成画像の輪郭に表示する請求項1から7のいずれか1項に記載の画像処理装置。A reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a reduced image generation unit.
A third projective transformation unit that projects and transforms a part of the reduced image based on the projective transformation matrix is provided.
The image processing apparatus according to any one of claims 1 to 7, wherein the display unit displays a part of the reduced image converted by the third projection conversion unit on the outline of the composite image.
前記射影変換行列に基づいて、前記縮小画像を射影変換する第3の射影変換部と、
前記表示部に表示された前記縮小画像の指定を受け付ける第2の指定受付部と、
を備え、
前記表示部は、前記第2の指定受付部で前記指定された前記縮小画像を、前記縮小画像に対応する、前記第2の射影変換部で射影変換された前記被変換分割画像または前記基準分割画像に切り替える請求項2から7のいずれか1項に記載の画像処理装置。A reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a reduced image generation unit.
A third projective transformation unit that projects and transforms the reduced image based on the projective transformation matrix.
A second designated reception unit that accepts the designation of the reduced image displayed on the display unit, and
With
In the display unit, the reduced image designated by the second designated reception unit is projected and converted by the second projective conversion unit corresponding to the reduced image, or the converted divided image or the reference division. The image processing apparatus according to any one of claims 2 to 7, which switches to an image.
前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得する対応点情報取得部と、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する基準縮小画像特定部と、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出する行列算出部と、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する第3の射影変換部と、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示する表示部と、
を備えた画像処理装置。An image input unit in which a plurality of divided images obtained by dividing the shooting target are input, and
A reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a reduced image generation unit.
A correspondence point information acquisition unit that searches for correspondence points between the reduced images and acquires correspondence point information related to the correspondence points.
A reference reduced image specifying unit that specifies a reference reduced image that serves as a reference for projection conversion among the plurality of reduced images,
A matrix calculation unit that calculates a projection transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
A third projective transformation unit that projects and transforms contour position information indicating the contour of the reduced image to be transformed by the calculated projective transformation matrix.
A composite information generation unit that generates contour position information of a composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information.
A display unit that displays the contour of the composite image based on the contour position information of the composite image, and
Image processing device equipped with.
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む画像処理方法。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
A step of searching for a corresponding point between the plurality of divided images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference divided image as a reference for projective transformation among the plurality of divided images, and
A step of calculating a projection transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image.
A step of projecting and transforming contour position information indicating the contour of the transformed divided image by the calculated projective transformation matrix.
Based on the projection-transformed contour position information, a step of generating contour position information of the composite image when the reference divided image and the transformed divided image after the projection conversion are combined, and
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
Image processing method including.
前記分割画像の解像度を下げた縮小画像を生成するステップと、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む画像処理方法。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
The step of generating a reduced image in which the resolution of the divided image is reduced, and
A step of searching for a corresponding point between the reduced images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference reduced image that serves as a reference for projective transformation among the plurality of reduced images, and
A step of calculating a projection transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
A step of projecting and transforming contour position information indicating the contour of the converted reduced image by the calculated projective transformation matrix.
A step of generating contour position information of a composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information.
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
Image processing method including.
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む工程をコンピュータに実行させるプログラム。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
A step of searching for a corresponding point between the plurality of divided images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference divided image as a reference for projective transformation among the plurality of divided images, and
A step of calculating a projection transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image.
A step of projecting and transforming contour position information indicating the contour of the transformed divided image by the calculated projective transformation matrix.
Based on the projection-transformed contour position information, a step of generating contour position information of the composite image when the reference divided image and the transformed divided image after the projection conversion are combined, and
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
A program that causes a computer to execute a process that includes.
前記分割画像の解像度を下げた縮小画像を生成するステップと、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む工程をコンピュータに実行させるプログラム。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
The step of generating a reduced image in which the resolution of the divided image is reduced, and
A step of searching for a corresponding point between the reduced images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference reduced image that serves as a reference for projective transformation among the plurality of reduced images, and
A step of calculating a projection transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
A step of projecting and transforming contour position information indicating the contour of the converted reduced image by the calculated projective transformation matrix.
A step of generating contour position information of a composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information.
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
A program that causes a computer to execute a process that includes.
A computer-readable recording medium on which the program according to claim 16 is recorded.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017068561 | 2017-03-30 | ||
JP2017068561 | 2017-03-30 | ||
PCT/JP2018/010278 WO2018180551A1 (en) | 2017-03-30 | 2018-03-15 | Image processing device, image processing method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018180551A1 JPWO2018180551A1 (en) | 2019-11-21 |
JP6779368B2 true JP6779368B2 (en) | 2020-11-04 |
Family
ID=63676950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019509255A Active JP6779368B2 (en) | 2017-03-30 | 2018-03-15 | Image processing equipment, image processing methods, and programs |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6779368B2 (en) |
WO (1) | WO2018180551A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116348735A (en) * | 2020-11-24 | 2023-06-27 | 住友重机械工业株式会社 | Information processing device, information processing method, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000134537A (en) * | 1998-10-28 | 2000-05-12 | Ricoh Co Ltd | Image input device and its method |
JP2010256253A (en) * | 2009-04-27 | 2010-11-11 | Topcon Corp | Image capturing device for three-dimensional measurement and method therefor |
-
2018
- 2018-03-15 WO PCT/JP2018/010278 patent/WO2018180551A1/en active Application Filing
- 2018-03-15 JP JP2019509255A patent/JP6779368B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018180551A1 (en) | 2019-11-21 |
WO2018180551A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11189009B2 (en) | Image processing apparatus and image processing method | |
JP6486069B2 (en) | Image processing apparatus, inspection apparatus, inspection method, and image processing program | |
US10681269B2 (en) | Computer-readable recording medium, information processing method, and information processing apparatus | |
JP6560366B2 (en) | Structure identifying device and method for structure | |
JP4752918B2 (en) | Image processing apparatus, image collation method, and program | |
US10951821B2 (en) | Imaging control device, imaging system, and imaging control method | |
US20230419661A1 (en) | Input apparatus, input method of input apparatus, and output apparatus | |
JP6805351B2 (en) | Damage data editing equipment, damage data editing methods, and programs | |
US20220136979A1 (en) | Information processing apparatus, information processing method, and non- transitory computer-readable storage medium | |
WO2021075090A1 (en) | Correction parameter calculation method, displacement amount calculation method, correction parameter calculation device, and displacement amount calculation device | |
CN114175019A (en) | Image display device, method, and program | |
JP2017151026A (en) | Three-dimensional information acquiring device, three-dimensional information acquiring method, and program | |
JP6579727B1 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
JP6779368B2 (en) | Image processing equipment, image processing methods, and programs | |
JP2019091169A (en) | Image processor, method of controlling image processor, and program | |
JP2012008657A (en) | Apparatus and method for generating object shape | |
WO2018180214A1 (en) | Image processing device, camera device, and image processing method | |
CN114450552A (en) | Correction parameter calculation method, displacement amount calculation method, correction parameter calculation device, and displacement amount calculation device | |
US20220130030A1 (en) | Information display apparatus, information display method, and information display program | |
EP4075093A1 (en) | Image processing method, image processing device, and image processing program | |
JP7251869B2 (en) | DISTANCE MEASURING DEVICE, SYSTEM, METHOD AND PROGRAM | |
KR102049666B1 (en) | Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor | |
CN115176281A (en) | Three-dimensional display device, method, and program | |
JP2021155179A (en) | Photographing system and program for crane | |
JP6774348B2 (en) | Image processing equipment and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201013 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6779368 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |