JP6779368B2 - Image processing equipment, image processing methods, and programs - Google Patents

Image processing equipment, image processing methods, and programs Download PDF

Info

Publication number
JP6779368B2
JP6779368B2 JP2019509255A JP2019509255A JP6779368B2 JP 6779368 B2 JP6779368 B2 JP 6779368B2 JP 2019509255 A JP2019509255 A JP 2019509255A JP 2019509255 A JP2019509255 A JP 2019509255A JP 6779368 B2 JP6779368 B2 JP 6779368B2
Authority
JP
Japan
Prior art keywords
image
divided
reduced
unit
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509255A
Other languages
Japanese (ja)
Other versions
JPWO2018180551A1 (en
Inventor
與那覇　誠
誠 與那覇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018180551A1 publication Critical patent/JPWO2018180551A1/en
Application granted granted Critical
Publication of JP6779368B2 publication Critical patent/JP6779368B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に分割撮影を行う場合に撮りこぼしの発生を抑制する技術に関する。 The present invention relates to an image processing apparatus, an image processing method, and a program, and particularly to a technique for suppressing the occurrence of shot spills when performing divided shooting.

従来より、一つの撮影対象物について分割撮影を行い分割画像を取得し、その取得した分割画像を合成して撮影対象の全体像が写った合成画像を取得する手法が知られている。 Conventionally, there has been known a method of performing divided shooting on one object to be photographed, acquiring a divided image, and synthesizing the acquired divided images to acquire a composite image showing the entire image of the object to be photographed.

例えば、橋梁等の構造物の損傷の検出検査を行う場合には、格間単位に検査が行われることが多く、その場合格間の領域の床版を分割撮影して複数の分割画像が取得され、得られた分割画像により格間全体の床版が写った合成画像が生成される。 For example, when detecting and inspecting damage to a structure such as a bridge, the inspection is often performed in units of coffers. In that case, the floor slab in the coffer area is divided and photographed to obtain a plurality of divided images. Then, a composite image showing the floor slab of the entire coffer is generated from the obtained divided image.

また例えば、特許文献１には、三次元計測用の画像を撮影する場合に、撮りこぼし（撮り漏れ）を防ぐことを意図した技術が記載されている。具体的には特許文献１には、測定対象物の撮影範囲を三次元空間に表現する撮影範囲画像の座標空間に、三次元座標が求められた各特徴点を書き込み、撮影範囲画像の座標空間に書き込まれた特徴点のうち、撮影領域を囲む３以上の特徴点を結線して撮影領域毎に区画し、撮影範囲画像をワイヤーフレーム画像として形成し、その撮影範囲画像において撮影不足領域が有るか否かを判定する技術が記載されている。 Further, for example, Patent Document 1 describes a technique intended to prevent missed shots (missing shots) when an image for three-dimensional measurement is taken. Specifically, in Patent Document 1, each feature point for which three-dimensional coordinates are obtained is written in the coordinate space of the photographing range image that expresses the photographing range of the measurement object in the three-dimensional space, and the coordinate space of the photographing range image is written. Of the feature points written in, three or more feature points surrounding the shooting area are connected to divide each shooting area, a shooting range image is formed as a wire frame image, and there is a shooting shortage area in the shooting range image. A technique for determining whether or not it is described is described.

特開２０１０−２５６２５３号公報Japanese Unexamined Patent Publication No. 2010-256253

しかしながら、特許文献１に記載された技術では、撮影範囲画像を３次元座標において求められた特徴点に基づくワイヤーフレーム画像で生成しているために、撮影範囲画像を生成するための時間を要する。すなわち、三次元座標が求められた各特徴点が３次元座標空間に書き込まれ、その特徴点のうち撮影領域を囲む３以上の特徴点を結線してワイヤーフレーム画像を生成しているので、ワイヤーフレーム画像は多くの情報量を有する画像であり、ワイヤーフレーム画像を合成するための時間を要してしまう。 However, in the technique described in Patent Document 1, since the photographing range image is generated as a wire frame image based on the feature points obtained in the three-dimensional coordinates, it takes time to generate the photographing range image. That is, each feature point for which three-dimensional coordinates have been obtained is written in the three-dimensional coordinate space, and three or more feature points surrounding the shooting area are connected to generate a wireframe image. The frame image is an image having a large amount of information, and it takes time to synthesize the wire frame image.

また、例えば橋梁等の構造物の損傷の検出検査を行う場合には、上述したように格間の領域の床版を分割撮影して得られた分割画像により合成画像を生成するが、分割画像も多くの情報量を有する画像であるので、分割画像を合成して合成画像を生成する処理は時間を要してしまう。 Further, for example, when detecting and inspecting damage to a structure such as a bridge, a composite image is generated from a divided image obtained by dividing the floor slab of the coffer area as described above. Is an image having a large amount of information, so the process of synthesizing the divided images to generate a composite image takes time.

ここで、短時間で撮りこぼしの確認を行うことができれば、点検（撮影）現場においても簡便に撮りこぼしの確認を行うことができ、点検現場から事務所に帰ってきて合成画像を生成した時に撮りこぼしを発見して再度点検現場に行かなければならないという事態の発生を抑制することができる。すなわち、短時間で撮りこぼしの確認を行うことができれば、点検作業を効率的に進めることができる。 Here, if the missed shots can be confirmed in a short time, the missed shots can be easily confirmed even at the inspection (shooting) site, and when the composite image is generated after returning to the office from the inspection site. It is possible to suppress the occurrence of a situation in which a photograph is found and the inspection site must be visited again. That is, if it is possible to confirm the missed shot in a short time, the inspection work can be efficiently carried out.

本発明はこのような事情に鑑みてなされたもので、その目的は、短時間で計算コストをかけずに、撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を行うことができる画像処理装置、画像処理方法、およびプログラムを提供することである。 The present invention has been made in view of such circumstances, and an object of the present invention is to be able to perform a display capable of confirming the presence or absence of missed shots and the position of missed shots in a short time without incurring a calculation cost. It is to provide an image processing apparatus, an image processing method, and a program.

上記目的を達成するために、本発明の一の態様である画像処理装置は、撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得する対応点情報取得部と、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する基準分割画像特定部と、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出する行列算出部と、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換する第１の射影変換部と、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示する表示部と、を備える。 In order to achieve the above object, the image processing apparatus according to one aspect of the present invention is between an image input unit in which a plurality of divided images obtained by subject to division shooting are input and a plurality of divided images. A correspondence point information acquisition unit that searches for a correspondence point and acquires correspondence point information related to the correspondence point, a reference division image identification unit that specifies a reference division image that is a reference for projection conversion among a plurality of division images, and a correspondence point. Based on the information and the reference-divided image, the matrix calculation unit that calculates the projective conversion matrix for the reference-divided image of the converted-divided image other than the reference-divided image among the plurality of divided images, and the calculated projective conversion matrix are used for conversion. When the reference divided image and the converted divided image after the projection conversion are combined with the first projective conversion unit that projects the contour position information indicating the contour of the divided image and the projected contour position information. A composite information generation unit that generates contour position information of the composite image and a display unit that displays the contour of the composite image based on the contour position information of the composite image are provided.

本態様によれば、第１の射影変換部により、算出された射影変換行列で、被変換分割画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示される。すなわち本態様は、射影変換された分割画像の輪郭位置情報に基づく合成画像の輪郭を表示する。これにより本態様は、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。 According to this aspect, the contour position information indicating the contour of the divided image to be transformed is projected by the projective transformation matrix calculated by the first projective transformation unit, and the contour position converted by the composite information generation unit. Based on the information, the contour position information of the composite image when the reference split image and the transformed split image after the projective transformation are combined is generated, and the contour of the composite image is displayed based on the contour position information of the composite image. Will be done. That is, this aspect displays the contour of the composite image based on the contour position information of the projected and transformed divided image. Thereby, this aspect can provide the user with a display capable of confirming the presence or absence of a missed shot and the position of the missed shot in a short time without incurring a calculation cost.

好ましくは、画像処理装置は、射影変換行列に基づいて、一部の被変換分割画像を射影変換する第２の射影変換部を備え、表示部は、第２の射影変換部で変換された一部の被変換分割画像および基準分割画像のうち少なくとも一方を、合成画像の輪郭に表示する。 Preferably, the image processing apparatus includes a second projective transformation unit that transforms a part of the divided images to be transformed based on the projective transformation matrix, and the display unit is converted by the second projective transformation unit. At least one of the part to be transformed and the reference divided image is displayed on the outline of the composite image.

本態様によれば、第２の射影変換部により、射影変換行列に基づいて、一部の被変換分割画像が射影変換され、表示部により、第２の射影変換部で変換された一部の被変換分割画像および基準分割画像のうち少なくとも一方が、合成画像の輪郭に表示される。これにより本態様は合成画像の輪郭に合わせて一部の分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, a part of the divided image to be transformed is projected by the second projecting unit based on the projecting transformation matrix, and a part of the converted image is converted by the display unit by the second projecting unit. At least one of the to-transformed divided image and the reference divided image is displayed on the outline of the composite image. As a result, in this embodiment, a part of the divided image is also displayed on the display unit according to the outline of the composite image, so that it is possible to provide a display capable of more accurately confirming the presence or absence of missed shots and the position of missed shots. it can.

好ましくは、第２の射影変換部は、合成画像の隅に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the corner of the composite image.

本態様によれば、第２の射影変換部により、合成画像の隅に対応する被変換分割画像を射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、ユーザはより正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the corner of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. Can more accurately confirm the presence or absence of missed shots and the position of missed shots.

好ましくは、第２の射影変換部は、合成画像の４隅に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the four corners of the composite image.

本態様によれば、第２の射影変換部により、合成画像の４隅に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the four corners of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. It is possible to provide a display that can more accurately confirm the presence or absence of missed shots and the position of missed shots.

好ましくは、第２の射影変換部は、合成画像の辺に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the side of the composite image.

本態様によれば、第２の射影変換部により、合成画像の辺に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the side of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. It is possible to provide a display that can accurately confirm the presence or absence of missed shots and the position of missed shots.

好ましくは、第２の射影変換部は、合成画像の４辺に対応する被変換分割画像を射影変換する。 Preferably, the second projective transformation unit projects and transforms the converted divided image corresponding to the four sides of the composite image.

本態様によれば、第２の射影変換部により、合成画像の４辺に対応する被変換分割画像が射影変換されて、合成画像の輪郭に合わせて分割画像も表示部に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the second projective conversion unit projects the transformed divided image corresponding to the four sides of the composite image, and the divided image is also displayed on the display unit according to the contour of the composite image. It is possible to provide a display that can more accurately confirm the presence or absence of missed shots and the position of missed shots.

好ましくは、画像処理装置は、表示部に表示された合成画像の輪郭における位置の指定を受け付ける第１の指定受付部を備え、第２の射影変換部は、第１の指定受付部で受け付けられた位置に対応する被変換分割画像を射影変換する。 Preferably, the image processing device includes a first designated reception unit that accepts the designation of the position in the outline of the composite image displayed on the display unit, and the second projective conversion unit is received by the first designated reception unit. The converted divided image corresponding to the position is projected and converted.

本態様によれば、第１の指定受付部により、表示部に表示された合成画像の輪郭における位置の指定が受け付けられて、第２の射影変換部により、第１の指定受付部で受け付けられた位置に対応する被変換分割画像が射影変換される。そして、本態様では第１の指定受付部で受け付けられた位置に対応する分割画像が合成画像の輪郭に合わせて表示部に表示される。これにより本態様は、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the first designated reception unit accepts the designation of the position in the outline of the composite image displayed on the display unit, and the second projective conversion unit accepts the designation at the first designated reception unit. The converted divided image corresponding to the position is projected and converted. Then, in this embodiment, the divided image corresponding to the position accepted by the first designated reception unit is displayed on the display unit according to the outline of the composite image. Thereby, this aspect can provide a display capable of more accurately confirming the presence or absence of a missed shot and the position of the missed shot.

好ましくは、画像処理装置は、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、射影変換行列に基づいて、一部の縮小画像を射影変換する第３の射影変換部とを備え、表示部は、第３の射影変換部で変換された一部の縮小画像を、合成画像の輪郭に表示する。 Preferably, the image processing apparatus has a reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a second method that projects and transforms a part of the reduced image based on the projection transformation matrix. The display unit includes the projection conversion unit of 3, and the display unit displays a part of the reduced image converted by the third projection conversion unit on the outline of the composite image.

本態様によれば、縮小画像生成部により、画像入力部に入力された分割画像の解像度を下げた縮小画像が生成され、第３の射影変換部により、射影変換行列に基づいて、縮小画像が射影変換される。これにより本態様は、縮小画像の情報量は分割画像よりも少ないため縮小画像の射影変換は分割画像の射影変換よりも短時間に行うことができ、より高速に撮りこぼしの有無および撮りこぼしの位置の確認をできる表示をユーザに提供することができる。 According to this aspect, the reduced image generation unit generates a reduced image in which the resolution of the divided image input to the image input unit is lowered, and the third projection conversion unit produces the reduced image based on the projection transformation matrix. It is projected and transformed. As a result, in this embodiment, since the amount of information of the reduced image is smaller than that of the divided image, the projective transformation of the reduced image can be performed in a shorter time than the projective transformation of the divided image, and the presence or absence of spillage and the spillage It is possible to provide the user with a display that allows confirmation of the position.

好ましくは、画像処理装置は、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、射影変換行列に基づいて、縮小画像を射影変換する第３の射影変換部と、表示部に表示された縮小画像の指定を受け付ける第２の指定受付部と、を備え、表示部は、第２の指定受付部で指定された縮小画像を、縮小画像に対応する、第２の射影変換部で射影変換された被変換分割画像または基準分割画像に切り替える。 Preferably, the image processing apparatus has a reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a third projection that projects and transforms the reduced image based on the projection conversion matrix. A conversion unit and a second designated reception unit that accepts the designation of the reduced image displayed on the display unit are provided, and the display unit corresponds to the reduced image designated by the second designated reception unit. , The second projecting unit switches to the projected divided image or the reference divided image.

本態様によれば、縮小画像生成部により、画像入力部に入力された分割画像の解像度を下げた縮小画像が生成され、第３の射影変換部により、射影変換行列に基づいて、縮小画像が射影変換され、第２の指定受付部により、表示部に表示された縮小画像の指定が受け付けられて、縮小画像に対応する分割画像が表示される。これにより本態様は、縮小画像の表示では撮りこぼしの有無または撮りこぼしの位置が分かりにくいような場合に、指定された箇所が分割画像に表示されるので、より正確に撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提供することができる。 According to this aspect, the reduced image generation unit generates a reduced image in which the resolution of the divided image input to the image input unit is lowered, and the third projection conversion unit produces the reduced image based on the projection conversion matrix. The projective conversion is performed, and the second designated reception unit accepts the designation of the reduced image displayed on the display unit, and the divided image corresponding to the reduced image is displayed. As a result, in this embodiment, when the presence or absence of missed shots or the position of missed shots is difficult to understand when displaying the reduced image, the specified part is displayed in the divided image, so that the presence or absence of missed shots and the shooting are more accurate. It is possible to provide a display that allows the location of the spill to be confirmed.

好ましくは、基準分割画像特定部は、基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて、基準分割画像を特定する。 Preferably, the reference divided image identification unit specifies the reference divided image based on the designation of the reference divided image or the information regarding the input order of the divided images to be the reference divided image.

本態様によれば、基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて基準分割画像が特定されるので、基準分割画像として相応しい基準分割画像が特定され、より適切な合成画像の輪郭位置情報を取得することができる。 According to this aspect, since the reference divided image is specified based on the designation of the reference divided image or the information regarding the input order of the divided images to be the reference divided image, the reference divided image suitable as the reference divided image is specified, and more. It is possible to acquire the contour position information of an appropriate composite image.

本発明の他の態様である画像処理装置は、撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、画像入力部に入力された分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、縮小画像間の対応点を探索して対応点に関する対応点情報を取得する対応点情報取得部と、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する基準縮小画像特定部と、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出する行列算出部と、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する第３の射影変換部と、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示する表示部と、を備える。 In the image processing apparatus according to another aspect of the present invention, the resolution of the image input unit in which a plurality of divided images obtained by dividing the image to be photographed are input and the resolution of the divided images input to the image input unit are lowered. A reduced image generation unit that generates a reduced image, a corresponding point information acquisition unit that searches for corresponding points between reduced images and acquires corresponding point information related to the corresponding points, and a reference for projection conversion among a plurality of reduced images. Based on the reference reduced image identification unit that specifies the reference reduced image, the corresponding point information, and the reference reduced image, the projection conversion matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images is calculated. A reference reduced image based on a matrix calculation unit, a third projection conversion unit that projects and transforms contour position information indicating the contour of the reduced image to be converted by the calculated projection conversion matrix, and contour position information that has been projected and converted. A composite information generator that generates contour position information of the composite image when the converted reduced image after projection conversion is combined, and a display unit that displays the contour of the composite image based on the contour position information of the composite image. , Equipped with.

本態様によれば、第１の射影変換部により、算出された射影変換行列で、被変換縮小画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示される。すなわち本態様は、射影変換された縮小画像の輪郭位置情報に基づく合成画像の輪郭を表示する。これにより本態様は、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。 According to this aspect, the contour position information indicating the contour of the reduced image to be transformed is projected by the projective transformation matrix calculated by the first projective transformation unit, and the contour position converted by the composite information generation unit. Based on the information, the contour position information of the composite image when the reference reduced image and the converted reduced image after the projective transformation are combined is generated, and the contour of the composite image is displayed based on the contour position information of the composite image. Will be done. That is, this aspect displays the contour of the composite image based on the contour position information of the projected reduced image. Thereby, this aspect can provide the user with a display capable of confirming the presence or absence of a missed shot and the position of the missed shot in a short time without incurring a calculation cost.

本発明の他の態様である画像処理方法は、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む。 In the image processing method according to another aspect of the present invention, there is a step of inputting a plurality of divided images obtained by subject to division and shooting, and a corresponding point between the plurality of divided images is searched for and a correspondence regarding the corresponding point. A step of acquiring point information, a step of specifying a reference divided image as a reference for projection conversion among a plurality of divided images, and a reference divided image among a plurality of divided images based on the corresponding point information and the reference divided image. A step of calculating a projection conversion matrix for a reference divided image of a divided image to be converted other than the above, a step of projecting and converting contour position information indicating the contour of the divided image to be converted by the calculated projection conversion matrix, and a projection conversion. Based on the contour position information, the step of generating the contour position information of the composite image when the reference divided image and the converted divided image after the projection conversion are combined, and the step of generating the contour position information of the composite image, and the composite image based on the contour position information of the composite image. Includes steps to display contours.

本発明の他の態様である画像処理方法は、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、分割画像の解像度を下げた縮小画像を生成するステップと、縮小画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む。 The image processing method according to another aspect of the present invention includes a step of inputting a plurality of divided images obtained by subject to division shooting, a step of generating a reduced image in which the resolution of the divided image is lowered, and a reduction. A step of searching for a corresponding point between images to obtain corresponding point information related to the corresponding point, a step of specifying a reference reduced image as a reference for projection conversion among a plurality of reduced images, and a corresponding point information and a reference reduced image. Based on the step of calculating the projection conversion matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images, and the contour showing the outline of the converted reduced image by the calculated projection conversion matrix. A step of projecting and converting the position information, and a step of generating the contour position information of the composite image when the reference reduced image and the converted reduced image after the projection conversion are combined based on the projected contour position information. , A step of displaying the contour of the composite image based on the contour position information of the composite image.

本発明の他の態様であるプログラムは、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む工程をコンピュータに実行させる。 The program according to another aspect of the present invention searches for a step in which a plurality of divided images obtained by subject to division shooting are input and a corresponding point between the plurality of divided images, and provides corresponding point information regarding the corresponding point. And the step of specifying the reference divided image that is the reference of the projective transformation among the plurality of divided images, and the steps other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image. A step of calculating a projective transformation matrix for a reference segmented image of a segmented image to be transformed, a step of projecting and transforming contour position information indicating the contour of the segmented image to be transformed by the calculated projective transformation matrix, and a step of projecting and transforming the contour position. Based on the information, the step of generating the contour position information of the composite image when the reference split image and the transformed split image after the projective transformation are combined, and the contour of the composite image based on the contour position information of the composite image. Have the computer perform the steps to display and the steps including.

本発明の他の態様であるプログラムは、撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、分割画像の解像度を下げた縮小画像を生成するステップと、縮小画像間の対応点を探索して対応点に関する対応点情報を取得するステップと、複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出するステップと、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、合成画像の輪郭位置情報に基づき、合成画像の輪郭を表示するステップと、を含む工程をコンピュータに実行させる。 In the program according to another aspect of the present invention, a step of inputting a plurality of divided images obtained by subject to division shooting, a step of generating a reduced image with a reduced resolution of the divided image, and a step between the reduced images. Based on the corresponding point information and the reference reduced image, the step of searching for the corresponding point of the above and acquiring the corresponding point information about the corresponding point, the step of specifying the reference reduced image that is the reference of the projection conversion among the plurality of reduced images, and the step Then, the step of calculating the projection conversion matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images, and the contour position information indicating the contour of the converted reduced image by the calculated projective conversion matrix. And the step of generating the contour position information of the composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information. Based on the contour position information of the image, the computer is made to execute a step including displaying the contour of the composite image.

本発明によれば、第１の射影変換部により、算出された射影変換行列で、被変換分割画像の輪郭を示す輪郭位置情報が射影変換され、合成情報生成部により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成され、その合成画像の輪郭位置情報に基づき、合成画像の輪郭が表示されるので、短時間で計算コストをかけずに撮りこぼしの有無および撮りこぼしの位置を確認することができる表示をユーザに提供することができる。 According to the present invention, the contour position information indicating the contour of the divided image to be transformed is projected by the projective transformation matrix calculated by the first projective transformation unit, and the contour position converted by the composite information generation unit. Based on the information, the contour position information of the composite image when the reference split image and the transformed split image after the projective transformation are combined is generated, and the contour of the composite image is displayed based on the contour position information of the composite image. Therefore, it is possible to provide the user with a display capable of confirming the presence or absence of a missed shot and the position of the missed shot in a short time without incurring a calculation cost.

橋梁の構造を示す斜視図である。It is a perspective view which shows the structure of a bridge. 撮影システムを示す概念図である。It is a conceptual diagram which shows the photographing system. 移動体の撮影位置を概念的に示した図である。It is a figure which conceptually showed the photographing position of a moving body. コンピュータのシステム構成例を示すブロック図である。It is a block diagram which shows the system configuration example of a computer. 撮りこぼしが発生している合成画像を示す図である。It is a figure which shows the composite image in which a shot is missed. 撮りこぼしが発生している合成画像を示す図である。It is a figure which shows the composite image in which a shot is missed. 画像処理装置の機能構成例を示す図である。It is a figure which shows the functional configuration example of an image processing apparatus. 輪郭位置情報の射影変換について説明する図である。It is a figure explaining the projective transformation of contour position information. 合成画像の輪郭を示す図である。It is a figure which shows the outline of a composite image. 合成画像の輪郭を示す図である。It is a figure which shows the outline of a composite image. 画像処理装置の動作を示すフロー図である。It is a flow chart which shows the operation of an image processing apparatus. 合成画像を示す図である。It is a figure which shows the composite image. 合成画像の輪郭を示す図である。It is a figure which shows the outline of a composite image. 画像処理装置の機能構成例を示す図である。It is a figure which shows the functional configuration example of an image processing apparatus. 合成画像の輪郭を示す図である。It is a figure which shows the outline of a composite image. 画像処理装置の機能構成例を示す図である。It is a figure which shows the functional configuration example of an image processing apparatus. 画像処理装置の機能構成例を示す図である。It is a figure which shows the functional configuration example of an image processing apparatus. 画像処理装置の機能構成例を示す図である。It is a figure which shows the functional configuration example of an image processing apparatus.

以下、添付図面にしたがって本発明にかかる画像処理装置、画像処理方法、およびプログラムの好ましい実施の形態について説明する。 Hereinafter, preferred embodiments of the image processing apparatus, image processing method, and program according to the present invention will be described with reference to the accompanying drawings.

図１は、撮影対象物である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。本発明における撮影対象物は、特に限定されるものではないが、例えば、構造物の損傷の検出検査を行う場合に使用される撮影画像を合成する場合に本発明が適用される。具体的には格間単位で床版６（図１）の損傷検出検査を行う場合に、格間５０２（図５）の領域の床版６を分割撮影し、その分割撮影された撮影画像を合成する場合に本発明が適用される。 FIG. 1 is a perspective view showing a structure of a bridge, which is one of the structures to be photographed, and is a perspective view of the bridge as viewed from below. The object to be imaged in the present invention is not particularly limited, but the present invention is applied, for example, when synthesizing a photographed image used for detecting and inspecting damage to a structure. Specifically, when performing a damage detection inspection of the floor slab 6 (FIG. 1) in units of coffers, the floor slab 6 in the area of the coffer 502 (FIG. 5) is divided and photographed, and the photographed image obtained by dividing the image is captured. The present invention is applied when synthesizing.

図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。 The bridge 1 shown in FIG. 1 has a main girder 2, a cross girder 3, an anti-tilt structure 4, and a horizontal structure 5, and these are connected by bolts, rivets, or welds. Further, a floor slab 6 for vehicles and the like is placed on the upper part of the main girder 2 and the like. The floor slab 6 is generally made of reinforced concrete.

主桁２は、橋台または橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４および横構５は、それぞれ風および地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。 The main girder 2 is a member that is passed between the abutment or the pier and supports the load of a vehicle or the like on the floor slab 6. The cross girder 3 is a member that connects the main girders 2 in order to support the load by the plurality of main girders 2. The anti-tilt structure 4 and the horizontal structure 5 are members that connect the main girders 2 to each other in order to resist the lateral loads of wind and earthquake, respectively.

図２は、床版６を分割撮影することにより分割画像を取得する撮影システムを示す概念図である。 FIG. 2 is a conceptual diagram showing a photographing system that acquires a divided image by taking a divided image of the floor slab 6.

撮影システム５００は、移動体１００とコンピュータ３００とで構成されている。すなわち撮影システム５００において、移動体１００で取得された分割画像はコンピュータ３００に送信され、コンピュータ３００には画像処理装置４００（図７）が備えられている。 The photographing system 500 includes a mobile body 100 and a computer 300. That is, in the photographing system 500, the divided image acquired by the moving body 100 is transmitted to the computer 300, and the computer 300 is provided with the image processing device 400 (FIG. 7).

移動体１００は、カメラ１０１を備えており、コンピュータ３００の制御により移動およびカメラ１０１による撮影を行う。移動体１００は、コンピュータ３００の制御により移動および撮影を行えるものであれば特に限定されるものではない。例えば移動体１００は、走行型ロボット、小型のヘリコプター、マルチコプター、ドローンまたはUAV（Unmanned Aerial Vehicles、無人航空機）と呼ばれる装置があげられる。 The moving body 100 includes a camera 101, and moves and shoots with the camera 101 under the control of the computer 300. The moving body 100 is not particularly limited as long as it can move and photograph under the control of the computer 300. For example, the moving body 100 includes a traveling robot, a small helicopter, a multicopter, a drone, or a device called a UAV (Unmanned Aerial Vehicles).

コンピュータ３００および移動体１００は相互に通信可能であり、コンピュータ３００は、移動体１００の移動の制御およびカメラ１０１での撮影制御を遠隔で行うことができる。また、移動体１００が撮影した撮影画像は、コンピュータ３００の表示部３２６（図４）と入力部３２８（図４）とを兼ねたタッチパネルディスプレイ３０２に表示される。 The computer 300 and the mobile body 100 can communicate with each other, and the computer 300 can remotely control the movement of the mobile body 100 and the shooting control by the camera 101. Further, the captured image captured by the moving body 100 is displayed on the touch panel display 302 that also serves as the display unit 326 (FIG. 4) and the input unit 328 (FIG. 4) of the computer 300.

図３は、移動体１００の撮影位置を概念的に示した図である。なお、図３は図１においてＸ軸方向から床版６を見た概念的な図である。またカメラ１０１は、図２で示したように移動体１００に備えられ、移動体１００の移動によって移動させられる。なお、図３では移動体１００は省略されている。また床版６上には車輌１０が走行し、床版６の下方からの撮影画像を取得して床版６の損傷の検出検査が行われる。 FIG. 3 is a diagram conceptually showing the photographing position of the moving body 100. Note that FIG. 3 is a conceptual diagram of the floor slab 6 viewed from the X-axis direction in FIG. Further, the camera 101 is provided on the moving body 100 as shown in FIG. 2, and is moved by the movement of the moving body 100. In FIG. 3, the moving body 100 is omitted. Further, the vehicle 10 runs on the floor slab 6, and an image taken from below the floor slab 6 is acquired to detect and inspect the damage of the floor slab 6.

移動体１００は、コンピュータ３００の制御により各撮影位置に移動させられ、撮影を行って撮影画像を取得する。床版６の格間単位で検査が行われる場合には、分割撮影により床版６の分割画像が取得される。 The moving body 100 is moved to each shooting position under the control of the computer 300, shoots, and acquires a shot image. When the inspection is performed in units of coffers of the floor slab 6, the divided image of the floor slab 6 is acquired by the divided shooting.

図４は、コンピュータ３００のシステム構成例を示すブロック図である。 FIG. 4 is a block diagram showing a system configuration example of the computer 300.

図４に示すように、コンピュータ３００は、コンピュータ３００の全体の動作を制御するＣＰＵ（Central Processing Unit）３１０を備え、このＣＰＵ３１０にシステムバス３１２を介して、メインメモリ３１４、不揮発性メモリ３１６、モバイル通信部３１８、無線ＬＡＮ通信部３２０、近距離無線通信部３２２、有線通信部３２４、表示部３２６、入力部３２８、キー入力部３３０、音声処理部３３２、画像処理部３３４等が接続されて構成される。 As shown in FIG. 4, the computer 300 includes a CPU (Central Processing Unit) 310 that controls the overall operation of the computer 300, and the CPU 310 is connected to the main memory 314, the non-volatile memory 316, and the mobile via the system bus 312. Communication unit 318, wireless LAN communication unit 320, short-range wireless communication unit 322, wired communication unit 324, display unit 326, input unit 328, key input unit 330, voice processing unit 332, image processing unit 334, etc. are connected and configured. Will be done.

ＣＰＵ３１０は、不揮発性メモリ３１６に記憶された動作プログラム（ＯＳ（Operating System）、および、そのＯＳ上で動作するアプリケーションプログラム）、および、定型データ等を読み出し、メインメモリ３１４に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。 The CPU 310 reads an operating program (OS (Operating System) and an application program running on the OS) stored in the non-volatile memory 316, standard data, and the like, expands the data into the main memory 314, and performs the operation. By executing the program, it functions as a control unit that controls the operation of the entire computer.

メインメモリ３１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３１０のワークメモリとして機能する。 The main memory 314 is composed of, for example, a RAM (Random Access Memory) and functions as a work memory of the CPU 310.

不揮発性メモリ３１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ３１６は、コンピュータ３００の記憶部として機能し、各種データを記憶する。 The non-volatile memory 316 is composed of, for example, a flash EEPROM (EEPROM: Electrically Erasable Programmable Read Only Memory), and stores the above-mentioned operation program and various standard data. Further, the non-volatile memory 316 functions as a storage unit of the computer 300 and stores various data.

モバイル通信部３１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、および、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ３１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。 The mobile communication unit 318 is a third-generation mobile communication system compliant with the IMT-2000 standard (International Mobile Telecommunication-2000) and a fourth-generation mobile communication system compliant with the IMT-Advance standard (International Mobile Telecommunications-Advanced). Based on this, data is transmitted and received to and from the nearest base station (not shown) via the antenna 318A.

無線ＬＡＮ通信部３２０は、アンテナ３２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。 The wireless LAN communication unit 320 has a predetermined wireless LAN communication standard (for example, IEEE802.11a / b / g / n standard) with a wireless LAN access point or an external device capable of wireless LAN communication via the antenna 320A. ) Is performed for wireless LAN communication.

近距離無線通信部３２２は、アンテナ３２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。 The short-range wireless communication unit 322 transmits and receives data to and from other Bluetooth (registered trademark) standard devices within a range of, for example, class 2 (within a radius of about 10 m) via the antenna 322A.

有線通信部３２４は、外部接続端子３０６を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、ＵＳＢ（Universal Serial Bus）通信を行う。 The wired communication unit 324 communicates with an external device connected by a cable via the external connection terminal 306 according to a predetermined communication standard. For example, USB (Universal Serial Bus) communication is performed.

表示部３２６は、タッチパネルディスプレイ３０２のディスプレイ部分を構成するカラーＬＣＤ（liquid crystal display）パネルと、その駆動回路と、で構成され、各種画像を表示する。 The display unit 326 is composed of a color LCD (liquid crystal display) panel constituting the display portion of the touch panel display 302 and a drive circuit thereof, and displays various images.

入力部３２８は、タッチパネルディスプレイ３０２のタッチパネル部分を構成する。入力部３２８は、透明電極を用いてカラーＬＣＤパネルと一体的に構成される。 The input unit 328 constitutes a touch panel portion of the touch panel display 302. The input unit 328 is integrally configured with the color LCD panel by using a transparent electrode.

キー入力部３３０は、コンピュータ３００の筐体に備えられた複数の操作ボタンと、その駆動回路と、で構成される。 The key input unit 330 is composed of a plurality of operation buttons provided in the housing of the computer 300 and a drive circuit thereof.

音声処理部３３２は、システムバス３１２を介して与えられるデジタル音声データをアナログ化してスピーカー３０４から出力する。 The voice processing unit 332 converts the digital voice data given via the system bus 312 into analog and outputs it from the speaker 304.

画像処理部３３４は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ３０５から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。 The image processing unit 334 digitizes the analog image signal output from the built-in camera 305 provided with the photographing lens and the image sensor, performs necessary signal processing, and outputs the analog image signal.

次に、撮りこぼしの例に関して説明する。特に以下で説明する例は、床版６の損傷検出検査を格間単位で行う場合に発生しうる撮りこぼしの例である。 Next, an example of spillage will be described. In particular, the example described below is an example of spillage that may occur when the damage detection inspection of the floor slab 6 is performed in units of coffers.

図５はタイプ１の撮りこぼしが発生している合成画像５０１を示す図であり、図６はタイプ２の撮りこぼしが発生している合成画像５０１を示す図である。なお、図５および図６に示された合成画像５０１は、床版６を分割撮影して得られた複数の分割画像を射影変換して合成したものである。すなわち床版６を撮影した分割画像は、射影変換されて合成され、合成画像５０１を形成している。 FIG. 5 is a diagram showing a composite image 501 in which a type 1 spillage occurs, and FIG. 6 is a diagram showing a composite image 501 in which a type 2 spillage occurs. The composite image 501 shown in FIGS. 5 and 6 is a composite image obtained by projecting and transforming a plurality of divided images obtained by taking a divided image of the floor slab 6. That is, the divided images obtained by photographing the floor slab 6 are projected and combined to form the composite image 501.

図５に示された合成画像５０１では、撮りこぼし５０３が発生している。すなわち本来、合成画像５０１には格間５０２の領域の床版６が漏れなく写っているはずであるが、撮りこぼし５０３の箇所は、床版６に対応する画像が無い。分割画像を合成する場合には、合成される各画像において糊代を設けて、糊代の領域において合成される。したがって、糊代の領域の見積もりを含めて分割画像を撮影する必要があるが、見積もりが誤りであった場合には、例えば撮りこぼし５０３が発生してしまう。 In the composite image 501 shown in FIG. 5, a spilled image 503 has occurred. That is, originally, the floor slab 6 in the area of the coffer 502 should be captured in the composite image 501 without omission, but there is no image corresponding to the floor slab 6 in the portion of the missed shot 503. When the divided images are combined, a glue margin is provided in each of the combined images, and the divided images are combined in the glue margin region. Therefore, it is necessary to take a divided image including the estimation of the region of the glue allowance, but if the estimation is incorrect, for example, a missed shot 503 will occur.

図６に示された合成画像５０１では、撮りこぼし５０７が発生している。すなわち本来、合成画像５０１には格間５０２の領域の床版６が漏れなく写っているはずであるが、撮りこぼし５０７の箇所は、床版６に対応する画像が無い。撮りこぼし５０７は、いわゆる中抜けであり、合成画像５０１は中抜けを有する画像となってしまっている。 In the composite image 501 shown in FIG. 6, the spilled image 507 has occurred. That is, originally, the floor slab 6 in the area of the coffer 502 should be captured in the composite image 501 without omission, but there is no image corresponding to the floor slab 6 in the spilled 507. The missed image 507 is a so-called hollow, and the composite image 501 is an image having a hollow.

ここで、図５および図６には合成画像５０１が示されており、合成画像５０１をユーザが確認することにより、撮りこぼし５０３および撮りこぼし５０７の発生を確認することができる。しかしながら、合成画像５０１は分割画像で構成されているため、各分割画像を射影変化しなければならず、合成画像５０１の生成には時間および計算コストを要する。例えば、橋梁１の損傷の検出検査を行う場合には、合計８００の格間についてそれぞれ分割画像から構成される合成画像５０１を生成することを考えると、撮りこぼしの確認のために合成画像５０１を撮影現場で生成していては、点検作業の効率を大幅に下げてしまう。 Here, the composite image 501 is shown in FIGS. 5 and 6, and the user can confirm the occurrence of the missed shot 503 and the missed shot 507 by checking the composite image 501. However, since the composite image 501 is composed of divided images, each divided image must be projected and changed, and it takes time and calculation cost to generate the composite image 501. For example, when performing a damage detection inspection of the bridge 1, considering that a composite image 501 composed of divided images is generated for each of a total of 800 coffers, the composite image 501 is used for confirmation of spillage. If it is generated at the shooting site, the efficiency of inspection work will be greatly reduced.

したがって、本発明では短時間で計算コストをかけずに、撮りこぼしの有無および撮りこぼしの位置を確認することができる表示を提案する。 Therefore, the present invention proposes a display capable of confirming the presence or absence of missed shots and the position of missed shots in a short time without incurring a calculation cost.

＜第１の実施形態＞
本発明の第１の実施形態に関して説明する。図７は、本実施形態の画像処理装置４００の機能構成例を示す図である。<First Embodiment>
The first embodiment of the present invention will be described. FIG. 7 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment.

画像処理装置４００は、画像入力部４０１、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、および表示部４１５を備える。 The image processing device 400 includes an image input unit 401, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit 415.

画像入力部４０１は、撮影対象が分割撮影されることにより、得られた複数の分割画像が入力される。例えば、移動体１００で取得された床版６の分割画像が画像入力部４０１に、分割画像が取得される毎にまたは一つの格間５０２を撮影し終える毎に入力される。画像入力部４０１は、例えばコンピュータ３００のモバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２で実現される。 The image input unit 401 inputs a plurality of divided images obtained by taking a divided image of the object to be photographed. For example, the divided image of the floor slab 6 acquired by the moving body 100 is input to the image input unit 401 every time the divided image is acquired or every time one coffer 502 is photographed. The image input unit 401 is realized by, for example, the mobile communication unit 318 of the computer 300, the wireless LAN communication unit 320, or the short-range wireless communication unit 322.

対応点情報取得部４０３は、複数の分割画像間の対応点を探索して対応点に関する対応点情報を取得する。具体的には対応点情報取得部４０３は、各分割画像において特徴点を抽出し、抽出された特徴点において分割画像間の対応点に関する情報を取得する。対応点に関する情報とは、例えば対応点の座標である。なお、対応点情報取得部４０３は、公知の手法により対応分割画像間における対応点に関する情報を取得することができる。例えば、対応点に関する情報の取得の手法として、画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF(Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。 The correspondence point information acquisition unit 403 searches for the correspondence points between the plurality of divided images and acquires the correspondence point information regarding the correspondence points. Specifically, the corresponding point information acquisition unit 403 extracts feature points in each divided image, and acquires information on corresponding points between the divided images at the extracted feature points. The information about the corresponding point is, for example, the coordinates of the corresponding point. The correspondence point information acquisition unit 403 can acquire information on the correspondence points between the correspondence division images by a known method. For example, as a method for acquiring information on corresponding points, SIFT (Scale-invariant feature transform) features and SURF (Speed-Upped Robust Features) are used as robust local features that are resistant to scaling, rotation, and lighting changes between images. ) Features and AKAZE (Accelerated KAZE) features are known.

基準分割画像特定部４０５は、複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する。基準分割画像は、その後の射影変換および合成画像の輪郭位置情報の生成に必要となるので、少なくとも１枚特定される必要がある。特定される基準分割画像は、射影変換の基準となり、合成画像の輪郭位置情報に影響する。すなわち、特定する基準分割画像によっては、被写体に対して正対した合成画像の輪郭位置情報が生成される場合もあり、アオリを有する合成画像の輪郭位置情報が生成される場合もある。撮りこぼしの確認をするためであれば、合成画像の形状および正対しているか否かは、決定的な問題とならいため、基準分割画像の特定は無作為（ランダム）に特定されてもよい。 The reference divided image specifying unit 405 specifies a reference divided image as a reference for projection conversion among the plurality of divided images. Since the reference divided image is required for the subsequent projective transformation and the generation of the contour position information of the composite image, it is necessary to specify at least one image. The specified reference divided image serves as a reference for the projective transformation and affects the contour position information of the composite image. That is, depending on the reference divided image to be specified, the contour position information of the composite image facing the subject may be generated, or the contour position information of the composite image having tilt may be generated. In order to confirm the spillage, the shape of the composite image and whether or not it faces each other are not a decisive issue. Therefore, the reference divided image may be specified at random.

また、基準分割画像特定部４０５は、複数の分割画像のうちの射影変換の基準となる基準分割画像の指定、または基準分割画像となる分割画像の入力順序に関する情報に基づいて、基準分割画像を特定してもよい。例えば基準分割画像特定部４０５は、コンピュータ３００のタッチパネルディスプレイ３０２に表示された分割画像をユーザが選択することにより、ユーザの指定を受け付けて基準分割画像の指定を受け付ける。また基準分割画像特定部４０５は、コンピュータ３００のメインメモリ３１４に記憶されている基準分割画像となる分割画像の入力順序に関する情報を受け付けることにより、基準分割画像を特定する。例えば、基準分割画像となる分割画像の入力順序に関する情報とは、格間毎の撮影において最初に入力された分割画像を基準分割画像とする、または入力された分割画像の真ん中の順番に入力された分割画像を基準分割画像とするなどである。基準分割画像特定部４０５は、例えばコンピュータ３００のＣＰＵ３１０で実現される。 Further, the reference divided image specifying unit 405 determines the reference divided image based on the designation of the reference divided image as the reference of the projection conversion among the plurality of divided images or the input order of the divided images to be the reference divided image. It may be specified. For example, the reference divided image specifying unit 405 accepts the user's designation by selecting the divided image displayed on the touch panel display 302 of the computer 300, and accepts the designation of the reference divided image. Further, the reference divided image specifying unit 405 identifies the reference divided image by receiving information regarding the input order of the divided images to be the reference divided images stored in the main memory 314 of the computer 300. For example, the information regarding the input order of the divided images to be the reference divided images is such that the divided image first input in the shooting for each interval is used as the reference divided image, or the divided images are input in the middle order of the input divided images. For example, the divided image is used as a reference divided image. The reference divided image identification unit 405 is realized by, for example, the CPU 310 of the computer 300.

行列算出部４０７は、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列を算出する。すなわち行列算出部４０７は、基準分割画像特定部４０５で特定された基準分割画像に隣接する被変換分割画像の対応点情報に基づき、基準分割画像に合わせるように射影変換を行い、順次被変換分割画像の対応点情報に基づき被変換分割画像の射影変換行列を算出する。 The matrix calculation unit 407 calculates a projective transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image. That is, the matrix calculation unit 407 performs a projective transformation so as to match the reference division image based on the corresponding point information of the conversion divided image adjacent to the reference division image specified by the reference division image identification unit 405, and sequentially performs the transformation division. The projective transformation matrix of the image to be transformed is calculated based on the corresponding point information of the image.

射影変換部４０９は、輪郭位置情報を射影変換する第１の射影変換部４１１を有する。第１の射影変換部４１１は、算出された射影変換行列により、被変換分割画像の輪郭を示す輪郭位置情報を射影変換する。すなわち、行列算出部４０７で算出された各被変換分割画像毎の射影変換行列により、各被変換分割画像の輪郭を示す輪郭位置情報を射影変換する。射影変換部４０９は、例えばコンピュータ３００のＣＰＵ３１０で実現される。 The projective transformation unit 409 has a first projective transformation unit 411 that projects and transforms contour position information. The first projective transformation unit 411 projects and transforms contour position information indicating the contour of the image to be transformed by the calculated projective transformation matrix. That is, the contour position information indicating the contour of each converted divided image is projected and converted by the projection transformation matrix for each converted divided image calculated by the matrix calculation unit 407. The projection conversion unit 409 is realized by, for example, the CPU 310 of the computer 300.

図８は、第１の射影変換部４１１が行う被変換分割画像の輪郭位置情報の射影変換について説明する図である。 FIG. 8 is a diagram illustrating the projective transformation of the contour position information of the image to be transformed, which is performed by the first projective transformation unit 411.

図８（Ａ）は、射影変換前の被変換分割画像Ｄ１の輪郭位置情報を示す図である。具体的には被変換分割画像Ｄ１の四隅の座標Ｅ１、Ｆ１、Ｇ１およびＨ１が輪郭位置情報として示されている。 FIG. 8A is a diagram showing contour position information of the converted divided image D1 before the projection conversion. Specifically, the coordinates E1, F1, G1 and H1 at the four corners of the converted divided image D1 are shown as contour position information.

図８（Ｂ）は、射影変換後の被変換分割画像Ｄ２の輪郭位置情報を示す図である。被変換分割画像Ｄ１の輪郭位置情報を示す座標Ｅ１、Ｆ１、Ｇ１、およびＨ１を射影変換行列により射影変換し、座標Ｅ２、Ｆ２、Ｇ２、およびＨ２に変換する。座標Ｅ２、Ｆ２、Ｇ２、およびＨ２は射影変換後の被変換分割画像Ｄ２の輪郭を示す。 FIG. 8B is a diagram showing contour position information of the converted divided image D2 after the projective conversion. The coordinates E1, F1, G1, and H1 indicating the contour position information of the divided image D1 to be transformed are projected and transformed by the projective transformation matrix, and converted into the coordinates E2, F2, G2, and H2. Coordinates E2, F2, G2, and H2 show the outline of the transformed image D2 after the projective transformation.

ここで、第１の射影変換部４１１は、被変換分割画像Ｄ１の輪郭位置情報を示す座標Ｅ１、Ｆ１、Ｇ１、およびＨ１を射影変換しており、被変換分割画像Ｄ１を構成する全ての画素を射影変換しない。すなわち第１の射影変換部４１１は、被変換分割画像Ｄ１の輪郭のみ射影変換して、射影変換後の被変換分割画像Ｄ２の輪郭位置情報を算出する。このように第１の射影変換部４１１に、分割画像の輪郭のみの射影変換をさせることにより、射影変換にかかる時間を短縮することができ、射影変換にかかる計算コストを抑制することができる。なお、図８に示した例では、輪郭位置情報として被変換分割画像の四隅の座標を示したが、これに限定されるものではない。被変換分割画像の輪郭を示す情報であれば他の態様の情報も使われる。 Here, the first projective conversion unit 411 projects and transforms the coordinates E1, F1, G1, and H1 indicating the contour position information of the converted divided image D1, and all the pixels constituting the converted divided image D1. Does not project. That is, the first projective transformation unit 411 projects and transforms only the contour of the converted divided image D1, and calculates the contour position information of the converted divided image D2 after the projective transformation. By causing the first projective transformation unit 411 to perform the projective transformation of only the contour of the divided image in this way, the time required for the projective transformation can be shortened, and the calculation cost required for the projective transformation can be suppressed. In the example shown in FIG. 8, the coordinates of the four corners of the divided image to be converted are shown as the contour position information, but the present invention is not limited to this. Information of other modes is also used as long as it is information indicating the outline of the divided image to be converted.

図７に戻って、合成情報生成部４１３は、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像５０１の輪郭位置情報を生成する。すなわち合成情報生成部４１３は、第１の射影変換部４１１で変換された被変換分割画像の輪郭位置情報を合成することにより、基準分割画像および被変換分割画像を合成した合成画像５０１の輪郭位置情報を算出する。合成情報生成部４１３は、例えばコンピュータ３００のＣＰＵ３１０で実現される。 Returning to FIG. 7, the composite information generation unit 413 combines the contour position information of the composite image 501 when the reference divided image and the converted divided image after the projection conversion are combined based on the contour position information obtained by the projection conversion. To generate. That is, the composite information generation unit 413 synthesizes the contour position information of the converted divided image converted by the first projective conversion unit 411, so that the contour position of the composite image 501 obtained by synthesizing the reference divided image and the converted divided image Calculate the information. The synthetic information generation unit 413 is realized by, for example, the CPU 310 of the computer 300.

表示部４１５は、合成画像５０１の輪郭位置情報に基づき合成画像５０１の輪郭５０５を表示する。すなわち表示部４１５は、合成情報生成部４１３で生成された合成画像５０１の輪郭位置情報により、コンピュータ３００のタッチパネルディスプレイ３０２に合成画像５０１の輪郭５０５を表示する。タッチパネルディスプレイ３０２に合成画像５０１の輪郭５０５が表示されることにより、ユーザは撮りこぼしの有無および撮りこぼしの位置について確認することができる。表示部４１５は、例えばコンピュータ３００の表示部３２６で実現される。 The display unit 415 displays the contour 505 of the composite image 501 based on the contour position information of the composite image 501. That is, the display unit 415 displays the contour 505 of the composite image 501 on the touch panel display 302 of the computer 300 based on the contour position information of the composite image 501 generated by the composite information generation unit 413. By displaying the contour 505 of the composite image 501 on the touch panel display 302, the user can confirm the presence or absence of missed shots and the position of missed shots. The display unit 415 is realized by, for example, the display unit 326 of the computer 300.

図９および図１０は、合成情報生成部４１３が生成する合成画像５０１の輪郭情報に基づいて、表示部４１５がタッチパネルディスプレイ３０２に表示した合成画像５０１の輪郭５０５を示す図である。図９は図５で説明した撮りこぼし５０３を有する合成画像５０１についての合成画像５０１の輪郭５０５の表示であり、図１０は図６で説明した撮りこぼし５０７を有する合成画像５０１の輪郭５０５の表示である。 9 and 10 are diagrams showing the contour 505 of the composite image 501 displayed on the touch panel display 302 by the display unit 415 based on the contour information of the composite image 501 generated by the composite information generation unit 413. FIG. 9 is a display of the contour 505 of the composite image 501 for the composite image 501 having the missed shot 503 described in FIG. 5, and FIG. 10 is a display of the contour 505 of the composite image 501 having the missed shot 507 described in FIG. Is.

図９（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１が示されている。 For comparison, FIG. 9A shows a composite image 501 obtained by synthesizing a normally divided image (a reference divided image and a converted divided image after projection conversion).

一方図９（Ｂ）には、合成情報生成部４１３で生成された合成画像５０１の輪郭情報に基づいて合成画像５０１の輪郭５０５が示されている。具体的には、図８で説明したように第１の射影変換部４１１により各被変換分割画像の輪郭位置情報を射影変換し、合成情報生成部４１３により合成画像５０１の輪郭位置情報を生成し、合成画像５０１の輪郭５０５を表示部４１５に示している。 On the other hand, FIG. 9B shows the contour 505 of the composite image 501 based on the contour information of the composite image 501 generated by the composite information generation unit 413. Specifically, as described with reference to FIG. 8, the first projective conversion unit 411 projects the contour position information of each divided image to be converted, and the composite information generation unit 413 generates the contour position information of the composite image 501. The outline 505 of the composite image 501 is shown on the display unit 415.

例えばユーザは、一つの格間５０２の床版６について分割画像を複数枚取得した後に、合成画像５０１の輪郭５０５を確認する。そしてユーザは、格間５０２の床版６についての合成画像５０１の輪郭５０５であれば略矩形となっているので、撮りこぼし５０３に対応する輪郭５０５の表示を確認することにより、格間５０２の床版６について撮りこぼしが発生していることがわかる。 For example, the user confirms the contour 505 of the composite image 501 after acquiring a plurality of divided images for the floor slab 6 of one coffer 502. Then, since the contour 505 of the composite image 501 for the floor slab 6 of the coffer 502 is substantially rectangular, the user confirms the display of the contour 505 corresponding to the missed shot 503, so that the coffer 502 It can be seen that the floor slab 6 has been missed.

図１０（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１が示されている。 FIG. 10A shows a composite image 501 obtained by synthesizing a normally divided image (a reference divided image and a converted divided image after projection conversion) for comparison.

一方図１０（Ｂ）には、図９（Ｂ）と同様に合成情報生成部４１３で生成された合成画像５０１の輪郭情報に基づいて合成画像５０１の輪郭５０５が示されている。 On the other hand, FIG. 10B shows the contour 505 of the composite image 501 based on the contour information of the composite image 501 generated by the composite information generation unit 413 as in FIG. 9B.

ユーザは、一つの格間５０２の床版６について分割画像を複数枚取得した後に、合成画像５０１の輪郭５０５を確認する。そしてユーザは、格間５０２の床版６についての合成画像５０１の輪郭５０５が、撮りこぼし５０７に対応する輪郭５０５のような中抜けとはならないので、格間５０２の床版６について撮りこぼしが発生していることがわかる。 The user confirms the contour 505 of the composite image 501 after acquiring a plurality of divided images for the floor slab 6 of one coffer 502. Then, the user does not have the contour 505 of the composite image 501 for the floor slab 6 of the coffer 502 as a hollow like the contour 505 corresponding to the missed shot 507, so that the floor slab 6 of the coffer 502 is missed. You can see that it is occurring.

図１１は、画像処理装置４００の動作を示すフロー図である。 FIG. 11 is a flow chart showing the operation of the image processing device 400.

先ず、格間５０２の床版６について、移動体１００により分割画像が撮影される。格間５０２の床版６について分割画像の撮影が一通り終了すると、コンピュータ３００に分割画像が送信される。そして、画像入力部４０１に撮影対象が分割撮影されて得られた複数の分割画像が入力される（ステップＳ１０）。 First, a divided image is taken by the moving body 100 of the floor slab 6 of the coffer 502. When the shooting of the divided image of the floor slab 6 of the coffer 502 is completed, the divided image is transmitted to the computer 300. Then, a plurality of divided images obtained by dividing the image to be photographed are input to the image input unit 401 (step S10).

次に、対応点情報取得部４０３により、入力された複数の分割画像間の対応点が探索されて、探索された対応点に関する対応点情報が取得される（ステップＳ１１）。そして、基準分割画像特定部４０５により、基準分割画像が特定される（ステップＳ１２）。例えば、基準分割画像の指定は入力部３２８を介してユーザにより入力され、また例えばコンピュータ３００のメインメモリ３１４に記憶されていた基準分割画像となる分割画像の入力順序に関する情報を受け付ける。 Next, the corresponding point information acquisition unit 403 searches for the corresponding points between the input plurality of divided images, and acquires the corresponding point information regarding the searched corresponding points (step S11). Then, the reference divided image identification unit 405 specifies the reference divided image (step S12). For example, the designation of the reference divided image is input by the user via the input unit 328, and also receives information regarding the input order of the divided images to be the reference divided image stored in the main memory 314 of the computer 300, for example.

次に、行列算出部４０７により、対応点情報および基準分割画像に基づいて、複数の分割画像のうち基準分割画像以外の被変換分割画像の基準分割画像に対する射影変換行列が算出される（ステップＳ１３）。そして、射影変換部４０９の第１の射影変換部４１１により、算出された射影変換行列により、被変換分割画像の輪郭５０５を示す輪郭位置情報が射影変換される（ステップＳ１４）。その後、合成情報生成部４１３により、射影変換された輪郭位置情報に基づいて、基準分割画像および射影変換された後の被変換分割画像を合成した場合の合成画像の輪郭位置情報が生成される（ステップＳ１５）。そして、表示部４１５により合成画像５０１の輪郭５０５が表示される（ステップＳ１６）。 Next, the matrix calculation unit 407 calculates a projective transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image (step S13). ). Then, the contour position information indicating the contour 505 of the divided image to be transformed is projected by the first projecting conversion unit 411 of the projecting conversion unit 409 by the projected projection matrix calculated (step S14). After that, the composite information generation unit 413 generates the contour position information of the composite image when the reference divided image and the converted divided image after the projection conversion are combined based on the contour position information obtained by the projection conversion ( Step S15). Then, the outline 505 of the composite image 501 is displayed by the display unit 415 (step S16).

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。 In the above embodiment, the hardware structure of the processing unit that executes various processes is various processors as shown below. For various processors, the circuit configuration can be changed after manufacturing the CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc., which are general-purpose processors that execute software (programs) and function as various processing units. Includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed to execute a specific process such as a programmable logic device (PLD), an ASIC (Application Specific Integrated Circuit), etc. Is done.

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。 One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). You may. Further, a plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server. There is a form in which the processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. is there. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。 Further, the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.

上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータ３００に実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータ３００に対しても本発明を適用することが可能である。 Each of the above configurations and functions can be appropriately realized by any hardware, software, or a combination of both. For example, a program that causes the computer 300 to execute the above-mentioned processing steps (processing procedure), a computer-readable recording medium (non-temporary recording medium) that records such a program, or a computer 300 that can install such a program. The present invention can also be applied to the above.

＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。先ず本実施形態で解決される撮りこぼしの例について説明する。<Second embodiment>
Next, a second embodiment of the present invention will be described. First, an example of missed shots solved by the present embodiment will be described.

図１２は、タイプ３の撮りこぼしが発生している合成画像５０１を示す図である。 FIG. 12 is a diagram showing a composite image 501 in which a type 3 shot is missed.

図１２に示された合成画像５０１では、撮りこぼし５０９が発生している。なお、図１２に示された合成画像５０１は、床版６を分割撮影して得られた複数の分割画像を射影変換して合成したものである。すなわち床版６を撮影した分割画像は、射影変換されて合成され、合成画像５０１を形成している。 In the composite image 501 shown in FIG. 12, a spilled image 509 has occurred. The composite image 501 shown in FIG. 12 is a composite image obtained by projecting and transforming a plurality of divided images obtained by subjecting the floor slab 6 in a divided manner. That is, the divided images obtained by photographing the floor slab 6 are projected and combined to form the composite image 501.

図１２に示された合成画像５０１では、撮りこぼし５０９が発生している。すなわち本来、合成画像５０１には格間５０２の領域の床版６が漏れなく写っているはずであるが、撮りこぼし５０９の箇所は、格間５０２の端部に対応する床版６の画像が欠如している。 In the composite image 501 shown in FIG. 12, a spilled image 509 has occurred. That is, originally, the floor slab 6 in the area of the coffer 502 should be captured in the composite image 501 without omission, but the image of the floor slab 6 corresponding to the end of the coffer 502 is in the spilled part 509. Missing.

図１３は、合成情報生成部４１３が生成する合成画像５０１の輪郭情報に基づいて、表示部４１５がタッチパネルディスプレイ３０２に表示した合成画像５０１の輪郭５０５を示す図である。図１３は図１２で説明した撮りこぼし５０９を有する合成画像５０１についての合成画像５０１の輪郭５０５の表示である。 FIG. 13 is a diagram showing the contour 505 of the composite image 501 displayed on the touch panel display 302 by the display unit 415 based on the contour information of the composite image 501 generated by the composite information generation unit 413. FIG. 13 is a display of the contour 505 of the composite image 501 for the composite image 501 having the missed shot 509 described in FIG.

図１３（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１が示されている。 FIG. 13A shows a composite image 501 obtained by synthesizing a normally divided image (a reference divided image and a converted divided image after projection conversion) for comparison.

一方図１３（Ｂ）には、合成情報生成部４１３で生成された合成画像５０１の輪郭情報に基づいて合成画像５０１の輪郭５０５が示されている。ここで、タイプ３のような撮りこぼし５０９の場合には、ユーザは、第１の実施形態で説明したように合成画像５０１の輪郭５０５を確認しただけでは撮りこぼしがあることを確認することが困難である。すなわち、図１３に示すように、表示部４１５に表示された合成画像５０１の輪郭５０５だけでは格間５０２の床版６について漏れなく撮影が行えているかの判別は困難である。 On the other hand, FIG. 13B shows the contour 505 of the composite image 501 based on the contour information of the composite image 501 generated by the composite information generation unit 413. Here, in the case of a missed shot 509 as in type 3, the user can confirm that there is a missed shot just by checking the contour 505 of the composite image 501 as described in the first embodiment. Have difficulty. That is, as shown in FIG. 13, it is difficult to determine whether or not the floor slab 6 of the coffer 502 can be photographed without omission only by the contour 505 of the composite image 501 displayed on the display unit 415.

本実施形態では、タイプ３のような撮りこぼしをも確認できるように、部分的に合成画像５０１の輪郭５０５と共に分割画像（基準分割画像または射影変換された被変換分割画像）も表示する。 In the present embodiment, a divided image (reference divided image or projected divided image) is also partially displayed together with the outline 505 of the composite image 501 so that a missed image such as type 3 can be confirmed.

図１４は、本実施形態の画像処理装置４００の機能構成例を示す図である。図７で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 14 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.

画像処理装置４００は、画像入力部４０１、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、表示部４１５、第１の指定受付部４１９を備える。なお、図７で既に説明を行った箇所は、同じ符号を付し説明は省略する。 The image processing device 400 includes an image input unit 401, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, a display unit 415, and a first designated reception unit. A unit 419 is provided. The parts already described in FIG. 7 are designated by the same reference numerals and the description thereof will be omitted.

射影変換部４０９は、第１の射影変換部４１１および第２の射影変換部４１７で構成されている。なお、射影変換部４０９は、複数の機能（第１の射影変換部４１１および第２の射影変換部４１７）を備えるが、射影変換部４０９一つにより実現してもよいし、各機能にそれぞれハードウェア（またはソフトウェア、或いは両者の組み合わせ）が割り当てられていてもよい。 The projective transformation unit 409 is composed of a first projective conversion unit 411 and a second projective conversion unit 417. The projection conversion unit 409 includes a plurality of functions (first projection conversion unit 411 and second projection conversion unit 417), but may be realized by one projection conversion unit 409, or each function may be realized. Hardware (or software, or a combination of both) may be assigned.

第２の射影変換部４１７は、射影変換行列に基づいて、一部の被変換分割画像を射影変換する。すなわち第２の射影変換部４１７は、射影変換行列に基づいて一部の被変換分割画像を射影変換し、射影変換された被変換分割画像を生成する。 The second projective transformation unit 417 projects and transforms a part of the divided image to be transformed based on the projective transformation matrix. That is, the second projective transformation unit 417 projects and transforms a part of the converted divided images based on the projective transformation matrix, and generates the projected transformed divided image.

第２の射影変換部４１７が射影変換を行う被変換分割画像の具体例としては、合成画像５０１の隅に対応する被変換分割画像、合成画像５０１の４隅に対応する被変換分割画像があげられる。また第２の射影変換部４１７が射影変換を行う被変換分割画像の他の具体例としては、合成画像５０１の辺に対応する被変換分割画像、合成画像５０１の４辺に対応する被変換分割画像があげられる。 Specific examples of the converted divided image to be projected by the second projective conversion unit 417 include a converted divided image corresponding to the corner of the composite image 501 and a converted divided image corresponding to the four corners of the composite image 501. Be done. Further, as another specific example of the converted divided image in which the second projective conversion unit 417 performs the projective conversion, the converted divided image corresponding to the side of the composite image 501 and the converted divided image corresponding to the four sides of the composite image 501 are converted. An image can be given.

合成情報生成部４１３は、第１の射影変換部４１１で射影変換された輪郭位置情報と第２の射影変換部４１７で射影変換された被変換分割画像とを合成する。すなわち、合成画像５０１の輪郭位置情報を生成するとともに、第２の射影変換部４１７で射影変換された被変換分割画像を、合成画像５０１の輪郭５０５に合わせるように合成する。 The composite information generation unit 413 synthesizes the contour position information projected by the first projecting unit 411 and the converted divided image projected by the second projecting unit 417. That is, the contour position information of the composite image 501 is generated, and the converted divided image converted by the second projective conversion unit 417 is combined so as to match the contour 505 of the composite image 501.

表示部４１５は、合成情報生成部４１３で生成された合成画像５０１の輪郭位置情報および射影変換後の被変換分割画像または基準分割画像を表示する。すなわち表示部４１５は、合成画像５０１の輪郭位置情報が示す輪郭５０５に、被変換分割画像および基準分割画像のうち少なくとも一方を、合成して表示する。 The display unit 415 displays the contour position information of the composite image 501 generated by the composite information generation unit 413 and the converted divided image or the reference divided image after the projection conversion. That is, the display unit 415 combines and displays at least one of the converted divided image and the reference divided image on the contour 505 indicated by the contour position information of the composite image 501.

第１の指定受付部４１９は、表示部４１５に表示された合成画像５０１の輪郭５０５における位置の指定を受け付ける。具体的には第１の指定受付部４１９は、コンピュータ３００のタッチパネルディスプレイ３０２に表示された合成画像５０１の輪郭５０５がユーザに指定されることにより、合成画像５０１の位置の指定が受け付けられる。そして、第１の指定受付部４１９で指定が受け付けられた場合に、第２の射影変換部４１７は、第１の指定受付部４１９で受け付けられた位置に対応する被変換分割画像を射影変換してもよい。すなわち、表示部４１５に表示される合成画像５０１の輪郭５０５に合わせて表示される基準分割画像または変換された被変換分割画像の表示を、第１の指定受付部４１９を介してユーザが行ってもよい。 The first designated reception unit 419 receives the designation of the position of the composite image 501 displayed on the display unit 415 in the contour 505. Specifically, the first designated reception unit 419 receives the designation of the position of the composite image 501 by designating the contour 505 of the composite image 501 displayed on the touch panel display 302 of the computer 300 to the user. Then, when the designation is accepted by the first designated reception unit 419, the second projection conversion unit 417 projects and converts the converted divided image corresponding to the position accepted by the first designated reception unit 419. You may. That is, the user performs the display of the reference divided image displayed in accordance with the contour 505 of the composite image 501 displayed on the display unit 415 or the converted divided image to be converted via the first designated reception unit 419. May be good.

図１５は、合成情報生成部４１３が生成する合成画像５０１の輪郭情報に基づいて、表示部４１５がタッチパネルディスプレイ３０２に表示した合成画像５０１の輪郭５０５を示す図である。 FIG. 15 is a diagram showing the contour 505 of the composite image 501 displayed on the touch panel display 302 by the display unit 415 based on the contour information of the composite image 501 generated by the composite information generation unit 413.

図１５（Ａ）には比較のために、通常に分割画像（基準分割画像および射影変換後の被変換分割画像）を合成して得られた合成画像５０１の輪郭５０５が示されている。 FIG. 15A shows the contour 505 of the composite image 501 obtained by synthesizing the divided images (reference divided image and converted divided image after projection conversion) for comparison.

一方図１５（Ｂ）には、合成画像５０１の輪郭５０５および一部の分割画像が表示されている。具体的には、合成画像５０１の輪郭５０５と合成画像５０１の輪郭５０５の四隅に対応する分割画像５１１、分割画像５１３、分割画像５１５、および分割画像５１７が合成画像５０１の輪郭５０５に合わせて表示されている。 On the other hand, in FIG. 15B, the contour 505 of the composite image 501 and a part of the divided images are displayed. Specifically, the divided image 511, the divided image 513, the divided image 515, and the divided image 517 corresponding to the four corners of the contour 505 of the composite image 501 and the contour 505 of the composite image 501 are displayed according to the contour 505 of the composite image 501. Has been done.

ユーザは、一つの格間５０２の床版６について分割画像を複数枚取得した後に、合成画像５０１の輪郭５０５および一部の分割画像の表示を確認することにより、分割画像５１３では格間５０２の床版６が欠如していることを確認することができ、撮りこぼし５０９に対応する輪郭５０５は、格間５０２の床版６について撮りこぼしが発生していることがわかる。 After acquiring a plurality of divided images for the floor slab 6 of one coffer 502, the user confirms the display of the contour 505 of the composite image 501 and a part of the divided images, so that the coffer 502 is displayed in the divided image 513. It can be confirmed that the floor slab 6 is absent, and the contour 505 corresponding to the missed shot 509 shows that the floor slab 6 of the coffer 502 has a missed shot.

＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。本実施形態では第２の実施形態で表示された分割画像に対応して、合成画像５０１の一部の箇所に縮小画像が表示される。<Third embodiment>
Next, a third embodiment of the present invention will be described. In the present embodiment, the reduced image is displayed at a part of the composite image 501 corresponding to the divided image displayed in the second embodiment.

図１６は、本実施形態の画像処理装置４００の機能構成例を示す図である。図７で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 16 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.

画像処理装置４００は、画像入力部４０１、縮小画像生成部４２３、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、および表示部４１５を備える。 The image processing device 400 includes an image input unit 401, a reduced image generation unit 423, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit. It is equipped with 415.

縮小画像生成部４２３は、画像入力部４０１に入力された分割画像の解像度を下げた縮小画像を生成する。具体的には縮小画像生成部４２３は、分割画像が有する画素数の９０％から５０％、好ましくは８０％から６０％の縮小画像を生成する。縮小画像生成部４２３は公知の技術により、縮小画像を生成する。 The reduced image generation unit 423 generates a reduced image in which the resolution of the divided image input to the image input unit 401 is lowered. Specifically, the reduced image generation unit 423 generates a reduced image of 90% to 50%, preferably 80% to 60% of the number of pixels of the divided image. The reduced image generation unit 423 generates a reduced image by a known technique.

射影変換部４０９は、第１の射影変換部４１１および第３の射影変換部４２１を備える。第３の射影変換部４２１は、射影変換行列に基づいて、一部の縮小画像を射影変換する。すなわち、第３の射影変換部４２１は、射影変換行列に基づいて一部の縮小画像を射影変換し、射影変換された縮小画像を生成する。なお、射影変換部４０９は、３つの機能（第１の射影変換部４１１および第３の射影変換部４２１）を備えるが、射影変換部４０９一つにより実現してもよいし、各機能にそれぞれハードウェア（またはソフトウェア、或いは両者の組み合わせ）が割り当てられていてもよい。 The projection conversion unit 409 includes a first projection conversion unit 411 and a third projection conversion unit 421. The third projective transformation unit 421 projects and transforms a part of the reduced image based on the projective transformation matrix. That is, the third projective transformation unit 421 projects and transforms a part of the reduced image based on the projective transformation matrix to generate the projected reduced image. The projection conversion unit 409 includes three functions (first projection conversion unit 411 and third projection conversion unit 421), but it may be realized by one projection conversion unit 409, or each function may be realized. Hardware (or software, or a combination of both) may be assigned.

第３の射影変換部４２１が射影変換を行う縮小画像の具体例としては、合成画像５０１の隅に対応する縮小画像、合成画像５０１の４隅に対応する縮小画像があげられる。また第３の射影変換部４２１が射影変換を行う縮小画像の他の具体例としては、合成画像５０１の辺に対応する縮小画像、合成画像５０１の４辺に対応する縮小画像があげられる。 Specific examples of the reduced image to be projected by the third projective conversion unit 421 include a reduced image corresponding to the corner of the composite image 501 and a reduced image corresponding to the four corners of the composite image 501. Further, as another specific example of the reduced image in which the third projective conversion unit 421 performs the projecting conversion, there are a reduced image corresponding to the sides of the composite image 501 and a reduced image corresponding to the four sides of the composite image 501.

表示部４１５は、第３の射影変換部４２１で変換された一部の縮小画像を、合成画像５０１の輪郭５０５に表示する。このように、表示部４１５に射影変換された縮小画像または基準分割画像に対応する縮小画像が表示されることにより、第２の実施形態で説明したように、合成画像５０１の輪郭５０５の表示だけでは判別が困難な撮りこぼしをユーザに確認させることができる。また、本実施形態では、縮小画像を射影変換していることから、より短時間での処理および計算コストの軽減が実現される。 The display unit 415 displays a part of the reduced image converted by the third projective conversion unit 421 on the contour 505 of the composite image 501. In this way, the reduced image corresponding to the projected reduced image or the reference divided image is displayed on the display unit 415, so that only the outline 505 of the composite image 501 is displayed as described in the second embodiment. This allows the user to check for missed shots that are difficult to distinguish. Further, in the present embodiment, since the reduced image is projected and transformed, processing in a shorter time and reduction of calculation cost can be realized.

＜第４の実施形態＞
次に、本発明の第４の実施形態に関して説明する。本実施形態では、第３の実施形態で表示された縮小画像が指定され、指定された縮小画像の表示が解像度の高い分割画像の表示に切り替えられる。<Fourth Embodiment>
Next, a fourth embodiment of the present invention will be described. In the present embodiment, the reduced image displayed in the third embodiment is designated, and the display of the designated reduced image is switched to the display of the divided image having a high resolution.

図１７は、本実施形態の画像処理装置４００の機能構成例を示す図である。図７で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 17 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.

画像処理装置４００は、画像入力部４０１、縮小画像生成部４２３、対応点情報取得部４０３、基準分割画像特定部４０５、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、表示部４１５、および第２の指定受付部４２５を備える。 The image processing device 400 includes an image input unit 401, a reduced image generation unit 423, a corresponding point information acquisition unit 403, a reference division image identification unit 405, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit 415. , And a second designated reception unit 425.

射影変換部４０９は、第１の射影変換部４１１、第２の射影変換部４１７、および第３の射影変換部４２１を備える。なお、射影変換部４０９は、３つの機能（第１の射影変換部４１１、第２の射影変換部４１７、および第３の射影変換部４２１）を備えるが、射影変換部４０９一つにより実現してもよいし、各機能にそれぞれハードウェア（またはソフトウェア、或いは両者の組み合わせ）が割り当てられていてもよい。 The projection conversion unit 409 includes a first projection conversion unit 411, a second projection conversion unit 417, and a third projection conversion unit 421. The projection conversion unit 409 includes three functions (first projection conversion unit 411, second projection conversion unit 417, and third projection conversion unit 421), but is realized by one projection conversion unit 409. Hardware (or software, or a combination of both) may be assigned to each function.

第２の射影変換部４１７は、第２の指定部で受け付けられた位置に対応する分割画像が被変換分割画像である場合には、射影変換行列を使用して被変換分割画像を射影変換する。 When the divided image corresponding to the position accepted by the second designated unit is the converted divided image, the second projecting transformation unit 417 projects and transforms the converted divided image using the projective transformation matrix. ..

第２の指定受付部４２５は、表示部４１５に表示された縮小画像の指定を受け付ける。具体的には第２の指定受付部４２５は、コンピュータ３００のタッチパネルディスプレイ３０２に表示された合成画像５０１の縮小画像がユーザに指定されることにより、合成画像５０１の位置の指定が受け付けられる。 The second designated reception unit 425 receives the designation of the reduced image displayed on the display unit 415. Specifically, the second designated reception unit 425 receives the designation of the position of the composite image 501 by designating the reduced image of the composite image 501 displayed on the touch panel display 302 of the computer 300 to the user.

表示部４１５は、第２の指定受付部４２５で指定された縮小画像を、縮小画像に対応する、第２の射影変換部４１７で射影変換された被変換分割画像または基準分割画像に切り替える。すなわち表示部４１５は、第２の指定受付部４２５で指定された縮小画像を、より解像度の高い分割画像に切り替えて表示する。このように、ユーザからの指定により解像度の低い縮小画像から解像度の高い分割画像へ切り替えることにより、より正確な撮りこぼしの確認をできる表示を提供することができる。 The display unit 415 switches the reduced image designated by the second designated reception unit 425 to the converted divided image or the reference divided image corresponding to the reduced image and which has been projected and converted by the second projective conversion unit 417. That is, the display unit 415 switches the reduced image designated by the second designated reception unit 425 to a divided image having a higher resolution and displays it. In this way, by switching from a reduced image having a low resolution to a divided image having a high resolution according to a specification from the user, it is possible to provide a display capable of more accurately confirming missed shots.

＜第５の実施形態＞
次に、本発明の第５の実施形態に関して説明する。本実施形態では、入力された分割画像を解像度を下げた縮小画像に変換し、変換された縮小画像に基づいて第１の実施形態で説明したように合成画像５０１の輪郭５０５の表示がされる。本実施形態では縮小画像に基づいて、処理が行われることから、処理時間の短縮化がより図られる。<Fifth Embodiment>
Next, a fifth embodiment of the present invention will be described. In the present embodiment, the input divided image is converted into a reduced image having a reduced resolution, and the contour 505 of the composite image 501 is displayed based on the converted reduced image as described in the first embodiment. .. In the present embodiment, since the processing is performed based on the reduced image, the processing time can be further shortened.

図１８は、本実施形態の画像処理装置４００の機能構成例を示す図である。なお、図７で既に説明を行った箇所は同じ符号を付し説明は省略する。 FIG. 18 is a diagram showing a functional configuration example of the image processing device 400 of the present embodiment. The parts already described in FIG. 7 are designated by the same reference numerals, and the description thereof will be omitted.

画像処理装置４００は、画像入力部４０１、縮小画像生成部４２３、対応点情報取得部４０３、基準縮小画像特定部４２７、行列算出部４０７、射影変換部４０９、合成情報生成部４１３、および表示部４１５を備える。 The image processing device 400 includes an image input unit 401, a reduced image generation unit 423, a corresponding point information acquisition unit 403, a reference reduced image identification unit 427, a matrix calculation unit 407, a projection conversion unit 409, a composite information generation unit 413, and a display unit. It is equipped with 415.

対応点情報取得部４０３は、縮小画像間の対応点を探索して対応点に関する対応点情報を取得する。 The correspondence point information acquisition unit 403 searches for the correspondence points between the reduced images and acquires the correspondence point information regarding the correspondence points.

基準縮小画像特定部４２７は、前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する。 The reference reduced image specifying unit 427 specifies a reference reduced image that serves as a reference for projection conversion among the plurality of reduced images.

行列算出部４０７は、対応点情報および基準縮小画像に基づいて、複数の縮小画像のうち基準縮小画像以外の被変換縮小画像の基準縮小画像に対する射影変換行列を算出する。 The matrix calculation unit 407 calculates a projective transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.

第３の射影変換部４２１は、算出された射影変換行列により、被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する。 The third projective transformation unit 421 projects and transforms the contour position information indicating the contour of the image to be transformed by the calculated projective transformation matrix.

合成画像生成部４１３は、射影変換された輪郭位置情報に基づいて、基準縮小画像および射影変換された後の被変換縮小画像を合成した場合の合成画像５０１の輪郭位置情報を生成する。 The composite image generation unit 413 generates the contour position information of the composite image 501 when the reference reduced image and the converted reduced image after the projection conversion are combined based on the contour position information obtained by the projection conversion.

表示部４１５は、合成画像５０１の輪郭位置情報に基づき、合成画像５０１の輪郭５０５を表示する。 The display unit 415 displays the contour 505 of the composite image 501 based on the contour position information of the composite image 501.

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。 Although the examples of the present invention have been described above, it goes without saying that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.

１ 橋梁
２ 主桁
３ 横桁
４ 対傾構
５ 横構
６ 床版
１０ 車輌
１００ 移動体
１０１ カメラ
３００ コンピュータ
３０２ タッチパネルディスプレイ
３０４ スピーカー
３０５ 内蔵カメラ
３０６ 外部接続端子
３１０ ＣＰＵ
３１２ システムバス
３１４ メインメモリ
３１６ 不揮発性メモリ
３１８ モバイル通信部
３１８Ａ アンテナ
３２０ 無線ＬＡＮ通信部
３２０Ａ アンテナ
３２２ 近距離無線通信部
３２２Ａ アンテナ
３２４ 有線通信部
３２６ 表示部
３２８ 入力部
３３０ キー入力部
３３２ 音声処理部
３３４ 画像処理部
４００ 画像処理装置
４０１ 画像入力部
４０３ 対応点情報取得部
４０５ 基準分割画像特定部
４０７ 行列算出部
４０９ 射影変換部
４１１ 第１の射影変換部
４１３ 合成情報生成部
４１５ 表示部
４１７ 第２の射影変換部
４１９ 第１の指定受付部
４２１ 第３の射影変換部
４２３ 縮小画像生成部
４２５ 第２の指定受付部
４２７ 基準縮小画像特定部
５００ 撮影システム
５０１ 合成画像
５０２ 格間
５０５ 輪郭
５１１ 分割画像
５１３ 分割画像
５１５ 分割画像
５１７ 分割画像
Ｓ１０−Ｓ１６ 画像処理の工程1 Bridge 2 Main girder 3 Horizontal girder 4 Anti-tilt structure 5 Horizontal structure 6 Floor slab 10 Vehicle 100 Moving object 101 Camera 300 Computer 302 Touch panel display 304 Speaker 305 Built-in camera 306 External connection terminal 310 CPU
312 System bus 314 Main memory 316 Non-volatile memory 318 Mobile communication unit 318A Antenna 320 Wireless LAN communication unit 320A Antenna 322 Short-range wireless communication unit 322A Antenna 324 Wired communication unit 326 Display unit 328 Input unit 330 Key input unit 332 Voice processing unit 334 Image processing unit 400 Image processing device 401 Image input unit 403 Corresponding point information acquisition unit 405 Reference division image identification unit 407 Matrix calculation unit 409 Projection conversion unit 411 First projection conversion unit 413 Composite information generation unit 415 Display unit 417 Second Homography unit 419 First designated reception unit 421 Third projection conversion unit 423 Reduced image generation unit 425 Second designated reception unit 427 Reference reduced image identification unit 500 Shooting system 501 Composite image 502 Gaku 505 Outline 511 Divided image 513 Divided image 515 Divided image 517 Divided image S10-S16 Image processing step

Claims (17)

撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得する対応点情報取得部と、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定する基準分割画像特定部と、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出する行列算出部と、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換する第１の射影変換部と、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示する表示部と、
を備えた画像処理装置。An image input unit in which a plurality of divided images obtained by dividing the shooting target are input, and
A correspondence point information acquisition unit that searches for correspondence points between the plurality of divided images and acquires correspondence point information related to the correspondence points.
A reference divided image specifying unit that specifies a reference divided image that serves as a reference for projection conversion among the plurality of divided images,
A matrix calculation unit that calculates a projective transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image.
A first projective transformation unit that projects and transforms contour position information indicating the contour of the divided image to be transformed by the calculated projective transformation matrix.
A composite information generation unit that generates contour position information of a composite image when the reference divided image and the converted divided image after the projective transformation are combined based on the contour position information that has been projected and transformed.
A display unit that displays the contour of the composite image based on the contour position information of the composite image, and
Image processing device equipped with. 前記射影変換行列に基づいて、一部の前記被変換分割画像を射影変換する第２の射影変換部を備え、
前記表示部は、前記第２の射影変換部で変換された前記一部の被変換分割画像および前記基準分割画像のうち少なくとも一方を、前記合成画像の輪郭に表示する請求項１に記載の画像処理装置。A second projective transformation unit that projects and transforms a part of the converted divided images based on the projective transformation matrix is provided.
The image according to claim 1, wherein the display unit displays at least one of the partially converted divided image and the reference divided image converted by the second projective conversion unit on the outline of the composite image. Processing equipment. 前記第２の射影変換部は、前記合成画像の隅に対応する前記被変換分割画像を射影変換する請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2, wherein the second projective transformation unit projects a projective transformation of the converted divided image corresponding to a corner of the composite image. 前記第２の射影変換部は、前記合成画像の４隅に対応する前記被変換分割画像を射影変換する請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the second projective transformation unit projects a projective transformation of the converted divided image corresponding to the four corners of the composite image. 前記第２の射影変換部は、前記合成画像の辺に対応する前記被変換分割画像を射影変換する請求項２から４のいずれか１項に記載の画像処理装置。 The image processing apparatus according to any one of claims 2 to 4, wherein the second projective transformation unit projects a projective transformation of the converted divided image corresponding to the side of the composite image. 前記第２の射影変換部は、前記合成画像の４辺に対応する前記被変換分割画像を射影変換する請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the second projective transformation unit projects a projective transformation of the converted divided image corresponding to the four sides of the composite image. 前記表示部に表示された前記合成画像の輪郭における位置の指定を受け付ける第１の指定受付部を備え、
前記第２の射影変換部は、前記第１の指定受付部で受け付けられた前記位置に対応する前記被変換分割画像を射影変換する請求項２から６のいずれか１項に記載の画像処理装置。It is provided with a first designated reception unit that receives designation of a position in the outline of the composite image displayed on the display unit.
The image processing apparatus according to any one of claims 2 to 6, wherein the second projective conversion unit projects a projective transformation of the converted divided image corresponding to the position received by the first designated reception unit. .. 前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記射影変換行列に基づいて、一部の前記縮小画像を射影変換する第３の射影変換部とを備え、
前記表示部は、前記第３の射影変換部で変換された前記一部の前記縮小画像を、前記合成画像の輪郭に表示する請求項１から７のいずれか１項に記載の画像処理装置。A reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a reduced image generation unit.
A third projective transformation unit that projects and transforms a part of the reduced image based on the projective transformation matrix is provided.
The image processing apparatus according to any one of claims 1 to 7, wherein the display unit displays a part of the reduced image converted by the third projection conversion unit on the outline of the composite image. 前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記射影変換行列に基づいて、前記縮小画像を射影変換する第３の射影変換部と、
前記表示部に表示された前記縮小画像の指定を受け付ける第２の指定受付部と、
を備え、
前記表示部は、前記第２の指定受付部で前記指定された前記縮小画像を、前記縮小画像に対応する、前記第２の射影変換部で射影変換された前記被変換分割画像または前記基準分割画像に切り替える請求項２から７のいずれか１項に記載の画像処理装置。A reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a reduced image generation unit.
A third projective transformation unit that projects and transforms the reduced image based on the projective transformation matrix.
A second designated reception unit that accepts the designation of the reduced image displayed on the display unit, and
With
In the display unit, the reduced image designated by the second designated reception unit is projected and converted by the second projective conversion unit corresponding to the reduced image, or the converted divided image or the reference division. The image processing apparatus according to any one of claims 2 to 7, which switches to an image. 前記基準分割画像特定部は、前記基準分割画像の指定、または前記基準分割画像となる前記分割画像の入力順序に関する情報に基づいて、前記基準分割画像を特定する請求項１から９のいずれか１項に記載の画像処理装置。 The reference divided image specifying unit is any one of claims 1 to 9 that specifies the reference divided image based on the designation of the reference divided image or the information regarding the input order of the divided images to be the reference divided image. The image processing apparatus according to the section. 撮影対象が分割撮影されて得られた複数の分割画像が入力される画像入力部と、
前記画像入力部に入力された前記分割画像の解像度を下げた縮小画像を生成する縮小画像生成部と、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得する対応点情報取得部と、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定する基準縮小画像特定部と、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出する行列算出部と、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換する第３の射影変換部と、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成する合成情報生成部と、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示する表示部と、
を備えた画像処理装置。An image input unit in which a plurality of divided images obtained by dividing the shooting target are input, and
A reduced image generation unit that generates a reduced image with a reduced resolution of the divided image input to the image input unit, and a reduced image generation unit.
A correspondence point information acquisition unit that searches for correspondence points between the reduced images and acquires correspondence point information related to the correspondence points.
A reference reduced image specifying unit that specifies a reference reduced image that serves as a reference for projection conversion among the plurality of reduced images,
A matrix calculation unit that calculates a projection transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
A third projective transformation unit that projects and transforms contour position information indicating the contour of the reduced image to be transformed by the calculated projective transformation matrix.
A composite information generation unit that generates contour position information of a composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information.
A display unit that displays the contour of the composite image based on the contour position information of the composite image, and
Image processing device equipped with. 撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む画像処理方法。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
A step of searching for a corresponding point between the plurality of divided images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference divided image as a reference for projective transformation among the plurality of divided images, and
A step of calculating a projection transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image.
A step of projecting and transforming contour position information indicating the contour of the transformed divided image by the calculated projective transformation matrix.
Based on the projection-transformed contour position information, a step of generating contour position information of the composite image when the reference divided image and the transformed divided image after the projection conversion are combined, and
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
Image processing method including. 撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記分割画像の解像度を下げた縮小画像を生成するステップと、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む画像処理方法。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
The step of generating a reduced image in which the resolution of the divided image is reduced, and
A step of searching for a corresponding point between the reduced images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference reduced image that serves as a reference for projective transformation among the plurality of reduced images, and
A step of calculating a projection transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
A step of projecting and transforming contour position information indicating the contour of the converted reduced image by the calculated projective transformation matrix.
A step of generating contour position information of a composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information.
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
Image processing method including. 撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記複数の分割画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の分割画像のうちの射影変換の基準となる基準分割画像を特定するステップと、
前記対応点情報および前記基準分割画像に基づいて、前記複数の分割画像のうち前記基準分割画像以外の被変換分割画像の前記基準分割画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換分割画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準分割画像および前記射影変換された後の前記被変換分割画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む工程をコンピュータに実行させるプログラム。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
A step of searching for a corresponding point between the plurality of divided images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference divided image as a reference for projective transformation among the plurality of divided images, and
A step of calculating a projection transformation matrix for the reference divided image of the converted divided image other than the reference divided image among the plurality of divided images based on the corresponding point information and the reference divided image.
A step of projecting and transforming contour position information indicating the contour of the transformed divided image by the calculated projective transformation matrix.
Based on the projection-transformed contour position information, a step of generating contour position information of the composite image when the reference divided image and the transformed divided image after the projection conversion are combined, and
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
A program that causes a computer to execute a process that includes. 請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium on which the program according to claim 14 is recorded. 撮影対象が分割撮影されて得られた複数の分割画像が入力されるステップと、
前記分割画像の解像度を下げた縮小画像を生成するステップと、
前記縮小画像間の対応点を探索して前記対応点に関する対応点情報を取得するステップと、
前記複数の縮小画像のうちの射影変換の基準となる基準縮小画像を特定するステップと、
前記対応点情報および前記基準縮小画像に基づいて、前記複数の縮小画像のうち前記基準縮小画像以外の被変換縮小画像の前記基準縮小画像に対する射影変換行列を算出するステップと、
前記算出された前記射影変換行列により、前記被変換縮小画像の輪郭を示す輪郭位置情報を射影変換するステップと、
前記射影変換された前記輪郭位置情報に基づいて、前記基準縮小画像および前記射影変換された後の前記被変換縮小画像を合成した場合の合成画像の輪郭位置情報を生成するステップと、
前記合成画像の輪郭位置情報に基づき、前記合成画像の輪郭を表示するステップと、
を含む工程をコンピュータに実行させるプログラム。A step in which a plurality of divided images obtained by dividing the shooting target are input, and
The step of generating a reduced image in which the resolution of the divided image is reduced, and
A step of searching for a corresponding point between the reduced images and acquiring corresponding point information regarding the corresponding point, and
A step of specifying a reference reduced image that serves as a reference for projective transformation among the plurality of reduced images, and
A step of calculating a projection transformation matrix for the reference reduced image of the converted reduced image other than the reference reduced image among the plurality of reduced images based on the corresponding point information and the reference reduced image.
A step of projecting and transforming contour position information indicating the contour of the converted reduced image by the calculated projective transformation matrix.
A step of generating contour position information of a composite image when the reference reduced image and the converted reduced image after the projective conversion are combined based on the projected contour position information.
A step of displaying the contour of the composite image based on the contour position information of the composite image, and
A program that causes a computer to execute a process that includes. 請求項１６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
A computer-readable recording medium on which the program according to claim 16 is recorded.
JP2019509255A 2017-03-30 2018-03-15 Image processing equipment, image processing methods, and programs Active JP6779368B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017068561 2017-03-30
JP2017068561 2017-03-30
PCT/JP2018/010278 WO2018180551A1 (en) 2017-03-30 2018-03-15 Image processing device, image processing method and program

Publications (2)

Publication Number Publication Date
JPWO2018180551A1 JPWO2018180551A1 (en) 2019-11-21
JP6779368B2 true JP6779368B2 (en) 2020-11-04

Family

ID=63676950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509255A Active JP6779368B2 (en) 2017-03-30 2018-03-15 Image processing equipment, image processing methods, and programs

Country Status (2)

Country Link
JP (1) JP6779368B2 (en)
WO (1) WO2018180551A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116348735A (en) * 2020-11-24 2023-06-27 住友重机械工业株式会社 Information processing device, information processing method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134537A (en) * 1998-10-28 2000-05-12 Ricoh Co Ltd Image input device and its method
JP2010256253A (en) * 2009-04-27 2010-11-11 Topcon Corp Image capturing device for three-dimensional measurement and method therefor

Also Published As

Publication number Publication date
JPWO2018180551A1 (en) 2019-11-21
WO2018180551A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
US11189009B2 (en) Image processing apparatus and image processing method
JP6486069B2 (en) Image processing apparatus, inspection apparatus, inspection method, and image processing program
US10681269B2 (en) Computer-readable recording medium, information processing method, and information processing apparatus
JP6560366B2 (en) Structure identifying device and method for structure
JP4752918B2 (en) Image processing apparatus, image collation method, and program
US10951821B2 (en) Imaging control device, imaging system, and imaging control method
US20230419661A1 (en) Input apparatus, input method of input apparatus, and output apparatus
JP6805351B2 (en) Damage data editing equipment, damage data editing methods, and programs
US20220136979A1 (en) Information processing apparatus, information processing method, and non- transitory computer-readable storage medium
WO2021075090A1 (en) Correction parameter calculation method, displacement amount calculation method, correction parameter calculation device, and displacement amount calculation device
CN114175019A (en) Image display device, method, and program
JP2017151026A (en) Three-dimensional information acquiring device, three-dimensional information acquiring method, and program
JP6579727B1 (en) Moving object detection device, moving object detection method, and moving object detection program
JP6779368B2 (en) Image processing equipment, image processing methods, and programs
JP2019091169A (en) Image processor, method of controlling image processor, and program
JP2012008657A (en) Apparatus and method for generating object shape
WO2018180214A1 (en) Image processing device, camera device, and image processing method
CN114450552A (en) Correction parameter calculation method, displacement amount calculation method, correction parameter calculation device, and displacement amount calculation device
US20220130030A1 (en) Information display apparatus, information display method, and information display program
EP4075093A1 (en) Image processing method, image processing device, and image processing program
JP7251869B2 (en) DISTANCE MEASURING DEVICE, SYSTEM, METHOD AND PROGRAM
KR102049666B1 (en) Method for Estimating 6-DOF Relative Displacement Using Vision-based Localization and Apparatus Therefor
CN115176281A (en) Three-dimensional display device, method, and program
JP2021155179A (en) Photographing system and program for crane
JP6774348B2 (en) Image processing equipment and programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201013

R150 Certificate of patent or registration of utility model

Ref document number: 6779368

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250