JP2022021209A - Inspection support device, inspection support method and inspection support program - Google Patents

Inspection support device, inspection support method and inspection support program Download PDF

Info

Publication number
JP2022021209A
JP2022021209A JP2020124671A JP2020124671A JP2022021209A JP 2022021209 A JP2022021209 A JP 2022021209A JP 2020124671 A JP2020124671 A JP 2020124671A JP 2020124671 A JP2020124671 A JP 2020124671A JP 2022021209 A JP2022021209 A JP 2022021209A
Authority
JP
Japan
Prior art keywords
image
unit
feature points
inspection
support device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020124671A
Other languages
Japanese (ja)
Inventor
洋幸 小林
Hiroyuki Kobayashi
準 三浦
Jun Miura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furukawa Electric Co Ltd
Original Assignee
Furukawa Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furukawa Electric Co Ltd filed Critical Furukawa Electric Co Ltd
Priority to JP2020124671A priority Critical patent/JP2022021209A/en
Publication of JP2022021209A publication Critical patent/JP2022021209A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

To provide an inspection support device capable of visually recognizing a damaged state of an inspection object from a captured image without providing a limit to a time zone for performing inspection.SOLUTION: An inspection support device includes: an imaging unit 11 for generating an image of a specific place according to user operation; a first processing unit 12 for extracting feature points of a first image including a damaged place of an inspection object, and a second image including the damaged place and captured from a place different from the first image; a second processing unit 13 for associating the feature point of the first image with the feature point of the second image, and calculating a deviation on the images between the feature point of the first image and the feature point of the second image; a third processing unit 14 for performing processing for changing the coordinate position of each pixel of at least one of the first image and the second image such that the feature point of the first image and the feature point of the second image corresponding to the feature point are displayed in association with each other in a display unit 16 on the basis of the calculated deviation; and a display processing unit 15 for performing processing for displaying a result processed by the third processing unit 14 in the display unit 16.SELECTED DRAWING: Figure 1

Description

本開示は、点検支援装置、点検支援方法および点検支援プログラムに関する。 This disclosure relates to inspection support devices, inspection support methods and inspection support programs.

建物や電柱（以下、点検対象物と称する）の外観などを点検する際に、この点検の作業を支援する装置が知られている（例えば、特許文献１、２）。 When inspecting the appearance of a building or a utility pole (hereinafter referred to as an inspection object), a device that supports this inspection work is known (for example, Patent Documents 1 and 2).

特許文献１には、点検対象物であるコンクリート表面を照明する複数のライトと、複数のライトを選択的に点灯させる点灯制御部と、ライトにより照明されるコンクリート表面を撮影するカメラと、カメラからの画像データを順次二値化処理する二値化処理部と、二値化処理した複数の画像データであって、コンクリート表面の所定の領域に関する複数の画像データの差分画像を生成する差分画像生成部とを備える装置が開示されている。 Patent Document 1 describes a plurality of lights for illuminating the concrete surface to be inspected, a lighting control unit for selectively lighting the plurality of lights, a camera for photographing the concrete surface illuminated by the lights, and a camera. A binarization processing unit that sequentially binarizes the image data of the above, and a difference image generation that generates a difference image of a plurality of image data relating to a predetermined area on the concrete surface, which is a plurality of image data that has been binarized. A device including a unit is disclosed.

特許文献２には、点検対象物であるコンクリート表面の撮影画像に補正とノイズ除去の処理を施した前処理済画像を取得する前処理済画像形成部と、前処理済画像に対して、圧縮率を変えながら高解像度から低解像度まで解像度の異なる複数のレイヤ画像を形成するレイヤ画像形成部と、抽出対象の変状に最適な解像度のレイヤ画像から当該変状を抽出する変状抽出部と、抽出された変状を統合して出力する変状統合部とを備える装置が開示されている。 Patent Document 2 describes a pre-processed image forming unit for acquiring a pre-processed image obtained by applying correction and noise removal processing to a photographed image of a concrete surface to be inspected, and compression of the pre-processed image. A layer image forming unit that forms multiple layer images with different resolutions from high resolution to low resolution while changing the rate, and a deformation extraction unit that extracts the deformation from the layer image with the optimum resolution for the deformation to be extracted. , A device including a transformation integration unit that integrates and outputs the extracted transformations is disclosed.

特開２０１１－１１７７８８号公報Japanese Unexamined Patent Publication No. 2011-117788 特開２０１４－００６２２２号公報Japanese Unexamined Patent Publication No. 2014-006222

しかしながら、特許文献１に記載の装置では、点検対象物に対して、異なる方向から選択的にライトによる照明を行う必要があるため、例えば、ライトによる照明が太陽光により影響を受けてしまう時間帯を避ける必要があり、点検を行う時間帯に制限が生じる問題がある。また、特許文献２に記載の装置によって、高度な画像処理により点検対象物に生じている変状（例えば、ひび割れ）を画像から抽出できたとしても、その画像から変状を人が視認できない場合には、確認のため、再度現場に行く必要が生じる可能性がある。 However, in the apparatus described in Patent Document 1, it is necessary to selectively illuminate the inspection object with a light from different directions. Therefore, for example, a time zone in which the illumination by the light is affected by sunlight. There is a problem that there is a limit to the time zone for inspection. Further, even if the apparatus described in Patent Document 2 can extract a deformation (for example, a crack) generated in an inspection object from an image by advanced image processing, the deformation cannot be visually recognized from the image. May need to go to the site again for confirmation.

本発明は、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させることができる点検支援装置、点検支援方法および点検支援プログラムを提供することを目的とする。 It is an object of the present invention to provide an inspection support device, an inspection support method, and an inspection support program capable of visually recognizing the damaged state of an inspection object from a captured image without setting a limit on the inspection time zone. ..

上述した課題を解決し、目的を達成するために、本開示に係る点検支援装置は、ユーザ操作に応じて特定箇所の画像を生成する撮像部と、前記撮像部が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理部と、前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理部と、前記第２処理部により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理部と、前記第３処理部により処理された結果を前記表示部に表示する処理を行う表示処理部を備える。 In order to solve the above-mentioned problems and achieve the object, the inspection support device according to the present disclosure includes an image pickup unit that generates an image of a specific location according to a user operation, and an inspection target object generated by the image pickup unit. The first processing unit for extracting the feature points of the first image including the damaged portion and the second image captured from a position different from the first image including the damaged portion, and the feature points of the first image. Calculated by the second processing unit and the second processing unit that calculate the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the second image. The first image is displayed so that the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit based on the deviation. A third processing unit that performs processing for changing the coordinate position of at least one of the pixels of the second image, and a display processing unit that performs processing for displaying the result processed by the third processing unit on the display unit. Be prepared.

また、本開示に係る点検支援装置は、上記開示において、前記第１処理部は、前記撮像部により３つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を前記第１画像とし、他方を前記第２画像とする構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure selects two images having a difference in brightness of a certain degree or more when the first processing unit generates three or more images by the imaging unit. One is the first image and the other is the second image.

また、本開示に係る点検支援装置は、上記開示において、前記第３処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、各画素における、前記第１画像と、各画素の座標位置を変更した前記第２画像と、の明度の差を示す明度差画像を生成する構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has the third processing unit in each pixel based on the first image and the second image in which the coordinate position of each pixel is changed. It is a configuration that generates a brightness difference image showing the difference in brightness between the first image and the second image in which the coordinate position of each pixel is changed.

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを所定のタイミングで順次切り替えて表示されるように処理を行う構成である。 Further, in the above disclosure, in the inspection support device according to the present disclosure, the display processing unit sequentially switches between the first image and the second image in which the coordinate position of each pixel is changed at a predetermined timing and displays the display. It is a configuration that performs processing so as to.

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部においてに並列して表示されるように処理を行う構成である。 Further, in the inspection support device according to the present disclosure, in the above disclosure, the display processing unit displays the first image and the second image whose coordinate position of each pixel is changed in parallel on the display unit. It is a configuration that performs processing so as to be performed.

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部に表示されたときに、裸眼立体視されるように処理を行う構成である。 Further, in the above disclosure, in the inspection support device according to the present disclosure, when the display processing unit displays the first image and the second image whose coordinate position of each pixel is changed on the display unit. , It is a configuration that performs processing so that it can be viewed stereoscopically with the naked eye.

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を前記表示部に表示する構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure generates an anaglyph image based on the first image and the second image in which the coordinate position of each pixel is changed. The anaglyph image is displayed on the display unit.

また、本開示に係る点検支援装置は、上記開示において、前記表示部は、ヘッドマウントディスプレイであり、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを前記ヘッドマウントディスプレイに表示するように処理する構成である。 Further, in the inspection support device according to the present disclosure, in the above disclosure, the display unit is a head-mounted display, and the display processing unit is the first image and the second image in which the coordinate position of each pixel is changed. Is processed so as to be displayed on the head-mounted display.

また、本開示に係る点検支援装置は、上記開示において、前記第１画像に含まれている前記損傷箇所の明度と、各画素の座標位置を変更した前記第２画像に含まれている前記損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第１特定部を備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure is the damage included in the second image in which the brightness of the damaged portion included in the first image and the coordinate position of each pixel are changed. It is configured to include a first specific portion that calculates a difference from the brightness of a portion and specifies the depth direction of the damaged portion based on the difference in brightness.

また、本開示に係る点検支援装置は、上記開示において、鉛直方向を検出するセンサと、前記撮像部により点検対象物を撮像するときに前記センサの検出結果を取得し、当該センサの検出結果と前記第１画像および前記第２画像とを関連付けて保存する第１記憶部とを備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure acquires the detection result of the sensor when the sensor for detecting the vertical direction and the image pickup unit captures the inspection object, and the detection result of the sensor. The configuration includes a first storage unit that stores the first image and the second image in association with each other.

また、本開示に係る点検支援装置は、上記開示において、少なくとも、前記点検対象物を特定するための固有情報と、前記点検対象物の撮像部位に関する情報と、を取得する取得部と、前記取得部が取得した情報と、前記第１画像および前記第２画像を関連付けて保存する第２記憶部とを備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has at least an acquisition unit for acquiring specific information for specifying the inspection object and information on an image pickup site of the inspection object, and the acquisition. It is configured to include the information acquired by the unit and the second storage unit that stores the first image and the second image in association with each other.

また、本開示に係る点検支援装置は、上記開示において、前記取得部が取得する情報は、前記点検対象物に発生した損傷の状態、またはその種類に関する情報を含む構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has a configuration in which the information acquired by the acquisition unit includes information regarding the state of damage generated in the inspection object or the type thereof.

また、本開示に係る点検支援装置は、上記開示において、ユーザの操作に応じて前記撮像部の動作モードを切り替える処理を行う動作処理部を有し、前記取得部が取得する情報は、前記動作モードを特定する情報を含む構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has an operation processing unit that performs a process of switching the operation mode of the image pickup unit according to a user's operation, and the information acquired by the acquisition unit is the operation. It is a configuration that includes information that identifies the mode.

また、本開示に係る点検支援装置は、上記開示において、前記撮像部を介して入力される画像が前記表示部に表示されており、当該表示部に表示されている損傷の長手方向に基づいて、前記撮像部を移動する方向を指示する指示部を備え、前記表示処理部は、前記指示部による指示を前記表示部に表示する処理を行う構成である。 Further, in the inspection support device according to the present disclosure, in the above disclosure, an image input via the image pickup unit is displayed on the display unit, and the inspection support device is based on the longitudinal direction of the damage displayed on the display unit. The display processing unit includes an instruction unit that indicates a direction in which the image pickup unit is moved, and the display processing unit performs a process of displaying an instruction from the instruction unit on the display unit.

また、本開示に係る点検支援装置は、上記開示において、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、損傷を含む劣化の種類を特定する第２特定部を備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure is a second specification that specifies the type of deterioration including damage based on the first image and the second image in which the coordinate position of each pixel is changed. It is a structure including a part.

また、本開示に係る点検支援装置は、上記開示において、前記撮像部により生成した前記第１画像の中心を含む特定領域の明度の参照値と、前記第２画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する判定部と、前記判定部により所定の閾値以上の差分が生じていると判定された場合には報知を行う報知部とを備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has a reference value of the brightness of the specific region including the center of the first image generated by the imaging unit and the brightness of the specific region including the center of the second image. A determination unit that determines whether or not a difference of a predetermined threshold value or more has occurred by comparing with the reference value of the above, and a notification unit if the determination unit determines that a difference of a predetermined threshold value or more has occurred. It is configured to include a notification unit for performing.

上述した課題を解決し、目的を達成するために、本開示に係る点検支援方法は、ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを備える。 In order to solve the above-mentioned problems and achieve the object, the inspection support method according to the present disclosure includes an image pickup step of generating an image of a specific location according to a user operation and an inspection target object generated by the image pickup step. The first processing step of extracting the feature points of the first image including the damaged portion and the second image including the damaged portion and captured from a position different from the first image, and the feature points of the first image. Calculated by the second processing step and the second processing step of calculating the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the second image. The first image is displayed so that the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit based on the deviation. A third processing step of changing the coordinate position of at least one of the pixels of the second image, and a display processing step of displaying the result processed by the third processing step on the display unit. To prepare for.

上述した課題を解決し、目的を達成するために、本開示に係る点検支援プログラムは、コンピュータに、ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを実行させるためのプログラムである。 In order to solve the above-mentioned problems and achieve the object, the inspection support program according to the present disclosure includes an image pickup process for generating an image of a specific location according to a user operation on a computer, and an inspection generated by the image pickup process. The first processing step of extracting the feature points of the first image including the damaged part of the object and the second image including the damaged part and captured from a position different from the first image, and the first image. A second processing step of calculating a deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the second image, and the second process. Based on the deviation calculated by the step, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed so as to correspond to each other on the display unit. A display that performs a process of changing the coordinate position of at least one of the first image and the second image, and a process of displaying the result processed by the third process on the display unit. It is a program for executing a processing process.

本発明によれば、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させることができる。 According to the present invention, it is possible to visually recognize the damaged state of the inspection object from the captured image without setting a limit on the inspection time zone.

図１は、点検の作業を支援する点検支援装置の構成を示す図である。FIG. 1 is a diagram showing a configuration of an inspection support device that supports inspection work. 図２は、第１画像および第２画像を生成するときの様子を模式的に示す図である。FIG. 2 is a diagram schematically showing a state when a first image and a second image are generated. 図３は、第２処理部により第１画像と第２画像の特徴点同士を対応付ける処理についての説明に供する図である。FIG. 3 is a diagram for explaining a process of associating the feature points of the first image and the second image with each other by the second processing unit. 図４は、第３処理部により画像の座標位置を変更処理した後の様子を模式的に示す図である。FIG. 4 is a diagram schematically showing a state after the coordinate position of the image is changed by the third processing unit. 図５は、表示部に第１画像と第２画像とが表示されている様子を模式的に示す図である。FIG. 5 is a diagram schematically showing how the first image and the second image are displayed on the display unit. 図６は、損傷記録票の一例を模式的に示す図である。FIG. 6 is a diagram schematically showing an example of a damage record sheet. 図７は、撮像部により生成された複数の画像を示す図である。FIG. 7 is a diagram showing a plurality of images generated by the imaging unit. 図８は、明度差画像の一例を模式的に示す図である。FIG. 8 is a diagram schematically showing an example of a brightness difference image. 図９は、第１画像と第２画像とが時間軸上に繰り返し並んでいる様子を模式的に示す図である。FIG. 9 is a diagram schematically showing how the first image and the second image are repeatedly arranged on the time axis. 図１０は、第１画像と第２画像とが表示部に表示される例を模式的に示す図である。FIG. 10 is a diagram schematically showing an example in which a first image and a second image are displayed on a display unit. 図１１は、表示処理部によりステレオグラムを生成する手順についての説明に供する図である。FIG. 11 is a diagram for explaining a procedure for generating a stereogram by the display processing unit. 図１２は、アナグリフ画像を生成する手順についての説明に供する図である。FIG. 12 is a diagram for explaining a procedure for generating an anaglyph image. 図１３は、ヘッドマウントディスプレイが頭部に装着されている様子を示す図である。FIG. 13 is a diagram showing a state in which the head-mounted display is attached to the head. 図１４は、損傷箇所の深さ方向を特定する手順についての説明に供する図である。FIG. 14 is a diagram for explaining a procedure for specifying the depth direction of the damaged portion. 図１５は、明度差に対する深さ方向が規定されている第１テーブルの一例を模式的に示す図である。FIG. 15 is a diagram schematically showing an example of a first table in which the depth direction with respect to the difference in brightness is defined. 図１６は、第１記憶部に保存されている第２テーブルを模式的に示す図である。FIG. 16 is a diagram schematically showing a second table stored in the first storage unit. 図１７は、コンピュータの構成を示す図である。FIG. 17 is a diagram showing a computer configuration. 図１８は、他のコンピュータの構成を示す図である。FIG. 18 is a diagram showing the configuration of another computer. 図１９は、点検アプリの動作についての説明に供するフローチャートである。FIG. 19 is a flowchart for explaining the operation of the inspection application. 図２０は、点検支援装置の外観を示す図である。FIG. 20 is a diagram showing the appearance of the inspection support device. 図２１は、撮像時に表示部に表示される撮像画面の一例を模式的に示す図である。FIG. 21 is a diagram schematically showing an example of an imaging screen displayed on the display unit at the time of imaging. 図２２は、第２記憶部に保存されている第３テーブルを模式的に示す図である。FIG. 22 is a diagram schematically showing a third table stored in the second storage unit. 図２３は、指示部により移動の方向が指示される様子を模式的に示す図である。FIG. 23 is a diagram schematically showing how the direction of movement is instructed by the instruction unit. 図２４は、撮像部で生成された画像が保存されるときのフォルダ構造を模式的に示す図である。FIG. 24 is a diagram schematically showing a folder structure when an image generated by the imaging unit is saved. 図２５は、点検支援方法の手順を示すフローチャートである。FIG. 25 is a flowchart showing the procedure of the inspection support method.

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。 Hereinafter, embodiments for carrying out the present disclosure will be described in detail together with drawings. The present disclosure is not limited by the following embodiments.

（点検支援装置の構成と動作について）
図１は、点検の作業を支援する点検支援装置の構成を示す図である。点検支援装置１は、撮像部１１と、第１処理部１２と、第２処理部１３と、第３処理部１４と、表示処理部１５を備える。点検支援装置１は、例えば、タブレット端末、スマートフォン、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で構成されている。 (About the configuration and operation of the inspection support device)
FIG. 1 is a diagram showing a configuration of an inspection support device that supports inspection work. The inspection support device 1 includes an image pickup unit 11, a first processing unit 12, a second processing unit 13, a third processing unit 14, and a display processing unit 15. The inspection support device 1 is composed of, for example, a tablet terminal, a smartphone, a notebook PC (Personal Computer), or the like.

撮像部１１は、ユーザ操作に応じて特定箇所の画像を生成する。撮像部１１は、例えば、被写体を撮像し、画像を生成するカメラ機能を有している。具体的には、撮像部１１は、レンズユニットと、撮像素子と、信号処理部とから構成される。レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。撮像素子は、レンズユニットが結像した被写体像を受光して電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等で構成されている。信号処理部は、撮像素子からの電気信号に対して信号処理（例えばＡ／Ｄ変換等）を行って画像を生成する。 The image pickup unit 11 generates an image of a specific location according to a user operation. The image pickup unit 11 has, for example, a camera function of capturing a subject and generating an image. Specifically, the image pickup unit 11 includes a lens unit, an image pickup element, and a signal processing unit. The lens unit captures a subject image and forms an image on the image pickup surface of the image pickup element. The image pickup device is composed of a CCD (Charge Coupled Device) or CMOS (Complementary Metal Oxide Semiconductor) or the like that receives a subject image formed by the lens unit and converts it into an electric signal. The signal processing unit performs signal processing (for example, A / D conversion, etc.) on the electric signal from the image pickup device to generate an image.

第１処理部１２は、撮像部１１が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、第１画像と異なる位置から撮像された第２画像との特徴点を抽出する。点検対象物とは、コンクリートで製造されている電柱などの道路附属物や、建物などの壁面などである。なお、点検対象部は、コンクリートに限定されず、ゴムなどでもよい。本実施例では、主な点検対象物として電柱を一例に説明するが、点検対象物は電柱に限定されない。損傷箇所とは、電柱の表面に生じているひび割れなどである。 The first processing unit 12 features a first image generated by the imaging unit 11 including a damaged portion of the inspection object and a second image including the damaged portion and captured from a position different from the first image. To extract. The objects to be inspected are road attachments such as utility poles made of concrete and wall surfaces such as buildings. The inspection target portion is not limited to concrete, but may be rubber or the like. In this embodiment, a utility pole will be described as an example as a main inspection target, but the inspection target is not limited to the utility pole. The damaged part is a crack or the like generated on the surface of the utility pole.

ここで、第１画像と第２画像について説明する。図２は、第１画像および第２画像を生成するときの様子を模式的に示す図である。点検者は、点検対象物である電柱Ａの損傷箇所Ｂを発見した場合、点検支援装置１により画像を撮像する。 Here, the first image and the second image will be described. FIG. 2 is a diagram schematically showing a state when a first image and a second image are generated. When the inspector finds the damaged portion B of the utility pole A, which is the inspection target, the inspector captures an image by the inspection support device 1.

点検者は、損傷箇所Ｂであるひび割れが生じている方向に対して撮像部１１（点検支援装置１）を垂直方向に移動して、明度が異なる画像を少なくとも２枚撮影する。撮影枚数は２枚でもよいし、多数撮影した中から明度の異なる２枚を選んでもよい。また、動画撮影をして得られた動画から適当なフレームから２つを選択してもよい。 The inspector moves the image pickup unit 11 (inspection support device 1) in the vertical direction with respect to the direction in which the crack is generated, which is the damaged portion B, and takes at least two images having different brightness. The number of shots may be two, or two shots with different brightness may be selected from a large number of shots. Further, two may be selected from appropriate frames from the moving image obtained by shooting the moving image.

例えば、点検者は、損傷箇所Ｂが画像の所定部分（例えば画像の中心付近）に位置するように撮像部１１により撮像する。このときに撮像部１１により生成された画像を第１画像Ｐ１１とする。図２に示す例では、損傷箇所Ｂは、図２中のＸ方向に対して略垂直な方向に伸びている。点検者は、損傷箇所Ｂの長手方向に対して垂直な方向（図２中のＸ方向）に撮像部１１（点検支援装置１）を移動し、損傷箇所Ｂが画像に含まれるように撮像部１１により撮像する。このときに撮像部１１により生成された画像を第２画像Ｐ２１とする。なお、点検者は、撮像部１１（点検支援装置１）を電柱Ａに近づけたり遠ざけたりせずに、電柱Ａとの距離を一定に保ちながら、ひび割れに対して垂直方向にゆっくりと移動させて撮像することが好ましい。 For example, the inspector takes an image with the image pickup unit 11 so that the damaged portion B is located at a predetermined portion of the image (for example, near the center of the image). The image generated by the image pickup unit 11 at this time is referred to as the first image P11. In the example shown in FIG. 2, the damaged portion B extends in a direction substantially perpendicular to the X direction in FIG. The inspector moves the imaging unit 11 (inspection support device 1) in a direction perpendicular to the longitudinal direction of the damaged portion B (X direction in FIG. 2) so that the damaged portion B is included in the image. Image is taken by 11. The image generated by the image pickup unit 11 at this time is referred to as the second image P21. The inspector slowly moves the image pickup unit 11 (inspection support device 1) in the direction perpendicular to the crack while keeping the distance from the utility pole A constant without moving the image pickup unit 11 (inspection support device 1) toward or away from the utility pole A. It is preferable to take an image.

図２に示すように、第１画像Ｐ１１に含まれている損傷箇所Ｂ１の明度と、第２画像Ｐ２１に含まれている損傷箇所Ｂ２の明度は異なっている。一方、第１画像Ｐ１１に含まれている損傷箇所Ｂ１以外の箇所の明度と、第２画像Ｐ２１に含まれている損傷箇所Ｂ２以外の箇所の明度はほぼ同じである。これは、損傷箇所Ｂは、表面から内部に向かってひび割れが生じているので、例えば、ひび割れの真上から撮像した場合と、このひび割れを斜め上方から撮像した場合（ひび割れが生じている方向に対して垂直方向に移動させて撮像した場合）とで、損傷箇所Ｂ１から撮像部１１の方向に反射される光量が異なることによる。一方、損傷箇所Ｂが生じていない箇所は、異なるアングルから撮影しても明度の変化はほとんどないと言える。 As shown in FIG. 2, the brightness of the damaged portion B1 included in the first image P11 and the brightness of the damaged portion B2 included in the second image P21 are different. On the other hand, the brightness of the portion other than the damaged portion B1 included in the first image P11 and the brightness of the portion other than the damaged portion B2 included in the second image P21 are substantially the same. This is because the damaged portion B has cracks from the surface to the inside. For example, when the image is taken from directly above the crack and when the crack is imaged from diagonally above (in the direction in which the crack is generated). This is because the amount of light reflected from the damaged portion B1 in the direction of the image pickup unit 11 is different between the case where the image is taken by moving the image in the vertical direction. On the other hand, it can be said that there is almost no change in the brightness of the portion where the damaged portion B does not occur even if the images are taken from different angles.

また、第１処理部１２は、第１画像および第２画像を解析し、特徴点を抽出する。第１処理部１２は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの手法を利用して、各画像の明度や色彩の変化が生じているエッジや、エッジが交わるコーナー等の特徴的な部位を特徴点として抽出する。 In addition, the first processing unit 12 analyzes the first image and the second image, and extracts feature points. The first processing unit 12 uses, for example, a technique such as SIFT (Scale Invariant Features Transfer) or SURF (Speeded-Up Robust Features) to generate edges or edges where the brightness or color of each image is changed. Characteristic parts such as intersecting corners are extracted as feature points.

図２には、第１処理部１２により第１画像Ｐ１１から複数の特徴点ａ＿１～ａ＿ｎを抽出した画像を第１画像Ｐ１２として示している。複数の特徴点ａ＿１～ａ＿ｎは、損傷箇所Ｂ１の周囲に集中している。また、図２には、第１処理部１２により第２画像Ｐ２１から複数の特徴点ａ＿１′～ａ＿ｎ′を抽出した画像を第２画像Ｐ２２として示している。複数の特徴点ａ＿１′～ａ＿ｎ′は、損傷箇所Ｂの周囲に集中している。 FIG. 2 shows an image obtained by extracting a plurality of feature points a_1 to a_n from the first image P11 by the first processing unit 12 as the first image P12. The plurality of feature points a_1 to a_n are concentrated around the damaged portion B1. Further, FIG. 2 shows an image obtained by extracting a plurality of feature points a_1'to a_n' from the second image P21 by the first processing unit 12 as the second image P22. The plurality of feature points a_1'to a_n' are concentrated around the damaged portion B.

第２処理部１３は、第１画像の特徴点と第２画像の特徴点とに対応付けて、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する。図３は、第２処理部１３により第１画像Ｐ１２と第２画像Ｐ２２の特徴点同士を対応付ける処理についての説明に供する図である。 The second processing unit 13 calculates the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. FIG. 3 is a diagram for explaining a process of associating the feature points of the first image P12 and the second image P22 with each other by the second processing unit 13.

例えば、第２処理部１３は、第１画像Ｐ１２の特徴点と第２画像Ｐ２２の特徴点とをマッチング処理により特徴点同士を対応付け、この対応付けの結果から、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する。具体的には、第２処理部１３は、マッチング処理により第１画像Ｐ１２の特徴点ａ＿１と第２画像Ｐ２２の特徴点ａ＿１′とを対応付ける処理を行う。そして、第２処理部１３は、対応付けた第１画像Ｐ１２の特徴点ａ＿１と第２画像Ｐ２２の特徴点ａ＿１′とが何画素（何ピクセル）ずれているかを算出する。なお、第２処理部１３は、マッチング処理によりすべての特徴点同士を対応付け、この対応付けた結果から、すべての特徴点同士が何画素（何ピクセル）ずれているかを算出する。 For example, the second processing unit 13 associates the feature points of the first image P12 with the feature points of the second image P22 by matching processing, and from the result of this mapping, the feature points of the first image are combined with each other. The deviation on the image from the feature point of the second image is calculated. Specifically, the second processing unit 13 performs a process of associating the feature point a_1 of the first image P12 with the feature point a_1 of the second image P22 by the matching process. Then, the second processing unit 13 calculates how many pixels (how many pixels) the feature point a_1 of the associated first image P12 and the feature point a_1 ′ of the second image P22 are deviated from each other. The second processing unit 13 associates all the feature points with each other by the matching process, and calculates how many pixels (how many pixels) the all feature points are displaced from each other from the result of the association.

第３処理部１４は、第２処理部１３により算出されたずれに基づいて、第１画像の特徴点と、当該特徴点に対応する第２画像の特徴点とが、表示部１６において互いに対応して表示されるように、第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う。 In the third processing unit 14, the feature points of the first image and the feature points of the second image corresponding to the feature points correspond to each other in the display unit 16 based on the deviation calculated by the second processing unit 13. The process of changing the coordinate position of at least one of the first image and the second image is performed.

図４は、第３処理部１４により画像の座標位置を変更処理した後の様子を模式的に示す図である。なお、図４では、第２画像の座標位置を変更する例を示しているが、第１画像の座標位置を変更してもよい。また、図４に示す第２画像Ｐ２２は、下方向に座標位置を変更したため、変更した量だけ画像の上部分に黒い縁が表れるが、黒い縁を残してもよいし、近くの部分の画素をコピーしてもよい。 FIG. 4 is a diagram schematically showing a state after the coordinate position of the image is changed by the third processing unit 14. Although FIG. 4 shows an example of changing the coordinate position of the second image, the coordinate position of the first image may be changed. Further, in the second image P22 shown in FIG. 4, since the coordinate position is changed downward, a black edge appears in the upper part of the image by the changed amount, but the black edge may be left or the pixel in the nearby part may be left. May be copied.

表示処理部１５は、第３処理部１４により処理された結果を表示部１６に表示する処理を行う。図５は、表示部１６に第１画像Ｐ１２と第２画像Ｐ２２とが表示されている様子を模式的に示す図である。第１画像Ｐ１２と第２画像Ｐ２２とは、同じ座標位置に明度が異なる損傷箇所Ｂ１，Ｂ２が示されている。 The display processing unit 15 performs a process of displaying the result processed by the third processing unit 14 on the display unit 16. FIG. 5 is a diagram schematically showing how the first image P12 and the second image P22 are displayed on the display unit 16. The first image P12 and the second image P22 show damaged portions B1 and B2 having different brightness at the same coordinate position.

また、点検支援装置１は、第３処理部１４で処理した第１画像および第２画像を損傷記録表Ｃに添付して、点検の依頼主に送付してもよい。 Further, the inspection support device 1 may attach the first image and the second image processed by the third processing unit 14 to the damage record table C and send them to the inspection requester.

図６は、損傷記録票Ｃの一例を模式的に示す図である。損傷記録票Ｃには、例えば、図６に示すように、部材名称、部材全体としての損傷程度の評価結果、及び当該部材の措置内容等の情報と、当該部材に対して割り当てられた複数の点検箇所を撮影した撮影画像とが含まれている。 FIG. 6 is a diagram schematically showing an example of the damage record sheet C. On the damage record sheet C, for example, as shown in FIG. 6, information such as the member name, the evaluation result of the degree of damage of the member as a whole, the measures taken by the member, and a plurality of assigned to the member. Includes captured images of inspection points.

このようにして、点検支援装置１は、点検対象物に生じている損傷箇所を撮像する際に、撮像部１１に対するライト位置を変更して撮像する必要がなく、太陽光による影響が低減されるため、点検を行う時間帯に制限が生じることがなく、また、損傷箇所のみ明度が異なる２つの撮像画像を生成するので、撮像画像から点検対象物の損傷状態を視認させることができる。 In this way, the inspection support device 1 does not need to change the light position with respect to the image pickup unit 11 to take an image of the damaged part occurring in the inspection object, and the influence of sunlight is reduced. Therefore, there is no limitation on the inspection time zone, and two captured images having different brightness only at the damaged portion are generated, so that the damaged state of the inspection target can be visually recognized from the captured image.

（第１処理部の動作について）
第１処理部１２は、撮像部１１により３つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を第１画像とし、他方を第２画像とする構成でもよい。 (About the operation of the first processing unit)
When the image pickup unit 11 generates three or more images, the first processing unit 12 selects two images having a difference in brightness of a certain degree or more, one of which is the first image and the other of which is the second image. It may be configured.

図７は、損傷箇所Ｂの長手方向に対する垂直方向において異なる位置から損傷箇所Ｂを撮影し、撮像部１１により生成された複数の画像を示す図である。画像Ｐ３１には、損傷箇所Ｂ３１が含まれている。画像Ｐ３２には、損傷箇所Ｂ３２が含まれている。画像Ｐ３３には、損傷箇所Ｂ３３が含まれている。画像Ｐ３４には、損傷箇所Ｂ３４が含まれている。なお、図７では、４つの画像が生成された例を示しているが、３つ以上であればよい。 FIG. 7 is a diagram showing a plurality of images generated by the image pickup unit 11 by photographing the damaged portion B from different positions in the direction perpendicular to the longitudinal direction of the damaged portion B. Image P31 includes the damaged portion B31. The image P32 includes the damaged portion B32. The image P33 includes the damaged portion B33. Image P34 includes the damaged portion B34. Note that FIG. 7 shows an example in which four images are generated, but it may be three or more.

例えば、点検者は、損傷箇所Ｂの長手方向に対して垂直方向に撮像部１１（点検支援装置１）を移動しながら、損傷箇所Ｂが画像に含まれるように撮像する。また、撮像部１１の連写機能を利用して複数の画像を撮像してもよいし、撮像部１１の動画撮影機能を利用し、得られた動画から複数のフレーム（画像）を抽出してもよい。 For example, the inspector moves the image pickup unit 11 (inspection support device 1) in the direction perpendicular to the longitudinal direction of the damaged portion B, and takes an image so that the damaged portion B is included in the image. Further, a plurality of images may be captured by using the continuous shooting function of the imaging unit 11, or a plurality of frames (images) may be extracted from the obtained moving image by using the moving image shooting function of the imaging unit 11. May be good.

また、損傷箇所の明度は、低い順に、損傷箇所Ｂ３１、損傷箇所Ｂ３２、損傷箇所Ｂ３３、損傷箇所Ｂ３４である。第１処理部１２は、損傷箇所Ｂ３１が含まれる画像Ｐ３１を第１画像とし、損傷箇所Ｂ３４が含まれる画像Ｐ３４を第２画像とすることができる。 The brightness of the damaged portion is, in ascending order, the damaged portion B31, the damaged portion B32, the damaged portion B33, and the damaged portion B34. The first processing unit 12 can use the image P31 including the damaged portion B31 as the first image and the image P34 including the damaged portion B34 as the second image.

このようにして、複数の明度の異なる画像を生成することで、複数の画像の明度に基づいて、適切な画像を第１画像と第２画像として選択することができる。 By generating a plurality of images having different brightnesses in this way, an appropriate image can be selected as the first image and the second image based on the brightnesses of the plurality of images.

また、第１処理部１２は、明度の異なる複数の撮像画像を合成して第１画像と第２画像を生成するようにしてもよい。より具体的には、例えば、図７に示すように損傷箇所Ｂ３１、損傷箇所Ｂ３２、損傷箇所Ｂ３３、損傷箇所Ｂ３４の画像がある場合、第１処理部１２は、各画像の同じ位置に対応する画素のうち、所定の条件（例えば、最も明度が低い、または明度が所定の値以下）を満たす画素を抽出し、各画像のそれぞれの位置で同様に抽出した画素を配列して第１画像を生成するとともに、各画像の同じ位置に対応する画素のうち、他の所定の条件（例えば、最も明度が高い、または明度が所定の値以上）を満たす画素を抽出し、各画像のそれぞれの位置で同様に抽出した画素を配列して第２画像を生成するようにしてもよい。画素単位でなく、各撮像画像を複数の領域に同様に分割し、当該領域の参照値（例えば、当該領域における明度の平均値、代表値等）が所定の条件を見たす領域をそれぞれ合成して第１画像と第２画像を生成するようにしてもよい。このようにして、複数の撮像画像を合成して、互いに明度の異なる第１画像と第２画像を生成することができる。 Further, the first processing unit 12 may combine a plurality of captured images having different brightness to generate a first image and a second image. More specifically, for example, when there are images of the damaged portion B31, the damaged portion B32, the damaged portion B33, and the damaged portion B34 as shown in FIG. 7, the first processing unit 12 corresponds to the same position of each image. Among the pixels, pixels satisfying a predetermined condition (for example, the lowest brightness or the brightness is equal to or less than a predetermined value) are extracted, and the similarly extracted pixels are arranged at each position of each image to obtain the first image. At the same time as generating, among the pixels corresponding to the same position of each image, the pixels satisfying other predetermined conditions (for example, the highest brightness or the brightness of a predetermined value or more) are extracted, and each position of each image is generated. The pixels extracted in the same manner may be arranged to generate a second image. Each captured image is divided into a plurality of regions in the same manner, not in pixel units, and regions in which the reference value of the region (for example, the average value of brightness in the region, the representative value, etc.) meets a predetermined condition are combined. Then, the first image and the second image may be generated. In this way, a plurality of captured images can be combined to generate a first image and a second image having different brightnesses from each other.

なお、上述したように複数の撮像画像を合成して互いに明度の異なる第１画像と第２画像を生成する場合、当該複数の撮像画像に対し、第１処理部１２、第２処理部１３、第３処理部１４を利用した処理により、互いの撮像画像の撮影位置を補正した上で合成し、互いに明度の異なる第１画像と第２画像を生成するようにしてもよい。 When a plurality of captured images are combined to generate a first image and a second image having different brightness as described above, the first processing unit 12, the second processing unit 13, and the like are used for the plurality of captured images. By the processing using the third processing unit 14, the imaging positions of the captured images may be corrected and then combined to generate the first image and the second image having different brightness.

（第３処理部の動作について）
また、第３処理部１４は、第１画像と、各画素の座標位置を変更した第２画像とに基づいて、各画素における、第１画像と、各画素の座標位置を変更した第２画像との明度の差を示す明度差画像を生成する構成でもよい。 (About the operation of the 3rd processing unit)
Further, the third processing unit 14 bases the first image and the second image in which the coordinate position of each pixel is changed, and the first image in each pixel and the second image in which the coordinate position of each pixel is changed. It may be configured to generate a brightness difference image showing the difference in brightness from the above.

図８は、明度差画像Ｐ３の一例を模式的に示す図である。明度差画像Ｐ３は、明度差が大きいほど白色（黒色でもよい）になる。このようにして、点検支援装置１は、明度差が最も大きい損傷箇所を明度差画像により明確に示すことができる。 FIG. 8 is a diagram schematically showing an example of the brightness difference image P3. The brightness difference image P3 becomes whiter (or black) as the brightness difference increases. In this way, the inspection support device 1 can clearly show the damaged part having the largest difference in brightness by the image of the difference in brightness.

（表示処理部の第１の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とを所定のタイミング（例えば、２００ｍｓｅｃごと）で順次切り替えて表示されるように処理を行う構成でもよい。 (About the first operation of the display processing unit)
The display processing unit 15 may be configured to sequentially switch and display the first image and the second image in which the coordinate position of each pixel is changed at predetermined timings (for example, every 200 msec).

図９は、第１画像Ｐ１２と第２画像Ｐ２２とが時間軸上に繰り返し並んでいる様子を模式的に示す図である。表示処理部１５は、例えば、第１画像と第２画像を実際に切り替えて表示してもよいし、アニメーションＧＩＦ（登録商標）やＭＰＥＧ４（登録商標）などにより繰り返し再生を実現してもよい。 FIG. 9 is a diagram schematically showing how the first image P12 and the second image P22 are repeatedly arranged on the time axis. For example, the display processing unit 15 may actually switch between the first image and the second image for display, or may realize repeated reproduction by animation GIF (registered trademark), MPEG4 (registered trademark), or the like.

このようにして、点検支援装置１は、第１画像と第２画像とをパラパラ漫画のように順次切り替えて表示するので、損傷箇所をより明確に示すことができる。 In this way, the inspection support device 1 sequentially switches between the first image and the second image like a flip book and displays them, so that the damaged portion can be shown more clearly.

（表示処理部の第２の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とが表示部１６においてに並列して表示されるように処理を行う構成でもよい。 (About the second operation of the display processing unit)
The display processing unit 15 may be configured to perform processing so that the first image and the second image whose coordinate position of each pixel is changed are displayed in parallel on the display unit 16.

図１０は、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６に表示される例を模式的に示す図である。図１０（ａ）は、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において左右に配置される例を示している。図１０（ｂ）は、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において上下に配置される例を示している。 FIG. 10 is a diagram schematically showing an example in which the first image P12 and the second image P22 are displayed on the display unit 16. FIG. 10A shows an example in which the first image P12 and the second image P22 are arranged on the left and right sides of the display unit 16. FIG. 10B shows an example in which the first image P12 and the second image P22 are arranged vertically on the display unit 16.

表示処理部１５は、水平方向が垂直方向よりも長くなるように表示部１６が配置（横長配置）された場合には、図１０（ａ）に示すように、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において左右に配置し、垂直方向が水平方向よりも長くなるように表示部１６が配置（縦長配置）された場合には、図１０（ｂ）に示すように、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において上下に配置する。 When the display unit 16 is arranged (horizontally long) so that the horizontal direction is longer than the vertical direction, the display processing unit 15 has the first image P12 and the second image as shown in FIG. 10A. When P22 and P22 are arranged on the left and right sides of the display unit 16 and the display unit 16 is arranged (vertically long arrangement) so that the vertical direction is longer than the horizontal direction, the first display unit 16 is as shown in FIG. 10 (b). The image P12 and the second image P22 are arranged vertically on the display unit 16.

このようにして、点検支援装置１は、表示部１６の向きに応じて、損傷箇所のみ明度が異なる２つの撮像画像を表示するので、損傷箇所の把握を容易に行わせることができる。 In this way, the inspection support device 1 displays two captured images having different brightness only at the damaged portion according to the orientation of the display unit 16, so that the damaged portion can be easily grasped.

また、第２処理部１３により算出したずれに基づいて、撮像部１１と損傷箇所との間の距離を算出し、第３処理部１４により第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う際に、当該距離に応じた画素の横ずれを生じさせる処理を行ってもよい。このような構成によれば、３次元的な立体感を生じさせることができ、現場での目視に近い感覚を再現することができる。また、縦方向に撮像部１１を移動させて撮像した場合であっても、横ずれを生じさせる処理を行うことにより、立体感を生じさせることができ、ステレオカメラでは実現が困難な効果を奏することができる。 Further, the distance between the image pickup unit 11 and the damaged portion is calculated based on the deviation calculated by the second processing unit 13, and the third processing unit 14 calculates the distance between at least one of the first image and the second image. When performing the process of changing the coordinate position, the process of causing lateral displacement of the pixel according to the distance may be performed. With such a configuration, it is possible to generate a three-dimensional three-dimensional effect, and it is possible to reproduce a sensation close to visual observation in the field. Further, even when the image pickup unit 11 is moved in the vertical direction to take an image, a stereoscopic effect can be produced by performing a process of causing lateral displacement, which is difficult to realize with a stereo camera. Can be done.

（表示処理部の第３の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とが表示部１６に表示されたときに、裸眼立体視されるように処理を行う構成でもよい。裸眼立体視されるような処理とは、二次元である第１画像と第２画像とを裸眼で観察したときに、三次元的に見える（立体視できる）ように、第１画像と第２画像に対して行う処理である。 (About the third operation of the display processing unit)
The display processing unit 15 may be configured to perform processing so that when the first image and the second image whose coordinate position of each pixel is changed are displayed on the display unit 16, they are viewed stereoscopically with the naked eye. The processing for stereoscopic viewing with the naked eye is the first image and the second image so that when the first image and the second image, which are two-dimensional, are observed three-dimensionally (stereoscopic viewing is possible). This is a process performed on an image.

例えば、カメラを所定距離（例えば、６．５ｃｍ）ずらして２枚の画像を生成することにより、裸眼立体視可能な画像（ステレオグラム）を生成することができる。 For example, by shifting the camera by a predetermined distance (for example, 6.5 cm) to generate two images, it is possible to generate an image (stereogram) that can be viewed stereoscopically with the naked eye.

よって、表示処理部１５は、例えば、第２画像Ｐ２２に対して、撮像部１１を右方向に所定距離（例えば、６．５ｃｍ）ずらした場合に相当する画像処理（左方向に所定の画素数移動する処理）を行う。図１１は、表示処理部１５によりステレオグラムを生成する手順についての説明に供する図である。 Therefore, the display processing unit 15 performs image processing (predetermined number of pixels in the left direction) corresponding to the case where the image pickup unit 11 is shifted to the right by a predetermined distance (for example, 6.5 cm) with respect to the second image P22, for example. Process to move). FIG. 11 is a diagram for explaining a procedure for generating a stereogram by the display processing unit 15.

このようにして、点検支援装置１は、表示処理部１５により裸眼立体視されるように処理を行うので、表示部１６に表示される画像を裸眼立体視させることができ、損傷箇所の把握を容易に行わせることができる。 In this way, the inspection support device 1 performs processing so that the display processing unit 15 can stereoscopically view the image with the naked eye, so that the image displayed on the display unit 16 can be stereoscopically viewed with the naked eye, and the damaged portion can be grasped. It can be done easily.

（表示処理部の第４の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を表示部１６に表示する構成でもよい。 (About the fourth operation of the display processing unit)
The display processing unit 15 may be configured to generate an anaglyph image based on the first image and the second image in which the coordinate position of each pixel is changed, and display the anaglyph image on the display unit 16.

本実施例では、撮像部１１により損傷箇所を真正面から見て少し左側から撮像して生成した画像を第１画像とし、当該損傷箇所を真正面から見て少し右側から撮像して生成した画像を第２画像とする。 In this embodiment, the image generated by capturing the damaged portion from the left side when viewed from the front by the imaging unit 11 is used as the first image, and the image generated by capturing the damaged portion from the right side when viewed from the front is the first image. 2 images.

図１２は、アナグリフ画像を生成する手順についての説明に供する図である。表示処理部１５は、例えば、第１画像Ｐ１２が赤色成分から構成されるように画像処理を行い、第１画像Ｐ１３を生成し、また、第２画像Ｐ２２が青色成分から構成されるように画像処理を行い、第２画像Ｐ２３を生成する。表示処理部１５は、第１画像Ｐ１３と第２画像Ｐ２３とを合成して、アナグリフ画像Ｐ４を生成する。 FIG. 12 is a diagram for explaining a procedure for generating an anaglyph image. For example, the display processing unit 15 performs image processing so that the first image P12 is composed of a red component to generate a first image P13, and an image so that the second image P22 is composed of a blue component. Processing is performed to generate the second image P23. The display processing unit 15 synthesizes the first image P13 and the second image P23 to generate an anaglyph image P4.

表示処理部１５は、アナグリフ画像Ｐ４を表示部１６に表示する。アナグリフ用メガネ（左目が赤色フィルタで構成され、右目が青色フィルタで構成されるメガネ）を掛けると、損傷箇所を立体的に見ることができる。 The display processing unit 15 displays the anaglyph image P4 on the display unit 16. If you wear anaglyph glasses (glasses with a red filter for the left eye and a blue filter for the right eye), you can see the damaged part in three dimensions.

このようにして、点検支援装置１は、表示部１６にアナグリフ画像を表示するので、アナグリフ用メガネを利用することにより、損傷箇所を立体的に見せることができ、二つの画像を平行視または交差視させる場合に比べて、観察者への負担が少なく、損傷箇所の把握をより容易に行わせることができる。 In this way, the inspection support device 1 displays the anaglyph image on the display unit 16, so that the damaged part can be shown three-dimensionally by using the anaglyph glasses, and the two images are viewed in parallel or intersect. Compared to the case of visual inspection, the burden on the observer is small, and the damaged part can be easily grasped.

（表示部の動作について）
表示部１６は、ヘッドマウントディスプレイで構成されてもよい。この構成の場合、表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とをヘッドマウントディスプレイに表示するように処理する。 (About the operation of the display)
The display unit 16 may be composed of a head-mounted display. In the case of this configuration, the display processing unit 15 processes the first image and the second image whose coordinate position of each pixel is changed so as to be displayed on the head-mounted display.

図１３は、ヘッドマウントディスプレイ（ＨＭＤ）が頭部に装着されている様子を示す図である。ヘッドマウントディスプレイとは、頭部に装着するディスプレイ装置のことである。ヘッドマウントディスプレイは、表示された画像を２次元（２Ｄ）または３次元（３Ｄ）に表示することができる。表示処理部１５は、第１画像と第２画像を２次元（２Ｄ）または３次元（３Ｄ）でヘッドマウントディスプレイに表示するように処理する。 FIG. 13 is a diagram showing a state in which a head-mounted display (HMD) is attached to the head. A head-mounted display is a display device worn on the head. The head-mounted display can display the displayed image in two dimensions (2D) or three dimensions (3D). The display processing unit 15 processes the first image and the second image so as to be displayed on the head-mounted display in two dimensions (2D) or three dimensions (3D).

このようにして、点検支援装置１は、ヘッドマウントディスプレイに第１画像と第２画像とを表示することにより、二つの画像を平行視または交差視させる場合に比べて、観察者への負担が少なく、損傷箇所の把握をより容易に行わせることができる。 In this way, the inspection support device 1 displays the first image and the second image on the head-mounted display, which imposes a burden on the observer as compared with the case where the two images are viewed in parallel or cross-viewed. The number is small, and it is possible to more easily grasp the damaged part.

（損傷箇所の深さ方向の特定について）
点検支援装置１は、図１に示すように、第１画像に含まれている損傷箇所の明度と、各画素の座標位置を変更した第２画像に含まれている損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第１特定部１７を備える構成でもよい。 (About specifying the depth direction of the damaged part)
As shown in FIG. 1, the inspection support device 1 has a difference between the brightness of the damaged part included in the first image and the brightness of the damaged part included in the second image in which the coordinate position of each pixel is changed. , And based on the difference in brightness, the configuration may include a first specifying unit 17 that specifies the depth direction of the damaged portion.

図１４は、損傷箇所の深さ方向を特定する手順についての説明に供する図である。図１４では、電柱Ａの断面を示している。また、図１４中のＸ１は、損傷箇所Ｂの深さ方向を示している。例えば、Ｘは、電柱Ａの表面Ｓに対する角度θで示すことができる。ここで、光源（例えば、太陽）からの光が表面Ｓに対して垂直に照射されているものとする。また、撮像は、電柱Ａの表面Ｓから所定距離Ｔの位置から行うものとする。 FIG. 14 is a diagram for explaining a procedure for specifying the depth direction of the damaged portion. FIG. 14 shows a cross section of the utility pole A. Further, X1 in FIG. 14 indicates the depth direction of the damaged portion B. For example, X can be represented by an angle θ with respect to the surface S of the utility pole A. Here, it is assumed that the light from the light source (for example, the sun) is irradiated perpendicular to the surface S. Further, the imaging shall be performed from a position at a predetermined distance T from the surface S of the utility pole A.

損傷箇所Ｂの真上付近から撮像（図１４中のＤ１の位置から撮像）して、生成された画像を画像Ｐ５１とする。また、損傷箇所Ｂが表面Ｓ上に生じている方向に対して垂直方向に撮像部１１を移動させて、損傷箇所Ｂを含むように撮像（図１４中のＤ２の位置から撮像）して、生成された画像を画像Ｐ５２とする。画像Ｐ５１に含まれている損傷箇所Ｂ１の明度と、画像Ｐ５２に含まれている損傷箇所Ｂ２の明度とに差が生じている。 An image is taken from the vicinity directly above the damaged portion B (taken from the position of D1 in FIG. 14), and the generated image is referred to as an image P51. Further, the image pickup unit 11 is moved in a direction perpendicular to the direction in which the damaged portion B is generated on the surface S, and an image is taken so as to include the damaged portion B (imaging from the position of D2 in FIG. 14). The generated image is referred to as an image P52. There is a difference between the brightness of the damaged portion B1 included in the image P51 and the brightness of the damaged portion B2 included in the image P52.

図１５は、明度差に対する深さ方向が規定されている第１テーブルＴ１の一例を模式的に示す図である。なお、明度差と深さ方向の対応は、一例であって、第１テーブルＴ１に限定されない。明度差は、例えば、階調値の差を示している。例えば、画像Ｐ５１に含まれている損傷箇所Ｂ１の明度が「２０」であり、画像Ｐ５２に含まれている損傷箇所Ｂ２の明度が「３０」の場合には、明度差は「１０」である。 FIG. 15 is a diagram schematically showing an example of the first table T1 in which the depth direction with respect to the difference in brightness is defined. The correspondence between the difference in brightness and the depth direction is an example and is not limited to the first table T1. The difference in brightness indicates, for example, the difference in gradation values. For example, when the brightness of the damaged portion B1 included in the image P51 is "20" and the brightness of the damaged portion B2 included in the image P52 is "30", the brightness difference is "10". ..

第１特定部１７は、第１テーブルＴ１を参照して、損傷箇所の明度の差分に対応する損傷箇所の深さ方向を特定する。なお、第１特定部１７は、第１テーブルＴ１ではなく、所定の関数を利用して、損傷箇所の明度の差分に対応する損傷箇所の深さ方向を算出してもよい。 The first specifying unit 17 specifies the depth direction of the damaged portion corresponding to the difference in the brightness of the damaged portion with reference to the first table T1. The first specific unit 17 may calculate the depth direction of the damaged portion corresponding to the difference in the brightness of the damaged portion by using a predetermined function instead of the first table T1.

また、本実施例では、２つの画像に含まれている損傷箇所の明度差に基づいて、損傷箇所の深さ方向を特定したが、撮像位置の異なる３つ以上の画像に含まれる損傷箇所の明度差に基づいて、損傷箇所の深さ方向を特定してもよい。 Further, in this embodiment, the depth direction of the damaged part is specified based on the difference in brightness of the damaged part included in the two images, but the damaged part included in three or more images having different imaging positions. The depth direction of the damaged part may be specified based on the difference in brightness.

このようにして、点検支援装置１は、第１特定部１７により損傷箇所の深さ方向を特定（推定）するので、点検対象物に補修が必要なのかどうかの判断などに役立てることができる。 In this way, since the inspection support device 1 specifies (estimates) the depth direction of the damaged portion by the first specific unit 17, it can be useful for determining whether or not the inspection target needs repair.

点検支援装置１は、図１に示すように、センサ１８と、第１記憶部１９とを備える構成でもよい。 As shown in FIG. 1, the inspection support device 1 may be configured to include a sensor 18 and a first storage unit 19.

センサ１８は、鉛直方向を検出する。センサ１８は、例えば、加速度センサ、ジャイロセンサ、または地磁気センサなどにより構成される。 The sensor 18 detects the vertical direction. The sensor 18 is composed of, for example, an acceleration sensor, a gyro sensor, a geomagnetic sensor, or the like.

第１記憶部１９は、撮像部１１により点検対象物を撮像するときにセンサ１８の検出結果を取得し、当該センサ１８の検出結果と第１画像および第２画像とを関連付けて保存する。 The first storage unit 19 acquires the detection result of the sensor 18 when the image pickup unit 11 captures an image of the inspection object, and stores the detection result of the sensor 18 in association with the first image and the second image.

点検支援装置１は、センサ１８の検出結果に基づいて、自身の向き（例えば、縦向きや横向きなど）を判定する機能を有している。 The inspection support device 1 has a function of determining its own orientation (for example, portrait orientation, landscape orientation, etc.) based on the detection result of the sensor 18.

ここで、点検者は、損傷箇所の形状などに応じて、適宜、点検支援装置１の向きを変えて撮像を行う。図１６は、第１記憶部１９に保存されている第２テーブルＴ２を模式的に示す図である。第２テーブルＴ２は、各画像に固有に付与される画像ＩＤと、その画像が撮像されたときのセンサ１８の検出結果が関連付けられている。 Here, the inspector appropriately changes the direction of the inspection support device 1 according to the shape of the damaged portion and the like to perform imaging. FIG. 16 is a diagram schematically showing a second table T2 stored in the first storage unit 19. In the second table T2, the image ID uniquely assigned to each image is associated with the detection result of the sensor 18 when the image is captured.

よって、点検支援装置１は、第２テーブルＴ２を参照することにより、画像を撮像したときの点検支援装置１の向きを判定することができ、画像に含まれている損傷箇所の方向を正しく認識することができる。例えば、損傷記録表Ｃ（図６を参照）に画像が９０°回転して張り付けられていた場合、その画像を撮像したときの点検支援装置１の向きが分かるので、その画像に含まれている損傷箇所の方向を正しく認識することができる。 Therefore, the inspection support device 1 can determine the orientation of the inspection support device 1 when the image is captured by referring to the second table T2, and correctly recognizes the direction of the damaged portion included in the image. can do. For example, when the image is attached to the damage record table C (see FIG. 6) by rotating it by 90 °, the orientation of the inspection support device 1 when the image is taken can be known, and the image is included in the image. The direction of the damaged part can be recognized correctly.

（点検支援アプリについて）
点検支援装置１の各構成要素の機能は、アプリケーションプログラム（以下、点検支援アプリと称する）により実現することができる。ここで、点検支援アプリについて説明する。点検支援アプリは、主に以下の工程で構成されており、コンピュータ５００（ハードウェア）によって実行される。 (About the inspection support app)
The function of each component of the inspection support device 1 can be realized by an application program (hereinafter referred to as an inspection support application). Here, the inspection support application will be described. The inspection support application is mainly composed of the following steps and is executed by the computer 500 (hardware).

工程１：ユーザ操作に応じて特定箇所の画像を生成する撮像工程
工程２：撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程
工程３：第１画像の特徴点と第２画像の特徴点とに対応付けて、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する第２処理工程
工程４：第２処理工程により算出されたずれに基づいて、第１画像の特徴点と、当該特徴点に対応する第２画像の特徴点とが、表示部１６において互いに対応して表示されるように、第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程
工程５：第３処理工程により処理された結果を表示部１６に表示する処理を行う表示処理工程 Step 1: Imaging step of generating an image of a specific location according to a user operation Step 2: The first image including the damaged portion of the inspection object generated by the imaging step is different from the first image including the damaged portion. First processing step of extracting the feature points of the second image captured from the position Step 3: The feature points of the first image and the second feature points in association with the feature points of the first image and the feature points of the second image. Second processing step of calculating the deviation on the image from the feature point of the image Step 4: The feature point of the first image and the second image corresponding to the feature point based on the deviation calculated by the second processing step. Third processing step Step 5: First, a process of changing the coordinate position of at least one of the first image and the second image so that the feature points of the above are displayed in correspondence with each other on the display unit 16. 3 Display processing step for displaying the result processed by the processing step on the display unit 16.

ここで、コンピュータ５００の構成と動作について図を用いて説明する。図１７は、コンピュータ５００の構成を示す図である。コンピュータ５００は、図１７に示すように、プロセッサ５０１と、メモリ５０２と、ストレージ５０３と、入出力Ｉ／Ｆ５０４と、通信Ｉ／Ｆ５０５とがバスＢＵＳ上に接続されて構成されており、これらの各構成要素の協働により、本開示に記載される機能、および／または、方法を実現する。 Here, the configuration and operation of the computer 500 will be described with reference to the drawings. FIG. 17 is a diagram showing the configuration of the computer 500. As shown in FIG. 17, the computer 500 is configured by connecting the processor 501, the memory 502, the storage 503, the input / output I / F 504, and the communication I / F 505 on the bus BUS. The collaboration of the components realizes the functions and / or methods described in this disclosure.

入出力Ｉ／Ｆ５０４には、ディスプレイやポインティングデバイス（例えば、マウスやキーボードなど）が接続される。入出力Ｉ／Ｆ５０４に接続されるディスプレイは、表示部１６が相当する。 A display or a pointing device (for example, a mouse or a keyboard) is connected to the input / output I / F 504. The display unit 16 corresponds to the display connected to the input / output I / F 504.

通信Ｉ／Ｆ５０５は、所定の通信規格に準拠したインターフェイスであり、有線または無線によりネットワークを介して、外部装置（例えば、会社のサーバや、点検依頼者の端末装置など）と通信を行う。 The communication I / F 505 is an interface conforming to a predetermined communication standard, and communicates with an external device (for example, a company server, a terminal device of an inspection requester, etc.) via a network by wire or wirelessly.

メモリ５０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。ＲＡＭは、揮発メモリまたは不揮発性メモリで構成されている。 The memory 502 is composed of a RAM (Random Access Memory). RAM is composed of volatile memory or non-volatile memory.

ストレージ５０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成される。ＲＯＭは、不揮発性メモリで構成されており、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により実現される。ストレージ５０３は、第１記憶部１９および第２記憶部が相当する。ストレージ５０３には、上述した工程１～工程６で実現される点検支援アプリなどの各種のプログラムが格納されている。 The storage 503 is composed of a ROM (Read Only Memory). The ROM is composed of a non-volatile memory, and is realized by, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive). The storage 503 corresponds to the first storage unit 19 and the second storage unit. The storage 503 stores various programs such as the inspection support application realized in the above-mentioned steps 1 to 6.

プロセッサ５０１は、コンピュータ５００全体の動作を制御する。プロセッサ５０１は、ストレージ５０３からオペレーティングシステムや多様な機能を実現する様々なプログラムをメモリ５０２にロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。 Processor 501 controls the operation of the entire computer 500. The processor 501 is an arithmetic unit that loads an operating system and various programs that realize various functions from the storage 503 into the memory 502 and executes instructions included in the loaded programs.

具体的には、プロセッサ５０１は、点検者の操作を受け付けた場合、ストレージ５０３に格納されているプログラム（例えば、本実施形態にかかる本発明に係る点検支援アプリ）を読み出し、読み出したアプリをメモリ５０２に展開し、実行する。また、プロセッサ５０１が点検支援プログラムを実行することにより、第１処理部１２と、第２処理部１３と、第３処理部１４と、表示処理部１５と、詳細は後述する、第１特定部１７と、取得部２０と、動作処理部２２と、指示部２３と、第２特定部２４と、判定部２５と、報知部２６の各機能が実現される。 Specifically, when the processor 501 receives the operation of the inspector, the processor 501 reads out the program stored in the storage 503 (for example, the inspection support application according to the present invention according to the present embodiment), and stores the read application in the memory. Expand to 502 and execute. Further, when the processor 501 executes the inspection support program, the first processing unit 12, the second processing unit 13, the third processing unit 14, the display processing unit 15, and the first specific unit, the details of which will be described later, will be described later. The functions of 17, the acquisition unit 20, the operation processing unit 22, the instruction unit 23, the second specific unit 24, the determination unit 25, and the notification unit 26 are realized.

ここで、プロセッサ５０１の構成について説明する。プロセッサ５０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、これら以外の各種演算装置、またはこれらの組み合わせにより実現される。 Here, the configuration of the processor 501 will be described. The processor 501 is realized by, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), various arithmetic units other than these, or a combination thereof.

また、本開示に記載される機能、および／または、方法を実現するために、プロセッサ５０１、メモリ５０２およびストレージ５０３などの機能の一部または全部は、専用のハードウェアである処理回路６０１で構成されてもよい。図１８は、コンピュータ６００の処理回路６０１の構成を示す図である。処理回路６０１は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものである。 Further, in order to realize the functions and / or the methods described in the present disclosure, some or all of the functions such as the processor 501, the memory 502 and the storage 503 are configured by the processing circuit 601 which is the dedicated hardware. May be done. FIG. 18 is a diagram showing the configuration of the processing circuit 601 of the computer 600. The processing circuit 601 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof. Is.

また、プロセッサ５０１は、単一の構成要素として説明したが、これに限られず、複数の物理的に別体のプロセッサの集合により構成されてもよい。本明細書において、プロセッサ５０１によって実行されるとして説明されるプログラムまたは当該プログラムに含まれる命令は、単一のプロセッサ５０１で実行されてもよいし、複数のプロセッサにより分散して実行されてもよい。また、プロセッサ５０１によって実行されるプログラムまたは当該プログラムに含まれる命令は、複数の仮想プロセッサにより実行されてもよい。 Further, the processor 501 has been described as a single component, but the present invention is not limited to this, and the processor 501 may be configured by a set of a plurality of physically separate processors. In the present specification, the program described as being executed by the processor 501 or the instructions contained in the program may be executed by a single processor 501 or may be executed by a plurality of processors in a distributed manner. .. Further, the program executed by the processor 501 or the instructions included in the program may be executed by a plurality of virtual processors.

ここで、点検支援アプリの動作について説明する。図１９は、点検アプリの動作についての説明に供するフローチャートである。なお、本実施にかかる点検支援装置１には、点検支援アプリがインストールされているものとする。図２０は、点検支援装置１の外観を示す図である。図２０（ａ）は、表示部１６が配置されている側から見たときの点検支援装置１の外観を示す図である。図２０（ｂ）は、撮像部１１が配置されている側から見たときの点検支援装置１の外観を示す図である。なお、表示部１６の前面にはタッチパネルが配置されている。点検支援装置１は、表示部１６に表示されているアイコンを点検者が指などでタッチ操作することにより、所定の動作（アイコンに対応するアプリの起動など）を行う機能を有している。 Here, the operation of the inspection support application will be described. FIG. 19 is a flowchart for explaining the operation of the inspection application. It is assumed that the inspection support application is installed in the inspection support device 1 related to this implementation. FIG. 20 is a diagram showing the appearance of the inspection support device 1. FIG. 20A is a diagram showing the appearance of the inspection support device 1 when viewed from the side where the display unit 16 is arranged. FIG. 20B is a diagram showing the appearance of the inspection support device 1 when viewed from the side where the image pickup unit 11 is arranged. A touch panel is arranged on the front surface of the display unit 16. The inspection support device 1 has a function of performing a predetermined operation (starting an application corresponding to the icon, etc.) by the inspector touching the icon displayed on the display unit 16 with a finger or the like.

ステップＳＴ１において、点検支援装置１は、点検者の操作を受け付け、点検支援アプリを起動する。具体的には、点検者は、点検対象物（例えば、電柱）に対する点検を開始するときに、表示部１６に表示されている点検支援アプリを示すアイコンをタッチ操作する。点検支援アプリが起動し、表示部１６には、点検支援アプリのトップ画面が表示される。 In step ST1, the inspection support device 1 accepts the operation of the inspector and activates the inspection support application. Specifically, when the inspector starts an inspection of an object to be inspected (for example, a utility pole), the inspector touch-operates an icon indicating an inspection support application displayed on the display unit 16. The inspection support application is activated, and the top screen of the inspection support application is displayed on the display unit 16.

ステップＳＴ２において、点検支援装置１は、点検者の操作を受け付け撮像部１１により撮像を行う。 In step ST2, the inspection support device 1 receives the operation of the inspector and performs an image pickup by the image pickup unit 11.

図２１は、撮像時に表示部１６に表示される撮像画面Ｇの一例を模式的に示す図である。点検支援装置１は、撮像部１１からの映像をそのまま表示部１６に表示するライブビュー機能を有している。撮像画面Ｇは、ライブビュー機能により撮像部１１から取り込んだ映像を表示する領域Ａ１と、各種の情報が表示される領域Ａ２と、撮像部１１により撮像するボタンＢＴとにより構成される。なお、撮像画面Ｇのレイアウトや含まれる構成要素は、上述に限定されない。 FIG. 21 is a diagram schematically showing an example of an image pickup screen G displayed on the display unit 16 at the time of image pickup. The inspection support device 1 has a live view function of displaying the image from the image pickup unit 11 as it is on the display unit 16. The image pickup screen G is composed of an area A1 for displaying an image captured from the image pickup unit 11 by the live view function, an area A2 for displaying various information, and a button BT for image capture by the image pickup unit 11. The layout of the image pickup screen G and the components included are not limited to the above.

ステップＳＴ３において、点検支援装置１は、点検を終了するかどうかを判断する。点検を終了する場合（Ｙｅｓ）には、処理を終了する。点検を終了しない場合（Ｎｏ）には、ステップＳＴ２に戻る。点検を終了しない場合には、ユーザは、他の点検対象物に移動し、点検を継続する。 In step ST3, the inspection support device 1 determines whether or not to end the inspection. When the inspection is completed (Yes), the process is terminated. If the inspection is not completed (No), the process returns to step ST2. If the inspection is not completed, the user moves to another inspection object and continues the inspection.

（固有情報などの取得について）
ここで、ステップＳＴ２の工程において、点検支援装置１により点検対象物を特定するための固有情報などを取得するための構成と動作について説明する。点検支援装置１は、図１に示すように、取得部２０と、第２記憶部２１とを備える構成である。 (About acquisition of unique information)
Here, in the process of step ST2, the configuration and operation for acquiring the unique information for specifying the inspection target by the inspection support device 1 will be described. As shown in FIG. 1, the inspection support device 1 has a configuration including an acquisition unit 20 and a second storage unit 21.

取得部２０は、少なくとも点検対象物を特定するための固有情報と、点検対象物の撮像部位に関する情報とを取得する。点検対象物を特定するための固有情報とは、例えば、点検対象物である電柱に固有に付されているＩＤ番号である。点検対象物の撮像部位に関する情報とは、例えば、生成した画像が点検対象物（電柱）のどこを撮影したのかの位置（電柱の上位、中位、下位など）を示す情報である。 The acquisition unit 20 acquires at least the unique information for specifying the inspection target and the information regarding the imaging portion of the inspection target. The unique information for specifying the inspection target is, for example, an ID number uniquely attached to the utility pole which is the inspection target. The information regarding the imaging portion of the inspection target is, for example, information indicating the position (upper, middle, lower, etc. of the utility pole) where the generated image was taken on the inspection target (telephone pole).

第２記憶部２１は、取得部２０が取得した情報と、第１画像および第２画像とを関連付けて保存する。 The second storage unit 21 stores the information acquired by the acquisition unit 20 in association with the first image and the second image.

また、取得部２０が取得する情報は、点検対象物に発生した損傷の種類に関する情報を含んでもよい。点検対象物に発生した損傷の種類に関する情報とは、ひび割れや、クラックなどを示す情報である。 Further, the information acquired by the acquisition unit 20 may include information regarding the type of damage that has occurred in the inspection target. The information on the type of damage that has occurred on the object to be inspected is information indicating cracks, cracks, and the like.

図２２は、第２記憶部２１に保存されている第３テーブルＴ３を模式的に示す図である。第３テーブルＴ３は、点検対象物を特定するための固有情報（識別番号）と、点検対象物の撮像部位に関する情報（撮像部位情報）と、点検対象物に発生した損傷の種類に関する情報（損傷情報）とが、画像ＩＤに関連付けられている。 FIG. 22 is a diagram schematically showing a third table T3 stored in the second storage unit 21. The third table T3 contains unique information (identification number) for identifying the inspection target, information on the image pickup site of the inspection target (imaging site information), and information on the type of damage generated on the inspection target (damage). Information) is associated with the image ID.

取得部２０は、撮像画面Ｇの領域Ａ１に表示されている検査対象物に付されているプレート（検査対象物が電柱の場合には、プレートに電柱番号などが表示されている）などを読み込み、読み込んだ画像を文字に変換する文字認識機能により識別番号を取得する構成でもよい。なお、取得部２０は、ユーザにより入力された識別番号を取得する構成でもよい。取得部２０で取得された識別番号は、撮像画面Ｇの領域Ａ２に表示される。 The acquisition unit 20 reads a plate attached to the inspection object displayed in the area A1 of the image pickup screen G (when the inspection object is a utility pole, the utility pole number or the like is displayed on the plate). , The identification number may be acquired by the character recognition function that converts the read image into characters. The acquisition unit 20 may be configured to acquire the identification number input by the user. The identification number acquired by the acquisition unit 20 is displayed in the area A2 of the image pickup screen G.

また、取得部２０は、撮像画面Ｇの領域Ａ１に表示されている検査対象物に対して、撮像部１１により拡大（ズーム）している箇所を認識して、撮像部位情報（例えば、上部、中部、下部）を取得する構成でもよい。なお、取得部２０は、ユーザにより入力された撮像部位情報を取得する構成でもよい。取得部２０で取得された撮像部位情報は、撮像画面Ｇの領域Ａ２に表示されてもよい。 Further, the acquisition unit 20 recognizes a portion magnified (zoomed) by the imaging unit 11 with respect to the inspection object displayed in the region A1 of the imaging screen G, and the imaging region information (for example, the upper part, It may be configured to acquire the middle part and the lower part). The acquisition unit 20 may be configured to acquire the image pickup site information input by the user. The image pickup site information acquired by the acquisition unit 20 may be displayed in the area A2 of the image pickup screen G.

また、取得部２０は、撮像画面Ｇの領域Ａ１に表示されている検査対象物の損傷を含む劣化の種類を画像解析により認識して取得する構成でもよい。また、取得部２０は、第１処理部１２または第３処理部で処理された結果に基づいて、損傷を含む劣化の状態やその種類を特定してもよい。 Further, the acquisition unit 20 may be configured to recognize and acquire the type of deterioration including damage of the inspection object displayed in the area A1 of the image pickup screen G by image analysis. Further, the acquisition unit 20 may specify the state of deterioration including damage and the type thereof based on the result of processing by the first processing unit 12 or the third processing unit.

具体的には、点検支援装置１は、図１に示すように、第１画像と、各画素の座標位置を変更した第２画像とに基づいて、損傷を含む劣化の種類を特定する第２特定部２４を備える。 Specifically, as shown in FIG. 1, the inspection support device 1 identifies the type of deterioration including damage based on the first image and the second image in which the coordinate position of each pixel is changed. A specific unit 24 is provided.

例えば、第２特定部２４は、画像から抽出した複数の特徴点に基づいて、損傷を含む劣化の状態やその種類を特定する。具体的には、第２特定部２４は、予め複数の損傷を含む劣化の画像により学習を行って予測モデルを生成し、この予測モデルに対象となる画像を入力して、損傷を含む劣化の状態やその種類を特定（ＡＩによる判定）してもよい。なお、損傷を含む劣化の状態の例としては、劣化している箇所の長さや幅、損傷であれば深さ等がある。 For example, the second specifying unit 24 identifies the state of deterioration including damage and the type thereof based on a plurality of feature points extracted from the image. Specifically, the second specific unit 24 learns in advance from images of deterioration including a plurality of damages to generate a prediction model, inputs a target image into the prediction model, and performs deterioration including damages. The state and its type may be specified (determined by AI). Examples of the state of deterioration including damage include the length and width of the deteriorated portion, and the depth in the case of damage.

また、第２特定部２４が、図８に示すような明度差画像を用いて損傷を含む劣化の状態や種類を特定するようにしてもよい。より具体的には、例えば、第１画像および第２画像の少なくとも一方と明度差画像とを両画像上で互いに対応する箇所の明度差および彩度に基づいて、画像上に損傷または錆のいずれが表示されているかを特定するようにしてもよい。ＡＩによる特定を行う場合には、明度差画像を教師データとして用いることで予測モデルを簡略化することができ、より精度よく損傷を含む劣化の状態や種類を特定することができる。 Further, the second specifying unit 24 may specify the state and type of deterioration including damage by using the brightness difference image as shown in FIG. More specifically, for example, whether at least one of the first image and the second image and the brightness difference image are damaged or rusted on the image based on the brightness difference and saturation of the corresponding portions on both images. May be specified if is displayed. When specifying by AI, the prediction model can be simplified by using the brightness difference image as the teacher data, and the state and type of deterioration including damage can be specified more accurately.

また、取得部２０は、上述のＡＩによる判定ではなく、ユーザにより損傷を含む劣化の種類が判定され、その判定結果を取得する構成でもよい。取得部２０で取得された損傷を含む劣化の種類は、撮像画面Ｇの領域Ａ２に表示される。図２１に示す例では、「ひび」項目と「錆汁」項目が選択された状態で示されている。 Further, the acquisition unit 20 may be configured to acquire the determination result by determining the type of deterioration including damage by the user, instead of the determination by AI described above. The type of deterioration including damage acquired by the acquisition unit 20 is displayed in the area A2 of the image pickup screen G. In the example shown in FIG. 21, the "crack" item and the "rust juice" item are shown in the selected state.

（撮像部の動作モードについて）
また、撮像部１１には複数の動作モードがあり、この動作モードを切り替えて撮像してもよい。具体的には、点検支援装置１は、図１に示すように、ユーザの操作に応じて撮像部１１の動作モードを切り替える処理を行う動作処理部２２を備える。取得部２０が取得する情報は、動作モードを特定する情報を含んでもよい。 (About the operation mode of the image pickup unit)
Further, the image pickup unit 11 has a plurality of operation modes, and the operation modes may be switched for imaging. Specifically, as shown in FIG. 1, the inspection support device 1 includes an operation processing unit 22 that performs a process of switching the operation mode of the image pickup unit 11 according to a user's operation. The information acquired by the acquisition unit 20 may include information for specifying the operation mode.

撮像部１１の動作モードには、通常の画質で撮像する通常撮影モードと、明るさの異なる複数の画像を合成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影モードと、移動させながら撮影する移動撮影モードなどがある。例えば、検査対象物の全体を撮像するときには、通常撮影モードを利用し、損傷箇所を撮像するときには、ＨＤＲ撮影モードや移動撮影モードを利用することができる。 The operation modes of the image pickup unit 11 include a normal shooting mode for capturing images with normal image quality, an HDR (High Dynamic Range) shooting mode for synthesizing a plurality of images having different brightness, and a moving shooting mode for shooting while moving. be. For example, a normal shooting mode can be used when photographing the entire inspection object, and an HDR shooting mode or a moving shooting mode can be used when shooting a damaged portion.

また、ユーザは、メニュー（不図示）から撮影モードを選択して撮影を行う。動作処理部２２は、ユーザに選択された動作モードによって動作するように撮像部１１を制御する。取得部２０は、撮像部１１で生成した画像に動作モードを関連付ける処理を行う。 In addition, the user selects a shooting mode from a menu (not shown) to shoot. The motion processing unit 22 controls the image pickup unit 11 so as to operate according to the operation mode selected by the user. The acquisition unit 20 performs a process of associating the operation mode with the image generated by the image pickup unit 11.

（指示機能について）
また、点検支援装置１は、損傷箇所を撮像するときに、表示部１６に撮像部１１を移動する方向を示す指示機能を供えていてもよい。具体的には、点検支援装置１は、図１に示すように、撮像部１１を介して入力される画像が表示部１６に表示されており、当該表示部１６に表示されている損傷の長手方向に基づいて、撮像部１１を移動する方向を指示する指示部２３を備える。表示処理部１５は、指示部２３による指示を表示部１６に表示する処理を行う。 (About the instruction function)
Further, the inspection support device 1 may provide the display unit 16 with an instruction function indicating a direction in which the image pickup unit 11 is moved when the damaged portion is imaged. Specifically, as shown in FIG. 1, in the inspection support device 1, an image input via the image pickup unit 11 is displayed on the display unit 16, and the length of the damage displayed on the display unit 16 is long. An instruction unit 23 for instructing a direction in which the image pickup unit 11 is moved based on the direction is provided. The display processing unit 15 performs a process of displaying the instruction from the instruction unit 23 on the display unit 16.

図２３は、指示部２３により移動の方向が指示される様子を模式的に示す図である。例えば、ユーザは、領域Ａ１に表示されているライブビューの映像（電柱の損傷箇所が表示されている）において、表示されている損傷箇所を指でなぞる操作を行う。図２３に示す例では、損傷箇所は横方向に伸びているので、ユーザは、損傷箇所が表示されている箇所を指で横になぞる操作を行う。 FIG. 23 is a diagram schematically showing how the direction of movement is instructed by the instruction unit 23. For example, the user performs an operation of tracing the displayed damaged portion with a finger in the live view image (the damaged portion of the utility pole is displayed) displayed in the area A1. In the example shown in FIG. 23, since the damaged portion extends in the lateral direction, the user performs an operation of laterally tracing the portion where the damaged portion is displayed with a finger.

指示部２３は、この操作を受け付け、なぞられた方向に対して直交する方向に移動する旨の指示（図２３中のＩ）を表示部１６に表示する。よって、ユーザは、この指示にしたがうことにより、所望の画像を撮像することができる。 The instruction unit 23 accepts this operation and displays an instruction (I in FIG. 23) to move in a direction orthogonal to the traced direction on the display unit 16. Therefore, the user can capture a desired image by following this instruction.

（全体の明度が異なる画像が混在することを防止する機能について）
複数のアングルで撮像したときに、ユーザの影が損傷箇所に写り込んだ画像と、ユーザの影が損傷箇所に写り込んでいない画像とが混在されて生成される場合がある。 (About the function to prevent images with different overall brightness from being mixed)
When images are taken from a plurality of angles, an image in which the user's shadow is reflected in the damaged part and an image in which the user's shadow is not reflected in the damaged part may be mixed and generated.

損傷箇所を複数のアングルで撮像するときには、同じ環境下（特に、損傷箇所に当たる光量）で行うことが好ましい。 When imaging the damaged part from a plurality of angles, it is preferable to perform the image in the same environment (particularly, the amount of light that hits the damaged part).

点検支援装置１は、上述のような画像の混在を防止する機能を有している。具体的には、点検支援装置１は、図１に示すように判定部２５と、報知部２６とを備える。 The inspection support device 1 has a function of preventing the mixture of images as described above. Specifically, the inspection support device 1 includes a determination unit 25 and a notification unit 26 as shown in FIG.

判定部２５は、撮像部１１により生成した第１画像の中心を含む特定領域の明度の参照値と、第２画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する。報知部２６は、判定部２５により所定の閾値以上の差分が生じていると判定された場合には報知を行う。 The determination unit 25 compares the reference value of the brightness of the specific region including the center of the first image generated by the imaging unit 11 with the reference value of the brightness of the specific region including the center of the second image, and determines a predetermined threshold value. It is determined whether or not the above difference has occurred. The notification unit 26 notifies when it is determined by the determination unit 25 that a difference of a predetermined threshold value or more has occurred.

第１画像の中心を含む特定領域とは、第１画像の全体を含む概念である。第２画像の中心を含む特定領域についても同様に、第２画像の全体を含む概念である。なお、第１画像の中心を含む特定領域の大きさと、第２画像の中心を含む特定領域の大きさは同じであるものとする。 The specific area including the center of the first image is a concept including the entire first image. Similarly, the specific area including the center of the second image is a concept including the entire second image. It is assumed that the size of the specific area including the center of the first image and the size of the specific area including the center of the second image are the same.

また、この特定領域の明度の参照値とは、特定領域の明度の平均値でもよいし、特定領域の明度の和や、特定の関数に入力した値でもよいし、特定領域における一つ一つの画素の明度そのものを参照値としてもよい。 Further, the reference value of the brightness of the specific area may be the average value of the brightness of the specific area, the sum of the brightness of the specific area, the value input to the specific function, or each one in the specific area. The brightness of the pixel itself may be used as a reference value.

例えば、明度が２５６階調で表現される場合、所定の閾値は、±１０などである。例えば、判定部２５は、第１画像の全体の明度の平均値が「１００」であり、第２画像の全体の明度の平均値が「１５０」の場合、差分は「５０」なので、所定の閾値以上であると判定する。この場合には、報知部２６は、所定の閾値以上である旨を報知する。 For example, when the brightness is expressed in 256 gradations, the predetermined threshold value is ± 10 or the like. For example, in the determination unit 25, when the average value of the overall brightness of the first image is "100" and the average value of the overall brightness of the second image is "150", the difference is "50", so that the determination unit 25 is predetermined. It is determined that the value is equal to or higher than the threshold value. In this case, the notification unit 26 notifies that the threshold value is equal to or higher than the predetermined threshold value.

報知部２６は、撮像画面Ｇに所定のメッセージを報知する構成でもよいし、撮像画面Ｇに所定のアイコンを表示（点灯）する構成でもよいし、スピーカーから所定の音を報知する構成でもよい。このような構成の場合、ユーザは、影が映り込まないように再度撮像を行うことができる。 The notification unit 26 may be configured to notify a predetermined message to the image pickup screen G, may be configured to display (light up) a predetermined icon on the image pickup screen G, or may be configured to notify a predetermined sound from the speaker. In such a configuration, the user can perform imaging again so that the shadow is not reflected.

また、報知部２６は、生成された画像に所定の閾値以上である旨のメッセージを関連付ける構成でもよい。このような構成の場合、例えば、第１処理部１２は、当該メッセージが関連付けられている画像に対する以降の処理を行わないようにしてもよい。 Further, the notification unit 26 may be configured to associate a message indicating that the value is equal to or higher than a predetermined threshold value with the generated image. In the case of such a configuration, for example, the first processing unit 12 may not perform further processing on the image to which the message is associated.

（画像の保存について）
図２４は、撮像部１１で生成された画像が保存されるときのフォルダ構造を模式的に示す図である。撮像部１１で生成された画像は、第３記憶部２７に保存される。第１処理部１２は、第３記憶部２７に保存されている画像を読み出して処理を行う。 (About saving images)
FIG. 24 is a diagram schematically showing a folder structure when an image generated by the image pickup unit 11 is saved. The image generated by the image pickup unit 11 is stored in the third storage unit 27. The first processing unit 12 reads out the image stored in the third storage unit 27 and performs processing.

ここで、画像を保存するときの点検アプリの動作について説明する。点検アプリは、点検対象物ごとにフォルダを作成する。図２４では、３つの異なる電柱を点検し、点検アプリにより、「電柱名１」、「電柱名２」、「電柱名３」の三つのフォルダが作成された例を示している。 Here, the operation of the inspection application when saving an image will be described. The inspection app creates a folder for each inspection target. FIG. 24 shows an example in which three different utility poles are inspected and three folders of "telephone pole name 1", "telephone pole name 2", and "telephone pole name 3" are created by the inspection application.

点検アプリは、点検対象物ごとに撮像した画像を対応する点検対象物のフォルダに保存する。また、点検アプリは、損傷箇所を含む劣化の種類ごとにフォルダを生成し、生成したフォルダに対応する画像を保存してもよい。図２４では、電柱名１のフォルダに、全体像の画像が保存されるフォルダと、ひびの画像が保存されるフォルダと、その他の画像が保存されるフォルダが生成された様子を示している。 The inspection application saves the images captured for each inspection object in the corresponding inspection object folder. In addition, the inspection application may generate a folder for each type of deterioration including a damaged part, and save an image corresponding to the generated folder. FIG. 24 shows a state in which a folder in which an image of the whole image is saved, a folder in which a cracked image is saved, and a folder in which other images are saved are generated in the folder with the telephone pole name 1.

点検アプリは、例えば、各画像に対して、撮像モードや撮像日時などをファイル名にする。また、移動撮影モードで撮影を行った場合には、移動撮影モードで撮像された画像をひとつのフォルダにまとめて保存してもよい。図２４では、フォルダ「移動撮影２００４０８１２０５３５」に移動させながら撮影した画像が保存されている様子を示している。 The inspection application uses, for example, a file name such as an imaging mode and an imaging date and time for each image. Further, when shooting is performed in the moving shooting mode, the images captured in the moving shooting mode may be collectively saved in one folder. FIG. 24 shows how an image taken while moving to the folder “moving shooting 200408120535” is saved.

（点検支援方法について）
つぎに、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させる点検支援方法について説明する。図２５は、当該点検支援方法の手順を示すフローチャートである。 (About inspection support method)
Next, an inspection support method for visually recognizing the damaged state of the inspection object from the captured image without setting a limit on the inspection time zone will be described. FIG. 25 is a flowchart showing the procedure of the inspection support method.

ステップＳＴ１１において、撮像部１１は、ユーザ操作に応じて特定箇所の画像を生成する（撮像工程）。 In step ST11, the image pickup unit 11 generates an image of a specific location according to a user operation (imaging step).

ステップＳＴ１２において、第１処理部１２は、ステップＳＴ１１の工程で生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、第１画像と異なる位置から撮像された第２画像との特徴点を抽出する（第１処理工程）。 In step ST12, the first processing unit 12 captures the first image including the damaged portion of the inspection object generated in the step ST11 and the second image including the damaged portion from a position different from the first image. The feature points with the image are extracted (first processing step).

ステップＳＴ１３において、第２処理部１３は、第１画像の特徴点と第２画像の特徴点とに対応付けて、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する（第２処理工程）。 In step ST13, the second processing unit 13 associates the feature points of the first image with the feature points of the second image, and shifts the feature points of the first image and the feature points of the second image on the image. Calculate (second processing step).

ステップＳＴ１４において、第３処理部１４は、ステップＳＴ１２の工程により算出されたずれに基づいて、第１画像の特徴点と、当該特徴点に対応する第２画像の特徴点とが、表示部１６において互いに対応して表示されるように、第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う（第３処理工程）。 In step ST14, the third processing unit 14 displays the feature points of the first image and the feature points of the second image corresponding to the feature points, based on the deviation calculated by the step of step ST12. In, a process of changing the coordinate positions of at least one of the pixels of the first image and the second image is performed so that they are displayed in correspondence with each other (third process step).

ステップＳＴ１５において、表示処理部１５は、ステップＳＴ１４の工程により処理された結果を表示部１６に表示する処理を行う（表示処理工程）。 In step ST15, the display processing unit 15 performs a process of displaying the result processed by the step of step ST14 on the display unit 16 (display processing step).

このようにして、点検支援方法は、点検対象物に生じている損傷箇所を撮像する際に、ライト位置を変更して撮像する必要がなく、太陽光による影響を受けないため、点検を行う時間帯に制限が生じることがなく、また、損傷箇所のみ明度が異なる２つの撮像画像を生成するので、撮像画像から点検対象物の損傷状態を視認させることができる。 In this way, the inspection support method does not need to change the light position to take an image when imaging the damaged part of the inspection object, and is not affected by sunlight. Since there is no limitation on the band and two captured images having different brightness only at the damaged portion are generated, the damaged state of the inspection object can be visually recognized from the captured image.

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various embodiments are described based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the present invention. It is possible to carry out the present invention in another modified or improved form.

１ 点検支援装置
１１ 撮像部
１２ 第１処理部
１３ 第２処理部
１４ 第３処理部
１５ 表示処理部
１６ 表示部
１７ 第１特定部
１８ センサ
１９ 第１記憶部
２０ 取得部
２１ 第２記憶部
２２ 動作処理部
２３ 指示部
２４ 第２特定部
２５ 判定部
２６ 報知部
２７ 第３記憶部 1 Inspection support device 11 Imaging unit 12 1st processing unit 13 2nd processing unit 14 3rd processing unit 15 Display processing unit 16 Display unit 17 1st specific unit 18 Sensor 19 1st storage unit 20 Acquisition unit 21 2nd storage unit 22 Operation processing unit 23 Instruction unit 24 Second specific unit 25 Judgment unit 26 Notification unit 27 Third storage unit

Claims (18)

ユーザ操作に応じて特定箇所の画像を生成する撮像部と、
前記撮像部が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理部と、
前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理部と、
前記第２処理部により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理部と、
前記第３処理部により処理された結果を前記表示部に表示する処理を行う表示処理部を備える点検支援装置。 An image pickup unit that generates an image of a specific location according to user operations,
The first process of extracting the feature points of the first image including the damaged part of the inspection object generated by the imaging unit and the second image including the damaged part and captured from a position different from the first image. Department and
A second processing unit that calculates the deviation between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. ,
Based on the deviation calculated by the second processing unit, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit. As described above, the third processing unit that performs the processing of changing the coordinate positions of at least one of the first image and the second image, and the third processing unit.
An inspection support device including a display processing unit that performs processing for displaying the result processed by the third processing unit on the display unit. 前記第１処理部は、前記撮像部により３つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を前記第１画像とし、他方を前記第２画像とする請求項１に記載の点検支援装置。 When three or more images are generated by the imaging unit, the first processing unit selects two images having a difference in brightness of a certain degree or more, one of which is the first image and the other of which is the second image. The inspection support device according to claim 1. 前記第３処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、各画素における、前記第１画像と、各画素の座標位置を変更した前記第２画像と、の明度の差を示す明度差画像を生成する請求項１または２に記載の点検支援装置。 The third processing unit changes the coordinate positions of the first image and each pixel in each pixel based on the first image and the second image in which the coordinate position of each pixel is changed. 2. The inspection support device according to claim 1 or 2, which generates a brightness difference image showing a difference in brightness between the image and the image. 前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを所定のタイミングで順次切り替えて表示されるように処理を行う請求項１または２に記載の点検支援装置。 The inspection according to claim 1 or 2, wherein the display processing unit performs processing so that the first image and the second image whose coordinate position of each pixel is changed are sequentially switched and displayed at a predetermined timing. Support device. 前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部においてに並列して表示されるように処理を行う請求項１または２に記載の点検支援装置。 The first or second aspect of the present invention, wherein the display processing unit performs processing so that the first image and the second image whose coordinate position of each pixel is changed are displayed in parallel on the display unit. Inspection support device. 前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部に表示されたときに、裸眼立体視されるように処理を行う請求項１または２に記載の点検支援装置。 Claim 1 or the display processing unit performs processing so that when the first image and the second image whose coordinate position of each pixel is changed are displayed on the display unit, the first image is stereoscopically viewed with the naked eye. The inspection support device according to 2. 前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を前記表示部に表示する請求項１または２に記載の点検支援装置。 The display processing unit generates an anaglyph image based on the first image and the second image in which the coordinate position of each pixel is changed, and displays the anaglyph image on the display unit according to claim 1 or 2. Inspection support device described in. 前記表示部は、ヘッドマウントディスプレイであり、
前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを前記ヘッドマウントディスプレイに表示するように処理する請求項１または２に記載の点検支援装置。 The display unit is a head-mounted display.
The inspection support device according to claim 1 or 2, wherein the display processing unit processes the first image and the second image in which the coordinate position of each pixel is changed so as to be displayed on the head-mounted display. 前記第１画像に含まれている前記損傷箇所の明度と、各画素の座標位置を変更した前記第２画像に含まれている前記損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第１特定部を備える請求項１から８のいずれか一項に記載の点検支援装置。 The difference between the brightness of the damaged portion included in the first image and the brightness of the damaged portion included in the second image in which the coordinate position of each pixel is changed is calculated, and the difference in brightness is used as the difference. The inspection support device according to any one of claims 1 to 8, further comprising a first specific portion for specifying the depth direction of the damaged portion based on the above. 鉛直方向を検出するセンサと、
前記撮像部により点検対象物を撮像するときに前記センサの検出結果を取得し、当該センサの検出結果と前記第１画像および前記第２画像とを関連付けて保存する第１記憶部とを備える請求項１から９のいずれか一項に記載の点検支援装置。 A sensor that detects the vertical direction and
A claim including a first storage unit that acquires a detection result of the sensor when an image of an inspection object is imaged by the image pickup unit and stores the detection result of the sensor in association with the first image and the second image. The inspection support device according to any one of items 1 to 9. 少なくとも、前記点検対象物を特定するための固有情報と、前記点検対象物の撮像部位に関する情報と、を取得する取得部と、
前記取得部が取得した情報と、前記第１画像および前記第２画像を関連付けて保存する第２記憶部とを備える請求項１から１０のいずれか一項に記載の点検支援装置。 At least, an acquisition unit that acquires unique information for identifying the inspection target and information on an imaging site of the inspection target.
The inspection support device according to any one of claims 1 to 10, further comprising an information acquired by the acquisition unit and a second storage unit that stores the first image and the second image in association with each other. 前記取得部が取得する情報は、前記点検対象物に発生した損傷の状態、またはその種類に関する情報を含む請求項１１に記載の点検支援装置。 The inspection support device according to claim 11, wherein the information acquired by the acquisition unit includes information regarding the state of damage that has occurred in the inspection object or the type thereof. ユーザの操作に応じて前記撮像部の動作モードを切り替える処理を行う動作処理部を有し、
前記取得部が取得する情報は、前記動作モードを特定する情報を含む、請求項１１または１２に記載の点検支援装置。 It has an operation processing unit that performs processing to switch the operation mode of the imaging unit according to the user's operation.
The inspection support device according to claim 11, wherein the information acquired by the acquisition unit includes information for specifying the operation mode. 前記撮像部を介して入力される画像が前記表示部に表示されており、当該表示部に表示されている損傷の長手方向に基づいて、前記撮像部を移動する方向を指示する指示部を備え、
前記表示処理部は、前記指示部による指示を前記表示部に表示する処理を行う請求項１から１３のいずれか一項に記載の点検支援装置。 An image input via the image pickup unit is displayed on the display unit, and the display unit includes an instruction unit that indicates a direction in which the image pickup unit is moved based on the longitudinal direction of the damage displayed on the display unit. ,
The inspection support device according to any one of claims 1 to 13, wherein the display processing unit performs a process of displaying instructions from the instruction unit on the display unit. 前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、損傷を含む劣化の種類を特定する第２特定部を備える請求項１から１２のいずれか一項に記載の点検支援装置。 6. Inspection support device. 前記撮像部により生成した前記第１画像の中心を含む特定領域の明度の参照値と、前記第２画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する判定部と、
前記判定部により所定の閾値以上の差分が生じていると判定された場合には報知を行う報知部とを備える請求項１から１３のいずれか一項に記載の点検支援装置。 A difference of a predetermined threshold value or more is compared between the reference value of the brightness of the specific region including the center of the first image generated by the imaging unit and the reference value of the brightness of the specific region including the center of the second image. A judgment unit that determines whether or not is occurring, and
The inspection support device according to any one of claims 1 to 13, further comprising a notification unit that notifies when it is determined by the determination unit that a difference of a predetermined threshold value or more has occurred. ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、
前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、
前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、
前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、
前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを備える点検支援方法。 An imaging process that generates an image of a specific location according to user operations,
The first process of extracting the feature points of the first image including the damaged part of the inspection object generated by the imaging step and the second image including the damaged part and captured from a position different from the first image. Process and
A second processing step of calculating the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. ,
Based on the deviation calculated by the second processing step, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit. As described above, the third processing step of changing the coordinate positions of at least one of the first image and the second image and the third processing step.
An inspection support method including a display processing step for displaying the result processed by the third processing step on the display unit. コンピュータに、
ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、
前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、
前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、
前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、
前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを実行させるための点検支援プログラム。 On the computer
An imaging process that generates an image of a specific location according to user operations,
The first process of extracting the feature points of the first image including the damaged part of the inspection object generated by the imaging step and the second image including the damaged part and captured from a position different from the first image. Process and
A second processing step of calculating the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. ,
Based on the deviation calculated by the second processing step, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit. As described above, the third processing step of changing the coordinate positions of at least one of the first image and the second image and the third processing step.
An inspection support program for executing a display processing step of displaying the result processed by the third processing step on the display unit.
JP2020124671A 2020-07-21 2020-07-21 Inspection support device, inspection support method and inspection support program Pending JP2022021209A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020124671A JP2022021209A (en) 2020-07-21 2020-07-21 Inspection support device, inspection support method and inspection support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020124671A JP2022021209A (en) 2020-07-21 2020-07-21 Inspection support device, inspection support method and inspection support program

Publications (1)

Publication Number Publication Date
JP2022021209A true JP2022021209A (en) 2022-02-02

Family

ID=80220349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020124671A Pending JP2022021209A (en) 2020-07-21 2020-07-21 Inspection support device, inspection support method and inspection support program

Country Status (1)

Country Link
JP (1) JP2022021209A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440855B1 (en) 2023-01-26 2024-02-29 ナカシャ クリエイテブ株式会社 Inspection support system, photographing position identification system, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440855B1 (en) 2023-01-26 2024-02-29 ナカシャ クリエイテブ株式会社 Inspection support system, photographing position identification system, and program

Similar Documents

Publication Publication Date Title
CN106170978B (en) Depth map generation device, method and non-transitory computer-readable medium
JP6560480B2 (en) Image processing system, image processing method, and program
WO2020010979A1 (en) Method and apparatus for training model for recognizing key points of hand, and method and apparatus for recognizing key points of hand
CN105279372B (en) A kind of method and apparatus of determining depth of building
WO2014064870A1 (en) Image processing device and image processing method
JP6352208B2 (en) 3D model processing apparatus and camera calibration system
TWI489326B (en) Operating area determination method and system
JP2023087027A (en) Information processor, information processing method, and program
JPWO2019021456A1 (en) Learning device, recognition device, learning method, recognition method, and program
JP2014029656A (en) Image processor and image processing method
US8908012B2 (en) Electronic device and method for creating three-dimensional image
JP2022021209A (en) Inspection support device, inspection support method and inspection support program
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
RU2735066C1 (en) Method for displaying augmented reality wide-format object
WO2015072091A1 (en) Image processing device, image processing method, and program storage medium
JP2004030408A (en) Three-dimensional image display apparatus and display method
JP2015184986A (en) Compound sense of reality sharing device
KR101488647B1 (en) Virtual illumination of operating method and apparatus for mobile terminal
JP2018032991A (en) Image display unit, image display method and computer program for image display
JP2018041201A (en) Display control program, display control method and information processing device
CN108921097B (en) Human eye visual angle detection method and device and computer readable storage medium
US10636384B2 (en) Image processing apparatus and image processing method
KR101846279B1 (en) Display Apparatus For Displaying Three Dimensional Picture And Driving Method For The Same
JP4436101B2 (en) robot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240625