JP2022021209A - Inspection support device, inspection support method and inspection support program - Google Patents
Inspection support device, inspection support method and inspection support program Download PDFInfo
- Publication number
- JP2022021209A JP2022021209A JP2020124671A JP2020124671A JP2022021209A JP 2022021209 A JP2022021209 A JP 2022021209A JP 2020124671 A JP2020124671 A JP 2020124671A JP 2020124671 A JP2020124671 A JP 2020124671A JP 2022021209 A JP2022021209 A JP 2022021209A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- feature points
- inspection
- support device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 194
- 238000000034 method Methods 0.000 title claims description 62
- 238000012545 processing Methods 0.000 claims abstract description 177
- 238000003384 imaging method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 8
- 238000004148 unit process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 20
- 230000006866 deterioration Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000011389 fruit/vegetable juice Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本開示は、点検支援装置、点検支援方法および点検支援プログラムに関する。 This disclosure relates to inspection support devices, inspection support methods and inspection support programs.
建物や電柱(以下、点検対象物と称する)の外観などを点検する際に、この点検の作業を支援する装置が知られている(例えば、特許文献1、2)。
When inspecting the appearance of a building or a utility pole (hereinafter referred to as an inspection object), a device that supports this inspection work is known (for example,
特許文献1には、点検対象物であるコンクリート表面を照明する複数のライトと、複数のライトを選択的に点灯させる点灯制御部と、ライトにより照明されるコンクリート表面を撮影するカメラと、カメラからの画像データを順次二値化処理する二値化処理部と、二値化処理した複数の画像データであって、コンクリート表面の所定の領域に関する複数の画像データの差分画像を生成する差分画像生成部とを備える装置が開示されている。
特許文献2には、点検対象物であるコンクリート表面の撮影画像に補正とノイズ除去の処理を施した前処理済画像を取得する前処理済画像形成部と、前処理済画像に対して、圧縮率を変えながら高解像度から低解像度まで解像度の異なる複数のレイヤ画像を形成するレイヤ画像形成部と、抽出対象の変状に最適な解像度のレイヤ画像から当該変状を抽出する変状抽出部と、抽出された変状を統合して出力する変状統合部とを備える装置が開示されている。 Patent Document 2 describes a pre-processed image forming unit for acquiring a pre-processed image obtained by applying correction and noise removal processing to a photographed image of a concrete surface to be inspected, and compression of the pre-processed image. A layer image forming unit that forms multiple layer images with different resolutions from high resolution to low resolution while changing the rate, and a deformation extraction unit that extracts the deformation from the layer image with the optimum resolution for the deformation to be extracted. , A device including a transformation integration unit that integrates and outputs the extracted transformations is disclosed.
しかしながら、特許文献1に記載の装置では、点検対象物に対して、異なる方向から選択的にライトによる照明を行う必要があるため、例えば、ライトによる照明が太陽光により影響を受けてしまう時間帯を避ける必要があり、点検を行う時間帯に制限が生じる問題がある。また、特許文献2に記載の装置によって、高度な画像処理により点検対象物に生じている変状(例えば、ひび割れ)を画像から抽出できたとしても、その画像から変状を人が視認できない場合には、確認のため、再度現場に行く必要が生じる可能性がある。
However, in the apparatus described in
本発明は、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させることができる点検支援装置、点検支援方法および点検支援プログラムを提供することを目的とする。 It is an object of the present invention to provide an inspection support device, an inspection support method, and an inspection support program capable of visually recognizing the damaged state of an inspection object from a captured image without setting a limit on the inspection time zone. ..
上述した課題を解決し、目的を達成するために、本開示に係る点検支援装置は、ユーザ操作に応じて特定箇所の画像を生成する撮像部と、前記撮像部が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、前記第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理部と、前記第1画像の特徴点と前記第2画像の特徴点とに対応付けて、前記第1画像の特徴点と前記第2画像の特徴点との画像上のずれを算出する第2処理部と、前記第2処理部により算出された前記ずれに基づいて、前記第1画像の特徴点と、当該特徴点に対応する前記第2画像の特徴点とが、表示部において互いに対応して表示されるように、前記第1画像および前記第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理部と、前記第3処理部により処理された結果を前記表示部に表示する処理を行う表示処理部を備える。 In order to solve the above-mentioned problems and achieve the object, the inspection support device according to the present disclosure includes an image pickup unit that generates an image of a specific location according to a user operation, and an inspection target object generated by the image pickup unit. The first processing unit for extracting the feature points of the first image including the damaged portion and the second image captured from a position different from the first image including the damaged portion, and the feature points of the first image. Calculated by the second processing unit and the second processing unit that calculate the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the second image. The first image is displayed so that the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit based on the deviation. A third processing unit that performs processing for changing the coordinate position of at least one of the pixels of the second image, and a display processing unit that performs processing for displaying the result processed by the third processing unit on the display unit. Be prepared.
また、本開示に係る点検支援装置は、上記開示において、前記第1処理部は、前記撮像部により3つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を前記第1画像とし、他方を前記第2画像とする構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure selects two images having a difference in brightness of a certain degree or more when the first processing unit generates three or more images by the imaging unit. One is the first image and the other is the second image.
また、本開示に係る点検支援装置は、上記開示において、前記第3処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とに基づいて、各画素における、前記第1画像と、各画素の座標位置を変更した前記第2画像と、の明度の差を示す明度差画像を生成する構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has the third processing unit in each pixel based on the first image and the second image in which the coordinate position of each pixel is changed. It is a configuration that generates a brightness difference image showing the difference in brightness between the first image and the second image in which the coordinate position of each pixel is changed.
また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とを所定のタイミングで順次切り替えて表示されるように処理を行う構成である。 Further, in the above disclosure, in the inspection support device according to the present disclosure, the display processing unit sequentially switches between the first image and the second image in which the coordinate position of each pixel is changed at a predetermined timing and displays the display. It is a configuration that performs processing so as to.
また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とが前記表示部においてに並列して表示されるように処理を行う構成である。 Further, in the inspection support device according to the present disclosure, in the above disclosure, the display processing unit displays the first image and the second image whose coordinate position of each pixel is changed in parallel on the display unit. It is a configuration that performs processing so as to be performed.
また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とが前記表示部に表示されたときに、裸眼立体視されるように処理を行う構成である。 Further, in the above disclosure, in the inspection support device according to the present disclosure, when the display processing unit displays the first image and the second image whose coordinate position of each pixel is changed on the display unit. , It is a configuration that performs processing so that it can be viewed stereoscopically with the naked eye.
また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を前記表示部に表示する構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure generates an anaglyph image based on the first image and the second image in which the coordinate position of each pixel is changed. The anaglyph image is displayed on the display unit.
また、本開示に係る点検支援装置は、上記開示において、前記表示部は、ヘッドマウントディスプレイであり、前記表示処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とを前記ヘッドマウントディスプレイに表示するように処理する構成である。 Further, in the inspection support device according to the present disclosure, in the above disclosure, the display unit is a head-mounted display, and the display processing unit is the first image and the second image in which the coordinate position of each pixel is changed. Is processed so as to be displayed on the head-mounted display.
また、本開示に係る点検支援装置は、上記開示において、前記第1画像に含まれている前記損傷箇所の明度と、各画素の座標位置を変更した前記第2画像に含まれている前記損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第1特定部を備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure is the damage included in the second image in which the brightness of the damaged portion included in the first image and the coordinate position of each pixel are changed. It is configured to include a first specific portion that calculates a difference from the brightness of a portion and specifies the depth direction of the damaged portion based on the difference in brightness.
また、本開示に係る点検支援装置は、上記開示において、鉛直方向を検出するセンサと、前記撮像部により点検対象物を撮像するときに前記センサの検出結果を取得し、当該センサの検出結果と前記第1画像および前記第2画像とを関連付けて保存する第1記憶部とを備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure acquires the detection result of the sensor when the sensor for detecting the vertical direction and the image pickup unit captures the inspection object, and the detection result of the sensor. The configuration includes a first storage unit that stores the first image and the second image in association with each other.
また、本開示に係る点検支援装置は、上記開示において、少なくとも、前記点検対象物を特定するための固有情報と、前記点検対象物の撮像部位に関する情報と、を取得する取得部と、前記取得部が取得した情報と、前記第1画像および前記第2画像を関連付けて保存する第2記憶部とを備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has at least an acquisition unit for acquiring specific information for specifying the inspection object and information on an image pickup site of the inspection object, and the acquisition. It is configured to include the information acquired by the unit and the second storage unit that stores the first image and the second image in association with each other.
また、本開示に係る点検支援装置は、上記開示において、前記取得部が取得する情報は、前記点検対象物に発生した損傷の状態、またはその種類に関する情報を含む構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has a configuration in which the information acquired by the acquisition unit includes information regarding the state of damage generated in the inspection object or the type thereof.
また、本開示に係る点検支援装置は、上記開示において、ユーザの操作に応じて前記撮像部の動作モードを切り替える処理を行う動作処理部を有し、前記取得部が取得する情報は、前記動作モードを特定する情報を含む構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has an operation processing unit that performs a process of switching the operation mode of the image pickup unit according to a user's operation, and the information acquired by the acquisition unit is the operation. It is a configuration that includes information that identifies the mode.
また、本開示に係る点検支援装置は、上記開示において、前記撮像部を介して入力される画像が前記表示部に表示されており、当該表示部に表示されている損傷の長手方向に基づいて、前記撮像部を移動する方向を指示する指示部を備え、前記表示処理部は、前記指示部による指示を前記表示部に表示する処理を行う構成である。 Further, in the inspection support device according to the present disclosure, in the above disclosure, an image input via the image pickup unit is displayed on the display unit, and the inspection support device is based on the longitudinal direction of the damage displayed on the display unit. The display processing unit includes an instruction unit that indicates a direction in which the image pickup unit is moved, and the display processing unit performs a process of displaying an instruction from the instruction unit on the display unit.
また、本開示に係る点検支援装置は、上記開示において、前記第1画像と、各画素の座標位置を変更した前記第2画像とに基づいて、損傷を含む劣化の種類を特定する第2特定部を備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure is a second specification that specifies the type of deterioration including damage based on the first image and the second image in which the coordinate position of each pixel is changed. It is a structure including a part.
また、本開示に係る点検支援装置は、上記開示において、前記撮像部により生成した前記第1画像の中心を含む特定領域の明度の参照値と、前記第2画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する判定部と、前記判定部により所定の閾値以上の差分が生じていると判定された場合には報知を行う報知部とを備える構成である。 Further, in the above disclosure, the inspection support device according to the present disclosure has a reference value of the brightness of the specific region including the center of the first image generated by the imaging unit and the brightness of the specific region including the center of the second image. A determination unit that determines whether or not a difference of a predetermined threshold value or more has occurred by comparing with the reference value of the above, and a notification unit if the determination unit determines that a difference of a predetermined threshold value or more has occurred. It is configured to include a notification unit for performing.
上述した課題を解決し、目的を達成するために、本開示に係る点検支援方法は、ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、前記撮像工程が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、前記第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理工程と、前記第1画像の特徴点と前記第2画像の特徴点とに対応付けて、前記第1画像の特徴点と前記第2画像の特徴点との画像上のずれを算出する第2処理工程と、前記第2処理工程により算出された前記ずれに基づいて、前記第1画像の特徴点と、当該特徴点に対応する前記第2画像の特徴点とが、表示部において互いに対応して表示されるように、前記第1画像および前記第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理工程と、前記第3処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを備える。 In order to solve the above-mentioned problems and achieve the object, the inspection support method according to the present disclosure includes an image pickup step of generating an image of a specific location according to a user operation and an inspection target object generated by the image pickup step. The first processing step of extracting the feature points of the first image including the damaged portion and the second image including the damaged portion and captured from a position different from the first image, and the feature points of the first image. Calculated by the second processing step and the second processing step of calculating the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the second image. The first image is displayed so that the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit based on the deviation. A third processing step of changing the coordinate position of at least one of the pixels of the second image, and a display processing step of displaying the result processed by the third processing step on the display unit. To prepare for.
上述した課題を解決し、目的を達成するために、本開示に係る点検支援プログラムは、コンピュータに、ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、前記撮像工程が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、前記第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理工程と、前記第1画像の特徴点と前記第2画像の特徴点とに対応付けて、前記第1画像の特徴点と前記第2画像の特徴点との画像上のずれを算出する第2処理工程と、前記第2処理工程により算出された前記ずれに基づいて、前記第1画像の特徴点と、当該特徴点に対応する前記第2画像の特徴点とが、表示部において互いに対応して表示されるように、前記第1画像および前記第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理工程と、前記第3処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを実行させるためのプログラムである。 In order to solve the above-mentioned problems and achieve the object, the inspection support program according to the present disclosure includes an image pickup process for generating an image of a specific location according to a user operation on a computer, and an inspection generated by the image pickup process. The first processing step of extracting the feature points of the first image including the damaged part of the object and the second image including the damaged part and captured from a position different from the first image, and the first image. A second processing step of calculating a deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the second image, and the second process. Based on the deviation calculated by the step, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed so as to correspond to each other on the display unit. A display that performs a process of changing the coordinate position of at least one of the first image and the second image, and a process of displaying the result processed by the third process on the display unit. It is a program for executing a processing process.
本発明によれば、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させることができる。 According to the present invention, it is possible to visually recognize the damaged state of the inspection object from the captured image without setting a limit on the inspection time zone.
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。 Hereinafter, embodiments for carrying out the present disclosure will be described in detail together with drawings. The present disclosure is not limited by the following embodiments.
(点検支援装置の構成と動作について)
図1は、点検の作業を支援する点検支援装置の構成を示す図である。点検支援装置1は、撮像部11と、第1処理部12と、第2処理部13と、第3処理部14と、表示処理部15を備える。点検支援装置1は、例えば、タブレット端末、スマートフォン、ノートPC(Personal Computer)等で構成されている。
(About the configuration and operation of the inspection support device)
FIG. 1 is a diagram showing a configuration of an inspection support device that supports inspection work. The
撮像部11は、ユーザ操作に応じて特定箇所の画像を生成する。撮像部11は、例えば、被写体を撮像し、画像を生成するカメラ機能を有している。具体的には、撮像部11は、レンズユニットと、撮像素子と、信号処理部とから構成される。レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。撮像素子は、レンズユニットが結像した被写体像を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。信号処理部は、撮像素子からの電気信号に対して信号処理(例えばA/D変換等)を行って画像を生成する。
The
第1処理部12は、撮像部11が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、第1画像と異なる位置から撮像された第2画像との特徴点を抽出する。点検対象物とは、コンクリートで製造されている電柱などの道路附属物や、建物などの壁面などである。なお、点検対象部は、コンクリートに限定されず、ゴムなどでもよい。本実施例では、主な点検対象物として電柱を一例に説明するが、点検対象物は電柱に限定されない。損傷箇所とは、電柱の表面に生じているひび割れなどである。
The
ここで、第1画像と第2画像について説明する。図2は、第1画像および第2画像を生成するときの様子を模式的に示す図である。点検者は、点検対象物である電柱Aの損傷箇所Bを発見した場合、点検支援装置1により画像を撮像する。
Here, the first image and the second image will be described. FIG. 2 is a diagram schematically showing a state when a first image and a second image are generated. When the inspector finds the damaged portion B of the utility pole A, which is the inspection target, the inspector captures an image by the
点検者は、損傷箇所Bであるひび割れが生じている方向に対して撮像部11(点検支援装置1)を垂直方向に移動して、明度が異なる画像を少なくとも2枚撮影する。撮影枚数は2枚でもよいし、多数撮影した中から明度の異なる2枚を選んでもよい。また、動画撮影をして得られた動画から適当なフレームから2つを選択してもよい。 The inspector moves the image pickup unit 11 (inspection support device 1) in the vertical direction with respect to the direction in which the crack is generated, which is the damaged portion B, and takes at least two images having different brightness. The number of shots may be two, or two shots with different brightness may be selected from a large number of shots. Further, two may be selected from appropriate frames from the moving image obtained by shooting the moving image.
例えば、点検者は、損傷箇所Bが画像の所定部分(例えば画像の中心付近)に位置するように撮像部11により撮像する。このときに撮像部11により生成された画像を第1画像P11とする。図2に示す例では、損傷箇所Bは、図2中のX方向に対して略垂直な方向に伸びている。点検者は、損傷箇所Bの長手方向に対して垂直な方向(図2中のX方向)に撮像部11(点検支援装置1)を移動し、損傷箇所Bが画像に含まれるように撮像部11により撮像する。このときに撮像部11により生成された画像を第2画像P21とする。なお、点検者は、撮像部11(点検支援装置1)を電柱Aに近づけたり遠ざけたりせずに、電柱Aとの距離を一定に保ちながら、ひび割れに対して垂直方向にゆっくりと移動させて撮像することが好ましい。
For example, the inspector takes an image with the
図2に示すように、第1画像P11に含まれている損傷箇所B1の明度と、第2画像P21に含まれている損傷箇所B2の明度は異なっている。一方、第1画像P11に含まれている損傷箇所B1以外の箇所の明度と、第2画像P21に含まれている損傷箇所B2以外の箇所の明度はほぼ同じである。これは、損傷箇所Bは、表面から内部に向かってひび割れが生じているので、例えば、ひび割れの真上から撮像した場合と、このひび割れを斜め上方から撮像した場合(ひび割れが生じている方向に対して垂直方向に移動させて撮像した場合)とで、損傷箇所B1から撮像部11の方向に反射される光量が異なることによる。一方、損傷箇所Bが生じていない箇所は、異なるアングルから撮影しても明度の変化はほとんどないと言える。
As shown in FIG. 2, the brightness of the damaged portion B1 included in the first image P11 and the brightness of the damaged portion B2 included in the second image P21 are different. On the other hand, the brightness of the portion other than the damaged portion B1 included in the first image P11 and the brightness of the portion other than the damaged portion B2 included in the second image P21 are substantially the same. This is because the damaged portion B has cracks from the surface to the inside. For example, when the image is taken from directly above the crack and when the crack is imaged from diagonally above (in the direction in which the crack is generated). This is because the amount of light reflected from the damaged portion B1 in the direction of the
また、第1処理部12は、第1画像および第2画像を解析し、特徴点を抽出する。第1処理部12は、例えば、SIFT(Scale Invariant Feature Transform)やSURF(Speeded-Up Robust Features)などの手法を利用して、各画像の明度や色彩の変化が生じているエッジや、エッジが交わるコーナー等の特徴的な部位を特徴点として抽出する。
In addition, the
図2には、第1処理部12により第1画像P11から複数の特徴点a_1~a_nを抽出した画像を第1画像P12として示している。複数の特徴点a_1~a_nは、損傷箇所B1の周囲に集中している。また、図2には、第1処理部12により第2画像P21から複数の特徴点a_1′~a_n′を抽出した画像を第2画像P22として示している。複数の特徴点a_1′~a_n′は、損傷箇所Bの周囲に集中している。
FIG. 2 shows an image obtained by extracting a plurality of feature points a_1 to a_n from the first image P11 by the
第2処理部13は、第1画像の特徴点と第2画像の特徴点とに対応付けて、第1画像の特徴点と第2画像の特徴点との画像上のずれを算出する。図3は、第2処理部13により第1画像P12と第2画像P22の特徴点同士を対応付ける処理についての説明に供する図である。
The
例えば、第2処理部13は、第1画像P12の特徴点と第2画像P22の特徴点とをマッチング処理により特徴点同士を対応付け、この対応付けの結果から、第1画像の特徴点と第2画像の特徴点との画像上のずれを算出する。具体的には、第2処理部13は、マッチング処理により第1画像P12の特徴点a_1と第2画像P22の特徴点a_1′とを対応付ける処理を行う。そして、第2処理部13は、対応付けた第1画像P12の特徴点a_1と第2画像P22の特徴点a_1′とが何画素(何ピクセル)ずれているかを算出する。なお、第2処理部13は、マッチング処理によりすべての特徴点同士を対応付け、この対応付けた結果から、すべての特徴点同士が何画素(何ピクセル)ずれているかを算出する。
For example, the
第3処理部14は、第2処理部13により算出されたずれに基づいて、第1画像の特徴点と、当該特徴点に対応する第2画像の特徴点とが、表示部16において互いに対応して表示されるように、第1画像および第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う。
In the
図4は、第3処理部14により画像の座標位置を変更処理した後の様子を模式的に示す図である。なお、図4では、第2画像の座標位置を変更する例を示しているが、第1画像の座標位置を変更してもよい。また、図4に示す第2画像P22は、下方向に座標位置を変更したため、変更した量だけ画像の上部分に黒い縁が表れるが、黒い縁を残してもよいし、近くの部分の画素をコピーしてもよい。
FIG. 4 is a diagram schematically showing a state after the coordinate position of the image is changed by the
表示処理部15は、第3処理部14により処理された結果を表示部16に表示する処理を行う。図5は、表示部16に第1画像P12と第2画像P22とが表示されている様子を模式的に示す図である。第1画像P12と第2画像P22とは、同じ座標位置に明度が異なる損傷箇所B1,B2が示されている。
The
また、点検支援装置1は、第3処理部14で処理した第1画像および第2画像を損傷記録表Cに添付して、点検の依頼主に送付してもよい。
Further, the
図6は、損傷記録票Cの一例を模式的に示す図である。損傷記録票Cには、例えば、図6に示すように、部材名称、部材全体としての損傷程度の評価結果、及び当該部材の措置内容等の情報と、当該部材に対して割り当てられた複数の点検箇所を撮影した撮影画像とが含まれている。 FIG. 6 is a diagram schematically showing an example of the damage record sheet C. On the damage record sheet C, for example, as shown in FIG. 6, information such as the member name, the evaluation result of the degree of damage of the member as a whole, the measures taken by the member, and a plurality of assigned to the member. Includes captured images of inspection points.
このようにして、点検支援装置1は、点検対象物に生じている損傷箇所を撮像する際に、撮像部11に対するライト位置を変更して撮像する必要がなく、太陽光による影響が低減されるため、点検を行う時間帯に制限が生じることがなく、また、損傷箇所のみ明度が異なる2つの撮像画像を生成するので、撮像画像から点検対象物の損傷状態を視認させることができる。
In this way, the
(第1処理部の動作について)
第1処理部12は、撮像部11により3つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を第1画像とし、他方を第2画像とする構成でもよい。
(About the operation of the first processing unit)
When the
図7は、損傷箇所Bの長手方向に対する垂直方向において異なる位置から損傷箇所Bを撮影し、撮像部11により生成された複数の画像を示す図である。画像P31には、損傷箇所B31が含まれている。画像P32には、損傷箇所B32が含まれている。画像P33には、損傷箇所B33が含まれている。画像P34には、損傷箇所B34が含まれている。なお、図7では、4つの画像が生成された例を示しているが、3つ以上であればよい。
FIG. 7 is a diagram showing a plurality of images generated by the
例えば、点検者は、損傷箇所Bの長手方向に対して垂直方向に撮像部11(点検支援装置1)を移動しながら、損傷箇所Bが画像に含まれるように撮像する。また、撮像部11の連写機能を利用して複数の画像を撮像してもよいし、撮像部11の動画撮影機能を利用し、得られた動画から複数のフレーム(画像)を抽出してもよい。
For example, the inspector moves the image pickup unit 11 (inspection support device 1) in the direction perpendicular to the longitudinal direction of the damaged portion B, and takes an image so that the damaged portion B is included in the image. Further, a plurality of images may be captured by using the continuous shooting function of the
また、損傷箇所の明度は、低い順に、損傷箇所B31、損傷箇所B32、損傷箇所B33、損傷箇所B34である。第1処理部12は、損傷箇所B31が含まれる画像P31を第1画像とし、損傷箇所B34が含まれる画像P34を第2画像とすることができる。
The brightness of the damaged portion is, in ascending order, the damaged portion B31, the damaged portion B32, the damaged portion B33, and the damaged portion B34. The
このようにして、複数の明度の異なる画像を生成することで、複数の画像の明度に基づいて、適切な画像を第1画像と第2画像として選択することができる。 By generating a plurality of images having different brightnesses in this way, an appropriate image can be selected as the first image and the second image based on the brightnesses of the plurality of images.
また、第1処理部12は、明度の異なる複数の撮像画像を合成して第1画像と第2画像を生成するようにしてもよい。より具体的には、例えば、図7に示すように損傷箇所B31、損傷箇所B32、損傷箇所B33、損傷箇所B34の画像がある場合、第1処理部12は、各画像の同じ位置に対応する画素のうち、所定の条件(例えば、最も明度が低い、または明度が所定の値以下)を満たす画素を抽出し、各画像のそれぞれの位置で同様に抽出した画素を配列して第1画像を生成するとともに、各画像の同じ位置に対応する画素のうち、他の所定の条件(例えば、最も明度が高い、または明度が所定の値以上)を満たす画素を抽出し、各画像のそれぞれの位置で同様に抽出した画素を配列して第2画像を生成するようにしてもよい。画素単位でなく、各撮像画像を複数の領域に同様に分割し、当該領域の参照値(例えば、当該領域における明度の平均値、代表値等)が所定の条件を見たす領域をそれぞれ合成して第1画像と第2画像を生成するようにしてもよい。このようにして、複数の撮像画像を合成して、互いに明度の異なる第1画像と第2画像を生成することができる。
Further, the
なお、上述したように複数の撮像画像を合成して互いに明度の異なる第1画像と第2画像を生成する場合、当該複数の撮像画像に対し、第1処理部12、第2処理部13、第3処理部14を利用した処理により、互いの撮像画像の撮影位置を補正した上で合成し、互いに明度の異なる第1画像と第2画像を生成するようにしてもよい。
When a plurality of captured images are combined to generate a first image and a second image having different brightness as described above, the
(第3処理部の動作について)
また、第3処理部14は、第1画像と、各画素の座標位置を変更した第2画像とに基づいて、各画素における、第1画像と、各画素の座標位置を変更した第2画像との明度の差を示す明度差画像を生成する構成でもよい。
(About the operation of the 3rd processing unit)
Further, the
図8は、明度差画像P3の一例を模式的に示す図である。明度差画像P3は、明度差が大きいほど白色(黒色でもよい)になる。このようにして、点検支援装置1は、明度差が最も大きい損傷箇所を明度差画像により明確に示すことができる。
FIG. 8 is a diagram schematically showing an example of the brightness difference image P3. The brightness difference image P3 becomes whiter (or black) as the brightness difference increases. In this way, the
(表示処理部の第1の動作について)
表示処理部15は、第1画像と、各画素の座標位置を変更した第2画像とを所定のタイミング(例えば、200msecごと)で順次切り替えて表示されるように処理を行う構成でもよい。
(About the first operation of the display processing unit)
The
図9は、第1画像P12と第2画像P22とが時間軸上に繰り返し並んでいる様子を模式的に示す図である。表示処理部15は、例えば、第1画像と第2画像を実際に切り替えて表示してもよいし、アニメーションGIF(登録商標)やMPEG4(登録商標)などにより繰り返し再生を実現してもよい。
FIG. 9 is a diagram schematically showing how the first image P12 and the second image P22 are repeatedly arranged on the time axis. For example, the
このようにして、点検支援装置1は、第1画像と第2画像とをパラパラ漫画のように順次切り替えて表示するので、損傷箇所をより明確に示すことができる。
In this way, the
(表示処理部の第2の動作について)
表示処理部15は、第1画像と、各画素の座標位置を変更した第2画像とが表示部16においてに並列して表示されるように処理を行う構成でもよい。
(About the second operation of the display processing unit)
The
図10は、第1画像P12と第2画像P22とが表示部16に表示される例を模式的に示す図である。図10(a)は、第1画像P12と第2画像P22とが表示部16において左右に配置される例を示している。図10(b)は、第1画像P12と第2画像P22とが表示部16において上下に配置される例を示している。
FIG. 10 is a diagram schematically showing an example in which the first image P12 and the second image P22 are displayed on the
表示処理部15は、水平方向が垂直方向よりも長くなるように表示部16が配置(横長配置)された場合には、図10(a)に示すように、第1画像P12と第2画像P22とが表示部16において左右に配置し、垂直方向が水平方向よりも長くなるように表示部16が配置(縦長配置)された場合には、図10(b)に示すように、第1画像P12と第2画像P22とが表示部16において上下に配置する。
When the
このようにして、点検支援装置1は、表示部16の向きに応じて、損傷箇所のみ明度が異なる2つの撮像画像を表示するので、損傷箇所の把握を容易に行わせることができる。
In this way, the
また、第2処理部13により算出したずれに基づいて、撮像部11と損傷箇所との間の距離を算出し、第3処理部14により第1画像および第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う際に、当該距離に応じた画素の横ずれを生じさせる処理を行ってもよい。このような構成によれば、3次元的な立体感を生じさせることができ、現場での目視に近い感覚を再現することができる。また、縦方向に撮像部11を移動させて撮像した場合であっても、横ずれを生じさせる処理を行うことにより、立体感を生じさせることができ、ステレオカメラでは実現が困難な効果を奏することができる。
Further, the distance between the
(表示処理部の第3の動作について)
表示処理部15は、第1画像と、各画素の座標位置を変更した第2画像とが表示部16に表示されたときに、裸眼立体視されるように処理を行う構成でもよい。裸眼立体視されるような処理とは、二次元である第1画像と第2画像とを裸眼で観察したときに、三次元的に見える(立体視できる)ように、第1画像と第2画像に対して行う処理である。
(About the third operation of the display processing unit)
The
例えば、カメラを所定距離(例えば、6.5cm)ずらして2枚の画像を生成することにより、裸眼立体視可能な画像(ステレオグラム)を生成することができる。 For example, by shifting the camera by a predetermined distance (for example, 6.5 cm) to generate two images, it is possible to generate an image (stereogram) that can be viewed stereoscopically with the naked eye.
よって、表示処理部15は、例えば、第2画像P22に対して、撮像部11を右方向に所定距離(例えば、6.5cm)ずらした場合に相当する画像処理(左方向に所定の画素数移動する処理)を行う。図11は、表示処理部15によりステレオグラムを生成する手順についての説明に供する図である。
Therefore, the
このようにして、点検支援装置1は、表示処理部15により裸眼立体視されるように処理を行うので、表示部16に表示される画像を裸眼立体視させることができ、損傷箇所の把握を容易に行わせることができる。
In this way, the
(表示処理部の第4の動作について)
表示処理部15は、第1画像と、各画素の座標位置を変更した第2画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を表示部16に表示する構成でもよい。
(About the fourth operation of the display processing unit)
The
本実施例では、撮像部11により損傷箇所を真正面から見て少し左側から撮像して生成した画像を第1画像とし、当該損傷箇所を真正面から見て少し右側から撮像して生成した画像を第2画像とする。
In this embodiment, the image generated by capturing the damaged portion from the left side when viewed from the front by the
図12は、アナグリフ画像を生成する手順についての説明に供する図である。表示処理部15は、例えば、第1画像P12が赤色成分から構成されるように画像処理を行い、第1画像P13を生成し、また、第2画像P22が青色成分から構成されるように画像処理を行い、第2画像P23を生成する。表示処理部15は、第1画像P13と第2画像P23とを合成して、アナグリフ画像P4を生成する。
FIG. 12 is a diagram for explaining a procedure for generating an anaglyph image. For example, the
表示処理部15は、アナグリフ画像P4を表示部16に表示する。アナグリフ用メガネ(左目が赤色フィルタで構成され、右目が青色フィルタで構成されるメガネ)を掛けると、損傷箇所を立体的に見ることができる。
The
このようにして、点検支援装置1は、表示部16にアナグリフ画像を表示するので、アナグリフ用メガネを利用することにより、損傷箇所を立体的に見せることができ、二つの画像を平行視または交差視させる場合に比べて、観察者への負担が少なく、損傷箇所の把握をより容易に行わせることができる。
In this way, the
(表示部の動作について)
表示部16は、ヘッドマウントディスプレイで構成されてもよい。この構成の場合、表示処理部15は、第1画像と、各画素の座標位置を変更した第2画像とをヘッドマウントディスプレイに表示するように処理する。
(About the operation of the display)
The
図13は、ヘッドマウントディスプレイ(HMD)が頭部に装着されている様子を示す図である。ヘッドマウントディスプレイとは、頭部に装着するディスプレイ装置のことである。ヘッドマウントディスプレイは、表示された画像を2次元(2D)または3次元(3D)に表示することができる。表示処理部15は、第1画像と第2画像を2次元(2D)または3次元(3D)でヘッドマウントディスプレイに表示するように処理する。
FIG. 13 is a diagram showing a state in which a head-mounted display (HMD) is attached to the head. A head-mounted display is a display device worn on the head. The head-mounted display can display the displayed image in two dimensions (2D) or three dimensions (3D). The
このようにして、点検支援装置1は、ヘッドマウントディスプレイに第1画像と第2画像とを表示することにより、二つの画像を平行視または交差視させる場合に比べて、観察者への負担が少なく、損傷箇所の把握をより容易に行わせることができる。
In this way, the
(損傷箇所の深さ方向の特定について)
点検支援装置1は、図1に示すように、第1画像に含まれている損傷箇所の明度と、各画素の座標位置を変更した第2画像に含まれている損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第1特定部17を備える構成でもよい。
(About specifying the depth direction of the damaged part)
As shown in FIG. 1, the
図14は、損傷箇所の深さ方向を特定する手順についての説明に供する図である。図14では、電柱Aの断面を示している。また、図14中のX1は、損傷箇所Bの深さ方向を示している。例えば、Xは、電柱Aの表面Sに対する角度θで示すことができる。ここで、光源(例えば、太陽)からの光が表面Sに対して垂直に照射されているものとする。また、撮像は、電柱Aの表面Sから所定距離Tの位置から行うものとする。 FIG. 14 is a diagram for explaining a procedure for specifying the depth direction of the damaged portion. FIG. 14 shows a cross section of the utility pole A. Further, X1 in FIG. 14 indicates the depth direction of the damaged portion B. For example, X can be represented by an angle θ with respect to the surface S of the utility pole A. Here, it is assumed that the light from the light source (for example, the sun) is irradiated perpendicular to the surface S. Further, the imaging shall be performed from a position at a predetermined distance T from the surface S of the utility pole A.
損傷箇所Bの真上付近から撮像(図14中のD1の位置から撮像)して、生成された画像を画像P51とする。また、損傷箇所Bが表面S上に生じている方向に対して垂直方向に撮像部11を移動させて、損傷箇所Bを含むように撮像(図14中のD2の位置から撮像)して、生成された画像を画像P52とする。画像P51に含まれている損傷箇所B1の明度と、画像P52に含まれている損傷箇所B2の明度とに差が生じている。
An image is taken from the vicinity directly above the damaged portion B (taken from the position of D1 in FIG. 14), and the generated image is referred to as an image P51. Further, the
図15は、明度差に対する深さ方向が規定されている第1テーブルT1の一例を模式的に示す図である。なお、明度差と深さ方向の対応は、一例であって、第1テーブルT1に限定されない。明度差は、例えば、階調値の差を示している。例えば、画像P51に含まれている損傷箇所B1の明度が「20」であり、画像P52に含まれている損傷箇所B2の明度が「30」の場合には、明度差は「10」である。 FIG. 15 is a diagram schematically showing an example of the first table T1 in which the depth direction with respect to the difference in brightness is defined. The correspondence between the difference in brightness and the depth direction is an example and is not limited to the first table T1. The difference in brightness indicates, for example, the difference in gradation values. For example, when the brightness of the damaged portion B1 included in the image P51 is "20" and the brightness of the damaged portion B2 included in the image P52 is "30", the brightness difference is "10". ..
第1特定部17は、第1テーブルT1を参照して、損傷箇所の明度の差分に対応する損傷箇所の深さ方向を特定する。なお、第1特定部17は、第1テーブルT1ではなく、所定の関数を利用して、損傷箇所の明度の差分に対応する損傷箇所の深さ方向を算出してもよい。
The first specifying
また、本実施例では、2つの画像に含まれている損傷箇所の明度差に基づいて、損傷箇所の深さ方向を特定したが、撮像位置の異なる3つ以上の画像に含まれる損傷箇所の明度差に基づいて、損傷箇所の深さ方向を特定してもよい。 Further, in this embodiment, the depth direction of the damaged part is specified based on the difference in brightness of the damaged part included in the two images, but the damaged part included in three or more images having different imaging positions. The depth direction of the damaged part may be specified based on the difference in brightness.
このようにして、点検支援装置1は、第1特定部17により損傷箇所の深さ方向を特定(推定)するので、点検対象物に補修が必要なのかどうかの判断などに役立てることができる。
In this way, since the
点検支援装置1は、図1に示すように、センサ18と、第1記憶部19とを備える構成でもよい。
As shown in FIG. 1, the
センサ18は、鉛直方向を検出する。センサ18は、例えば、加速度センサ、ジャイロセンサ、または地磁気センサなどにより構成される。
The
第1記憶部19は、撮像部11により点検対象物を撮像するときにセンサ18の検出結果を取得し、当該センサ18の検出結果と第1画像および第2画像とを関連付けて保存する。
The
点検支援装置1は、センサ18の検出結果に基づいて、自身の向き(例えば、縦向きや横向きなど)を判定する機能を有している。
The
ここで、点検者は、損傷箇所の形状などに応じて、適宜、点検支援装置1の向きを変えて撮像を行う。図16は、第1記憶部19に保存されている第2テーブルT2を模式的に示す図である。第2テーブルT2は、各画像に固有に付与される画像IDと、その画像が撮像されたときのセンサ18の検出結果が関連付けられている。
Here, the inspector appropriately changes the direction of the
よって、点検支援装置1は、第2テーブルT2を参照することにより、画像を撮像したときの点検支援装置1の向きを判定することができ、画像に含まれている損傷箇所の方向を正しく認識することができる。例えば、損傷記録表C(図6を参照)に画像が90°回転して張り付けられていた場合、その画像を撮像したときの点検支援装置1の向きが分かるので、その画像に含まれている損傷箇所の方向を正しく認識することができる。
Therefore, the
(点検支援アプリについて)
点検支援装置1の各構成要素の機能は、アプリケーションプログラム(以下、点検支援アプリと称する)により実現することができる。ここで、点検支援アプリについて説明する。点検支援アプリは、主に以下の工程で構成されており、コンピュータ500(ハードウェア)によって実行される。
(About the inspection support app)
The function of each component of the
工程1:ユーザ操作に応じて特定箇所の画像を生成する撮像工程
工程2:撮像工程が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理工程
工程3:第1画像の特徴点と第2画像の特徴点とに対応付けて、第1画像の特徴点と第2画像の特徴点との画像上のずれを算出する第2処理工程
工程4:第2処理工程により算出されたずれに基づいて、第1画像の特徴点と、当該特徴点に対応する第2画像の特徴点とが、表示部16において互いに対応して表示されるように、第1画像および第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理工程
工程5:第3処理工程により処理された結果を表示部16に表示する処理を行う表示処理工程
Step 1: Imaging step of generating an image of a specific location according to a user operation Step 2: The first image including the damaged portion of the inspection object generated by the imaging step is different from the first image including the damaged portion. First processing step of extracting the feature points of the second image captured from the position Step 3: The feature points of the first image and the second feature points in association with the feature points of the first image and the feature points of the second image. Second processing step of calculating the deviation on the image from the feature point of the image Step 4: The feature point of the first image and the second image corresponding to the feature point based on the deviation calculated by the second processing step. Third processing step Step 5: First, a process of changing the coordinate position of at least one of the first image and the second image so that the feature points of the above are displayed in correspondence with each other on the
ここで、コンピュータ500の構成と動作について図を用いて説明する。図17は、コンピュータ500の構成を示す図である。コンピュータ500は、図17に示すように、プロセッサ501と、メモリ502と、ストレージ503と、入出力I/F504と、通信I/F505とがバスBUS上に接続されて構成されており、これらの各構成要素の協働により、本開示に記載される機能、および/または、方法を実現する。
Here, the configuration and operation of the
入出力I/F504には、ディスプレイやポインティングデバイス(例えば、マウスやキーボードなど)が接続される。入出力I/F504に接続されるディスプレイは、表示部16が相当する。
A display or a pointing device (for example, a mouse or a keyboard) is connected to the input / output I /
通信I/F505は、所定の通信規格に準拠したインターフェイスであり、有線または無線によりネットワークを介して、外部装置(例えば、会社のサーバや、点検依頼者の端末装置など)と通信を行う。
The communication I /
メモリ502は、RAM(Random Access Memory)で構成される。RAMは、揮発メモリまたは不揮発性メモリで構成されている。
The
ストレージ503は、ROM(Read Only Memory)で構成される。ROMは、不揮発性メモリで構成されており、例えば、HDD(Hard Disc Drive)またはSSD(Solid State Drive)により実現される。ストレージ503は、第1記憶部19および第2記憶部が相当する。ストレージ503には、上述した工程1~工程6で実現される点検支援アプリなどの各種のプログラムが格納されている。
The
プロセッサ501は、コンピュータ500全体の動作を制御する。プロセッサ501は、ストレージ503からオペレーティングシステムや多様な機能を実現する様々なプログラムをメモリ502にロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。
具体的には、プロセッサ501は、点検者の操作を受け付けた場合、ストレージ503に格納されているプログラム(例えば、本実施形態にかかる本発明に係る点検支援アプリ)を読み出し、読み出したアプリをメモリ502に展開し、実行する。また、プロセッサ501が点検支援プログラムを実行することにより、第1処理部12と、第2処理部13と、第3処理部14と、表示処理部15と、詳細は後述する、第1特定部17と、取得部20と、動作処理部22と、指示部23と、第2特定部24と、判定部25と、報知部26の各機能が実現される。
Specifically, when the
ここで、プロセッサ501の構成について説明する。プロセッサ501は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、これら以外の各種演算装置、またはこれらの組み合わせにより実現される。
Here, the configuration of the
また、本開示に記載される機能、および/または、方法を実現するために、プロセッサ501、メモリ502およびストレージ503などの機能の一部または全部は、専用のハードウェアである処理回路601で構成されてもよい。図18は、コンピュータ600の処理回路601の構成を示す図である。処理回路601は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又はこれらを組み合わせたものである。
Further, in order to realize the functions and / or the methods described in the present disclosure, some or all of the functions such as the
また、プロセッサ501は、単一の構成要素として説明したが、これに限られず、複数の物理的に別体のプロセッサの集合により構成されてもよい。本明細書において、プロセッサ501によって実行されるとして説明されるプログラムまたは当該プログラムに含まれる命令は、単一のプロセッサ501で実行されてもよいし、複数のプロセッサにより分散して実行されてもよい。また、プロセッサ501によって実行されるプログラムまたは当該プログラムに含まれる命令は、複数の仮想プロセッサにより実行されてもよい。
Further, the
ここで、点検支援アプリの動作について説明する。図19は、点検アプリの動作についての説明に供するフローチャートである。なお、本実施にかかる点検支援装置1には、点検支援アプリがインストールされているものとする。図20は、点検支援装置1の外観を示す図である。図20(a)は、表示部16が配置されている側から見たときの点検支援装置1の外観を示す図である。図20(b)は、撮像部11が配置されている側から見たときの点検支援装置1の外観を示す図である。なお、表示部16の前面にはタッチパネルが配置されている。点検支援装置1は、表示部16に表示されているアイコンを点検者が指などでタッチ操作することにより、所定の動作(アイコンに対応するアプリの起動など)を行う機能を有している。
Here, the operation of the inspection support application will be described. FIG. 19 is a flowchart for explaining the operation of the inspection application. It is assumed that the inspection support application is installed in the
ステップST1において、点検支援装置1は、点検者の操作を受け付け、点検支援アプリを起動する。具体的には、点検者は、点検対象物(例えば、電柱)に対する点検を開始するときに、表示部16に表示されている点検支援アプリを示すアイコンをタッチ操作する。点検支援アプリが起動し、表示部16には、点検支援アプリのトップ画面が表示される。
In step ST1, the
ステップST2において、点検支援装置1は、点検者の操作を受け付け撮像部11により撮像を行う。
In step ST2, the
図21は、撮像時に表示部16に表示される撮像画面Gの一例を模式的に示す図である。点検支援装置1は、撮像部11からの映像をそのまま表示部16に表示するライブビュー機能を有している。撮像画面Gは、ライブビュー機能により撮像部11から取り込んだ映像を表示する領域A1と、各種の情報が表示される領域A2と、撮像部11により撮像するボタンBTとにより構成される。なお、撮像画面Gのレイアウトや含まれる構成要素は、上述に限定されない。
FIG. 21 is a diagram schematically showing an example of an image pickup screen G displayed on the
ステップST3において、点検支援装置1は、点検を終了するかどうかを判断する。点検を終了する場合(Yes)には、処理を終了する。点検を終了しない場合(No)には、ステップST2に戻る。点検を終了しない場合には、ユーザは、他の点検対象物に移動し、点検を継続する。
In step ST3, the
(固有情報などの取得について)
ここで、ステップST2の工程において、点検支援装置1により点検対象物を特定するための固有情報などを取得するための構成と動作について説明する。点検支援装置1は、図1に示すように、取得部20と、第2記憶部21とを備える構成である。
(About acquisition of unique information)
Here, in the process of step ST2, the configuration and operation for acquiring the unique information for specifying the inspection target by the
取得部20は、少なくとも点検対象物を特定するための固有情報と、点検対象物の撮像部位に関する情報とを取得する。点検対象物を特定するための固有情報とは、例えば、点検対象物である電柱に固有に付されているID番号である。点検対象物の撮像部位に関する情報とは、例えば、生成した画像が点検対象物(電柱)のどこを撮影したのかの位置(電柱の上位、中位、下位など)を示す情報である。
The
第2記憶部21は、取得部20が取得した情報と、第1画像および第2画像とを関連付けて保存する。
The
また、取得部20が取得する情報は、点検対象物に発生した損傷の種類に関する情報を含んでもよい。点検対象物に発生した損傷の種類に関する情報とは、ひび割れや、クラックなどを示す情報である。
Further, the information acquired by the
図22は、第2記憶部21に保存されている第3テーブルT3を模式的に示す図である。第3テーブルT3は、点検対象物を特定するための固有情報(識別番号)と、点検対象物の撮像部位に関する情報(撮像部位情報)と、点検対象物に発生した損傷の種類に関する情報(損傷情報)とが、画像IDに関連付けられている。
FIG. 22 is a diagram schematically showing a third table T3 stored in the
取得部20は、撮像画面Gの領域A1に表示されている検査対象物に付されているプレート(検査対象物が電柱の場合には、プレートに電柱番号などが表示されている)などを読み込み、読み込んだ画像を文字に変換する文字認識機能により識別番号を取得する構成でもよい。なお、取得部20は、ユーザにより入力された識別番号を取得する構成でもよい。取得部20で取得された識別番号は、撮像画面Gの領域A2に表示される。
The
また、取得部20は、撮像画面Gの領域A1に表示されている検査対象物に対して、撮像部11により拡大(ズーム)している箇所を認識して、撮像部位情報(例えば、上部、中部、下部)を取得する構成でもよい。なお、取得部20は、ユーザにより入力された撮像部位情報を取得する構成でもよい。取得部20で取得された撮像部位情報は、撮像画面Gの領域A2に表示されてもよい。
Further, the
また、取得部20は、撮像画面Gの領域A1に表示されている検査対象物の損傷を含む劣化の種類を画像解析により認識して取得する構成でもよい。また、取得部20は、第1処理部12または第3処理部で処理された結果に基づいて、損傷を含む劣化の状態やその種類を特定してもよい。
Further, the
具体的には、点検支援装置1は、図1に示すように、第1画像と、各画素の座標位置を変更した第2画像とに基づいて、損傷を含む劣化の種類を特定する第2特定部24を備える。
Specifically, as shown in FIG. 1, the
例えば、第2特定部24は、画像から抽出した複数の特徴点に基づいて、損傷を含む劣化の状態やその種類を特定する。具体的には、第2特定部24は、予め複数の損傷を含む劣化の画像により学習を行って予測モデルを生成し、この予測モデルに対象となる画像を入力して、損傷を含む劣化の状態やその種類を特定(AIによる判定)してもよい。なお、損傷を含む劣化の状態の例としては、劣化している箇所の長さや幅、損傷であれば深さ等がある。
For example, the second specifying
また、第2特定部24が、図8に示すような明度差画像を用いて損傷を含む劣化の状態や種類を特定するようにしてもよい。より具体的には、例えば、第1画像および第2画像の少なくとも一方と明度差画像とを両画像上で互いに対応する箇所の明度差および彩度に基づいて、画像上に損傷または錆のいずれが表示されているかを特定するようにしてもよい。AIによる特定を行う場合には、明度差画像を教師データとして用いることで予測モデルを簡略化することができ、より精度よく損傷を含む劣化の状態や種類を特定することができる。
Further, the second specifying
また、取得部20は、上述のAIによる判定ではなく、ユーザにより損傷を含む劣化の種類が判定され、その判定結果を取得する構成でもよい。取得部20で取得された損傷を含む劣化の種類は、撮像画面Gの領域A2に表示される。図21に示す例では、「ひび」項目と「錆汁」項目が選択された状態で示されている。
Further, the
(撮像部の動作モードについて)
また、撮像部11には複数の動作モードがあり、この動作モードを切り替えて撮像してもよい。具体的には、点検支援装置1は、図1に示すように、ユーザの操作に応じて撮像部11の動作モードを切り替える処理を行う動作処理部22を備える。取得部20が取得する情報は、動作モードを特定する情報を含んでもよい。
(About the operation mode of the image pickup unit)
Further, the
撮像部11の動作モードには、通常の画質で撮像する通常撮影モードと、明るさの異なる複数の画像を合成するHDR(High Dynamic Range)撮影モードと、移動させながら撮影する移動撮影モードなどがある。例えば、検査対象物の全体を撮像するときには、通常撮影モードを利用し、損傷箇所を撮像するときには、HDR撮影モードや移動撮影モードを利用することができる。
The operation modes of the
また、ユーザは、メニュー(不図示)から撮影モードを選択して撮影を行う。動作処理部22は、ユーザに選択された動作モードによって動作するように撮像部11を制御する。取得部20は、撮像部11で生成した画像に動作モードを関連付ける処理を行う。
In addition, the user selects a shooting mode from a menu (not shown) to shoot. The
(指示機能について)
また、点検支援装置1は、損傷箇所を撮像するときに、表示部16に撮像部11を移動する方向を示す指示機能を供えていてもよい。具体的には、点検支援装置1は、図1に示すように、撮像部11を介して入力される画像が表示部16に表示されており、当該表示部16に表示されている損傷の長手方向に基づいて、撮像部11を移動する方向を指示する指示部23を備える。表示処理部15は、指示部23による指示を表示部16に表示する処理を行う。
(About the instruction function)
Further, the
図23は、指示部23により移動の方向が指示される様子を模式的に示す図である。例えば、ユーザは、領域A1に表示されているライブビューの映像(電柱の損傷箇所が表示されている)において、表示されている損傷箇所を指でなぞる操作を行う。図23に示す例では、損傷箇所は横方向に伸びているので、ユーザは、損傷箇所が表示されている箇所を指で横になぞる操作を行う。
FIG. 23 is a diagram schematically showing how the direction of movement is instructed by the
指示部23は、この操作を受け付け、なぞられた方向に対して直交する方向に移動する旨の指示(図23中のI)を表示部16に表示する。よって、ユーザは、この指示にしたがうことにより、所望の画像を撮像することができる。
The
(全体の明度が異なる画像が混在することを防止する機能について)
複数のアングルで撮像したときに、ユーザの影が損傷箇所に写り込んだ画像と、ユーザの影が損傷箇所に写り込んでいない画像とが混在されて生成される場合がある。
(About the function to prevent images with different overall brightness from being mixed)
When images are taken from a plurality of angles, an image in which the user's shadow is reflected in the damaged part and an image in which the user's shadow is not reflected in the damaged part may be mixed and generated.
損傷箇所を複数のアングルで撮像するときには、同じ環境下(特に、損傷箇所に当たる光量)で行うことが好ましい。 When imaging the damaged part from a plurality of angles, it is preferable to perform the image in the same environment (particularly, the amount of light that hits the damaged part).
点検支援装置1は、上述のような画像の混在を防止する機能を有している。具体的には、点検支援装置1は、図1に示すように判定部25と、報知部26とを備える。
The
判定部25は、撮像部11により生成した第1画像の中心を含む特定領域の明度の参照値と、第2画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する。報知部26は、判定部25により所定の閾値以上の差分が生じていると判定された場合には報知を行う。
The
第1画像の中心を含む特定領域とは、第1画像の全体を含む概念である。第2画像の中心を含む特定領域についても同様に、第2画像の全体を含む概念である。なお、第1画像の中心を含む特定領域の大きさと、第2画像の中心を含む特定領域の大きさは同じであるものとする。 The specific area including the center of the first image is a concept including the entire first image. Similarly, the specific area including the center of the second image is a concept including the entire second image. It is assumed that the size of the specific area including the center of the first image and the size of the specific area including the center of the second image are the same.
また、この特定領域の明度の参照値とは、特定領域の明度の平均値でもよいし、特定領域の明度の和や、特定の関数に入力した値でもよいし、特定領域における一つ一つの画素の明度そのものを参照値としてもよい。 Further, the reference value of the brightness of the specific area may be the average value of the brightness of the specific area, the sum of the brightness of the specific area, the value input to the specific function, or each one in the specific area. The brightness of the pixel itself may be used as a reference value.
例えば、明度が256階調で表現される場合、所定の閾値は、±10などである。例えば、判定部25は、第1画像の全体の明度の平均値が「100」であり、第2画像の全体の明度の平均値が「150」の場合、差分は「50」なので、所定の閾値以上であると判定する。この場合には、報知部26は、所定の閾値以上である旨を報知する。
For example, when the brightness is expressed in 256 gradations, the predetermined threshold value is ± 10 or the like. For example, in the
報知部26は、撮像画面Gに所定のメッセージを報知する構成でもよいし、撮像画面Gに所定のアイコンを表示(点灯)する構成でもよいし、スピーカーから所定の音を報知する構成でもよい。このような構成の場合、ユーザは、影が映り込まないように再度撮像を行うことができる。
The
また、報知部26は、生成された画像に所定の閾値以上である旨のメッセージを関連付ける構成でもよい。このような構成の場合、例えば、第1処理部12は、当該メッセージが関連付けられている画像に対する以降の処理を行わないようにしてもよい。
Further, the
(画像の保存について)
図24は、撮像部11で生成された画像が保存されるときのフォルダ構造を模式的に示す図である。撮像部11で生成された画像は、第3記憶部27に保存される。第1処理部12は、第3記憶部27に保存されている画像を読み出して処理を行う。
(About saving images)
FIG. 24 is a diagram schematically showing a folder structure when an image generated by the
ここで、画像を保存するときの点検アプリの動作について説明する。点検アプリは、点検対象物ごとにフォルダを作成する。図24では、3つの異なる電柱を点検し、点検アプリにより、「電柱名1」、「電柱名2」、「電柱名3」の三つのフォルダが作成された例を示している。
Here, the operation of the inspection application when saving an image will be described. The inspection app creates a folder for each inspection target. FIG. 24 shows an example in which three different utility poles are inspected and three folders of "
点検アプリは、点検対象物ごとに撮像した画像を対応する点検対象物のフォルダに保存する。また、点検アプリは、損傷箇所を含む劣化の種類ごとにフォルダを生成し、生成したフォルダに対応する画像を保存してもよい。図24では、電柱名1のフォルダに、全体像の画像が保存されるフォルダと、ひびの画像が保存されるフォルダと、その他の画像が保存されるフォルダが生成された様子を示している。
The inspection application saves the images captured for each inspection object in the corresponding inspection object folder. In addition, the inspection application may generate a folder for each type of deterioration including a damaged part, and save an image corresponding to the generated folder. FIG. 24 shows a state in which a folder in which an image of the whole image is saved, a folder in which a cracked image is saved, and a folder in which other images are saved are generated in the folder with the
点検アプリは、例えば、各画像に対して、撮像モードや撮像日時などをファイル名にする。また、移動撮影モードで撮影を行った場合には、移動撮影モードで撮像された画像をひとつのフォルダにまとめて保存してもよい。図24では、フォルダ「移動撮影200408120535」に移動させながら撮影した画像が保存されている様子を示している。
The inspection application uses, for example, a file name such as an imaging mode and an imaging date and time for each image. Further, when shooting is performed in the moving shooting mode, the images captured in the moving shooting mode may be collectively saved in one folder. FIG. 24 shows how an image taken while moving to the folder “moving
(点検支援方法について)
つぎに、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させる点検支援方法について説明する。図25は、当該点検支援方法の手順を示すフローチャートである。
(About inspection support method)
Next, an inspection support method for visually recognizing the damaged state of the inspection object from the captured image without setting a limit on the inspection time zone will be described. FIG. 25 is a flowchart showing the procedure of the inspection support method.
ステップST11において、撮像部11は、ユーザ操作に応じて特定箇所の画像を生成する(撮像工程)。
In step ST11, the
ステップST12において、第1処理部12は、ステップST11の工程で生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、第1画像と異なる位置から撮像された第2画像との特徴点を抽出する(第1処理工程)。
In step ST12, the
ステップST13において、第2処理部13は、第1画像の特徴点と第2画像の特徴点とに対応付けて、第1画像の特徴点と第2画像の特徴点との画像上のずれを算出する(第2処理工程)。
In step ST13, the
ステップST14において、第3処理部14は、ステップST12の工程により算出されたずれに基づいて、第1画像の特徴点と、当該特徴点に対応する第2画像の特徴点とが、表示部16において互いに対応して表示されるように、第1画像および第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う(第3処理工程)。
In step ST14, the
ステップST15において、表示処理部15は、ステップST14の工程により処理された結果を表示部16に表示する処理を行う(表示処理工程)。
In step ST15, the
このようにして、点検支援方法は、点検対象物に生じている損傷箇所を撮像する際に、ライト位置を変更して撮像する必要がなく、太陽光による影響を受けないため、点検を行う時間帯に制限が生じることがなく、また、損傷箇所のみ明度が異なる2つの撮像画像を生成するので、撮像画像から点検対象物の損傷状態を視認させることができる。 In this way, the inspection support method does not need to change the light position to take an image when imaging the damaged part of the inspection object, and is not affected by sunlight. Since there is no limitation on the band and two captured images having different brightness only at the damaged portion are generated, the damaged state of the inspection object can be visually recognized from the captured image.
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various embodiments are described based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the present invention. It is possible to carry out the present invention in another modified or improved form.
1 点検支援装置
11 撮像部
12 第1処理部
13 第2処理部
14 第3処理部
15 表示処理部
16 表示部
17 第1特定部
18 センサ
19 第1記憶部
20 取得部
21 第2記憶部
22 動作処理部
23 指示部
24 第2特定部
25 判定部
26 報知部
27 第3記憶部
1
Claims (18)
前記撮像部が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、前記第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理部と、
前記第1画像の特徴点と前記第2画像の特徴点とに対応付けて、前記第1画像の特徴点と前記第2画像の特徴点との画像上のずれを算出する第2処理部と、
前記第2処理部により算出された前記ずれに基づいて、前記第1画像の特徴点と、当該特徴点に対応する前記第2画像の特徴点とが、表示部において互いに対応して表示されるように、前記第1画像および前記第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理部と、
前記第3処理部により処理された結果を前記表示部に表示する処理を行う表示処理部を備える点検支援装置。 An image pickup unit that generates an image of a specific location according to user operations,
The first process of extracting the feature points of the first image including the damaged part of the inspection object generated by the imaging unit and the second image including the damaged part and captured from a position different from the first image. Department and
A second processing unit that calculates the deviation between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. ,
Based on the deviation calculated by the second processing unit, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit. As described above, the third processing unit that performs the processing of changing the coordinate positions of at least one of the first image and the second image, and the third processing unit.
An inspection support device including a display processing unit that performs processing for displaying the result processed by the third processing unit on the display unit.
前記表示処理部は、前記第1画像と、各画素の座標位置を変更した前記第2画像とを前記ヘッドマウントディスプレイに表示するように処理する請求項1または2に記載の点検支援装置。 The display unit is a head-mounted display.
The inspection support device according to claim 1 or 2, wherein the display processing unit processes the first image and the second image in which the coordinate position of each pixel is changed so as to be displayed on the head-mounted display.
前記撮像部により点検対象物を撮像するときに前記センサの検出結果を取得し、当該センサの検出結果と前記第1画像および前記第2画像とを関連付けて保存する第1記憶部とを備える請求項1から9のいずれか一項に記載の点検支援装置。 A sensor that detects the vertical direction and
A claim including a first storage unit that acquires a detection result of the sensor when an image of an inspection object is imaged by the image pickup unit and stores the detection result of the sensor in association with the first image and the second image. The inspection support device according to any one of items 1 to 9.
前記取得部が取得した情報と、前記第1画像および前記第2画像を関連付けて保存する第2記憶部とを備える請求項1から10のいずれか一項に記載の点検支援装置。 At least, an acquisition unit that acquires unique information for identifying the inspection target and information on an imaging site of the inspection target.
The inspection support device according to any one of claims 1 to 10, further comprising an information acquired by the acquisition unit and a second storage unit that stores the first image and the second image in association with each other.
前記取得部が取得する情報は、前記動作モードを特定する情報を含む、請求項11または12に記載の点検支援装置。 It has an operation processing unit that performs processing to switch the operation mode of the imaging unit according to the user's operation.
The inspection support device according to claim 11, wherein the information acquired by the acquisition unit includes information for specifying the operation mode.
前記表示処理部は、前記指示部による指示を前記表示部に表示する処理を行う請求項1から13のいずれか一項に記載の点検支援装置。 An image input via the image pickup unit is displayed on the display unit, and the display unit includes an instruction unit that indicates a direction in which the image pickup unit is moved based on the longitudinal direction of the damage displayed on the display unit. ,
The inspection support device according to any one of claims 1 to 13, wherein the display processing unit performs a process of displaying instructions from the instruction unit on the display unit.
前記判定部により所定の閾値以上の差分が生じていると判定された場合には報知を行う報知部とを備える請求項1から13のいずれか一項に記載の点検支援装置。 A difference of a predetermined threshold value or more is compared between the reference value of the brightness of the specific region including the center of the first image generated by the imaging unit and the reference value of the brightness of the specific region including the center of the second image. A judgment unit that determines whether or not is occurring, and
The inspection support device according to any one of claims 1 to 13, further comprising a notification unit that notifies when it is determined by the determination unit that a difference of a predetermined threshold value or more has occurred.
前記撮像工程が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、前記第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理工程と、
前記第1画像の特徴点と前記第2画像の特徴点とに対応付けて、前記第1画像の特徴点と前記第2画像の特徴点との画像上のずれを算出する第2処理工程と、
前記第2処理工程により算出された前記ずれに基づいて、前記第1画像の特徴点と、当該特徴点に対応する前記第2画像の特徴点とが、表示部において互いに対応して表示されるように、前記第1画像および前記第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理工程と、
前記第3処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを備える点検支援方法。 An imaging process that generates an image of a specific location according to user operations,
The first process of extracting the feature points of the first image including the damaged part of the inspection object generated by the imaging step and the second image including the damaged part and captured from a position different from the first image. Process and
A second processing step of calculating the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. ,
Based on the deviation calculated by the second processing step, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit. As described above, the third processing step of changing the coordinate positions of at least one of the first image and the second image and the third processing step.
An inspection support method including a display processing step for displaying the result processed by the third processing step on the display unit.
ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、
前記撮像工程が生成した、点検対象物の損傷箇所を含む第1画像と、当該損傷箇所を含む、前記第1画像と異なる位置から撮像された第2画像との特徴点を抽出する第1処理工程と、
前記第1画像の特徴点と前記第2画像の特徴点とに対応付けて、前記第1画像の特徴点と前記第2画像の特徴点との画像上のずれを算出する第2処理工程と、
前記第2処理工程により算出された前記ずれに基づいて、前記第1画像の特徴点と、当該特徴点に対応する前記第2画像の特徴点とが、表示部において互いに対応して表示されるように、前記第1画像および前記第2画像の少なくとも一方の各画素の座標位置を変更する処理を行う第3処理工程と、
前記第3処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを実行させるための点検支援プログラム。 On the computer
An imaging process that generates an image of a specific location according to user operations,
The first process of extracting the feature points of the first image including the damaged part of the inspection object generated by the imaging step and the second image including the damaged part and captured from a position different from the first image. Process and
A second processing step of calculating the deviation on the image between the feature points of the first image and the feature points of the second image in association with the feature points of the first image and the feature points of the second image. ,
Based on the deviation calculated by the second processing step, the feature points of the first image and the feature points of the second image corresponding to the feature points are displayed in correspondence with each other on the display unit. As described above, the third processing step of changing the coordinate positions of at least one of the first image and the second image and the third processing step.
An inspection support program for executing a display processing step of displaying the result processed by the third processing step on the display unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020124671A JP2022021209A (en) | 2020-07-21 | 2020-07-21 | Inspection support device, inspection support method and inspection support program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020124671A JP2022021209A (en) | 2020-07-21 | 2020-07-21 | Inspection support device, inspection support method and inspection support program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022021209A true JP2022021209A (en) | 2022-02-02 |
Family
ID=80220349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020124671A Pending JP2022021209A (en) | 2020-07-21 | 2020-07-21 | Inspection support device, inspection support method and inspection support program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022021209A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7440855B1 (en) | 2023-01-26 | 2024-02-29 | ナカシャ クリエイテブ株式会社 | Inspection support system, photographing position identification system, and program |
-
2020
- 2020-07-21 JP JP2020124671A patent/JP2022021209A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7440855B1 (en) | 2023-01-26 | 2024-02-29 | ナカシャ クリエイテブ株式会社 | Inspection support system, photographing position identification system, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106170978B (en) | Depth map generation device, method and non-transitory computer-readable medium | |
JP6560480B2 (en) | Image processing system, image processing method, and program | |
WO2020010979A1 (en) | Method and apparatus for training model for recognizing key points of hand, and method and apparatus for recognizing key points of hand | |
CN105279372B (en) | A kind of method and apparatus of determining depth of building | |
WO2014064870A1 (en) | Image processing device and image processing method | |
JP6352208B2 (en) | 3D model processing apparatus and camera calibration system | |
TWI489326B (en) | Operating area determination method and system | |
JP2023087027A (en) | Information processor, information processing method, and program | |
JPWO2019021456A1 (en) | Learning device, recognition device, learning method, recognition method, and program | |
JP2014029656A (en) | Image processor and image processing method | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP2022021209A (en) | Inspection support device, inspection support method and inspection support program | |
Wei et al. | Simulating shadow interactions for outdoor augmented reality with RGBD data | |
US20190066366A1 (en) | Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting | |
RU2735066C1 (en) | Method for displaying augmented reality wide-format object | |
WO2015072091A1 (en) | Image processing device, image processing method, and program storage medium | |
JP2004030408A (en) | Three-dimensional image display apparatus and display method | |
JP2015184986A (en) | Compound sense of reality sharing device | |
KR101488647B1 (en) | Virtual illumination of operating method and apparatus for mobile terminal | |
JP2018032991A (en) | Image display unit, image display method and computer program for image display | |
JP2018041201A (en) | Display control program, display control method and information processing device | |
CN108921097B (en) | Human eye visual angle detection method and device and computer readable storage medium | |
US10636384B2 (en) | Image processing apparatus and image processing method | |
KR101846279B1 (en) | Display Apparatus For Displaying Three Dimensional Picture And Driving Method For The Same | |
JP4436101B2 (en) | robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240625 |