JP2022034192A - Information processing system - Google Patents

Abstract

To provide an information processing system regarding photographed image information of structure surfaces to be photographed.SOLUTION: An information processing system that determines damaged conditions of a structure has a power spectrum processing unit that generates power spectrum by executing a two-dimensional Fourier transform process on crack image information generated using image information obtained by photographing image target surfaces of the structure, and a damage state determination processing unit that determines damage conditions using the generated power spectrum.SELECTED DRAWING: Figure 1

Description

本発明は，構造物の撮影対象面を撮影した画像情報に関する情報処理システムに関する。 The present invention relates to an information processing system relating to image information obtained by photographing a surface to be photographed of a structure.

橋梁などの構造物は社会インフラとして重要であり，その維持管理は適切になされなければならない。そして，構造物の維持管理を行うため，定期的に点検をすることが求められている。この定期点検は，たとえば橋梁については，５年に１度の点検員による目視点検が実施されている。 Structures such as bridges are important as social infrastructure, and their maintenance must be done appropriately. In order to maintain and manage the structure, regular inspections are required. In this periodic inspection, for example, bridges are visually inspected by inspectors once every five years.

しかし，維持管理対象となる構造物の数はきわめて多い。また，現場での点検員の人員が不足していることに加え，目視による点検では，点検員の経験や知識により，損傷状態の判定に任意性（ばらつき）が発生する。 However, the number of structures subject to maintenance is extremely large. In addition to the shortage of on-site inspectors, visual inspection causes arbitrariness (variation) in the judgment of the damaged state depending on the inspector's experience and knowledge.

そのため，構造物の維持管理を適切に行うための点検業務の省力化，自動化は必須であり，情報処理技術を活用した取り組みが進められている。そこで，構造物の維持管理にかかる点検業務を自動化するため，機械学習を用いた画像認識技術により，構造物の損傷箇所を自動検出する試みがなされている（非特許文献１）。 Therefore, labor saving and automation of inspection work for proper maintenance of structures is indispensable, and efforts using information processing technology are being promoted. Therefore, in order to automate the inspection work related to the maintenance of the structure, an attempt has been made to automatically detect the damaged part of the structure by the image recognition technology using machine learning (Non-Patent Document 1).

株式会社インキュビット，”Deep Crack｜ひびわれ検知ＡＩサービス by インキュビット”，[online]，インターネット＜ＵＲＬ：http://incubit.co.jp/service/deep-crack＞Incubit Inc., "Deep Crack | Crack Detection AI Service by Incubit", [online], Internet <URL: http://incubit.co.jp/service/deep-crack>

非特許文献１に記載のような機械学習を用いたひび割れの自動検知は，処理そのものを自動化できる点では有益ではある。しかし，ひび割れ箇所を学習させるための学習用教師データは，損傷程度ごと，建築構造ごと，設置環境ごとなどに応じてそれぞれ準備し，学習をさせる必要がある。これらのすべてを網羅するためには，膨大な量の学習用教師データが必要となる。またそれぞれの学習用教師データの作成は人手に頼らざるを得ず，結果，学習用教師データの作成に人手を要するため，人員不足の問題を解決することはできない。 The automatic detection of cracks using machine learning as described in Non-Patent Document 1 is useful in that the processing itself can be automated. However, it is necessary to prepare and learn the learning teacher data for learning the cracked part according to the degree of damage, the building structure, the installation environment, and so on. To cover all of these, a huge amount of teacher data for learning is required. In addition, the creation of each learning teacher data has to rely on manpower, and as a result, it takes manpower to create the learning teacher data, so the problem of staff shortage cannot be solved.

また，構造物の撮影対象面を撮影する場合には，ドローンなどのＵＡＶ（Unmanned aerial vehicle）などを用いて非常に多くの画像情報を撮影することがある。その場合，画像情報の位置関係が特定できない場合がある。たとえばＵＡＶが縦方向に上昇しながら連続的に撮影し，ある地点で横（左右）方向に移動して，今度は下降しながら連続的に撮影する場合がある。その場合，どの位置から横方向に移動したかは画像情報だけからでは容易に特定できない。その場合，点検員などが目視で画像情報を確認しながら判定をするのは非常に作業負担が重い。また，画像マッチング処理によって自動的に判定することも考えられるが，画像マッチング処理は処理負荷が重く，作業効率が極めて悪い。 Further, when photographing the surface to be photographed of a structure, a large amount of image information may be photographed by using a UAV (Unmanned aerial vehicle) such as a drone. In that case, the positional relationship of the image information may not be specified. For example, the UAV may shoot continuously while rising in the vertical direction, move in the horizontal (left-right) direction at a certain point, and then shoot continuously while descending this time. In that case, it is not possible to easily identify from which position the image was moved laterally from the image information alone. In that case, it is very burdensome for an inspector or the like to make a judgment while visually checking the image information. It is also possible to make a judgment automatically by the image matching process, but the image matching process has a heavy processing load and the work efficiency is extremely poor.

構造物の維持管理，とくに損傷状態を把握する際に重要なのは，ひび割れなどの損傷の検知そのものではなく，ひび割れの損傷が構造物においてどのような状態にあるのか，という点である。すなわち，ひび割れはあるものの，点検員の目視による確認は不要であり，そのまま経過観察でよいのか，あるいは，点検員が目視をして損傷状態を実際に確認をしなければならないのか，ということの判別である。 What is important in the maintenance of a structure, especially in grasping the damage state, is not the damage detection itself such as cracks, but the state of the crack damage in the structure. In other words, although there are cracks, it is not necessary to visually check by the inspector, and is it okay to follow up as it is, or is it necessary for the inspector to visually check the damaged state? It is a discrimination.

たとえば，橋梁における鉄筋コンクリートの床板の下面のひび割れと損傷状態は，図９に示すように，状態Ｉ（潜伏期），状態ＩＩ（進展期），状態ＩＩＩ（加速期），状態ＩＶ（劣化期）に分類される。状態Ｉは一方向のひび割れの状態であり，状態ＩＩは二方向のひび割れの状態であり，状態ＩＩＩはひび割れの網細化と角落ちの状態であり，状態ＩＶは床板の陥没が発生する状態である。そして，状態Ｉおよび状態ＩＩは経過観察，状態ＩＩＩは要注意，状態ＩＶは点検員による目視が必要とされている。そのため，状態ＩＶ（場合によっては状態ＩＩＩも）に至るまでは点検員による作業は必要ない。一方，状態ＩＶ（場合によっては状態ＩＩＩも）に至った場合には点検員が現地に赴き，点検作業を行い，補修等の修繕作業を行う。 For example, the cracked and damaged states of the lower surface of the reinforced concrete floor plate in a bridge are in state I (incubation period), state II (progression period), state III (acceleration period), and state IV (deterioration period), as shown in FIG. being classified. State I is a one-way crack state, state II is a two-way crack state, state III is a state of crack meshing and corner drop, and state IV is a state in which the floor plate is depressed. Is. Then, state I and state II require follow-up, state III requires caution, and state IV requires visual inspection by an inspector. Therefore, no work by the inspector is required until state IV (and state III in some cases) is reached. On the other hand, when state IV (and state III in some cases) is reached, an inspector goes to the site to perform inspection work and repair work such as repair.

このように，本来であれば，点検員の目視による損傷状態の確認が必要な対象を迅速に判別することが求められているが，従来は，ひび割れそのものを検知することに注力をしており，そこに至るまでの人員不足の問題を解決してはいない。 In this way, it is normally required to quickly identify the target that requires visual confirmation of the damage state by the inspector, but in the past, the focus was on detecting the crack itself. ， The problem of staff shortage leading up to that has not been solved.

そこで本発明者らは，上記課題に鑑み，機械学習の必要ない画像解析的手法によって，構造物のひび割れなどの損傷状態を判定する情報処理システムを発明した。 Therefore, in view of the above problems, the present inventors have invented an information processing system for determining a damaged state such as a crack in a structure by an image analysis method that does not require machine learning.

また，画像情報の位置の関係性についても，目視で行わずにコンピュータで判定する場合には画像マッチング等を行わなければならず，その処理負荷は重い。 Further, regarding the relationship between the positions of the image information, if the judgment is made by a computer instead of visually, image matching or the like must be performed, and the processing load is heavy.

そこで本発明者らは，画像情報の位置する方向関係を自動的に判定できる情報処理システムを発明した。 Therefore, the present inventors have invented an information processing system that can automatically determine the positional relationship in which image information is located.

第１の発明は，構造物の損傷状態を判定する情報処理システムであって，前記情報処理システムは，前記構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部と，前記生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部と，を有する情報処理システムである。 The first invention is an information processing system for determining a damaged state of a structure, wherein the information processing system has a cracked image information generated by using image information obtained by photographing a surface to be photographed of the structure. , An information processing system having a power spectrum processing unit that generates a power spectrum by executing a two-dimensional Fourier conversion process, and a damage state determination processing unit that determines a damage state using the generated power spectrum.

本発明のように構成することで，機械学習を行うことなく，画像解析的手法によって，構造物のひび割れなどの損傷状態を判定することができる。これによって，点検員は，損傷状態が目視点検が必要な場所のみを確認すればよく，人員不足の問題を解消することができる。 With the configuration as in the present invention, it is possible to determine the damaged state such as cracks in the structure by an image analysis method without performing machine learning. As a result, the inspector only has to check the damaged state only in the place where the visual inspection is necessary, and the problem of the shortage of personnel can be solved.

上述の発明において，前記パワースペクトル処理部は，前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，前記損傷状態判定処理部は，前記生成したパワースペクトル画像情報から，前記パワースペクトルの回帰直線を算出することで，損傷状態を判定する，情報処理システムのように構成することができる。 In the above invention, the power spectrum processing unit generates power spectrum image information based on the generated power spectrum, and the damage state determination processing unit generates a regression line of the power spectrum from the generated power spectrum image information. By calculating, it can be configured like an information processing system that determines the damage status.

パワースペクトルの回帰直線を算出することで，撮影対象面に周期性のある損傷が発生しているかを判定することができる。そして周期性のある損傷が発生していない場合には，損傷状態が進んでいないので点検員による目視点検は不要であるが，周期性のある損傷が発生している場合には，点検員による目視点検が必要な場合がある。そのため，本発明を用いることで，目視点検が不要な箇所を除外することができるので，人員不足の問題を解消することができる。 By calculating the regression line of the power spectrum, it is possible to determine whether or not periodic damage has occurred on the surface to be imaged. If no periodic damage has occurred, the inspector does not need to visually inspect because the damage has not progressed, but if periodic damage has occurred, the inspector will do it. Visual inspection may be required. Therefore, by using the present invention, it is possible to exclude the parts that do not require visual inspection, and it is possible to solve the problem of shortage of personnel.

上述の発明において，前記損傷状態判定処理部は，前記算出した回帰直線の本数が２本以上の場合，スペクトル強度を算出することで，損傷状態を判定する，情報処理システムのように構成することができる。 In the above-described invention, the damage state determination processing unit is configured like an information processing system that determines the damage state by calculating the spectral intensity when the number of the calculated regression lines is two or more. Can be done.

パワースペクトルの回帰直線が２本以上あり，周期性のある損傷が発生している場合であっても，損傷状態の進み具合によっては，点検員による目視点検が不要な場合もある。そのため，スペクトル強度によって損傷状態をさらに細分化して判定することで，点検員による目視点検が必要な損傷状態と不要な損傷状態とを判定することができる。そのため，目視点検が不要な箇所をさらに除外することができるので，人員不足の問題を解消することができる。 Even if there are two or more regression lines in the power spectrum and periodic damage has occurred, visual inspection by an inspector may not be necessary depending on the progress of the damage state. Therefore, by further subdividing the damage state according to the spectral intensity, it is possible to determine the damage state that requires visual inspection by an inspector and the damage state that does not. Therefore, it is possible to further exclude the parts that do not require visual inspection, and it is possible to solve the problem of personnel shortage.

上述の発明において，前記損傷状態判定処理部は，前記算出した回帰直線の本数が１本の場合，前記スペクトル強度を算出せずに，あらかじめ定めた損傷状態であることを判定する，情報処理システムのように構成することができる。 In the above-described invention, the damage state determination processing unit determines that the damage state is a predetermined damage state without calculating the spectral intensity when the number of the calculated regression lines is one. It can be configured as follows.

一般的に回帰直線の本数が一本の場合には周期性のある損傷は発生していないと考えられる。そのため，損傷状態は進んでいないと考えられるので，それを一つの状態と捉え，あらかじめ定めた損傷状態と判定してもよい。 Generally, when the number of regression lines is one, it is considered that no periodic damage has occurred. Therefore, since it is considered that the damaged state has not progressed, it may be regarded as one state and judged as a predetermined damaged state.

上述の発明において，前記パワースペクトル処理部は，前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，前記損傷状態判定処理部は，前記生成したパワースペクトルを用いてスペクトル強度を算出することで，損傷状態を判定する，情報処理システムのように構成することができる。 In the above invention, the power spectrum processing unit generates power spectrum image information based on the generated power spectrum, and the damage state determination processing unit calculates the spectral intensity using the generated power spectrum. ， Can be configured like an information processing system to determine the damage status.

周期性のある損傷を重視しない場合には，損傷状態の程度をスペクトル強度によって特定することができる。これによっても，損傷状態を複数の段階に分けることができるので，点検員による目視点検が必要な損傷状態と不要な損傷状態とを判定することができる。そのため，目視点検が不要な箇所をさらに除外することができるので，人員不足の問題を解消することができる。 If no emphasis is placed on periodic damage, the degree of damage can be specified by spectral intensity. This also allows the damage state to be divided into a plurality of stages, so that it is possible to determine between the damage state that requires visual inspection by an inspector and the damage state that does not. Therefore, it is possible to further exclude the parts that do not require visual inspection, and it is possible to solve the problem of personnel shortage.

上述の発明において，前記情報処理システムは，前記構造物の撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，を有しており，前記パワースペクトル生成処理部は，前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成し，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，情報処理システムのように構成することができる。 In the above-described invention, the information processing system includes a direction determination processing unit for determining the direction in which at least two image information images of the imaging target surface of the structure are located, and the power spectrum generation processing. The unit generates a power spectrum by executing a two-dimensional Fourier transform process on the image information obtained by superimposing the at least two image information, and the direction determination processing unit generates the spectrum of the generated power spectrum. It can be configured like an information processing system that determines the direction in which the two image information is located by using the intensity.

構造物の撮影対象面を撮影した画像情報の数が多数にわたる場合，画像情報同士の位置関係の把握は重要となる。そのため，ある画像情報からは縦方向に，ある画像情報からは横方向に移動したことを，自動的に判定できれば，作業効率の向上につながる。 When the number of image information obtained by photographing the image target surface of the structure is large, it is important to understand the positional relationship between the image information. Therefore, if it can be automatically determined that a certain image information has moved in the vertical direction and a certain image information has moved in the horizontal direction, the work efficiency will be improved.

本発明のように構成することで，２枚の画像情報の位置する方向関係を自動的に判定できる。また，画像マッチング処理を用いないので，その処理負荷も大きくない。 With the configuration as in the present invention, the positional relationship between the two image information can be automatically determined. Moreover, since the image matching process is not used, the processing load is not large.

第７の発明は，少なくとも２枚の画像情報の位置する方向を判定する情報処理システムであって，撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部と，前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部と，を有しており，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，情報処理システムである。 The seventh invention is an information processing system that determines the direction in which at least two image information is located, and is a direction determination processing unit that determines the direction in which at least two image information images of the surface to be imaged are located. It has a power spectrum generation processing unit that generates a power spectrum generated by executing a two-dimensional Fourier transform process on the image information obtained by superimposing the at least two image information, and has the above-mentioned direction. The determination processing unit is an information processing system that determines the direction in which the two image information is located by using the spectral intensity of the generated power spectrum.

本発明のようにパワースペクトルを用いて判定することで，２枚の画像情報の位置する方向関係を判定できる。特に連続的に撮影を続ける場合には，どの画像情報からは縦方向に，どの画像情報からは横方向に移動したことを，自動的に判定できるので，作業効率の向上につながる。 By making a determination using a power spectrum as in the present invention, it is possible to determine the positional relationship between the positions of the two image information. In particular, when continuous shooting is continued, it is possible to automatically determine which image information has moved in the vertical direction and which image information has moved in the horizontal direction, which leads to improvement in work efficiency.

上述の発明において，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度が所定範囲内の場合には，関連性のない画像情報と判定し，前記生成したパワースペクトルのスペクトル強度が所定範囲外の場合には，スペクトル強度の強い方向の軸を，画像情報の位置する方向と判定する，情報処理システムのように構成することができる。 In the above-described invention, when the spectral intensity of the generated power spectrum is within a predetermined range, the direction determination processing unit determines that the image information is irrelevant, and the spectral intensity of the generated power spectrum is within the predetermined range. In the case of the outside, it can be configured like an information processing system that determines the axis in the direction in which the spectral intensity is strong as the direction in which the image information is located.

画像情報の位置する方向関係は，本発明のような処理を用いて判定することができる。 The directional relationship in which the image information is located can be determined by using a process as in the present invention.

本発明のプログラムをコンピュータに読み込ませて実行することで，第１の発明を実現することができる。すなわち，コンピュータを，構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部，生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部，として機能させる構造物損傷状態判定プログラムのように構成することができる。 The first invention can be realized by loading the program of the present invention into a computer and executing the program. That is, a computer is generated by a power spectrum processing unit that generates a power spectrum by executing a two-dimensional Fourier transform process on the cracked image information generated by using the image information obtained by photographing the image target surface of the structure. It can be configured like a structure damage state determination program that functions as a damage state determination processing unit that determines the damage state using the power spectrum.

本発明のプログラムをコンピュータに読み込ませて実行することで，第７の発明を実現することができる。すなわち，コンピュータを，撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部，として機能させる情報処理プログラムであって，前記方向判定処理部は，前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，情報処理プログラムのように構成することができる。 The seventh invention can be realized by loading the program of the present invention into a computer and executing the program. That is, the computer is subjected to a two-dimensional Fourier transform on the image information obtained by superimposing the at least two image information on the direction determination processing unit that determines the direction in which the at least two image information images of the surface to be imaged are located. An information processing program that functions as a power spectrum generation processing unit that generates a power spectrum generated by executing processing, and the direction determination processing unit uses the spectral intensity of the generated power spectrum to perform the above 2 It can be configured like an information processing program that determines the direction in which the image information of a sheet is located.

本発明の情報処理システムを用いることで，機械学習の必要ない画像解析的手法によって，構造物のひび割れなどの損傷状態を判定することができる。これによって，点検員が現地に赴き点検作業を行うことを減らし，人員不足の問題を解決することができる。 By using the information processing system of the present invention, it is possible to determine a damaged state such as a crack in a structure by an image analysis method that does not require machine learning. As a result, it is possible to reduce the number of inspectors who go to the site to perform inspection work and solve the problem of staff shortage.

また，本発明の情報処理システムを用いることで，画像情報の位置関係を自動的に判定できる。 Further, by using the information processing system of the present invention, the positional relationship of the image information can be automatically determined.

本発明の情報処理システムの全体の構成の一例を模式的に示す図である。It is a figure which shows an example of the whole structure of the information processing system of this invention schematically. 本発明の情報処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示す図である。It is a figure which shows typically an example of the hardware composition of the computer used in the information processing system of this invention. 本発明の情報処理システムの全体の処理プロセスの一例を示すフローチャートである。It is a flowchart which shows an example of the whole processing process of the information processing system of this invention. ひび割れ画像情報，それに対応するパワースペクトル画像情報，およびそれらに基づいて判定した損傷状態の一例の対応関係を模式的に示す図である。It is a figure which shows the correspondence relationship of the crack image information, the corresponding power spectrum image information, and an example of the damage state determined based on them. 撮影対象を撮影した画像情報の一例を示す図である。It is a figure which shows an example of the image information which photographed the image | subject. ひび割れ画像情報の一例を示す図である。It is a figure which shows an example of a crack image information. パワースペクトル画像情報の一例を示す図である。It is a figure which shows an example of power spectrum image information. 損傷状態の判定結果を表示する画面の一例を示す図である。It is a figure which shows an example of the screen which displays the determination result of the damage state. 橋梁における鉄筋コンクリートの床板の下面のひび割れと損傷状態の分類を示す図である。It is a figure which shows the classification of the crack and the damage state of the lower surface of the reinforced concrete floor board in a bridge. 実施例２における情報処理システムの全体の構成の一例を模式的に示す図である。It is a figure which shows an example of the whole structure of the information processing system in Example 2 schematically. 実施例２において，横方向に移動している画像情報とそのパワースペクトル画像情報の一例を模式的に示す図である。FIG. 2 is a diagram schematically showing an example of image information moving in the lateral direction and its power spectrum image information in the second embodiment. 実施例２において，縦方向に移動している画像情報とそのパワースペクトル画像情報を模式的に示す図である。FIG. 2 is a diagram schematically showing image information moving in the vertical direction and its power spectrum image information in Example 2. 実施例２において，関連のない画像情報とそのパワースペクトル画像情報を模式的に示す図である。It is a figure which shows typically the irrelevant image information and the power spectrum image information in Example 2. FIG.

本発明の情報処理システム１の全体のシステム構成の一例を図１に，情報処理システム１で用いるコンピュータのハードウェア構成の一例を図２に示す。 FIG. 1 shows an example of the overall system configuration of the information processing system 1 of the present invention, and FIG. 2 shows an example of the hardware configuration of the computer used in the information processing system 1.

情報処理システム１は，コンピュータによって実現される。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，ディスプレイなどの表示装置７２と，情報の入力を行う入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報を通信する通信装置７４とを有している。なお，コンピュータがタッチパネルディスプレイを備えている場合には表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。 The information processing system 1 is realized by a computer. The computer includes an arithmetic unit 70 such as a CPU that executes arithmetic processing of a program, a storage device 71 such as a RAM or a hard disk for storing information, a display device 72 such as a display, and an input device 73 for inputting information. It has a communication device 74 for communicating the processing result of the arithmetic unit 70 and the information stored in the storage device 71. When the computer is provided with a touch panel display, the display device 72 and the input device 73 may be integrally configured. Touch panel displays are often used in portable communication terminals such as tablet computers and smartphones, but are not limited thereto.

タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。 The touch panel display is a device in which the functions of the display device 72 and the input device 73 are integrated in that input can be performed directly on the display with a predetermined input device (such as a pen for a touch panel) or a finger.

情報処理システム１は一台のコンピュータによって実現されていてもよいが，その一部または全部の機能が複数のコンピュータによって実現されていてもよい。この場合のコンピュータとして，たとえばクラウドサーバであってもよい。 The information processing system 1 may be realized by one computer, but some or all of its functions may be realized by a plurality of computers. The computer in this case may be, for example, a cloud server.

本発明の情報処理システム１における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。 Each means in the information processing system 1 of the present invention is only logically distinguished in its function, and may form the same area physically or substantially.

撮影装置３は，構造物における撮影対象面を撮影する装置であって，デジタルカメラなどを用いることができる。デジタルカメラのほかにも，ステレオカメラなどの奥行方向の距離を画像とともに得られる装置，偏光カメラなどの立体形状の抽出情報を付加できる装置を用いることもできる。また，撮影装置３を車両やＵＡＶなどの移動体に搭載し，構造物における撮影対象面を撮影してもよい。 The photographing device 3 is a device for photographing a surface to be photographed in a structure, and a digital camera or the like can be used. In addition to digital cameras, devices such as stereo cameras that can obtain the distance in the depth direction together with images, and devices such as polarized cameras that can add stereoscopic shape extraction information can also be used. Further, the photographing device 3 may be mounted on a moving body such as a vehicle or a UAV to photograph the surface to be photographed in the structure.

制御端末２は，本発明の情報処理システム１における処理を実行するコンピュータである。制御端末２は，画像情報入力受付処理部２０と画像情報記憶部２１とひび割れ抽出処理部２２とパワースペクトル処理部２３と損傷状態判定処理部２４と判定結果出力処理部２５とを有する。 The control terminal 2 is a computer that executes processing in the information processing system 1 of the present invention. The control terminal 2 has an image information input reception processing unit 20, an image information storage unit 21, a crack extraction processing unit 22, a power spectrum processing unit 23, a damage state determination processing unit 24, and a determination result output processing unit 25.

画像情報入力受付処理部２０は，撮影装置３から構造物の撮影対象面を撮影した画像情報の入力を受け付ける。当該画像情報が構造物のどこを撮影対象面として撮影したかを識別可能とするため，位置情報や識別情報（これらを総称して，単に「撮影対象識別情報等」という）などの所定の情報の入力を受け付けてもよい。たとえば構造物の撮影対象面が橋梁の床板の場合，その床板のどこを撮影したかがわかる識別情報等の入力を受け付けてもよい。画像情報入力受付処理部２０は，入力を受け付けた画像情報，撮影対象識別情報等を，後述する画像情報記憶部２１に記憶する。なお，撮影日時の特定のため，撮影日時の情報の入力を受け付けて画像情報記憶部２１に記憶させてもよい。なお，撮影した画像情報ごとに入力を受け付けてもよいし，連続する複数の画像情報を一つの画像情報に合成した画像情報の入力を受け付けてもよい。また，撮影した画像情報ごとに入力を受け付けて，連続する複数の画像情報を一つの画像情報として合成して画像情報記憶部２１に記憶させてもよい。 The image information input reception processing unit 20 receives input of image information obtained by photographing the image target surface of the structure from the image pickup device 3. Predetermined information such as position information and identification information (collectively, simply referred to as "shooting target identification information, etc.") so that the image information can identify where in the structure was shot as the shooting target surface. You may accept the input of. For example, when the surface to be photographed of the structure is the floor plate of a bridge, input of identification information or the like indicating where the image was taken on the floor plate may be accepted. The image information input reception processing unit 20 stores the image information, the shooting target identification information, and the like for which the input has been received in the image information storage unit 21, which will be described later. In order to specify the shooting date and time, the image information storage unit 21 may accept the input of the shooting date and time information. It should be noted that input may be accepted for each captured image information, or input of image information obtained by synthesizing a plurality of consecutive image information into one image information may be accepted. Further, input may be accepted for each captured image information, and a plurality of consecutive image information may be combined as one image information and stored in the image information storage unit 21.

画像情報記憶部２１は，画像情報入力受付処理部２０で入力を受け付けた画像情報，撮影対象識別情報等，撮影日時の情報などを対応づけて記憶する。 The image information storage unit 21 stores the image information received by the image information input reception processing unit 20, the shooting target identification information, the shooting date and time information, and the like in association with each other.

ひび割れ抽出処理部２２は，画像情報記憶部２１に記憶した画像情報から公知の手法を用いて，ひび割れを抽出する。具体的には，画像情報記憶部２１に記憶した画像情報について，その画像情報が正面から撮影した状態となるような補正処理，ノイズ除去処理などを実行して，処理対象とする画像情報を整える。そしてウェーブレット変換，２値化処理などを実行することで，画像情報からひび割れを抽出する。ひび割れを抽出した画像情報をひび割れ画像情報とする。画像情報からひび割れを抽出する処理は上記に限定するものではなく，さまざまな公知の手法を用いることができる。なお，ひび割れ抽出処理部２２は，上述の各処理を実行する前に，あるいはいずれかの過程において，グレースケールに画像情報を変換する。 The crack extraction processing unit 22 extracts cracks from the image information stored in the image information storage unit 21 by using a known method. Specifically, the image information stored in the image information storage unit 21 is subjected to correction processing, noise removal processing, etc. so that the image information is in a state of being photographed from the front, and the image information to be processed is prepared. .. Then, cracks are extracted from the image information by executing wavelet transform, binarization, and the like. The image information obtained by extracting the cracks is referred to as the crack image information. The process of extracting cracks from image information is not limited to the above, and various known methods can be used. The crack extraction processing unit 22 converts the image information into gray scale before or in any of the above-mentioned processes.

パワースペクトル処理部２３は，ひび割れ抽出処理部２２において生成したひび割れ画像情報に対して２次元フーリエ変換処理を実行することでパワースペクトルを生成する。２次元フーリエ変換処理によって変換されたパワースペクトルは，ひび割れ画像情報の空間周波数データである。そして，生成したパワースペクトルについて，ｘ軸を水平周波数，ｙ軸を垂直周波数とし，各周波数のスペクトル強度を白黒などの濃淡でプロットした画像情報（パワースペクトル画像情報）を生成する。この画像情報は，たとえば背景を黒色，プロットするパワースペクトルの点を白色で示すなど，任意の方法で画像情報を生成することができる。 The power spectrum processing unit 23 generates a power spectrum by executing a two-dimensional Fourier transform process on the crack image information generated by the crack extraction processing unit 22. The power spectrum converted by the two-dimensional Fourier transform process is the spatial frequency data of the cracked image information. Then, with respect to the generated power spectrum, the x-axis is the horizontal frequency and the y-axis is the vertical frequency, and the spectral intensity of each frequency is plotted in shades such as black and white to generate image information (power spectrum image information). This image information can be generated by any method, for example, the background is shown in black and the points of the power spectrum to be plotted are shown in white.

損傷状態判定処理部２４は，パワースペクトル処理部２３で生成したパワースペクトルに基づくパワースペクトル画像情報を用いて損傷状態の判定処理を実行する。すなわち，パワースペクトル画像情報における各点（ひび割れ画像情報の空間周波数データ）の回帰直線を求め，その回帰直線の本数を判定する。そしてパワースペクトル画像情報における回帰直線の本数および／またはスペクトル強度に基づいて，損傷状態を判定する。たとえば，パワースペクトル画像情報の直線の本数が１本である場合にはあらかじめ定めた損傷状態（たとえば状態Ｉ）であることを判定し，パワースペクトル画像情報の直線の本数が２本以上である場合，スペクトル強度に基づいて損傷状態（たとえば状態ＩＩ乃至状態ＩＶ）を判定する。損傷状態は，パワースペクトル画像情報におけるパワースペクトルを示す点がどの程度あるかを示すスペクトル強度の判定基準の閾値と，当該パワースペクトル画像情報におけるスペクトル強度とを比較することで判定できる。 The damage state determination processing unit 24 executes the damage state determination processing using the power spectrum image information based on the power spectrum generated by the power spectrum processing unit 23. That is, the regression line of each point (spatial frequency data of the cracked image information) in the power spectrum image information is obtained, and the number of the regression lines is determined. Then, the damage state is determined based on the number of regression lines and / or the spectral intensity in the power spectrum image information. For example, when the number of straight lines in the power spectrum image information is one, it is determined that the state is in a predetermined damage state (for example, state I), and when the number of straight lines in the power spectrum image information is two or more. , The damaged state (eg, state II to state IV) is determined based on the spectral intensity. The damage state can be determined by comparing the threshold of the spectral intensity determination standard, which indicates how many points indicate the power spectrum in the power spectrum image information, with the spectral intensity in the power spectrum image information.

たとえば回帰直線の本数が１本であれば状態Ｉ，回帰直線の本数が２本である場合には，状態ＩＩ，状態ＩＩＩ，状態ＩＶのいずれかとして判定する。状態ＩＩから状態ＩＶのいずれの状態にあるかは，あらかじめ設定したスペクトル強度判定基準の閾値と，パワースペクトル画像情報におけるパワースペクトルを示す点に基づくスペクトル強度とを比較して，状態ＩＩ，状態ＩＩＩ，状態ＩＶと判定する。スペクトル強度判定基準の閾値と，パワースペクトル画像情報におけるパワースペクトルを示す点に基づくスペクトル強度との比較には，さまざまな比較方法があり，たとえば輝度の大きさを用いることができる。この場合，スペクトル強度の値としては画像情報の全体における輝度の平均値を用い，損傷状態ごとにスペクトル強度判定基準の閾値を設けておく。そして処理対象とするパワースペクトル画像情報の輝度の平均値を算出し，当該パワースペクトル画像情報がどの損傷状態にあるのかを，閾値と比較することで判定できる。 For example, if the number of regression lines is one, it is determined as state I, and if the number of regression lines is two, it is determined as one of state II, state III, and state IV. Whether the state is from state II to state IV is determined by comparing the threshold value of the spectral intensity criterion set in advance with the spectral intensity based on the point indicating the power spectrum in the power spectrum image information. ， Judge as state IV. There are various comparison methods for comparing the threshold value of the spectral intensity criterion and the spectral intensity based on the point indicating the power spectrum in the power spectrum image information, and for example, the magnitude of brightness can be used. In this case, the average value of the luminance in the entire image information is used as the value of the spectral intensity, and the threshold value of the spectral intensity determination standard is set for each damage state. Then, the average value of the brightness of the power spectrum image information to be processed can be calculated, and the damaged state of the power spectrum image information can be determined by comparing with the threshold value.

損傷状態判定処理部２４におけるほかの比較方法としては，たとえばパワースペクトルを示す点の個数を用いることができる。この場合，スペクトル強度の値としては，画像情報の全体におけるパワースペクトルを示す点の個数を用い，損傷状態ごとにスペクトル強度判定基準の閾値を設けておく。そして処理対象とするパワースペクトル画像情報における点の個数を算出し，当該パワースペクトル画像情報がどの損傷状態にあるのかを，閾値と比較することで判定できる。 As another comparison method in the damage state determination processing unit 24, for example, the number of points showing the power spectrum can be used. In this case, as the spectral intensity value, the number of points indicating the power spectrum in the entire image information is used, and a threshold value for the spectral intensity determination standard is set for each damage state. Then, the number of points in the power spectrum image information to be processed can be calculated, and the damaged state of the power spectrum image information can be determined by comparing with the threshold value.

これ以外の比較方法として，スペクトル強度の値としてパワースペクトルを示す点の密度を用いるなど，いかなる比較方法を用いてもよい。 As another comparison method, any comparison method may be used, such as using the density of points indicating the power spectrum as the value of the spectral intensity.

損傷状態判定処理部２４は，状態ＩＶはもっとも強度が強い（パワースペクトル画像情報では白が多い）とし，状態ＩＩは直線が２本ある場合において強度が弱い（パワースペクトル画像情報では白が少ない）とし，状態ＩＩＩは状態ＩＩと状態ＩＶの間の強度として設定する。 The damage state determination processing unit 24 determines that state IV has the strongest intensity (more white in the power spectrum image information), and state II has weaker intensity when there are two straight lines (less white in the power spectrum image information). And state III is set as the intensity between state II and state IV.

図４にひび割れ画像情報，それに対応するパワースペクトル画像情報，およびそれらに基づいて判定した損傷状態の一例を模式的に示す。 FIG. 4 schematically shows the crack image information, the corresponding power spectrum image information, and an example of the damage state determined based on them.

損傷状態判定処理部２４は，ここでは４段階の損傷状態で判定をしたが，任意の段階数で損傷状態を判定すればよい。たとえば回帰直線が１本の場合にも，２本以上の場合と同様に，スペクトル強度判定基準の閾値を設け，パワースペクトル画像情報におけるパワースペクトルを示す点に基づくスペクトル強度の値と比較することで，損傷状態を複数の段階数で判定をしてもよい。 Here, the damage state determination processing unit 24 determines the damage state in four stages, but the damage state may be determined in any number of stages. For example, even when there is one regression line, as in the case of two or more lines, a threshold of the spectral intensity criterion is set and compared with the spectral intensity value based on the point indicating the power spectrum in the power spectrum image information. ， The damage state may be judged in multiple stages.

損傷状態判定処理部２４は，処理対象としたパワースペクトル画像情報に対応する画像情報（画像情報入力受付処理部２０で入力を受け付けた画像情報）に，判定した損傷状態を対応づけて，画像情報記憶部２１に記憶させてもよい。 The damage state determination processing unit 24 associates the determined damage state with the image information (image information received by the image information input reception processing unit 20) corresponding to the power spectrum image information to be processed, and image information. It may be stored in the storage unit 21.

判定結果出力処理部２５は，損傷状態判定処理部２４での損傷状態の判定結果を出力する。この際に，画像情報入力受付処理部２０で入力を受け付けた画像情報，ひび割れ画像情報などを合わせて表示をしてもよい。また，どの撮影対象に対する判定であるのかを示すため，撮影対象識別情報等を合わせて表示をしてもよい。 The determination result output processing unit 25 outputs the determination result of the damage state in the damage state determination processing unit 24. At this time, the image information received by the image information input reception processing unit 20, the cracked image information, and the like may be displayed together. In addition, in order to indicate which shooting target the judgment is for, the shooting target identification information and the like may be displayed together.

つぎに本発明の情報処理システム１の処理プロセスの一例を図３のフローチャートを用いて説明する。以下の説明では，撮影対象として橋梁の床板を撮影した場合を説明する。 Next, an example of the processing process of the information processing system 1 of the present invention will be described with reference to the flowchart of FIG. In the following explanation, the case where the floor plate of the bridge is photographed as the object to be photographed will be described.

まず撮影担当者は，撮影装置３で撮影対象である橋梁の床板を撮影する（Ｓ１００）。そして画像情報入力受付処理部２０は，撮影装置３から撮影した画像情報の入力を受け付け，画像情報記憶部２１に記憶させる（Ｓ１１０）。入力を受け付けた画像情報の一例を図５に示す。この際の画像情報は，ひび割れなどの損傷が判別できる程度の解像度で撮影をしている。 First, the person in charge of photography photographs the floor plate of the bridge to be photographed by the photographing apparatus 3 (S100). Then, the image information input reception processing unit 20 receives the input of the image information taken from the photographing device 3 and stores it in the image information storage unit 21 (S110). FIG. 5 shows an example of the image information that has received the input. The image information at this time is taken at a resolution that allows damage such as cracks to be discriminated.

画像情報の入力を受け付ける際に，撮影対象となる床板を識別するための撮影対象識別情報等，撮影日時の情報などの入力を受け付けて，画像情報記憶部２１に記憶させてもよい。 When accepting the input of the image information, the image information storage unit 21 may accept the input of the shooting date and time information such as the shooting target identification information for identifying the floor plate to be shot.

そして所定のタイミングで，ひび割れ抽出処理部２２は，画像情報記憶部２１に記憶した画像情報を抽出し，その画像情報からひび割れの抽出処理を実行し，ひび割れ画像情報を生成する（Ｓ１２０）。図５の画像情報から，ひび割れ抽出処理部２２が公知のひび割れの抽出処理を実行してひび割れを抽出したひび割れ画像情報の一例を図６に示す。 Then, at a predetermined timing, the crack extraction processing unit 22 extracts the image information stored in the image information storage unit 21, executes the crack extraction process from the image information, and generates the crack image information (S120). FIG. 6 shows an example of crack image information obtained by the crack extraction processing unit 22 executing a known crack extraction process from the image information of FIG. 5 to extract cracks.

そして所定のタイミングで，パワースペクトル処理部２３が，Ｓ１２０で生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成する（Ｓ１３０）。そして生成したパワースペクトルに基づいて，パワースペクトル画像情報を生成する（Ｓ１３０）。図６のひび割れ画像情報に対して，パワースペクトル処理部２３が２次元フーリエ変換処理を実行し，生成したパワースペクトル画像情報の一例を図７に示す。 Then, at a predetermined timing, the power spectrum processing unit 23 generates a power spectrum by executing a two-dimensional Fourier transform process on the cracked image information generated in S120 (S130). Then, the power spectrum image information is generated based on the generated power spectrum (S130). FIG. 7 shows an example of the power spectrum image information generated by the power spectrum processing unit 23 executing the two-dimensional Fourier transform processing on the cracked image information of FIG.

パワースペクトル画像情報を生成すると，損傷状態判定処理部２４は，パワースペクトル画像情報における各点の回帰直線を求める（Ｓ１４０）。そして回帰直線の数が２本以上である場合（Ｓ１５０），そのスペクトル強度を算出する（Ｓ１６０）。 When the power spectrum image information is generated, the damage state determination processing unit 24 obtains a regression line of each point in the power spectrum image information (S140). Then, when the number of regression lines is two or more (S150), the spectral intensity thereof is calculated (S160).

損傷状態判定処理部２４は，直線の本数および／またはスペクトル強度に基づいて，損傷状態を判定する（Ｓ１７０）。すなわち，Ｓ１４０で求めた回帰直線が１本の場合には状態Ｉと判定し，回帰直線が２本以上である場合には，スペクトル強度を，たとえばパワースペクトル画像情報の輝度に基づいて算出し，その算出したスペクトル強度の値と，状態ごとの閾値とを比較することで，状態ＩＩから状態ＩＶのいずれかであるかを判定する。 The damage state determination processing unit 24 determines the damage state based on the number of straight lines and / or the spectral intensity (S170). That is, when there is one regression line obtained in S140, it is determined as state I, and when there are two or more regression lines, the spectral intensity is calculated based on, for example, the brightness of the power spectrum image information. By comparing the calculated spectral intensity value with the threshold value for each state, it is determined whether the state II is one of the states IV.

パワースペクトル画像情報が図７の場合，損傷状態判定処理部２４は，回帰直線が２本求められ，またスペクトル強度も弱いので，状態ＩＩとして判定する。 When the power spectrum image information is shown in FIG. 7, the damage state determination processing unit 24 determines as state II because two regression lines are obtained and the spectral intensity is weak.

そして判定結果出力処理部２５は，図８に示すように，ひび割れ画像情報と損傷状態の判定結果とを画面に表示する。 Then, as shown in FIG. 8, the determination result output processing unit 25 displays the crack image information and the determination result of the damage state on the screen.

本発明は，橋梁のコンクリート部材に対して，ひび割れなどの損傷が生じる場合，最初に一方向のひび割れが繰り返し現れ，さらに損傷の程度が進むと二方向（格子状）のひび割れが発生してくる周期性に着目して処理を行ったものである。そのため，撮影対象となる構造物は橋梁が一例としてあげられるが，それに限定するものではなく，格子状のひび割れが生じる構造物であれば撮影対象とすることができ，また本発明の処理の対象とすることができる。たとえばコンクリート建物なども該当する。なお，格子状とは，ひび割れが直交していなくてもよく，たとえばＸ字状のひび割れなども含む。 In the present invention, when damage such as cracks occurs to a concrete member of a bridge, one-way cracks appear repeatedly at first, and as the degree of damage progresses, two-way (lattice-like) cracks occur. The processing was performed focusing on the periodicity. Therefore, the structure to be photographed is an example of a bridge, but the structure is not limited to that, and any structure having grid-like cracks can be photographed, and is the object of the processing of the present invention. Can be. For example, a concrete building is also applicable. The grid shape does not have to be orthogonal to each other, and includes, for example, an X-shaped crack.

損傷状態判定処理部２４は，パワースペクトル画像情報から回帰直線を抽出し，回帰直線の本数が２本以上の場合にスペクトル強度を算出していたが，回帰直線を抽出せずに，スペクトル強度を算出し，損傷状態を判定してもよい。 The damage state determination processing unit 24 extracts a regression line from the power spectrum image information and calculates the spectral intensity when the number of regression lines is two or more, but the spectral intensity is calculated without extracting the regression line. It may be calculated and the damage condition may be determined.

本発明の情報処理システム１の変形例を以下，説明する。 A modification of the information processing system 1 of the present invention will be described below.

本実施例においては，構造物の撮影対象面を撮影装置３で移動しながら撮影しており，そこで撮影した画像情報同士の位置する方向関係を特定する場合である。本実施例における情報処理システム１の全体の構成の一例を図１０に示す。 In this embodiment, the imaging target surface of the structure is photographed while being moved by the imaging device 3, and the positional relationship between the image information photographed there is specified. FIG. 10 shows an example of the overall configuration of the information processing system 1 in this embodiment.

本実施例における情報処理システム１では，方向判定処理部２６を備えている。 The information processing system 1 in this embodiment includes a direction determination processing unit 26.

方向判定処理部２６は，撮影装置３で撮影して画像情報入力受付処理部２０で入力を受け付けた画像情報のうち，少なくとも２枚の画像情報を用いて，その画像情報間の位置する方向を判定する。具体的には，２枚の画像情報を重ね合わせた画像情報について，パワースペクトル処理部２３において，２次元フーリエ変換処理を実行させてパワースペクトルを生成させる。２次元フーリエ変換処理によって変換されたパワースペクトルは，２枚の画像情報を重ね合わせた画像情報の空間周波数データである。そして，生成したパワースペクトルについて，ｘ軸を水平周波数，ｙ軸を垂直周波数とし，各周波数のスペクトル強度を白黒などの濃淡でプロットした画像情報（パワースペクトル画像情報）を生成する。この画像情報は，たとえば背景を黒色，プロットするパワースペクトルの点を白色で示すなど，任意の方法で画像情報を生成することができる。 The direction determination processing unit 26 uses at least two pieces of image information among the image information taken by the photographing apparatus 3 and received by the image information input receiving processing unit 20 to determine the positional direction between the image information. judge. Specifically, the power spectrum processing unit 23 executes a two-dimensional Fourier transform process on the image information obtained by superimposing the two image information to generate a power spectrum. The power spectrum converted by the two-dimensional Fourier transform process is the spatial frequency data of the image information obtained by superimposing the two image information. Then, with respect to the generated power spectrum, the x-axis is the horizontal frequency and the y-axis is the vertical frequency, and the spectral intensity of each frequency is plotted in shades such as black and white to generate image information (power spectrum image information). This image information can be generated by any method, for example, the background is shown in black and the points of the power spectrum to be plotted are shown in white.

このように得られたパワースペクトル画像情報を用いて，方向判定処理部２６は，パワースペクトル画像情報における各点（重ね合わせた画像情報の空間周波数データ）の回帰直線を求め，その回帰直線の本数を判定する。そしてパワースペクトル画像情報における回帰直線の本数および／またはスペクトル強度に基づいて，画像情報の位置する方向関係を判定する。 Using the power spectrum image information obtained in this way, the direction determination processing unit 26 obtains a regression line at each point (spatial frequency data of the superimposed image information) in the power spectrum image information, and the number of the regression lines. To judge. Then, the directional relationship in which the image information is located is determined based on the number of regression lines and / or the spectral intensity in the power spectrum image information.

たとえば回帰直線の本数が１本であり，それがｘ軸方向にある場合には，２枚の画像情報は，横方向にある画像情報（横方向に移動した際に撮影された画像情報）であると判定でき，ｙ軸方向にある場合には，２枚の画像情報は縦方向にある画像情報（縦方向に移動した際に撮影された画像情報）であると判定できる。 For example, if the number of regression lines is one and it is in the x-axis direction, the two image information is the image information in the horizontal direction (image information taken when moving in the horizontal direction). If it is in the y-axis direction, it can be determined that the two image information is the image information in the vertical direction (the image information taken when the image is moved in the vertical direction).

また回帰直線の本数が２本の場合には，ｘ軸方向が強いか，ｙ軸方向が強いか，いずれでもないか（ｘ軸方向とｙ軸方向が同程度であるか）を判定することで，２枚の画像情報の位置の方向関係（どちらの方向に移動した際に撮影した画像情報か）を判定する。たとえばｘ軸方向が強い場合には，２枚の画像情報は，横方向にある画像情報（横方向に移動した際に撮影された画像情報）であると判定でき，ｙ軸方向が強い場合には，２枚の画像情報は縦方向にある画像情報（縦方向に移動した際に撮影された画像情報）であると判定できる。また，いずれでもない場合には２枚の画像情報は位置の方向関係としては関連性がない画像情報であると判定できる。 When the number of regression lines is two, it is determined whether the x-axis direction is strong or the y-axis direction is strong, or neither (whether the x-axis direction and the y-axis direction are about the same). Then, the directional relationship between the positions of the two image information (which direction the image information was taken when moving) is determined. For example, when the x-axis direction is strong, it can be determined that the two image information is the image information in the horizontal direction (the image information taken when moving in the horizontal direction), and when the y-axis direction is strong. Can determine that the two image information is the image information in the vertical direction (the image information taken when the image is moved in the vertical direction). If neither is the case, it can be determined that the two image information is irrelevant in terms of the directional relationship of the positions.

ｘ軸方向，ｙ軸方向の強さについては，各軸方向のスペクトル強度を比較することで行える。たとえば，ｘ軸方向のパワースペクトルを示す点がどの程度あるか，ｙ軸方向のパワースペクトルを示す点がどの程度あるかを比較することで，どちらが強いかを判定できる。またｘ軸方向とｙ軸方向のパワースペクトルを示す点によるスペクトル強度の差が所定範囲内（たとえば１０％程度の範囲内）にあれば，いずれでもない（同程度である）と判定することができる。 The intensities in the x-axis direction and the y-axis direction can be determined by comparing the spectral intensities in the respective axial directions. For example, it is possible to determine which is stronger by comparing how many points show the power spectrum in the x-axis direction and how many points show the power spectrum in the y-axis direction. Further, if the difference in spectral intensity between the points indicating the power spectra in the x-axis direction and the y-axis direction is within a predetermined range (for example, within a range of about 10%), it can be determined that neither is the case (similar). can.

スペクトル強度を用いた比較の場合，たとえばｘ軸方向の回帰直線から所定幅（回帰直線を挟んでプラスマイナスのｙ軸方向に所定幅）のパワースペクトルを示す点を含む輝度の平均値と，ｙ軸方向の回帰直線から所定幅（回帰直線を挟んでプラスマイナスのｘ軸方向に所定幅）のパワースペクトルを示す点を含む輝度の平均値とを比較することで，ｘ軸方向の輝度の平均値が高いか，ｙ軸方向の輝度の平均値が高いかを判定し，輝度の平均値が高い方を強い方向の軸と判定できる。またｘ軸方向の輝度とｙ軸方向の輝度の差が所定範囲内であればいずれでもないと判定できる。背景が黒色，パワースペクトルを示す点が白色の場合には，輝度の平均値が高い方が強い方向の軸となり，背景が白色，パワースペクトルを示す点が黒色の場合には，輝度の平均値が低い方が強い方向の軸となる。 In the case of comparison using spectral intensity, for example, the average value of brightness including a point showing a power spectrum of a predetermined width (predetermined width in the plus or minus y-axis direction across the regression line) from a regression line in the x-axis direction, and y. By comparing the average value of the brightness including the points showing the power spectrum of the predetermined width (the predetermined width in the plus and minus x-axis directions across the regression line) from the regression line in the axial direction, the average of the brightness in the x-axis direction. It can be determined whether the value is high or the average value of the brightness in the y-axis direction is high, and the one with the higher average value of the brightness can be determined as the axis in the strong direction. Further, if the difference between the brightness in the x-axis direction and the brightness in the y-axis direction is within a predetermined range, it can be determined that the difference is neither. When the background is black and the point showing the power spectrum is white, the higher the average luminance value is, the stronger the axis is, and when the background is white and the point showing the power spectrum is black, the average luminance value is used. The lower the value, the stronger the axis.

輝度を用いるほか，ｘ軸方向にあるパワースペクトルを示す点の個数，ｙ軸方向にあるパワースペクトルを示す点の個数を用いてもよい。この場合，点の個数が多い方が強い軸であると判定できる。またｘ軸方向，ｙ軸方向のパワースペクトルを示す点の個数の差が所定範囲内である場合には，いずれでもないと判定できる。なお，パワースペクトルを示す点の個数ではなく，全体のパワースペクトルの個数のうち，ｘ軸方向にあるパワースペクトルを示す点の個数の比率，ｙ軸方向にあるパワースペクトルを示す点の個数の比率で判定してもよい。 In addition to using the luminance, the number of points indicating the power spectrum in the x-axis direction and the number of points indicating the power spectrum in the y-axis direction may be used. In this case, it can be determined that the larger the number of points, the stronger the axis. Further, when the difference in the number of points indicating the power spectra in the x-axis direction and the y-axis direction is within a predetermined range, it can be determined that neither is the case. Not the number of points indicating the power spectrum, but the ratio of the number of points indicating the power spectrum in the x-axis direction and the ratio of the number of points indicating the power spectrum in the y-axis direction to the total number of power spectra. May be determined by.

これを模式的に示すのが図１１乃至図１３である。図１１（ａ）は，横方向に位置する２枚の画像情報（横方向に移動する際に撮影した画像情報）を重ね合わせた場合であり，図１１（ｂ）は，その画像情報に２次元フーリエ変換処理を行って得られたパワースペクトル画像情報である。図１１（ｂ）のパワースペクトル画像情報では，ｘ軸方向が強いので，図１１（ａ）の２枚の画像情報は，横方向に移動した画像情報を重ね合わせている（横方向に移動している画像情報である）ことが判定できる。 11 to 13 show this schematically. FIG. 11 (a) shows a case where two image information located in the horizontal direction (image information taken when moving in the horizontal direction) is superimposed, and FIG. 11 (b) shows 2 in the image information. It is the power spectrum image information obtained by performing the dimensional Fourier transform process. Since the power spectrum image information in FIG. 11 (b) is strong in the x-axis direction, the two image information in FIG. 11 (a) superimposes the image information moved in the horizontal direction (moves in the horizontal direction). It can be determined that the image information is used).

図１２（ａ）は，縦方向に位置する２枚の画像情報（縦方向に移動する際に撮影した画像情報）を重ね合わせた場合であり，図１２（ｂ）は，その画像情報に２次元フーリエ変換処理を行って得られたパワースペクトル画像情報である。図１２（ｂ）のパワースペクトル画像情報では，ｙ軸方向が強いので，図１２（ａ）の２枚の画像情報は，縦方向に移動した画像情報を重ね合わせている（縦方向に移動している画像情報である）ことが判定できる。 FIG. 12 (a) shows a case where two image information located in the vertical direction (image information taken when moving in the vertical direction) is superimposed, and FIG. 12 (b) shows 2 in the image information. It is the power spectrum image information obtained by performing the dimensional Fourier transform process. Since the power spectrum image information of FIG. 12 (b) is strong in the y-axis direction, the two image information of FIG. 12 (a) superimposes the image information moved in the vertical direction (moves in the vertical direction). It can be determined that the image information is used).

図１３（ａ）は，関連のない２枚の画像情報を重ね合わせた場合であり，図１３（ｂ）は，その画像情報に２次元フーリエ変換処理を行って得られたパワースペクトル画像情報である。図１３（ｂ）のパワースペクトル画像情報では，ｘ軸方向とｙ軸方向のいずれが強いと判定できないので，図１３（ａ）の２枚の画像情報は，関連性のない画像情報であることを判定できる。 FIG. 13 (a) shows a case where two unrelated image information is superimposed, and FIG. 13 (b) shows the power spectrum image information obtained by performing a two-dimensional Fourier transform process on the image information. be. Since it cannot be determined from the power spectrum image information of FIG. 13 (b) which of the x-axis direction and the y-axis direction is stronger, the two image information of FIG. 13 (a) are irrelevant image information. Can be determined.

以上のように，本実施例２における情報処理システム１を用いることによって，構造物の撮影対象面を撮影した際の２枚の画像情報がどのような方向の位置関係にあるのかを自動的に判定することができる。これは，たとえばドローンなどのＵＡＶを用いて連続的に画像を撮影した場合などで有益である。 As described above, by using the information processing system 1 in the second embodiment, it is possible to automatically determine the positional relationship between the two image information when the image target surface of the structure is photographed. It can be determined. This is useful, for example, when images are continuously taken using a UAV such as a drone.

本実施例２における情報処理システム１は，実施例１と組み合わせてもよいし，独立した機能として備えていてもよいし，またほかの画像処理システムなどと組み合わせてもよい。独立した機能として用いる場合には，構造物の撮影対象面を撮影する場合に限らず，任意の撮影対象を撮影した場合でもよい。 The information processing system 1 in the second embodiment may be combined with the first embodiment, may be provided as an independent function, or may be combined with another image processing system or the like. When used as an independent function, it is not limited to the case of photographing the surface to be photographed of the structure, and may be the case of photographing an arbitrary object to be photographed.

本発明の情報処理システム１を用いることで，機械学習の必要ない画像解析的手法によって，構造物のひび割れなどの損傷状態を判定することができる。これによって，点検員が現地に赴き点検作業を行うことを減らし，人員不足の問題を解決することができる。 By using the information processing system 1 of the present invention, it is possible to determine a damaged state such as a crack in a structure by an image analysis method that does not require machine learning. As a result, it is possible to reduce the number of inspectors who go to the site to perform inspection work and solve the problem of staff shortage.

また，本発明の情報処理システム１を用いることで，画像情報の位置関係を自動的に判定できる。 Further, by using the information processing system 1 of the present invention, the positional relationship of the image information can be automatically determined.

１：情報処理システム
２：制御端末
３：撮影装置
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：ひび割れ抽出処理部
２３：パワースペクトル処理部
２４：損傷状態判定処理部
２５：判定結果出力処理部
２６：方向判定処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置 1: Information processing system 2: Control terminal 3: Imaging device 20: Image information input reception processing unit 21: Image information storage unit 22: Crack extraction processing unit 23: Power spectrum processing unit 24: Damage state determination processing unit 25: Judgment result Output processing unit 26: Direction determination processing unit 70: Arithmetic device 71: Storage device 72: Display device 73: Input device 74: Communication device

Claims (10)

構造物の損傷状態を判定する情報処理システムであって，
前記情報処理システムは，
前記構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部と，
前記生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部と，
を有することを特徴とする情報処理システム。 An information processing system that determines the damaged state of a structure.
The information processing system is
A power spectrum processing unit that generates a power spectrum by executing a two-dimensional Fourier transform process on the cracked image information generated by using the image information obtained by photographing the imaged surface of the structure.
The damage state determination processing unit that determines the damage state using the generated power spectrum, and
An information processing system characterized by having. 前記パワースペクトル処理部は，
前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，
前記損傷状態判定処理部は，
前記生成したパワースペクトル画像情報から，前記パワースペクトルの回帰直線を算出することで，損傷状態を判定する，
ことを特徴とする請求項１に記載の情報処理システム。 The power spectrum processing unit is
Power spectrum image information based on the generated power spectrum is generated.
The damage state determination processing unit is
The damage state is determined by calculating the regression line of the power spectrum from the generated power spectrum image information.
The information processing system according to claim 1. 前記損傷状態判定処理部は，
前記算出した回帰直線の本数が２本以上の場合，スペクトル強度を算出することで，損傷状態を判定する，
ことを特徴とする請求項２に記載の情報処理システム。 The damage state determination processing unit is
When the number of regression lines calculated above is two or more, the damage state is determined by calculating the spectral intensity.
The information processing system according to claim 2, wherein the information processing system is characterized by the above. 前記損傷状態判定処理部は，
前記算出した回帰直線の本数が１本の場合，前記スペクトル強度を算出せずに，あらかじめ定めた損傷状態であることを判定する，
ことを特徴とする請求項３に記載の情報処理システム。 The damage state determination processing unit is
When the number of the calculated regression lines is one, it is determined that the damaged state is determined in advance without calculating the spectral intensity.
The information processing system according to claim 3, wherein the information processing system is characterized by the above. 前記パワースペクトル処理部は，
前記生成したパワースペクトルに基づくパワースペクトル画像情報を生成し，
前記損傷状態判定処理部は，
前記生成したパワースペクトルを用いてスペクトル強度を算出することで，損傷状態を判定する，
ことを特徴とする請求項２に記載の情報処理システム。 The power spectrum processing unit is
Power spectrum image information based on the generated power spectrum is generated.
The damage state determination processing unit is
The damage state is determined by calculating the spectral intensity using the generated power spectrum.
The information processing system according to claim 2, wherein the information processing system is characterized by the above. 前記情報処理システムは，
前記構造物の撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，を有しており，
前記パワースペクトル生成処理部は，
前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成し，
前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，
ことを特徴とする請求項１から請求項５のいずれかに記載の情報処理システム。 The information processing system is
It has a direction determination processing unit that determines the direction in which at least two image information images of the surface to be imaged of the structure are located.
The power spectrum generation processing unit is
A power spectrum is generated by executing a two-dimensional Fourier transform process on the image information obtained by superimposing the at least two image information.
The direction determination processing unit is
Using the spectral intensity of the generated power spectrum, the direction in which the two image information is located is determined.
The information processing system according to any one of claims 1 to 5. 少なくとも２枚の画像情報の位置する方向を判定する情報処理システムであって，
撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部と，
前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部と，を有しており，
前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，
ことを特徴とする情報処理システム。 An information processing system that determines the direction in which at least two image information is located.
A direction determination processing unit that determines the direction in which at least two image information images of the surface to be photographed are located, and a direction determination processing unit.
It has a power spectrum generation processing unit that generates a power spectrum generated by executing a two-dimensional Fourier transform process on the image information obtained by superimposing the at least two image information.
The direction determination processing unit is
Using the spectral intensity of the generated power spectrum, the direction in which the two image information is located is determined.
An information processing system characterized by this. 前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度が所定範囲内の場合には，関連性のない画像情報と判定し，
前記生成したパワースペクトルのスペクトル強度が所定範囲外の場合には，スペクトル強度の強い方向の軸を，画像情報の位置する方向と判定する，
ことを特徴とする請求項６または請求項７に記載の情報処理システム。 The direction determination processing unit is
If the spectral intensity of the generated power spectrum is within a predetermined range, it is determined that the image information is irrelevant.
When the spectral intensity of the generated power spectrum is out of the predetermined range, the axis in the direction in which the spectral intensity is strong is determined to be the direction in which the image information is located.
The information processing system according to claim 6 or 7. コンピュータを，
構造物の撮影対象面を撮影した画像情報を用いて生成したひび割れ画像情報に対して，２次元フーリエ変換処理を実行することでパワースペクトルを生成するパワースペクトル処理部，
生成したパワースペクトルを用いて損傷状態を判定する損傷状態判定処理部，
として機能させることを特徴とする情報処理プログラム。 Computer,
A power spectrum processing unit that generates a power spectrum by executing a two-dimensional Fourier transform process on the cracked image information generated using the image information obtained by photographing the image target surface of the structure.
Damage state determination processing unit that determines the damage state using the generated power spectrum,
An information processing program characterized by functioning as. コンピュータを，
撮影対象面を撮影した少なくとも２枚の画像情報の位置する方向を判定する方向判定処理部，
前記少なくとも２枚の画像情報を重ね合わせた画像情報に対して，２次元フーリエ変換処理を実行することで生成したパワースペクトルを生成するパワースペクトル生成処理部，として機能させる情報処理プログラムであって，
前記方向判定処理部は，
前記生成したパワースペクトルのスペクトル強度を用いて，前記２枚の画像情報の位置する方向を判定する，
ことを特徴とする情報処理プログラム。 Computer,
Direction determination processing unit that determines the direction in which at least two image information images of the surface to be imaged are located,
An information processing program that functions as a power spectrum generation processing unit that generates a power spectrum generated by executing a two-dimensional Fourier transform process on image information obtained by superimposing at least two pieces of image information.
The direction determination processing unit is
Using the spectral intensity of the generated power spectrum, the direction in which the two image information is located is determined.
An information processing program characterized by this.

Images