JP7427381B2 - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、画像に対して複数の画像処理を段階的に行う技術に関する。

画像処理にあたり、入力となる画像以外の、撮影時の設定情報や前段の画像処理に関する情報（以下、これらをまとめてメタデータと記す）は有用な情報となる。特許文献１では、複数枚の撮影画像をＨＤＲ合成する際に、ＨＤＲ合成に使用した複数の撮影画像のメタデータから、合成後のＨＤＲ画像に付与するメタデータを算出する手法が開示されている。これにより、ＨＤＲ画像を参照あるいは処理する場合にＨＤＲ画像がもつメタデータを利用可能になる。

特開２０１９－３６８８５号公報

撮影された画像に対して、異なる種類の画像処理を複数段連結して行う場合がある。画像処理の種類のうち、合成処理では、画像の数を減少させるにあたり合成前の画像の少なくとも一部のメタデータは、合成処理後は削除または上書きにより失われることが多い。しかしながら、異なる種類の画像処理を連結して行う場合には、直前の段階のみならず過去の画像処理に用いられたメタデータを再利用あるいは参照する必要が生じ得る。従来は、合成処理を含む画像処理を複数段連結して行う場合に、各処理に必要となるメタデータを管理する技術は確立されていなかった。

本発明は上記課題に鑑みてなされたものであり、１以上の対象画像に対して合成処理を含む複数の画像処理を順次行う場合において、各処理で利用され得るメタデータの管理を適切に行うことを目的とする。

本発明の情報処理装置は、構造物を撮影した対象画像を取得する取得手段と、前記対象画像に対して複数の情報処理を実行する画像処理手段とを備え、前記画像処理手段は、前記複数の情報処理の少なくとも１つとして、複数の前記対象画像を合成する合成処理を実行する場合、複数の前記対象画像に対して前段までの画像処理が実行された結果である第１画像と、前記前段までの画像処理において生成された第１のメタデータを入力として取得し、前記第１画像に対して前記合成処理を実行した結果である第２画像と前記合成処理において生成された第２のメタデータを、前記第１のメタデータとともに後段の画像処理である前記構造物の変状の検知処理の入力とし、前記複数の情報処理は、前記合成処理、前記対象画像を幾何変換する処理、前記対象画像に対して機械学習された検出モデルを利用した検出処理、前記対象画像を所定の図面データに重畳させる処理を含むことを特徴とする。

本発明によれば、１以上の対象画像に対して合成処理を含む複数の画像処理を順次行う場合において、各処理で利用され得るメタデータの管理を適切に行うことができる。

情報処理装置１００のハードウェア構成の一例を示す図である。 異なる種類の画像処理を複数段に連結して実行する様子の一例を示す概念図である。 メタデータを格納するテーブルの一例を示す図である。 メタデータを格納するテーブルの一例を示す図である。 撮影処理と合成処理の一例を示すフローチャートである。 幾何変換処理とひび割れ検出処理の一例を示すフローチャートである。 図面化処理の一例を示すフローチャートである。 幾何変換処理においてユーザに提示されるユーザインタフェースの一例を示す図である。 図面化処理においてユーザに提示されるユーザインタフェースの一例を示す図である。

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。

＜実施形態１＞
近年、トンネル、橋梁、その他大規模構造物等の社会インフラに対する点検作業を、カメラで撮影した対象物の画像に対して検査を行う手法への需要が高まっている。撮影画像上で、社会インフラに係る構造物に対する検査を行うには、画像から構造物に生じた変状（例えば、ひび割れ）の状態を確認できる程度に高解像度の画像を用意する必要がある。しかしながら、社会インフラに係る構造物はサイズが大きいため、高解像度の画像を得るためには、１つの構造物を複数回に分割して撮影することが必要となる。従って、分割撮影された複数の画像を１つの構造物に関連づけて検査を行うために、制御された分割撮影を行い、撮影された複数画像を合成し、合成した画像に対して調整処理を行う等、段階的に合成処理を含む複数の画像処理が行われることになる。以下、本実施形態では、構造物に生じた変状を画像により検査するシステムで実行される複数の画像処理について、各段階の画像処理において必要とされるメタデータを管理する例を説明する。

図１は、本実施形態に係る情報処理装置１００のハードウェア構成図である。図１（ａ）に示すように、情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、操作部１０６と、通信部１０７とを有している。ＣＰＵ１０１は、中央演算装置(Central Processing Unit)であり、各種処理のための演算や論理判断等を行い、システムバス１１０に接続された各構成要素を制御する。ＲＯＭ(Read-Only Memory)１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ(Random Access Memory)１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。尚、情報処理装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。

ＨＤＤ１０４は、本実施形態に係る電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。

表示部１０５は、例えばＣＲＴディスプレイや、液晶ディスプレイ等であって、表示画面に画像を出力するデバイスである。なお表示部１０５は、情報処理装置１００と有線あるいは無線で接続された外部デバイスでも構わない。操作部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部１０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。

図１（ｂ）は、情報処理装置１００を含む撮影システムの構成の一例を表す図である。図１（ａ）において、撮像装置１０８は、雲台装置１０９に設置され、三脚１１５によって固定されている。撮像装置１０８は、撮影機能を有し、ＣＰＵ１０１の指示により、非図示のレンズを介して撮影した画像をデータ化する。電子雲台装置１０９の駆動ユニット１１１および駆動ユニット１１２は、それぞれが雲台装置をパン方向とチルト方向に駆動させる。通信ケーブル１１３によって、撮像装置１０８は、電子雲台装置１０９に接続される。撮影処理において、情報処理装置１００は、撮影システムの制御装置として機能し、撮影方向を制御する指示信号を電子雲台装置１０９に送信する。情報処理装置１００は、操作部１０６として、ここではディスプレイと入力装置（キーボード及びポインティングデバイス）を備える。図１（ｂ）では、電子雲台装置１０９は通信ケーブル１１４によって接続されるものとするが、両者の接続は無線ネットワークによるものであっても構わない。本実施形態ではラップトップ型のコンピュータを想定するがこれに限らず、タブレットＰＣなどの可搬装置でもよく、また設置位置が固定される大型ＰＣやサーバ装置であってもよい。また、図１（ｂ）では、撮像装置１０８及び、電子雲台装置１０９は情報処理装置１００に接続される外部装置としたが、一体化した装置であっても構わない。

撮像装置１０８により、撮影された画像のデータは、通信部１０７を介して情報処理装置１００により取得され、画像処理の対象画像として扱われる。ただし、撮像装置１０８と情報処理装置１００の間の通信手段は、有線無線を問わず、公知の技術を利用可能である。例えば、撮像装置１０８においてＳＤカードなどなどの各種媒体に記録された画像が、情報処理装置１００に備えられたスロット等を介して取得されてもよい。また、撮像装置１０８から無線通信技術によりクラウド等にアップロードされた画像を、情報処理装置１００においてダウンロードする形式で、撮像装置１０８から対象画像を取得してもよい。この場合、後述する後段の画像処理を行う情報処理装置１００は、必ずしも撮像装置１０８による撮影が行われる時点で撮影現場に設置されている必要はない。

図２は、本実施形態において、複数種類の画像処理が、複数段階に連結されて実行される様子を示す概念図である。複数の情報処理のそれぞれでは、処理対象の画像に対して前段までの画像処理が実行された結果である第１画像と、前段までの画像処理において生成された第１のメタデータを入力として取得する。そして、第１画像に対して所定の情報処理を実行した結果である第２画像と所定の情報処理において生成された第２のメタデータと、第１のメタデータとが、後段の画像処理の入力となる。各処理ブロックにおいては、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで画像処理手段あるいはメタデータの生成手段として機能する。そして、各処理の実行結果をＲＡＭ１０３に保持する。画像処理では、実行結果とは、入力された画像（第１画像）に対して画像処理が施された結果である画像(第２画像)と、メタデータ(第２メタデータ)である。本実施形態では、各画像処理の実行結果をＨＤＤ１０４に保存する。そして、それらを後段の画像処理によって参照可能とするため、少なくとも参照先情報を、後段に伝達する。本実施形態では、前段の画像処理から後段の画像処理に対して、画像処理結果を直接送信する場合に加え、その参照先情報を送信する場合も含め、画像処理結果を出力すると称する。

また例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各ブロックの処理に対応させた演算部や回路を構成すればよい。

撮影処理ブロック２０１では、撮像装置１０８と電子雲台装置１０９を制御して構造物を分割撮影した画像データを取得し、後段に出力すると共に、撮影メタデータを出力する。撮影メタデータについては図３を用いて後述する。合成処理ブロック２０２では、撮影処理ブロック２０１から出力された画像データおよび撮影メタデータを入力として取得し、複数の画像を１枚の画像に合成し、出力する。さらに撮影処理ブロック２０１から取得した撮影メタデータに加え、合成メタデータを出力する。合成メタデータについては図４（ａ）で後述する。合成処理では複数の撮影画像が合成され、１枚の新たなデータ形式である合成画像として生成される。例えば、ＪＰＥＧ形式であった撮影画像を複数枚用いて合成することにより、合成後の画像サイズ（幅×高さ）が大きくなるため、より大きな画像サイズを扱えるＴＩＦＦ形式へとデータの形式が変わる。従来の画像合成では、元の画像が持っていた撮影情報（例えば、撮影時刻）は、合成処理により新たな画像データが生成される際に削除あるいは上書きによって失われる場合があるが、本実施形態では、それを撮影メタデータとして保存し、後段の処理に伝達する。幾何変換処理ブロック２０３は、合成処理ブロック２０２から出力された合成画像データと合成メタデータを入力として得て、それらを用いて幾何変換処理を行い、変換後の画像を出力する。さらに、合成処理ブロック２０２から取得したメタデータに加え、幾何変換メタデータを出力する。幾何変換メタデータについては、図４（ｂ）で後述する。

ひび割れ検出ブロック２０４は、幾何変換処理ブロック２０３から出力された幾何変換画像データと統合幾何変換メタデータを入力として取得し、ひび割れ検出処理を行う。本実施形態において、ひび割れ検出処理とは、画像に写る構造物の表面に生じたひび割れを検出する処理を意味する。さらに、検出したひび割れを幾何変換処理ブロック２０３で生成された画像の少なくとも一部に重畳したひび割れ検出画像を出力する。さらに幾何変換処理ブロック２０３から取得したメタデータに加え、ひび割れ検出メタデータを出力する。ひび割れ検出メタデータについては、図４（ｃ）で後述する。図面化処理ブロック２０５では、ひび割れ検出ブロック２０４から出力されたひび割れ検出画像とメタデータを入力として取得し、ひび割れ検出画像を構造物の図面の対応する座標へ重畳し、出力する。以下、本実施形態では、構造物を撮影した画像を、同じ構造物の設計図面の対応する位置に貼り付け、あるいは重畳させる画像処理を「図面化処理」と称する。

図３は、撮影処理ブロック２０１で生成される撮影メタデータを表すテーブル３０１（以下では、撮影メタデータ３０１と省略する場合がある）である。テーブル３０１は、ポジション分割数の情報と、撮影ＩＤで識別された情報セットとの組合せで構成される。撮影ＩＤは、情報セットを一意に識別可能となるように割り振られた番号であり、各情報セットは、撮影ポジションと、ファイル名と、画像サイズと、撮影時刻と、Ｆ値と、シャッター速度の情報とで構成される。撮影ＩＤのそれぞれは、各撮影画像ファイルに対応する。ポジション分割数は、情報処理装置１００が電子雲台装置１０９を制御して、撮影方向を変更して撮影を行う場合の水平方向および垂直方向の分割数（つまり撮影ポジションの数）を表す。撮影ポジションは、撮影画像が分割されたポジションのＸ方向Ｙ方向の何番目で撮影された画像かを表す。ファイル名は、撮影画像ファイル名に対し、保存先のフォルダ名も含めて記述している。画像サイズ（幅×高さ）、撮影時刻、Ｆ値、シャッター速度はそれぞれ撮影時に得られる撮影情報を表している。なお、撮影ＩＤが０と１のように、撮影ポジションが同じものは、その位置においてＦ値やシャッター速度を変えて複数枚の撮影をしたことを示す。

図４（ａ）は、合成処理ブロック２０２で生成される合成メタデータを表すテーブル４０１（以下では、合成メタデータ４０１と省略する場合がある）である。テーブル４０１は、合成画像サイズ、合成画像数、合成比率、合成ＩＤ識別された情報セットとで構成されている。合成画像サイズは、合成済画像の画像サイズ（幅×高さ）を表し、合成画像数は、合成に用いた画像数を表す。合成比率は、合成処理の際に隣り合う画像間でオーバーラップする領域を持たせ、オーバーラップする領域を加算し、平均値を算出し、ブレンド処理を用いるかの情報を表す。ブレンドするメリットは画像間の切れ目が分かりにくくなることであるが、デメリットとしては画像を加工するため、先鋭度が落ちる場合がある。合成ＩＤは、情報セットが一意に識別可能となるように割り振られた番号であり、各情報セットは、合成に用いた各撮影画像のファイル名、合成画像領域、使用撮影領域で構成される。ファイル名は撮影メタデータ内で同じファイル名を持つ撮影画像が合成に使用されたことを示す。

合成画像領域は、合成済画像におけるファイル名の画像の矩形領域を表し、矩形の左上の座標と右下の座標を表している。使用撮影領域は、撮影画像内における使用した矩形領域を表しており、矩形の左上座標と右下の座標を表している。なお、合成画像領域および使用撮影領域は、矩形に限定されるものでなく、領域が指定できれば形状は矩形でなくてもよい。

図４（ｂ）は、幾何変換処理ブロック２０３が生成する幾何変換メタデータを表すテーブル４０２（以下では、幾何変換メタデータ４０２と省略する場合がある）である。テーブル４０２は、画像サイズと変換式とで構成される。画像サイズは、幾何変換処理を行った後の出力画像サイズを表す。変換式は、幾何変換処理で用いた変換行列を表す。

図４（ｃ）は、ひび割れ検出処理ブロック２０４で生成されるひび割れ検出メタデータを表すテーブル４０３（以下では、ひび割れ検出メタデータ４０３と省略する場合がある）である。テーブル４０３は、検出パラメータとひび割れＩＤで構成される。検出パラメータは、ひび割れ検出処理に用いるパラメータであり、複数のモデルから使用したモデルを表している。ひび割れ検出処理は、撮影条件により性能が異なるため、撮影画像に含まれるＦ値やシャッター速度に対応して、複数のモデルがＨＤＤ１０４に格納されている。ひび割れＩＤはひび割れ検出処理で検出した各ひび割れの線分情報を表し、線分の始点の座標情報と終点の座標情報と線分の太さを表す。

図５（ａ）は、本実施形態の撮影処理ブロック２０１で実行される処理の流れの一例を表すフローチャートである。以下、フローチャートにおける各工程（ステップ）は、それら符号の先頭にはＳを付与して説明することとする。

Ｓ５０１では、画像処理手段として機能するＣＰＵ１０１が、撮影メタデータ３０１から、ポジション分割数および撮影条件を取得し、電子雲台装置１０９および撮像装置１０８に設定する情報を生成する。ここで撮影回数および雲台を制御するポジションを設定する。Ｓ５０２では、ＣＰＵ１０１が、Ｓ５０１で設定した情報に基づき、撮影および雲台の制御処理である後述のＳ５０３からＳ５０５までの処理を繰り返すたびに、撮影ＩＤを０からインクリメントする。Ｓ５０３では、ＣＰＵ１０１が、撮像装置１０８に対し撮影指示を通知する。さらにＣＰＵ１０１は画像取得手段として機能し、撮影指示に基づいて撮影された画像データを撮像装置１０８から取得し、ＨＤＤ１０４にファイルとして記録する。そして、ＨＤＤ１０４上の撮影メタデータ３０１に撮影ＩＤのレコードを追加し、ファイル名を記録する。Ｓ５０４では、ＣＰＵ１０１が、Ｓ５０３で撮影した際に得られる撮影情報を撮影メタデータ３０１の撮影ＩＤのレコードへ記録する。ここでの撮影情報は、撮影時刻、Ｆ値、シャッター速度である。

Ｓ５０５では、ＣＰＵ１０１が、電子雲台装置１０９に設定した撮影方向に対応するポジション情報を撮影メタデータに記録する。

以上が、本実施形態において、撮影処理ブロック２０１で実行される処理の流れである。なお、本実施形態では、Ｓ５０１の設定情報を生成する処理と、Ｓ５０３～Ｓ５０５の実際の撮影処理とを一流れに行う例を示したが、例えばＳ５０１を事前処理として予め実行し、撮影現場では、記憶された設定条件を読み出して撮影を行ってもよい。

図５（ｂ）は、本実施形態の合成処理ブロック２０２で実行される処理の流れの一例を表すフローチャートである。Ｓ５１１では、画像処理手段として機能するＣＰＵ１０１が、撮影処理ブロック２０１から出力され、ＨＤＤ１０４に記録された撮影画像データと撮影メタデータを取得する。本実施形態の場合、テーブル３０１からデータを読み出す。Ｓ５１２では、ＣＰＵ１０１が、Ｓ５１１で取得した撮影メタデータに含まれるポジション情報を元に撮影画像データの整列を行う。Ｓ５１３では、ＣＰＵ１０１が整列した撮影画像を用いて合成画像を生成し、ＨＤＤ１０４へ記録する。合成画像を生成する処理に関しては、公知の方法を用いて良く、隣り合う画像間で位置合わせを行い、位置が合った領域の情報を用いて、画像を繋ぎ合わせて、合成画像を生成する。

Ｓ５１４では、ＣＰＵ１０１が合成済画像の画像サイズ（幅×高さ）および、合成を行った際の合成比率情報を取得し、ＨＤＤ１０４上に作成した合成メタデータ４０１へ記録する。Ｓ５１５では、ＣＰＵ１０１が合成処理で使用した各撮影画像において、合成済画像のどの領域で使われているかを取得し、合成画像領域として合成メタデータに記録する。領域の取得方法については、公知の画像位置合わせ処理や類似画像領域処理を用いてもよい。Ｓ５１６では、ＣＰＵ１０１が合成済画像において、各撮影画像が使われている領域を、使用撮影領域として合成メタデータに記録する。以上が、本実施形態において、合成処理ブロック２０２で実行される処理の流れである。

図６（ａ）は、本実施形態の幾何変換処理ブロック２０３で実行される処理の流れの一例を表すフローチャートである。Ｓ６０１では、画像処理手段として機能するＣＰＵ１０１が、合成処理ブロック２０２において出力され、ＨＤＤ１０４に記録された合成画像データと合成メタデータ、および、撮影メタデータを取得する。本実施形態の場合、テーブル３０１とテーブル４０１からそれぞれのデータを読み出す。Ｓ６０２では、ＣＰＵ１０１が幾何変換を行う形状から変形率を取得する。変換する形状は、表示部１０５に表示される図８で示すユーザインタフェース（ＵＩ）画面で指定される。

ここで図８は、幾何変形処理の実行中に表示部１０５に表示されるＵＩ画面の一例を示す図である。ユーザは、操作部１０６を用いて、合成画像８００内にある幾何変換の対象領域８０１の基準点８０２Ａ～８０２Ｄを指定し、さらに、変換させたい対象点８０３Ａ～８０３Ｄを指定する。指定を受けた情報処理装置１００では、Ｓ６０２において、ＣＰＵ１０１が、基準点８０２Ａ～８０２Ｄで構成される四角形と対象点８０３Ａ～８０３Ｄで構成される四角形へと変換する。この変化の違いが変化率である。なお、ユーザがＵＩにより基準点および対象点を指定する方法でなく、画像認識処理により構造物のＬ字の特徴点を自動で検出してもよい。

図６（ａ）の説明に戻り、Ｓ６０３では、ＣＰＵ１０１が、Ｓ６０２で得られた変化率から幾何変換行列式を算出し、算出式を元に変換処理を行い、幾何変換画像を生成する。Ｓ６０４では、ＣＰＵ１０１が、ＨＤＤ１０４上に幾何変換メタデータ４０２を作成する。幾何変換メタデータに、Ｓ６０３で算出した変換後の画像の画像サイズと変換式とを記録する。以上が、本実施形態において、幾何変換処理ブロック２０３で実行される処理の流れである。

図６（ｂ）は、本実施形態のひび割れ検出処理ブロック２０４で実行される処理の流れの一例を表すフローチャートである。Ｓ６１１では、画像処理手段として機能するＣＰＵ１０１が、幾何変換処理ブロック２０３から出力され、ＨＤＤ１０４に記録された幾何変換画像データと、幾何変換メタデータと合成メタデータと撮影メタデータを取得する。本実施形態の場合、テーブル３０１、テーブル４０１、テーブル４０２からそれぞれのデータを読み出す。Ｓ６１２では、ＣＰＵ１０１が、撮影情報メタデータに含まれるＦ値とシャッター速度を取得する。

Ｓ６１３では、ＣＰＵ１０１が、ＨＤＤ１０４に記録されている検出モデルの中から、Ｓ６１２で取得したＦ値およびシャッター速度に基づき、最適な検出モデルを選択する。また、Ｓ５１４で取得した合成比率情報より、最適な検出モデルを切り替えてもよい。Ｓ６１４では、ＣＰＵ１０１が、Ｓ６１３で検出パラメータを元にひび割れ検出処理を行う。ひび割れ検出処理については、公知の画像認識技術を用いて良く、機械学習の手法により、ひび割れの領域を学習させ、その学習済みモデルを用いて検出処理を行う。

ひび割れ検出処理は、ＣＰＵ１０１で処理を行うだけでなく、不図示のＧＰＵと協働して処理を行ってもよい。また例えば、ここでユーザが学習済みモデルを選択指示する工程を加えた上で、指示された学習済みモデルによるひび割れ検知を実行してもよい。また、撮影画像の撮影情報であるＦ値やシャッター速度が一様でなく、値が異なる場合には、撮影画像の領域毎に検出モデルを切り替えて、ひび割れ検出処理を行ってもよい。

Ｓ６１５では、ＣＰＵ１０１がＳ６１５で検出したひび割れ情報（始点と終点の線分、および太さ）を幾何変換画像に重畳し、ひび割れ検出画像としてＨＤＤ１０４に記録する。Ｓ６１６では、ＣＰＵ１０１がＨＤＤ１０４上にひび割れ検出メタデータ４０３を作成し、Ｓ６１３で検出パラメータ情報および、検出したひび割れ情報を検出メタデータに記録する。以上が、本実施形態において、ひび割れ検出処理ブロック２０４で実行される処理の流れである。

図７は、本実施形態の図面化処理ブロック２０５で実行される処理の流れの一例を表すフローチャートである。Ｓ７０１では、画像処理手段として機能するＣＰＵ１０１が、ひび割れ検出処理ブロック２０４で出力され、ＨＤＤ１０４に記録されたひび割れ検出画像と、ひび割れ検出メタデータと幾何変換メタデータと合成メタデータと撮影メタデータを取得する。本実施形態の場合、テーブル３０１、テーブル４０１、テーブル４０２、テーブル４０３からそれぞれのデータを読み出す。

Ｓ７０２では、ＣＰＵ１０１がＨＤＤ１０４に格納されている検査対象の構造物の図面データを取得し、図面上の対応する領域にＳ７０１で取得したひび割れ検出画像を重畳し、図９（ａ）で示す画面を表示部１０５に表示する。ここで構造物の図面データとは、検査対象の構造物に係る設計情報（例えば正確な寸法など）を示す情報である。

ここで図９（ａ）は、図面化処理の実行中に表示部１０５に表示されるＵＩ画面の一例を示す図である。表示画面９００は、表示部１０５に表示されるアプリウィンドウの１つを表す。画像９０１は、構造物の図面データにひび割れ検出画像を重畳した画像を表している。画像９０１の画像上の縦横の格子は、合成処理ブロック２０２おいて合成した元の画像の単位を表す。格子によって区切られた各領域は、合成画像領域に対応する。ボタン９０２は、ユーザが、ひび割れ検出処理ブロック２０４によるひび割れ検出が所定の要件を満たす程度にできているかを目視確認し問題ないと判断した時に、操作する（押下する）ボタンを表す。また、ボタン９０２にはコメントが添えられており、ユーザが、問題があると判断した場合は、画像９０１の領域をクリックすることを促している。

ポインター９０３は、ユーザが目視確認した結果、問題があると判断した場合に、問題が生じている領域を指定するために用いられる。問題領域９０４は、ポインター９０３により指定された領域を表す。ここで、「問題ないと判断される場合」とは、画像に含まれるひび割れが検出できていることを表し、「問題があると判断される場合」は、画像に含まれるひび割れの検出ができていないことを表す。検出できない要因としては、画像がぼやけている、虫や草木が映り込んでいる、といったことがあげられる。

図７の説明に戻り、Ｓ７０３では、ＣＰＵ１０１が、操作部１０６から通知される情報に基づいて、ボタン９０２の押下が検出されたか、あるいは、画像上の問題領域９０４がクリックされたか判断する。ボタン９０２が押下された場合はＳ７０４に移行し、問題領域９０４がクリックされた場合はＳ７０５へ移行する。

Ｓ７０４では、ＣＰＵ１０１が、Ｓ７０２でひび割れ検出画像を図面に重畳することで生成した画像をＨＤＤ１０４に記録する。Ｓ７０５では、ＣＰＵ１０１が、Ｓ７０３において、問題領域９０４として指定された領域に関する情報および、撮影メタデータおよび合成メタデータから、問題領域９０４に対応する撮影画像ファイルを特定し、撮影ポジションを取得する。そして、ＣＰＵ１０１は、ＨＤＤ１０４に記憶された画像の中に、取得した撮影ポジションで撮影した代替の撮影画像があるかを判定する。代替画像がある場合はＳ７０６に移行し、代替画像がない場合は、「代替画像なし」の通知（不図示）を表示し、Ｓ７０２に移行する。通知を受けたユーザは、例えば、問題領域９０４に関する撮影メタデータを呼び出して、ひび割れ検出が適正に行われなかった原因を考察することができる。そして、パラメータや学習モデルを変えてのひび割れ検出の再実行や、再撮影などの対処を行うことができる。

Ｓ７０６では、ＣＰＵ１０１が図９（ｂ）で示す代替画像９２１を表示部１０５へ表示する。Ｓ７０７では、ＣＰＵ１０１が、操作部１０６から通知される情報に基づいて、図９（ｂ）で示す置き換えダイアログ９２２において、ＹｅｓボタンとＮｏボタンのいずれかへの操作（押下）を検出する。Ｙｅｓボタンが押された場合はＳ７０８に移行し、Ｎｏボタンが押された場合は、Ｓ７０２へ移行する。Ｓ７０８では、ＣＰＵ１０１が、Ｓ７０６で表示された入替画像へ置き換えて、合成処理ブロック２０２から再度処理を行う。

以上が、図７を用いた図面化処理ブロック２０５で実行される処理の流れである。本実施形態では、図面化処理の直前に行われる画像処理は、ひび割れ検出処理であるが、部分領域にひび割れ検出処理に問題が生じた場合には、その対処あるいは原因の考察を、さらに遡った撮影処理、合成処理時に扱った情報を参照することで行うことができる。

なお、本実施形態では、Ｓ７０３で、ユーザによりひび割れ検出結果を目視で確認した画像に「問題がある」と判断された場合に実行される処理として、撮影ポジションに基づき、対応する撮影画像を入れ替えて合成処理からやり直す例を説明した。さらに変形例として、合成処理や幾何変換処理で生じた画像の劣化に対策できるようにしてもよい。その場合は、合成処理や幾何変換処理の処理パラメータを変更してその処理段階からのやり直しを行う。また、やり直しに際して必要な情報のユーザ指示を受け付ける。

以上、本実施形態では、情報処理装置１００は、複数の異なる画像処理を順次実行する際、各画像処理で生成された画像データおよびメタデータを後段の画像処理の入力とすることができる。特に、前段のメタデータを残した状態で、新たなメタデータを生成することにより、各画像処理において前段より前のメタデータを得ることができる。これにより、様々なパターンで連結された複数の画像処理において、前段までに得られたメタデータを失うことなく、後段でも使用することができる。従って、メタデータが失われることを懸念するあまり画像処理を行う順序が制限されることもない。

特に、社会インフラに係る構造物を検査する目的で撮影された画像に対して実行される多数の画像処理では、後段の各処理（画像の幾何変形、ひび割れ検知）においても、撮影時に得られた撮影条件や位置情報が使用される場合がある。また、後段の処理による出力結果を改善するため、前に行われた処理で利用されたパラメータを見直したい場合がある。このような場合に、本実施形態のメタデータの管理方法が好適に実施される。例えば、構造物を分割して撮影する際、Ｆ値やシャッター速度が異なった場合、また撮影ポジションが離れた領域では、画像のコントラストや色等に違いが生じる場合がある。このような場合には、異なる検出モデルによるひび割れ検出を行うことが推奨される。本実施形態によれば、処理の最前段である撮影時に得られた情報を２段階以上後段にあたるひび割れ検知処理において参照できるので、適切な検出モデルを選ぶ際にもメタデータを有効に利用できる。

なお、本実施形態では、メタデータを画像処理間で渡す方法として、各画像処理においてテーブルを生成し、ＨＤＤ１０４に記録する方法を記載したが、ＨＤＤ１０４の代わりにＲＡＭ１０３や通信部１０７を通じた外部の記録領域に保存してもよい。また、メタデータを渡す方法として、画像データ内に埋め込んでもよい。また、画像データのファイル名にメタデータの情報を付与してもよい。

本実施形態が適用されるのは、図２で示す５つの画像処理ブロックが連結されたパターンに限られない。例えば、撮影済みの画像を入力として合成処理から開始したり、合成済みの画像を入力として幾何変換処理から開始したり、幾何変換済みの画像を入力として、ひび割れ検出処理から開始してもよい。その場合に途中から処理を行うため、不足となるメタデータの項目をＵＩで入力してもよい。例えば、撮影済み画像を入力として合成処理から始める場合、撮影情報として、撮影画像から抽出すると共に、撮影ポジションの情報をＵＩで入力し、撮影メタデータ３０１を作成してもよい。

また、本実施形態における合成処理は、２次元的な合成処理の例であったが、別の画像をレイヤーとして重畳する合成も対象としてもよい。

＜実施形態２＞
実施形態１では、図２に示した複数の画像処理ブロックを単一の情報処理装置１００で実行していた。しかしながら、図５から図７の処理を、それぞれ、互いにネットワーク等の通信装置で接続された情報処理装置１００と同様の複数の情報処理装置で実行する情報処理システムを構成することもできる。その場合、撮影処理（図４のフロー）を実行する装置以外は、撮像装置１０８及び電子雲台装置１０９との接続は必須ではない。

また、実施形態１では、図２に示した各ブロック間で伝達されていた画像データとメタデータは、ＨＤＤ１０４に記録され、後段の画像処理において読み出された。これに対し実施形態２では、前段のブロックの処理を担当する装置から、次のブロックの処理を担当する装置に、通信部１０７を介して伝達される。例えば、合成処理ブロック２０２を担当する装置から、幾何変換処理ブロック２０３を担当する装置には、合成画像とともに、撮影メタデータ３０１と合成メタデータ４０１が送信される。ひび割れ検出処理ブロック２０４を担当する装置からは、ひび割れ検出画像とともに、撮影メタデータ、合成メタデータ、幾何変換メタデータ、ひび割れ検出メタデータが送信される。これにより、複数の画像処理が順次実行され、かつ、後段の処理を行う装置において、他の装置で実行された前の画像処理に係るメタデータを利用したり参照したりすることができる。なお、図５から図７の処理にそれぞれ一つの情報処理装置が割り当てられる必要はなく、実施形態１のように一つの情報処理装置が２つ以上の処理を実行してもよい。

本実施形態のように、図２に記載される一連の処理を複数の装置に分配して実行する場合、対象画像を変えて一連の処理を繰り返す場合に、全ての処理の終了を待たずに、個々の画像処理単位でパイプライン処理を行うことができる。これにより、全体の処理を高速に実施できる効果がある。

＜その他の実施形態＞
なお、上述した各処理部のうち、合成処理、幾何変換処理、ひび割れ検出処理等については、その代わりとして、機械学習された学習済みモデルを代わりに用いて処理してもよい。その場合、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、学習データから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ＨＤＤ
１０５ 表示部
１０６ 操作部
１０７ 通信部
１０８ 撮像装置
１０９ 電子雲台装置

Claims (11)

1. 構造物を撮影した対象画像を取得する取得手段と、
   前記対象画像に対して複数の情報処理を実行する画像処理手段とを備え、
   前記画像処理手段は、前記複数の情報処理の少なくとも１つとして、複数の前記対象画像を合成する合成処理を実行する場合、複数の前記対象画像に対して前段までの画像処理が実行された結果である第１画像と、前記前段までの画像処理において生成された第１のメタデータを入力として取得し、
   前記第１画像に対して前記合成処理を実行した結果である第２画像と前記合成処理において生成された第２のメタデータを、前記第１のメタデータとともに後段の画像処理である前記構造物の変状の検知処理の入力とし、
   前記複数の情報処理は、前記合成処理、前記対象画像を幾何変換する処理、前記対象画像に対して機械学習された検出モデルを利用した検出処理、前記対象画像を所定の図面データに重畳させる処理を含むことを特徴とする情報処理装置。
2. 前記対象画像は、撮像装置によって撮影された複数の画像であって、
   前記画像処理手段は、前記複数の情報処理のうちの１つとして、前記複数の画像を合成して１つの合成画像を生成する処理を実行する場合、前記第１のメタデータとして前記複数の画像のそれぞれの撮影時の情報を取得し、前記１つの合成画像に関する情報を前記第２のメタデータとして生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記対象画像は、撮像装置によって構造物を撮影することで得られた画像であって、
   前記検出処理とは、前記画像から前記構造物に生じたひび割れを検出し、前記対象画像と前記検出処理において前記画像から検出されたひび割れ情報を重畳した画像を生成する処理であって、前記画像処理は、前記生成された画像とともに、検出されたひび割れに関する情報を含むメタデータを後段の画像処理の入力とする処理であることを特徴とする請求項１に記載の情報処理装置。
4. 前記複数の情報処理のうち、前記検出処理は、前記合成処理より後で実行され、
   前記画像処理手段は、前記合成処理における前記第１のメタデータとして取得された複数の画像のそれぞれの撮影時の情報を、前記検出処理においても前記第１のメタデータとして取得し、前記検出モデルの選択に利用することを特徴とする請求項３に記載の情報処理装置。
5. 前記対象画像は、撮像装置によって構造物を撮影することで得られた画像であって、
   前記対象画像を所定の図面データに重畳させる処理とは、前記構造物の設計情報に係る図面データに対して、前記対象画像の対応する部分を重畳した画像を生成する処理であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記合成処理では、入力として取得する前記第１画像と、出力となる前記第２画像のデータ形式を異ならせることを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記複数の情報処理のうち１以上の画像処理において、該画像処理の結果である前記第２画像を表示部に表示させる手段と、
   表示された前記第２画像の一部を指定するユーザの操作を受け付ける手段と、
   前記ユーザの操作と、入力された前記第１のメタデータとから、最前段の入力である前記対象画像のうち前記ユーザの操作によって指定された前記第２画像の一部に対応する画像を特定する手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項１乃至７のいずれか１項に記載の情報処理装置として機能させるプログラム。
9. １以上の情報処理装置による情報処理方法であって、
   構造物を撮影した対象画像を取得し、
   前記対象画像に対して実行される複数の情報処理の少なくとも１つとして、複数の前記対象画像を合成する合成処理において、
   複数の前記対象画像に対して前の段階までの情報処理が実行された結果である第１画像と、前記前の段階までの画像処理において生成された第１のメタデータを入力として取得し、
   前記第１画像に対して前記合成処理を実行した結果である第２画像と前記画像処理において生成された第２のメタデータを、前記第１のメタデータとともに後段の画像処理である前記構造物の変状の検知処理の入力とし、
   前記複数の情報処理は、前記合成処理、前記対象画像を幾何変換する処理、前記対象画像に対して機械学習された検出モデルを利用した検出処理、前記対象画像を所定の図面データに重畳させる処理を含むことを特徴とする情報処理方法。
10. 撮像装置と複数の情報処理装置から成る情報処理システムであって、
    前記撮像装置が構造物を撮影した１以上の画像を対象画像として取得する画像取得手段と、
    前記対象画像に対して、前記複数の情報処理装置のいずれかに割り当てられた複数の情報処理のそれぞれを実行する画像処理手段とを備え、
    前記画像処理手段は、
    前記複数の情報処理の少なくとも１つとして、複数の前記対象画像を合成する合成処理を実行する場合、複数の前記対象画像に対して前の段階までの画像処理が実行された結果である第１画像と、前記前の段階までの情報処理において生成された第１のメタデータを入力として取得し、
    前記第１画像に対して前記合成処理を実行した結果である第２画像と前記合成処理において生成された第２のメタデータを、前記第１のメタデータとともに後段の画像処理である前記構造物の変状の検知処理の入力とし、
    前記複数の情報処理は、前記合成処理、前記対象画像を幾何変換する処理、前記対象画像に対して機械学習された検出モデルを利用した検出処理、前記対象画像を所定の図面データに重畳させる処理を含むことを特徴とする情報処理システム。
11. 構造物を撮影した画像から前記構造物に生じたひび割れの検知処理を含む複数の情報処理を実行する情報処理システムであって、
    撮像装置によって１つの構造物を複数回に分割して撮像した複数の画像を取得する手段と、
    前記複数の画像を合成した合成画像を生成する合成処理と、前記合成画像を幾何変換した幾何変換画像を生成する幾何変換処理と、前記幾何変換画像から前記構造物の表面に生じたひび割れを検出するひび割れ検出処理と、前記幾何変換画像に検出された前記ひび割れ検出処理で検出されたひび割れを重畳したひび割れ画像を、前記構造物に係る図面データに重畳して表示する処理と段階的に実行する画像処理手段とを備え、
    前記画像処理手段は、前記複数の情報処理のそれぞれにおいて、
    前の段階までの情報処理が実行された結果である第１画像と、前記前の段階までの情報処理において生成された第１のメタデータを入力として取得し、
    前記第１画像に対して所定の情報処理を実行した結果である第２画像と前記所定の情報処理において生成された第２のメタデータを、前記第１のメタデータとともに後段の画像処理の入力とすることを特徴とする情報処理システム。

Images