JP7344692B2 - 情報処理装置及び情報処理方法及びプログラム - Google Patents

Description

本発明は、画像の認識技術に関するものである。

橋梁などの構造物壁面の点検や、部品や製品外装の外観検査等では、検査対象を撮影した画像を用いた画像点検が行われている。画像点検では、調査技術者が、画像を元にひび割れや欠陥などの変状の位置や形状等を入力し、画像と変状情報を対応付けて記録する。特許文献１には、構造物壁面の画像と図面データを対応付けて表示し、変状の入力を行うシステムが提案されている。特許文献１のように、図面と、壁面画像と、壁面の変状情報を関連付けることにより、点検結果の管理や閲覧が容易になる。

画像上で、ひび割れなどの微細な変状を確認するためには、十分に高い解像度で撮影した画像を用いる必要がある。その結果、構造物全体の画像のデータ量は、非常に大きなサイズとなるため、変状入力作業のコストが高い。その作業効率化のため、近年、壁面画像から変状を認識する技術が提案されている。

特開２００５－３１００４４号公報 特許第６０９９４７９号公報 特開２０１７－２２７５９５号公報

しかし、情報処理装置のメモリ等の制約により、認識処理を実行可能な画像サイズには上限がある。従って、構造物全体の大きな画像に対して、一度に変状の認識処理を実行することは難しい。

本発明は、かかる問題に鑑み成されたものであり、部分画像の認識を行い、各部分画像の認識結果を画像全体に対応付けて管理する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
グローバル座標に対応付けられた第一の画像から、当該第一の画像の一部である部分画像を第二の画像として作成する画像作成手段と、
前記第二の画像に対し、予め設定された特徴についての認識処理を実行し、前記第二の画像に関するローカル座標に対応付けた認識結果を作成する認識処理手段と、
前記認識結果の座標を前記ローカル座標から前記グローバル座標に変換する座標変換手段とを備える。

本発明によれば、部分画像の認識を行い、各部分画像の認識結果を画像全体に対応付けて管理することができるようになる。

実施形態の概要を説明するための図。 実施形態の装置のハードウェア構成図と機能ブロック図。 グローバル座標と第一の画像を説明するための図。 実施形態における処理手順を示すフローチャート。 実施形態における第二の画像を作成する例を説明するための図。 第二の画像を作成する例を説明する図。 第二の画像とグローバル座標との関係を示す図。 第二の画像に対する認識結果を説明するための図。 画像と認識結果を図面に対応づけて管理する例を説明するための図。 第２の実施形態の機能ブロック図。 第２の実施形態の処理手順を示すフローチャート。 認識結果を合成する処理を説明するための図。 認識結果を合成する処理を説明するための図。 第３の実施形態の機能ブロック図。 第３の実施形態の処理手順を示すフローチャート。 第二の画像に対する解像度変換処理を説明するための図。 第４の実施形態の機能ブロック図。 第４の実施形態の処理手順を示すフローチャート。 ３次元図面から第二の画像を作成する処理を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
第１の実施形態として、検査対象の全体画像に対して認識を行い、認識結果を図面と対応付けて管理する処理の例を説明する。特に本実施形態では、橋梁などの構造物の経年劣化を点検するようないわゆるインフラ点検を行うため情報処理システムを例に説明する。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
グローバル座標に対応付けられた第一の画像から、当該第一の画像の一部である部分画像を第二の画像として作成する第一の画像作成手段と、
前記第二の画像に対し、予め設定された特徴についての認識処理を実行し、前記第二の画像に関するローカル座標に対応付けた認識結果を作成する認識処理手段と、
前記認識結果の座標を前記ローカル座標から前記グローバル座標に変換する座標変換手段と、
複数の前記認識結果に基づいて、第一の画像から第二の部分画像を作成する第二の画像作成手段とを備える。

インフラ構造物の壁面の点検では、点検者は、コンクリート壁面のひび割れ等の変状を記録する。画像を用いた点検では、点検者は、構造物の壁面を撮影し、撮影した画像の中から、変状の位置や範囲を記録することにより点検結果を作成する。作成した点検結果は、画像とともに構造物の図面に対応づけて管理する。このとき、画像の中から、全ての変状を発見、記録する作業は大変な作業となる。従って、機械による認識処理により、画像から自動的に変状を識別することが好ましい。

構造物画像は高解像で撮影するため、画像サイズは非常に大きくなる。一方で、情報処理装置のメモリ等の制約により、認識処理を実行可能な画像サイズには上限がある。そのため、大きなサイズの画像に対して一度に認識処理を実行することは難しい。そこで、本実施形態では、構造物画像から認識処理に適した部分画像ごとに認識処理を実行し、認識結果を取得する。取得した認識結果を、元の図面にマッピングする。これにより、構造物図面に対応づけられた認識結果を取得し、図面で管理することができる。本実施形態における主な処理の流れを図１に示す。

図１（a）は、図面１００に、インフラ構造物の例として、橋梁の床版を撮影した画像１０１を張り付けた状態を示している。画像１０１は、高解像度で撮影した画像のため、サイズが非常に大きく（画素数が非常に多く）、このままでは認識処理を実行することは難しい。そこで、まず、認識処理を実行可能なサイズの部分画像を作成する。部分画像を作成する方法として、例えば、元の構造物画像を、認識処理を実行可能なサイズに分割する。図１（ｂ）は、画像１０１を、認識処理を実行可能なサイズに分割した、部分画像１１１、１１２、１１３、１１４を示している。次に、部分画像１１１、１１２、１１３、１１４の中から、認識処理を実行する部分画像を１つ指定する。選択順番は特に問わない。例えば、分割前の画像１０１のうち、左下に位置する部分画像１１３を選択する。そして、選択した部分画像１１３に対して、認識処理を行い、ひび割れ等の認識結果を取得する。図１（ｃ）は、部分画像１１３に対して認識処理を行い、取得した認識結果１２１を重畳している状態を示している。その後、認識結果を図面に戻す処理を行う。図１（ｄ）は、図面１００上に、画像１０１と認識結果１２１を張り付けた状態を示している。構造物画像全体に対して、網羅的に認識結果を取得する場合には、部分画像の作成位置を変更しながら、認識処理を繰り返し実行する。このように、構造物を撮影した画像が非常に大きく、そのままでは認識処理を実行することが難しい場合であっても、認識処理を実行し、図面に対応づけられた認識結果を取得、管理することができる。

＜情報処理装置＞
図２（ａ）は、本実施形態に係る情報処理装置２００のハードウェア構成図である。図２（ａ）に示すように、情報処理装置２００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、操作部２０６と、通信部２０７とを有している。ＣＰＵ２０１は、中央演算装置(Central Processing Unit)であり、各種処理のための演算や論理判断等を行い、システムバス２０８に接続された各構成要素を制御する。ＲＯＭ(Read-Only Memory)２０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ２０１による制御のためのプログラムを保持する。ＲＡＭ(Random Access Memory)２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。尚、情報処理装置２００に接続された外部記憶装置等からＲＡＭ２０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。

ＨＤＤ２０４は、本実施形態に係る電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。

表示部２０５は、例えばＣＲＴディスプレイや、液晶ディスプレイ等であって、表示画面に画像を出力するデバイスである。なお表示部２０５は、情報処理装置２００と有線あるいは無線で接続された外部デバイスでも構わない。操作部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。通信部２０７は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。

＜機能ブロック図＞
図２（ｂ）は、情報処理装置２００の機能構成を示すブロック図の一例である。これらの各機能部は、ＣＰＵ２０１が、ＲＯＭ２０２に格納されたプログラムをＲＡＭ２０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。そして、各処理の実行結果をＲＡＭ２０３に保持する。また例えば、ＣＰＵ２０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

データ管理部２２１は、記憶部２２５（ＨＤＤ２０４に対応するものとする）に記憶された、グローバル座標に対応づけられた第一の画像および認識結果を管理する。画像作成部２２２は、第一の画像から第二の画像を作成し、合わせて、第二の画像とグローバル座標の関係を作成する。認識処理部２２３は、学習済みモデルを用いて、第二の画像に対して認識処理を実行し、第二の画像のローカル座標系で認識結果を作成する。座標変換部２２４は、認識結果をローカル座標からグローバル座標に変換する処理を行う。グローバル座標に変換した認識結果は、データ管理部２２１が、記憶部２２５へ記憶する。

＜グローバル座標と第一の画像との関係＞
本実施形態を説明するにあたって、グローバル座標と第一の画像について説明する。

画像点検において、構造物壁面を撮影した画像は、図面と対応づけて管理することが好ましい。図３（a）は、インフラ構造物の１つの例として、橋梁の壁面を撮影した画像３０１、３０２、３０３を、図面３００へ張り付けた状態を示している。ここで画像３０１は、橋梁の床版を撮影した画像３０４と画像３０５を並べて連結した画像であり、画像３０２および画像３０３は、橋脚を撮影した個々の画像である。図面３００は、点３１０を原点とした図面座標３２１をもつ。本実施形態では、図面座標３２１をグローバル座標と呼び、画像３０１、３０２、３０３を第一の画像とよぶ。第一の画像のグローバル座標上の位置は、画像左上の頂点座標で定義される。例えば、画像３０１の座標は、頂点３１１の位置（Ｘｇ１、Ｙｇ１）である。第一の画像は、座標情報とともに、記憶部２２５に記憶されている。

インフラ構造物の画像点検で使用する画像は、微細なひび割れなどを確認できるよう高解像度（例：１画素あたり１ｍｍ）で撮影するため、そのサイズが非常に大きい。例えば、図３（a）の画像３０１が、水平方向２０ｍ、垂直方向５ｍの橋梁の床版を撮影した画像であるとする。この場合、画像解像度が１画素あたり１ｍｍ（１ｍｍ／ｐｉｘｅｌ）の場合、画像３０１の画像サイズは２０，０００ｐｉｘｅｌ × ５，０００ｐｉｘｅｌとなる。大きなサイズの画像読み出しには時間がかかるため、例えば、読み出し処理を並列化するために、図３（ｂ）のように、第一の画像をあらかじめ分割して記憶してもよい。図３（ｂ）の画像３０２は、壁面画像を一定サイズで分割した分割画像３２２、３２３、３２４、３２５を図面３００上で並べた状態を示している。第一の画像を分割して記憶する場合には、分割画像ごとにグローバル座標上の位置座標を記憶しておく必要がある。

＜フローチャート＞
図４は、本実施形態における情報処理装置のメイン処理の流れを表すフローチャートである。以下、各工程（ステップ）は、それら符号の先頭にはＳを付与して説明することとする。本実施形態では、第一の画像は、図面に対応付けられた構造物全体の画像（以下、全体画像）とし、グローバル座標は、構造物の図面座標とする。第二の画像は、第一の画像から作成する部分画像とし、ローカル座標は、部分画像に対応する画像座標とする。本実施形態では、操作部２０６が、認識処理開始の入力を受け付けて、図４のフローチャートの処理を開始する。そして、認識結果の記憶が完了したら、処理が終了する。

＜第二の画像の作成＞
まず、Ｓ４０１において、画像作成部２２２が、第一の画像から第二の画像を作成する。第二の画像は、第一の画像のうち、認識に適した範囲を指定した部分画像であり、画像作成部２２２は、この範囲を決定する処理を実行する。認識に適した範囲を決定する方法として、例えば、情報処理装置のメモリ等の制約に基づいて決定する方法がある。本実施形態では、後述するＳ４０３において、認識処理部２２３が、認識処理を実行する画像をＲＡＭ２０３に読み出し、認識処理を実行する。すなわち、認識処理を実行可能な画像サイズの上限は、ＲＡＭ２０３に読み出し可能なサイズに依存する。そこで、実施形態では、ＲＡＭ２０３のサイズに基づいて、読み出し可能な画像サイズを決定し、認識に適した範囲を決定する。

図５に、第二の画像を作成する例を示す。図５（a）は、図面３００に、第一の画像５０１を張り付けた状態を示す図である。この図面３００は、グローバル座標５００をもつ。第一の画像５０１の座標位置は、頂点５１１（Ｘｇ１，Ｙｇ１）で定義され、大きさは１０、０００ｐｉｘｅｌ×１０、０００ｐｉｘｅｌである。このとき、まず、画像作成部２２２が、装置が有する処理に係るリソース、具体的には、ＲＡＭ２０３のサイズを取得し、画像読み出しサイズの上限を求める（例えば２５００ｐｉｘｅｌ×２５００ｐｉｘｅｌ）。次に、第一の画像５０１を、読み出し可能なサイズ上限ごとに領域分割する。図５（ｂ）は、第一の画像を分割した状態を示しており、点線グリッド５２１が分割線を表している。そして、分割された複数の領域の中から、１つの領域を指定し、認識に適した範囲とする。複数の領域の中から１つの領域を選択する方法は、ユーザが指定する方法がある。例えば、図５（ｂ）の領域５２２をユーザが指定したとすると、操作部２０６は、ユーザからの入力を受け付ける。そして、画像作成部２２２が、受け付けた入力に基づいて、領域５２２を認識処理に適した範囲に設定する。複数の領域の中から１つの領域を選択する方法は、その他の方法でもよい。例えば、第一の画像全体にわたって認識結果を取得する場合には、第一の画像から作成する全ての第二の画像に対して、認識処理を実行する。そこで、複数の領域の中から、端から順に自動選択し、順次認識処理を実行するようにしてもよい。

このように、ＲＡＭ２０３のサイズに基づいて読み出し可能な画像サイズを求め、認識処理に適した範囲を設定し、第二の画像を作成することができる。図５（ｃ）は、第一の画像５０１と、作成した第二の画像５０２の位置関係を示している。画像５０２の位置は、頂点５１２の座標で定義される。頂点５１２の座標は、頂点５１１の位置から、グローバル座標５００の各軸方向に２，５００ｐｉｘｅｌずつ移動した位置である。第一の画像を分割する分割領域の形状は、第一の画像のサイズ以下で、かつ、ＲＡＭ２０３に読み出し可能な画像サイズ以下であれば、任意の形状でも構わない。例えば、１，２５０ｐｉｘｅｌ×５，０００ｐｉｘｅｌの長方形の形状としてもよい。

また、第二の画像のサイズは、ＲＡＭ２０３の空きメモリサイズ（利用可能なメモリサイズ）に応じて、動的に決めてもよい。特に、図２に示す情報処理装置２００が、パーソナルコンピュータに代表される汎用の情報処理装置の場合、ＲＡＭ２０３にはＯＳ（オペレーティングシステム）がロードされている。また、ＲＡＭ２０３には、他のアプリケーションや常駐プログラムが保持されている可能性もある。そこで、本実施形態に示すアプリケーションプログラムをＲＡＭ２０３にロードし、実行を開始したときの初期段階で、ＲＡＭ２０３にて利用可能なメモリサイズを求め、その求めた利用可能なメモリサイズから認識処理の画像の上限サイズを決定し、その上限サイズ以内で第二の画像のサイズを決定するようにしても良い。

第一の画像から認識に適した範囲を決定する他の方法として、例えば、構造物中の目地や部材間のつなぎ目などを境界として使用する方法がある。認識対象の１つであるひび割れは、目地をまたぐことが少ない。また、コンクリート壁面画像における点検において、構造物中のメタル部材は点検対象ではないことが多い。したがって、構造物の目地や部材の継ぎ目は、認識に適した範囲を決定する境界に適している。構造物中の目地などを境界として用い認識に適した範囲を決定する処理について、図６を用いて説明する。図６（a）は、図面３００に、コンクリート壁面を撮影した画像６０１を張り付けた図である。画像６０１には、水平方向と垂直方向に目地を持つ構造物が映っている。この画像６０１に対して、画像処理を用いて目地を示す線分を取得する。目地等の線分を決定する方法は、例えば、画像処理を用いた直線成分を取得する方法がある。まず、画像に対して、Canny法などのエッジ抽出手法を適用し、エッジ画像を取得する。次に、作成したエッジ画像に対して、ハフ変換処理を施し、直線を取得する。この直線を、目地等の境界とみなす。図６（ｂ）は、図面３００に、画像６０１と、取得した線分６０２、６０３、６０４を重畳表示した図である。画像６０１は、線分６０２、６０３、６０４により、複数の領域に分割されている。その分割された複数領域の中から領域を１つ選択することにより、第二の画像とする。複数の分割領域の中から１つの領域を選択する方法は、どのような方法でもよいが、例えば、図５の説明と同様に、ユーザが、領域６１１を指定する。ユーザが領域を指定する場合、操作部２０６が、ユーザからの入力を受け付ける。そして、画像作成部２２２が、受け付けた入力に基づいて、領域６１１を認識に適した範囲に決定し、第二の画像を作成する。このように、目地等の境界を、認識に適した範囲として使用し、第二の画像を作成することができる。構造物の目地や部材の繋ぎ目等などの境界を決定する方法として、他の方法を用いてもよい。例えば、ＦＦＴにより得られる画像の空間周波数情報に基づいて、類似するテクスチャごとに領域を分割する。この分割境界を、目地や部材の繋ぎ目としてもよい。このとき、テクスチャに応じた第二の画像ごとに、使用する学習モデルを変更する、など認識方法を切り替えて認識処理を実行してもよい。また、ユーザが目地等を直接指定してもよい。ユーザが指定する場合、表示部２０５に表示された第一の画像を確認しながら、目地等の位置や形状を入力する。操作部２０６は、ユーザからの入力を受け付け、画像作成部２２２が、受け付けた入力を、目地等の境界として取得する。

第一の画像から認識に適した範囲を決定する他の方法として、複数の方法を組み合わせて使用してもよい。例えば、情報処理装置のメモリ等の制約に基づいて決定する方法と、構造物中の目地や部材間のつなぎ目などを境界として使用する方法を組み合わせてもよい。まず、第一の画像から目地等の境界を取得し、第一の画像を複数の部分画像に分割する。次に、各部分画像を、ＲＡＭサイズに基づいて認識処理を実行可能なサイズごとに分割する。このように、複数の方法を組み合わせることにより、構造物の目地を境界として使用しながら、確実に認識処理を実行可能なサイズの部分画像を作成することができる。

第一の画像が、複数の撮影画像から構成されている場合には、その画像境界を、認識に適した範囲の境界に使用してもよい。撮影条件が変わると、画像の色味やピントなどが変化するため、構造物画像上のひび割れ等の見え方も異なる。そのため、撮影境界は、認識処理に適した範囲を決定する境界に適している。例えば、図３（a）の画像３０１は、個別に撮影した画像３０４と画像３０５を、重ならないように連結した全体画像である。画像３０４と画像３０５の間の撮影境界（画像境界）３０６を、認識に適した範囲を決定する際の境界として使用してもよい。もしくは、連結前の画像３０４と画像３０５を、それぞれ部分画像とみなし、いずれか一方を第二の画像としてもよい。また、壁面の高解像度画像を作成するために、一部の撮影範囲が重複するように撮影し、撮影した複数の画像を、重ねるようにスティッチすることにより、第一の画像を作成する場合がある。このような場合、このスティッチ境界を、認識に適した範囲の境界として使用してもよい。

逆に、１枚の撮影画像から構成される第一の画像が、データ管理上、複数の小画像に分割して記憶部２２５に記憶することがある。このような場合には、小画像の分割境界を、認識に適した範囲の境界として使用してもよい。１つの小画像を第二の画像としてもよいし、２つ以上の小画像を連結した画像を、第二の画像としてもよい。例えば、図３(ｂ）の画像３０２は、４つの分割画像（３２２、３２３、３２４、３２５）に分割されて記憶されている。この分割画像のうち、例えば、分割画像３２４を選択し、第二の画像としてもよいし、分割画像３２３、３２５を連結した画像を、第二の画像としてもよい。

＜第二の画像とグローバル座標の関係算出＞
Ｓ４０２において、画像作成部２２２は、グローバル座標上における第二の画像の位置を算出する。第二の画像の位置を算出するために、グローバル座標上の第一の画像の位置情報と、第一の画像と第二の画像の位置関係の情報を用いる。グローバル座標上の第一の画像の位置は、画像左上の頂点の座標で示され、本実施形態では既知である。第一の画像と第二の画像の位置関係は、画像解像度と、各画像の左上頂点間における、各軸方向の画素数から求める。これらの情報を用いて、グローバル座標の第二の画像の位置を算出する方法を、図７を用いて説明する。なお、グローバル座標上の単位はｍ（メートル）とし、画像解像度は、実物の構造物壁面の画像上のサイズを示し、ここでは定数Ｒ（ｍｍ／ｐｉｘｅｌ）とする。図７は、グローバル座標７００に対応づけられた、第一の画像７１１と第二の画像７１２を表示している図である。第一の画像７１１の位置は、画像左上の頂点座標７２１（Ｘg1、Ｙg1）とする。また、第二の画像７１２の位置は、画像左上の頂点座標７２２（Ｘg2、Ｙg2）とする。また、頂点座標７２１と頂点座標７２２の間の各軸方向の画素数（距離画素数）を（Ｘp，Ｙp）とする。このとき、グローバル座標上の第二の画像の頂点座標７２２（Ｘg2、Yg2）は、次式（１）、（２）で表される。
Ｘg2 = Ｘg1 ＋ (Ｘp × R × 0.001) …（１）
Ｙg2 = Ｙg1 ＋ (Ｙp × R × 0.001) …（２）
式（１）、（２）における数値の０．００１は、画像解像度のｍｍ（ミリメートル）からグローバル座標のｍ（メートル）へ単位変換する変換係数である。この変換係数は、画像解像度やグローバル座標の単位に合わせて変更する。式（１）、式（２）を用いることにより、グローバル座標における第二の画像の位置を求めることができる。

＜認識処理の実行＞
Ｓ４０３において、認識処理部２２３は、第二の画像に対して認識処理を実行し、認識結果を取得する。本実施形態では、１例として、認識対象がひび割れの場合の認識処理について図８を用いて説明する。

図８は、ローカル座標８００に対応づけられた第二の画像８０１と、取得した認識結果のひび割れ８１１を重畳表示している図である。ローカル座標は、第二の画像に対応づけられた画像座標である。説明のため、第二の画像の左上の頂点８１０を、ローカル座標８００の原点とする。ひび割れ８１１は、ベクターデータとして出力され、点Ｐ１～Ｐｍを持つ。ひび割れ８１１の点Ｐ１～Ｐｍは、それぞれローカル座標の位置座標を持つ点であり、各点を直線で結ぶことによりひび割れを表現している。なお、ひび割れ８１１は、ラスターデータとして出力してもよい。ひび割れをラスターデータとして取得する場合には、ローカル座標上の点の集合が、ひび割れを表現することになる。

Ｓ４０３で実行する認識処理は、例えば、予め機械学習により学習された学習済みモデルを用いる実行することができる。学習済みモデルは、例えば、ニューラルネットワークモデルで構成可能である。ひび割れの種類ごとに、異なる学習データを用いて学習された学習済みモデルを用意しておき、認識したいひび割れごとに学習済みモデルを使い分けてもよいし、様々な種類のひび割れを認識可能な汎用的な学習済みモデルを使用してもよい。また、第二の画像のテクスチャ情報に基づいて、学習モデルを使い分けてもよい。第二の画像からテクスチャ情報を求める方法は、例えば、ＦＦＴにより得られる画像の空間周波数情報に基づいて決定する方法がある。また、ひび割れの認識手法は、これに限らず、画像処理による方法でもよい。例えば、特許文献２では、ウェーブレット変換によりひび割れを検知する方法が開示されている。また、ひび割れをはじめとする変状の認識結果は、ベクターデータに限らず、ラスターデータとしてもよい。

Ｓ４０３による認識処理は、並列実行してもよい。Ｓ４０３の認識処理を並列に実行することは、好適な処理方法の１つである。並列処理を行う場合、Ｓ４０１とＳ４０２で、第一の画像から第二の画像を１つ作成し、グローバル座標の位置情報を算出する。このＳ４０１とＳ４０２の処理を繰り返して、第二の画像を複数作成しておく。そして、作成した第二の画像１つ１つに対して、認識処理部２２３が、認識処理を並列実行し、それぞれの画像に対する認識結果を取得する。取得した認識結果は、第二の画像ごとに対応づけられたローカル座標のベクターデータとして出力される。

＜認識結果をグローバル座標に変換＞
Ｓ４０４にて、座標変換部２２４は、ローカル座標に対応づけられた認識結果を、グローバル座標に変換する処理を行う。認識結果を座標変換する例として、図８のひび割れ８１１のベクターデータの点Ｐ１～Ｐｍの座標を、グローバル座標へ変換する処理を説明する。点Ｐ１～Ｐｍの座標は、ローカル座標に対応づけられた座標（Ｘlp1，Ｙlp1）～（Ｘlpm，Ｙlpm）とする。このとき、グローバル座標に変換した点Ｐ１～点Ｐの座標（Ｘgp1，Ｙgp1）～（Ｘgpm，Ｙgpm）は、次式（３）、（４）で求めることができる。
Ｘgpi ＝ Ｘg2+(Ｘlpi × R × 0.001) (pi＝p1,p2,…,pm) …（３）
Ｙgpi ＝ Ｙg2+(Ｙlpi × R × 0.001) (pi＝p1,p2,…,pm) …（４）
式（３）および（４）中のＲは、第一の画像の画像解像度を示すパラメータであり、ｍｍ／ｐｉｘｅｌ単位の数値で表す。末尾の数字０．００１は、ｍｍからｍへの単位変換を行う変換係数である。この変換係数は、式（１）および（２）の変換係数と同じく、画像解像度の単位とグローバル座標の単位に合わせて変更する。Ｘg2とＹg2は、式（１）および（２）により算出される、グローバル座標上の第二の画像の位置（画像左上の頂点座標）である。式（３）、（４）を用いることにより、ローカル座標上の認識結果を、グローバル座標へ変換することができる。

＜認識結果の格納＞
Ｓ４０５にて、データ管理部２２１は、グローバル座標に変換された認識結果を、記憶部２２５に記憶する処理を行う。認識結果は、グローバル座標、すなわち構造物全体の図面座標に対応づけられた座標を持つため、図面や第一の画像と対応づけて認識結果を記録、管理できるようになる。図９に、図面３００と、図面に対応づけられた第一の画像９０１、および認識結果９０２を表示している状態を示す。

［第１の実施形態の変形例］
ここまで第１の実施形態では、部分画像ごとに認識結果を取得し、逐次座標変換する実施形態について説明した。しかし、複数の部分画像の認識結果を蓄積し、一括で座標変換して図面に対応づける処理を行ってもよい。座標変換前の認識結果は、座標変換パラメータとともにＨＤＤ２０４等に保持しておく。そして、例えば、ユーザが認識結果を参照する場合、認識結果と座標変換パラメータを読み込む。そして、参照に必要な認識結果のみ座標変換処理を実行し、図面に対応づけられた認識結果を取得する。このように、一括で座標変換を行うことにより、座標変換処理の回数を削減することができる。

＜他分野への適用例＞
以上の実施形態では、インフラ点検における検査対象を撮影した画像に対する認識結果を図面と対応付けて管理する実施形態について説明した。しかし、適用先は特定の分野に限定されない。例えば、超解像度画像を用いた検査点検処理などにも有効である。具体的に示すのであれば、工場における半導体ウエハ検査工程である。半導体ウエハの検査工程では、半導体ウエハを撮影した画像から傷などの欠陥を認識し、その認識結果を図面に対応付けて管理する。半導体ウエハ上の微細な傷を認識するためには、超高解像度で撮影した画像に対して認識処理を実行する必要があるため、画像サイズは非常に大きくなる。したがって、全体画像に対して一度に認識処理を実行することは難しい。そのため、全体画像から部分画像を切り出し、部分画像ごとに認識処理を実行する。ところで、半導体ウエハ製造工程では、ウエハ表面上の碁盤目状の境界に合わせて規則的に回路パターンを焼き付け、その後境界に沿ってダイシングを行う。つまり、認識処理を実行可能な部分画像を作成する際の区切りとして、碁盤目状の境界を使用することが好適な方法である。部分画像ごとに取得した傷などの認識結果を図面に座標変換することにより、ウエハ全体の欠陥情報を容易に管理できるようになる。

以上説明した第１の実施形態によれば、構造物画像サイズが非常に大きく、構造物画像に対して認識処理を実行することが難しい場合において、認識処理を実行できるようになる。また、認識処理により取得した認識結果を、構造物図面と対応付けて記録、管理することができるようになる。

［第２の実施形態］
上記第１の実施形態では、部分画像ごとに認識結果を取得し、図面と対応付けて管理する例を説明した。変状が、部分画像境界をまたいで存在している場合、部分画像の境界付近で途切れた認識結果となる。そのため、ユーザは、画像と見比べながら認識結果の途切れを修正することになる。第２の実施形態では、部分画像境界付近の認識結果を合成し、認識結果の途切れを抑制する例を示す。具体的には、部分画像境界付近の、異なる部分画像に対応付けられた認識結果において、位置が近い認識結果同士を同一の変状の認識結果であるとみなし、合成する処理を行う。これにより、認識結果が連結され、管理および閲覧しやすくなる。以下、第１の実施形態との差分を中心に、第２の実施形態を説明する。

第２の実施形態に係る情報処理装置２００のハードウェア構成は、図２（ａ）に示した第１の実施形態の構成に準じるため、説明を省略する。図１０は、第２の実施形態の構成に係る情報処理装置２００の機能ブロック図の一例を示す図である。第１の実施形態において図２（ｂ）に示した構成に対して、算出部２２６と、判定部２２７と、合成部２２８が追加されている点が異なる。算出部２２６は、ＣＰＵ２０１の機能部であって、グローバル座標に変換された認識結果を合成するか否かを判定する指標を算出する。判定部２２７は、ＣＰＵ２０１の機能部であって、算出部２２６で算出した指標に基づいて、認識結果を合成するか否かの判定を行う。合成部２２８は、ＣＰＵ２０１の機能部であって、判定部２２７の判定結果に基づいて、認識結果を合成する処理を行う。

図１１は、第２の実施形態に係る情報処理装置２００が実行するメイン処理の一例を示すフローチャートである。図１１のフローチャートにおいて、第１の実施形態で説明した図４のフローチャートと同じ番号を付したステップでは、第１の実施形態と同様の処理が実行される。第２の実施形態の場合、Ｓ４０４で認識結果の座標変換処理が実行された後、処理はＳ１１０１へ進む。本第２の実施形態では、部分画像境界を跨いで認識結果を合成する処理を説明する。そのため、Ｓ４０１からＳ４０４の処理を、複数の部分画像に対して実行し、複数の認識結果を取得しておくことを前提としている。

Ｓ１１０１では、算出部２２６が、画像境界付近の認識結果を合成するか否かを判断する指標を算出する。算出する指標は、例えば、認識結果間（既にグローバル座標に変換済みである点に注意されたい）の距離である。続くＳ１１０２では、Ｓ１１０１で算出した指標に基づいて、認識結果を合成するか否かを判定し、合成すると判断した場合には、Ｓ１１０３へ進み認識結果の合成処理を実行する。合成しない（Ｓ１１０２でＮｏ）と判断した場合には、Ｓ４０５へ進む。Ｓ１１０３では、認識結果を合成する処理を行う。その後、Ｓ４０５で、データ管理部２２１が認識結果を記憶部２２５に記憶する処理を行い終了する。

ここで、図１２を用いて、認識結果同士を合成するか否かを判断する指標を算出するＳ１１０１の処理の詳細を説明する。本第２の実施形態における認識結果は、第１の実施形態と同様に、構造物表面のひび割れとする。Ｓ１１０１では、異なる部分画像に対応付けられたひび割れ同士を、画像境界を跨いで連結してもよいかどうか判断する指標を算出する。算出する指標として、例えば、ひび割れの端点間の距離ｄを求める。図１２（ａ）は、構造物画像１２１１と、ひび割れ１２２２、１２２３、１２２４、１２２５を、図面１２００上に表示している図である。部分画像１２１２、１２１３は、それぞれ構造物画像１２１１の部分画像である。ひび割れ１２２２、１２２３は部分画像１２１２に対応付けられており、ひび割れ１２２４、１２２５は部分画像１２１３に対応付けられている。

Ｓ１１０１では、部分画像１２１２上の各ひび割れに対して、部分画像１２１３上のひび割れの中から、最短距離となるひび割れを探索し、その最短距離を取得する。まず、部分画像１２１２に対応付けられたひび割れの中から、１つのひび割れ１２２２を選択する。次に、部分画像１２１３に対応付けられたひび割れの中から、１つのひび割れ１２２４を選択する。図１２（ｂ）は、選択したひび割れ１２２２、１２２４を示している図である。ひび割れ１２２２、１２２４は、それぞれベクターデータであり、各点の位置座標はグローバル座標に変換済みとする。このとき、選択したひび割れ１２２２の端点１２３１と、ひび割れ１２２４の端点１２３２の間の距離ｄを、次式（５）を用いて算出する。式（５）は、画像境界１２１４に最も近いひび割れの端点同士の距離ｄを算出する式である。
ｄ＝｛(Ｘg1-Ｘg2)²+(Ｙg1-Ｙg2 )² ｝^1/2 …(５)
式中のＸg1、Ｙg1は端点１２３１の位置座標を示し、Ｘg2、Ｙg2は端点１２３２の位置座標を示すパラメータである。この端点間の距離ｄの算出処理を、ひび割れ１２２２は固定のままで、部分画像１２１３上の各ひび割れに対して実行する。これにより、ひび割れ１２２２に対して、最短距離となる部分画像１２１３上のひび割れを決定し、その時の最短距離ｄを取得する。以上の処理を、部分画像１２１２の各ひび割れに対して繰り返し実行することにより、各ひび割れに対応する最短距離を取得する。

続くＳ１１０２では、判定部２２７が、Ｓ１１０１で算出した指標ｄ（距離ｄ）に基づいて、ひび割れを合成するか否かを、ひび割れごとに判定する。例えば次式（６）の条件を満たす場合に、判定部２２７は合成するとして判定し、そうでない場合は合成しないと判定する。
Ｄ≧ｄ …(６)
式中のＤは、画像境界を跨いで認識結果を合成するか否かを判断する基準値を示す定数（閾値）である。この定数Ｄは、例えば、実験的に求めた値を使用する。

本第２の実施形態では、Ｓ１１０１で算出した指標ｄが、式（６）の条件を満足する場合、Ｓ１１０３へ進み、指標ｄを算出したときの２つのひび割れを表すベクターデータを合成する処理を行う。また、式（６）の条件を満たさない場合、ひび割れの連結処理をスキップしてＳ４０５へ進み、第１の実施形態と同様に、データ管理部２２１が、ひび割れを記憶部２２５へ記憶する処理を行い、処理を終了する。

Ｓ１１０３にて、合成部２２８は、認識結果の合成処理を行う。認識結果の合成処理の例として、図１２（ｂ）のひび割れ１２２２とひび割れ１２２４を連結する処理を説明する。ひび割れの連結処理では、もっとも距離の近い端点同士を連結する。すなわち、端点１２３１と端点１２３２を連結する。図１２（ｃ）に、連結により新たに作成したひび割れ１２２６を示す。ひび割れ１２２６は、部分画像の境界１２１４を跨いだ長いひび割れとなっている。

上記例では、ひび割れ１２２４の端点１２３２の間の距離を式（５）に従って算出し、その後で閾値Ｄと比較した。しかし、単純に２つのひび割れ間の距離の大小が判定できれば良いので、次のようにしても良い。まず、式（５）の代わりに次式（５’）に従って距離の指標ｄ’を求める。そして、求めた指標値ｄ’とそれに応じた閾値Ｄ’と比較することで、合成／非合成を判定するよう。式（５’）の場合、ルート演算が不要になるぶん、演算が単純化でき、処理の高速化が期待できる。
ｄ’＝(Ｘg1-Ｘg2)²+(Ｙg1-Ｙg2 )² …(５’)

本第２の実施形態では、ひび割れの端点間の距離を算出し、その距離が基準値以下である場合に、ひび割れを連結する処理について説明したが、その他の指標を使用してもよい。例えば、ひび割れの端点間の距離に加え、ひび割れの端点付近の向きの差（角度差）を用いてもよい。一般的に、ひび割れは、途中から急に大きく折れまがることは少ない。つまり、ひび割れを連結したときに、大きく折れ曲がるようなひび割れは、不自然なひび割れであるといえる。したがって、ひび割れを連結した時の角度変化が小さいかどうかを判定条件として追加することにより、より自然な連結ひび割れを作成することができる。以下、ひび割れの端点間の距離と、ひび割れの端点付近の向きの差を指標として用い、ひび割れを連結する処理の概要を説明する。

はじめに、Ｓ１１０１にて、算出部２２６が２つの指標を算出する。図１２（ｄ）は、異なる部分画像に対応付けられたひび割れ１２２７とひび割れ１２２８と、画像境界１２１５を示す図である。まず、算出部２２６は、１つ目の指標として、端点１２３３と端点１２３４の間の距離ｄを、式（５）を用いて求める。次に、算出部２２６は、２つ目の指標として、端点１２３３と端点１２３４を連結した時の、端点ごとの角度をそれぞれ求める。図１２（ｅ）は、端点１２３３の角度θ１２３３と、端点１２３４の角度θ１２３４を示す図である。角度θ１２３３は、直線１２４１と直線１２４２のなす角度である。ここで、直線１２４１は、端点１２３３とその隣の点１２３５を通る直線であり、直線１２４２は、端点１２３３と端点１２３４を通る直線である。また、角度θ１２３４は、直線１２４２と直線１２４３のなす角度である。ここで、直線１２４３は、端点１２３４とその隣の点１２３６を通る直線である。

次に、Ｓ１１０２で、判定部２２７は、算出した指標を基に認識結果を連結するかどうか判定を行う。１つ目の指標である距離は、式６を用いて基準値以下かどうかを判定する。２つ目の指標である角度θ１２３３、θ１２３４がいずれも次式（７）を用いて基準角度以下かどうかを判定する。
Θ≧θ …（７）
式７中のΘは、基準角度を示す定数（閾値）であり、例えば、実験的に求めた値を使用する。

Ｓ１１０２にて、判定部２２７は、式（６）、（７）の両条件を満たすか否かを判定する。両条件を満たすと判定した場合、判定部２２７は処理をＳ１１０３に進める。一方、式（６）、（７）のいずれかが満たさない場合、判定部２２７は処理をＳ４０５へ進める。Ｓ１１０３の合成処理は、これまでの説明と同様のため、説明を省略する。このように、ひび割れの向きを指標として追加することにより、より自然な連結処理のみを実行することができる。

＜領域を持つ認識結果を合成する処理＞
本実施形態では、認識結果の例として、面積を持たないひび割れを連結する処理を説明したが、漏水や浮きなどのような面積を持つ認識結果に対しても有効である。ここで、面積をもつ認識結果がベクターデータであるとする。面積を持つ認識結果を連結するか否かを判断する方法は、例えば、認識結果を構成する境界のうち、一部の境界が近接し、かつ向きが揃っているかどうかを使用する方法がある。すなわち、各認識結果を構成する線分のうち、もっとも距離の近い線分の組合せを選択し、その時の線分間距離と線分のなす角度を算出する。算出した距離と角度が、いずれも基準値以下である場合に、認識結果を合成する処理を行う。領域を持つ認識結果を合成するかを判断する指標の算出処理の概要を、図１３を参照して説明する。

図１３（ａ）は、画像境界１３０１と、認識結果１３１１と１３１２を表示している図である。まず、認識結果１３１１、１３１２を構成する各線分の中から、最短距離となる線分の組み合わせを選択する。図１３（ｂ）は、最短距離の線分の組合せとなる線分１３２１と線分１３２２を示している。この２つの線分を用いて２つの指標を算出する。１つ目の指標は、線分間の最短距離であり、この図では、線分１３２１の端点１３３１と、線分１３２２間の距離ｄ１３３３である。２つ目の指標は、線分１３２１と、線分１３２２を並行移動させた線分１３２３とのなす角度θ１３３４である。

求めた２つの指標が、それぞれ基準値以下である場合、つまり式（６）と（７）を満たす場合に、認識結果１３１１と認識結果１３１２を連結する処理を行う。認識結果の連結処理は、例えば、近接する線分１３２１と線分１３２２の端点同士を連結することにより実行すればよい。図１３（ｃ）は、連結後にできる新たな認識結果１３１３を示しており、画像境界１３０１をまたいで認識結果が連結されていることがわかる。

［第２の実施形態の変形例］
上記第２の実施形態では、部分画像境界付近で途切れる認識結果を合成する方法について説明した。部分画像境界を跨ぐ認識結果の合成では、不自然な認識結果が作成されることがある。そこで、全体画像から、合成候補の認識結果を含む部分画像を新たに作成し、認識処理を実行して認識結果を取得しなおす。これにより、画像境界付近で途切れのない自然な認識結果を取得することができる。

図１３（ｄ）を用いて、合成候補の認識結果を含む部分画像を作成する処理を説明する。図１３（ｄ）は、図面１３００に、全体画像１３４１と、部分画像（１３４２、１３４３）と、認識結果（１３５１、１３５２）を表示している図である。認識結果１３５１と認識結果１３５２は、画像境界１３６１付近で途切れている。ここで、認識結果１３５１、１３５２を含む新たな部分画像１３４４を作成する。この部分画像１３４４は、認識結果１３５１と認識結果１３５２の間の画像境界１３６１付近の領域も含む。そのため、部分画像１３４４に対して認識処理を実行して取得する認識結果は、画像境界１３６１付近で途切れることがない。したがって、画像境界をまたいで合成した認識結果よりも、自然な認識結果が得られる。そして、得られた認識結果を座標変換し、図面座標に対応付けられた新たな認識結果として記憶する。なお、認識結果は重複管理しないよう、例えば、元々の合成候補の認識結果は削除することが好ましい。

以上説明したように、画像境界付近で認識結果が途切れてしまう場合において、本実施形態で説明する方法を用いることにより、画像境界を跨いで認識結果を合成することができる。

［第３の実施形態］
第１の実施形態では、微細なひび割れの認識結果を取得するために、部分画像を作成し、認識処理を実行して認識結果を取得する例を説明したが、認識対象に応じて、使用する部分画像の解像度を変更してもよい。例えば、微細なひび割れを認識するためには、高解像度な画像を使用する必要がある。一方、広範囲に及ぶ漏水領域や太いひび割れなどの変状は、比較的低解像度な画像でも視認できるため、低解像度化した画像を使用しても、認識できることが多い。低解像度化した画像を用いることにより、認識処理における情報処理装置の負荷が軽減されるため、認識処理を高速化することができる。したがって、認識対象に応じて、認識処理を実行する画像の解像度を変換することにより、認識処理を高速化することができる。ただし、取得する認識結果は、低解像度画像に対応する認識結果である。そのため、取得した認識結果を、もとの解像度画像に対応づける処理を行う必要がある。以下、第１の実施形態との差分を中心に、第３の実施形態を説明する。

第３の実施形態に係る情報処理装置２００のハードウェア構成は、図２（ａ）に示した第１の実施形態の構成に準じるため、説明を省略する。図１４は、第３の実施形態の構成に係る情報処理装置２００の機能ブロック図である。第１の実施形態の図２（ｂ）に示した構成に対して、認識対象設定部２２９と画像加工部２３０が追加されている点が、主な相違点である。認識対象設定部２２９は、ＣＰＵ２０１の機能部であって、認識対象を設定する処理を実行する。画像加工部２３０は、ＣＰＵ２０１の機能部であって、認識対象設定部２２９が設定した認識対象に基づいて、第二の画像を加工する処理を行う。第二の画像を加工する処理は、例えば、画像解像度を変更する処理である。なお、画像加工パラメータはＲＡＭ２０３などに記憶しておく。そして、座標変換部２２４が、画像加工パラメータを使用して、認識結果を加工前の画像に対応づけられた画像座標に変換する処理を行う。これにより、認識結果を図面座標へ適切に変換することができる。

図１５は、第３の実施形態に係る情報処理装置２００が実行するメイン処理の一例を示すフローチャートである。図１５のフローチャートにおいて、第１の実施形態で説明した図４のフローチャートと同じ参照符号を付したステップでは、第１の実施形態と同様の処理が実行されるものとする。

本第３の実施形態の場合、Ｓ１５０１で、認識対象を設定する処理を行う。本実施形態では、たとえば、ユーザが認識対象を設定し、操作部２０６が、ユーザの入力を受け付ける。認識対象設定部２２９は、操作部２０６の受付に基づいて、認識対象を設定する処理を行う。続くＳ１５０２では、画像加工部２３０が、認識対象設定部２２９で設定した認識対象に基づいて、画像加工方法を決定し、第二の画像に対して画像加工処理を実行する。Ｓ１５０３は、座標変換部２２４の処理で、Ｓ４０３で取得した認識結果に対して、画像加工パラメータを用いて、画像加工前の画像に対応付ける座標変換処理を実行する。その後、認識結果をグローバル座標へ変換したのち、記憶部２２５へ記憶する処理を行って終了する。

ここで、図１６を用いて、認識対象に基づいて第二の画像に対して画像加工処理を実行するＳ１５０２の処理の概要を説明する。図１６（ａ）は、図面１６００に、構造物壁面を撮影した全体画像１６１１と、部分画像１６１２、部分画像１６１３を示した図である。部分画像１６１２上には、漏水領域１６２１が映っており、部分画像１６１３上には、微細なひび割れ１６２２が映っている。Ｓ１５０２は、画像加工部２３０の処理で、認識対象に基づいて、部分画像に対する加工処理を実行する。本第３の実施形態では、例として、解像度変換を実行する処理を説明する。解像度変換を実行するためには、予め、認識対象と解像度変換係数を対応づける必要がある。そこで、例えば、認識対象と解像度変換係数を対応づけた変換テーブルを、例えばＨＤＤ２０４に記憶保持させておく。そして、Ｓ１５０１で設定した認識対象に基づいて、変換テーブルから解像度変換係数を取得し、部分画像に対して解像度変換処理を実行する。本実施形態では、Ｓ１５０１で、漏水領域を設定したものとし、変換テーブル上の漏水領域に対応づけられた解像度変換係数は０．５であるとする。図１６（ｂ）に、解像度（水平、垂直とも）を０．５倍に変換した部分画像１６１４、１６１５を示す。なお、解像度変換方法の種類は問わないが、例えば０．５倍の場合には、オリジナルの画像の２×２画素の平均値を、解像度変換後の１画素にすれば良い。

一般的に、微細なひび割れを認識するためには高解像度な画像を使用する必要がある。例えば、部分画像１６１５のように、認識処理で実行する画像を低解像度化すると、微細なひび割れ１６２４のように一部（もしくは全て）が視認できなくなる。そのため、認識結果の性能が低下しやすい。その一方、漏水領域は、微細なひび割れと比較して、広範囲に及ぶ変状であり、低解像度化した画像でも視認しやすい（漏水領域１６２３）。そのため、低解像度化した画像を用いて漏水領域を認識する処理を実行しても、認識結果の性能は低下しにくい。認識処理を実行する画像を低解像度化することにより、認識処理で用いる情報処理装置の負荷が軽減されるため、認識処理にかかる処理時間を削減することができる。

その後、Ｓ４０３で解像度変換後の画像に対して認識処理を実行し、認識結果を取得する。取得する認識結果は、画像変換後の画像に対応づけられた認識結果であるため、グローバル座標に変換する前に、Ｓ１５０３で、解像度変換前の画像座標へ変換する処理を実施する。例えば、Ｓ４０３で取得する認識結果の任意の点の位置座標（Ｘlb、Ｙlb）を解像度変換前の画像に対応づける座標変換式（８）、（９）を以下に示す。
Ｘla ＝ Ｘlb／Ｃ （Ｃ≠0） …（８）
Ｙla ＝ Ｙlb／Ｃ （Ｃ≠0） …（９）
式（８）及び（９）中のパラメータ“Ｃ”は、解像度変換係数である。また、Ｘla、Ｙlaパラメータは、解像度変換前画像の画像座標に対応づけられた認識結果である。式（８）、（９）を用いることにより、元の解像度変換前の認識結果を取得することができる。

本第３の実施形態では、認識処理を実行する画像に対して、１つの認識対象に対応する解像度変換処理を行う方法について説明した。認識処理を実行する同一の画像から、複数の認識結果を取得する場合には、認識対象ごとに異なる解像度変換処理を行い、認識対象ごとに異なる解像度の画像を用いて認識結果を取得、統合してもよい。例えば、認識処理を実行する１つの部分画像から、ひび割れと漏水領域の２つの変状を認識するために、異なる解像度画像を作成する。ここで、ひび割れに対応する解像度変換係数をＣ１、漏水領域に対応する解像度変換係数をＣ２とする。そして、２つの異なる解像度の画像に対して、個々に認識処理を実行し、ひび割れの認識結果と漏水領域の認識結果を取得する。そして、解像度変換係数Ｃ１と式（８）、式（９）を用いてひび割れの認識結果を解像度変換前の画像座標に変換する。同様に、解像度変換係数Ｃ２と式（８）、式（９）を用いて、漏水領域の認識結果も変換する。その後、各認識結果をグローバル座標に変換することにより、２つの認識結果と１つの画像を、同一の図面上で管理することができる。

以上のように、認識対象に応じて、画像解像度を変換することにより、認識結果の影響を抑えつつ、認識処理の高速化を図ることができる。なお、本第３の実施形態では、認識対象に応じた認識処理を実行する画像加工処理として、解像度変換（拡大縮小変換）を適用する処理について説明したが、その他の加工処理を用いてもよい。例えば、認識対象に応じて、認識処理を実行する画像に対して、回転変換（画像の向きを変化）も適用可能であることは言うまでもない。

［第４の実施形態］
第１の実施形態では、２次元図面に対応づけられた画像から作成した部分画像の認識結果を、図面と対応づけて管理する例を説明したが、３次元図面に対応づけられた画像を用いてもよい。３次元図面データとは、例えば、３ＤＣＡＤソフトウェア等を用いて作成した３Ｄモデルに、構造物を様々な方向から撮影した画像を張り付けたデータである。このような場合、例えば、３次元図面における任意視点からの部分画像を作成して、認識処理を実行する。これにより、構造上劣化しやすい箇所を含む部分画像を作成して認識処理を行う、といった効率的な点検が可能となる。取得した認識結果は、３次元図面に対応づけて記憶することにより、３次元図面上で、画像と認識結果を容易に管理することができる。以下、第１の実施形態との差分を中心に、第４の実施形態を説明する。なお、本第４の実施形態において、第一の画像は、３Ｄモデルに張り付けられた壁面画像とし、第二の画像は、３次元図面上から切り出した部分画像であるとする。また、グローバル座標は、３次元図面に対応づけられた３次元図面座標とし、ローカル座標は部分画像に対応づけられた局所座標とする。

第４の実施形態に係る情報処理装置２００のハードウェア構成は、図２（ａ）に示した第１の実施形態の構成に準じるため、その説明は省略する。図１７は、第４の実施形態の構成に係る情報処理装置２００の機能ブロック図である。第１の実施形態における図２（ｂ）の画像作成部２２２を、着目画像作成部２３１に置きかえた点が異なる。着目画像作成部２３１は、ＣＰＵ２０１の機能部であって、３次元図面上の第一の画像から、着目している範囲の部分画像を第二の画像として作成する処理を実行する。３次元図面上の第一の画像から第二の画像を作成する方法は、例えば、３次元図面上に３Ｄモデルに第一の画像を張り付けておき、任意視点からの表示範囲を切り出して第二の画像とする方法である。合わせて、作成した第二の画像と、３次元図面座標との関係を算出する処理を行う。なお、記憶部２２５には、構造物の３Ｄモデルデータと、構造物を様々な方向から撮影した画像、および認識結果が記憶される。

図１８は、第４の実施形態に係る情報処理装置２００が実行するメイン処理の一例を示すフローチャートである。図１８のフローチャートにおいて、第１の実施形態で説明した図４のフローチャートと同じ参照符号を付したステップでは、第１の実施形態と同様の処理が実行される。本第４の実施形態の場合、Ｓ１８０１にて、着目画像作成部２３１が、３次元図面上の第一の画像から第二の画像を作成する。本実施形態では、たとえば、構造物を撮影した第一の画像が張り付けられた３Ｄモデルを任意視点から見た時の部分画像を、第二の画像として作成する処理を行う。３次元図面上で視点等を設定する方法は、例えば、ユーザが指定する方法がある。表示部２０５に構造物画像を張り付けた３Ｄモデルを表示させ、ユーザは、表示部２０５を見ながら、視点位置や表示範囲等を設定して、操作部２０６が、ユーザからの入力を受け付ける。着目画像作成部２３１は、操作部２０６の受付に基づいて、視点位置や表示範囲等を設定し、第二の画像を作成する処理を行う。続くＳ１８０２にて、着目画像作成部２３１は、第二の画像とグローバル座標との関係を算出する。第二の画像は、３次元図面上における部分画像であり、局所座標をもつ。局所座標とグローバル座標との関係を算出する方法は、公知の技術を利用して実行する。そのため詳細な説明は省略するが、例えば、特許文献３のような方法を用いて実施することができる。Ｓ１８０３にて、座標変換部２２４は、Ｓ４０３で取得した第二の画像に対する認識結果を、３次元図面座標に変換する処理を実行する。認識結果を３次元図面座標に変換する処理も、公知の技術を利用して、Ｓ１８０２と逆の処理により実現することができる。その後、Ｓ４０５にて、データ管理部２２１が、３次元図面座標に変換された認識結果を記憶部２２５へ記憶する処理を行って終了する。

図１９を参照して、３次元図面上のユーザが設定した視点から第二の画像を作成する処理の概要を説明する。図１９（ａ）は、３次元図面１９００上に、３次元図面座標１９０１と、橋梁の３Ｄモデル１９１１を示した図である。３Ｄモデル１９１１は、ＣＡＤソフトウェア等を用いて作成した３Ｄモデルでもよいし、構造物を撮影した画像をもとに３次元再構成により作成した３Ｄモデルでもよい。３Ｄモデル１９１１の表面には、橋梁を様々な方向から撮影した画像が張り付けられているものとする。Ｓ１８０１にて、着目画像作成部２３１は、３Ｄモデル１９１１表面の構造物画像のうち、ユーザの設定に従った視点および表示範囲内の画像を切り出し、第二の画像を作成する。図１９（ａ）の視点１９１２および表示範囲１９１３から作成した部分画像を図１９（ｂ）に示す。図１９（ｂ）は、３Ｄモデル１９１１の複数の面をまたぐ画像であり、局所座標１９０２を持つ。ユーザが望む視点から部分画像を作成することにより、例えば、構造上劣化しやすい箇所の部分画像を作成して認識処理を行う、といった効率的な点検が可能となる。

［第４の実施形態の変形例］
上記第４の実施形態では、３次元図面に対応づけられた画像に対して、３次元図面上のユーザが設定した視点から部分画像を作成する方法について説明した。３次元図面に対応づけられた画像から部分画像を作成する方法として、３Ｄモデルの展開図を使用してもよい。例えば、３次元図面上の任意視点から作成した部分画像は、隠れてしまう箇所は部分画像に表示されない。そのため、構造物が複雑な形状の場合、部分画像を複数作成することになり、作業が煩雑となる。このような場合、３Ｄモデルの展開図を使用して部分画像を作成することにより、効率的に部分画像を作成することができる。図１９（ｃ）に、展開図を用いて作成した、３Ｄモデル１９１１の橋脚１９２１における部分画像の例を示す。図１９（ｃ）は、橋脚１９２１の四方の壁面画像（１９２２、１９２３、１９２４、１９２５）を含む部分画像であり、１視点からでは隠れてしまう壁面も部分画像として容易に作成することができる。このように、３Ｄモデルの展開図を用いることにより、複数方向視点からの部分画像を容易に作成することができる。

以上のように、３次元図面に対応づけられた画像を用いた場合であっても、認識に適した部分画像を作成し、認識結果を３次元図面に対応づけることにより容易に管理することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２２１…データ管理部、２２２…画像作成部、２２３…認識処理部、２２４…座標変換部、２２５…記憶部

Claims (13)

1. グローバル座標に対応付けられた第一の画像から、当該第一の画像の一部である部分画像を第二の画像として作成する第一の画像作成手段と、
   前記第二の画像に対し、予め設定された特徴についての認識処理を実行し、前記第二の画像に関するローカル座標に対応付けた認識結果を作成する認識処理手段と、
   前記認識結果の座標を前記ローカル座標から前記グローバル座標に変換する座標変換手段と、
   複数の前記認識結果に基づいて、第一の画像から第二の部分画像を作成する第二の画像作成手段と
   を備えることを特徴とする情報処理装置。
2. 前記第一の画像作成手段は、
   前記認識処理を実行する情報処理装置のリソースに基づいて、前記第二の画像のサイズを決定する手段を含み、
   前記第一の画像から前記サイズ以内の部分画像を前記第二の画像として作成することを特徴とする請求項１に記載の情報処理装置。
3. 前記第一の画像作成手段は、
   前記第一の画像から算出した画像の特徴に基づいて、前記第二の画像の範囲を決定する手段を含み、
   前記第一の画像から前記範囲の部分画像を作成し第二の画像とすることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第一の画像作成手段は、
   前記認識処理を実行する情報処理装置のリソースと前記第一の画像から算出した画像の特徴に基づいて、前記第二の画像のサイズ、及び、範囲を決定する手段を含み、
   前記第一の画像から前記サイズ以内の前記範囲の部分画像を前記第二の画像として作成することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 複数の前記認識結果の位置と形状の少なくとも一方に基づいて、前記認識結果同士を合成する合成手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記グローバル座標は、検査対象となる構造物の図面に対応づけられた図面座標であり、
   前記第一の画像は、前記構造物を撮影した前記グローバル座標に対応づけられた画像であり、
   前記ローカル座標とは、前記第一の画像から作成する前記部分画像に対応づけられた局所座標であって、
   前記第一の画像作成手段は、前記第一の画像から前記部分画像である、前記第二の画像を作成することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記認識処理手段は、
   構造物の表面に生じた変状の位置を含む情報を、前記第二の画像により抽出し、前記ローカル座標に対応づけて取得することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記変状は、前記構造物の表面に生じたひび割れを含むことを特徴とする請求項７に記載の情報処理装置。
9. 前記認識処理手段の認識対象の種類に応じて、前記第二の画像の解像度を変換する変換手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記図面は、前記構造物の２次元図面もしくは３次元図面であり、
    前記第一の画像作成手段は、前記第一の画像の部分画像を前記第二の画像として作成する
    ことを特徴とする請求項６に記載の情報処理装置。
11. 前記座標変換手段は、前記図面に対応づけられた前記グローバル座標と前記認識結果に対応づけられた局所座標に基づいて、局所座標の前記認識結果を前記グローバル座標へ変換することを特徴とする請求項１０に記載の情報処理装置。
12. 情報処理装置が実行する情報処理方法であって、
    グローバル座標に対応付けられた第一の画像から、当該第一の画像の一部である部分画像を第二の画像として作成する第一の画像作成工程と、
    前記第二の画像に対し、予め設定された特徴についての認識処理を実行し、前記第二の画像に関するローカル座標に対応付けた認識結果を作成する認識処理工程と、
    前記認識結果の座標を前記ローカル座標から前記グローバル座標に変換する座標変換工程と、
    複数の前記認識結果に基づいて、第一の画像から第二の部分画像を作成する第二の画像作成工程と
    を備えることを特徴とする情報処理方法。
13. コンピュータが読み込み実行することで、前記コンピュータを、請求項１乃至１１のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images