JP7358186B2 - 情報処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は構造物の点検に用いられる画像を生成する技術に関する。

撮像装置により記録用画像を取得するのとともに、撮像装置から被写体面までの距離に相当する情報を取得することができる。特許文献１では、撮影位置から複数の被写体のそれぞれまでの距離を取得し、その違いを分かりやすく可視化する方法として、各被写体を示す指標を所定の表示部に再配置することが開示される。また、距離マップの１つの態様として、被写体面での合焦の程度（デフォーカス量）の分布を可視化したデフォーカスマップが利用される場合がある。特許文献２では、複数のデフォーカスマップを合成することで、被写体の輪郭に沿いつつ滑らかに変化するマップデータを生成する。

特開２０１６－２０１７８８号公報 特開２０１９－１３４４３１号公報

大きな構造物を部分ごとに分割撮影した画像をスティッチした点検用画像を生成し、画像を目視または解析処理することによって、ひび割れ等の変状点検を行う場合がある。画像を使った点検においては、画像からひび割れの位置や幅を正確に推定することが求められる。ただし、点検対象の構造や、撮影環境の状況によって、撮影される画像におけるデフォーカス量は一様ではない場合がある。デフォーカスによりボケ（許容錯乱円の拡大）が発生すると、ひび割れが本来よりも膨らんで見える等の影響が生じる。従って、点検目的で画像を詳細に確認するための表示倍率や、ひび割れの長さや幅や分岐を判定する際の判定基準に、対象部分におけるデフォーカス量の違いを考慮することでより精度の高い点検が可能となる。

しかしながら、点検者が目視により、デフォーカス量を認識して判断基準を切り替えるのは困難である。また、点検目的で撮影された構造物の画像では、画像の大部分に１つの被写体が写るため、特許文献１のうに、複数の被写体を分離して再配置する可視化方法の適用は難しい。このように、従来は、構造物を点検する目的で撮影された画像の合焦状態を点検者にわかりやすく提示する方法が検討されていなかった。

本発明は、上記を鑑みてなされたものであり、構造物の変状を点検する用途に用いられる画像における、被写体面での合焦の状態を、点検者にわかりやすく提示することを目的の１つとする。

上記課題を解決するために、本発明の情報処理装置は、構造物を分割撮影して得られた複数の画像と、前記複数の画像のそれぞれにおけるデフォーカス量の分布を表す複数のデフォーカスマップとを取得する取得手段と、前記複数の画像を少なくともスティッチ合成することにより前記構造物の点検用画像を生成する第１生成手段と、前記第１生成手段による前記点検用画像の生成工程に対応して前記複数のデフォーカスマップから複合デフォーカスマップを生成する第２生成手段と、所定の表示部に表示された前記点検用画像に関連付けて、前記複合デフォーカスマップが表すデフォーカス量を表示する制御を行う表示制御手段と、を備える。

以上の構成からなる本発明によれば、構造物の変状を点検する用途に用いられる画像における、被写体面での合焦の状態を、点検者にわかりやすく提示することができる。

情報処理装置１０１の構成の一例を示す図。 大規模構造物の一例であるダムの壁面２０１をパノラマ撮影する様子の俯瞰図。 パノラマ撮影によって得られる画像群とスティッチ合成処理の一例を示す図。 情報処理装置１０１によって処理されるデータの一例を示すテーブル。 情報処理装置１０１によって処理されるデータの一例を示すテーブル。 スティッチ合成処理後の撮影画像に対して実行される画像処理の概要を示す図。 スティッチ合成処理後の撮影画像に対して実行される画像処理の概要を示す図。 画像の射影変換に用いられる行列式の一例を示す図。 画像の射影変換に用いられる行列式の一例を示す図。 画像のクロップに用いられるパラメータの一例を示す図。 点検用画像の生成に伴って複合デフォーカスマップを生成する処理の一例を示すフローチャート。 点検用画像に関連付けてデフォーカス量の情報を表示する処理の一例を示すフローチャート。 複合デフォーカスマップの生成工程の一例を示す図。 点検用画像に関連付けてデフォーカス量の情報を表示する表示画面に一例を示す図。 デフォーカスマップの情報に基づく点検用画像の選択表示を行う処理の一例を示すフローチャート。 ユーザである点検者に提示されるデフォーカス量の情報の一例を示す図。 橋梁の床板を点検対象とする場合の撮影環境の一例を示す図。 デフォーカスマップに表されるデフォーカス量に基づいて点検用画像の遮蔽領域を除去する処理の一例を示すフローチャート。 橋梁の点検対象区画について得られる画像とデフォーカスマップの一例を示す図。 遮蔽領域が除去される画像の一例を示す図。

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。

＜実施形態１＞
実施形態１として、社会インフラ点検業務において、個々の撮影画像から点検用画像を生成する際に、対応するデフォーカスマップを生成する為の処理の例を説明する。

図１（ａ）は、本実施形態に係る情報処理装置１００のハードウェア構成図である。図１に示すように、情報処理装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、操作部１０６と、Ｉ／Ｆ（インターフェース）部１０７とを有している。Ｉ／Ｆ１０７は、さらにメモリカードＲ／Ｗ（リーダー／ライター）１０８と通信部１０９が接続されている。ＣＰＵ１０１は、中央演算装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断等を行い、システムバス１１０に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。尚、情報処理装置１００に接続された外部記憶装置等からＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。

ＨＤＤ１０４は、本実施形態に係る電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして外部記憶装置を用いてもよい。ここで、外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置等であってもよい。

表示部１０５は、例えばＣＲＴディスプレイや、液晶ディスプレイ等であって、表示画面に画像を出力するデバイスである。なお表示部１０５は、情報処理装置１００と有線あるいは無線で接続された外部デバイスでも構わない。操作部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。Ｉ／Ｆ１０７は、システムバス１１０に接続され、外部機器からのデータの入出力を行う。メモリカードＲ／Ｗ１０８は、デジタルカメラやデジタルビデオで撮影されたデータが記録されているメモリカードの読み書きを行う。通信部１０９は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。

図１（ｂ）は、情報処理装置１００の機能構成を示すブロック図の一例である。これらの各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現されている。そして、各処理の実行結果をＲＡＭ１０３に保持する。また例えば、ＣＰＵ１０１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

取得部１１１は、撮像装置によって構造物を撮影することで得られた複数の撮影画像と、それらに対応する複数のデフォーカスマップとを、撮像装置の記憶部から取得する。なお、取得部１１１が取得し、各機能部とやりとりする対象は、実際には撮影画像の画像データ、およびマップデータに対応する信号であるが、本明細書では単に「画像を取得する」、「デフォーカスマップを取得する」として説明する。

第１生成部１１２は、複数の撮影画像を少なくともスティッチ合成することにより、構造物の点検用画像を生成する。本実施形態の場合、スティッチ合成、あおり補正、クロップ処理が実行された結果として、点検用画像が生成される。第２生成部１１３は、第１生成部による点検用画像の生成工程に対応して、複数のデフォーカスマップから複合デフォーカスマップを生成する。本実施形態では、第１生成部１１２の処理と同様、複数のデフォーカスマップに対して、スティッチ合成、あおり補正、クロップ処理を実行する。保持部１１４は、ＨＤＤ１０４またはＲＡＭ１０３の機能部であり、第１生成部１１２および第２生成部１１３が画像処理を実行するための中間データやパラメータを保持する。

表示制御部１１５は、表示部１０５に表示させる画像を生成し、出力する機能部である。本実施形態では、第１生成部１１２に生成された点検用画像に関連付けて、第２生成部１１３に生成された複合デフォーカスマップが表すデフォーカス量を表示する制御を行う。本実施形態では、撮影画像データとデフォーカスデータのそれぞれクロップされた部分が比較可能であるように表示される。一例として、実施形態１では、デフォーカス量を多段階のレベルに分けて表現し、点検用画像に重畳するように、同レベルのデフォーカス量をもつ領域の境界線と、各領域のデフォーカス量を示す数値データを表示する場合を説明する。

図２は、大規模構造物の一例であるダムの壁面２０１を、ある撮影位置に設置した撮像装置２０３（カメラ）により、パノラマ撮影する様子を俯瞰したものである。なお、本実施形態でいうパノラマとは、ある範囲を複数ブロックに分割して複数回撮影する方法である。また、１つの撮影位置から、十分な解像度で点検範囲の全体をパノラマ撮影できない場合には、複数の撮影位置に撮像システムを移動させながらパノラマ撮影を繰り返す。例えば、１回のパノラマ撮影では、壁面２０１のうちブロック２０２の部分が複数回に分けて撮影される。撮像装置２０３は、望遠レンズ装置２０４を備え、三脚２０６と電動雲台２０５を用いて撮像装置に設置され、点検範囲を網羅するように位置をずらしながら複数の画像を撮影する。こうして得られた複数の画像は、のちにスティッチ画像処理されることにより、壁面２０１を撮影した１つの画像として再構成することができる。

なお、図２における、壁面２０１と撮像装置２０３の大小関係および位置関係は、撮像装置２０３を強調したものであり正確ではない。実施には、点検対象の構造物の多くは撮像装置２０３に対して極めて大きいものであるため、電動雲台でのパノラマ撮影を行う場合には撮影位置は構造物から適切に離されている。また、パノラマ撮影を行う都合上、パノラマ撮影範囲の端部では、カメラは壁面２０１をあおり撮影することになる。また、構造物がダムの場合は特に、壁面の正面には水路が存在するために三脚等の設置が難しいこともある。その場合には、撮影位置の制限から構造物を大きくあおるような角度からの撮影が行われることもある。

図３（ａ）及び（ｂ）を使って、本実施形態において撮影画像に対して行われるスティッチ合成処理について説明する。図３（ａ）は、構造物の撮影により得られる画像とデフォーカスマップの対応関係の一例を示す図である。そして図４（ａ）は、スティッチ合成される撮影画像群のファイル名のリストの一例である。このリストは、例えば、撮像装置２０３の撮影に連動して自動生成されたものを、撮影者によって編集可能としたものである。項目４０１には、撮像装置２０３が撮影方向を変更しながら順次撮影していく複数の画像のファイル名が格納されている。しかしながら、必ずしも１つの画角について１回の撮影で得られるとは限らない。人為的なミスや撮影機材の不具合、あるいは、天候や野生動物の予期せぬ動きなどによって、点検対象領域の特定箇所について再撮影が実施され、差し替えが必要になることがある。例えば、ユーザである撮影者や点検者が、撮影された画像群についてチェックを行った際に、点検に利用する画像として不適切な画像が含まれていると判断された場合に、当該箇所の撮影画像についての再撮影が行われ、差し替えが決定される。項目４０２の列は、撮影の際に、撮影画像に何らかの異常があった場合に、再撮影などにより差し替えられる画像のファイル名が格納されている。

図３（ａ）において、画像３０１～３０６は、図２で例示した壁面２０１のうちブロック２０２のパノラマ撮影によって得られた画像群の一部である複数の画像である。そして、デフォーカスマップ３０７～３１２のそれぞれは、画像３０１～３０６のそれぞれに対応するデフォーカスマップのラスターデータ群を示す。デフォーカスマップの生成方法は、特許文献２等に例示される公知の方法が利用可能である。本実施形態においては、全ての撮影画像において対応するデフォーカスマップが生成されるものとする。また、デフォーカスマップのデータ形式については、撮影画像の特定の位置におけるデフォーカス量（ピントのズレ量）が取得できるデータであればよく、ラスターデータに限るものではないが、本実施形態においては、ラスターデータとして扱うものである。

図４（ｂ）は、図４（ａ）のリストに記載されている撮影画像のサイズ４０５と、対応するデフォーカスマップのラスターデータのサイズ５０６を記録したテーブルデータの一例である。レコード４０７のサイズ比率は、幅と高さのそれぞれのサイズの比率の一例が記録されている。図４（ｂ）に示す通り、本実施形態では、デフフォーカスマップは、撮影画像に対して１／４０のサイズであるものとする。もちろん、本実施形態に利用されるデフォーカスマップの大きさはこれに限られない。

ここで図１３（ａ）のマップ１３００～１３０３は、それぞれ、４枚の撮影画像に対応するデフォーカスマップを可視化した場合の一例を示す。各デフォーカスマップについて、「０」が付けられた領域は、撮像装置の合焦単位において誤差の無い領域である。また、「－１」が付けられた領域は、撮像装置の合焦単位において１単位の前ピンの領域、同様に、「＋１」が付けられた領域は、同様に１単位の後ピンの領域を示す。ここで、合焦単位は、合焦の状態（程度）が判断できるようにレベル分けされたものであればよい。例えば奥行き方向５ｍｍ、あるいは８ｍｍなどのデフォーカス量の幅を１単位として定義することができる。一例として、撮像装置の撮像素子の大きさと、絞りを含む光学レンズ系による許容錯乱円の大きさによって判定される値がある。また本来、概ね平面である検査対象領域に対して、正対して撮影を行う際には、撮影画像に対して一様な合焦状態となるべきものである。しかし、被写体面の歪みや光学的な歪み、また撮影角度などによって、多くの場合は図１３（ａ）のマップ１３００～１３０３に示される様な、まだら分布を持つ合焦状態となる。本実施形態では、構造物のうち点検対象となる面に合焦させた点検用画像が得られることが望ましい。従って本実施形態の複合デフォーカスマップに表されるデフォーカス量とは、構造物のうち点検対象となる面を合焦位置とした場合の、合焦の程度のずれ量を表す値である。

また、デフォーカスマップは、撮影画像の各画素の相対する位置座標におけるデフォーカス量を示すデータをマップ化したものであり、マップデータを一見しただけでは、点検者はデフォーカス量の情報を識別することは困難である。そのため、一般的にはデフォーカス量を可視化する処理が行われる。デフォーカスマップの可視化方法は、例えば、座標ごとに色やパターンによってデフォーカス量を提示することができる。本実施形態では、デフォーカスマップの座標において、デフォーカス量のレベルが変わる境界線と、境界線間の領域のデフォーカス量を表す代表値を示す。本実施形態におけるデフォーカス量の可視化方法の詳細は図１４を参照して後述する。

図３（ｂ）は、図３（ａ）の画像の３０１～３０６を含む画像群を用いてスティッチ合成を行う事で、高精細なブロック２０２の撮影画像を得る過程を説明する図である。画像３０１～３０６の撮影画像群は、ブロック２０２について、左上角から右方向に順次撮影を行って得た撮影画像であり、一部を重複させながらスティッチ合成される。なお、図３（ｂ）において、画像３０１～３０６は、重なりを紙面において分かり易く表現する為に、徐々に下方にずれ、一部を重ね合わせたスティッチ合成が行われているが、実際にはそれぞれの撮影画像の特徴点を基に、スティッチ合成の位置合わせが行われる。画像３１３は、画像の３０１～３０６を含む画像群を横方向、及び縦方向にスティッチした結果として得られるブロック３０２の撮影画像の模式図である。

図５（ａ）は、図４（ａ）のリストに記載されている撮影画像を用いて行われたスティッチ合成処理の結果の状態を示すパラメータのリストの一例である。項目５０１は使用された撮影画像のファイル名、項目５０２は、合成後の画像において各撮影画像が配置された座標を示す配置位置データをＸ座標とＹ座標が格納される。図５（ａ）の場合座標は、最初の画像（左上の画像）の位置が基準となる。また、項目５０３は、各撮影画像のうち、合成後の画像において使用される領域を示すマスク用ラスターデータである。項目５０３のマスク用ラスターデータと合致する各撮影画像の部分領域と、項目５０４に格納される重ね合わせの順番により、スティッチ合成後の画像で最終的に表示される画像領域が決定される。つまり、より上位層に重ね合わされ、マスクにより隠されていない領域が、表示される画像領域となる。図５（ｂ）は、スティッチ合成により最終的に合成された画像に使用された合成枚数と、合成画像のサイズが記録されているテーブルデータである。

そして本実施形態では、撮影画像とセットで取得されるデフォーカスマップにも、撮影画像のスティッチ処理に対応する画像処理が行われる。例えば、図３（ａ）の３０７～３１２を含むデフォーカスマップ群は、３０１～３０６を含む画像群とセットとして取得されるものである。デフォーカスマップのスティッチ合成については、図１１のフローチャート及び図１３を参照して後述する。

次に、図６、図７を使って、スティッチ合成処理後の撮影画像に対して実行される画像処理を説明する。まず、本実施形態では、構造物を撮影する際、一部があおり撮影となるため、あおり補正処理（正対化処理、オルソ補正処理という場合もある）を行う。あおり補正処理を行うことで、壁面の見かけ上の寸法が画像上で一様となるので、点検時に、壁面に生じた変状の大きさを精度よく推定することができる。例えば、ひび割れを点検する場合、あおり角度が付いた撮影画像では、同じ幅のひび割れでも、画像の奥行きが深い位置に写るほど細く、手前に写るほど太く見えてしまう。あおり補正を行うことで、奥行きを考慮せずに幅の比較が可能となる。

このように、所定の条件でのパノラマ撮影と、スティッチ合成処理、及びあおり補正処理により、実質的に点検対象の構造物を正面から見た高解像度の画像を得ることができる。ただし、この画像データは大きなデータサイズを持つ。従って、表示処理、あるいは、検知器による変状検知処理等を実行する場合に負荷を低減させるために、適切なデータサイズの部分画像に切り分けると都合がよい場合がある。しかしながら、部分画像のクロップ（切り取り）は、可能な限り点検作業に影響しないようにその範囲を決定されるのが望ましい。例えば、ひび割れに沿って画像を切ってしまうと、そのひび割れは画像上で確認するのが困難になってしまう。そこで本実施形態では、コンクリート構造物である壁面２０１の場合は、構造上のユニットの境界線を利用して画像のクロップ範囲を決める。構造上のユニットとは、製造過程において１ユニットとして扱われた範囲であり、設計図面等により知ることができる。また、コンクリート壁面においてその境界線が視認できることも多い。境界線は、点検において確認すべきひび割れとは異なる性質のものであることから、境界線で画像を切ることで、ひび割れなどの点検に対する影響を抑えることができる。以下、上述した画像処理の一連の流れを図面に沿って説明する。

図６（ａ）は、図３（ａ）の画像群からスティッチ合成を行う事で得られた撮影画像の一例を示す。画像６０１は、図３（ｂ）で示した画像３１３に相当する画像で、画像３１３はスティッチされる前の画像の輪郭を示して合成の状態を示していたのに対し、画像６０１は画像の内容（撮像された壁面２０１）を表示している。画像６０１は、大規模構造物である壁面２０１を、地面に設置された撮像システムによって撮影した為に、下部から上部に向かって縮小された画像となっている。境界線６０２は、コンクリート製の壁面２０１の構造上のユニットの境界が視認されているものであり、点検において注意すべきひび割れではない。その為、ブロック２０２のうち、境界線上に定義した点６０５～６０８の４点で示された領域６０７は、台形型の領域となっている。

一方、図６（ｂ）は、壁面２０１の大規模構造物の設計図面の一部である。つまり図６（ｂ）は、ダム壁面２０１を正対した位置から見た構造情報が示されている。境界線６０８は、構造上のユニットの境界であり、図６（ａ）の境界線６０２に対応している。境界線上に定義された点６０９～６１２の４点で示された領域６１３は、図６（ａ）の領域６０７に対応する。本実施形態では、図６（ｂ）の図面に基づいて、図６（ａ）のスティッチ合成された撮影画像をあおり補正する。一例としてここでは、行列式を使って射影変換が行われる。変換行列の算出には４つ以上の対応点ペアが必要となる。例えば、領域６０７の４頂点である点６０３～６０６と、領域６１３の４頂点である点６０９～６１２が４つのペアとなる。図７（ａ）は、図６（ａ）の画像を、図６（ｂ）の図面に基づいて射影変換（あおり補正）した結果の一例を示す。画像７０１のうち、点７０２～７０５は、点６０３～６０６及び点６０９～６１２に対応するものである。領域６０７は、領域７０６に対応する。

図８（ａ）及び（ｂ）は、４つの対応点のペアと、それらから算出されるホモグラフィ行列の形式の一例を示している。図８（ａ）において、”ｓｒｃ”のキーで示される４点の座標は、合成された撮影画像上の４点の位置を示すデータであり、”ｄｓｔ”のキーで示される４点の座標は、”ｓｒｃ”の４点の座標と対応する図面上の４点の位置を示すデータである。ｘｓ１～ｘｓ４、ｙｓ１～ｙｓ４には撮影画像上の座標値が、そしてｘｄ１～ｘｄ４、ｙｄ１～ｙｄ４には図面上の座標値が入る。そして、図８（ｂ）は、射影変換（正対化）に使用される行列式の一例である。変換行列は、変換前後の４点の座標のセットから算出される。この行列式によって、撮影画像の各画素位置が変換されることにより、図面に合わせて正対化された画像が生成される。なお、ここでの変換行列の算出方法には、直接解法や反復解法など様々な算出方法を用いることができる。

本実施形態では、あおり補正後の画像を、後段での利用方法に適したサイズの画像としてクロップする。本実施形態では、後段において点検者が目視でひび割れを確認するために画像を表示する、あるいは、検知器を用いた変状検出処理を実行する。クロップ位置は、例えば、あおり補正後の画像中でユーザが任意に指定した矩形領域で決定される。矩形領域の指定は、例えば対角の２点の座標を指定することにより行われる。図１０（ａ）は、クロップ領域を指定する２点の座標データを保持するデータ形式の一例である。ｘ座標とｙ座標に指定されるのが画像７０１内の座標である。ユーザは、構造上のユニットの境界線を参考にしながらでクロップすることにより、クロップ画像の縁付近のひび割れ点検への影響を抑えることもできる。図７（ｂ）は、図７（ａ）の画像７０１をクロップ処理した画像７０７の一例を示す。

以上、本実施形態において、構造物の点検に用いる点検用画像の生成を目的として構造物を撮影した画像群に行うスティッチ合成処理、あおり補正処理、クロップ処理について説明した。ただし、このうち、あおり補正処理、クロップ処理については、構造物の種類や大きさ、撮影環境によっては必ずしも必要ではない。例えば、構造物のうち点検が必要な部分が限定されている場合には、あおり角度をつけずにそれらの面を撮影可能な場合もある。また、構造物の大きさによっては、スティッチ後の画像サイズが、そのまま後段の処理に利用可能な場合もある。そのような場合には、パノラマ撮影された画像を少なくともスティッチ合成した結果を点検用画像とすればよい。また、本実施形態では、撮影画像についてあおり補正処理、クロップ処理等の一部画像処理が不要である場合、対応するデフォーカスマップについても同様に対応する画像処理は省略される。

本実施形態では、構造物を撮影した画像群から点検用画像を生成する生成工程に応じて、撮影した画像に対応するデフォーカスマップにも画像処理を施し、複合デフォーカスマップを生成する。図１１のフローチャートを参照して、点検用画像の生成に伴って複合デフォーカスマップを生成する処理の流れを説明する。本実施形態では、情報処理装置１００において起動されたアプリケーションから、点検用画像を生成する機能が起動されることで、Ｓ１１０１の処理が開始される。以下、各工程（ステップ）は、それら符号の先頭にはＳを付与して説明することとする。

点検対象の構造物に対する撮影が行われ、撮像装置２０３により、図３（ｂ）に示すような、撮影画像３０１～３０６と、対応するデフォーカスマップ３０７～３１２が取得された状態であるとする。これらの画像およびデフォーカスマップは、例えば記憶媒体や、サーバ装置に記憶されている。Ｓ１１０１では、取得部１１１により、図４（ａ）の参照リストを参照し、格納されたファイル名に従って、記憶媒体等から複数の撮影画像（以下、「撮影画像のセット」と称する）を取得する。Ｓ１１０２では、取得部１１１が、参照リストに従い、必要に応じて、差し替え用の撮影画像との入れ替えが行われる。図４（ａ）の場合には、レコード４０３において、撮影画像セットのうち“ＩＭＧ＿２０１０．ＪＰＧ”が、後に撮影された“ＩＭＧ＿５０３２．ＪＰＧ”によって差し替えられている。従ってＣＰＵ１０１では、読み込まれている画像セットのうち“ＩＭＧ＿２０１０．ＪＰＧ”のデータを消去し、“ＩＭＧ＿５０３２．ＪＰＧ”の画像データに置き換える。

Ｓ１００３では、取得部１１１により、差し替えが完了した撮影画像セットのそれぞれに対応するデフォーカスマップの情報が記憶媒体等から取得される。取得部１１１は、取得した撮像画像の画像サイズ、デフォーカスマップの画像サイズをそれぞれ取得し、図４（ｂ）のリストに書き込みＲＡＭ１０３等に保持する。Ｓ１１０４では、取得部１１１により、図４（ｂ）のリストから、撮影画像のサイズ４０５とデフォーカスマップのサイズ４０６が取得され、画像変換パラメータとなるサイズ比率が算出される。

Ｓ１１０５では、第１生成部１１２により、図４（ａ）に示される撮影画像のセットについてスティッチ合成が実施される。なお、ここで行われるスティッチ合成は、図３（ｂ）に示した様に、撮影範囲を重複して撮影された複数の画像を、それぞれ抽出した画像の特徴点に基づいて位置を合わせた上で合成するものである。また、重複した画像の部分については、画像のコントラストが高い画像を選択し、また、画像の境界領域についてはブレンディングや露出補正を行う事で、合成後の画像において、繋ぎ目が目立たない様な処理が行われる。このようなスティッチ合成の処理は、公知の方法を利用することができる。なお、本実施形態においては、重複した画像の部分の処理については、説明を簡単にする為に、後述するマスクデータと重ね合わせの情報に基づいて重ねた画像の部分が表れるものとしている。スティッチ合成された撮影画像の例が図６（ａ）の画像６０１である。Ｓ１１０６は、第１生成部１１２により、スティッチ合成処理に使用された各種パラメータを保持するステップである。本実施形態の場合は、図５（ａ）および（ｂ）で示したリストの形式で、保持部１１４に情報が保持される。

なお、本実施形態ではスティッチ合成前の撮影画像のデータは記憶媒体に保持されている。Ｓ１１０５～Ｓ１１０６の処理が実行された後は、これらの画像を読み込み、図６（ａ）のリストに記載されたパラメータを適用すれば、再びＳ１１０５のスティッチ合成処理を実行することなく、スティッチ合成後の画像を再現することが可能となる。

次に、Ｓ１１０７では、第２生成部１１３により、撮影画像のスティッチ合成処理もパラメータが、デフォーカスマップのスティッチ合成処理に用いるパラメータに変換される。本実施形態では、図５（ａ）のパラメータリストのうち、項目５０２の配置位置データ、及び項目５０３のマスク用ラスターデータの情報について、Ｓ１１０４で算出された座標変換パラメータである画像のサイズ比率に基づき、値の変換が行われる。図５（ｂ）に示す通り、撮影画像からデフォーカスマップへのサイズ比率である１／４０であるので、撮影画像のスティッチ合成に用いられたパラメータに１／４０の変換が実行される。その結果、配置位置データは、Ｘ座標とＹ座標それぞれの値が１／４０になり、マスク用ラスターデータは、縦と横のサイズが１／４０に縮小されたラスターデータに変換される。

Ｓ１１０８では、第２生成部１１３により、図４（ａ）の撮影画像セットに対応するデフォーカスマップのセットに対して、スティッチ合成が実行される。すなわち、変換された配置位置データに従ってデフォーカスマップが配置され、変換されたマスク用ラスターデータに基づいて切り出されたそれぞれのデフォーカスマップの領域が、図５（ａ）の項目５０４の重ね合わせの順番情報によって重ね合わされる。Ｓ１１０８までの処理によって、スティッチ合成された撮影画像と対応する、合成された複合デフォーカスマップが生成される。

Ｓ１１０９では、取得部１１１により、所定の記憶装置から点検対象領域を含む構造物の図面データを取得する。本実施形態の例では、図６（ｂ）に示すように、図３のブロック２０２の部分を含む図面データが取得される。Ｓ１１１０では、第１生成部１１２が、スティッチ合成画像においてユーザによって指示される指示点の情報を取得する。図６（ａ）の例では、領域６０７を形成する点６０３～６０６のデータが指示点として取得される。Ｓ１１１１では、第１生成部１１２が、同様に図面データにおいてユーザによって指示される指示点の情報を取得する。図６（ｂ）の例では、領域６１３を形成する点６０９～６１１のデータが指示点として取得される。

Ｓ１１１２では、第１生成部１１２により、スティッチ合成画像のうち指示点によって特定される領域の射影変換（あおり補正）が実行される。射影変換処理は、図９に例示したホモグラフィ行列を用いる方法によって行われる。図９（ａ）は、図６（ａ）の点６０３～６０６の指示点を図８（ａ）の”ｓｒｃ”データとし、図６（ｂ）の点６０９～６１２の指示点を”ｄｓｔ”データとする場合の具体例を示す。図９（ａ）の値から算出される変換行列式が図９（ｂ）のようになる。変換の結果として、図６（ａ）のスティッチ合成画像が射影変換（正対化）され、図７（ａ）の画像が得られる。図６（ａ）の領域６０７は、台形状の四角形から、図６（ｂ）の図面に示された領域６１３に整合するように、長方形状の領域７０５に変換されている。この射影変換によって、撮影画像の点検対象領域における位置や大きさや向きは、図６（ｂ）の図面データとの対応するものとして扱うことができる。つまり、あおり補正後の画像内の位置や大きさや向きは、図面データに定義されたスケールや座標軸に基づいて表現することができる。Ｓ１００３では、第１生成部１１２により、Ｓ１１１０及びＳ１１１１で取得された指示点データを保持部１１４に保持する。

Ｓ１１１４では、第２生成部１１３が、Ｓ１１１３で保持された指示点のデータに基づいて、デフォーカスマップ上での指示点の座標位置を求める。すなわち、射影変換すべき領域を特定する。より具体的には、Ｓ１００４で算出された座標変換パラメータに基づいて、複合デフォーカスマップにおける対応指示点の座標データに変換する。本実施形態の場合、例えば、図６（ａ）の画像６０１の点６０３～６０６の指示点の座標データについて１／４０の変換が行われる。またＳ１１１４において、Ｓ１１１３で保持された図６（ｂ）の点６０９～６１１の対応指示点の座標データについても同様に、座標変換パラメータに基づいて、座標データの変換が行われる。

Ｓ１１１５では、第２生成部１１３により、Ｓ１１１４で変換された指示点のデータに基づき、Ｓ１１０８でスティッチ合成された複合デフォーカスマップの射影変換（正対化）が行われる。Ｓ１０１５までの処理によって、図４（ｃ）の正対化された撮影画像と対応する、正対化された複合デフォーカスマップが生成される。

Ｓ１１１６では、正対化された撮影画像である図７（ａ）の画像７０１において、点検の対象となる部分領域を切り出す（クロップする）ために、第１生成部１１２により、部分領域を特定する指示点をユーザ操作から取得する。図７（ａ）の例では、点７０２～７０５の点検対象領域を含むように、その周辺部分を切り出す為の矩形領域選択がユーザによって行われ、当該選択された矩形領域の対角点の情報がクロップ指示点として取得される。

Ｓ１１１７では、第１生成部１１２により、指定された矩形領域をクロップする処理が実行される。本実施形態では、Ｓ１１１６で取得したクロップ指示点に基づいて、クロップの処理が行われる。図７（ｂ）の画像７０７は、図７（ａ）の画像７０１をクロップした場合のイメージ図であり、点検対象である構造物のブロック２０２に相当する領域７０６とその周辺のみが切り出されている。Ｓ１１１８では、第１生成部１１２により、一連の画像処理が実行された結果の画像が点検用画像として出力される。例えば所定の記憶領域に画像ファイルとして保存される。また、表示制御部１１５により所定の表示画面に表示される。本実施形態における点検用画像の表示形態については、図１１のフローチャート及び図１３を参照して後述する。図７（ｂ）の画像７０７は、本実施形態で生成される点検用画像の１つである。Ｓ１１１９では、第１生成部１１２により、クロップ指示点の情報が保持部１１４に保持される。例えば、座標データは図１０（ａ）に例示した形式により保持される。図１０（ｂ）は、具体的な座標データによる例である。

Ｓ１０２０では、第２生成部１１３により、Ｓ１０１９で保持された撮影画像のクロップ領域に用いられた対角点座標が、座標変換パラメータに基づいて、複合デフォーカスマップをクロップするための座標データに変換される。Ｓ１１２１では、第２生成部１１３により、変換された対角点の座標データに基づいて、正対化された複合デフォーカスマップについてクロップの処理が実施される。Ｓ１１２３では、第２生成部１１３によりクロップ処理された複合デフォーカスマップが、点検用画像（画像７０７）に対応する複合デフォーカスマップとして、出力される。本実施形態では、所定の記憶領域に画像ファイルとして保存される。また、表示制御部１１５により、所定の表示画面において点検用画像に関連付けて表示される。表示制御部１１５は特に、点検用画像と複合デフォーカスマップの対応部分を比較可能であるような表示制御を行う。表示処理の詳細は後述する。以上が、本実施形態における点検用画像の生成と、点検用画像の生成工程に合わせて複合デフォーカスマップを生成する処理の流れである。

ここで、図１３を参照して、複合デフォーカスマップが生成される工程の各段階の具体例を説明する。なお本来であれば、点検用画像を生成するためにスティッチされる画像は多数であるが、ここでは説明の簡単のため、４枚の撮影画像に対応するデフォーカスマップを処理する場合を説明する。図１３（ａ）のマップ１３００～１３０３は、構造物をパノラマ撮影して得られた複数の画像のうち４枚に対応するデフォーカスマップである。

図１１のＳ１１０８において、デフォーカスマップに対するスティッチ合成が行われる際には、対応する撮影画像に用いられたパラメータを基に、合成する画像の配置や、合成後に使用される領域や重ね合わせが決定される。図１３（ｂ）のマップ１３０４は、は、マップ１３００～１３０３のデフォーカスマップが、対応する撮影画像のスティッチ合成処理に応じて座標変換されたパラメータによりティッチ合成された結果を示す。これは、Ｓ１１０５で生成されたスティッチ合成画像（点検用画像）に対応する複合デフォーカスマップである。また、マップ１３０５は、合成配置の際の枠を表示せず、複合デフォーカスマップのみを表示した場合を示す。撮影画像のスティッチ合成においては、画像から得られる特徴点に基づいて位置合わせを行い、境界のブレンド処理などを行うために、画像の接続部分はなめらかにつながる。それに対して、デフォーカスマップの持つデフォーカス量データは、対応する撮影画像の画像情報（内容）とは無関係であるため、デフォーカスマップのスティッチ合成結果においては滑らかではない不連続な境界線が現れる場合がある。

図１１のＳ１１１５においては、スティッチ合成された複合デフォーカスマップに対する射影変換（あおり補正）が行われる。ここで利用されるパラメータはＳ１１１４において、撮影画像のあおり補正に利用されたパラメータを変換したものである。図１３（ｃ）のマップ１３０６は、図１３（ｂ）のマップ１３０５を、射影変換した結果である。これは、Ｓ１１１２で生成されたあおり補正画像（点検用画像）に対応する複合デフォーカスマップである。さらにＳ１１２１では、あおり補正（正対化）されたデフォーカスマップに対して、クロップ処理が実行される。クロップに利用されるパラメータは、対応する撮影画像のクロップ処理に利用された指示点の座標を座標変換したものである。図１３（ｃ）のマップ１３０７では、座標変換された指示点に基づき、クロップされる矩形領域がデフォーカスマップ上に表示される。この状態は、図７（ａ）の画像７０１に対応している。そしてマップ１３０８は、クロップ後の複合デフォーカスマップである。本実施形態では、点検者に対して、最終的に生成された図７（ｂ）の点検用画像と関連付けて、マップ１３０８が提示される。

ここまで説明した様に、本実施形態では、複数の撮影画像に対して多段の画像変換処理を行うことで点検者が点検を行う為の点検用画像を生成する工程に応じて、複数の撮影画像に対応する複数のデフォーカスマップから複合デフォーカスマップを生成する。その際、複数の撮影画像に対して行われる画像変換処理のそれぞれで利用されたパラメータを保持し、撮影画像とデフォーカスマップの大きさの違いに基づいて変換したパラメータを利用する。この結果、撮影画像に多段の画像変換処理を行っても、複合デフォーカスマップから画像処理後の点検用画像の任意の位置に応じたデフォーカス量の情報を得ることができる。

次に、本実施形態において、点検用画像におけるデフォーカス量の分布をユーザである点検者に提示するための表示処理について説明する。図１２は、点検用画像に複合デフォーカスマップを重畳して表示する処理の流れの一例を示すフローチャートである。本実施形態では、図１１のフローチャートで示した点検用画像と複合デフォーカスマップの生成処理が完了したのに応じて、Ｓ１２０１の処理が開始される。Ｓ１２０１では、表示制御部１１５により、Ｓ１１１８で出力された点検用画像が取得される。そして、Ｓ１２０２ではＳ１１２２で出力された複合デフォーカスマップが取得される。さらにＳ１２０３では、表示制御部１１５が、Ｓ１１０４で算出された点検用画像とデフォーカスマップの座標変換パラメータを取得する。Ｓ１２０４では、表示制御部１１５により、表示部１０５に表示される所定の表示画面に、点検用画像が表示される。図１４（ａ）のウィンドウ１４００は、Ｓ１２０４で表示される表示画面の一例を示す。ウィンドウ１４００には、点検用画像として、図７（ｂ）の画像７０７が表示されている。例えば点検者は、ウィンドウ１４００の操作により点検用画像を拡大するなどして、点検対象エリア（ブロック２０２）の状態を点検することができる。

次に、Ｓ１２０５では、表示制御部１１５が、ユーザからデフォーカス量の表示指示があるかを判定する。デフォーカス量の表示指示は、例えばキーボードの操作や、点検用画像上にカーソルを合わせてのマウスの右クリックなどによって受け付けられる。あるいはウィンドウ１４００に、表示指示を受け付けるための操作部品を設けてもよい。ユーザからのデフォーカス量の表示指示が受け付けられた場合、Ｓ１２０６に進む（Ｓ１２０５でＹｅｓ）。ユーザからのデフォーカス量の表示指示が受け付けられない場合、Ｓ１２１０に進む（Ｓ１２０５でＮｏ）。

Ｓ１２０６では、表示制御部１１５が、Ｓ１２０２で取得したデフォーカスマップに対して、Ｓ１２０３で取得した座標変換パラメータを適用した、デフォーカスマップの表示サイズの変換を行う。例えば、図４（ｂ）の例のようにデフォーカスマップが撮影画像に対して１／４０のサイズであるなら、デフォーカスマップの縦横を４０倍することで撮影画像と同サイズに揃えることができる。表示サイズを揃えるのは、点検用画像と複合デフォーカスマップを重畳して表示させるためである。

Ｓ１２０７では、表示制御部１１５が、複合デフォーカスマップの各座標が持つデフォーカス量のデータから、デフォーカス量のレベルの境界線をなす座標情報を抽出する。Ｓ１２０８では、表示制御部１１５が、境界線間の領域のデフォーカス量を示す数値データを選択する。例えば、デフォーカス量が１単位未満となる領域では「０」、前ピン側に１単位のデフォーカス量では「－１」の数値が選択される。Ｓ１２０９では、表示制御部１１５により、点検用画像上に境界線と数値データを重畳して表示する処理が実行される。ただし、境界線で区分された領域の大きさによっては、数値データは一定以上の間隔で分散するように複数個所に表示される。図１４（ａ）のウィンドウ１４０１は、ウィンドウ１４００の内容が重畳表示により切り替わった後の状態を示している。画像１４０２では、図１３（ｃ）で示したマップ１３０８から抽出された境界線と数値データが、画像７０７の上に重畳されている。

一方、Ｓ１２１０では、表示制御部１１５が、点検用画像の表示を終了する指示がユーザから入力されたかを判定する。ユーザからのデフォーカス量の終了指示が受け付けられた場合、処理は終了する（Ｓ１２１０でＹｅｓ）。ユーザからのデフォーカス量の表示指示が受け付けられない場合、Ｓ１２０６に戻る（Ｓ１２１０でＮｏ）。

以上説明した通り、本実施形態では、点検用画像にデフォーカスマップから得たデフォーカス量情報を重畳表示することができる。これにより、点検者は、点検用画像に対して、デフォーカス量を参考にしながら、点検対象の変状に対する適切な判断基準を適用することができる。例えば、ひび割れの幅などをより正確に推定する等、精度の高い点検業務を行うことが可能となる。

なお、Ｓ１２０９で表示された複合デフォーカスマップの情報（境界線、および数値データ）は、一定時間経過後にウィンドウ１４０１から消去され、再び点検用画像のみが表示されるようにしてもよい。あるいは一定時間ごとに、重畳表示の有無が切り替わるように制御することもできる。また、図１２のフローチャートの一連の処理に加え、複合デフォーカスマップの重畳表示を中止して、再び点検用画像のみを表示させるためのユーザ操作を受け付け、それに応じる処理を加えてもよい。また、複合デフォーカスマップの情報を重畳している間は、同じレベルのデフォーカス量の領域を同じ色に色分けすることで、デフォーカス量の違いをより分かりやすく表現してもよい。色分けによってレベルの違いを表現できる場合には、数値データの表示は省略されてもいい場合がある。あるいは、ユーザがカーソル操作等で指定した領域のみ、数値データを追加表示するような変形も可能である。

また、実施形態１では、点検用画像とデフォーカス量の情報とを重畳表示する例を説明したが、さらに他の情報を、重畳したり、あるいは切り替えたりして表示するように変形してもよい。例えば、点検作業において点検者によってトレースされたり、検知器によって点検用画像から検知されたりして得られるひび割れデータ（ベクタデータ）をさらに表示してもいい。なお検知器としては、画像を入力データ、画像に写るひび割れをトレースしたひび割れデータを出力データとする学習データの組合せにより機械学習された学習済みモデルを利用可能である。その場合、切り替え指示はキーボードやマウスの操作によって受け付けられてもよいが、例えば図１４（ｂ）のウィンドウ１４０３のようにチェックボックス形式の操作部品を設けてもよい。ウィンドウ１４０３では、点検用画像とデフォーカス量のチェックボックスがチェックされていることで、ウィンドウ１４０１と同様に画像１４０２が表示されている。

このように、複合デフォーカスマップを重畳のＯＮ／ＯＦＦを切り替えられるような変形によれば、デフォーカス量と比較しながら行う点検作業がより効率化される。

＜変形例１＞
実施形態１に対して、点検用画像にデフォーカス量の情報が重畳表示されたことを利用して、点検用画像の表示範囲を絞り込む機能を追加する例を変形例１として説明する。変形例１では、点検用画像のうちデフォーカス量の境界線で区分された領域のうち、ユーザ操作によって選択された領域を特定し、特定された領域を表示し、他の領域の表示を非表示とする。

図１５は、変形例１において、デフォーカスマップの情報に基づく点検用画像の選択表示を行う処理の一例を示すフローチャートである。図１２と同じ処理を行う工程には同じ番号を付し、ここでは説明を省略する。

変形例１では、Ｓ１２０９において、点検用画像にデフォーカス量の境界線と数値データが重畳表示されると、Ｓ１５０１に進む。Ｓ１５０１では、表示制御部１１５が、ユーザからの領域選択操作を受け付ける。Ｓ１５０２では、表示制御部１１５が、複合デフォーカスマップのうち、ユーザ操作で選択された領域と同レベルのデフォーカス量を持つ全ての領域を選択する。Ｓ１５０３では、表示制御部１１５が、選択された領域以外の他の領域を非表示とする。つまり、点検用画像のうち選択された領域部分を表示し、他の領域を透明度の低い色で塗りつぶすことで非表示とする。より具体的には、表示制御部１１５がマスクデータを生成し、所定の色を着色して点検用画像に重畳する。変形例１では、Ｓ１２１０においてユーザの終了指示が受け付けられない場合（Ｓ１２１０でＮｏ）、Ｓ１５０１～Ｓ１５０３の処理をユーザ操作に従って繰り返す。

図１６（ａ）の画像１６０１は、変形例１において、ユーザである点検者に、点検用画像内の領域の選択をさせる為にウィンドウ１４０１に表示される画像の例である。画像１６０１は点検用画像８０７に複合デフォーカスマップ１３０８の情報が重畳された画像１４０２に対応している。図１６では図面の簡単のため、ウィンドウ１４０１の周辺部を省略し、ウィンドウ内に表示される画像部分のみを表示する。図１６（ｂ）の画像１６０１～１６０７は、ユーザによりデフォーカス量毎に、対応する領域のマスクデータと、点検者に提示する点検用画像の例を説明するものである。

画像１６０２は、ユーザである点検者が、画像１６０１に表示された情報に基づき「―１」のデフォーカス量に該当する領域１６０８を選択したのに応じて、Ｓ１５０２で「―１」のデータを持つ全ての領域が選択された複合デフォーカスマップを表す。なお、画像１６０２においては、選択された領域が黒色で表示されている。表示部１０５においては、ユーザである点検者に対しては、選択された領域またはその輪郭等を短時間点滅させるなどの表示制御を行ってもよい。このように選択操作の結果をフィードバック表示することで、選択の誤りの有無をユーザが確認しやすくなる。

画像１６０３は、Ｓ１５０３の処理によって、ユーザである点検者に提示される点検用画像の一例を示す。画像１６０３では、点検用画像８０７のうち、ユーザが画像１６０１で選択した領域１６０８と同じ「―１」のデータを持つ点検用画像の領域のみが表示されている。以下同様に、画像１６０４は、画像１６０１においてデフォーカス量が「０」である領域１６０９が選択された場合の複合デフォーカスマップの選択状態を示す。この場合に、点検者に提示される点検用画像の態様が画像１６０５に示される。画像１６０６では、デフォーカス量が「０」である領域のみが表示され、他の領域は非表示となっている。また、画像１６０６は、画像１６０１においてデフォーカス量が「＋１」である領域１６０９が選択された場合の複合デフォーカスマップを示し、画像１６０７は、その場合に点検者に提示される点検用画像である。

変形例１によれば、点検者は、同一のデフォーカス量を持つ領域、すなわち同一の判断基準を用いて点検作業を行うことができる領域を絞り込んで点検作業を行うことができ、点検作業の効率化が可能となる。

＜変形例２＞
変形例２においては、点検用画像に対応する複合デフォーカスマップの情報を、さらに点検用画像のうち遮蔽された領域（以下、遮蔽領域）の特定及び除去に利用する例を説明する。橋梁の床板等を点検対象として、下部から見上げる形で撮影を行う場合、長い橋梁全体を一度に撮影することは困難である。そのため、撮影場所を移動させて複数回に分けての撮影が行われることが多い。また、全体のうち一区画分の床板を点検対象として撮影する場合であっても、実施形態１で説明したように、高解像度で床板表面を撮影するために、スティッチ合成を前提としたパノラマ撮影（分割撮影）が行われる。しかしながら、構造物の構造によっては、橋梁を支える斜材構造物などによって床板の一部が遮蔽され、点検用画像に写らない場合がある。このような場合には、遮蔽領域を、別の撮影位置で撮影された画像を用いて置き換えという遮蔽物の除去作業が行われている。

ここで橋梁の床板を点検対象とする場合の具体的な環境を例示する。変形例２においても、実施形態１の図２で例示したものと同様の撮影システムが利用可能である。図１７（ａ）及び図１７（ｂ）は、点検対象の橋梁１７０１の床板の区画１７０２に関する撮影方法を模式的に表す図である。図１７（ａ）は、橋梁１７０１を下面から見た図、図１７（ｂ）は側面図であり、橋梁１７０１については図１７（ａ）における線１７０３に相当する断面図を示す。ここで、黒色で示される領域１７０６は、面は、橋梁の斜材構造物１７０９の断面である。領域１７０６は、区画１７０２を撮影する場合、撮像装置１７０４からは、床板のうち位置１７０７の部分を遮蔽する。

また、撮像装置１７０５は、区画１７０２の隣の区画を分割撮影する目的で、撮影システムが配置される位置である。しかしながら、撮像装置１７０５において電動雲台等により床板に対する角度を変更しながら連続撮影する場合、区画１７０２を画角に収めることが可能である。そして、撮像装置１７０５から区画１７０２を撮影した場合には、領域１７０６によって遮蔽される部分は位置１７０８である。つまり、撮像装置１７０４からは撮影されなかった位置１７０７の部分が、撮影位置１７０５からは撮影されている。従って、撮像装置１７０４から撮影された複数の画像から区画１７０２の点検用画像の生成に当たり、遮蔽された位置１７０７を含む部分を、撮像装置１７０５で撮影された画像の一部を使って置き換えることが可能となる。なお、撮像装置１７０４および撮像装置１７０５は、異なる撮像装置であってもよいが、第１の撮像装置を移動させる場合も含む。

しかしながら、従来は、床板のうち遮蔽されていた部分を他の画像で置き換えるためには、点検用画像から、人手により、遮蔽物となっている斜材構造物の領域を、切り出す作業が必要であり、非常に手間が掛かるものであった。そこで変形例２では、遮蔽物と床板の間の距離が、ピント位置のずれよりも大きいことから、デフォーカス量の大きさに基づいて遮蔽領域を特定する。

変形例２に係る情報処理装置１００も、実施形態１の図１（ａ）で示したのと同じハードウェア構成のものが利用できる。また、情報処理装置１００の機能構成には、図１（ｂ）に示される通り、実施形態１と同様の構成に加えて特定部１１６が追加される点が特徴となる。特定部１１６もまた、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現される。特定部１１６は、点検用画像と対応する複合デフォーカスマップの情報に基づいて、点検対象の構造物のうち点検対象となる面よりも手前に存在する物体によって遮蔽される遮蔽領域を特定する。本実施形態では、特定された遮蔽領域を、撮影位置の異なる画像の一部で置き換えることで、点検用画像が生成される。また、同様にデフォーカスマップにも一部置き換え処理が実行される。

図１８は、変形例２において情報処理装置１００に実行される、遮蔽物除去の処理の一例を示すフローチャートである。変形例２では、実施形態１で説明した図１１のフローチャートに従った処理において、Ｓ１１１５の処理を実行した後に、図１８のフローチャートの処理が挿入される。まず、Ｓ１８０１の処理では、特定部１１６により、床板の設計図面に対して射影変換された点検用画像（Ｓ１１１２で生成された点検用画像）が取得される。そしてＳ１８０２の処理では、特定部１１６により、点検用画像に合わせて射影変換されたデフォーカスマップ（Ｓ１１１５で生成された複合デフォーカスマップ）が取得される。

Ｓ１８０３では、特定部１１６により、複合デフォーカスマップからデフォーカス量が基準値を超える部分領域を抽出される。Ｓ１８０４では、特定部１１６により、Ｓ１８０３で抽出された領域が所定量以上存在するかが判定される。所定量は例えばピクセル単位の閾値として１以上の値が予め定義される。抽出された領域が所定量以上存在する場合（Ｓ１８０４でＹｅｓ）、Ｓ１８０５に進む。抽出された領域が所定量以上存在しない場合（Ｓ１８０４でＮｏ）、図１８のサブフローチャートの処理は終了し、図１１のＳ１１１６に進む。

Ｓ１８０５では、特定部１１６が、抽出された領域ごとにＳ１８０６～Ｓ１８１４の処理が繰り返されるように制御する。また、Ｓ１８０６では、点検対象領域（例えば区画１７０２）を、他の撮像装置から撮影した画像ごとに、特定部１１６が、Ｓ１８０７～Ｓ１８１３の処理が繰り返されるように制御を行う。

Ｓ１８０７では、特定部１１６により、点検対象領域を他の撮像装置から撮影した画像のうち、カレントの処理対象の画像について、点検対象領域の図面に合わせたあおり補正（正対化処理）を実行する。すなわち、Ｓ１８０１で取得された点検対象画像と同じ座標系に射影変換する。射影変換の方法は実施形態１で説明したのと同様の方法が利用できる。Ｓ１８０８では、特定部１１６により、カレントの処理対象の画像について、対応するデフォーカスマップが取得される。Ｓ１８０９では、特定部１１６により、Ｓ１８０８で取得されたデフォーカスマップから、デフォーカス量が基準値を超える部分領域を抽出される。本実施形態では、Ｓ１８０３の判定処理に利用されたのと同じ基準値が用いられる。Ｓ１８１０では、特定部１１６により、Ｓ１８０９で抽出された部分領域が、点検用画像の座標系において、Ｓ１８０３において点検用画像から抽出された部分領域と一致しているかが判定される。一致している場合（Ｓ１８０１でＹｅｓ）、Ｓ１８０６に戻って、次の画像をカレント画像として処理を繰り返す。一致していない場合（Ｓ１８０１でＮｏ）、Ｓ１８１１に進む。

Ｓ１８１１では、Ｓ１８０３で点検用画像から抽出された部分領域を、Ｓ１８０９でデフォーカスマップから抽出された部分領域に対応する撮影画像の部分領域で置き換える。なお、ここでいう置き換えには、点検用画像から対象領域を切り出して、他の画像から切り出した領域に置き換える処理の他、点検用画像上に、他の画像から切り出した領域を上書きする処理を含む。Ｓ１８１３では、点検用画像（撮影画像）と同様に、複合デフォーカスマップでも部分領域の置き換えを実行する。この時、実施形態１と同様、置き換えに係る座標情報を、座標変換パラメータを用いて変換した上で、置き換え処理を実行する。

なお、図１８のフローチャートでは、点検用画像の遮蔽領域を、異なる撮影位置から撮影された別の１枚の画像を使って置き換える例を説明したが、複数の画像を使っても構わない。その場合は、例えば、Ｓ１８１０で領域の一致の有無を判定する処理において、全領域の一致ではなく一部の領域の重複を判定し、重複しない部分の合成を行う。そして、Ｓ１８１１の後で、遮蔽領域の全域が置き換えられたかを判定し、全領域が置き換えられるまで処理をＳ１８０７～Ｓ１８１３の処理が繰り返えされるように制御すればよい。Ｓ１８１４において、点検対象画像から抽出された全ての部分領域（遮蔽領域）について処理が終了した場合、図１８のサブフローチャートの処理は終了し、図１１のＳ１１１６に進む。

図１９及び図２０を参照して、点検用画像から遮蔽領域が除去される処理の具体例を説明する。図１９（ａ）の画像１９０１は、点検対象領域である区画１７０２を撮像装置１７０４で撮影した画像を、床板の図面を基にあおり補正（正対化）した画像である。変形例２では、Ｓ１８０１において画像１９０１が取得される。画像１９０２は、区画１７０２を撮像装置１７０５で撮影した画像を、画像１９０１と同様の図面を基にあおり補正した画像である。なお、これらの画像は、実施形態１及び変形例１の場合と同様に、高解像度で分割撮影された画像をスティッチ合成処理した結果得られた画像である。変形例２の場合、画像１９０２は、Ｓ１８０５においてカレントの対象画像の１つとして取得される。

次に、図１９（ｂ）のマップ１９０３は、画像１９０１の撮影画像に対応するデフォーカスマップの一例を示す。図１７（ｂ）で示された様に、斜材構造物１７０９は、検査対象面である区画１７０２の床板からは著しく手前側に存在している。図１７（ｂ）では、デフォーカスマップにおいて、斜材構造物１７０９に相当する部分は、デフォーカス量の測定範囲外であることを意味するため黒色で表される。なお、図１９（ｂ）では省略されているが、床板のような平な面でも、実際には図１３あるいは図１６で示した通り、多少のデフォーカス量の分散が存在することが多い。変形例２では、Ｓ１８０２においてマップ１９０３が取得される。また、マップ１９０４は、同様に画像１９０２の撮影画像に対するデフォーカスマップの一例を示す。変形例２では、カレントの対象画像が画像１９０２である場合に、Ｓ１８０８において、デフォーカスマップとしてマップ１９０４が取得される。ここでは、マップ１９０３とマップ１９０４のデフォーカス量の検出不能な領域は一致していない為に、画像２００１に示される様に、マップ１９０３のデフォーカス量の検出不能領域を利用して、画像１９０２の画像からの画像の切り出しが行われる。

図２０の画像２００１は、画像１９０２の撮影画像から、画像１９０１の撮影画像において遮蔽されている領域を切り出す処理の手順の具体例を示す。画像２００１では、撮像装置１７０５で撮影された点検対象領域（区画１７０２）の撮影画像である画像１９０２から、画像１９０１に対応するマップ１９０３の情報を利用して、デフォーカス量が測定範囲外の部分と重なる領域の切り出しを行う。図２０（ａ）では、切り出された部分が黒色で表示され、当該切り出された領域が画像２００２に示されている。図２０（ｂ）の画像２００３は、切り出された領域である画像２００２を、画像１９０１の画像に対して合成を行った結果を示す図である。また、変形例２では、実施形態１と同様に、このように生成された点検用画像の生成工程に合わせて、対応する複合デフォーカスマップについても部分的な置き換えが実行される。

以上説明した様に、変形例２によれば、デフォーカスマップからデフォーカス量の検出不能領域を利用して、画像の置き換え部分の切り出し範囲を特定する事が可能であり、遮蔽物除去の作業を効率化する事が可能となる。そして、実施形態１と同様に、点検用画像と関連付けて、複合デフォーカスマップから得られるデフォーカス量を表示し、点検時に参照することが可能となる。なお、デフォーカス量の情報から射影領域を特定する処理は、スティッチ合成前の撮影画像とデフォーカスマップに対しても実行可能である。しかしながら、本実施形態のようにスティッチ合成後に行うことで、同一の遮蔽物によって遮蔽される領域をまとまりで特定することができる。変形例２によれば、点検者であるユーザは、手動により、遮蔽物の除去を行う手間が低減され、より効率的に点検作業を行うことが可能となる。

＜その他の実施形態＞
なお、上述した各処理部のうち、第１生成部１１２、第２生成部１１３、特定部１１６等については、その代わりとして、機械学習された学習済みモデルを用いて処理しても良い。その場合には、例えば、その処理部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。そして、その学習済みモデルは、前記処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前記処理部の処理を行う。なお、上記学習済みモデルは、必要に応じて一定の処理後に更新しても良い。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１１ 取得部、
１１２ 第１生成部、
１１３ 第２生成部、
１１４ 保持部、
１１５ 表示制御部、
１１６ 特定部

Claims (15)

1. 構造物を分割撮影して得られた複数の画像と、前記複数の画像のそれぞれにおけるデフォーカス量の分布を表す複数のデフォーカスマップとを取得する取得手段と、
   前記複数の画像を少なくともスティッチ合成することにより前記構造物の点検用画像を生成する第１生成手段と、
   前記第１生成手段による前記点検用画像の生成工程に対応して前記複数のデフォーカスマップから複合デフォーカスマップを生成する第２生成手段と、
   所定の表示部に表示された前記点検用画像に関連付けて、前記複合デフォーカスマップが表すデフォーカス量を表示する制御を行う表示制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第２生成手段は、前記第１生成手段による前記複数の画像のスティッチ合成に利用されたパラメータに対応するパラメータを使って、前記複数のデフォーカスマップをスティッチ合成して前記複合デフォーカスマップを生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１生成手段は、前記複数の画像をスティッチ合成した画像を更に射影変換することによって前記点検用画像を生成するものであって、
   前記第２生成手段は、前記第１生成手段による前記画像の射影変換に利用されたパラメータに対応するパラメータを使って、前記複数のデフォーカスマップをスティッチ合成したマップデータを射影変換することによって前記複合デフォーカスマップを生成することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第１生成手段は、射影変換された画像を更にクロップすることによって前記点検用画像を生成するものであって、
   前記第２生成手段は、前記第１生成手段による前記画像のクロップに利用されたパラメータに対応するパラメータを使って、前記射影変換されたマップデータをクロップすることによって前記複合デフォーカスマップを生成することを特徴とする請求項３に記載の情報処理装置。
5. 前記第２生成手段は、前記第１生成手段によって利用されたパラメータを、前記取得手段によって取得される画像と該画像に対応するデフォーカスマップの大きさの比率に基づいて変換したパラメータによって、前記複合デフォーカスマップを生成することを特徴とする請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示制御手段は、前記所定の表示部に、前記点検用画像のうちクロップされた範囲と、前記複合デフォーカスマップのうち前記クロップされた前記点検用画像の範囲に対応する部分とを比較可能に表示する制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
7. 前記表示制御手段は、前記点検用画像と前記複合デフォーカスマップを比較可能な状態で表示するための制御を行うことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記複合デフォーカスマップを、デフォーカス量のレベルごとに色分けした状態で、前記点検用画像に重畳して表示するものであることを特徴とする請求項７に記載の情報処理装置。
9. 前記表示制御手段は、前記複合デフォーカスマップにおけるデフォーカス量のレベルの境界線を、前記点検用画像に重畳して表示するものであることを特徴とする請求項７または８に記載の情報処理装置。
10. 前記表示制御手段は、前記所定の領域に表示された前記点検用画像においてユーザに指定された位置におけるデフォーカス量を、前記複合デフォーカスマップに基づいて表示することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記複合デフォーカスマップに表されるデフォーカス量とは、前記構造物のうち点検対象となる面を合焦位置とした場合の、合焦の程度のずれ量を表す値であることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記複数のデフォーカスマップまたは前記複合デフォーカスマップに基づいて、前記点検用画像のうち、前記構造物のうち点検対象となる面よりも手前に存在する物体によって遮蔽される遮蔽領域を特定する特定手段をさらに備えることを特徴とする請求項１１に記載の情報処理装置。
13. 前記特定手段は、前記複数の画像のそれぞれに、手前側へのデフォーカス量が基準値を超える部分領域がある場合に、該部分領域を前記遮蔽領域として特定することを特徴とする請求項１２に記載の情報処理装置。
14. 前記第１生成手段は、前記点検用画像の生成工程において、前記複数の画像のうち第１画像について、前記特定手段によって特定された前記遮蔽領域を、前記複数の画像のうち前記第１画像とは異なる第２画像のうちデフォーカス量が前記基準値を超えない部分画像に置き換える処理を行うものであって、
    前記第１画像と前記第２画像は、前記構造物の特定の部分を異なる撮影位置から撮影した画像であることを特徴とする請求項１３に記載の情報処理装置。
15. 情報処理装置の制御方法であって、
    取得手段により、構造物を分割撮影して得られた複数の画像と、前記複数の画像のそれぞれにおけるデフォーカス量の分布を表す複数のデフォーカスマップとを取得する取得工程と、
    第１生成手段により、前記複数の画像を少なくともスティッチ合成することにより前記構造物の点検用画像を生成する第１生成工程と、
    第２生成手段により、前記第１生成工程に対応して前記複数のデフォーカスマップから複合デフォーカスマップを生成する第２生成工程と、
    表示制御手段により、所定の表示部に表示された前記点検用画像に関連付けて、前記複合デフォーカスマップが表すデフォーカス量を表示する制御を行う表示制御工程と、
    を有する備えることを特徴とする情報処理装置の制御方法。

Images