JP2018066687A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】複数の部材からなる構造体の部材情報を容易に得る。【解決手段】情報処理装置１２の取得部３０Ａは、構造体に対する撮影位置の異なる、第１の撮影画像および第２の撮影画像を取得する。推定部３０Ｂは、第１の撮影画像に含まれる特徴領域の、第２の撮影画像に含まれる対応する特徴領域に対する移動方向および移動量を示す動き情報に基づいて、第１の撮影画像における背景側の背景画像を構成する複数の画素領域の各々の動き情報を推定する。生成部３０Ｃは、第１の撮影画像を構成する画素領域の各々を、背景画像における対応する画素領域の各々に対して推定された動き情報によって示される移動方向および移動量に応じて移動させることによって、第２の撮影画像を推定した推定画像を生成する。解析部３０Ｄは、第２の撮影画像と推定画像との差分領域に基づいて、構造体を構成する部材の部材情報を導出する。【選択図】図７

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

梁や柱などからなる構造体について、鉄筋の配置状態などを検査する方法が知られている。鉄筋の配置状態の検査には、鉄筋の本数、径、位置などの検査がある。

例えば、特許文献１には、計測対象の鉄筋に円形のマーカーを付与すると共に、計測対象の鉄筋の背景に白いボードを設置することが開示されている。特許文献１では、この状態で、計測対象の鉄筋を撮影することで得られた撮影画像について、二値化処理などを行い、計測対象の鉄筋の径を計測することが開示されている。

しかしながら、従来技術では、マーカーや白いボードなどの備品を設置した上で撮影した撮影画像を用いる必要があり、これらの備品を用いずに撮影した撮影画像を用いて、構造体の部材情報を導出することは困難であった。すなわち、従来では、複数部材からなる構造体の部材情報を、容易に得る事は困難であった。

本発明は、上記に鑑みてなされたものであって、複数部材からなる構造体の部材情報を、容易に得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、構造体に対する撮影位置の異なる、第１の撮影画像および第２の撮影画像を取得する取得部と、前記第１の撮影画像に含まれる特徴領域の、前記第２の撮影画像に含まれる対応する前記特徴領域に対する移動方向および移動量を示す動き情報に基づいて、前記第１の撮影画像における背景側の背景画像を構成する複数の画素領域の各々の前記動き情報を推定する推定部と、前記第１の撮影画像を構成する画素領域の各々を、前記背景画像における対応する画素領域の各々に対して推定された前記動き情報によって示される移動方向および移動量に応じて移動させることによって、前記第２の撮影画像を推定した推定画像を生成する生成部と、前記第２の撮影画像と前記推定画像との差分領域に基づいて、前記構造体を構成する部材の部材情報を導出する解析部と、を備える情報処理装置である。

本発明によれば、複数部材からなる構造体の部材情報を、容易に得ることができる、という効果を奏する。

図１は、情報処理システムの概略図の一例である。 図２は、構造体を構成する柱部材および梁部材の一例を示す模式図である。 図３は、撮影部による撮影方法の一例を示す説明図である。 図４は、撮影部の外観模式図の一例である。 図５は、情報処理装置のハードウェア構成図の一例である。 図６は、撮影部の機能的構成の一例を示す、ブロック図である。 図７は、情報処理装置の機能的構成の一例を示すブロック図である。 図８は、画像処理の一例を示す説明図である。 図９は、画像処理の一例を示す説明図である。 図１０は、画像処理の一例を示す説明図である。 図１１は、解析処理の手順の一例を示す、フローチャートである。 図１２は、簡易マーカーの一例を示す模式図である。 図１３は、変形例の情報処理システムの一例を示す模式図である。 図１４は、変形例の情報処理システムの一例を示す模式図である。 図１５は、変形例の情報処理システムの一例を示す模式図である。 図１６は、変形例の情報処理システムの一例を示す模式図である。

以下、本発明の実施形態について説明する。

図１は、本実施の形態の情報処理システム１０の概略図である。

情報処理システム１０は、情報処理装置１２と、撮影部１４と、を備える。情報処理装置１２と撮影部１４とは、ネットワークなどの通信部１３を介して互いに通信可能に接続されている。

通信部１３には、例えば、短距離無線技術、移動通信システムによる無線通信網、およびインターネットなどを用いる。短距離無線技術には、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）などが挙げられる。移動通信システムによる無線通信網には、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）や、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）や、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）などが挙げられる。また、通信部１３は、情報処理装置１２と撮影部１４とを直接接続するケーブルであってもよい。

情報処理システム１０は、構造体２０を構成する部材の部材情報を導出する。

まず、計測対象の構造体２０について説明する。構造体２０は、棒状の部材２１を複数組み合わせて構成される。部材２１は、例えば、鉄筋、柵、棒、アンカーロッドなどである。アンカーロッドは、木材や鋼材などの構造部材である。

本実施の形態では、一例として、部材２１が鉄筋である場合を説明する。すなわち、本実施の形態では、構造体２０が、複数の鉄筋を組み合わせて構成される場合を説明する。また、本実施の形態では、構造体２０が、複数の鉄筋を組み合わせた柱部材２２と、複数の鉄筋を組み合わせた梁部材２４と、から構成される場合を説明する。

図２は、本実施の形態の構造体２０を構成する、柱部材２２および梁部材２４の一例を示す模式図である。

図２（Ａ）は、柱部材２２の一例を示す模式図である。柱部材２２は、鉛直方向Ｘに沿って長い柱状の部材である。柱部材２２は、複数の主筋２２Ａと、複数の補助筋２２Ｂと、から構成される。柱部材２２における主筋２２Ａは、鉛直方向Ｘに沿って長い棒状の部材である。柱部材２２における補助筋２２Ｂは、主筋２２Ａの長軸方向である鉛直方向Ｘに対して交差する水平方向Ｙに長い、棒状の部材である。補助筋２２Ｂは、複数の主筋２２Ａを、水平方向Ｙに沿って間隔を隔てて支持する部材である。

図２（Ｂ）は、梁部材２４の一例を示す模式図である。梁部材２４は、水平方向Ｙに沿って長い柱状の部材である。梁部材２４は、複数の主筋２４Ａと、複数の補助筋２４Ｂと、から構成される。主筋２４Ａは、水平方向Ｙに沿って長い棒状の部材である。補助筋２４Ｂは、鉛直方向Ｘに長い、棒状の部材である。補助筋２４Ｂは、複数の主筋２４Ａを、鉛直方向Ｘに沿って間隔を隔てて支持する部材である。

なお、鉛直方向Ｘおよび水平方向Ｙは、実空間上における鉛直方向および水平方向の各々と一致してもよいし不一致であってもよい。また、鉛直方向Ｘおよび水平方向Ｙは、互いに交差する方向であればよく、直交する方向に限定されない。

ここで、構造体２０においては、主筋２２Ａおよび主筋２４Ａが、構造体２０の強度に寄与する。このため、本実施の形態では、情報処理装置１２は、構造体２０における、主筋２２Ａおよび主筋２４Ａを計測する場合を説明する。なお、補助筋２２Ｂおよび補助筋２４Ｂについても、計測対象としてよい。

図１に戻り、説明を続ける。撮影部１４は、構造体２０を撮影し、撮影画像を得る。本実施の形態では、撮影部１４は、構造体２０に対する撮影位置の異なる、複数の撮影画像を得る。本実施の形態では、抽出画像４１は、２枚の撮影画像（第１の撮影画像、第２の撮影画像と称する）を得る。なお、撮影部１４は、３枚以上の撮影画像を得てもよい。

図３は、撮影部１４による撮影方法の一例を示す説明図である。

図３（Ａ）は、構造体２０における、柱部材２２の主筋２２Ａを計測するときの、撮影方法の一例を示す説明図である。例えば、柱部材２２の主筋２２Ａを計測する場合、ユーザＭは、撮影部１４を支持する把持部材１６の一端側を把持する。把持部材１６は、所定方向に長い棒状の部材である。把持部材１６は、撮影部１４の死角を減らす観点から、可能な限り細い、棒状の部材であることが好ましい。この把持部材１６の長尺方向の他端側には、撮影部１４が支持されている。

ユーザＭは、把持部材１６の長尺方向の一端側を把持し、把持部材１６を水平方向Ｙへ移動させる。これによって、ユーザＭは、構造体２０の外部から主筋２２Ａおよび補助筋２４Ｂの隙間を介して構造体２０の内側へ向かって、撮影部１４を移動させる。そして、この移動中に、撮影部１４は、複数の撮影画像を得る。このため、この場合、撮影部１４は、構造体２０の外部から内側へ向かって該撮影部１４を水平方向Ｙに移動させたときの、撮影位置の異なる複数の撮影画像を得る。

図３（Ｂ）は、構造体２０における、梁部材２４の主筋２４Ａを計測するときの、撮影方法の一例を示す説明図である。例えば、梁部材２４の主筋２４Ａを計測する場合、ユーザＭは、把持部材１６の長尺方向の一端側を把持し、把持部材１６を鉛直方向Ｘへ移動させる。これによって、ユーザＭは、構造体２０の外部から、主筋２４Ａおよび補助筋２４Ｂの隙間を介して構造体２０の内側へ向かって、鉛直方向Ｘに撮影部１４を移動させる。そして、この移動中に、撮影部１４は、複数の撮影画像を得る。このため、この場合、撮影部１４は、構造体２０の外部から内側へ向かって該撮影部１４を鉛直方向Ｘに移動させたときの、撮影位置の異なる複数の撮影画像を得る。

なお、撮影部１４の移動方法および移動方向は、上記方法および方向に限定されない。例えば、計測対象の構造体２０を中心として周方向に撮影部１４を移動させることで、撮影位置の異なる複数の撮影画像を得ても良い。

撮影部１４は、撮影によって撮影画像の画像データを得る、公知の撮影装置である。なお、本実施の形態では、撮影画像の画像データを、単に、撮影画像と称して説明する。撮影部１４は、例えば、デジタルカメラである。

なお、撮影部１４は、１度の撮影によって、より広い画角を撮影可能であることが好ましい。このため、撮影部１４は、凸面鏡や円錐鏡を備えた全周囲カメラや、全天球パノラマ画像を撮影可能な全天球カメラ、であることが好ましい。これらの中でも、より広角な撮影画像が得られる観点、および、構造体２０へ挿入しやすいサイズである観点から、撮影部１４は、全天球パノラマ画像を撮影する全天球カメラであることが好ましい。

全天球パノラマ画像とは、全天球の範囲（３６０°）の撮影によって得られるパノラマ画像である。本実施の形態では、撮影部１４が、全天球パノラマ画像を得る全天球カメラである場合を、一例として説明する。撮影部１４に、全天球カメラを用いることで、図３に示すように、３６０°の撮影領域Ｐの撮影画像が得られる。

図４は、撮影部１４の外観模式図の一例である。図４（Ａ）は撮影部１４の側面図である。図４（Ｂ）は、撮影部１４の、図４（Ａ）とは反対側の側面図である。図４（Ｃ）は、撮影部１４の上面図である。

図４（Ａ）に示すように、撮影部１４は、例えば、人間が片手で持つことができる大きさである。なお、撮影部１４の大きさは、このような大きさに限られない。

図４に示すように、撮影部１４の上部には、正面側（一方の面側）にレンズ１４Ａ、背面側（他方の面側）にレンズ１４Ｂ、が設けられている。レンズ１４Ａおよびレンズ１４Ｂは、各々、１８０°以上の画角を有する広角レンズである。本実施の形態では、レンズ１４Ａおよびレンズ１４Ｂは、広角レンズの１つである魚眼レンズであるものとして説明する。撮影部１４では、レンズ１４Ａおよびレンズ１４Ｂの各々を介して像が導かれ、各々に対応する撮像素子に像が形成される。なお、撮像素子としては、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサ等が挙げられる。また、図４（Ｂ）に示されるように、撮影部１４の正面側には、シャッターボタン等の操作部１４Ｃが設けられていてもよい。

撮影部１４は、レンズ１４Ａおよびレンズ１４Ｂから導かれた像が各々の撮像素子で検出されることで、撮影部１４の周りの被写体が撮像され、２つの半球画像が得られる。全天球パノラマ画像は、これらの２つの半球画像を合成することで、作成される。

以下、全天球パノラマ画像を、単に、撮影画像と称して説明する。

次に、情報処理装置１２のハードウェア構成を説明する。図５は、情報処理装置１２のハードウェア構成図の一例である。

情報処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）５０５、メディアドライブ５０７、ディスプレイ５０８、ネットワークＩ／Ｆ５０９、キーボード５１１、マウス５１２、およびＣＤ−ＲＯＭドライブ５１４を、バス５１０を介して接続した構成である。メディアドライブ５０７は、フラッシュメモリ等の記録メディア５０６に対してデータの読み出し又は書き込み（記憶）を行う。ＣＤ−ＲＯＭドライブ５１４は、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５１３に対する各種データの読み出し又は書き込みを行う。

なお、情報処理装置１２は、ディスプレイ５０８と、キーボード５１１と、マウス５１２と、を一体的に構成した、タッチパネルを備えた構成であってもよい。また、情報処理装置１２は、ディスプレイ５０８、キーボード５１１、およびマウス５１２の少なくとも１つを、情報処理装置１２とは別体として構成してもよい。

次に、撮影部１４の構成を説明する。図６は、撮影部１４の機能的構成の一例を示す、ブロック図である。

撮影部１４は、レンズ１４Ａと、レンズ１４Ｂと、イメージセンサ１４Ｄと、イメージセンサ１４Ｅと、制御部１４と、記憶部１４Ｊと、通信部１４Ｋと、を備える。イメージセンサ１４Ｄおよびイメージセンサ１４Ｅは、ＣＣＤや、ＣＯＭＳイメージセンサである。レンズ１４Ａで導かれた像は、イメージセンサ１４Ｄで半球画像として検出され、制御部１４Ｆへ出力される。レンズ１４Ｂで導かれた像は、イメージセンサ１４Ｅで半球画像として検出され、制御部１４Ｆへ出力される。

制御部１４Ｆは、撮影部１４を制御する。制御部１４Ｆは、画像合成部１４Ｇと、記録処理部１４Ｈと、データ通信処理部１４Ｉと、を含む。画像合成部１４Ｇは、イメージセンサ１４Ｄから受付けた半球画像と、イメージセンサ１４Ｅから受付けた半球画像と、を合成する。この合成によって、画像合成部１４Ｇは、全天球パノラマ画像としての撮影画像を得る。記録処理部１４Ｈは、画像合成部１４Ｇで得られた撮影画像を、記憶部１４Ｊへ記憶する。また、データ通信処理部１４Ｉは、画像合成部１４Ｇで得られた撮影画像を、通信部１４Ｋを介して、情報処理装置１２へ出力する。

次に、情報処理装置１２の機能的構成を説明する。図７は、情報処理装置１２の機能的構成の一例を示すブロック図である。

情報処理装置１２は、制御部３０と、通信部３２と、入力部３３と、表示部３４と、記憶部３５と、を備える。制御部３０と、通信部３２と、入力部３３と、表示部３４と、記憶部３５と、はバス３６を介して接続されている。

通信部３２は、外部装置と通信するための通信インターフェースである。本実施の形態では、通信部３２は、撮影部１４に接続されている。このため、制御部３０では、通信部３２を介して撮影部１４から、撮影画像を得る。

入力部３３は、ユーザによる操作指示を受付ける。入力部３３は、キーボードやマウスなどである。表示部３４は、各種画像を表示する表示装置である。記憶部３５は、各種データを記憶する。

制御部３０は、情報処理装置１２を制御する。制御部３０は、ＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３などによって実現する（図５参照）。なお、制御部３０は、１または複数の回路などによって実現してもよい。

本実施の形態の情報処理装置１２で実行される各種処理を実行するためのプログラムは、ＲＯＭ５０２などに予め組み込んで提供される。

なお、本実施の形態の情報処理装置１２で実行される各種処理を実行するためのプログラムは、情報処理装置１２にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、本実施の形態の情報処理装置１２で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態の情報処理装置１２における各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

制御部３０は、取得部３０Ａと、推定部３０Ｂと、生成部３０Ｃと、解析部３０Ｄと、出力制御部３０Ｅと、を含む。推定部３０Ｂは、抽出部３０Ｆと、算出部３０Ｇと、分離部３０Ｈと、動き推定部３０Ｉと、を含む。

取得部３０Ａ、推定部３０Ｂ、生成部３０Ｃ、解析部３０Ｄ、出力制御部３０Ｅ、抽出部３０Ｆ、算出部３０Ｇ、分離部３０Ｈ、および、動き推定部３０Ｉ、の一部または全ては、例えば、ＣＰＵ５０１（図５参照）などの処理装置にプログラムを実行させること（すなわちソフトウェア）により実現してもよい。また、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、併用して実現してもよい。

取得部３０Ａは、構造体２０に対する撮影位置の異なる、第１の撮影画像および第２の撮影画像を取得する。第１の撮影画像および第２の撮影画像は、構造体２０に対する撮影位置の異なる撮影画像である。

上述したように、本実施の形態では、撮影部１４は、構造体２０の外部から内側へ向かって該撮影部１４を移動させたときの、撮影位置の異なる複数の撮影画像を得る。なお、撮影位置が異なる、とは、上述したように、構造体２０に対する撮影位置が異なる事を示す。また、被写体は、あくまでも構造体２０である。

取得部３０Ａは、通信部３２を介して撮影部１４から、これらの複数の撮影画像の内の１枚の撮影画像（第１の撮影画像）と、該複数の撮影画像の内の、該第１の撮影画像とは撮影位置の異なる他の１枚の撮影画像（第２の撮影画像）と、を取得する。

第１の撮影画像と第２の撮影画像の撮影タイミングは、同じであってもよいし、異なるタイミングであってもよい。同じタイミングである場合、撮影部１４を、撮影位置の異なる複数の撮影部から構成すればよい。本実施の形態では、一例として、第２の撮影画像の撮影タイミングが、第１の撮影画像の撮影タイミングより前である場合を説明する。但し、第２の撮影画像の撮影タイミングが、第１の撮影画像の撮影タイミングより後であってもよい。

なお、記憶部３５に、構造体２０に対する撮影位置の異なる複数の撮影画像を予め記憶してもよい。また、制御部３０は、撮影部１４で撮影された撮影画像を、記憶部３５へ記憶してもよい。この場合、取得部３０Ａは、記憶部３５から、第１の撮影画像および第２の撮影画像を読取ることで、これらの撮影画像を取得してもよい。

図８〜図１０は、制御部３０による画像処理の一例を示す説明図である。なお、以下では、撮影画像が、標準のアスペクト比の撮影画像である場合を説明する。なお、撮影画像が全天球パノラマ画像である場合、制御部３０は、該全天球パノラマ画像をキューブマップに展開した後に、下記と同様の処理を行えばよい。

図８（Ａ）および図８（Ｂ）は、撮影画像４０の一例を示す模式図である。図８（Ａ）は、第２の撮影画像４０Ｂを示す模式図であり、図８（Ｂ）は、第１の撮影画像４０Ａを示す模式図である。図８（Ａ）および図８（Ｂ）には、柱部材２２の主筋２２Ａを計測する場合に、撮影部１４が水平方向Ｙに沿って構造体２０の外部から内側へ挿入されるときに撮影された、第２の撮影画像４０Ｂおよび第１の撮影画像４０Ａを示した。

図８（Ｂ）および図８（Ａ）に示すように、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂは、同じ構造体２０における柱部材２２を、互いに異なる撮影位置から撮影した撮影画像４０である。図８に示す例では、第２の撮影画像４０Ｂは、第１の撮影画像４０Ａに比べて柱部材２２からより離れた撮影位置から、該柱部材２２を撮影した撮影画像４０である。また、図８に示す例では、第１の撮影画像４０Ａは、第２の撮影画像４０Ｂに比べて、柱部材２２により近い撮影位置から該柱部材２２を撮影した撮影画像４０である。

図７に戻り、説明を続ける。推定部３０Ｂは、第１の撮影画像４０Ａに含まれる特徴領域ごとに、動き情報を導出する。動き情報は、第１の撮影画像４０Ａに含まれる特徴領域の、第２の撮影画像４０Ｂに含まれる対応する特徴領域に対する、動きを示す情報である。

そして、推定部３０Ｂは、第１の撮影画像４０Ａに含まれる特徴領域の各々の動き情報に基づいて、第１の撮影画像４０Ａにおける背景側の背景画像を構成する、複数の画素領域の各々の、動き情報を生成する。

特徴領域とは、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂの各々の、画像処理における特徴的な領域を示す。特徴領域は、特定の色、特定の形状、等を示す領域である。特定の形状には、例えば、エッジがある。本実施の形態では、特徴領域が、エッジを示すエッジ領域である場合を、一例として説明する。

動き情報は、移動方向および移動量によって表される。本実施の形態では、動き情報は、第１の撮影画像４０Ａに含まれる特徴領域（エッジ領域）の、第２の撮影画像４０Ｂにおける対応する特徴領域（エッジ領域）に対する、移動方向および移動量を示す。動き情報は、エッジフローと称される場合がある。エッジフローは、撮影画像４０における特徴領域（エッジ領域）の動きを、ベクトルで表したものである。

推定部３０Ｂについて、詳細を説明する。推定部３０Ｂは、抽出部３０Ｆと、算出部３０Ｇと、分離部３０Ｈと、動き推定部３０Ｉと、を含む。

抽出部３０Ｆは、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂの各々から、複数のエッジ領域を抽出する。

図８（Ｃ）および図８（Ｄ）は、エッジ領域Ｅの抽出された抽出画像４１の説明図である。抽出部３０Ｆは、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂの各々のエッジ領域Ｅを抽出する、エッジ抽出処理を実行する。これにより、抽出部３０Ｆは、抽出画像４１（第１の抽出画像４１Ａ、第２の抽出画像４１Ｂ）を導出する。

すなわち、抽出部３０Ｆは、第１の撮影画像４０Ａ（図８（Ｂ）参照）から、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａを抽出した、第１の抽出画像４１Ａを導出する（図８（Ｄ）参照）。同様に、抽出部３０Ｆは、第２の撮影画像４０Ｂ（図８（Ａ）参照）から、第２の撮影画像４０Ｂに含まれるエッジ領域Ｅｂを抽出した、第２の抽出画像４１Ｂを導出する（図８（Ｃ）参照）。

抽出部３０Ｆは、公知のエッジ抽出方法を用いて、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂの各々から、エッジ領域Ｅを抽出すればよい。

算出部３０Ｇは、第１の撮影画像４０Ａに含まれる複数のエッジ領域Ｅａについて、第２の撮影画像４０Ｂに含まれる対応するエッジ領域Ｅｂに対する、動き情報を算出する。

図８（Ｅ）は、算出された動き情報Ｖの説明図である。算出部３０Ｇは、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａの各々について、第２の撮影画像４０Ｂにおける、同じエッジ領域Ｅを示すエッジ領域Ｅｂを特定する。このエッジ領域Ｅｂの特定には、公知の画像処理方法を用いればよい。

そして、算出部３０Ｇは、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａの各々について、第２の撮影画像４０Ｂにおける対応するエッジ領域Ｅｂに対する、動き情報Ｖを算出する。

図８（Ｆ）は、動き情報Ｖを拡大して示した模式図である。動き情報Ｖは、本実施の形態では、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａの、第２の撮影画像４０Ｂにおける対応するエッジ領域Ｅｂに対する、移動方向および移動量を示すベクトルで表される。

抽出部３０Ｆは、第１の抽出画像４１Ａに含まれる全てのエッジ領域Ｅａの各々について、第２の抽出画像４１Ｂにおける対応するエッジ領域Ｅｂからの動き情報Ｖを算出する。これによって、抽出部３０Ｆは、図８（Ｅ）に示す、動き情報付与画像４２Ａを得る。

動き情報付与画像４２Ａは、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａの各々に、動き情報Ｖを付与したものである。

抽出部３０Ｆは、例えば、公知のＭＲＦ（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌｄ：マルコフ確立場）を用いて、エッジ領域Ｅａの各々について動き情報Ｖを算出する。

具体的には、ＭＲＦ式は、下記式（１）で表される。

式（１）中、ＮＣＣ（）は、正規化相互相関の演算結果を示す。また、式（１）中、λは、０．００５である。また、式（１）中、Ｎは、処理対象の画素領域Ｇの周辺の他の画素領域Ｇであって、且つ、エッジ領域Ｅを含む、４つの画素領域Ｇを示す。

また、式（１）中、Ｓ、Ｃ_Ｌ、εは、各々、下記式（２）〜式（４）で表される。

図７に戻り、説明を続ける。分離部３０Ｈは、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａごとに算出された動き情報Ｖを、前景側の前景画像と、背景側の背景画像と、に分離する。

前景側とは、撮影画像４０における、奥行き閾値より撮影部１４に近い側を示す。一方、背景側とは、撮影画像４０における、奥行き閾値より撮影部１４から遠い側を示す。奥行き閾値は、予め定めればよい。

背景画像は、算出部３０Ｇによって算出されたエッジ領域Ｅの動き情報Ｖの内、奥行き閾値より前景側に位置するエッジ領域Ｅの動き情報Ｖを、撮影画像４０における該エッジ領域Ｅに対応する位置に配置した画像である。

前景画像は、算出部３０Ｇによって算出されたエッジ領域Ｅの動き情報Ｖの内、奥行き閾値より背景側に位置するエッジ領域Ｅの動き情報Ｖを、撮影画像４０における該エッジ領域Ｅに対応する位置に配置した画像である。

具体的には、分離部３０Ｈは、図８（Ｅ）に示す動き情報付与画像４２に含まれる動き情報Ｖを、所定の動き閾値以上の動き量を示す動き情報Ｖ１と、該動き閾値未満の動き量を示す動き情報Ｖ２と、に分類する。そして、分離部３０Ｈは、動き情報付与画像４２を、背景画像４３Ａ２と、前景画像４３Ａ１と、に分類する（図９（Ｂ）、図９（Ａ）参照）。なお、上記動き閾値は、上記奥行き閾値に応じて、予め定めればよい。

このため、図９（Ｂ）に示すように、前景画像４３Ａ１は、動き情報付与画像４２（図８（Ｅ）参照）について、第１の撮影画像４０Ａにおける動き情報Ｖ１の付与されたエッジ領域Ｅａの位置および位置関係を維持したまま、動き情報Ｖ１を抽出した画像となる。

また、図９（Ａ）に示すように、背景画像４３Ａ２は、動き情報付与画像４２（図８（Ｅ）参照）について、動き情報Ｖ２の付与されたエッジ領域Ｅａの位置および位置関係を維持したまま、動き情報Ｖ２を抽出した画像となる。

詳細には、分離部３０Ｈは、第１の撮影画像４０Ａから生成した動き情報付与画像４２（図８（Ｅ）参照）を、撮影画像４０の撮影空間における奥行き方向に沿って、複数の平面を層状に配置した構成とみなす。そして、分離部３０Ｈは、動き情報付与画像４２を構成する複数の平面を、奥行きが所定の奥行き閾値より手前側（前面側）（撮影部１４側）の平面群と、閾値より奥側（背景側）（撮影部１４から離れる方向）の平面群と、に分離する。平面群を構成する各平面（レイヤ）には、対応する奥行きに位置するエッジ領域Ｅおよび動き情報Ｖが付与されている。

そして、分離部３０Ｈは、奥行き閾値より前景側の平面群を、前景側の１つの面として扱う。このとき、分離部３０Ｈは、奥行き閾値より前景側の平面群を、１つの面とするための射影変換行列を、公知のＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）手法を用いて求める。そして、この１面に含まれるエッジ領域Ｅａの各々の動き情報Ｖ１の内、性能のよいエッジ領域Ｅａの動き情報Ｖ１の群を、ＲＡＭＳＡＣ手法により求め、前景画像４３Ａ１とする（図９（Ｂ）参照）。

同様に、分離部３０Ｈは、奥行き閾値より背景側の平面群を、背景側の１つの面として扱う。このとき、分離部３０Ｈは、奥行き閾値より背景側の平面群を、１つの面とするための射影変換行列を、公知のＲＡＮＳＡＣ手法を用いて求める。そして、この１面に含まれるエッジ領域Ｅａの各々の動き情報Ｖ２の内、性能のよいエッジ領域Ｅａの動き情報Ｖ２の群を、ＲＡＭＳＡＣ手法により求め、背景画像４３Ａ２とする（図９（Ａ）参照）。

ここで、撮影部１４を移動させながら撮影した場合、得られた撮影画像４０に含まれる被写体は、撮影部１４に対してより遠い位置にある被写体と、撮影部１４に対してより近い位置にある被写体との間で、撮影画像４０間における移動量が異なる。具体的には、撮影部１４に対してより遠い位置にある被写体の移動量は、撮影部１４に対してより近い位置にある被写体の移動量に比べて小さい。

このため、動き情報付与画像４２を、背景画像４３Ａ２と前景画像４３Ａ１とに分離する時に用いる、上記動き閾値は、奥行き閾値より背景側の被写体と奥行き閾値より前景側の被写体とを分離可能となるように、予め予測した移動量に応じて、予め設定すればよい。すなわち、上記動き閾値は、第１の撮影画像４０Ａと第２の撮影画像４０Ｂとの撮影位置の差の大きさ、計測対象の構造体２０の種類、などに応じて、適宜調整すればよい。また、上記動き閾値は、ユーザによる入力部３３の操作指示などによって、適宜変更可能としてもよい。

すなわち、本実施の形態では、分離部３０Ｈは、第１の撮影画像４０Ａ（図８（Ｂ）参照）における、エッジ領域Ｅａの各々に付与した動き情報Ｖの内（図８（Ｅ）参照）、動き閾値より小さい動き情報Ｖを動き情報Ｖ２とし、動き閾値以上の動き情報Ｖを動き情報Ｖ１とする。そして、分離部３０Ｈは、動き情報付与画像４２を、動き閾値より小さい動き情報Ｖ２を規定した背景画像４３Ａ２と、動き閾値以上の動き情報Ｖ１を規定した前景画像４３Ａ１と、に分類する（図９（Ｂ）、図９（Ａ）参照）。

なお、構造体２０の撮影時の撮影部１４の移動方向や移動方法を変更することで、撮影部１４に対してより遠い位置にある被写体の移動量が、撮影部１４に対してより近い位置にある被写体の移動量に比べて大きくなる場合がある。この場合、分離部３０Ｈは、動き閾値より小さい動き情報Ｖを動き情報Ｖ１とし、動き閾値以上の動き情報Ｖを動き情報Ｖ２とすればよい。

動き推定部３０Ｉは、背景画像４３Ａ２における、エッジ領域Ｅａごとの動き情報Ｖ２に基づいて、背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖ３を推定する。

ここで、前景画像４３Ａ１の動き情報Ｖの大きさと、背景画像４３Ａ２の動き情報Ｖの大きさと、を比較すると、通常は、背景画像４３Ａ２の動き情報Ｖの方が小さい。このため、背景画像４３Ａ２の動き情報Ｖの方が、前景画像４３Ａ１より安定した情報を取得できるケースが多い。安定した情報とは、動き情報Ｖ（位置と大きさ）に関して、ノイズが少ない、という意味である。このように、背景画像４３Ａ２の動き情報Ｖの方が、前景画像４３Ａ１の動き用法Ｖより安定していることから、本実施の形態では、背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖ３を推定し、後述する推定画像の生成に用いる（詳細後述）。

図９（Ｃ）は、背景動き画像４４Ａ２の一例を示す模式図である。背景動き画像４４Ａ２は、背景画像４３Ａ２（図９（Ａ）参照）によってエッジ領域Ｅごとに規定された動き情報Ｖ２から、背景画像４３Ａ２を構成する画素領域Ｇの各々の動き情報Ｖ（動き情報Ｖ３と称して説明する）を推定したものである。

画素領域Ｇとは、予め定めた画素数の画素の占める領域である。本実施の形態では、画素領域Ｇは、１つの画素の占める領域であるとして説明する。

動き推定部３０Ｉは、エッジ領域Ｅごとに規定された動き情報Ｖ２を用いて、画素領域Ｇごとの動き情報Ｖ３を補完する。この補完処理によって、動き推定部３０Ｉは、画素領域Ｇの各々の動き情報Ｖ３を推定する。この補完処理には、公知の補完手法を用いればよい。公知の補完手法は、例えば、公知のｏｂｓｔｒｕｃｔｉｏｎ−ｆｒｅｅ手法に示される手法である。

これによって、動き推定部３０Ｉは、第１の撮影画像４０Ａにおける、所定の奥行き閾値より背景側のエッジ領域Ｅの示す動き情報Ｖ２を用いて、第１の撮影画像４０Ａを構成する全ての画素領域Ｇの動き情報Ｖ（動き情報Ｖ３）を推定する。すなわち、動き推定部３０Ｉは、背景画像４３Ａ２の動き情報Ｖ２に応じた動き情報Ｖ３を、第１の撮影画像４０Ａを構成する全ての画素領域Ｇに適用する。

第１の撮影画像４０Ａを構成する全ての画素領域Ｇに、背景画像４３Ａ２の動き情報Ｖ２に応じた動き情報Ｖ３を規定した画像を、背景動き画像４４Ａ２と称して説明する。

なお、図９（Ｃ）には、背景動き画像４４Ａ２の一部の画素領域Ｇについて、動き情報Ｖ３を示す矢印を示したが、実際には、背景動き画像４４Ａ２の全ての画素領域Ｇについて、動き情報Ｖ３が規定されている。

図１に戻り、次に、生成部３０Ｃについて説明する。生成部３０Ｃは、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、背景画像４３Ａ２における対応する画素領域Ｇの各々に対して推定された動き情報Ｖ３によって示される移動方向および移動量に応じて移動させる。

このとき、生成部３０Ｃは、動き情報Ｖ３によって示される移動方向が、第２の撮影画像４０Ｂに含まれるエッジ領域Ｅｂから第１の撮影画像４０Ａに含まれる対応するエッジ領域Ｅａへの移動方向を示す場合、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、動き情報Ｖ３によって示される移動方向の逆方向に移動させる。

詳細には、生成部３０Ｃは、第１の撮影画像４０Ａを構成する画素領域Ｇの各々と、背景動き画像４４Ａ２を構成する画素領域Ｇの各々と、について、同じ画素位置の対を特定する。そして、生成部３０Ｃは、第１の撮影画像４０Ａにおける画素領域Ｇを、背景動き画像４４Ａ２における同じ画素位置の画素領域Ｇに付与された動き情報Ｖ３によって示される移動方向の逆方向に、該動き情報Ｖ３によって示される移動量、移動させる。

一方、生成部３０Ｃは、動き情報Ｖ３によって示される移動方向が、第１の撮影画像４０Ａに含まれるエッジ領域Ｅから第２の撮影画像４０Ｂに含まれる対応するエッジ領域Ｅへの移動方向を示す場合、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、動き情報Ｖ３によって示される移動方向へ、該動き情報Ｖ３によって示される移動量、移動させればよい。

このようにして、生成部３０Ｃは、第１の撮影画像４０Ａ（図８（Ｂ）参照）を、背景動き画像４４Ａ２（図９（Ｃ）参照）を構成する画素領域Ｇの各々に付与された動き情報Ｖ３に応じて変形する。

これによって、生成部３０Ｃは、第１の撮影画像４０Ａから第２の撮影画像４０Ｂを推定した、推定画像４５（図９（Ｄ）参照）を生成する。

ここで、上述したように、撮影部１４を移動させながら撮影した場合、得られた撮影画像４０中における被写体の位置は、撮影部１４に対してより遠い位置にある被写体と、撮影部１４に対してより近い位置にある被写体との間で、撮影画像４０間における移動方向および移動量が異なるものとなる。また、背景動き画像４４Ａ２は、第１の撮影画像４０Ａの画素領域Ｇの各々に、背景画像４３Ａ２に示される動き情報Ｖ２に応じた動き情報Ｖ３を規定したものである。

このため、第１の撮影画像４０Ａを背景動き画像４４Ａ２に示される動き情報Ｖ３を用いて変形することによって生成された推定画像４５は、奥行き閾値より背景側の背景領域については第２の撮影画像４０Ｂに近いものとなるが、奥行き閾値より前景側の前景領域については、第２の撮影画像４０Ｂとは異なり変形した画像領域となる。

図７に戻り説明を続ける。解析部３０Ｄは、第２の撮影画像４０Ｂと、第１の撮影画像４０Ａから第２の撮影画像４０Ｂを推定した推定画像４５と、の差分領域に基づいて、構造体２０を構成する部材の部材情報を導出する。

図１０（Ａ）は、図８（Ａ）の第２の撮影画像４０Ｂと同様である。図１０（Ｂ）は、図９（Ｄ）の推定画像４５と同様である。

解析部３０Ｄは、第２の撮影画像４０Ｂと推定画像４５との差分領域４９を算出する。図１０（Ｃ）は、差分領域４９を示す差分抽出画像４６の一例である。差分抽出画像４６は、前景側の差分が、背景側の差分に比べて大きい事を示す、画像である。差分の大きい、すなわち移動量のより大きい前景側の部材は、部材の形状を保った状態で差分領域４９として表されやすい。

そこで、解析部３０Ｄは、差分領域４９を解析することで、部材２１（本実施の形態では、主筋２２Ａまたは主筋２４Ａ）を示す、部材情報５２を導出する。

部材情報５２は、部材２１（主筋２２Ａまたは主筋２４Ａ）の数、部材２１の位置、部材２１の径、の少なくとも１つを含む。部材２１の位置は、他の部材２１に対する相対位置を示す。本実施の形態では、部材情報５２は、少なくとも部材２１（主筋２２Ａまたは主筋２４Ａ）の数を含む。

解析部３０Ｄは、差分領域４９を公知の画像処理方法により解析し、部材情報５２を得ればよい。

本実施の形態では、解析部３０Ｄは、差分領域４９を解析することで、構造体２０における前景側に配置された部材２１の部材情報５２を導出する。

例えば、解析部３０Ｄは、差分領域４９を示す差分抽出画像４６（図１０（Ｃ）参照）について、確率的ハフ変換を施すことで、棒状の部材２１のシルエットを特定することで、部材２１（主筋２２Ａ、主筋２４Ａ）を検出する。そして、解析部３０Ｄは、検出した部材２１の数を計数することで、部材情報５２を算出してもよい。

本実施の形態では、解析部３０Ｄは、部材２１の数を、部材情報５２として得る。図１０（Ｄ）は、解析部３０Ｄによる解析結果４７の一例を示す図である。図１０（Ｄ）に示す例では、解析部３０Ｄは、柱部材２２の主筋２２Ａの数“４本”と、これらの主筋２２Ａの各々の位置と、を部材情報５２として得る。

なお、解析部３０Ｄは、公知のシルエット補正処理を行った後に、確率的ハフ変換を行ってもよい。シルエット補正処理には、メディアンフィルタ、エロード・ダイロード処理などがある。

また、本実施の形態では、主筋２４Ａおよび梁部材２４は、鉛直方向Ｘまたは水平方向Ｙに沿って延伸して配置されている状態で撮影される。このため、解析部３０Ｄは、重力センサによる補正を行うことで、鉛直方向Ｘまたは水平方向Ｙのバイアスをかけた後に、部材情報５２を導出してもよい。

また、解析部３０Ｄは、差分抽出画像４６について、白黒反転処理や、ノイズ除去処理を施した後に、部材情報５２を導出してもよい。

なお、図３（Ｂ）に示すように、計測対象が梁部材２４の主筋２４Ａである場合、制御部３０は、構造体２０に対して鉛直方向Ｘに移動させることで撮影された第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂを用いて、上記と同様の処理を行うことで、梁部材２４の主筋２４Ａの数を、部材情報５２として得る。

図７に戻り、説明を続ける。出力制御部３０Ｅは、部材情報５２を出力するように制御する。例えば、出力制御部３０Ｅは、部材情報５２を示す画像を表示するように、表示部３４を制御する。この場合、表示部３４には、部材情報５２を示す画像が表示される。

また、例えば、出力制御部３０Ｅは、部材情報５２を、通信部３２を介して外部装置へ送信する。この場合、外部装置は、情報処理装置１２から部材情報５２を受付け、各種処理に用いる。なお、出力制御部３０Ｅは、部材情報５２を、記憶部３５へ記憶してもよい。

なお、取得部３０Ａ、推定部３０Ｂ、生成部３０Ｃ、解析部３０Ｄ、出力制御部３０Ｅ、抽出部３０Ｆ、算出部３０Ｇ、分離部３０Ｈ、動き推定部３０Ｉ、の少なくとも１つの機能を、サーバ装置などの外部装置に設けた構成としてもよい。

また、解析部３０Ｄは、導出した部材情報５２と、構造体２０の設計情報と、を比較し、導出した部材情報５２が設計情報と一致するか否かを判定してもよい。この場合、出力制御部３０Ｅは、この判定結果を示す情報を、更に出力制御すればよい。

次に、情報処理装置１２の制御部３０が実行する、解析処理の手順の一例を説明する。

図１１は、情報処理装置１２の制御部３０が実行する、解析処理の手順の一例を示す、フローチャートである。

まず、取得部３０Ａが、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂを取得する（ステップＳ１００）。次に、抽出部３０Ｆが、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂの各々から、エッジ領域Ｅを抽出する（ステップＳ１０２）。

次に、算出部３０Ｇが、第１の撮影画像４０Ａに含まれる複数のエッジ領域Ｅａについて、第２の撮影画像４０Ｂに含まれる対応するエッジ領域Ｅｂに対する、動き情報Ｖを算出する（ステップＳ１０４）。

次に、分離部３０Ｈが、第１の撮影画像４０Ａに含まれるエッジ領域Ｅａごとに算出された動き情報Ｖを、背景画像４３Ａ２と前景画像４３Ａ１とに分離する（ステップＳ１０６）。

次に、動き推定部３０Ｉが、背景画像４３Ａ２における、エッジ領域Ｅａごとの動き情報Ｖ２に基づいて、背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖ３を推定する（ステップＳ１０８）。

次に、生成部３０Ｃが、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、背景画像４３Ａ２における対応する画素領域Ｇの各々に対して推定された動き情報Ｖ３に応じて移動させる（ステップＳ１１０）。ステップＳ１１０では、生成部３０Ｃは、第１の撮影画像４０Ａ（図８（Ｂ）参照）を、背景動き画像４４Ａ２（図９（Ｃ）参照）を構成する画素領域Ｇの各々に付与された動き情報Ｖ３に応じて変形する。ステップＳ１１０の処理によって、生成部３０Ｃは、第１の撮影画像４０Ａから第２の撮影画像４０Ｂを推定した、推定画像４５（図９（Ｄ）参照）を生成する。

次に、解析部３０Ｄが、第２の撮影画像４０Ｂと推定画像４５との差分領域４９を特定する（ステップＳ１１２）。

次に、解析部３０Ｄは、差分領域４９を解析することによって部材２１（本実施の形態では、主筋２２Ａまたは主筋２４Ａ）を示す、部材情報５２を導出する（ステップＳ１１４）。

出力制御部３０Ｅは、ステップＳ１１４で導出された部材情報５２を記憶部３５へ記憶する（ステップＳ１１６）。次に、出力制御部３０Ｅは、ステップＳ１１４で導出された部材情報５２を、表示部３４へ出力する（ステップＳ１１８）。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置１２は、取得部３０Ａと、推定部３０Ｂと、生成部３０Ｃと、解析部３０Ｄと、を備える。取得部３０Ａは、構造体２０に対する撮影位置の異なる、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂを取得する。推定部３０Ｂは、第１の撮影画像４０Ａに含まれる特徴領域（エッジ領域Ｅ）の、第２の撮影画像４０Ｂに含まれる対応する特徴領域（エッジ領域Ｅ）に対する移動方向および移動量を示す動き情報Ｖに基づいて、第１の撮影画像４０Ａにおける背景側の背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖ３を推定する。生成部３０Ｃは、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、背景画像４３Ａ２における対応する画素領域Ｇの各々に対して推定された動き情報Ｖ３によって示される移動方向および移動量に応じて移動させることによって、第２の撮影画像４０Ｂを推定した推定画像４５を生成する。解析部３０Ｄは、第２の撮影画像４０Ｂと推定画像４５との差分領域４９に基づいて、構造体２０を構成する部材２１の部材情報５２を導出する。

ここで、上述したように、撮影部１４を移動させながら撮影した場合、得られた撮影画像４０中における被写体の位置は、撮影部１４に対してより遠い位置にある被写体と、撮影部１４に対してより近い位置にある被写体との間で、撮影画像４０間における移動方向および移動量が異なるものとなる。また、背景動き画像４４Ａ２は、第１の撮影画像４０Ａの画素領域Ｇの各々に、背景画像４３Ａ２に示される動き情報Ｖ２に応じた動き情報Ｖ３を付与したものである。

このため、第１の撮影画像４０Ａを背景動き画像４４Ａ２に示される動き情報Ｖ３を用いて変形することによって生成された推定画像４５は、背景側の背景領域については第２の撮影画像４０Ｂに近いものとなるが、前景側の前景領域については、第２の撮影画像４０Ｂとは異なり変形したものとなる。

そして、本実施の形態では、情報処理装置１２は、第２の撮影画像４０Ｂと、推定画像４５と、の差分領域４９に基づいて、構造体２０を構成する部材２１の部材情報５２を導出する。このため、本実施の形態の情報処理装置１２では、部材２１の部材情報５２を、ホワイトボード等の備品を用いることなく、容易に導出することができる。

従って、本実施の形態の情報処理装置１２は、複数の部材２１からなる構造体２０の部材情報５２を、容易に得ることができる。

推定部３０Ｂは、抽出部３０Ｆと、算出部３０Ｇと、分離部３０Ｈと、動き推定部３０Ｉと、を有する。抽出部３０Ｆは、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂの各々から、複数の特徴領域Ｅを抽出する。算出部３０Ｇは、第１の撮影画像４０Ａに含まれる複数の特徴領域Ｅについて、第２の撮影画像４０Ｂに含まれる対応する特徴領域Ｅに対する動き情報Ｖ（動き情報Ｖ１、動き情報Ｖ２）を算出する。分離部３０Ｈは、第１の撮影画像４０Ａに含まれるエッジ領域Ｅごとに算出された動き情報Ｖを、前景側の前景画像４３Ａ１と、背景側の背景画像４３Ａ２と、に分離する。

動き推定部３０Ｉは、背景画像４３Ａ２における特徴領域（エッジ領域Ｅ）ごとの動き情報Ｖ２に基づいて、背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖ３を推定する。

また、解析部３０Ｄは、差分領域４９を解析し、構造体２０における前景側に配置された部材の部材情報５２を得る。

また、解析部３０Ｄは、部材２１の数、部材２１の位置、部材２１の径、の少なくとも１つを含む、部材情報５２を得る。

また、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂは、構造体２０の外部か構造体２０の内側に向かって撮影部１４を移動させたときに撮影された、互いに撮影位置の異なる撮影画像４０である。

また、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂは、全天球パノラマ画像である。

また、特徴領域は、エッジを示すエッジ領域Ｅである。

また、本実施の形態の情報処理方法は、計測対象の構造体２０に対する撮影位置の異なる、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂを取得するステップと、第１の撮影画像４０Ａに含まれる特徴領域（エッジ領域Ｅ）の、第２の撮影画像４０Ｂに含まれる対応する特徴領域に対する移動方向および移動量を示す動き情報Ｖに基づいて、第１の撮影画像４０Ａにおける背景側の背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖを推定するステップと、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、背景画像４３Ａ２における対応する画素領域Ｇの各々に対して推定された動き情報Ｖによって示される移動方向および移動量に応じて移動させることによって、第２の撮影画像４０Ｂを推定した推定画像４５を生成するステップと、第２の撮影画像４０Ｂと推定画像４５との差分領域４９に基づいて、構造体２０を構成する部材２１の部材情報５２を導出するステップと、を含む。

また、本実施の形態の情報処理プログラムは、計測対象の構造体２０に対する撮影位置の異なる、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂを取得するステップと、第１の撮影画像４０Ａに含まれる特徴領域（エッジ領域Ｅ）の、第２の撮影画像４０Ｂに含まれる対応する特徴領域に対する移動方向および移動量を示す動き情報Ｖに基づいて、第１の撮影画像４０Ａにおける背景側の背景画像４３Ａ２を構成する複数の画素領域Ｇの各々の動き情報Ｖを推定するステップと、第１の撮影画像４０Ａを構成する画素領域Ｇの各々を、背景画像４３Ａ２における対応する画素領域Ｇの各々に対して推定された動き情報Ｖによって示される移動方向および移動量に応じて移動させることによって、第２の撮影画像４０Ｂを推定した推定画像４５を生成するステップと、第２の撮影画像４０Ｂと推定画像４５との差分領域４９に基づいて、構造体２０を構成する部材２１の部材情報５２を導出するステップと、をコンピュータに実行させるための情報処理プログラムである。

なお、上記実施の形態では、環境光が十分にある撮影環境で撮影された撮影画像４０を想定して、説明を行った。しかし、画像処理に必要な環境光の得られない環境で撮影された撮影画像４０を用いて上記処理を行う場合がある。この場合、情報処理装置１２は、エッジ領域Ｅの抽出時のパラメータを暗環境に特化したパラメータとするなどの、公知の光量補正処理を行った上で、上記と同様の処理を行えばよい。

＜変形例１＞
なお、上記実施の形態では、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂは、構造体２０を撮影した撮影画像４０である場合を説明した。しかし、目印となる簡易マーカーを付与した構造体２０を撮影した撮影画像４０を、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂとして用いてもよい。

図１２は、簡易マーカー６０の一例を示す模式図である。簡易マーカー６０は、撮影画像４０として撮影されたときに、画像処理によって位置を識別しやすい、形状、色、大きさであればよい。例えば、簡易マーカー６０は、簡易マーカー６０Ａ、簡易マーカー６０Ｂ、簡易マーカー６０Ｃの何れであってもよい。

簡易マーカー６０が部材２１に付与された構造体２０を撮影した撮影画像４０を、第１の撮影画像４０Ａおよび第２の撮影画像４０Ｂとして用いることで、情報処理装置１２は、簡易マーカー６０を特徴領域の１つとして用いることができる。なお、撮影画像４０における簡易マーカー６０の検出には、ハフ変換による円検出などの公知の方法を用いればよい。

また、情報処理装置１２は、撮影画像４０に含まれる簡易マーカー６０のサイズと、実際の簡易マーカー６０のサイズとの比を用いて、撮影画像４０に含まれる部材２１の径や大きさなどの実際のサイズを算出してもよい。また、情報処理装置１２は、該比を用いて、部材２１の間隔を算出してもよい。

また、撮影画像４０の撮影時に、背景側に存在する部材２１にのみ簡易マーカー６０を付与してもよい。そして、情報処理装置１２は、撮影画像４０に含まれる簡易マーカー６０の付与された領域を、背景側に存在する部材２１と判断し、部材情報５２の導出に用いてもよい。

このため、本変形例では、情報処理装置１２は、上記実施の形態に比べて、更に精度の高い部材情報５２を導出することができる。

＜変形例２＞
なお、上記実施の形態では、情報処理システム１０が、情報処理装置１２と撮影部１４とから構成された形態を一例として説明した。しかし、情報処理システム１０の構成は、上記構成に限定されない。

図１３〜図１６は、本変形例の情報処理システム１０Ａ〜情報処理システム１０Ｄの一例を示す模式図である。

図１３に示すように、例えば、情報処理システム１０Ａは、クラウドサーバ７１と、撮影部１４と、を、通信部１３を介して接続した構成としてもよい。クラウドサーバ７１は、情報処理装置１２をクラウド７０上に設置されたクラウドサーバ７１に搭載したものである。

また、図１４に示すように、情報処理システム１０Ｂは、情報処理装置１２と、携帯端末７２と、を、通信部１３を介して接続した構成であってもよい。携帯端末７２は、携帯可能な端末装置である。携帯端末７２は、例えば、スマートホン、タブレット、ゲーム機、などである。この場合、携帯端末７２に、撮影部１４を搭載した構成とすればよい。

また、図１５に示すように、情報処理システム１０Ｃは、携帯端末７４を備えた構成としてもよい。携帯端末７４は、情報処理装置１２と、撮影部１４と、を備えた構成であればよい。

また、図１６に示すように、情報処理システム１０Ｄは、携帯端末７６と、撮影ユニット７５と、を、通信部１３を介して接続した構成であってもよい。携帯端末７６は、情報処理装置１２を搭載した構成であればよい。また、撮影ユニット７５は、撮影部１４を備え、全天球パノラマ画像を撮影可能な装置である。

なお、上記情報処理装置１２で実行される、上記処理を実行するためのプログラムは、ＮＶ−ＲＡＭやＲＯＭやその他の不揮発性記憶媒体に予め組み込まれて提供される。また、情報処理装置１２で実行される、上記処理を実行するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録し提供することも可能である。

また、情報処理装置１２で実行される、上記処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供または配布するように構成してもよい。

また、情報処理装置１２で実行される、上記処理を実行するためのプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

また、情報処理装置１２で実行される、上記処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から該プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上記各部が主記憶装置上に生成されるようになっている。

なお、情報処理装置１２の記憶部３５に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置と情報処理装置１２と、を、ネットワーク等を介して接続した構成とすればよい。

なお、上記には、本実施の形態および変形例を説明したが、上記実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。上記新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１２ 情報処理装置
２０ 構造体
２１ 部材
３０Ａ 取得部
３０Ｂ 推定部
３０Ｃ 生成部
３０Ｄ 解析部
３０Ｅ 出力制御部
３０Ｆ 抽出部
３０Ｇ 算出部
３０Ｈ 分離部
３０Ｉ 動き推定部

特許第５４１２０９２号公報

Claims (9)

1. 構造体に対する撮影位置の異なる、第１の撮影画像および第２の撮影画像を取得する取得部と、
   前記第１の撮影画像に含まれる特徴領域の、前記第２の撮影画像に含まれる対応する前記特徴領域に対する移動方向および移動量を示す動き情報に基づいて、前記第１の撮影画像における背景側の背景画像を構成する複数の画素領域の各々の前記動き情報を推定する推定部と、
   前記第１の撮影画像を構成する画素領域の各々を、前記背景画像における対応する画素領域の各々に対して推定された前記動き情報によって示される移動方向および移動量に応じて移動させることによって、前記第２の撮影画像を推定した推定画像を生成する生成部と、
   前記第２の撮影画像と前記推定画像との差分領域に基づいて、前記構造体を構成する部材の部材情報を導出する解析部と、
   を備える情報処理装置。
2. 前記推定部は、
   前記第１の撮影画像および前記第２の撮影画像の各々から、複数の前記特徴領域を抽出する抽出部と、
   前記第１の撮影画像に含まれる複数の前記特徴領域について、前記第２の撮影画像に含まれる対応する前記特徴領域に対する前記動き情報を算出する算出部と、
   前記第１の撮影画像に含まれる前記特徴領域ごとに算出された前記動き情報を、前景側の（前記動き情報を対応する位置にマッピングした）前景画像と、背景側の（前記動き情報を付与した）前記背景画像と、に分離する分離部と、
   前記背景画像における前記特徴領域ごとの前記動き情報に基づいて、前記背景画像を構成する複数の画素領域の各々の前記動き情報を推定する動き推定部と、
   を有する、請求項１に記載の情報処理装置。
3. 前記解析部は、
   前記差分領域を解析し、前記構造体における前景側に配置された前記部材の前記部材情報を導出する、請求項１または請求項２に記載の情報処理装置。
4. 前記解析部は、前記部材の数、前記部材の位置、前記部材の径、の少なくとも１つを含む、前記部材情報を導出する、
   請求項１〜請求項３の何れか１項に記載の情報処理装置。
5. 前記第１の撮影画像および前記第２の撮影画像は、前記構造体の外部から前記構造体の内側に向かって撮影部を移動させたときに撮影された、互いに撮影位置の異なる撮影画像である、請求項１〜請求項４の何れか１項に記載の情報処理装置。
6. 前記第１の撮影画像および前記第２の撮影画像は、全天球パノラマ画像である、請求項１〜請求項５の何れか１項に記載の情報処理装置。
7. 前記特徴領域は、エッジを示すエッジ領域である、請求項１〜請求項６の何れか１項に記載の情報処理装置。
8. 構造体に対する撮影位置の異なる、第１の撮影画像および第２の撮影画像を取得するステップと、
   前記第１の撮影画像に含まれる特徴領域の、前記第２の撮影画像に含まれる対応する前記特徴領域に対する移動方向および移動量を示す動き情報に基づいて、前記第１の撮影画像における背景側の背景画像を構成する複数の画素領域の各々の前記動き情報を推定するステップと、
   前記第１の撮影画像を構成する画素領域の各々を、前記背景画像における対応する画素領域の各々に対して推定された前記動き情報によって示される移動方向および移動量に応じて移動させることによって、前記第２の撮影画像を推定した推定画像を生成するステップと、
   前記第２の撮影画像と前記推定画像との差分領域に基づいて、前記構造体を構成する部材の部材情報を導出するステップと、
   を含む情報処理方法。
9. 構造体に対する撮影位置の異なる、第１の撮影画像および第２の撮影画像を取得するステップと、
   前記第１の撮影画像に含まれる特徴領域の、前記第２の撮影画像に含まれる対応する前記特徴領域に対する移動方向および移動量を示す動き情報に基づいて、前記第１の撮影画像における背景側の背景画像を構成する複数の画素領域の各々の前記動き情報を推定するステップと、
   前記第１の撮影画像を構成する画素領域の各々を、前記背景画像における対応する画素領域の各々に対して推定された前記動き情報によって示される移動方向および移動量に応じて移動させることによって、前記第２の撮影画像を推定した推定画像を生成するステップと、
   前記第２の撮影画像と前記推定画像との差分領域に基づいて、前記構造体を構成する部材の部材情報を導出するステップと、
   をコンピュータに実行させるための情報処理プログラム。