JP7330114B2 - 対象位置特定システムおよび対象位置特定方法 - Google Patents

Description

本発明の実施形態は、対象位置特定システムおよび対象位置特定方法に関する。

従来、レーザスキャナを用いて周辺の物体の形状データを取得し、この形状データを３次元空間のボクセルに対応付けるようにし、ボクセルごとに形状データが対応付けられた回数を算出し、この回数に基づいて静止物と移動物を識別する技術が知られている。

特許第５８０２２７９号公報

発電プラントなどの機器が設置される現場では、保守点検を行う場合にカメラを用いて機器の画像の撮影をするようにしている。そのため、カメラで撮影された画像に基づいて、簡素な処理で機器の位置を特定し、機器に変化があるか否かを点検できるようにしたいという要望がある。

本発明の実施形態は、このような事情を考慮してなされたもので、カメラで撮影した画像に基づいて、対象部分の位置を特定することができる対象位置特定技術を提供することを目的とする。

本発明の実施形態に係る対象位置特定システムは、移動可能な端末に搭載され、位置の特定の対象となっている対象部分が写る画像を撮影するカメラと、前記カメラの撮影位置を計測する撮影位置計測部と、前記カメラの撮影方向を計測する撮影方向計測部と、少なくとも２箇所の互いに異なる前記撮影位置で撮影されたそれぞれの前記画像における前記対象部分が写った２次元領域を選択する２次元領域選択部と、前記撮影位置を頂点として前記撮影方向に沿って広がり、前記２次元領域で区切られる立体角が互いに重なる３次元領域を前記対象部分が存在する対象位置として特定する対象位置特定部と、前記対象部分に対応する前記対象位置が記憶された対象位置データベースと、前記対象位置特定部で特定された前記対象位置と前記対象位置データベースに記憶された前記対象位置を比較して差分が生じているか否かを判定する差分判定部と、前記差分判定部にて差分が生じていると判定された場合に、新たに特定された前記対象位置を前記対象位置データベースに追加する対象位置追加部と、前記対象位置データベースに記憶された前記対象位置に基づいて、前記対象部分の時系列変化を出力する時系列変化出力部と、を備える。

本発明の実施形態により、カメラで撮影した画像に基づいて、対象部分の位置を特定することができる対象位置特定技術が提供される。

対象位置特定システムを示すブロック図。 対象機器を撮影中の撮影装置の位置を示す平面図。 第１撮影位置から撮影された画像を示す画像図。 第２撮影位置から撮影された画像を示す画像図。 ボクセルで区切られた仮想空間を示す説明図。 強調処理が施された画像を示す画像図。 時系列変化を現わした画像を示す画像図。 形状変化を現わした画像を示す画像図。 マスク処理が施された画像を示す画像図。 撮影装置で実行される撮影処理を示すフローチャート。 画像処理装置で実行される撮影画像管理処理を示すフローチャート。 ２次元領域選択部で実行される２次元領域選択処理を示すフローチャート。 対象位置特定部で実行される対象位置特定処理を示すフローチャート。

以下、図面を参照しながら、対象位置特定システムおよび対象位置特定方法の実施形態について詳細に説明する。

図１の符号１は、本実施形態の対象位置特定システムである。この対象位置特定システム１は、撮影装置２と画像処理装置３とを備える。本実施形態では、発電プラントまたは工場などの施設に設置される機器の点検に対象位置特定システム１を用いる形態を例示する。

従来、発電プラントまたは工場などの施設では、安全な運転を行うために、定期的に点検員が巡視し、膨大な機器の保守点検を行っている。点検員は、巡視中に機器またはその配置なども合わせて目視で確認している。このような保守点検では、現場で点検員が確認した結果を手書きで記録し、事務所に戻ってきてから点検記録を作成している。そのため、人手による作業が多く、作業の省力化を図る取り組みが行われている。

省力化の主な手段として、モバイル端末を利用することがある。モバイル端末は、点検員へ点検要領書を提示する。さらに、点検員が目視確認したメータなどの数値をモバイル端末に入力することで手書き作業を除外し、点検結果をデジタル化している。また、記録として、巡視中の点検員が所持したカメラの映像をドライブレコーダーのように記録し、後日、必要に応じて映像を確認できるシステムの検討も進められている。

しかし、映像を確認する際に、映像上に機密性の高い機器が映り込んでいる可能性が高いために、確認が可能な点検員が限られ、省力化ができない。また、機密情報を含むために外部への持ち出しができないなどの映像の利用が制限されることがある。さらに、機器がどのような位置にあるか、または、撮影日の異なる過去の映像と比較してどのように移動したかを把握することが難しい。

本実施形態では、自己位置を認識したカメラで撮影された映像から機器の位置を簡易に測定可能なシステムを提供する。さらに、機器が撮影された映像のみを抽出すること、または、対象の機器を視認できないようマスク処理を施した映像を出力することなどの様々な対応が可能なシステムを提供する。

図２に示すように、本実施形態の位置の特定の対象となっている対象部分として、点検現場に配置されている対象機器４を例示する。なお、点検現場には、多数の対象機器４が配置されている。理解を助けるために、１つの対象機器４の位置の特定を行う形態を例示する。

対象機器４は、例えば、装置でも良いし、制御盤でも良いし、製品でも良いし、計器でも良いし、操作スイッチでも良いし、バルブでも良いし、配管でも良いし、センサでも良い。つまり、形状があり映像で撮影できる物であれば形状寸法は問わない。

本実施形態では、対象部分として対象機器４を例示しているが、対象部分は、建物の所定の部分、例えば、窓、扉、壁、天井、床、通路、壁の開口部、室内空間の一部の範囲であっても良い。また、巨大な１つの装置の一部が対象部分であっても良い。さらに、１つの装置の複数箇所が対象部分であっても良い。つまり、対象部分とは、建築物または物品を含めた撮影現場全体の立体的形状の所定の部分を構成している。

本実施形態では、点検用ロボット５を用いて現場で対象機器４の点検を行う態様を例示する。この点検用ロボット５は、自律的に所定のルートを巡回し、点検のための撮影を行う。なお、点検用ロボット５は、移動可能な端末としての撮影装置２と、この撮影装置２を搭載する移動装置６を備えている。

対象機器４の近傍には、対象機器４を撮影装置２で撮影した際に背景に写り込む背景物７が配置されているものとする。

点検用ロボット５は、撮影装置２で画像を撮影しながら点検現場を移動する。撮影装置２は、移動装置６により搬送される。移動装置６は、撮影装置２を移動させるための車輪および駆動機構を備える。なお、点検用ロボット５の撮影および移動は、自律的に行われる形態を例示するが、人手により遠隔操作で点検用ロボット５の撮影および移動を行っても良い。

本実施形態の撮影装置２で撮影される画像としては、いわゆる映像であって、ビデオ映像（動画像）を例示する。ビデオ映像は、静止画像を連続して撮影することで構成される。なお、撮影装置２は、ビデオ映像のみならず、所定の時間間隔ごとに静止画像を撮影しても良い。以下の説明において、「画像」とは、ビデオ映像を構成する複数の静止画像のうちのいずれか１つを示している。

本実施形態では、撮影装置２が撮影した対象機器４が写る少なくとも２つの画像に基づいて、対象機器４（対象部分）の位置（形状）の特定を行うことができる。なお、理解を助けるために、少なくとも２箇所の互いに異なる撮影位置Ｐ１，Ｐ２で撮影された画像に基づいて、対象機器４の位置を特定する形態を例示する。

例えば、撮影装置２は、第１撮影位置Ｐ１と第２撮影位置Ｐ２とで対象機器４が写る画像の撮影を行う。なお、第１撮影位置Ｐ１および第２撮影位置Ｐ２以外の他の撮影位置Ｐ３でも撮影が行われる。

第１撮影位置Ｐ１では、対象機器４が存在する第１撮影方向Ｄ１を向いた状態で撮影が行われる。第２撮影位置Ｐ２では、対象機器４が存在する第２撮影方向Ｄ２を向いた状態で撮影が行われる。

平面視において、第１撮影方向Ｄ１と第２撮影方向Ｄ２のそれぞれに沿って延びる仮想線は、対象機器４が存在する位置で交差する。なお、それぞれの撮影方向Ｄ１，Ｄ２の仮想線のなす角θは、３０°～１５０°の範囲が良い。好ましくは６０°～１２０°の範囲が良い。さらに好ましくは８０°～１００°の範囲が良い。

なお、３箇所以上の互いに異なる撮影位置Ｐ１，Ｐ２，Ｐ３で撮影された画像に基づいて、対象機器４の位置を特定しても良い。位置の特定の精度を向上させたい場合には、多くの撮影位置で撮影することが好ましい。

撮影装置２は、画像が撮影された時点の撮影位置Ｐ１，Ｐ２および撮影方向Ｄ１，Ｄ２を計測することができる。また、撮影装置２は、撮影方向Ｄ１，Ｄ２を任意に変更可能である。撮影範囲を重複させながら複数の画像の撮影を連続して行うようにする。撮影装置２で撮影された画像は、画像処理装置３に送られる。この画像処理装置３は、対象機器４の位置の特定を行うとともに、画像に所定の画像処理を施す。

第１撮影位置Ｐ１で撮影された画像（図３）と第２撮影位置Ｐ２で撮影された画像（図４）には、対象機器４が写っている。画像処理装置３は、それぞれの画像において、対象機器が写った２次元領域Ｃを選択する。

本実施形態では、対象機器４の全体が含まれるように２次元領域Ｃを矩形状の閉領域として選択する。なお、２次元領域Ｃを円形状の閉領域として選択しても良いし、対象機器４の像の形状に合せて任意の形状の閉領域として選択しても良い。

図５は、ボクセルＶで区切られた仮想空間Ｋを示している。ここで、ボクセルＶとは、体積を示す要素であって、３次元空間での正規格子単位の値を表す。なお、ボクセルＶの形状は、立方体でも良いし、直方体でも良いし、点群などでも良い。

本実施形態では、理解を助けるために、２次元平面のマス目としてボクセルＶを図示している。つまり、Ｘ軸とＹ軸のボクセルＶのみを図示し、Ｚ軸のボクセルの図示を省略している。図５の仮想空間Ｋは、図２の平面図に対応している。なお、撮影現場の所定の位置を原点として仮想空間Ｋを作成する。

第１撮影位置Ｐ１から所定の画角Ｇ１で撮影が行われる。また、第２撮影位置Ｐ２から所定の画角Ｇ２で撮影が行われる。それぞれの画角Ｇ１，Ｇ２の範囲内に２次元領域Ｃに対応する立体角Ｒ１，Ｒ２が含まれる。つまり、第１撮影位置Ｐ１を頂点として撮影方向Ｄ１に沿って広がり、２次元領域Ｃで区切られる立体角Ｒ１が規定される。さらに、第２撮影位置Ｐ２を頂点として撮影方向Ｄ２に沿って広がり、２次元領域Ｃで区切られる立体角Ｒ２が規定される。それぞれの立体角Ｒ１，Ｒ２が互いに重なる３次元領域Ｑを対象機器４が存在する対象位置として特定する。

例えば、仮想空間ＫのそれぞれのボクセルＶにおいて、１つ立体角Ｒ１，Ｒ２の範囲に含まれるものを「１」とカウントし、２つの立体角Ｒ１，Ｒ２の範囲に含まれるものを「２」とカウントする。ここで、「２」とカウントされたボクセルＶが３次元領域Ｑであり、対象機器４が存在する対象位置として特定される。位置の特定の精度を向上させたい場合には、ボクセルＶの解像度を高めること、または、画像の解像度を高めることが好ましい。

また、３つ以上の多数の撮影位置で撮影が行われた場合には、それぞれのボクセルＶのカウントの回数も多くなる。その場合には、対象位置として特定するための閾値を設ける。例えば、予め決められた所定の数を閾値としても良いし、カウントの回数の平均値を閾値としても良いし、撮影された撮影位置Ｐ１，Ｐ２の数を閾値としても良いし、対象機器４が写る画像の枚数を閾値としても良い。また、撮影の状況または対象機器４に応じて閾値を変更しても良い。このようにすれば、ボクセルＶがカウントされた回数が統計的に充分に多く、対象機器４が存在している可能性が高い３次元領域Ｑを対象位置として特定することができる。

なお、対象機器４の対象位置を特定し、３Ｄ－ＣＡＤデータなどの既存の設計情報と比較をすることで、対象機器４が移動しているか否か、対象機器４の形状が変化しているか否かなどの各種状況を把握することができる。

なお、それぞれのボクセルＶには、対象機器４を個々に識別可能な識別情報（固有番号または名称）が対応付けられても良い。このようにすれば、１つの画像に複数の対象機器４が写っていても、これらの対象機器４ごとにカウントされた回数が対応付けられるようになり、それぞれの対象機器４の対象位置を特定することができる。

図２に示すように、撮影装置２が撮影したビデオ映像を構成するそれぞれの画像は、撮影位置および撮影方向が対応付けられている。そのため、対象機器４の対象位置が特定されることで、ビデオ映像を構成するそれぞれの画像において、対象機器４が写っている部分を特定することができる。例えば、他の撮影位置Ｐ３で撮影された画像の対象機器４が写っている部分を特定することができる。

図６に示すように、他の撮影位置Ｐ３で撮影された画像の対象機器４が写っている部分を対象領域Ｔとして特定する。そして、この対象領域Ｔに所定の画像処理を施すことができる。なお、画像処理を施す部分は、第１撮影位置Ｐ１または第２撮影位置Ｐ２で撮影された画像の２次元領域Ｃであっても良い。画像処理の態様としては、例えば、対象機器４の部分を強調する表示８を行う。

図７に示すように、対象機器４の対象位置が以前に取得された位置と異なっている場合には、以前の位置を示す表示９を行っても良い。図８に示すように、対象機器４の形状が以前に取得された形状と異なっている場合には、その異なっている部分を強調する表示１０を行っても良い。

なお、画像処理により施される表示８，９，１０には、２次元領域Ｃまたは対象領域Ｔを枠で囲む表示、２次元領域Ｃまたは対象領域Ｔの色彩を変更する表示、２次元領域Ｃまたは対象領域Ｔを示す矢印または記号の表示が含まれる。また、３次元領域Ｑに対応する仮想の立体物を構築し、この立体物の像を２次元領域Ｃまたは対象領域Ｔに投影したものでも良い。

図９に示すように、対象機器４が機密情報に関するものである場合には、対象機器４が写っている部分にマスク１１を施しても良い。なお、マスク１１は、画像の一部の範囲の画素を変更することで不鮮明（不可視）にした部分を示す。また、マスク１１は、対象機器４が見えなくなるものであれば良い。本実施形態の「マスク」という用語には、塗りつぶし、モザイクまたはボカシが含まれる。また、対象機器４が写った対象領域Ｔを別の画像で上書きすることで、対象機器４を隠す態様を含む。

次に、対象位置特定システム１のシステム構成を図１に示すブロック図を参照して説明する。

撮影装置２は、カメラ１２と撮影位置計測部１３と撮影方向計測部１４と情報統合部１５とを備える。

カメラ１２は、撮影装置２の周辺の物体を可視光により撮影する。例えば、レンズ付きの画像素子を備えている。このカメラ１２は、対象機器４が写る画像を撮影する。本実施形態のカメラ１２は、ビデオ映像の撮影を行う。なお、カメラ１２は、一定の画角Ｇ１，Ｇ２および拡大率で撮影を行っても良いし、画角Ｇ１，Ｇ２および拡大率を途中で変更しても良い。

撮影位置計測部１３は、カメラ１２の撮影位置Ｐ１，Ｐ２を計測する。ここで、カメラ１２がビデオ映像の撮影を行う場合には、ビデオ映像のフレーム（画像）ごとに撮影位置Ｐ１，Ｐ２の計測を行う。

本実施形態において、撮影位置計測部１３は、撮影装置２の自位置および自姿勢を特定することができる。例えば、ＧＰＳ（Global Positioning System）などの位置測定システムを有していても良い。

また、撮影装置２の自位置および自姿勢の変位の算出に用いる位置推定技術には、ＳＬＡＭ（Simultaneous Localization and Mapping）、ＳｆＭ（Structure from Motion）などの公知の技術を用いることができる。

本実施形態の撮影装置２は、ＶＳＬＡＭ（Visual Simultaneous Localization and Mapping）を用いて、撮影装置２で撮影された画像に基づいて、その位置および姿勢の変位を算出することができる。つまり、撮影装置２は、例えば、屋内などのＧＰＳが使用できない場所でも自己位置を推定することができる。

ＶＳＬＡＭ技術では、撮影装置２のカメラ１２および３次元測定センサなどの所定のデバイスで取得した情報を用いて、周囲の物体の特徴点を抽出する。そして、カメラ１２で撮影した動画像を解析し、物体の特徴点（例えば、角などの物体の部分）をリアルタイムに追跡する。そして、撮影装置２の位置または姿勢の３次元情報を推定する。

撮影方向計測部１４は、カメラ１２の撮影方向Ｄ１，Ｄ２を計測する。ここで、カメラ１２がビデオ映像の撮影を行う場合には、ビデオ映像のフレーム（画像）ごとに撮影方向Ｄ１，Ｄ２の計測を行う。撮影方向Ｄ１，Ｄ２は、撮影装置２の筐体の水平方向および垂直方向の傾きの測定に基づいて取得される。例えば、撮影方向計測部１４は、慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサであるモーションセンサによる検出信号に基づいて、カメラ１２の撮影方向Ｄ１，Ｄ２を計測する。

特に図示はしないが、加速度センサは、撮影装置２に搭載され、この撮影装置２が移動したときに生じる加速度を検出する。また、この加速度センサにより重力加速度の検出も行える。つまり、鉛直方向の検出が可能となっている。また、角速度センサ（ジャイロセンサ）は、撮影装置２に搭載され、この撮影装置２の筐体の姿勢が変化したときに生じる角速度を検出する。この撮影装置２の筐体の姿勢によりカメラ１２の撮影方向を把握することができる。

情報統合部１５は、カメラ１２で撮影された画像に、撮影位置Ｐ１，Ｐ２、撮影方向Ｄ１，Ｄ２、画角Ｇ１，Ｇ２、拡大率などを含む情報を統合する。カメラ１２がビデオ映像の撮影を行う場合には、ビデオ映像のフレーム（画像）ごとに、撮影位置Ｐ１，Ｐ２、撮影方向Ｄ１，Ｄ２、画角Ｇ１，Ｇ２、拡大率などを含む情報をそれぞれの画像に統合する。これら統合された撮影情報は、画像処理装置３に送信される。

なお、撮影情報の送信は、リアルタイムで行っても良いし、点検用ロボット５の巡回点検終了後に行っても良い。

また、カメラ１２を個々に識別可能な識別情報、カメラ１２の機種（種類）を示し機種情報などを撮影情報に含めても良い。

画像処理装置３は、２次元領域選択部１６と対象位置特定部１７と画像処理部１８と撮影情報取得部１９と画像情報判定部２０と画像情報追加部２１と差分判定部２２と対象位置追加部２３と対象領域演算部２４と対象領域記憶部２５と対象選択受付部２６と画像抽出部２７と画像出力部２８と時系列変化出力部２９と画像出力受付部３０と情報入力部３１とメイン制御部３２とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

さらに、画像処理装置３は、画像情報データベース３３と属性情報データベース３４と対象位置データベース３５と撮影画像データベース３６とを備える。これらは、メモリまたはＨＤＤに記憶され、検索または蓄積ができるよう整理された情報の集まりである。

画像情報データベース３３には、対象機器４の画像認識に用いる画像情報が記憶されている。また、画像情報データベース３３には、画像情報に対応する撮影位置Ｐ１，Ｐ２および撮影方向Ｄ１，Ｄ２が記憶されている。属性情報データベース３４には、対象機器４に対応する属性情報が記憶されている。対象位置データベース３５は、予め計画上（設計上）の対象機器４に対応する対象位置（位置情報）が記憶されている。撮影画像データベース３６には、撮影装置２のカメラ１２で撮影された画像が記憶される。

本実施形態の画像処理装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の対象位置特定方法は、各種プログラムをコンピュータに実行させることで実現される。

２次元領域選択部１６は、対象位置の特定のために、多数の撮影位置のうちから少なくとも２箇所の互いに異なる撮影位置Ｐ１，Ｐ２で撮影された画像を抽出する。２次元領域選択部１６は、異なる撮影位置Ｐ１，Ｐ２で撮影されたそれぞれの画像（図３および図４）における対象機器４（対象部分）が写った２次元領域Ｃを選択する処理を行う。この２次元領域選択部１６は、対象判定部３７と属性付与部３８とを備える。

対象判定部３７は、画像情報データベース３３に記憶された画像情報に基づいて、この画像情報に対応する対象機器４が画像に写っているか否かを判定する処理を行う。画像情報とは、対象機器４の特徴量を示すデータなどを含んでいる。対象判定部３７は、画像情報データベース３３に記憶されている画像情報と、撮影装置２で撮影された画像に写っている対象機器４を比較し、その類似度に基づいて判定を行う。このようにすれば、画像に対象機器４以外の背景物７が写っていても、画像情報データベース３３に記憶された画像情報に基づいて、対象機器４と背景物７を識別し、画像における対象機器４が写った２次元領域Ｃを選択することができる。

例えば、画像情報データベース３３には、第１撮影位置Ｐ１および撮影方向Ｄ１，Ｄ２で撮影されたときの対象機器４の画像に対応する画像情報が予め記憶されている。そして、カメラ１２を用いて、第１撮影位置Ｐ１および撮影方向Ｄ１，Ｄ２で撮影されたときに、これに対応する画像情報を画像情報データベース３３から抽出する。そして、この抽出した画像情報に基づいて、画像に対象機器４が写っているか否かを判定する。なお、対象判定部３７は、機械学習により画像を認識する処理が行えるものであっても良い。また、対象判定部３７の判定には、テンプレートマッチまたは特徴点抽出による画像の解析方法が用いられても良い。

属性付与部３８は、対象判定部３７にて対象機器４が画像に写っていると判定された場合に、２次元領域Ｃを選択するとともに対応する属性情報を２次元領域Ｃに付与する処理を行う。この属性付与部３８は、画像に写っている対象機器４に対応する属性情報を属性情報データベース３４から抽出し、２次元領域Ｃに付与する。このようにすれば、対象部分が写っている画像を属性情報ごとに管理することができる。つまり、対象機器４が写った画像と属性情報とを対応付けることができる。なお、属性情報には、対象位置を示す位置情報が含まれていても良い。また、属性情報には、対象機器４の固有の番号または名称が含まれる。

例えば、対象機器４が機密情報である属性を有している場合には、この対象機器４が写った画像だけを選別し、この画像を外部に対して非公開とすることができる。また、対象機器４が点検の対象である属性を有している場合には、ビデオ映像の再生時に、点検が必要な対象機器４が写っている箇所だけを選別して再生することができる。そのため、不要なビデオ映像の出力が抑制される。

対象位置特定部１７は、撮影位置Ｐ１，Ｐ２を頂点として撮影方向Ｄ１，Ｄ２に沿って広がり、２次元領域Ｃで区切られる立体角Ｒ１，Ｒ２（図５）が互いに重なる３次元領域Ｑを対象機器４が存在する対象位置として特定する処理を行う。この対象位置特定部１７は、空間演算部３９と範囲演算部４０と回数記録部４１と対象位置計測部４２とを備える。

空間演算部３９は、対象機器４が存在する３次元空間の仮想空間Ｋ（図５）をボクセルＶに区切って演算する処理を行う。

範囲演算部４０は、仮想空間Ｋ（図５）のそれぞれのボクセルＶが立体角Ｒ１，Ｒ２の範囲に含まれるか否かを演算する処理を行う。そして、空間演算部３９は、立体角Ｒ１，Ｒ２の範囲に含まれるボクセルＶを特定する。

回数記録部４１は、ボクセルＶがそれぞれの立体角Ｒ１，Ｒ２に含まれるとカウントされた回数を、それぞれのボクセルＶに対応付けて記録する処理を行う。

対象位置計測部４２は、仮想空間Ｋにおける立体角Ｒ１，Ｒ２に含まれるボクセルＶをカウントし、このカウントされた回数が閾値以上であるボクセルＶを対象位置として計測する処理を行う。このようにすれば、３次元空間のボクセルＶのカウントという簡素な処理で対象機器４の位置を特定することができる。

なお、時系列順に対象位置を計測することにより、対象機器４（対象部分）が移動しているか否かを特定することができる。さらに、対象機器４の形状が変化することで、対象機器４が存在する対象位置も変化するため、時系列順に対象位置を計測することより、対象機器４の形状が変化しているか否かを特定することができる。

画像処理部１８は、カメラ１２で撮影された画像において、２次元領域Ｃと対象領域Ｔの少なくとも一方に画像処理を施す。このようにすれば、対象機器４が写った箇所に所定の画像処理を施して出力することができる。この画像処理部１８は、強調処理部４３とマスク処理部４４とを備える。

強調処理部４３は、カメラ１２で撮影された画像において、２次元領域Ｃと対象領域Ｔの少なくとも一方を強調する処理を行う（図６）。このようにすれば、対象機器４を強調した表示８を行い、ユーザが対象機器４を視認し易くなる。

マスク処理部４４は、カメラ１２で撮影された画像において、２次元領域Ｃと対象領域Ｔの少なくとも一方をマスキングする処理を行う（図９）。このようにすれば、マスク１１により対象機器４を見えないようにして画像を表示することができる。

撮影情報取得部１９は、撮影装置２から送信された撮影情報を取得する。撮影情報には、画像に対応付けて、撮影位置Ｐ１，Ｐ２、撮影方向Ｄ１，Ｄ２、画角Ｇ１，Ｇ２、拡大率などの各種情報が含まれている。なお、撮影装置２のカメラ１２で撮影された画像は、撮影画像データベース３６に記憶される。

撮影情報取得部１９は、通信回線を介して撮影装置２と通信を行う。この撮影情報取得部１９は、所定のネットワーク機器、例えば、無線ＬＡＮアクセスポイントまたはアンテナに搭載されても良い。なお、撮影情報取得部１９は、ＷＡＮ（Wide Area Network）、インターネット回線、または携帯通信網を介して撮影装置２と通信を行っても良い。その他にも、ＬＡＮケーブルまたはＵＳＢケーブルにより撮影装置２と接続して通信を行っても良い。

画像情報判定部２０は、対象判定部３７にて対象機器４が画像に写っていると判定された場合に、この画像から新たに生成可能な画像情報が既に画像情報データベース３３に記憶されているか否かを判定する。

画像情報追加部２１は、画像情報判定部２０にて画像情報データベース３３に記憶されていないと判定された新たに生成された画像情報を画像情報データベース３３に追加する。このようにすれば、画像の撮影に伴って新たな画像情報を画像情報データベース３３に蓄積することができる。

例えば、他の撮影位置Ｐ３で撮影されたときの対象機器４の画像に対応する画像情報が画像情報データベース３３に記憶されていないとする。このときに、他の撮影位置Ｐ３で撮影を行うと、新たに他の撮影位置Ｐ３から対象機器４を写したときの画像を取得することができる。この対象機器４の画像に基づいて、新たに対象機器４に関する特徴量を示すデータ（画像情報）を生成することができる。このようにして、画像情報を画像情報データベース３３に蓄積することができる。

なお、画像情報追加部２１は、新たな画像情報を画像情報データベース３３に追加するときに、この画像が撮影されたときの撮影位置および撮影方向を画像情報に対応付けて追加する。このようにすれば、画像の撮影に伴ってこの画像が撮影されたときの各種情報を画像情報データベース３３に蓄積することができる。

差分判定部２２は、対象位置特定部１７で特定された対象位置と対象位置データベース３５に記憶された対象位置を比較して差分が生じているか否かを判定する。対象位置データベース３５には、点検が行われる度に取得される対象機器４の位置を、点検が行われた時刻（日付）に対応付けて順次記憶されても良い。このようにすれば、対象機器４の位置に変化があるか否かを判定することができる。なお、対象機器４が固定的に設けられる物体の場合には、対象機器４の形状が変化しているか否かを判定することができる。

なお、差分判定部２２の判定には、画像情報データベース３３に記憶された画像情報に基づいて、この画像情報に対応する対象機器４が画像に写っているか否かの判定が含まれても良い。また、差分判定部２２の判定には、テンプレートマッチまたは特徴点抽出による画像の解析方法が用いられても良い。

対象位置追加部２３は、差分判定部２２にて差分が生じていると判定された場合に、新たに特定された対象位置を対象位置データベース３５に追加する処理を行う。なお、新たに対象位置データベース３５に対象位置を追加する場合には、追加される対象位置を特定するために用いた画像の撮影時刻を対応付けて記憶する。対象位置を特定するために用いた画像が所定の期間に亘って撮影されたものである場合には、その撮影時刻は、最初の時刻でも良いし、最後の時刻でも良いし、その中間の時刻でも良い。なお、時刻ではなく、日付のみを対応付けても良い。

対象領域演算部２４は、２次元領域Ｃが選択された画像とは異なる他の撮影位置Ｐ３で撮影された画像における対象機器４が写った対象領域Ｔを演算する。なお、他の撮影位置Ｐ３で撮影された画像とは、２次元領域Ｃの選択に用いていない画像のことである。

対象領域記憶部２５は、それぞれの画像におけるいずれの範囲に対象領域Ｔが存在するかを記憶する。この対象領域記憶部２５では、対象領域演算部２４で演算された対象領域Ｔを抽出して記憶しても良い。このようにすれば、対象機器４に関する画像を蓄積してゆくことができる。

対象選択受付部２６は、複数の対象機器４のうち任意の対象機器４の選択を受け付ける。例えば、ユーザが複数の対象機器４のうち任意の対象機器４に関する画像を見たい場合には、ユーザがその対象機器４を選択する。

画像抽出部２７は、対象選択受付部２６で選択された対象機器４が写った画像を撮影画像データベース３６から抽出する処理を行う。このようにすれば、ユーザが見たい対象機器４が写った画像のみを抽出することができる。それぞれの画像には、属性付与部３８により属性情報が付与されている。画像抽出部２７は、ユーザが見たい対象機器４属性情報に基づいて、画像を抽出する。

画像出力部２８は、カメラ１２で撮影された画像、ユーザが選択した対象機器４の画像、または、画像に画像処理が施された画像を出力する制御を行う。また、画像出力部２８は、画像を出力する際に、この画像を撮影したときの撮影位置と撮影方向を出力しても良いし、撮影装置２と対象機器４の位置関係を出力しても良い。

本実施形態の画像処理装置３には、ディスプレイなどの表示装置が含まれる。つまり、画像出力部２８は、ディスプレイに表示される画像の制御を行う。なお、ディスプレイはコンピュータ本体と別体であっても良いし、一体であっても良い。さらに、ネットワークを介して接続される他のコンピュータが備えるディスプレイに表示される画像の制御を画像出力部２８が行っても良い。

なお、本実施形態では、表示装置としてディスプレイを例示するが、その他の態様であっても良い。例えば、紙媒体に情報を印字するプリンタをディスプレイの替りとして用いても良い。つまり、画像出力部２８が制御する対象として、プリンタが含まれても良い。

時系列変化出力部２９は、対象位置データベース３５に記憶された対象位置に基づいて、対象機器４の時系列変化を示す画像を出力する。このようにすれば、画像処理装置３のユーザが対象機器４の時系列変化を把握することができる。例えば、以前の位置を示す表示９（図７）を行っても良いし、対象機器４の形状が以前と異なっている部分を強調する表示１０（図８）を行っても良い。

画像出力受付部３０は、画像出力部２８に出力する画像の設定を受け付ける。例えば、カメラ１２で撮影された画像の出力の設定を受け付ける。また、対象機器４の時系列変化を示す画像の出力の設定を受け付ける。

情報入力部３１は、画像処理装置３を使用するユーザの操作に応じて所定の情報が入力される。この情報入力部３１には、マウスまたはキーボードなどの入力装置が含まれる。つまり、これら入力装置の操作に応じて所定の情報が情報入力部３１に入力される。

メイン制御部３２は、画像処理装置３を統括的に制御する。このメイン制御部３２は、主に画像処理装置３の内部の情報処理、外部の機器との通信処理を制御する。なお、メイン制御部３２は、撮影装置２（点検用ロボット５）の制御を行っても良い。

次に、撮影装置２が実行する撮影処理について図１０のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

この処理は、一定時間毎に繰り返される処理である。この処理が繰り返されることで、撮影装置２で撮影処理が実行される。なお、撮影装置２が他のメイン処理を実行中に、この処理を割り込ませて実行しても良い。

図１０に示すように、まず、ステップＳ１１において、カメラ１２は、対象機器４が写る画像を撮影する。

次のステップＳ１２において、撮影位置計測部１３は、カメラ１２の撮影位置Ｐ１，Ｐ２を計測する。

次のステップＳ１３において、撮影方向計測部１４は、カメラ１２の撮影方向Ｄ１，Ｄ２を計測する。

次のステップＳ１４において、情報統合部１５は、カメラ１２で撮影された画像に、撮影位置Ｐ１，Ｐ２、撮影方向Ｄ１，Ｄ２、画角Ｇ１，Ｇ２、拡大率などを含む情報を統合して撮影情報を生成する。

次のステップＳ１５において、情報統合部１５は、撮影情報を画像処理装置３に送信する。そして、撮影処理を終了する。

次に、画像処理装置３が実行する撮影画像管理処理について図１１のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

図１１に示すように、まず、ステップＳ２１において、撮影情報取得部１９は、撮影装置２から送信された撮影情報を取得する。なお、撮影情報取得部１９は、撮影装置２のカメラ１２で撮影された画像を撮影画像データベース３６に記憶する処理を行う。

次のステップＳ２２において、２次元領域選択部１６は、２次元領域選択処理（図１２）を実行する。ここで、２次元領域選択部１６は、少なくとも２箇所の互いに異なる撮影位置Ｐ１，Ｐ２で撮影されたそれぞれの画像（図３および図４）における対象機器４が写った２次元領域Ｃを選択する処理を行う。

次のステップＳ２３において、対象位置特定部１７は、対象位置特定処理（図１３）を実行する。ここで、対象位置特定部１７は、撮影位置Ｐ１，Ｐ２を頂点として撮影方向Ｄ１，Ｄ２に沿って広がり、２次元領域Ｃで区切られる立体角Ｒ１，Ｒ２（図５）が互いに重なる３次元領域Ｑを対象機器４が存在する対象位置として特定する処理を行う。

次のステップＳ２４において、差分判定部２２は、対象位置特定部１７で特定された対象位置と対象位置データベース３５に記憶された対象位置を比較して差分が生じているか否かを判定する。ここで、差分が生じていない場合（ステップＳ２４にてＮＯの場合）は、ステップＳ２６に進む。一方、差分が生じている場合（ステップＳ２４にてＹＥＳの場合）は、ステップＳ２５に進む。

次のステップＳ２５において、対象位置追加部２３は、新たに特定された対象位置を対象位置データベース３５に追加する処理を行う。

次のステップＳ２６において、メイン制御部３２は、画像出力受付部３０がカメラ１２で撮影された画像（撮影画像）の出力の設定を受け付けているか否かの判定を行う。つまり、ユーザによる情報入力部３１の操作により撮影画像の出力の設定がなされたか否かの判定を行う。ここで、撮影画像の出力の設定を受け付けている場合（ステップＳ２６にてＹＥＳの場合）は、ステップＳ２９に進む。一方、撮影画像の出力の設定を受け付けてない場合（ステップＳ２６にてＮＯの場合）は、ステップＳ２７に進む。なお、撮影画像の出力の設定には、画像処理の態様の設定を含む。例えば、対象機器４の部分を強調する表示８（図６）を行う設定、対象機器４が写っている部分にマスク１１（図９）を施す設定を含む。

次のステップＳ２７において、メイン制御部３２は、対象選択受付部２６が複数の対象機器４のうち任意の対象機器４の選択を受け付けているか否かの判定を行う。つまり、ユーザによる情報入力部３１の操作により対象機器４の選択の設定がされたか否かの判定を行う。ここで、対象機器４の選択を受け付けていない場合（ステップＳ２７にてＮＯの場合）は、撮影画像管理処理を終了する。一方、対象機器４の選択を受け付けている場合（ステップＳ２７にてＹＥＳの場合）は、ステップＳ２８に進む。

次のステップＳ２８において、画像抽出部２７は、対象選択受付部２６で選択された対象機器４が写った画像を撮影画像データベース３６から抽出する処理を行う。

次のステップＳ２９において、対象領域演算部２４は、２次元領域Ｃが選択された画像とは異なる他の撮影位置Ｐ３で撮影された画像における対象機器４が写った対象領域Ｔを演算する。ここで、対象領域記憶部２５は、それぞれの画像におけるいずれの範囲に対象領域Ｔが存在するかを記憶する。

次のステップＳ３０において、メイン制御部３２は、画像出力受付部３０が対象機器４の時系列変化を示す画像（時系列変化画像）の出力の設定を受け付けているか否かの判定を行う。つまり、ユーザによる情報入力部３１の操作により時系列変化画像の出力の設定がなされたか否かの判定を行う。ここで、時系列変化画像の出力の設定を受け付けている場合（ステップＳ３０にてＹＥＳの場合）は、ステップＳ３３に進む。一方、時系列変化画像の出力の設定を受け付けてない場合（ステップＳ３０にてＮＯの場合）は、ステップＳ３１に進む。

次のステップＳ３１において、画像処理部１８は、画像処理を実行する。ここで、画像処理部１８は、カメラ１２で撮影された画像において、２次元領域Ｃと対象領域Ｔの少なくとも一方に画像処理を施す。ここで、強調処理部４３は、対象機器４の部分を強調する表示８（図６）の処理を行う。また、マスク処理部４４は、対象機器４が写っている部分にマスク１１（図９）を施す処理を行う。

次のステップＳ３２において、画像出力部２８は、画像に画像処理が施された画像をディスプレイなどに出力する制御を行う。そして、撮影画像管理処理を終了する。

また、ステップＳ３３において、時系列変化出力部２９は、対象機器４の時系列変化を示す画像をディスプレイなどに出力する制御を行う。そして、撮影画像管理処理を終了する。

次に、２次元領域選択部１６が実行する２次元領域選択処理について図１２のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

図１２に示すように、まず、ステップＳ４１において、２次元領域選択部１６は、対象位置の特定のために、多数の撮影位置のうちから少なくとも２箇所の互いに異なる撮影位置Ｐ１，Ｐ２で撮影された画像を抽出する。

次のステップＳ４２において、対象判定部３７は、画像情報データベース３３に記憶された画像情報に基づいて、この画像情報に対応する対象機器４が画像に写っているか否かを判定する。なお、異なる撮影位置Ｐ１，Ｐ２で撮影されたそれぞれの画像（図３および図４）ごとに判定を行う。

ここで、対象機器４が画像に写っていない場合（ステップＳ４２にてＮＯの場合）は、ステップＳ４１に戻り、対象機器４が画像に写っている可能がある他の画像を抽出する。一方、対象機器４が画像に写っている場合（ステップＳ４２にてＹＥＳの場合）は、ステップＳ４３に進む。

次のステップＳ４３において、２次元領域選択部１６は、異なる撮影位置Ｐ１，Ｐ２で撮影されたそれぞれの画像（図３および図４）における対象機器４（対象部分）が写った２次元領域Ｃを選択する処理を行う。

次のステップＳ４４において、属性付与部３８は、画像に写っている対象機器４に対応する属性情報を属性情報データベース３４から抽出し、この抽出した属性情報を２次元領域Ｃに付与する処理を行う。

次のステップＳ４５において、画像情報判定部２０は、対象機器４が写っている画像から新たに生成可能な画像情報が既に画像情報データベース３３に記憶されているか否かを判定する。つまり、新たに生成可能な画像情報が既に画像情報データベース３３に記憶されているものと同一または類似の範囲にあるか否かを判定する。

ここで、新たに生成可能な画像情報が既に画像情報データベース３３に記憶されている場合（ステップＳ４５にてＹＥＳの場合）は、２次元領域選択処理を終了する。一方、新たに生成可能な画像情報が未だ画像情報データベース３３に記憶されていない場合（ステップＳ４５にてＮＯの場合）は、ステップＳ４６に進む。

次のステップＳ４６において、画像情報追加部２１は、新たに生成された画像情報を画像情報データベース３３に追加する。そして、２次元領域選択処理を終了する。

次に、対象位置特定部１７が実行する対象位置特定処理について図１３のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

図１３に示すように、まず、ステップＳ５１において、空間演算部３９は、対象機器４が存在する３次元空間の仮想空間Ｋ（図５）をボクセルＶに区切って演算する処理を行う。

次のステップＳ５２において、範囲演算部４０は、仮想空間Ｋ（図５）のそれぞれのボクセルＶが立体角Ｒ１，Ｒ２の範囲に含まれるか否かを演算する処理を行う。そして、空間演算部３９は、立体角Ｒ１，Ｒ２の範囲に含まれるボクセルＶを特定する。

次のステップＳ５３において、回数記録部４１は、ボクセルＶがそれぞれの立体角Ｒ１，Ｒ２に含まれるとカウントされた回数を、それぞれのボクセルＶに対応付けて記録する処理を行う。

次のステップＳ５４において、対象位置計測部４２は、仮想空間Ｋにおける立体角Ｒ１，Ｒ２に含まれるボクセルＶをカウントし、このカウントされた回数が閾値以上であるボクセルＶを対象位置として計測する処理を行う。ここで、カウントされた回数が閾値以上であるボクセルＶが３次元領域Ｑとして特定される。

次のステップＳ５５において、対象位置特定部１７は、３次元領域Ｑを対象機器４が存在する対象位置として特定する処理を行う。そして、対象位置特定処理を終了する。

なお、本実施形態において、基準値（閾値）を用いた任意の値（ボクセルのカウント回数）の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

なお、画像処理装置３には、機械学習を行う人工知能（ＡＩ：Artificial Intelligence）を備えるコンピュータが含まれても良い。また、２次元領域選択部１６には、深層学習に基づいて、複数のパターンから特定のパターンを抽出する深層学習部が含まれても良い。

本実施形態のコンピュータを用いた解析には、人工知能の学習に基づく解析技術を用いることができる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

本実施形態のシステムは、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータでシステムを構成しても良いし、ニューラルネットワークを備える複数台のコンピュータでシステムを構成しても良い。

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、任意のユニット数、任意の学習率、任意の学習回数、任意の活性化関数を設定することができる。

なお、学習対象となる各種情報項目に報酬関数が設定されるとともに、報酬関数に基づいて価値が最も高い情報項目が抽出される深層強化学習をニューラルネットワークに用いても良い。

例えば、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に特徴マップにおいて着目する領域に含まれる画素の最大値を得ることで、特徴量の位置の多少のずれも吸収することができる。

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

なお、本実施形態では、撮影装置２と画像処理装置３がそれぞれ別個の装置としているが、その他の態様であっても良い。例えば、撮影装置２と画像処理装置３を一体の装置としても良い。

なお、本実施形態では、画像処理装置３がデータベース３３～３６を備えているが、その他の態様であっても良い。例えば、画像処理装置３とネットワークを介して接続された他のコンピュータがデータベース３３～３６を備えても良い。

なお、本実施形態では、画像情報データベース３３と属性情報データベース３４と対象位置データベース３５がそれぞれ別個に設けられているが、その他の態様であっても良い。例えば、画像情報データベース３３と属性情報データベース３４と対象位置データベース３５を一体のデータベースとしても良い。

なお、本実施形態では、点検用ロボット５にカメラ１２を搭載して対象機器４の撮影を行っているが、その他の態様であっても良い。例えば、点検員が所持するモバイル端末にカメラ１２を搭載して、人手により対象機器４の撮影を行っても良い。

なお、本実施形態では、２次元領域選択部１６が画像における２次元領域Ｃを自動的に選択する処理を行う形態を例示しているが、２次元領域Ｃを人手により選択しても良い。例えば、画像を視認するユーザが、対象機器４が写っている領域を所定の操作により選択するものであっても良い。２次元領域選択部１６は、ユーザの入力操作を受け付ける領域選択受付部を備えても良い。

以上説明した実施形態によれば、撮影位置を頂点として撮影方向に沿って広がり、２次元領域で区切られる立体角が互いに重なる３次元領域を対象部分が存在する対象位置として特定する対象位置特定部を備えることにより、カメラで撮影した画像に基づいて、対象部分の位置を特定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…対象位置特定システム、２…撮影装置、３…画像処理装置、４…対象機器、５…点検用ロボット、６…移動装置、７…背景物、８…対象機器の部分を強調する表示、９…以前の位置を示す表示、１０…異なっている部分を強調する表示、１１…マスク、１２…カメラ、１３…撮影位置計測部、１４…撮影方向計測部、１５…情報統合部、１６…２次元領域選択部、１７…対象位置特定部、１８…画像処理部、１９…撮影情報取得部、２０…画像情報判定部、２１…画像情報追加部、２２…差分判定部、２３…対象位置追加部、２４…対象領域演算部、２５…対象領域記憶部、２６…対象選択受付部、２７…画像抽出部、２８…画像出力部、２９…時系列変化出力部、３０…画像出力受付部、３１…情報入力部、３２…メイン制御部、３３…画像情報データベース、３４…属性情報データベース、３５…対象位置データベース、３６…撮影画像データベース、３７…対象判定部、３８…属性付与部、３９…空間演算部、４０…範囲演算部、４１…回数記録部、４２…対象位置計測部、４３…強調処理部、４４…マスク処理部、Ｃ…２次元領域、Ｄ１，Ｄ２…撮影方向、Ｇ１，Ｇ２…画角、Ｋ…仮想空間、Ｐ１，Ｐ２，Ｐ３…撮影位置、Ｑ…３次元領域、Ｒ１，Ｒ２…立体角、Ｔ…対象領域、Ｖ…ボクセル。

Claims (11)

1. 移動可能な端末に搭載され、位置の特定の対象となっている対象部分が写る画像を撮影するカメラと、
   前記カメラの撮影位置を計測する撮影位置計測部と、
   前記カメラの撮影方向を計測する撮影方向計測部と、
   少なくとも２箇所の互いに異なる前記撮影位置で撮影されたそれぞれの前記画像における前記対象部分が写った２次元領域を選択する２次元領域選択部と、
   前記撮影位置を頂点として前記撮影方向に沿って広がり、前記２次元領域で区切られる立体角が互いに重なる３次元領域を前記対象部分が存在する対象位置として特定する対象位置特定部と、
   前記対象部分に対応する前記対象位置が記憶された対象位置データベースと、
   前記対象位置特定部で特定された前記対象位置と前記対象位置データベースに記憶された前記対象位置を比較して差分が生じているか否かを判定する差分判定部と、
   前記差分判定部にて差分が生じていると判定された場合に、新たに特定された前記対象位置を前記対象位置データベースに追加する対象位置追加部と、
   前記対象位置データベースに記憶された前記対象位置に基づいて、前記対象部分の時系列変化を出力する時系列変化出力部と、
   を備える、
   対象位置特定システム。
2. 前記対象位置特定部は、
   前記対象部分が存在する３次元空間をボクセルに区切って演算する空間演算部と、
   前記立体角に含まれる前記ボクセルをカウントし、このカウントされた回数が閾値以上である前記ボクセルを前記対象位置として計測する対象位置計測部と、
   を備える、
   請求項１に記載の対象位置特定システム。
3. 前記対象部分の画像認識に用いる画像情報が記憶された画像情報データベースを備え、
   前記２次元領域選択部は、前記画像情報データベースに記憶された前記画像情報に基づいて、この画像情報に対応する前記対象部分が前記画像に写っているか否かを判定する対象判定部を備える、
   請求項１または請求項２に記載の対象位置特定システム。
4. 前記対象判定部にて前記対象部分が前記画像に写っていると判定された場合に、この画像から新たに生成可能な前記画像情報が前記画像情報データベースに記憶されているか否かを判定する画像情報判定部と、
   前記画像情報判定部にて前記画像情報データベースに記憶されていないと判定された新たな前記画像情報を前記画像情報データベースに追加する画像情報追加部と、
   を備える、
   請求項３に記載の対象位置特定システム。
5. 前記画像情報データベースは、前記画像情報に対応する前記撮影位置および前記撮影方向を記憶しており、
   前記画像情報追加部は、新たな前記画像情報を前記画像情報データベースに追加するときに、この画像が撮影されたときの前記撮影位置および前記撮影方向を前記画像情報に対応付けて追加する、
   請求項４に記載の対象位置特定システム。
6. 前記対象部分に対応する属性情報が記憶された属性情報データベースを備え、
   前記２次元領域選択部は、前記対象判定部にて前記対象部分が前記画像に写っていると判定された場合に、前記２次元領域を選択するとともに対応する前記属性情報を前記２次元領域に付与する属性付与部を備える、
   請求項３から請求項５のいずれか１項に記載の対象位置特定システム。
7. 前記２次元領域が選択された前記画像とは異なる前記撮影位置で撮影された前記画像における前記対象部分が写った対象領域を演算する対象領域演算部と、
   前記２次元領域と前記対象領域の少なくとも一方に画像処理を施す画像処理部と、
   前記画像処理が施された前記画像を出力する画像出力部と、
   を備える、
   請求項１から請求項６のいずれか１項に記載の対象位置特定システム。
8. 前記画像処理部は、前記２次元領域と前記対象領域の少なくとも一方を強調する処理を行う強調処理部を備える、
   請求項７に記載の対象位置特定システム。
9. 前記画像処理部は、前記２次元領域と前記対象領域の少なくとも一方をマスキングする処理を行うマスク処理部を備える、
   請求項７または請求項８に記載の対象位置特定システム。
10. 前記カメラで撮影された前記画像が記憶される撮影画像データベースと、
    複数の前記対象部分のうち任意の前記対象部分の選択を受け付ける対象選択受付部と、
    前記対象選択受付部で選択された前記対象部分が写った前記画像を前記撮影画像データベースから抽出する画像抽出部と、
    を備える、
    請求項１から請求項９のいずれか１項に記載の対象位置特定システム。
11. 移動可能な端末に搭載されたカメラが、位置の特定の対象となっている対象部分が写る画像を撮影するステップと、
    撮影位置計測部が、前記カメラの撮影位置を計測するステップと、
    撮影方向計測部が、前記カメラの撮影方向を計測するステップと、
    ２次元領域選択部が、少なくとも２箇所の互いに異なる前記撮影位置で撮影されたそれぞれの前記画像における前記対象部分が写った２次元領域を選択するステップと、
    対象位置特定部が、前記撮影位置を頂点として前記撮影方向に沿って広がり、前記２次元領域で区切られる立体角が互いに重なる３次元領域を前記対象部分が存在する対象位置として特定するステップと、
    対象位置データベースが、前記対象部分に対応する前記対象位置を記憶するステップと、
    差分判定部が、前記対象位置特定部で特定された前記対象位置と前記対象位置データベースに記憶された前記対象位置を比較して差分が生じているか否かを判定するステップと、
    対象位置追加部が、前記差分判定部にて差分が生じていると判定された場合に、新たに特定された前記対象位置を前記対象位置データベースに追加するステップと、
    時系列変化出力部が、前記対象位置データベースに記憶された前記対象位置に基づいて、前記対象部分の時系列変化を出力するステップと、
    を含む、
    対象位置特定方法。

Images