JP7491035B2 - 情報処理装置、情報処理システム、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理システム、情報処理方法およびプログラムに関する。

従来より、工場での部品組み立てや高精度のアライメント調整のために、動物体の三次元計測が行われている。三次元計測には、ステレオカメラを含む撮像システムを用いるものが知られている。

上述した三次元計測では、対象物をステレオカメラで撮影した画像を用いる。三次元計測において、環境や対象物が時々刻々と変動する場合、しばしば、オクルージョン(画像内において対象物が障害物に隠蔽されてしまう事象）が生じ、対象物の距離の算出が困難となる可能性がある。

オクルージョンに関連して、例えば、特開２００３‐１５０９４０号公報（特許文献１）に開示される従来技術が知られている。特許文献１は、１つの基準カメラからの基準画像と少なくとも1つの比較カメラからの比較画像とを使用して対応点探索を行うステレオ画像処理装置が開示される。特許文献１は、基準画像内のターゲット画素と、比較画像内の対応の画素値の相違度に基づいて、オクルージョンが発生しているカメラペアを検出して、そのカメラペアを対応点探索から除外する構成が開示されている。しかしながら、特許文献１は、画像における対象物の隠蔽の発生を効率的に判定するという点で開示するものではない。

本開示は、上記点に鑑みてなされたものであり、本開示は、画像における対象物の隠蔽の発生を効率的に判定することが可能な情報処理装置を提供することを目的とする。

本開示では、上記課題を解決するために、下記特徴を有する情報処理装置を提供する。情報処理装置は、異なる視点から対象物が撮影された複数の画像を取得する取得手段を含む。情報処理装置は、また、画像の部分領域に基づいて、画像中における対象物の重心位置を計算する計算手段を含む。情報処理装置は、重心位置の時間変化に関連した特性値に基づいて、画像各々において対象物の隠蔽が発生したかを判定する判定手段とを含む。

上記構成により、画像における対象物の隠蔽の発生を効率的に判定することが可能となる。

１または複数の実施形態による三次元計測システムの全体構成図。 三次元計測システムにて発生し得るオクルージョン（対象物の障害物による隠蔽）を説明する図。 １または複数の実施形態による三次元計測装置として用いることができる、パーソナルコンピュータのハードウェア構成図。 第１の実施形態による三次元計測装置の機能ブロック図。 第１の実施形態による三次元計測装置が実行する、オクルージョンに対処しながら三次元計測を行う三次元計測処理を示すフローチャート。 特定の実施形態による三次元計測装置における関心領域の初期設定およびステレオペアからの画像の除外を説明する図。 特定の実施形態による三次元計測装置における対象物のトラッキング手法を説明する概略図。 第１の実施形態による三次元計測装置が生成する、重心位置および重心速度の時系列を模式的に表すグラフ。 対象物および障害物の輝度が同程度である場合のトラッキングの様子を示す図。 障害物の輝度が対象物の輝度よりも低い場合のトラッキングの様子を示す図。 対象物が静止し、障害物が移動している場合に実測した重心位置および重心速度を示すグラフ。 第２の実施形態による三次元計測装置が実行する、オクルージョンに対処しながら三次元計測を行う三次元計測処理を示すフローチャート。 第２の実施形態による三次元計測装置が生成する、重心位置および重心速度の時系列を模式的に表すグラフ。 対象物が静止し、障害物が移動している場合に実測した重心加速度を示すグラフ。 三次元計測システムにて２つ以上の高速ビジョンカメラで発生し得るオクルージョン（対象物の障害物による隠蔽）を説明する図。 第３の実施形態による三次元計測装置が実行する、オクルージョンに対処しながら三次元計測を行う三次元計測処理を示すフローチャート。 第４の実施形態による三次元計測装置が実行する、オクルージョンに対処しながら三次元計測を行う三次元計測処理の一部を示すフローチャート。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理システムおよび情報処理装置の一例として、それぞれ、複数の高速ビジョンカメラ１６０と、対象物の三次元計測を行う三次元計測装置１１０とを含み構成される三次元計測システム１００、および、該三次元計測装置１１０を参照しながら説明する。

図１は、１または複数の実施形態による三次元計測システム１００の全体構成を示す。図１に示すように、三次元計測システム１００は、三次元計測装置１１０と、カメラ同期装置１５０と、それぞれ三次元計測装置１１０およびカメラ同期装置１５０に接続される複数の高速ビジョンカメラ１６０ａ～１６０ｚとを含み構成される。

複数の高速ビジョンカメラ１６０ａ～１６０ｚは、それぞれ異なる位置にそれぞれ所定の方向を向くように配置されており、異なる視点から、対象物１０２を被写体として撮影するよう構成されている。したがって、複数の高速ビジョンカメラ１６０ａ～１６０ｚによって撮像された複数の画像間では、視差が生じる。好ましくは、複数の高速ビジョンカメラ１６０ａ～１６０ｚは、それぞれ、対象物１０２が移動可能な範囲がカバーされるように視野が設定される。各高速ビジョンカメラ１６０は、カメラ同期装置１５０から入力されるタイミング信号に基づいて、視野内の対象物１０２を撮影し、撮影した画像を三次元計測装置１１０に入力する。

高速ビジョンカメラ１６０は、３０ｆｐｓ～６０ｆｐｓ程度の通常のカメラよりも高速に画像を撮像する撮像装置であり、典型的には、１０００ｆｐｓ程度のフレームレートを実現するものが好ましく用いられる。この高速なフレームレートに起因して、高速ビジョンカメラ１６０は、高速に動く動物体でも対応が可能である。各高速ビジョンカメラ１６０は、外部のカメラ同期装置１５０によってシャッターが同期されているため、同時刻に同フレームの撮影が可能とされる。

カメラ同期装置１５０は、各高速ビジョンカメラ１６０のシャッター同期を外部から制御する。外部のカメラ同期装置１５０を複数の高速ビジョンカメラ１６０に繋げ、プログラムにてマスタ‐スレーブ設定をすることにより、外部トリガの入出力によりシャッター同期が可能となる。

三次元計測装置１１０は、対象物１０２を複数の高速ビジョンカメラ１６０ａ～１６０ｚで撮影して得られた複数の画像に基づいて、対象物１０２の奥行を含めた三次元計測を行う。本実施形態による三次元計測装置１１０は、詳細を後述するように、三次元計測を行う際に、対象物１０２の障害物による隠蔽（以下、オクルージョンという場合がある。）が発生していないかを判定するとともに、オクルージョンが生じた高速ビジョンカメラ１６０の画像を、三次元計測で使用する画像群から除外するよう構成されている。

図２は、三次元計測システムにて発生し得るオクルージョンを説明する。図２（Ａ）は、ある時点での第１～第３の高速ビジョンカメラ１６０ａ～１６０ｃにより対象物１０２を撮影している状態を示す。図２（Ｂ）は、図２（Ａ）の時点より後の、対象物１０２が移動した状態で第１～第３の高速ビジョンカメラ１６０ａ～１６０ｃにより対象物１０２を撮影している状態を示す。

図２（Ａ）の時点では、３つの高速ビジョンカメラ１６０ａ～１６０ｃ各々で撮影された画像１７０ａ～１７０ｃにおいては、図２中に描かれているように、障害物１０４が、第２の高速ビジョンカメラ１６０ｂの視野内に入っているものの、オクルージョンは、いずれの高速ビジョンカメラ１６０においても生じていない。

しかしながら、対象物１０２が移動し、図２（Ｂ）の状態となった時点では、第２の高速ビジョンカメラ１６０ｂの画像１７０ｂにおいて、対象物１７２ｂが障害物１７４ｂに隠れてしまっており、オクルージョンが発生している。このとき、対象物１０２が障害物１０４に隠されたことに起因して、第２の高速ビジョンカメラ１６０ｂで撮影される画像１７０ｂを三次元計測で使用する画像群から除外すること（ステレオ法で、ステレオペアとして用いないこと）が好ましい。図１に示す三次元計測装置１１０は、なんらかの原因に起因した対象物１０２のオクルージョンの発生を効率的に判定し、オクルージョンが生じた高速ビジョンカメラ１６０の画像を除外するよう構成される。

なお、以下に説明する実施形態では、障害物１０４は、高速ビジョンカメラ１６０の視野に対して十分に小さく、複数の高速ビジョンカメラ１６０のうちの少なくとも２台は、オクルージョンが生じないよう配置されているものとして説明を続ける。したがって、図２の３つの高速ビジョンカメラ１６０ａ～１６０ｃを用いる例では、オクルージョンが生じる高速ビジョンカメラ１６０は１台のみである。

また、対象物１０２は、説明の便宜上、再帰性反射材で作成されたマーカである場合を例として説明するが、マーカが別の対象物（例えば、工場での部品組み立てにおける部品など）に貼り付けられていて、その貼り付けられたマーカを検知することとしてもよい。また、認識される対象物１０２は、再帰性反射材で作成されたマーカに限定されるものでもなく、撮像された画像から認識可能なものであれば、いかなる形態の物体を対象物とすることができる。

以下、三次元計測システム１００の機能の詳細について説明する前に、三次元計測装置１１０のハードウェア構成について説明する。

図３は、本実施形態による三次元計測装置１１０として用いることができるパーソナルコンピュータのハードウェア構成を示す。ここでは、パーソナルコンピュータ５００のハードウェア構成について説明する。

図３に示されているように、パーソナルコンピュータ５００は、汎用なコンピュータによって構築されており、図３に示されているように、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disk Drive）５０４、ＨＤＤコントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、パーソナルコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷメディア５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

以下、図４を参照しながら、三次元計測装置１１０の機能構成について説明する。図４は、第１の実施形態による三次元計測装置１１０の機能ブロックを示す。

図４に示すように、三次元計測装置１１０は、複数台の高速ビジョンカメラ（図４ではＨＳＶと示されている。）１６０から、視点の異なる画像の入力を受ける画像入力部２１０と、入力された画像中で所定の対象物１０２を探索する対象探索部２２０と、画像中で対象物１０２を追跡するトラッキング部２３０と、画像中の障害物１０４による対象物１０２のオクルージョンの発生を判定する隠蔽判定部２４０と、画像入力部２１０に入力された、視点の異なる複数の画像に基づいて、三次元計測を行う三次元計測部２５０と、三次元計測のためのキャリブレーションを行う校正部２６０とを含み構成される。

画像入力部２１０は、複数台の高速ビジョンカメラ１６０各々で撮像された画像の入力を受けて、取得した複数の高速ビジョンカメラ１６０の画像を、順次、対象探索部２２０に渡す。高速ビジョンカメラ１６０各々で撮像される画像の複数のフレームから構成される時系列データが、高速ビジョンカメラ１６０の台数分だけ入力されることになる。

対象探索部２２０は、各画像中から、所定の対象物１０２を探索する。対象物１０２が、高輝度領域として背景や他の物体から識別可能な場合は、例えば二値化して、二値化画像中で対象物の輪郭を探索することができる。

トラッキング部２３０は、画像中の対象物１０２の位置の追跡を行う。トラッキング部２３０は、より詳細には、重心計算部２３２と、領域設定部２３４とを含み構成される。

重心計算部２３２は、関心領域（ＲＯＩ；Region Of Interest）と参照される所定の部分領域の画像情報に基づいて、各フレーム内において対象物１０２の重心位置を計算する。関心領域は、対象探索部２２０で求められた対象物１０２の輪郭に応じた大きさの矩形領域として設定され得る。画像処理を関心領域内のみで行うことにより、計算量を大幅に削減することが可能となる。重心位置は、高速ビジョンカメラ１６０の撮影画像の座標系において計測される。各高速ビジョンカメラ１６０について計算された重心位置は、時系列データとして、隠蔽判定部２４０に入力される。重心計算部２３２は、本実施形態において、対象物の重心位置を計算する計算手段を構成する。

領域設定部２３４は、重心計算部２３２で求められた重心位置を中心として関心領域（ＲＯＩ）を設定する。関心領域は、過去の時点（典型的には前回）のフレームで計算された重心位置に基づいて、現在のフレームに対し設定されるものであり、随時更新される。領域設定部２３４は、本実施形態において、対象物の重心位置に基づいて、画像中に関心領域を設定する設定手段を構成する。

隠蔽判定部２４０は、複数台の高速ビジョンカメラ１６０により撮影される複数の画像各々におけるオクルージョンの発生の有無を判定し、オクルージョンが発生した画像を除外する。説明する第１の実施形態による隠蔽判定部２４０は、より詳細には、重心速度算出部２４２と、ステレオペア選択部２４４とを含み構成される。

重心速度算出部２４２は、各高速ビジョンカメラ１６０について、与えられる重心位置の時系列データに基づいて、重心速度を算出する。重心速度も時系列データとして計算される。隠蔽判定部２４０は、重心速度算出部２４２により算出された重心速度の時間変化に基づいて、オクルージョンの発生の有無を判定する。隠蔽判定部２４０は、オクルージョンが発生したかを判定する判定手段を構成する。なお、説明する第１の実施形態においては、対象物の重心速度の変化が、本実施形態において、重心位置の時間変化に関連した特性値として、オクルージョン判定に用いられる。オクルージョンの発生の有無の判定は、重心速度の変化に対する閾値条件に基づくことができる。

ステレオペア選択部２４４は、複数台の高速ビジョンカメラ１６０で得られる複数の画像のうち、オクルージョンが発生したと判定された画像を除外して、残りの画像群から、三次元計測で用いるステレオペアを選択する。ステレオペア選択部２４４は、本実施形態において、三次元計測で使用する少なくとも２つの画像を選択する選択手段を構成する。

三次元計測部２５０は、三角測量の原理を使用して三次元計測を行う。三次元計測は、説明する実施形態では、ステレオ法を用いることができる。ステレオ法の三次元計測は、高速ビジョンカメラ１６０で得られる２つの画像から得られる特徴点の視差に基づいて行われる。なお、ステレオ法であれば、特徴点のある一部のみ比較すればよく、計算方法も単純なため、処理時間を短縮することができる。三次元計測部２５０は、選択された、略同時点で異なる視点で撮影された少なくとも２つの画像に基づいて三次元計測を行う、計測手段を構成する。

カメラ同期装置１５０は、各高速ビジョンカメラ１６０のシャッター同期を外部から行う。

校正部２６０は、各高速ビジョンカメラ１６０の校正処理を行う。校正部２６０は、より詳細には、補正変換用行列計算部２６２と、基礎行列計算部２６４とを含み構成される。補正変換用行列計算部２６２は、補正変換用行列を計算する。基礎行列計算部２６４は、基礎行列を計算する。補正変換用行列と基礎行列が求められると、三次元計測に必要な射影行列Ｐｎが求められる。

ステレオ法の三次元計測では、下記式（１）および（２）の連立方程式を解くことにより、画素位置での距離が導出される。なお、下記式中、ｍ^～は、画像座標（ｕ，ｖ）（重心位置）の同次形であり、Ｐは射影行列であり、Ｘ^～ _ｗはワールド座標（Ｘ_ｗ、Ｙ_ｗ、Ｚ_ｗ）の同次形である。また、下記式（１）および（２）中でチルダ（～）のアクセントが付された変数には、本文中においては、ｍ^～やＸ^～ _ｗのように表記する。また、ステレオ法による三次元計測およびそのための校正処理は、既存の技術を用いて適宜実施できるため、これ以上の詳細な説明には立ち入らない。

以下、図５を参照しながら、第１の実施形態による三次元計測装置１１０が実行する、オクルージョンに対処しながら三次元計測を行う処理について説明する。図５は、三次元計測処理を示すフローチャートである。

図５に示す三次元計測処理は、動物体を対象物とし、障害物が対象物に重なってオクルージョンが生じると、対象物の重心位置が急変することを利用して、オクルージョン判定を行う処理である。図５では、ｎ台の高速ビジョンカメラ１６０を用いるものとして説明する。

図５に示す処理は、例えば、オペレータからの三次元計測開始の指示に応答して、ステップＳ１００から開始する。

ステップＳ１０１では、三次元計測装置１１０は、校正部２６０により、各高速ビジョンカメラ１６０の初期設定を行い、補正変換用行列および基礎行列を求め、三次元計測に必要な射影行列Ｐｎを求める。

ステップＳ１０２では、三次元計測装置１１０は、複数の高速ビジョンカメラ１６０から、最初のフレームの複数の画像を取得する。ステップＳ１０３では、三次元計測装置１１０は、各高速ビジョンカメラ１６０について、画像全体から、対象物の輪郭を検索し、面積を導出する。特定の実施形態においては、各画像において、画像全体が二値化され、対象物の輪郭が探索される。ここでは、ノイズを含めて面積が複数個導出されるため、最大面積のものを、その画像に写っている対象物とする。ステップＳ１０４では、三次元計測装置１１０は、ステップＳ１０３で求めた最大面積を各高速ビジョンカメラ１６０の画像間で比較し、著しく異なるものを除外する。ステップＳ１０５では、三次元計測装置１１０は、残った画像でそれぞれ、面積に応じて決定したサイズの関心領域（ＲＯＩ）を設定する。

なお、説明する実施形態では、各高速ビジョンカメラ１６０の画像間で最大面積が著しく異なるものを除外するものとして説明した。しかしながら、これに限定されるものではない。他の実施形態では、対象物が球体である場合などは、全画像に関心領域を設定し、その関心領域が略正方形に該当しないものを除外することとしてもよい。

図６は、特定の実施形態による三次元計測装置における関心領域の初期設定およびステレオペアからの画像の除外を説明する。図６においては、各画像において、対象物１７２の輪郭領域が求められ、最大面積が著しく異なる中央の画像が除外されている。また、各輪郭領域を包含するように、関心領域（ＲＯＩ）１７６が設定されている。

再び、図５を参照すると、ステップＳ１０６では、三次元計測装置１１０は、残ったＮ－１台の高速ビジョンカメラ１６０の画像からステレオペアを選択する。ステップＳ１０５でのステレオペアの選択は、選んだ２台の高速ビジョンカメラ１６０が設置された角度に基づいて行うことができる。各高速ビジョンカメラ１６０の配置および視野の向きは、適宜、事前に設定されており、三次元計測装置１１０に与えられているものとする。ステレオペアのカメラの間隔（基線長）を広げれば広げるほど、視差が大きく取れるため、奥行き（Ｚ方向）の測定精度を高めることができるが、反対に画像面内（ＸＹ方向）の分解能が落ちることになる。そのため、９０度前後の角度に近いペアを選択することが好ましい。

ステップＳ１０７では、三次元計測装置１１０は、ステレオペアの画像各々において、関心領域の画像情報に基づいて、対象物の重心位置（ｘ，ｙ）を計算するとともに、重心位置のＸ方向およびＹ方向の変化量から重心速度ｖを計算する。

ステップＳ１０８では、三次元計測装置１１０は、ステップＳ１０７で求めた重心速度ｖに基づいて、重心速度の変化ｖ１を導出し、所定の閾値α１と比較する。重心速度の変化ｖ１が、所定の閾値α１以上であれば、重心位置（ｘ、ｙ）が急変したことになるので、オクルージョンが発生したと判定する。

ステップＳ１０８で、重心速度の変化ｖ１が所定の閾値α１以上であると判定された場合（ＮＯ）は、ステップＳ１１２へ処理が分岐される。ステップＳ１１２では、三次元計測装置１１０は、オクルージョンありと判定した画像を除外し、残りのＮ－１台の高速ビジョンカメラ１６０から画像を取得した後、ステップＳ１０６へ処理を戻す。なお、図５に示す実施形態では、オクルージョンありと判定された場合、次のフレームへ処理を進める。

一方、ステップＳ１０８で、重心速度の変化ｖ１と閾値α1を比較した結果、重心速度の変化ｖ１が閾値α1より小さいと判定された場合（ＹＥＳ）は、オクルージョンの発生はないと判定し、ステップＳ１０９へと処理が進められる。なお、閾値α1の詳細については後述する。

ステップＳ１０９では、三次元計測装置１１０は、ステレオペアの画像各々から求められた重心位置（ｘ，ｙ）とステップＳ１０１で求めた射影行列Ｐｎとを用いて、三角測量の原理で三次元計測を実行する。ステップＳ１１０では、三次元計測装置１１０は、計算された対象物の重心位置を中心として関心領域を再設定する。関心領域の再設定に関しては、図７を参照しながら詳細を後述する。

ステップＳ１１１では、三次元計測装置１１０は、ステレオペアとして選んだ２台の高速ビジョンカメラ１６０から次のフレームの複数の画像を取得し、ステップＳ１０７へ処理をループさせる。

上記フローでは、実質的に、ステップＳ１０３～ステップＳ１０６での一連の処理と、ステップＳ１０８、ステップＳ１１２およびステップＳ１０６の一連の処理とで２種類のオクルージョン判定手法が行われる。前者の判定は、あくまでも初期設定のためのステップであり、後者が、主要なオクルージョン判定手法である。オクルージョンが生じていない間は、各画像の重心位置のみを用いて三次元計測およびトラッキングのループを回すことができるので、計算が単純であり高速性を実現することが可能である。

以下、図７を参照しながら、対象物をトラッキングしながら関心領域を再設定する手法について説明する。図７は、特定の実施形態による三次元計測装置における対象物のトラッキング手法を説明する概略を示す。

動物体のトラッキング手法は、Ｓｅｌｆ－Ｗｉｎｄｏｗｉｎｇ（I. Ishii, et al., ”Self Windowing for High Speed Vision”, IEEE International Conference on Robotics & Automation, 1999）と呼ばれる手法を好適に用いることができ、以下、本手法でトラッキングを行うものとして説明する。

図７において、３１０，３２０，３３０，３４０，３５０は、ある高速ビジョンカメラ１６０について時系列で撮影したフレームの画像を表している。フレーム３１０，３２０，３３０，３４０，３５０の間は、１フレームではなく、所定のフレーム数だけ間隔があけられている。

まず第１フレーム３１０では、対象物３１２が黒色の物体として写されている。第２フレーム３２０では、対象物３２２のモーメントが導出され、重心位置（ｘ、ｙ）（図中、白色の点３２４で表される。）が計算される。第３フレーム３３０では、その重心位置（ｘ、ｙ）３３４を中心とした関心領域３３６が設定される。関心領域３３６のサイズは、対象物３３２の大きさに合わせたサイズとなる。第４フレーム３４０では、時間が経過し対象物３４２の位置が移動している様子を表している。第３フレーム３３０で求めた関心領域３４６内で重心位置（ｘ、ｙ）３４４が計算される。第５フレーム３５０では、第４フレームで求めた重心位置（ｘ，ｙ）３５４を中心とした新たな関心領域３５６が設定されている。

従来は、画像全体を計算してトラッキングを行うことが主流であった。しかしながら、本実施形態においては、好ましくは高速ビジョンカメラ１６０が用いられることから、画像情報の連続性が高く、予測処理などを行わずに関心領域を絞ってトラッキングすることが可能となる。したがって、画像全体の情報を読み取る必要がなく、処理時間を大幅に削減可能であり、画像のサイズにも依存しない方法ということができる。また、前フレームの関心領域の画像と入力画像のみから関心領域の設定を更新することができるので、簡単化された対応付けを同時に実現できる。

図８は、第１の実施形態による三次元計測装置が生成する、重心位置および重心速度の時系列を模式的に表すグラフである。図８は、動物体の速度変化が比較的小さい場合を例示する。図８（Ａ）は、時間ｔに対する重心位置（ｘ，ｙ）（画面内での絶対位置）の経時変化を示し、図８（Ｂ）は、重心位置の変化を合成して求めた重心速度ｖの経時変化を示している。

図８に示すように、動物体の速度変化が比較的小さい場合は、オクルージョンが生じるタイミングまで、つまり関心領域内に障害物が入り込む時間ｔ１まで、重心位置（ｘ，ｙ）は、ほぼ線形となっている。一方、オクルージョンが生じると、重心位置（ｘ，ｙ）に大きな変動が生じる。重心速度ｖについてみると、時間ｔ１までは、微小な速度変化ｖ１が生じている。しかしながら、オクルージョンが生じたタイミング以降は、オクルージョン発生前の微小な速度変化ｖ１より大きな変化が生じている。したがって、所定の期間にわたり、平均的な重心速度ｖをモニタしながら、重心の平均速度を基準として、閾値±α１（＞通常時に観測される重心速度の微小な変化幅より大きな所定の上限および下限)を設けることにより、好適にオクルージョンの発生を捕捉することが可能となる。なお、閾値α1の具体的な値は、判定感度を優先するか、誤判定防止を優先するかに応じて選定すればよい。

図９は、対象物と障害物の輝度が同程度である場合のトラッキングの様子を示す。図９に示すように対象物と障害物とが同程度の輝度である場合、オクルージョンが発生したとき、３９２および３９８並びに４０２および４０８で示すように対象物と障害物とが重なった一体の物体として画像処理では認識される。したがって、オクルージョンが発生する前は、対象物の重心が検出され、対象物の移動速度に応じて重心が所定の速度で移動していたのに対し、オクルージョンが発生した直後には、対象物と障害物とが重なった一体の物体の重心位置に移動し、重心位置が大きく変動することになる。

図１０は、障害物の輝度が、対象物の輝度よりも低い場合のトラッキングの様子を示す。図１０に示すように対象物が障害物の輝度と大きく異なる場合、オクルージョンが発生したとき、４４２および４５２に示すように、対象物が障害物に単純に対象物が隠れ、対象物の面積が減ったように認識される。したがって、オクルージョンが発生する前は、対象物の全体の重心が検出され、対象物の移動速度に応じて重心が所定の速度で移動していたのに対し、オクルージョンが発生した直後には、障害物に隠された部分を除く対象物の部分の重心位置となり、重心位置が大きく変動することになる。

また、図９および図１０に示すように、関心領域３９６，４４６内に障害物３９８，４４８が入ってきた瞬間から関心領域の位置が動くことになる。

図１１は、対象物が静止し、障害物が移動している場合の実測した重心位置（ｘ，ｙ）および重心速度ｖを示すグラフである。なお、図１１は、直径約１０ｍｍの再起性反射材をフレームレートが１０００ｆｐｓの高速ビジョンカメラを用いて撮影した実験に基づくものである。図１１（Ａ）は、重心位置（ｘ、ｙ）と重心速度ｖの時系列を表したものであり、図１１（Ｂ）は、重心速度ｖの縦軸の倍率を拡大した図である。なお、対象物が静止し、障害物が移動している状態で撮影を行ったものである。

図１１を参照すると明らかなように、オクルージョン発生時間まで、重心位置（ｘ、ｙ）および重心速度ｖの変化（速度変化ｖ１として示してある）は、微小であり、一方で、オクルージョン発生後から大きな変動が生じていることがわかる。このことから、重心速度ｖの変化を特性値として、重心速度ｖの変化に対し所定の閾値条件を設けることによって、好適にオクルージョンを検知することが可能であることが理解される。

上述した第１の実施形態では、対象物の重心速度の変化が、重心位置の時間変化に関連した特性値として、オクルージョン判定に用いられていた。しかしながら、オクルージョン判定に用いることができる特性値としては、対象物の重心速度の変化に限定されるものではない。以下、図４および図１２～図１４を参照しながら、第２の実施形態による、オクルージョンに対処しながら三次元計測を行う三次元計測処理を説明する。第２の実施形態は、対象物の重心加速度の変化をオクルージョン判定に用いる特性値として用いるものである。なお、以下、相違点を中心に説明し、特に説明がない限り、第１の実施形態と同様の構成を備えるものとする。

第２の実施形態において、図４に示す重心速度算出部２４２は、重心速度ｖを算出するとともに、各高速ビジョンカメラ１６０について、算出した重心速度の時系列データに基づいて、重心加速度ａを算出する。重心加速度ａも時系列データとして計算される。隠蔽判定部２４０は、重心速度算出部２４２により算出された重心加速度の時間変化ａ２に基づいて、オクルージョンの発生の有無を判定する。なお、説明する第２の実施形態においては、対象物の重心加速度の変化ａ２が、本実施形態において、重心位置の時間変化に関連した特性値として、オクルージョン判定に用いられる。オクルージョンの発生の有無の判定は、重心加速度の変化ａ２に対する閾値条件に基づくことができる。

以下、図１２を参照しながら、第２の実施形態による三次元計測装置１１０が実行する、オクルージョンに対処しながら三次元計測を行う処理について説明する。図１２は、第２の実施形態による三次元計測処理を示すフローチャートである。

図１２に示す三次元計測処理は、重心速度の変化が比較的に大きい動物体を対象物として、障害物が対象物に重なってオクルージョンが生じると、対象物の重心位置が急変することを利用して、オクルージョン判定を行う処理である。図１２では、ｎ台の高速ビジョンカメラ１６０を用いるものとして説明する。

ステップＳ２００～ステップＳ２０６の処理、および、ステップＳ２０９～ステップＳ２１２の処理は、図５に示したステップＳ１００～ステップＳ１０６の処理およびステップＳ１０９～ステップＳ１１２の処理と同様であるため、以下、相違点を説明する。

ステップＳ２０７では、三次元計測装置１１０は、ステレオペアの画像各々において、関心領域の画像情報に基づいて、対象物の重心位置（ｘ，ｙ）および重心速度ｖを計算するとともに、さらに重心加速度ａを計算する。

ステップＳ２０８では、三次元計測装置１１０は、ステップＳ２０７で求めた重心加速度ａに基づいて、重心加速度の変化ａ２を導出し、所定の閾値α２と比較する。重心加速度の変化ａ２が、所定の閾値α２以上であれば重心位置（ｘ、ｙ）が急変したことになり、オクルージョンが発生したと判定する。ステップＳ２０８で、重心加速度の変化ａ２が所定の閾値α２以上であると判定された場合（ＮＯ）は、ステップＳ２１２へ処理を分岐させる。ステップＳ２０８で、重心加速度の変化ａ２と閾値α２を比較した結果、重心加速度の変化ａ２が閾値α２より小さいと判定された場合（ＹＥＳ）は、オクルージョンの発生はないと判定し、ステップＳ２０９へと処理が進められる。

図１３は、第２の実施形態による三次元計測装置が生成する、重心速度および重心加速度の時系列を模式的に表すグラフである。図１３は、動物体の速度変化が比較的大きい場合を例示する。図１３（Ａ）は、時間ｔに対する重心速度ｖの経時変化を示し、図１３（Ｂ）は、重心加速度ａの経時変化を示している。また、灰色線は、オクルージョンが生じていない時を示し、黒線は、オクルージョンが生じたときを例示している。

動物体の速度変化が大きい場合、オクルージョンが生じたとき、つまり、関心領域内に障害物が入り込むと、図１３（Ａ）のように、重心速度に変動が生じる。時間ｔ２直前のときは、速度変化ｖ３が小さいので、速度変化ｖ３からもオクルージョン判定が可能であるが、時間ｔ１直前のように速度変化ｖ２が大きい場合にオクルージョンが生じると、速度変化ｖ２だけでは閾値を設けるのが難しくなる。重心加速度ａは、図１３（Ｂ）に示すようにオクルージョンが生じていない時間ｔ１まで、微小な加速度変化ａ２が生じている。しかしながら、オクルージョンが生じると重心加速度の変化ａ２より大きな変動が生じる。

したがって、所定の期間にわたり、平均的な重心加速度ａを監視しながら、重心の平均加速度を基準として、閾値±α２（通常時に観測される重心加速度の微小な変化幅ａ２より大きな所定の上限および下限)を設けることにより、好適にオクルージョンの発生を捕捉することが可能となる。なお、閾値α２の具体的な値は、判定感度を優先するか、誤判定防止を優先するかに応じて選定すればよい。

図１４は、対象物が静止し、障害物が移動している場合の実測した重心加速度ａを示すグラフである。なお、対象物が静止し、障害物が移動している状態で撮影を行ったものであり、実験条件も、図１１の場合と同様である。

図１４を参照すると明らかなように、オクルージョン発生時間まで、重心加速度ａの変化（加速度変化ａ２として示してある）は、微小であり、一方で、オクルージョン発生後から大きな変動が生じていることがわかる。このことから、対象物が非等速に動くことを考慮して、重心加速度ａの変化を特性値として、重心加速度ａの変化に対し所定の閾値条件を設けることによって、好適にオクルージョンを検知することが可能であることが理解される。なお、障害物の輝度が低い場合でも関心領域の重心位置、重心速度および重心加速度は同様の変動を見せるため、同様の方法で判定することが可能である。

上述した第１の実施形態および第２の実施形態では、オクルージョンが生じていない間は、各画像の重心位置のみを用いて三次元計測およびトラッキングのループを回すことができるので、計算が単純であり高速性を実現することが可能であった。一方で、オクルージョンの生じる高速ビジョンカメラ１６０が１台であることを想定していた。以下、図１５および図１６を参照しながら、第３の実施形態によるオクルージョンに対処しながら三次元計測を行う三次元計測処理を説明する。第３の実施形態は、オクルージョンの生じる高速ビジョンカメラ１６０が複数台発生する可能性に対処可能なものである。

なお、以下、相違点を中心に説明し、特に説明がない限り、第２の実施形態と同様の構成を備えるものとする。また、第３の実施形態は、第２の実施形態を基本とするものとして説明するが、同様の変更を第１の実施形態に適用してもよいことは言うまでもない。

図１５は、三次元計測システムにて２つ以上の高速ビジョンカメラで発生し得るオクルージョン（対象物の障害物による隠蔽）を説明する。第１実施形態および第２実施形態では、オクルージョンの生じるカメラが１台であることを想定しているが、第３の実施形態では、オクルージョンの生じるカメラが複数台発生する可能性にも対処する。

例えば、図１５（Ａ）に示すように、第２の高速ビジョンカメラ１６０ｂにオクルージョンが発生し、かつ、他の高速ビジョンカメラ１６０ａ，１６０ｃ，１６０ｄにはオクルージョンが生じていない状態で対象物が移動したとする。そして、図１５（Ｂ）に示すように、対象物１０２が移動した結果、第３の高速ビジョンカメラ１６０ｃにも障害物が写り込んでで、オクルージョンありと判定されるにも関わらず、第２の高速ビジョンカメラ１６０ｂでも未だオクルージョンが発生したままの場合がある。このような場合、オクルージョン有りの状態からオクルージョン無しの状態への判定は行われないため、対象物１０２に対する関心領域の再設定が必要となる。ここでは、新たにオクルージョンありと判定された第３の高速ビジョンカメラ１６０ｃを除いた残りの高速ビジョンカメラ１６０ａ，１６０ｂ，１６０ｄで、対象物の輪郭を再度検索して新たに関心領域を再設定する。

そして、その関心領域を各高速ビジョンカメラ１６０で比較し、明らかにサイズが異なるものをオクルージョンがあると判定しステレオペアから除外する。これより、オクルージョンが生じた高速ビジョンカメラ１６０を除いた新たなステレオペアが選択可能となる。なお、この画像全体の画素を探索する処理は重心位置計測より計測時間がかかるため、常時のループからは外すことで、高速性を実現することができる。

以下、図１６を参照しながら、第３の実施形態による三次元計測装置１１０が実行する、オクルージョンに対処しながら三次元計測を行う処理について説明する。図１６は、第３の実施形態による三次元計測処理を示すフローチャートである。

ステップＳ３００～ステップＳ３１２の処理の内容自体は、図１２に示したステップＳ２００～ステップＳ２１２の処理と同様である。一方で、オクルージョンが生じた際にループさせる位置が異なる。第３の実施形態では、ステップＳ３０８で、重心加速度の変化ａ２が所定の閾値α２以上であると判定された場合（ＮＯ）は、ステップＳ３１２へ処理が分岐される。ステップＳ３１２では、三次元計測装置１１０は、オクルージョンありと判定した画像を除外し、残りのＮ－１台の高速ビジョンカメラ１６０から画像を取得した後、ステップＳ３０６ではなく、ステップＳ３０３へ処理を戻す。

このように、オクルージョンが発生したことを検知した場合に、オクルージョンありと判定された画像を除外した残りの画像にて対象物を再探索する。これにより、図１５に示すような、複数の高速ビジョンカメラ１６０でオクルージョンが発生し得る場合でも、適切なステレオペアを選択することができる。また、オクルージョンが発生しない限り、ステップＳ３０７～Ｓ３１１のループを回ることになるため、関心領域の画像処理のみで完結するため、高速性も実現できる。

上述した第１～第３の実施形態では、関心領域は、当初設定されたサイズで固定されていた。一方で、対象物１０２は、高速ビジョンカメラ１６０に対し、近づいたり遠ざかったりする可能性がある。以下、図１７を参照しながら、第４の実施形態によるオクルージョンに対処しながら三次元計測を行う三次元計測処理を説明する。第４の実施形態は、関心領域のサイズを適切な大きさに調整するものである。

なお、以下、相違点を中心に説明し、特に説明がない限り、第３の実施形態と同様の構成を備えるものとする。また、第４の実施形態は、第３の実施形態を基本とするものとして説明するが、同様の変更を第１または第２の実施形態に適用してもよいことは言うまでもない。

図１７は、第４の実施形態による三次元計測処理を示すフローチャートである。ステップＳ４００～ステップ４１０の処理、および、ステップＳＳ４１２～ステップＳ４１３の処理は、図１６に示したステップＳ３００～ステップＳ４１２の処理と同様である。図１７に示すフローチャートでは、あらたに、ステップＳ４１１のステップが追加されている。

ステップＳ４１１では、三次元計測装置１１０は、三次元計測をした結果として得られる、対象物の距離の変化に応じて関心領域の大きさを変更する。距離が縮まっている場合、すなわち対象物が高速ビジョンカメラ１６０に近づいている場合は、関心領域の大きさを前回より大きくし、距離が遠のいている場合、すなわち対象物が高速ビジョンカメラ１６０から遠ざかっている場合は、関心領域の大きさを前回より小さくするように設定する。これにより、距離方向にも対象物のトラッキングが可能となり、三次元に動く対象物であっても、関心領域のサイズを最低限に小さくすることができる。このため、オクルージョン判定をより精度良く行うことが可能となる。サイズ変更の度合いは、距離の変化に応じて定めればよい。

以上説明した実施形態によれば、画像における対象物の隠蔽の発生を効率的に判定することが可能な情報処理装置、情報処理システム、情報処理方法およびプログラムを提供することが可能となる。

特に、上述した実施形態による三次元計測によれば、オクルージョンが発生した場合でも、高速かつ精度の良い三次元計測を実現することができる。そして、そのオクルージョンの判定は、対象物の重心位置の時間変化に基づくため、全画像情報の比較を行ったり、全画像情報を用いる場合と比較して、計算リソースや処理時間を削減することが可能である。好ましい実施形態では、関心領域内での画像処理のみで多くの処理が完結するので、計算リソースおよび処理時間の観点から、より一層有利である。特に、オクルージョン判定にカメラ間の対象範囲の画素値全ての比較演算が必要な技術と比較して有利である。

なお、説明する実施形態では、情報処理システムの一例として、複数の高速ビジョンカメラ１６０、三次元計測装置１１０およびカメラ同期装置１５０を含む三次元計測システム１００をもって説明してきた。しかしながら、情報処理システムは、上記の構成に限定されるものではなく、コンポーネントの追加や削除が行われてもよい。例えば、三次元計測装置１１０およびカメラ同期装置１５０の機能を兼ねそろえる装置を設け、三次元計測装置１１０およびカメラ同期装置１５０を省略してもよい。他の実施形態では、複数の高速ビジョンカメラ１６０、三次元計測装置１１０およびカメラ同期装置１５０に加えて、対象物１０２を物理的に操作するロボットアームなどのロボティック装置、ロボット装置を制御する制御コントローラを含み構成されてもよい。その際に、三次元計測装置１１０および制御コントローラの機能を兼ねそろえる装置を設けてもよい。

なお、説明する実施形態では、対象物が移動し、障害物が静止しているものとして説明するが、対象物が静止し、障害物が移動している場合や、対象物および障害物が共に移動する場合などに対しても適用可能であることは言うまでもない。また、説明する実施形態では、ｎ台の高速ビジョンカメラ１６０が固定されており、対象物が移動しているものとして説明するが、ｎ台の高速ビジョンカメラ１６０と対象物との相対的な位置関係が変動する限り、いかなる構成に対しても適用可能である。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、三次元計測装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

以上、本発明の実施形態および実施例について説明してきたが、本発明の実施形態および実施例は上述した実施形態および実施例に限定されるものではなく、他の実施形態、他の実施例、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…三次元計測システム、１０２…対象物、１０４…障害物、１１０…三次元計測装置、１５０…カメラ同期装置、１６０…高速ビジョンカメラ、１７０…画像、１７２…対象物、１７４…障害物、２１０…画像入力部、２２０…対象探索部、２３０…トラッキング部、２３２…重心計算部、２３４…領域設定部、２４０…隠蔽判定部、２４２ …重心速度算出部、２４４…ステレオペア選択部、２５０…三次元計測部、２６０…校正部、２６２…補正変換用行列計算部、２６４…基礎行列計算部、５００…パーソナルコンピュータ、５０１…ＣＰＵ、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…ＨＤＤ、５０５…ＨＤＤコントローラ、５０６…ディスプレイ、５０８…外部機器接続Ｉ／Ｆ、５０９…ネットワークＩ／Ｆ、５１１…キーボード、５１２…ポインティング・デバイス、５１４…ＤＶＤ－ＲＷドライブ、５１３…ＤＶＤ－ＲＷメディア、５１６…メディアＩ／Ｆ、５１５…記録メディア

特開２００３‐１５０９４０号公報

Claims (10)

1. 異なる視点から対象物が撮影された複数の画像を取得する取得手段と、
   前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算する計算手段と、
   前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と、
   前記重心位置に基づいて、前記画像中に前記関心領域を再設定する設定手段と
   を含む、情報処理装置。
2. 前記異なる視点の前記複数の画像は、それぞれ、複数のフレームで構成される時系列で与えられており、前記関心領域は、過去の時点のフレームで計算された重心位置に基づいて、現在のフレームに対し設定される、請求項１に記載の情報処理装置。
3. 前記隠蔽が発生した画像を除外して、前記複数の画像のうちから三次元計測で使用する少なくとも２つの画像を選択する選択手段
   をさらに含む、請求項２に記載の情報処理装置。
4. 前記選択手段により選択された、異なる視点での少なくとも２つの画像に基づいて、三次元計測を行う計測手段
   をさらに含み、前記設定手段は、前記三次元計測により得られる前記対象物の距離に基づいて、前記関心領域の大きさを変化させることを特徴とする、請求項３に記載の情報処理装置。
5. 異なる視点から対象物が撮影された複数の画像を取得する取得手段と、
   前記画像の部分領域に基づいて、前記画像中における対象物の重心位置を計算する計算手段と、
   前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と
   を含み、前記重心位置の時間変化に関連した特性値は、重心速度の変化であり、前記判定手段による判定は、前記重心速度の変化に対する閾値条件に基づく、情報処理装置。
6. 異なる視点から対象物が撮影された複数の画像を取得する取得手段と、
   前記画像の部分領域に基づいて、前記画像中における対象物の重心位置を計算する計算手段と、
   前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と
   を含み、前記重心位置の時間変化に関連した特性値は、重心加速度の変化であり、前記判定手段による判定は、前記重心加速度の変化に対する閾値条件に基づく、情報処理装置。
7. それぞれ異なる位置に配置された複数の撮像装置と、
   前記複数の撮像装置で撮影された複数の画像を取得する取得手段と、
   前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算する計算手段と、
   前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段と、
   前記重心位置に基づいて、前記画像中に前記関心領域を再設定する設定手段と
   を含む、情報処理システム。
8. 前記撮像装置は、それぞれ、同期装置からの信号に基づいてタイミング同期して撮影を行う高速ビジョンカメラである、請求項７に記載の情報処理システム。
9. 情報処理方法であって、コンピュータが、
   異なる視点から対象物が撮影された複数の画像を取得するステップと、
   前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算するステップと、
   前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定するステップと、
   前記重心位置に基づいて、前記画像中に前記関心領域を再設定するステップと
   を実行する、情報処理方法。
10. コンピュータを、
    異なる視点から対象物が撮影された複数の画像を取得する取得手段、
    前記画像に設定される関心領域に基づいて、前記画像における前記関心領域中の対象物として認識される領域の重心位置を計算する計算手段、
    前記重心位置の時間変化に関連した特性値に基づいて、前記画像各々において対象物の隠蔽が発生したかを判定する判定手段、および
    前記重心位置に基づいて、前記画像中に前記関心領域を再設定する設定手段
    として機能させるためのプログラム。