JP5843751B2 - 情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、撮影した画像に基づき出力画像を生成する情報処理装置、情報処理システム、および当該装置やシステムにおける情報処理方法に関する。

近年、パーソナルコンピュータやゲーム機などにカメラを搭載し、ユーザの姿を撮像して様々な形で利用することが一般的に行われるようになってきた。例えばテレビ電話、ビデオチャットなど、ユーザの画像を、ネットワークを介してそのまま相手に伝送するものや、画像解析によってユーザの動きを認識してゲームや情報処理の入力情報とするものなどが実用化されている（例えば特許文献１参照）。

ＷＯ ２００７／０５０８８５ Ａ２公報

撮影画像を利用して様々な処理を応答性よく高精度に実現するためには、その処理内容に応じた撮影条件が求められる。しかしながら製造コスト、画像の伝送帯域、撮影から出力までの応答性などの点から、単にカメラの性能や画質を上げることのみによって情報処理装置の機能を充実化させるのは困難な状況にある。

本発明はこのような課題に鑑みてなされたものであり、その目的は、安価かつ効率的に、撮影画像を利用した情報処理装置の機能を充実化させることのできる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、被写体を撮影した画像データを取得して出力画像のデータを生成する情報処理装置であって、接続されたカメラから取得した２つの画像のデータのうち少なくともいずれかの画像の画素値を、２つの画像の画素値の分布を近似させるための補正規則に従い補正したうえ、当該２つの画像の比較に基づき被写体の情報を取得する画像解析部と、画像解析部が取得した被写体の情報に基づき出力画像のデータを生成して出力する出力画像生成部と、を備えたことを特徴とする。

ここで「被写体」は、撮影対象として明確に位置づけられた人などに限らず、カメラの視野に入る部屋、人、物、動物などを含む。したがって「被写体に関する個別の情報」とは、同一の個体に関する個別の情報に限らず、被写体に含まれる複数の個体のいずれかに関する情報でよく、別の個体に関する個別の情報でもよい。

本発明の別の態様は情報処理システムに関する。この情報処理システムは、被写体を撮影し、その画像データを利用して出力画像のデータを生成する情報処理システムであって、被写体を撮影するカメラと、カメラから取得した２つの画像のデータのうち少なくともいずれかの画像の画素値を、２つの画像の画素値の分布を近似させるための補正規則に従い補正したうえ、当該２つの画像の比較に基づき被写体の情報を取得する画像解析部と、画像解析部が取得した情報に基づき出力画像のデータを生成して出力する出力画像生成部と、を備えた情報処理装置と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、被写体を撮影した画像データを取得して出力画像のデータを生成する情報処理方法であって、接続されたカメラから、撮影された２つの画像のデータを取得するステップと、２つの画像のデータのうち少なくともいずれかの画像の画素値を、２つの画像の画素値の分布を近似させるための補正規則に従い補正したうえ、当該２つの画像の比較に基づき被写体の情報を取得するステップと、被写体の情報に基づき出力画像のデータを生成して表示装置に出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を利用した様々な機能を安価に実現できる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。 本実施の形態の撮像装置および情報処理装置の構成を詳細に示す図である。 本実施の形態で想定する撮影状況例を説明するための図である。 本実施の形態の、画角の大きさと解像度を異ならせる態様において、撮像装置が撮影した画像と、それを利用して得られる出力画像の例を示す図である。 本実施の形態の、露光時間／絞り値を異ならせる態様において、撮像装置が撮影した画像と、それを利用して得られる出力画像の例を示す図である。 露光時間の異なる２つの画像から対応する特徴点を抽出する際の問題点を説明するための図である。 本実施の形態における撮像装置と、被写体の３次元空間での位置情報を取得する機能を有する情報処理装置の画像解析部の構成を詳細に示す図である。 本実施の形態において補正部が補正することによる輝度値の変化例を示す図である。 本実施の形態における補正テーブル管理部が、一対の画像を解析して補正テーブルを生成する手法を説明するための図である。 情報処理装置が撮影画像から出力画像を生成する処理のうち、主に奥行き画像を正確に生成するための処理手順を示すフローチャートである。

図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム１０は、ユーザ１ａ、１ｂなどの被写体を撮影する２つのカメラを搭載した撮像装置１２、撮影した画像に基づき、ユーザの要求に応じた情報処理を行う情報処理装置１４、情報処理装置１４が処理した結果得られた画像データを出力する表示装置１６を含む。また情報処理装置１４はインターネットなどのネットワーク１８と接続可能とする。

情報処理装置１４と、撮像装置１２、表示装置１６、ネットワーク１８とは、有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。撮像装置１２、情報処理装置１４、表示装置１６のうちいずれか２つ、または全てが組み合わされて一体的に装備されていてもよい。また、撮像装置１２は必ずしも表示装置１６の上に設置されていなくてもよい。さらにユーザ１ａ、１ｂは人でなくてもよく、その数も限定されない。

撮像装置１２は、一対のカメラで同一空間に存在する被写体を撮影する。撮像装置１２として、被写体の奥行き情報を取得するために実用化されているステレオカメラなどを利用してもよい。すなわち並べて設置することによりほぼ同一の視野を得ることのできる、それぞれにレンズを有するカメラの対であってよい。一方、カメラの間隔が既知であり、視差を補正することにより、少なくとも視野の一部の対応関係が導出できれば、２つのカメラの間隔や相対位置は限定されない。

２つのカメラの少なくとも一方に電子ズーム、電子パンチルタを備え、情報処理装置１４の制御によって視野を独立に変化させることができるようにしてもよい。また撮影条件、例えばホワイトバランス、フレームレート、露光時間、絞り値の少なくともいずれかは、情報処理装置１４によって２つのカメラでそれぞれ独立に制御可能とする。

撮像装置１２は情報処理装置１４が指定した撮影条件で、ユーザ１ａ、１ｂなどを含む画像のデータを動画または静止画として取得する。取得した画像データは情報処理装置１４に入力される。情報処理装置１４は、撮像装置１２から取得した画像データに基づき、ユーザが指定した機能に応じた情報処理を行い、出力する画像データを生成する。生成した画像データは表示装置１６に出力するか、ネットワーク１８を介して接続した別の情報処理装置へ送信する。表示装置１６は画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。

図２は撮像装置１２および情報処理装置１４の構成を詳細に示している。情報処理装置１４は、ユーザからの指示入力を受け付ける入力情報取得部２２、ユーザの指示または撮影された画像の解析結果に基づき決定した撮影条件で撮影を開始させる撮影条件制御部２４、目的とする機能と撮影条件とを対応づけた撮影条件テーブルを記憶する撮影条件記憶部２６、撮像装置１２に搭載された第１カメラ２８、第２カメラ３０が撮影した画像を取得して必要な画像解析を行う画像解析部３４、および、処理の結果として出力する画像のデータを生成する出力画像生成部３８を含む。

図２および後述する図７において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、画像処理を行うプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

入力情報取得部２２は、ユーザが情報処理装置１４に対し行う指示入力を受け付けるインターフェースであり、ポインティングデバイス、マウス、キーボード、タッチパネル、ゲームコントローラ、ボタンなど一般的な入力装置で実現できる。入力情報取得部２２は情報処理装置１４本体と別の筐体を有する、無線又は有線で接続した装置としてもよい。

ユーザによる指示入力は、情報処理装置１４が実行可能な機能のいずれかを選択する入力、表示装置１６に表示されたカーソルや枠を移動させたり選択したりする入力を含む。入力情報取得部２２が取得した情報は、撮影条件制御部２４、画像解析部３４、出力画像生成部３８に適宜通知される。情報処理装置１４が実行可能な機能の例については後述する。

撮影条件制御部２４は、ユーザが入力情報取得部２２に入力した指示入力に従い、撮像装置１２の第１カメラ２８および第２カメラ３０における撮影条件を決定し、当該２台のカメラの少なくともいずれかに撮影要求信号を送信することにより、決定した条件での撮影を開始させる。撮影条件の初期値は、ユーザが指示する機能に基づき、撮影条件記憶部２６に格納された撮影条件テーブルを参照することによって得られる。また撮影条件制御部２４は、第１カメラ２８、第２カメラ３０の少なくともいずれかが撮影した画像を解析した結果に基づき、さらに撮影条件を決定し、少なくともいずれかのカメラに当該条件にて撮影を開始させてもよい。

画像解析部３４は、第１カメラ２８、第２カメラ３０がそれぞれ撮影した画像を取得し、ユーザが選択した機能に応じた画像解析を行う。ただしユーザが選択した機能によっては画像解析を必要としない場合もあり、その場合は画像データをそのまま出力画像生成部３８へ送出してよい。そのため画像解析部３４は、入力情報取得部２２から、ユーザが選択した機能についての情報を取得したうえ、それに基づいて処理を実行する。画像解析部３４による解析結果は、必要な画像データとともに出力画像生成部３８へ送信される。当該解析結果を撮影条件制御部２４へ送信し、さらなる撮影条件の決定に利用してもよい。

出力画像生成部３８は、画像解析部３４から送信された、解析結果および必要な画像データを用いて出力画像のデータを生成し、表示装置１６またはネットワーク１８へ出力する。どのような出力画像を生成するかはユーザが選択した機能によって異なる。そのため出力画像生成部３８は、入力情報取得部２２から、ユーザが選択した機能についての情報を取得したうえ、それに基づいて処理を実行する。

次に情報処理システム１０が実現する機能の具体例について説明する。図３は本実施の形態で想定する撮影状況例を説明するための図である。同図の例では二人のユーザ１ａ、１ｂがテーブルについて会話などしている状況を第１カメラ２８、第２カメラ３０で撮影している。撮影対象はユーザ１ａ、１ｂなど人に限らず、ユーザが保持するフリップ２などの物でもよい。撮影した画像は例えば、逐次、ネットワーク１８を介して別の情報処理システムに送信することにより、当該別の情報処理システムの表示装置に表示されるようにする。

これにより、遠隔地でユーザ１ａ、１ｂの会話の様子を見ることができる。また２つの情報処理システム１０相互に同様の処理を実行することにより、ビデオチャットやテレビ電話の機能を実現することができる。なおこのような機能を発揮させるためのネットワークの確立やデータ伝送のための手続きなどについては一般的な技術を採用してよく、ここでは説明を省略する。またネットワークを介して画像データを送信するばかりでなく、撮影対象であるユーザ１ａ、１ｂが見ている表示装置１６に、処理結果である画像を表示することにより、ユーザ１ａ、１ｂがゲームを楽しむ、といった態様でもよい。

このような状況において本実施の形態における情報処理システム１０は、２台のカメラで同一の空間を異なる条件で撮影することにより、撮影画像に付加価値をつけて出力情報とする。図３の例では、第１カメラ２８は空間全体の領域４０を広角で撮影し、第２カメラ３０はユーザ１ｂの顔の領域４２のみを狭角で撮影している。このとき第２カメラ３０が撮影する画像は第１カメラ２８が撮影する画像と同じ画素サイズとする。

結果として第２カメラ３０で撮影した画像は第１カメラ２８で撮影した画像より高解像度となる。これにより第１カメラ２８で撮影した画像は通常の解像度で広角、第２カメラ３０で撮影した画像は高解像度で狭角、と互いに異なる性質の画像を取得できる。本実施の形態ではこのように、同一の被写体、空間を、条件を異ならせて同時に撮影し、それぞれが有する情報を統合することによって様々な処理を可能にする。

以下、情報処理システム１０が実現する機能の例について具体的に説明する。なおこれらの機能は例示であり、情報処理システム１０はこれらの機能のうちのいずれか１つまたはいずれか２つ以上の組み合わせを実現可能とすればよい。すなわち全ての機能を備える趣旨ではない。

（１）画角の大きさと解像度を異ならせる態様
本態様は図３で説明したように、２つのカメラが撮影する画角を異ならせる。このとき上述のように、２つのカメラが同じ画素サイズで撮影すると、画角が小さいほど解像度が上がる。そしてこれらの画像を合成して出力することにより、人の顔など注目領域のみを詳細に表した画像を表示できる。

図４は本態様において、第１カメラ２８および第２カメラ３０が撮影した画像と、それを利用して得られる出力画像の例を示している。同図において第１カメラ２８が撮影する画像は図３における領域４０の広角画像４４である。第２カメラ３０が撮影する画像は図３における領域４２の狭角画像４６である。

狭角画像４６の領域面積が広角画像４４の領域面積の縦横１／３倍である場合、画素サイズを等しくすると、解像度は狭角画像４６が広角画像４４の縦横３倍となる。なおこのように画素サイズや画像の縦横比率を厳密に同一とする必要はなく、まず処理能力などを考慮して画像データのサイズに許容範囲を定めておき、その範囲内で画角と解像度との関係を適宜決定すればよい。

狭角画像４６の視野を決定するためには、まず第１カメラ２８が広角画像４４を撮影し、画像解析部３４が顔認識処理を行うことにより、狭角で撮影するターゲットとなり得る領域を検出する。そして出力画像生成部３８が、当該広角画像４４上に、ターゲット候補の領域を表した画像を生成し、表示装置１６に表示させる。そして入力情報取得部２２が、ユーザによる領域選択を受け付ける。このとき広角画像４４中、選択されたターゲットの領域の位置を記憶しておく。

これに応じて撮影条件制御部２４が、選択されたターゲットの領域を第２カメラ３０に撮影させることにより、第１カメラ２８および第２カメラ３０による広角画像、狭角画像の同時撮影が開始される。そして出力画像生成部３８は、各カメラが撮影した画像のデータを取得し、広角画像４４上の対応する領域に狭角画像４６を合成して出力する。その結果、広角画像４４のうちユーザが選択したターゲットの領域５０のみ解像度が高い合成画像４８を表示できる。

このとき高解像度となるのは全体画像の一部であるため、画像データのサイズ増大により伝送帯域を圧迫することなく、見たい領域を詳細に見る、という要求を満たすことができる。また、カメラ自体は一般的な性能を有すればよいため、製造コストが増大することがない。

なお、ユーザが持つフリップを狭角画像として撮影し、その拡大画像を広角画像４４と合成してもよい。この場合、例えばフリップにはその四隅のうち対角上にある二隅などに、所定の色、形状を有するマーカーをつけておく。そして画像解析部３４が、パターンマッチングなどによりマーカーを検出し、それによってフリップの領域をターゲット候補として検出する。フリップを拡大する場合は、広角画像における本来のフリップの領域より合成後に示されるフリップの面積が広がるが、それにより、フリップに記載された文字などを見やすくすることができる。

また、第１カメラ２８および第２カメラ３０の双方でユーザ１ａの顔、ユーザ１ｂの顔などターゲットの領域の狭角画像をそれぞれ撮影し、その前に撮影された広角画像の静止画上にそれらの狭角画像を合成するようにしてもよい。この場合、合成画像のうち、２つのターゲットの領域のみ、解像度が高く動きを有し、その他の領域は静止画の画像を表示できる。このようにすると、詳細に見たい領域が限定的であり、その他の領域の動きがあまり重要でない状況において、ターゲットの数をカメラの数だけ増やすことができる。

なお合成画像として、２つの狭角画像のみを、表示装置１６の画面の大きさに応じて拡大し、並べて表示してもよい。また、ターゲットが大きく動くような場合は、第１カメラ２８に広角画像を撮影させ、画像解析部３４が既存の技術によりターゲットをトラッキングしてもよい。この場合、撮影条件制御部２４が電子パンチルタを用いて各カメラの視野を調整することにより、狭角画像内に常にターゲットが含まれるようにしてもよい。

（２）露光時間／絞り値を異ならせる態様
本態様は撮影時の露光時間、絞り値のどちらか一方、または両方を、２つのカメラで異ならせる。近年、発光体などのマーカーをユーザに持たせたり体に装着させたりして、それを撮影することによってユーザの動きを検出し、ゲームなどへの入力情報とする技術が提案されている。この技術は、特定の大きさ、色、形状、輝度などを有するマーカーを、画像として捉えた部屋や人、物などの中から常に検出できる、という前提のもとに成り立つ。しかしながら人間による目視と異なり、画像内でのマーカーの写り具合は、周囲の明るさや物の有無、周囲の色などの撮影環境や、露光時間や焦点深度などの撮影条件によって大きく変化する。

ユーザや部屋を含む広角画像を撮影する場合、一般的にはその撮影環境に合わせてホワイトバランスや露光時間などの撮影条件が自動で調整され、それによって、全体としてバランスのとれた画像を取得する。しかしながらその画像中でマーカーを検出する場合、このように環境に応じて撮影条件を変化させると、マーカーの写り具合、すなわち像の色、大きさ、形状、輝度などが変化し、検出処理に支障をきたすことがあり得る。

例えば発光するマーカーを用いる場合、部屋の明るさに応じて決定した露光時間が長すぎると、マーカーの発光部分のＲＧＢ値が飽和してしまい、発光体の色に関わらず真っ白かつ輪郭のぼやけた画像となってしまうことが考えられる。またマーカーが比較的高速で動いていると、その像がぶれてしまうことが考えられる。そのため、マーカーの色が認識しづらくなったり、マーカ自体の検出ができなくなる場合がある。

そこで本態様では、一方のカメラは全体画像を標準的な露光時間、絞り値で撮影し、他方のカメラは露光時間、絞り値のいずれかまたは双方を、マーカーに対して最適な値で撮影する。これにより、最終的に表示するための画像として鑑賞に堪えるバランスのとれた画像を確保しつつ、どのような撮影環境であってもマーカー検出を精度よく行うことができる。

なお表示に用いるための標準的な露光時間および絞り値と、マーカー検出に適した露光時間および絞り値、という組み合わせは一例に過ぎず、各カメラで撮影する画像の用途を限定する主旨ではない。例えば一方のカメラの撮影条件を、マーカー検出に適した条件とする代わりに、顔認識、動き検出、エッジ抽出など、必要な情報を得るための画像解析に適した露光時間、絞り値としてもよい。表示に用いるための撮影画像が必要なければ、両カメラの露光時間を標準的な値から異ならせてもよい。

図５は、本態様において第１カメラ２８および第２カメラ３０が撮影する画像とそれを利用して得られる出力画像の例を示している。同図において第１カメラ２８が撮影する画像は、先端の球体が発光するマーカー９２を把持するユーザを、画像全体に対し最適な露光時間、絞り値で撮影した一般画像９０である。この画像では上述のように、マーカー９２の発光体は実際の色に関わらず白く写っている可能性もある。なおマーカーの形状は同図に示す物に限らず、色、形状、大きさ、輝度などが既知であり、検出対象となり得るものであればよい。また発光体でなくてもよい。

一方、第２カメラ３０が撮影する画像は、マーカー９２の発光体に対して最適な露光時間、絞り値で撮影した撮影条件調整画像９４である。この画像は例えば、一般画像９０と比較し、露光時間が短く、焦点がマーカー９２に合っている焦点深度の浅い（絞り値が小さい）画像である。露光時間は電子シャッターのシャッタースピードによって調整する。シャッタースピードを高速とすることにより露光時間が短くなる。

このような調整によって撮影条件調整画像９４は、全体的に暗かったり、他の物がぼやけていたりする代わりに、マーカー９２の発光体部分については、色、形状、大きさ、輝度が実際に近い画像となる。なお撮影条件調整画像９４は、マーカーの部分のみを撮影した狭角画像でもよい。このとき、マーカー検出に求められる精度や情報処理装置の処理能力などに応じて態様（１）と組み合わせ、マーカー９２の位置検出やトラッキングを行ってもよい。

各カメラの撮影条件は、ユーザがこの機能を選択した時点で、撮影条件制御部２４が撮影条件記憶部２６より読み出して指定する。なお第１カメラ２８の撮影条件は、通常のキャリブレーション手法によってその場の環境に応じて設定してよい。また第２カメラ３０の画像を狭角画像とする場合は、（１）の態様と同様、マーカーのおよその位置を広角画像によって検出することにより、狭角画像の視野を決定するようにしてもよい。

画像解析部３４は、撮影条件調整画像９４を用いてマーカの位置を取得し、ユーザの動きを認識する。そして出力画像生成部３８が、動きに応じた加工を一般画像９０に施すことによって出力画像９８を生成する。図５の例では、ユーザがマーカー９２を振り下ろしたことを認識し、それに応じて出力画像中の仮想世界でユーザが持つ刀１００の長さが伸びたような表示を行っている。

これまで述べた態様（１）、（２）はともに、２つのカメラの撮影条件が異なるため、同じ被写体を同時に撮影してもその画像特性が異なることが考えられる。特に態様（２）では故意に露光時間に差をつけることにより、当然、画素値の分布範囲が大きく異なることになる。また視野角を変化させる（１）の態様であっても、それぞれの視野角に適した撮影条件に自動調整する場合は、露光時間や絞り値が個別に調整された結果、画素値の分布範囲が異なる可能性がある。

一方、これらの画像は、撮影条件が異なるものの、既知の視差を有する２つのカメラで同時に撮影した画像であるため、本実施の形態ではこの特性を利用し、両者でステレオマッチングを行うことにより、被写体の３次元空間での位置をさらに特定する。このようにすると、態様（１）、（２）で得られる情報にさらに情報を加えることができ、ひいては情報処理装置１４が実現できる機能の種類を多様化させたり、処理の精度を向上させたりすることができる。

例えば図５の出力画像９８において、マーカと独立に動くユーザの頭部などの位置をさらに特定できるため、それに応じて頭部に別のアイテムを乗せたり、頭部の動きに応じて当該アイテムが反応したりする機能を実現できる。マーカーの動きと頭部の動きを組み合わせて何らかの反応をする出力画像を生成してもよい。あるいは図４の狭角画像４６を得るために、被写体の奥行き方向の位置によってターゲット候補を絞り込んだり、視野角を適正化したりすることができる。

一般に被写体のカメラからの距離は、ステレオカメラが撮影したステレオ画像において対応する特徴点を抽出し、画像上での当該特徴点の位置のずれに基づき、三角測量の原理で求めることができる。この処理においては、ステレオ画像から対応する特徴点を正確に抽出することが特に重要となる。しかし前述したようにステレオ画像の特性が互いに異なると、当該抽出精度が保たれず、ひいては正確な位置情報が得られないことが考えられる。

図６は露光時間の異なる２つの画像から対応する特徴点を抽出する際の問題点を説明するための図である。同図において画像１５０、１５２は、撮像装置１２の第１カメラ２８、第２カメラ３０がそれぞれ撮影し、撮像装置１２から情報処理装置１４へ送信される画像の例である。この例では、第２カメラ３０の露光時間を短くするなどしたため、画像１５２の輝度が画像１５０と比較して全体的に低く、ダイナミックレンジが小さい。

このような画像のデータを情報処理装置１４の画像解析部３４で取得し、特徴点としてエッジを抽出してステレオマッチングを行うことを考える。エッジは、画像のうち輝度などの画素値が急激に変化している箇所であり、抽出処理には一般的なエッジ抽出フィルタを利用できる。同図において２つの画像１５０、１５２のうち、水平線１５４の位置でのそれぞれの輝度分布が、下段の輝度分布１５６、１５８である。

原理的には、例えば画像１５０に対し矢印Ａ、Ｂの位置が、画像１５２に対し矢印Ａ’、Ｂ’の位置が、エッジとして抽出される。そして矢印ＡとＡ’が対応していることをエッジ画像のマッチング処理により求めれば、両者の画像上の位置のずれから、例えば画像に写っている人の頭部の３次元空間での位置が算出できる。矢印ＢとＢ’との対応も同様であり、これにより例えば人の手の位置が算出できる。

しかしながら画像１５０と画像１５２で輝度の分布範囲が異なると、同じ被写体のエッジであってもエッジ画像での表れ方が異なり、マッチング精度が維持できないことが考えられる。例えばダイナミックレンジが小さい画像１５２の輝度分布１５８では、輝度のピークが急峻とならなかったりノイズが影響したりして、画像１５０と比較し抽出されるエッジが少なくなる可能性がある。また、露光時間が長い画像１５０の輝度が飽和し、この場合は、明るい部分で抽出されるエッジが少なくなる可能性がある。

したがって撮像装置１２から送信された画像データをそのまま用いてエッジ抽出およびマッチング処理を行うと、２つのカメラの撮影条件が異なるほど、特に、露光時間が異なるほど、正しい位置情報が得られない可能性が高くなる。そこで、同条件で撮影されたような画像の状態を人工的に作り出すことにより、マッチング精度を維持する。基本的には、輝度の分布範囲を揃える補正を行ったうえでステレオマッチングを行う。例えば分布範囲が小さい画像１５２を、画像１５０の分布範囲に揃えるように、輝度値の補正を行う。このとき最も単純には、画像１５２の輝度の最大値に対する、画像１５０の輝度の最大値の比率を求め、前者の全ての輝度値に当該比率を乗算することが考えられる。

この処理は、撮像装置１２内でガンマ補正が行われていない場合、あるいは全ての画素値を定数倍するような線形補正がなされている場合には有効である。ガンマ補正は、カメラの撮像素子にて取得した画素値を、ディスプレイでの良好な表示バランスにするための補正であり、通常、カメラ内部で実施される。補正前の画素値をＰ_ｉｎ、補正後の画素値をＰ_ｏｕｔとすると、ガンマ補正は次の補正式によって実行される。

ここでγは想定するディスプレイの特性などに基づき決定される値である。図６の最下段では、この補正式を、グラフ１６０ａ、１６０ｂの曲線で示している。当然、両者は同じ曲線である。ここで画素値を輝度値とすると、撮像素子が取得した輝度値Ｐ_ｉｎを用いて求めた、補正後の輝度値Ｐ_ｏｕｔが、情報処理装置１４が取得する画像１５０、１５２の輝度値である。ここで各グラフに表した網掛けの領域は、対応する画像を生成するために用いた補正式の範囲を示している。

画像１５０の場合、補正前の輝度値Ｐ_ｉｎの範囲Ｒａ、補正後の輝度値Ｐ_ｏｕｔの範囲Ｒ’ａはいずれも広範囲におよぶ。一方、画像１５２の場合、補正前の輝度値Ｐ_ｉｎの範囲Ｒｂ、補正後の輝度値Ｐ_ｏｕｔの範囲Ｒ’ｂはいずれも、画像１５０の対応する範囲より小さい。しかし補正後の輝度値Ｐ_ｏｕｔの範囲の比率Ｒ’ｂ／Ｒ’ａは、補正前の輝度値Ｐ_ｉｎの範囲の比率Ｒｂ／Ｒａと比較して大きい。これは補正式が非線形であるため、元の輝度値Ｐ_ｉｎの範囲によって補正による変化率が異なるためである。このことは範囲内の個々の輝度値についても同様である。

したがって上記のように画像１５２の全画素の輝度値に同じ比率を乗算しても、画像１５０と同等の画像にならないことになる。すなわち下記の式で示すように、本来は、画像１５２の元の輝度値Ｐ_ｉｎを、画像１５０と同じダイナミックレンジに揃えてからガンマ補正を行えば得られるべき輝度Ｐ’_ｏｕｔとは異なる輝度Ｐ’’_ｏｕｔが得られてしまう。

ここでｋ_ａは、画像１５２の元の輝度Ｐ_ｉｎのダイナミックレンジを、画像１５０のガンマ補正前の画像に揃えるための係数、ｋ_ｂは、撮像装置１２から入力された、ガンマ補正後の画像１５２の輝度Ｐ_ｏｕｔのダイナミックレンジを、画像１５０に揃えるための係数であり、上記の例では画像１５０、１５２の輝度の最大値の比率である。図６のように画像１５０の輝度が飽和している場合は、輝度の最大値が本来の値と異なるため、さらに係数ｋ_ｂも正確な算出が困難になる。

そこで画像解析部３４は、撮像装置１２の出力値である上式の輝度Ｐ_ｏｕｔが、本来求めるべき輝度Ｐ’_ｏｕｔにおよそ補正されるように、補正前後の輝度の対応関係を記述しておき、輝度Ｐ_ｏｕｔを個別に補正する。これにより、輝度の分布範囲のみならず分布自体を２つの画像で揃えることができる。なお画素値が表す色空間は、輝度のほか、ＲＧＢ値などでも同様であるが、以下では特に輝度として説明する。

図７は撮像装置１２と、被写体の３次元空間での位置情報を取得する機能を有する情報処理装置１４の画像解析部３４の構成を詳細に示している。撮像装置１２は上記の通り第１カメラ２８および第２カメラ３０を含む。第１カメラ２８、第２カメラ３０はそれぞれ、複数の撮像素子を備えた撮像部１１２ａ、１１２ｂ、撮像素子が取得した画素値の配列である画像にガンマ補正を行うガンマ補正部１１４ａ、１１４ｂ、ガンマ補正後の画像のデータを出力する出力部１１６ａ、１１６ｂを含む。

なお撮像装置１２または各カメラには、画素値となる色成分を抽出したり補間したりする機能、情報処理装置１４の画像解析部３４に画像のデータを送信するための機能などがさらに含まれていてよいが、一般的な機能でよいため、図７では実施の形態に係る機能ブロックのみを図示している。

画像解析部３４は、撮像装置１２から撮影画像のデータを取得する撮影画像データ取得部１１８、第１カメラ２８、第２カメラ３０が同時に撮影した画像の少なくともいずれかに上述のような補正を行う補正部１２４、補正前後の輝度値の対応関係を示した補正テーブルを記憶した補正テーブル記憶部１２２、情報処理装置１４が実現する機能に応じて使用する補正テーブルを切り替えたり生成したりする補正テーブル管理部１２０、２つの画像を用いてステレオマッチングを行い奥行き画像を生成する奥行き画像生成部１２６を含む。奥行き画像は、ステレオマッチングによって得られた、被写体のカメラからの距離を、画像平面上に画素値として表した画像であり、３次元空間での被写体の位置を表すデータである。

なお図７に示す画像解析部３４には、奥行き画像を精度よく作成するための処理に係る機能ブロックのみを示しているが、上述の態様（１）、（２）を実現するための各種機能がさらに含まれていてよい。撮影画像データ取得部１１８は、奥行き画像を生成するタイミングで、第１カメラ２８、第２カメラ３０が同時に撮影した一対の画像のデータを取得する。このタイミングは、表示画像の生成処理や、トラッキングなどその他の画像解析の処理と同期させてもよいし、より長い周期でもよい。また、表示画像の生成処理や、その他の画像解析で用いる画像データと共有してもよい。

補正テーブル管理部１２０は、情報処理装置１４が実現する機能や、それに基づき決定された撮影条件に応じて、奥行き画像の生成に有利となる補正テーブルを選択する。また、そのような補正テーブルを必要に応じて作成する。補正テーブルの作成にあたり、補正テーブル管理部１２０は、補正対象の画像自体に対し画像解析を行う。補正テーブルは、補正前の画素値に基づき補正後の画素値が一意に決定できればその形式は限定されず、補正前の輝度値の離散的な値と補正後の輝度値とを対応づけたルックアップテーブルでも、補正式でもよい。

補正テーブル管理部１２０は例えば、２つの画像の輝度のヒストグラムを作成する。そして動的計画法によるＤＰマッチングを適用し、輝度の軸を伸縮させながらヒストグラムの形状が最も合致するときの輝度の変化量を、離散的な複数の輝度値に対して求める。これは概念的には、上式の輝度値Ｐ’’_ｏｕｔを、本来求めるべき輝度値Ｐ’_ｏｕｔにするための係数ｋ_ｂを個々の輝度値ごとに求めることに対応する。ただしここではより直接的に、元の輝度の離散的な値と、ヒストグラムの形状が合致するときの各輝度の行き先とを対応づけたルックアップテーブルを生成する。これにより補正前の輝度値Ｐ_ｏｕｔが、本来求めるべき輝度値Ｐ’_ｏｕｔに近似的に対応づけられる。生成したテーブルは補正テーブルとして補正テーブル記憶部１２２に格納する。

なお、補正テーブル記憶部１２２には、上記のように補正テーブル管理部１２０が対象の画像を直接解析して作成した補正テーブルを格納してもよいし、あらかじめ何らかの推定式を格納しておいてもよい。例えば撮像装置１２でガンマ補正に用いられるγと露光時間の比率から上式ｋ_ａを推定すれば、求めたい輝度Ｐ’_ｏｕｔが、取得した画像の輝度Ｐ_ｏｕｔから推定できる。したがってそれを表す式やルックアップテーブルを前もって格納しておいてもよい。

また補正テーブル記憶部１２２には、情報処理装置１４が実現できる機能ごと、各カメラの撮影条件ごとなど、諸条件ごとに、異なる補正テーブルを格納してもよい。例えば上述の説明のように、一方の画像のみを補整して他方の画像の輝度の分布に合わせる場合の補正テーブルと、両方の画像を別に準備した標準画像の輝度の分布に合わせる場合の補正テーブルとを格納する。これにより、２つの画像のいずれも、標準的でない露光時間で撮影した場合などでも、エッジ画像が得られやすい画像に揃えることができ、奥行き画像の精度を維持することができる。

このとき、補正テーブル管理部１２０で行う処理も条件ごとに異なるため、補正テーブル管理部１２０内部にも、各条件に対応づけて補正テーブルの選択規則、作成規則を設定しておく。補正部１２４は、補正テーブル管理部１２０が指定する補正テーブルを補正テーブル記憶部１２２から読み出し、それを補正対象の画像に適用することにより補正を実施する。これにより、輝度の分布が揃えられた一対の画像が生成できる。

奥行き画像生成部１２６は、補正部１２４による補正後の画像を含む一対の画像に対しステレオマッチングを行い、奥行き画像を生成する。ステレオマッチングには既存の技術を適用できる。例えば上記のようにエッジなどの特徴点を抽出し、当該特徴点同士のマッチングを行ってもよいし、画像を領域分割して領域同士でマッチングを行うなどでもよい。いずれの手法においても、輝度の分布を正確に揃えることにより、撮影条件が異なる画像であってもマッチング精度を維持できる。

生成した奥行き画像のデータは、被写体の３次元空間における位置情報として出力画像生成部３８に供給することにより、当該情報に応じた出力画像の生成に用いる。あるいは撮影条件制御部２４に供給することにより、被写体に視野や焦点を合わせて撮影するように撮像装置１２のカメラを制御する。また、画像解析部３４内の図示しない他の機能ブロックに供給し、顔検出、顔認識、トラッキングなどの処理に利用してもよい。

図８は、補正部１２４が補正することによる輝度値の変化例を示している。画像１５０とその輝度分布１５６、画像１５２とその輝度分布１５８は、図６で示した例と同じであり、画像解析部３４による補正前のデータである。一方、補正テーブル記憶部１２２には、各画像に対する補正テーブル１６２、１６４が格納されている。上述の通り、補正テーブル管理部１２０が画像１５０、１５２を解析することにより、各補正テーブルをその場で作成してもよいし、あらかじめ推定して定めておいてもよい。例えば同じ撮影条件で撮影したテスト画像を用いて補正テーブルを作成しておいてもよい。

補正部１２４は、各補正テーブル１６２、１６４を補正テーブル記憶部１２２から読み出し、画像１５０、１５２にそれぞれ適用することにより、全ての画素の輝度値の、補正後の値を決定する。同図において補正テーブル１６２、１６４は、補正前の輝度値をｐ_ｉｎ、補正後の輝度値をｐ_ｏｕｔとしてグラフで示しているが、実際には上述のとおりルックアップテーブルでもよい。なお補正前の輝度値ｐ_ｉｎは、カメラにおけるガンマ補正後の輝度値Ｐ_ｏｕｔに対応する。またルックアップテーブルを用いる場合、記述されている輝度値は離散的であるため、それらの中間値については適宜、補間することにより補正後の輝度値を求める。

図８の場合、全体的に輝度が低い画像１５２の輝度の分布を、標準的な画像１５０に合わせることを目的としている。そのため、画像１５０は補正の必要がないが、ｐ_ｉｎ＝ｐ_ｏｕｔとする補正テーブル１６２を準備することにより、補正の要否に関わらず同じ処理で最終的な画像を得ることができる。補正テーブル１６２、１６４の上には、各補正テーブルによる補正の意味を図示している。グラフ１６５、１６６のそれぞれにおいて、左側のグラフは、各カメラの撮像素子にて取得した輝度値Ｐ_ｉｎに対する、カメラでのガンマ補正後の輝度値Ｐ_ｏｕｔの関係を表している。右側のグラフは、当該撮像素子にて取得した輝度値Ｐ_ｉｎに対する、情報処理装置１４における補正後の輝度値ｐ_ｏｕｔの関係を表している。

補正テーブル１６２を用いた場合、上記の通りｐ_ｉｎ＝ｐ_ｏｕｔとしているため、元の輝度値Ｐ_ｉｎに対する情報処理装置１４での補正後の輝度値ｐ_ｏｕｔの関係は、カメラによるガンマ補正後の輝度値Ｐ_ｏｕｔの関係と同じである。一方、補正テーブル１６４を用いた場合、カメラにおけるガンマ補正後の輝度値Ｐ_ｏｕｔの分布範囲を、画像１５０の輝度値の分布範囲に広げている（図の矢印）。また補正テーブル１６４が線形でないことから明かなように、輝度値によってその変化率を変化させる。これにより、ガンマ補正前の輝度値の分布範囲を先に揃えてから（上式の輝度値ｋ_ａＰ_ｉｎ）、ガンマ補正を行ったときと同等の補正の関係が得られる。

結果として、画像１５０については補正前と同じ輝度分布１５６、ひいては同じ画像１５０が得られ、画像１５２については、画像１５０と同等の範囲を有する輝度分布１６８、ひいては画像１５０と同等の画像１７０が得られる。奥行き画像生成部１２６は、補正後の画像１５０、１７０を用いてエッジ抽出などを経てステレオマッチングを行うことにより、奥行き画像１７２を精度よく生成できる。

図９は補正テーブル管理部１２０が、一対の画像を解析して補正テーブルを生成する手法を説明するための図である。これまでの例と同様、輝度の低い画像１５２を標準的な輝度の画像１５０に合わせるように補正をする場合を考える。このとき補正テーブル管理部１２０は、それぞれの画像の輝度ヒストグラムを生成する。

画像１５０の輝度ヒストグラム１８０は、輝度の範囲が広域にわたっている。輝度階調の最大値を超えてオーバーフローしていることもあり得る。一方、画像１５２の輝度ヒストグラム１８２は、輝度値の範囲が狭く小さい値に偏っている。しかし両者は同じ空間を同時に撮影した画像であるため、各輝度範囲に対するヒストグラムの相対的な形状はおよそ同じはずである。ただし上述のとおりガンマ補正がなされているため、単純に輝度の軸（横軸）を同じ比率で拡大するのみでは同じ形状とはならない。そこで、動的計画法によるマッチング（ＤＰマッチング）をこれらのヒストグラムに対して行う。なおＤＰマッチング自体は、様々な分野で利用される既存技術である。

まず、輝度ヒストグラム１８２の輝度範囲内に複数の輝度値をサンプル値として離散的に設定する。そして当該輝度ヒストグラム１８２の輝度の軸を伸縮させながら輝度ヒストグラム１８０との形状を照合していき、最も形状が合致するときの輝度の変化量を輝度のサンプル値ごとに取得する。輝度の軸の伸縮率はサンプル値ごとに非線形で行われるため、画像１５２の輝度ヒストグラム１８２をＤＰマッチングにより伸張すれば、画像１５０の輝度ヒストグラム１８０と同じ形状を有する輝度ヒストグラム１８４を得ることができる。このときの、元の輝度のサンプル値と、それに変化量を加算した伸張後の輝度値との対応をテーブルとして記述することにより、補正テーブル１６４を生成できる。

画像１５０の輝度が上述のようにオーバーフローしていて、画像１５０のデータが有する輝度の最大値が、実際に撮影された輝度の最大値を反映していなかった場合、輝度がオーバーフローしていない画像１５２の輝度の最大値との対応づけができなくなる。この場合、単純に画像１５２の輝度に同じ倍率（上式のｋ_ｂ）を乗算しようとしても、当該倍率自体が正確に決定できない可能性がある。輝度ヒストグラムを用いて画像全体の情報に基づき補正テーブルを求めることにより、中間範囲の輝度を適正に変化させられるのに加え、図８で示したように、補正後の画像１７０において、オーバーフローするべき画素については画像１５０と同様にオーバーフローさせることができる。

なお図９は画像１５２を画像１５０に合わせる例であったが、別途準備した、基準となる画像のヒストグラムを利用して、画像１５０、１５２の双方を、基準となる画像に合わせるようにしてもよい。この場合、画像１５０、１５２のそれぞれについて基準画像のヒストグラムとのＤＰマッチングを行うことにより、補正テーブルが画像ごとに生成される。

次にこれまで述べた構成によって実現される情報処理装置の動作について説明する。図１０は情報処理装置１４が撮影画像から出力画像を生成する処理のうち、主に奥行き画像を正確に生成するための処理手順を示すフローチャートである。まずユーザが、ゲーム、各種情報処理、通信など情報処理装置１４が行えるの機能のいずれかを選択する入力を行うと（Ｓ１０）、撮影条件制御部２４は、選択された機能に対応する撮影条件を撮影条件記憶部２６から読み出し、それに基づき撮像装置１２に対し撮影条件を設定する（Ｓ１２）。

それに応じて撮像装置１２の第１カメラ２８、第２カメラ３０がそれぞれの撮影条件で撮影を開始すると、画像解析部３４の撮影画像データ取得部１１８は、同じタイミングで撮影された２つの画像のデータを取得する（Ｓ１４）。このデータにはガンマ補正がなされている。一方、画像解析部３４の補正テーブル管理部１２０は、ユーザがＳ１０で選択した機能に応じて補正テーブルを選択する（Ｓ１６）。このとき上述のように、輝度分布を揃える基準となる画像を決定し、それに応じて各画像に適用する補正テーブルを選択する。基準となる画像はＳ１４で取得した画像のいずれかでもよいし、あらかじめ用意した画像でもよい。さらに、顔領域や手の領域など、奥行き画像を高精度に求めたい特定の領域がある場合は、各画像から当該領域を切り出す設定としてもよい。

このように切り出しを行う場合、切り出した領域に対してのみ補正を行い、当該領域についてのみ奥行き画像を生成する場合と、切り出した領域における輝度ヒストグラムに対しＤＰマッチングを行って補正テーブルを作成し、補正処理自体は画像全体に対して行う場合と、をユーザが選択した機能によって切り替えてもよい。切り出す領域は、ユーザが選択した機能に応じて画像解析部３４が別途行う顔検出処理、トラッキング処理、マッチング処理などの結果を利用してよい。一方の撮影画像自体が狭角画像である場合は、広角画像を狭角画像と同じ領域で切り出す。

そして補正テーブル管理部１２０は、決定した補正テーブルが補正テーブル記憶部１２２に記憶されているか否かを確認する（Ｓ１８）。補正テーブルが記憶されておらず新たに作成する必要がある場合は（Ｓ１８のＹ）、図９で説明した手法によって補正テーブルを作成し、補正テーブル記憶部１２２に格納する（Ｓ２０）。一旦、補正テーブルを作成したら、同じ撮影条件で撮影している間は同じ補正テーブルを用いて補正することができる（Ｓ１８のＮ）。あるいは上述のように、その場で作成せずに、あらかじめ適切な補正テーブルや補正式を推定し、補正テーブル記憶部１２２に格納しておいてもよい。

補正テーブル管理部１２０は、Ｓ１６で選択した、各画像に適用する補正テーブルの識別情報を補正部１２４に通知する。必要に応じて、領域の切り出し情報についても通知する。補正部１２４は、指定された補正テーブルを補正テーブル記憶部１２２から読み出し、撮影画像データ取得部１１８から取得した一対の画像を、各補正テーブルを用いて補正する（Ｓ２２）。特定の領域のみの奥行き画像を生成する場合は、補正前に当該領域を切り出しておく。そして奥行き画像生成部１２６は、補正後の一対の画像に対しステレオマッチングを行うことにより奥行き画像を生成する（Ｓ２４）。

一方、画像解析部３４は、例えば露光時間が小さい方の画像からユーザが保持するマーカーを検出してその位置を取得する（Ｓ２６）。そして出力画像生成部３８は、奥行き画像から得られるユーザの位置、およびマーカー検出結果から得られるマーカーの位置に基づき、標準的な露光時間で撮影した画像上にグラフィックスを描画したり一部の領域に加工を行ったりして出力画像のデータを生成し、表示装置１６などに出力する（Ｓ２８）。

なおＳ２６で奥行き画像生成処理とは別に行う処理は、上記態様（１）や（２）で説明したように様々な処理へ置き換えが可能である。したがってＳ２８で出力画像を生成する処理も、上述した例に限らない。動画像を撮影する場合は、Ｓ１２からＳ２８の処理を所定のレートで繰り返す。Ｓ１２で設定する撮影条件は同じでもよいし、奥行き画像や顔検出、トラッキングなどの結果に応じて視野や焦点を変更するなどしてもよい。また、Ｓ２２で画像を補正したうえＳ２４で奥行き画像を生成する処理のレートと、Ｓ２６でマーカーを検出するレート、Ｓ２８で出力画像を生成、出力するレートは、それぞれ独立に決定してもよい。

以上述べた本実施の形態によれば、同じ空間を２つのカメラを用いて異なる条件で撮影することにより、それぞれに特化した情報を相補完的に取得するとともに、それらの画像をステレオマッチングすることにより被写体の３次元空間での位置も取得する。これにより、一対の画像を利用して取得できる情報の量を格段に増やすことができ、組み合わせによって様々な機能を発揮することができる。

撮影条件が異なる画像は、ステレオマッチングを行う前に画素値の補正を行い、画像特性が異なることによるマッチング精度の劣化を防止する。具体的には画素値の分布を揃える補正を行う。このとき、カメラ内部で行われるガンマ補正を考慮した補正量となるように、補正前の画素値と補正後の画素値とを対応づけたテーブルを作成する。当該テーブルは、各画像の画素値のヒストグラムをＤＰマッチングすることにより作成する。これにより、カメラ側のガンマ補正で用いるガンマ値が未知であったり変動したりしても、実際の画像に基づいた正確な補正が実施でき、ひいてはステレオマッチングの精度を維持できる。

補正によりどのような画素値の分布に揃えるか、また、画像全体を補正するか特定の領域のみを補正するか、といった補正条件を、ユーザが要求する機能、得られる情報の用途などに応じて切り替える。これにより、撮影条件や用途に対し最適の条件で補正が行え、最終的に出力する画像や情報の精度を高めることができる。特に顔検出処理やトラッキングなど特定の対象物を検出する処理と組み合わせ、その領域についてのみ補正テーブルを作成したり分布の合わせ込みを行うことにより、ノイズに影響されやすい暗い領域や、画素値が飽和しやすい明るい背景、窓などの領域の影響を排除することができる。結果として、特定の対象物の位置検出精度をさらに向上させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では２つのカメラで同時に撮影したステレオ画像の画素値の分布範囲を揃えたが、その対象はステレオ画像に限らず、一つの動画像を構成する複数のフレームなど異なるタイミングで撮影された画像でもよい。例えば対象物のトラッキングなどを目的にフレーム間で特徴点をマッチングしたり変化量を取得したりする場合、あるタイミングにおいて何らかの理由で露光時間などの撮影条件が変化すると、図６で説明したのと同様の問題が、変化前後に撮影されたフレーム間で発生する。

通常、マッチング対象となるフレームの撮影時間差は微少であるため、その構図にはほとんど差がないと考えられる。そこで本実施の形態と同様に補正テーブルを作成したり補正を行ったりすることにより画素値の分布範囲を揃えれば、特徴点の抽出を両フレームで同等に行え、マッチング精度が向上し、結果として対象物の動きや形状変化を精度よく追跡できる。

１０ 情報処理システム、 １２ 撮像装置、 １４ 情報処理装置、 １６ 表示装置、 １８ ネットワーク、 ２２ 入力情報取得部、 ２４ 撮影条件制御部、 ２６ 撮影条件記憶部、 ２８ 第１カメラ、 ３０ 第２カメラ、 ３４ 画像解析部、 ３８ 出力画像生成部、 １１８ 撮影画像データ取得部、 １２０ 補正テーブル管理部、 １２２ 補正テーブル記憶部、 １２４ 補正部、 １２６ 奥行き画像生成部。

Claims (11)

1. 被写体を撮影した画像データを取得して出力画像のデータを生成する情報処理装置であって、
   接続された第１のカメラおよび第２のカメラからなる一対のカメラから、同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて同時に撮影された２つの画像のデータを取得し、当該２つの画像のデータから前記個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるために両画像の画素値のヒストグラムの形状に基づき決定した補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得する画像解析部と、
   前記画像解析部が取得した前記個別の情報および前記位置情報に基づき出力画像のデータを生成して出力する出力画像生成部と、
   を備えたことを特徴とする情報処理装置。
2. 被写体を撮影した画像データを取得して出力画像のデータを生成する情報処理装置であって、
   接続された第１のカメラおよび第２のカメラからなる一対のカメラから、同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて同時に撮影された２つの画像のデータを取得し、当該２つの画像のデータから前記個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるための補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得する画像解析部と、
   前記画像解析部が取得した前記個別の情報および前記位置情報に基づき出力画像のデータを生成して出力する出力画像生成部と、
   を備え、
   前記画像解析部は、前記２つの画像の画素値のヒストグラムを生成し、動的計画法を用いたマッチングにより、画素値の軸を非線形に伸縮させながら２つのヒストグラムの形状が合致するときの画素値の変化量を離散的な画素値に対して求め、変化前後の画素値を対応づけたテーブルを前記補正規則として作成することを特徴とする情報処理装置。
3. 被写体を撮影した画像データを取得して出力画像のデータを生成する情報処理装置であって、
   接続された第１のカメラおよび第２のカメラからなる一対のカメラから、同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて同時に撮影された２つの画像のデータを取得し、当該２つの画像のデータから前記個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるための補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得する画像解析部と、
   前記画像解析部が取得した前記個別の情報および前記位置情報に基づき出力画像のデータを生成して出力する出力画像生成部と、
   を備え、
   前記画像解析部は、前記２つの画像の画素値のヒストグラムを生成し、動的計画法を用いたマッチングにより、画素値の軸を非線形に伸縮させながら、あらかじめ準備した基準画像のヒストグラムに、生成した２つのヒストグラムのそれぞれの形状が合致するときの画素値の変化量を離散的な画素値に対して求めることにより、前記２つの画像それぞれに対し、変化前後の画素値を対応づけたテーブルを前記補正規則として作成することを特徴とする情報処理装置。
4. ユーザが選択した前記情報処理装置の機能に応じて各カメラの撮影条件を決定し、前記一対のカメラを、当該撮影条件にて撮影を行うように制御する撮影条件制御部をさらに備え、
   前記画像解析部は、前記補正規則を、ユーザが選択した前記情報処理装置の機能によって切り替えることを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記画像解析部は、補正前の画素値と補正後の画素値の関係が非線形となる補正規則で画素値を補正することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記第２のカメラが撮影した画像は、被写体に含まれるターゲットが装備するマーカーの位置を検出するために撮影時の露光時間が、前記第２のカメラが撮影した画像の撮影時の露光時間より短く、
   前記画像解析部は、前記第２のカメラが撮影した画像から前記マーカーの位置を検出するとともに、前記ステレオマッチングにより前記マーカーと異なるターゲットの位置情報を取得し、
   前記出力画像生成部は、前記第１のカメラが撮影した画像に、前記マーカーの位置と前記ターゲットの位置とに対応して設定された加工を施した画像のデータを、前記出力画像のデータとして生成することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記撮影条件制御部は、前記画像解析部がステレオマッチングにより取得した位置情報に基づき、前記一対のカメラの少なくともいずれかのカメラの撮影条件を変化させることを特徴とする請求項４に記載の情報処理装置。
8. 被写体を撮影し、その画像データを利用して出力画像のデータを生成する情報処理システムであって、
   同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて被写体を同時に撮影する第１のカメラおよび第２のカメラからなる一対のカメラと、
   前記一対のカメラから取得した２つの画像のデータから前記個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるために両画像の画素値のヒストグラムの形状に基づき決定した補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得する画像解析部と、
   前記画像解析部が取得した前記個別の情報および前記位置情報に基づき出力画像のデータを生成して出力する出力画像生成部と、
   を備えた情報処理装置と、
   を備えたことを特徴とする情報処理システム。
9. 情報処理装置が、被写体を撮影した画像データを取得して出力画像のデータを生成する情報処理方法であって、
   接続された第１のカメラおよび第２のカメラからなる一対のカメラから、同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて同時に撮影された２つの画像のデータを取得するステップと、
   当該２つの画像のデータから前記個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるために両画像の画素値のヒストグラムの形状に基づき決定した補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得するステップと、
   前記個別の情報および前記位置情報に基づき出力画像のデータを生成して表示装置に出力するステップと、
   を含むことを特徴とする情報処理方法。
10. コンピュータに、被写体を撮影した画像データを取得して出力画像のデータを生成する機能を実現させるコンピュータプログラムであって、
    前記コンピュータに接続された第１のカメラおよび第２のカメラからなる一対のカメラから、同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて同時に撮影された２つの画像のデータを取得する機能と、
    当該２つの画像のデータから前個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるために両画像の画素値のヒストグラムの形状に基づき決定した補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得する機能と、
    前記個別の情報および前記位置情報に基づき出力画像のデータを生成して表示装置に出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
11. コンピュータに、被写体を撮影した画像データを取得して出力画像のデータを生成する機能を実現させるコンピュータプログラムを記録した記録媒体であって、
    前記コンピュータに接続された第１のカメラおよび第２のカメラからなる一対のカメラから、同じ被写体に関する個別の情報を得るためにそれぞれ設定された異なる撮影条件にて同時に撮影された２つの画像のデータを取得する機能と、
    当該２つの画像のデータから前記個別の情報を取得するとともに、前記２つの画像のデータのうち少なくともいずれかの画像の画素値を、前記２つの画像の画素値の分布を近似させるために両画像の画素値のヒストグラムの形状に基づき決定した補正規則に従い補正したうえ、当該２つの画像に対しステレオマッチングを行うことにより、被写体の３次元空間での位置情報を取得する機能と、
    前記個別の情報および前記位置情報に基づき出力画像のデータを生成して表示装置に出力する機能と、
    をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とする、コンピュータにて読み取り可能な記録媒体。