JP2013168120A - 立体画像処理装置、立体画像処理方法、及びプログラム - Google Patents

Abstract

【課題】複数のユーザの操作を対応する立体画像に適切に反映させることのできる立体画像処理装置を提供する。
【解決手段】立体画像処理装置１０２は、複数の立体画像を表示装置１０５に出力する出力部と、指示物を表示装置１０５に表示されている立体画像に対応付けて検出する検出部２０４と、検出部２０４で検出された前記指示物の動きから所定の操作を判定する操作判定部２０５と、操作判定部２０５で判定された所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、出力部に出力させる画像処理部２０１とを備える。
【選択図】図６

Description

本発明は、ユーザの視点位置に応じて、表示装置に表示されている３Ｄオブジェクトを空間操作する立体画像処理装置に関する。

従来、画面上に表示されている設定項目に対して空間上で操作可能な端末装置がある。

例えば、特許文献１には、画面上に表示される設定項目に対して空間上で操作を行なうことができる装置が開示されている。具体的には、操作する指の空間座標を検出することにより、画面上に表示されている設定項目とその設定値を空間的に操作する装置である。

また、特許文献１に記載の表示装置は、ユーザの指と操作面との距離情報を使用することで、ユーザは指を操作面に近づけたり遠ざけたりするだけで、設定項目の設定値の調整操作を行うことができると記載されている。

特開２０１１−１１８５１１号公報

しかしながら、特許文献１に記載の表示装置は、複数人で操作することを前提としていない。すなわち、複数のユーザそれぞれが表示装置を操作しようとした場合に、誤動作が発生する可能性がある。

そこで、本発明は、上記の課題に鑑みてなされたものであり、複数のユーザの操作を対応する立体画像に適切に反映させることのできる立体画像処理装置を提供することを目的とする。

本発明の一形態に係る立体画像処理装置は、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる。具体的には、立体画像処理装置は、複数の立体画像を前記表示装置に出力する出力部と、指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出部と、前記検出部で検出された前記指示物の動きから所定の操作を判定する操作判定部と、前記操作判定部で判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力部に出力させる画像処理部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、各ユーザの操作を対応する立体画像に反映させるので、各々のユーザが違和感なく空間操作をすることが可能な立体画像処理装置を提供することができる。

立体視表示するディスプレイの仕組みを示す図である。 ３Ｄオブジェクトの飛び出し量の関係を示す図である。 ３Ｄオブジェクトの空間操作の一例を示す図である。 複数視点からの操作の一例を示す図である。 実施の形態１に係るタブレット装置の全体構成を示す図である。 実施の形態１に係る信号処理部の機能ブロックを示す図である。 タブレット装置の周辺の状況を示す模式図である。 カメラで撮影された映像の例を示す図である。 実施の形態１に係る空間座標系を示す図である。 実施の形態１に係る表示情報テーブルを示す図である。 実施の形態１に係るユーザ位置指座標算出部の出力結果を示す図である。 実施の形態１に係る選択操作のフローチャートである。 実施の形態２に係るタブレット装置の利用例を示す図である。

（本発明の基礎となった知見）
裸眼立体視表示されている３Ｄオブジェクトを空間操作する方法の一般的な仕組みついて図面を用いて説明する。図１は、立体視表示するディスプレイの仕組みの一つであるパララックスバリア方式を説明する図である。立体的な感覚を提供し、人間の脳内で３次元映像を再現するためには、人間の左右の視覚に対して異なる視点の映像を示さなければならない。

そこで、図１に示されるパララックスバリア方式では、ディスプレイの前面にスリット（パララックスバリア）を配置して、特定の方向からのみ特定のピクセルを見ることができるようにする。これにより、左右の視覚に対して異なる映像を示すことが可能である。左右の視覚に対して異なる映像を示す他の方式としては、レンチキュラレンズを用いて各ピクセルの映像が特定の方向にのみ示されるようにする方式（レンチキュラレンズ方式）などがある。

なお、図１に示すパララックスバリア方式は、１視点からの立体視表示に関する方式であるが、特定の視点毎に特定のピクセルを見ることができるようにスリット（パララックスバリア）を配置することで、視点数を増加させた裸眼多視点ディスプレイというものも存在する。

図２は、３Ｄオブジェクトの飛び出し量と、視距離と、瞳孔間距離と、視差との関係を示した図である。視距離は、パララックスバリアの性能によって一意に決まる。具体的には、ディスプレイの大きさなどに応じてユーザが一般的に視聴する位置は固定されるため、ユーザの視聴位置に応じてパララックスバリアのスリット間隔を設計すればよい。また、瞳孔間距離は、一般的な大人の瞳孔の間隔である６ｃｍを採用してもよいし、事前に設定値を入力させる仕組みであってもよいし、カメラなどによりユーザの瞳孔間距離を計測する方式でもよい。いずれの方式であっても瞳孔間距離は、事前に決定されているパラメータである。つまり、ディスプレイに表示される視差によって、３Ｄオブジェクトの飛び出し量を一意に計算で求めることが可能である。

図３は、裸眼立体視表示されている３Ｄオブジェクトの空間操作の一例である「選択」をする場合の概念図である。三角錐の３Ｄオブジェクトの空間上の位置は、前述したパララックスバリア方式の仕組みと、視差量とによって特定することができる。一方でカメラなどのセンシングデバイスを用い、さらに画像解析などを行うことでユーザの指の位置を検出することができる。そして、３Ｄオブジェクトの飛び出し位置とユーザの指の位置との比較判定を行う事で、３Ｄオブジェクトの選択操作が可能となっている。

このように、裸眼立体視表示されている３Ｄオブジェクトを空間操作する方法において、特許文献１に開示されているように、ユーザの指と立体視表示されている３Ｄオブジェクトとの距離情報を使用することで、空間上に飛び出して表示されている仮想的な物体を実際に存在するかのように選択操作することができる。

しかしながら、特許文献１では、複数視点のそれぞれに対して表示された３Ｄオブジェクトを、複数人で操作することは考慮されていない。すなわち、このような場合には、単純にユーザの指の距離情報を使用するだけでは、操作が難しい場合がある。図４は、複数視点からの操作の一例を示す図である。

図４の例では、２視点の裸眼多視点ディスプレイを用いて、視点Ａと視点Ｂとで同じ立体視図形が同じ向きに見えるように表示させている。視点Ａと視点Ｂとで同じ立体視図形が同じ向きに見えるように表示させていることで、視点Ｂのユーザは、視点Ａのユーザが見ている立体視図形と同じ立体視図形を共有することができる。

視点Ａと視点Ｂとで同じ立体視図形が同じ向きに見えるように表示させている場合において、従来例の空間操作を適用しようと考えたときには、視点Ａのユーザからすれば立体視図形が存在しない位置に指をおいたとしても、視点Ｂのユーザが見ている立体視図形を選択してしまったりして、うまく選択操作ができないといった課題がある。

例えば、立体視図形の一番手前に見えている頂点を選択しようとした場合、視点Ａのユーザが選択する位置と、視点Ｂのユーザが選択する位置とは異なる。そのため、従来例の空間操作を適用したときには、視点Ａのユーザには、視点Ｂのユーザに対して表示される立体視図形の位置には何も表示されていないように見えるにも関わらず、視点Ｂのユーザに対して表示される立体視図形の位置に指をかざした場合には、選択操作をしてしまうといった課題がある。

そこで、上記の課題を解決するために、本発明の一形態に係る立体画像処理装置は、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる。具体的には、立体画像処理装置は、複数の立体画像を前記表示装置に出力する出力部と、指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出部と、前記検出部で検出された前記指示物の動きから所定の操作を判定する操作判定部と、前記操作判定部で判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力部に出力させる画像処理部とを備える。

上記構成によれば、ユーザの操作が対応する立体画像に適切に反映されるので、操作性の高い立体画像処理装置を得ることができる。なお、本明細書中の「指示物」とは、ユーザの手又は指であってもよいし、ユーザが持つ指示棒やマーカ等、所定の操作を行うことができるあらゆるものが該当する。また、本明細書中の「操作」とは、例えば、立体画像の選択、回転、移動、拡大、縮小等を指す。

一例として、前記操作判定部は、前記指示物が、当該指示物に対応付けられた立体画像の任意の位置に重畳したことを、前記所定の操作として判定してもよい。そして、前記画像処理部は、前記指示物が重畳した位置が選択されたことをユーザが知覚できるように、当該指示物に対応付けられた立体画像に処理を施してもよい。

本明細書中の「選択されたことをユーザが知覚できるように」とは、例えば、選択された位置の色を変える、点滅させる、明るさを変える、マーカを表示する等の画像処理を立体画像に施すことを指す。

他の例として、前記操作判定部は、前記指示物が、当該指示物に対応付けられた立体画像に対面する位置で任意の方向に移動したことを、前記所定の操作として判定してもよい。そして、前記画像処理部は、立体画像が前記指示物の移動方向に回転するように、当該指示物に対応付けられた立体画像に処理を施してもよい。

例えば、前記表示装置は、同一の立体画像を複数表示してもよい。前記画像処理部は、さらに、前記操作判定部で判定された前記所定の操作に対応付けられた処理を、当該指示物に対応づけられた以外の立体画像にも施して、前記出力部に出力させてもよい。

また、前記表示装置は、複数の視点範囲それぞれに対して立体画像を個別に表示可能であってもよい。前記出力部は、前記複数の視点範囲それぞれの立体画像を前記表示装置に出力してもよい。そして、前記検出部は、前記複数の視点範囲それぞれから前記指示物を検出し、検出した前記指示物を、当該指示物が検出された前記視点範囲の立体画像と対応付けてもよい。

但し、本発明はこれに限定されず、まず、ユーザ及びその視点位置を検出し、検出した各視点位置に対して立体画像を表示するような場合にも適用することができる。

本発明の一形態に係る立体画像処理方法は、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる方法である。具体的には、立体画像処理方法は、複数の立体画像を前記表示装置に出力する出力ステップと、指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出ステップと、前記検出ステップで検出された前記指示物の動きから所定の操作を判定する操作判定ステップと、前記操作判定ステップで判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力ステップで出力させる画像処理ステップとを含む。

本発明の一形態に係るプログラムは、コンピュータに、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる。具体的には、プログラムは、複数の立体画像を前記表示装置に出力する出力ステップと、指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出ステップと、前記検出ステップで検出された前記指示物の動きから所定の操作を判定する操作判定ステップと、前記操作判定ステップで判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力ステップで出力させる画像処理ステップとを、前記コンピュータに実行させる。

（実施の形態１）
以下、本実施の形態に係る立体画像処理装置の例であるタブレット装置について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

図５は、本実施の形態１に係る立体画像処理装置の一例であるタブレット装置の全体構成を示す図である。図５に示すように、タブレット装置１は、タッチパネル２と、メモリカード３と、カメラ４と、入出力ＩＦ部（入出力インターフェース部）１０１と、信号処理部１０２と、バッファメモリ１０３と、フラッシュメモリ１０４と、ディスプレイ１０５とを備える。

タッチパネル２は、タブレット装置１のディスプレイ１０５の前面などに配置され、ディスプレイ１０５の画面上を押すことで、タブレット装置１を操作することができる入力装置である。

メモリカード３は、タブレット装置１で起動する各種アプリケーションが必要とする情報を蓄積するための記録媒体である。メモリカード３は、例えば、半導体記録素子などで構成される。

カメラ４は、使用者を撮像するカメラである。例えば、カメラ４は、例えば、ＣＭＯＳセンサなどの撮像素子で構成される。

入出力ＩＦ部１０１は、タッチパネル２、メモリカード３、およびカメラ４などのデバイス装置を接続可能なインターフェースである。入出力ＩＦ部１０１は、信号処理部１０２とデバイス装置との間におけるコントロール信号及びデータ信号の送受信を可能にする。具体的には、入出力ＩＦ部１０１は、ユーザがタッチパネル２を押した位置の座標信号、カメラ４からの映像信号、メモリカード３からの各種アプリケーションの情報を入力情報として受け取り、信号処理部１０２に送信する。また入出力ＩＦ部１０１は、各種アプリケーションから出力される情報を信号処理部１０２から受け取り、メモリカード３に送信して記録させる。

例えば、入出力ＩＦ部１０１は、メモリカードスロットおよびＵＳＢコネクタなどで実現される。なお、図５では、入出力ＩＦ部１０１は、一つのブロックとして図示されているが、メモリカード３のためのカードスロットと、カメラ４のためのＵＳＢコネクタとを別々に備えてもよい。要するに、入出力ＩＦ部１０１は、デバイス装置とのインターフェースを実現するものであれば、どのような構成であってもよい。

信号処理部１０２は、タブレット装置１の全体を制御する。特に、信号処理部１０２は、入出力ＩＦ部１０１を介してカメラ４を制御する。さらに、信号処理部１０２は、カメラ４が取得した映像信号を画像処理する。信号処理部１０２によるカメラ４の制御には、例えば、電源制御、取得画像サイズの変更、フレームレートの変更、およびホワイトバランスの調整などが含まれる。なお、信号処理部１０２によるカメラ４の制御は、上記の制御に限定されるものではなく、カメラ４に対するどのような制御であっても構わない。

さらに、信号処理部１０２は、カメラ４が取得した映像信号に基づいて、１人以上のユーザの視点位置と、当該ユーザの１個以上の手（指示物の一例）の位置情報とを紐付けた形で検出（算出）する検出部として機能する。

ユーザの視点位置に関しては、人の形状を示す予め用意されたテンプレートを用いて、カメラ４が取得した映像信号の全体に対して画像マッチング処理を実施することで、ユーザの視点位置を特定してもよいし、顔認識などの特徴点を捉えた画像認識によりユーザの視点位置を特定してもよい。信号処理部１０２は、さらに、首、胴、腕、手などの形状を示す予め用意されたテンプレートを用いて画像マッチング処理を実施することで、特定されたユーザ視点位置と手の位置情報との紐付けを行うことができる。

また、手の位置情報は、カメラ４が取得した映像信号からディスプレイ１０５の前面に広がる実空間上における任意の一点を原点とするｘ−ｙ−ｚ空間座標で与えられる。ディスプレイ１０５から手までの距離情報に関しては、ステレオカメラを使用した方法や、赤外線光を使用した３次元距離画像センサなどを用いるなどして取得することができる。これにより、信号処理部１０２は、カメラ４が取得した映像信号から、１人以上のユーザの視点位置と、当該ユーザの１個以上の手の位置情報とを紐付けた形で検出できる。

１人以上のユーザの視点位置と１個以上の手の位置情報とを紐付けた形の検出に関しては、ユーザの操作位置を固定し、各ユーザの指先に異なる色のマーカを装着させることで、より容易に検出できる。

具体的には、２人のユーザがタブレット装置１のディスプレイ１０５を視聴している場合において、１人目は正面から青のマーカを指に装着して視聴し、２人目は右斜めから赤のマーカを指に装着して視聴する。これにより、カメラ４が取得した映像信号の全体に対してマーカの赤及び青それぞれの色抽出処理を実施するだけで、容易にユーザの視点位置と当該ユーザの手の位置情報とを紐付けた形で検出できる。

つまり、青のマーカ位置を正面の視点位置のユーザの手の位置情報とし、赤のマーカ位置を右斜めからの視点位置のユーザの手の位置情報とすることができる。さらに手の距離情報に関しても、色抽出処理によって得られたエリアの大きさによって、距離情報を特定することも容易である。

また、信号処理部１０２は、複数の立体視画像（以下、「立体画像」と表記することがある）を生成する画像処理部として機能する。立体視画像は、例えば、あらかじめ表示する対象物を異なる２つの位置に置かれたカメラで撮影して視差を生じさせた画像であってもよい。または、立体視画像は、例えば、３次元コンピュータグラフィックス（ＣＧ）のように、ポリゴンデータやテクスチャデータと呼ばれる３次元オブジェクトデータを用いて、コンピュータ内で仮想的に作成されたオブジェクトを異なる２視点から見た画像であってもよい。但し、立体視画像の具体例は上記に限定されず、ユーザが立体感を感じることのできるあらゆる方式を採用することができる。

また、信号処理部１０２は、立体視画像を生成する際に、表示される画像の飛び出し量を視距離、瞳孔間距離、および視差量から計算する。そして、信号処理部１０２は、生成した複数の立体視画像をディスプレイ１０５に出力する出力部として機能する。

さらに、信号処理部１０２は、１人以上のユーザの視点位置と、当該ユーザの１個以上の手の位置情報と、生成した立体視画像の飛び出し量とから、ユーザの手が立体視画像に対して空間上で接触したかどうかなどの判定を行う操作判定部として機能する。

上記の信号処理部１０２は、例えば、マイクロコンピュータで構成されてもよいし、ハードワイヤードな回路で構成されてもよい。

バッファメモリ１０３は、信号処理部１０２の信号処理において、ワークメモリとして用いられる。バッファメモリ１０３は、例えば、ＤＲＡＭで実現される。

フラッシュメモリ１０４は、信号処理部１０２によって実行されるオペレーティングシステムやプログラムなどを記憶している。また、フラッシュメモリ１０４には、ディスプレイ１０５で表示される立体視画像を生成するための情報が記憶されている。

ディスプレイ１０５は、信号処理部１０２で生成された立体視画像を表示する。ディスプレイ１０５は、例えば、パララックスバリア方式やレンチキュラレンズ方式などによって実現される裸眼多視点ディスプレイである。

次に、信号処理部１０２の具体的な構成について、図面を参照しながら説明する。

図６は、信号処理部１０２の機能ブロックを示す図である。図７は、タブレット装置１の周辺の状況を示す模式図である。図８は、カメラ４で撮影された映像の例を示す図である。

図６に示すように、信号処理部１０２は、立体画像生成部２０１と、ユーザ位置指座標算出部２０４と、操作判定部２０５とを備える。以下、図７に示されるように、タブレット装置１を２人のユーザα、βが使用する場合について、図６に示される各構成要素の機能を説明する。

まず、タブレット装置１の前面の空間（ディスプレイ１０５を見ることのできる空間）は、図７に示されるように、複数の視点範囲Ａ、Ｂ、Ｃ、Ｄ、Ｅに分割されている。図７に示される視点範囲Ａ〜Ｅは、それぞれディスプレイ１０５の中心から放射状に延びる仮想線によって区分された範囲としたが、これに限定されない。そして、図７の例では、視点範囲Ａにユーザαが、視点範囲Ｂにユーザβがいる。

画像処理部及び出力部として機能する立体画像生成部２０１は、複数の視点範囲それぞれの立体画像を生成し、ディスプレイ１０５に出力する。より具体的には、立体画像生成部２０１は、例えば、ユーザのタッチパネル２での操作などによって立体視画像表示のアプリケーションのアイコンが選択された際に、立体視画像を生成するように動作する。具体的には、フラッシュメモリ１０４に記憶されている立体視画像を読み出しディスプレイ１０５に表示する。

ここでは、３次元ＣＧのような、ポリゴンデータやテクスチャデータと呼ばれる３次元オブジェクトデータがフラッシュメモリ１０４に記憶されており、２視点の裸眼多視点ディスプレイに立体視画像を表示する例を用いて説明する。２視点の裸眼多視点ディスプレイは、例えばディスプレイ正面（図７の視点範囲Ａ）から見た立体視画像と、ディスプレイ正面に対して右４５度（図７の視点範囲Ｂ）から見た立体視画像とを個別に表示する。

すなわち、立体画像生成部２０１は、３次元オブジェクトデータをフラッシュメモリ１０４から取得すると、ＯｐｅｎＧＬ（登録商標）などの描画ＡＰＩを利用して、グラフィックメモリ（立体画像生成部２０１に内蔵、図示せず）上に３次元オブジェクトデータに基づく立体視画像を仮想的に描画する。さらに、仮想的に描画された立体視画像に対して第一の視点から見た画像を正面画像として定義し、第一の視点（図７のユーザαの視点）からの右目用画像及び左目用画像を正面用の視差画像として生成する。

視差画像の生成に関しては、例えば、裸眼多視点ディスプレイの最適視聴距離（例えば、３０ｃｍ）、及びユーザの瞳孔間距離（例えば、６ｃｍ）等を事前に定義しておくことで、飛び出し量が特定可能な視差画像が生成できる。具体的には、ＯｐｅｎＧＬ（登録商標）を利用した例で説明すれば、グラフィックメモリ上に仮想的に描画された立体視画像から３０ｃｍ離れた視点位置に対して６ｃｍの間隔で仮想的なカメラを２個配置し、２個のカメラから取得される画像を右目用画像及び左目用画像として視差画像を生成することで、仮想的に描画された立体視画像の各頂点ならびに各面の実際の空間における飛び出し量が把握可能である。

同様にして、第一の視点から右に４５度移動した位置にある第二の視点（図７のユーザβの視点）に対応した視差画像も生成することができる。

以下、タブレット装置１が、図７の視点範囲Ａ及び視点範囲Ｂに対して個別に立体視画像を表示する例を説明する。ここで、視点範囲に対して表示される立体視画像と、当該視点範囲に含まれるユーザ視点位置に対して表示される立体視画像とは、同一の立体視画像を指すものとする。

また、立体画像生成部２０１は、第一の視点から見た立体視画像に対して生成される飛び出し量データを第一表示情報２０２として保持し、第二の視点から見た立体視画像に対して生成される飛び出し量データを第二表示情報２０３として保持する。

さらに、立体画像生成部２０１は、操作判定部２０５で判定された所定の操作に対応付けられた処理を、当該指示物に対応付けられた視点範囲の立体視画像に施して、ディスプレイ１０５に出力する。

立体視画像に対する処理の一例として、立体視画像の任意の部分を「選択」する操作がなされたと操作判定部２０５で判定された場合、立体画像生成部２０１は、指示物が重畳した位置が選択されたことをユーザが知覚できるように、当該指示物に対応付けられた視点範囲の立体視画像に処理（色を変える、点滅させる、明るさを変える、マーカを表示する等）を施す。

立体視画像に対する処理の他の例として、立体視画像を「回転」させる操作がなされたと操作判定部２０５で判定された場合、立体画像生成部２０１は、立体視画像が指示物の移動方向に回転するように、当該指示物に対応付けられた視点範囲の立体視画像に処理（角度が変化した画像を順に生成する）を施す。

検出部として機能するユーザ位置指座標算出部２０４は、複数の視点範囲のそれぞれから指示物を検出する。より具体的には、ユーザ位置指座標算出部２０４は、カメラ４で取得された映像信号を、入出力ＩＦ部１０１を介して受信する。また、ユーザ位置指座標算出部２０４は、この映像信号に対してパターンマッチングなどの画像処理を行う。このパターンマッチングは、ユーザ視点位置と当該ユーザの手の像とを抽出するための画像処理である。

具体的には、ユーザ位置指座標算出部２０４は、映像信号で示される映像領域から顔認識技術を用いてユーザの位置を二次元座標値として算出する。例えばユーザの位置は、映像領域の中心を原点とした二次元座標値（ｘ，ｙ）で特定される。そして、ユーザ位置指座標算出部２０４は、ユーザの位置のｘ座標を基に、ディスプレイ１０５に対しての視聴角度情報としてユーザ視点位置（θ）を算出する。ここでは後述の処理を簡略化するために、図８に示されるように、映像領域の中心から右側のｘ座標を負の値とし、映像領域の中心から左側のｘ座標を正の値とする。

すなわち、ディスプレイ１０５に対して右側から操作しているユーザβは、図８に示されるように、カメラ４で撮影された映像領域においては左側に位置する。そして、このユーザβの二次元座標値（ｘ，ｙ）のｘ座標は、正の値（図８の例では、８０）となる。以下、正面から視聴しているユーザαのユーザ視点位置を０度とし、ディスプレイ１０５に対して右から視聴しているユーザβのユーザ視点位置を０度から９０度の角度で定義し、ディスプレイ１０５に対して左から視聴しているユーザ（図示省略）のユーザ視点位置を０度から−９０度で定義する。

１８０度の広角に撮影可能なカメラ４を用い、二次元座標値として算出可能なユーザの位置のｘ座標の範囲を−１６０度から１６０度とすると、ユーザ視点位置（θ）は、式１で与えられる。

すなわち、図８の例において、映像領域上のｘ座標が０であるユーザαのユーザ視点位置（θ）は０度であり、映像領域上のｘ座標が８０であるユーザβのユーザ視点位置（θ）は４５度である。

さらに、ユーザ位置指座標算出部２０４は、映像信号で示される映像領域から手などの形状を示す予め用意されたテンプレートを用いて画像マッチング処理を実施することで、ユーザの手の位置情報をディスプレイ面の中心を原点とした実空間上の三次元座標値（ｘ，ｙ，ｚ）として算出する。三次元座標の算出方法としては、ステレオカメラを用いて対象点の三次元座標を求める方法や、距離画像カメラと呼ばれる赤外線光を使用したカメラを使用することで対象点までの距離を求める方法がある。

さらに、ユーザ位置指座標算出部２０４は、算出されたユーザ視点位置（θ）と当該ユーザの手の位置情報とを一意に紐付ける。具体的には、ユーザ位置指座標算出部２０４は、ユーザ視点位置（θ）から、首、胴、腕、手などの形状を示す予め用意されたテンプレートを用いて画像マッチング処理を実施する。これにより、ユーザ位置指座標算出部２０４は、特定されたユーザ視点位置（θ）から人モデルの形状を作成し、ユーザ視点位置（θ）と当該ユーザの手の位置情報との紐付けを行う。

操作判定部２０５は、ユーザ位置指座標算出部２０４で検出された指示物の動きから所定の操作を判定する。

所定の操作の一例として、指示物が、当該指示物に対応付けられた視点範囲の立体視画像の任意の位置に重畳した場合、操作判定部２０５は、当該位置を「選択」する操作であると判定する。一方、操作判定部２０５は、指示物が他の視点範囲の立体視画像に重畳しても「選択」とは判定しない。

所定の操作の他の例として、指示物が、当該指示物に対応付けられた視点範囲の立体視画像に対面する位置で任意の方向に移動した場合、操作判定部２０５は、当該立体視画像を「回転」させる操作であると判定する。一方、操作判定部２０５は、指示物が他の視点範囲の立体視画像に対面する位置で移動しても「回転」とは判定しない。

より具体的には、操作判定部２０５は、ユーザ位置指座標算出部２０４で算出された１人以上のユーザ視点位置と当該ユーザの１個以上の手の位置情報とを取得し、ユーザ視点位置に応じた表示情報（飛び出し量データ）を立体画像生成部２０１の第一表示情報２０２または第二表示情報２０３より取得する。そして、操作判定部２０５は、取得した表示情報（飛び出し量データ）とユーザ視点位置に対応した手の位置情報とを比較し、立体視画像に対する「選択」などの操作がなされたか否かを判定する。

具体的には、操作判定部２０５は、ユーザ視点位置（０度）に対応する手の位置情報（ｘ０，ｙ０，ｚ０）をユーザ位置指座標算出部２０４から取得し、ユーザ視点位置（０度）に対する表示情報としての第一表示情報２０２を立体画像生成部２０１から取得する。さらに、操作判定部２０５は、第一表示情報２０２に保持されている立体視画像の飛び出し量データと手の位置情報（ｘ０，ｙ０，ｚ０）とを比較する。比較した結果、ユーザの手が立体視画像の輪郭に触れていると判定した場合、操作判定部２０５は、ユーザによって当該立体視画像を「選択」する操作がなされたと判定する。

図９は、実空間における三次元座標系を図示したものである。ディスプレイ１０５の中心を原点とした距離（ｃｍ）を単位とする座標系を示しており、中心座標（ｘｃ，ｙｃ，ｚｃ）は（０，０，０）で表現される。ディスプレイ１０５の表示面上の左右方向をＸ軸とし、ユーザの視聴エリアから見てディスプレイ１０５の中心から右側ではＸ座標は正の値を有し、左側では負の値を有する。また、ディスプレイ１０５の表示面上の上下方向をＹ軸とし、ユーザの視聴エリアから見てディスプレイ１０５の中心から上側ではＹ座標は正の値を有し、下側では負の値を有する。さらに、ＸＹ平面に対して鉛直方向をＺ軸とし、ディスプレイ１０５の表示面からユーザの視聴エリア方向ではＺ座標は正の値を有し、ディスプレイ１０５の表示面からユーザの視聴エリアとは反対の奥行き方向に対しては負の値を有する。すなわち、Ｚ座標の正の値は、ディスプレイ面に対して立体視画像が飛び出していることを意味し、Ｚ座標の負の値は、ディスプレイ面に対して立体視画像が引っ込んでいることを意味する。

また、ユーザ視点位置（θ）に関しては、Ｘ座標が正の値の位置から視聴しているユーザのユーザ視点位置（θ）を０度〜９０度の値で表現し、Ｘ座標が負の値の位置から視聴しているユーザのユーザ視点位置（θ）を−９０度〜０度の値で表現する。

本座標系は、ユーザの視聴位置に関わらず一意に決まる座標系であって、ユーザ視点位置（０度）とユーザ視点位置（４５度）との両方で同一座標系を利用する。

図１０は、立体画像生成部２０１が第一表示情報２０２および第二表示情報２０３として保持している表示情報を示す表示情報テーブル４０１を説明する図である。表示情報テーブル４０１は、立体画像生成部２０１が立体視画像の生成時に生成する第一表示情報２０２と第二表示情報２０３とを有する。各々の表示情報（広義）には、ユーザ視点位置と表示情報（狭義）と頂点座標とが含まれている。

図１０に示される第一表示情報２０２は、視点範囲Ａ（ユーザ視点位置（０度）のユーザα）に対して表示する三角錐の表示情報である。第一表示情報２０２で特定される三角錐は、三次元座標値（０，０，３）の位置に浮かび上がる頂点がディスプレイ１０５の表示面に対して最も飛び出した位置の頂点となる三角錐である。

具体的には、第一表示情報２０２のユーザ視点位置情報には、０度の値が記憶されている。さらに、第一表示情報２０２の表示情報には、ユーザ視点位置（０度）に対する表示情報が記憶されている。表示情報は、３次元コンピュータグラフィックス（ＣＧ）のように、ポリゴンデータやテクスチャデータと呼ばれる３次元オブジェクトデータを用いて、コンピュータ内で仮想的に描画された立体視画像に関するものである。さらに、第一表示情報２０２の頂点座標には、ユーザ視点位置（０度）から見た三角錐の飛び出し量が頂点座標として記録されている。

図１０に示される第二表示情報２０３は、視点範囲Ｂ（ユーザ視点位置（４５度）のユーザβ）に対して表示する三角錐の表示情報である。第二表示情報２０３で特定される三角錐は、ユーザ視点位置（０度）のユーザαから見た三角錐と同じように見える。

具体的には、第二表示情報２０３のユーザ視点位置情報には、４５度の値が記憶されている。さらに、第二表示情報２０３の表示情報には、ユーザ視点位置（４５度）に対する表示情報が記憶されている。例えば、第二表示情報２０３の表示情報には、第一表示情報２０２によって示される立体視画像をＹ軸を中心にθ＝４５°回転させた立体視画像を示す表示情報が記憶されている。具体的には、第二表示情報２０３の飛び出し量データ（Ｘ，Ｙ，Ｚ）は、第一表示情報２０２の飛び出し量データ（ｘ，ｙ，ｚ）に対して式２の行列変換式を適用することで算出できる。

さらに、第二表示情報２０３の頂点座標には、ユーザ視点位置（４５度）から見た三角錐の飛び出し量が頂点座標として記録されている。

第一表示情報２０２及び第二表示情報２０３で特定される立体視画像を裸眼多視点対応のディスプレイ１０５に表示することで、ユーザ視点位置（０度）のユーザαとユーザ視点位置（４５度）のユーザβとは、同一の三角錐を共有することができる。

図１１は、ユーザ位置指座標算出部２０４が、ユーザ視点位置（θ）と実空間上の三次元座標値（ｘ，ｙ，ｚ）として算出されたユーザの手の位置情報とを一意に紐付けた出力結果５０１の一例である。

図１１の例では、時刻Ｔ１におけるユーザ位置指座標算出部２０４の算出結果として、ユーザ視点位置（０度）のユーザαと三次元座標値としてのユーザαの指座標（０，０，３）とが算出される。また、時刻Ｔ１よりも未来の時刻Ｔ２におけるユーザ位置指座標算出部２０４の算出結果として、ユーザ視点位置（４５度）のユーザβと三次元座標値としてのユーザβの指座標（−２．１，０，２．１）とが算出される。さらに、時刻Ｔ２よりも未来の時刻Ｔ３におけるユーザ位置指座標算出部２０４の算出結果として、ユーザ視点位置（０度）のユーザαと三次元座標値としてのユーザαの指座標（−２．１，０，２．１）とが算出される。

表示情報テーブル４０１の内容が裸眼多視点対応のディスプレイ１０５に表示されている場合において、時刻Ｔ１におけるユーザ位置指座標算出部２０４の算出結果としてユーザ視点位置（０度）のユーザαと三次元座標値としてのユーザαの指座標（０，０，３）とが算出された場合について説明する。このとき、操作判定部２０５は、ユーザ視点位置（０度）に対応する第一表示情報２０２の頂点座標と、時刻Ｔ１におけるユーザ位置指座標算出部２０４の算出結果とを比較する。

具体的には、操作判定部２０５は、三次元座標値としてのユーザαの指座標（０，０，３）が第一表示情報２０２の頂点座標と重なるかを判定することによって接触判定を行う。三次元座標値としてのユーザの指座標を（ｘｕ，ｙｕ，ｚｕ）とし、対応する立体視画像の頂点座標を（ｘｖ，ｙｖ，ｚｖ）とし、ユーザの指座標と頂点座標との距離がＬ以下（Ｌは０以上の値）の場合に、ユーザの手と立体視画像の頂点とが接触したと判定する式３を適用する。すなわち、操作判定部２０５は、式３を満たした場合に、ユーザの手と立体視画像の頂点とが接触（重畳）したと判定する。

例えば、距離Ｌを０とした場合にユーザの手と立体視画像の頂点とが接触したと判定するとき、操作判定部２０５は、第一表示情報２０２の全ての頂点座標Ａ、Ｂ、Ｃ、Ｄとユーザの指座標（０，０，３）とに対して式３を適用して接触判定を行う。この例では、頂点Ｃが式３を満たすため、操作判定部２０５は、ユーザ視点位置（０度）のユーザの手が頂点Ｃと接触したと判定する。

次に、時刻Ｔ２におけるユーザ位置指座標算出部２０４の算出結果としてユーザ視点位置（４５度）のユーザβと三次元座標値としてのユーザβの指座標（−２．１，０，２．１）とが算出された場合について説明する。このとき、操作判定部２０５は、ユーザ視点位置（４５度）に対応する第二表示情報２０３の頂点座標と、時刻Ｔ２におけるユーザ位置指座標算出部２０４の算出結果とを比較することによって、前述の時刻Ｔ１における接触判定と同様の接触判定を行う。

次に、時刻Ｔ３におけるユーザ位置指座標算出部２０４の算出結果としてユーザ視点位置（０度）のユーザαと三次元座標値としてのユーザαの指座標（−２．１，０，２．１）とが算出された場合について説明する。三次元座標値としてのユーザαの指座標（−２．１，０，２．１）は、視点範囲Ｂに表示されている立体視画像の頂点Ｃに重畳している。すなわち、ユーザ視点位置（０度）のユーザαが視点範囲Ｂの立体視画像に指をかざした状態である。つまり、ユーザ視点位置（０度）のユーザαは、何も表示されていない（ユーザαには何も見えていない）空間に指をかざしていることになる。

この場合も同様に、操作判定部２０５は、ユーザ視点位置（０度）に対応する第一表示情報２０２の頂点座標と、時刻Ｔ３におけるユーザ位置指座標算出部２０４の算出結果とを比較することにより、前述の時刻Ｔ１における接触判定と同様の接触判定を行う。

式３における距離Ｌを０とした場合、式３の条件を満たす頂点は見つからないため、操作判定部２０５は、ユーザαの手と立体視画像の頂点とは接触していないと判定することが可能である。つまり、ユーザ視点位置（４５度）のユーザβに対する立体視画像が表示されている位置に、ユーザ視点位置（０度）のユーザαが指をかざす動作をしても、他視点の立体視画像に対する選択操作などの誤動作は起こらない。その結果、ユーザ視点位置に応じた所望の動作を実現できる。

上記の例では、式３の距離Ｌを０とした場合を説明したが、０以上の値であってもよい。すなわち、ユーザの手と立体視画像の頂点とが接触（重畳）したとみなすことが許容できるような値あれば、どのような値であってもよいことはいうまでもない。

また、ユーザの指座標と頂点座標との距離を基準とした接触判定ではなく、立体視画像を構成する辺又は面にユーザの手が触れたことを接触判定に用いてもよい。つまり、ユーザの指座標が立体視画像を触っていることが認識できる方法であればどのような方法であってもよい。

また、ユーザ位置指座標算出部２０４は、各時刻（Ｔ１，Ｔ２，Ｔ３）において、それぞれ１人のユーザのユーザ視点位置（θ）と実空間上の三次元座標値（ｘ，ｙ，ｚ）として算出されたユーザの手の位置情報とを出力しているが、同時刻において２人分の出力を行ってもよい。つまり、時刻Ｔ１のユーザ視点位置（０度）のユーザαの情報と、時刻Ｔ２のユーザ視点位置（４５度）のユーザβの情報とが、同時刻Ｔ１に出力されても構わない。

図１２は、本実施の形態に係る信号処理部１０２が、ユーザによる選択操作を受け付ける処理の一例を示すフローチャートである。以下、説明の便宜上、タッチパネル２を介してアプリケーションを起動する場合の動作を説明する。

タッチパネル２は、ユーザの操作を受け付け、アプリケーションを起動するための信号を入出力ＩＦ部１０１に送信する。例えば、ユーザは、ディスプレイ１０５上に表示されているアプリケーションを起動するためのアイコンをタップする。次に、信号処理部１０２は、入出力ＩＦ部１０１を介して、アプリケーションを起動するための信号を受信すると、入出力ＩＦ部１０１を介して、カメラ４に電源ＯＮ信号を送信する。カメラ４は、電源ＯＮ信号を受信した時、起動を開始し、初期設定などの実行後、使用者の撮影を開始する。そして、カメラ４は、撮影で得られた映像信号を、入出力ＩＦ部１０１を介して、ユーザ位置指座標算出部２０４に出力する（Ｓ６０１）。

さらに、信号処理部１０２は、アプリケーションを起動するための信号を受信すると、立体画像生成部２０１に各視点範囲の立体視画像を生成するよう指示する。立体画像生成部２０１は、信号処理部１０２から指示を受け付けると、フラッシュメモリ１０４に格納されているポリゴンデータやテクスチャデータなどの３次元オブジェクトデータを読み出す。

そして、立体画像生成部２０１は、読み出した３次元オブジェクトデータから視点範囲Ａ（ユーザ視点位置（０度））に対応する表示情報及び頂点座標を計算して第一表示情報２０２として保持すると同時に、視点範囲Ａ（ユーザ視点位置（０度））に対応する立体視画像を生成し、裸眼多視点対応のディスプレイ１０５に表示させる。

さらに、立体画像生成部２０１は、第一表示情報２０２を基に、行列変換などの変換式（例えば、式２）により、視点範囲Ｂ（ユーザ視点位置（４５度））に対応する表示情報及び頂点座標を計算して第二表示情報２０３として保持すると同時に、視点範囲Ｂ（ユーザ視点位置（４５度））に対応する立体視画像を生成し、裸眼多視点対応のディスプレイ１０５に表示させる（Ｓ６０２）。

次に、ユーザ位置指座標算出部２０４は、入出力ＩＦ部１０１を介して、カメラ４から送信された映像信号を連続的に受信する。ユーザ位置指座標算出部２０４は、受信した映像信号を信号処理し、ユーザ視点位置と当該ユーザの手の位置情報である三次元座標値とを算出する（Ｓ６０３）。

ユーザ位置指座標算出部２０４は、算出したユーザ視点位置と当該ユーザの手の位置情報である三次元座標値とを操作判定部２０５に出力する。なお、ユーザ位置指座標算出部２０４は、連続して受信した映像信号に対して順次画像処理を実行し、画像処理の結果であるユーザ視点位置と当該ユーザの手の位置情報である三次元座標値とを連続的に操作判定部２０５に出力する。

操作判定部２０５は、ユーザ位置指座標算出部２０４から連続的に出力されるユーザ視点位置に応じた表示情報を、立体画像生成部２０１が保持する表示情報テーブル４０１から取得する（Ｓ６０４）。

操作判定部２０５は、ステップＳ６０４で取得した表示情報の頂点座標と、ユーザ視点位置に対応した手の位置情報である三次元座標値とを比較し、接触判定を行う。判定の結果、ユーザの手が対応する立体視画像に接触していないと判定した場合は、ステップＳ６０３の処理に戻る。一方、ユーザの手が対応する立体視画像に接触していると判定した場合は、ステップＳ６０６に進む（Ｓ６０５）。

操作判定部２０５は、ステップＳ６０５で接触していると判定した場合、ユーザが立体視画像に対する選択操作をしていることを、立体画像生成部２０１に通知する。つまり、ステップＳ６０５でユーザ視点位置（０度）のユーザαの手の位置情報である三次元座標値が立体視画像のいずれかの頂点と接触していると判定した場合、操作判定部２０５は、立体画像生成部２０１に、第一表示情報２０２の表示情報に対して立体視画像が選択されたことをユーザαが明示的に判断可能な表示を、立体視画像に付すように指示する（Ｓ６０６）。なお、「選択されたことを判断可能な表示」とは、例えば、選択された頂点の色を変える、頂点を点滅させる、明るさを変更する、マーカを表示する等、あらゆる方法を用いることができる。

ステップＳ６０６において、ユーザ視点位置（０度）のユーザαの手の位置情報である三次元座標値が立体視画像のいずれかの頂点と接触していると判定した場合、操作判定部２０５は、第一表示情報２０２の表示情報に対して立体視画像が選択されたことをユーザαが明示的に判断可能な表示を立体視画像に付すように立体画像生成部２０１に指示するようにしているが、立体画像生成部２０１に立体視画像が選択されたことをユーザが明示的に判断可能な表示を立体視画像に付すように指示するだけにしてもよい。

そして、立体画像生成部２０１は、ユーザ視点位置（０度）のユーザα及びユーザ視点位置（４５度）のユーザβのいずれもが、立体視画像が選択されたことを明示的に判断可能な表示が付された立体視画像を共有するようにしてもよい。すなわち、立体画像生成部２０１は、視点範囲Ａの立体視画像に対して行われた操作に対する処理を、視点範囲Ａの立体視画像のみならず、他の視点範囲Ｂ〜Ｅの立体視画像に施してもよい。

本実施の形態１に係るタブレット装置１は、多視点裸眼ディスプレイを備え、複数視点から空間操作可能な立体視画像を表示する。このタブレット装置１は、複数視点の立体画像を生成する立体画像生成部２０１と、空間操作する複数ユーザの視点位置と三次元座標で示されるユーザの指座標位置とを算出するユーザ位置指座標算出部２０４と、ユーザによる立体視画像の空間操作を判定する操作判定部２０５とを備え、ユーザの視点位置に対応した動作を行う。

これにより、タブレット装置１は、多視点裸眼ディスプレイに表示される立体視画像を複数のユーザで空間操作する場合に、各視点のユーザに応じた操作をする事ができる。したがって、タブレット装置１の操作性が向上する。

以上、本実施の形態１について説明したが、本発明は上記の例に限定されない。

すなわち、本実施の形態１では、操作判定部２０５の操作判定を「選択」操作の一例のみで説明しているが、立体視画像の移動、拡大、縮小、回転など、立体視画像に対する操作であればどのような操作であっても本発明を適用できることはいうまでもない。

例えば、操作判定部２０５は、立体視画像に対面する位置で、立体視画像とユーザとを結ぶ線に直交する任意の方向に手を移動させる動作を、「回転」の操作と判定する。この場合、立体画像生成部２０１は、手が移動する方向に立体視画像を回転させればよい。

また、操作判定部２０５は、立体視画像に対面する位置で、立体視画像とユーザとを結ぶ線に平行な方向に手を移動させる動作を、「拡大（立体視画像から遠ざかる方向に手を移動させる）」又は「縮小（立体視画像に近づく方向に手を移動させる）」の操作と判定する。この場合、立体画像生成部２０１は、手の移動量に応じて立体視画像を拡大又は縮小させればよい。

ここで、図７の視点範囲Ｂにいるユーザβが上記の回転操作を行おうとした場合、ユーザβの手は、ディスプレイ１０５を基準として見ると、左手前（図７の紙面右上）から右奥（図７の紙面左下）の方向に動くように見える。そのため、操作判定部２０５は、ディスプレイ１０５を基準としてユーザの操作を判定しようとすると、上記の操作が回転操作であるのか、拡大操作又は縮小操作であるかを誤判定する可能性がある。

そこで、本実施の形態１に係る操作判定部２０５は、各視点範囲に対応付けられた立体視映像とユーザの手との位置関係を考慮して、ユーザの操作を判定する。その結果、上記のような誤判定を有効に防止することができる。

また、本実施の形態１では、ユーザ位置指座標算出部２０４が１つの視点範囲（ユーザ視点位置）に対して１つの実空間上の三次元座標値（ｘ，ｙ，ｚ）のみを算出する一例を示しているが、１つの視点範囲（ユーザ視点位置）に対して複数の実空間上の三次元座標値（ｘ，ｙ，ｚ）を算出してもよい。例えば、ユーザ位置指座標算出部２０４は、より精度の高い画像処理を行い、親指の位置と人差し指の位置とを別々に認識することで、１つのユーザ視点位置に対して親指の位置及び人差し指の位置の２つの実空間上の三次元座標値を算出してもよい。

これにより、タブレット装置１は、選択等の操作に加えて、立体視表示されている立体視画像を「摘む」といった、より複雑な操作が実現可能となり、ユーザの操作方法が増え利便性が向上する。

また、本実施の形態１に係るタブレット装置１は、カメラ４及びディスプレイ１０５を備えているが、カメラ４及びディスプレイ１０５は、立体画像処理装置の必須の構成要素ではない。すなわち、立体画像処理装置は、図６の信号処理部１０２に相当し、外部のカメラ４から映像を取得すると共に、外部のディスプレイ１０５に立体視画像を出力する構成であってもよい。

また、本実施の形態１では、複数のユーザ視点位置において同一の立体視画像を表示する一例のみを示しているが、複数のユーザ視点位置において別の立体視画像を表示してもよい。

これにより、複数のユーザが同時にタブレット装置１を使用する場合でも、各々が別々の立体視コンテンツを視聴することができるという効果を奏する。

（実施の形態２）
実施の形態２では、実施の形態１に示されたタブレット装置１の利用例をより具体的に示す。実施の形態２に係るタブレット装置１は、実施の形態１に係るタブレット装置１と同様の構成要素を備える。

図１３は、実施の形態２に係るタブレット装置１の利用例を示す図である。本実施の形態２では、ユーザ視点位置（０度）とユーザ視点位置（４５度）とで、異なる立体視画像が表示されている場合の操作の一例である。例えば、タブレット装置１が、公共の施設などの壁面に設置されており、複数のユーザで使用するデジタルサイネージなどに適用される場合、各々のユーザ（各視点範囲）に別々の立体視画像を表示することで効果的に広告を行えるといった効果を奏する。

例えば、ユーザ視点位置（０度）のユーザαには、視聴しているコンテンツなどを削除する際の削除確認メッセージダイアログが立体視画像として表示されており、第一表示情報２０２に立体視画像の頂点座標が記憶されているとする。また、ユーザ視点位置（４５度）のユーザβには、左右を選択する際の矢印ボタンが立体視画像として表示されており、第二表示情報２０３に立体視画像の頂点座標が記憶されているとする。

本実施の形態２では、便宜上、削除確認メッセージダイアログの「はい」ボタンの頂点座標と、左右を選択する際の「左矢印ボタン」の頂点座標とが同一の頂点座標となっており、削除確認メッセージダイアログの「いいえ」ボタンの頂点座標と、左右を選択する際の「右矢印」ボタンの頂点座標とが同一の頂点座標となっているとする。

ユーザ視点位置（０度）のユーザαによる「いいえ」ボタンの押下時に、操作判定部２０５は、立体画像生成部２０１が保持する表示情報テーブル４０１の第一表示情報２０２の頂点座標と、ユーザ視点位置（０度）のユーザαの手の位置座標である三次元座標値とを用いて接触判定を行う。その結果、操作判定部２０５は、ユーザ視点位置（０度）のユーザαの手が「いいえ」ボタンに接触したと判定し、判定結果を立体画像生成部２０１に通知する。

操作判定部２０５の判定結果を取得した立体画像生成部２０１は、ユーザ視点位置（０度）のユーザαの指示（「いいえ」ボタンの押下）に従ってコンテンツなどの削除は行わず、画面を変更する。たとえば、立体画像生成部２０１は、当該コンテンツの映像などを継続して表示したりする。

同様に、ユーザ視点位置（４５度）のユーザβによる「左矢印」ボタン押下時に、操作判定部２０５は、立体画像生成部２０１が保持する表示情報テーブル４０１の第二表示情報２０３の頂点座標と、ユーザ視点位置（４５度）のユーザβの手の位置座標である三次元座標値とを用いて接触判定を行う。その結果、操作判定部２０５は、ユーザβの手が「左矢印」ボタンに接触したと判定し、判定結果を立体画像生成部２０１に通知する。

操作判定部２０５の判定結果を取得した立体画像生成部２０１は、ユーザ視点位置（４５度）のユーザβの指示（「左矢印」ボタンの押下）に従って、立体画像生成部２０１に画面を変更するように指示する。例えば、立体画像生成部２０１は、表示されている地図情報などを左へスクロールさせたりする。

上記構成のタブレット装置１において、ユーザ視点位置（０度）のユーザαに対して表示している「はい」ボタンの位置に、ユーザ視点位置（４５度）のユーザβが指を重畳させたとしても、ユーザ視点位置（０度）のユーザαが視聴しているコンテンツの削除などは行われない。すなわち、上記のユーザ視点位置（４５度）のユーザβの動作は、ユーザ視点位置（４５度）のユーザβに対して表示されている「左矢印」ボタンを押下した動作と判断される。その結果、各視点のユーザに応じた操作を実現できる。したがって、タブレット装置１の操作性が向上し、効果的な表示が可能となる。

以上、立体画像処理装置の例であるタブレット装置１を、複数の実施の形態に基づいて説明したが、本発明はそれらの実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態、および、実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。

例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。

また、本発明は、立体画像処理装置として実現できるだけでなく、立体画像処理装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現できる。

すなわち、本発明の一形態に係る立体画像処理方法は、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる方法であって、複数の立体画像を表示装置に出力する出力ステップと、指示物を表示装置に表示されている立体画像に対応付けて検出する検出ステップと、検出ステップで検出された指示物の動きから所定の操作を判定する操作判定ステップと、操作判定ステップで判定された所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、出力ステップで出力させる画像処理ステップとを含む。

また、本発明の一形態に係るプログラムは、コンピュータに、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させるプログラムであって、複数の立体画像を表示装置に出力する出力ステップと、指示物を表示装置に表示されている立体画像に対応付けて検出する検出ステップと、検出ステップで検出された指示物の動きから所定の操作を判定する操作判定ステップと、操作判定ステップで判定された所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、出力ステップで出力させる画像処理ステップとを、コンピュータに実行させる。

また、立体画像処理装置に含まれる複数の構成要素は、集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。例えば、記憶部以外の構成要素が１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、立体画像処理装置に含まれる構成要素の集積回路化を行ってもよい。

また、集積回路化の際、複数の機能ブロックのうち、データを格納するユニットだけを１チップ化の構成に取り込まず、別の構成としてもよい。

上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明に係る立体画像処理装置は、複数の視点位置ごとに立体視画像を空間操作可能にするため、タブレット装置、テレビ、デジタルカメラ、パーソナルコンピュータおよびカメラ付き携帯電話機などに適用できる。

１ タブレット装置
２ タッチパネル
３ メモリカード
４ カメラ
１０１ 入出力ＩＦ部
１０２ 信号処理部
１０３ バッファメモリ
１０４ フラッシュメモリ
１０５ ディスプレイ
２０１ 立体画像生成部
２０２ 第一表示情報
２０３ 第二表示情報
２０４ ユーザ位置指座標算出部
２０５ 操作判定部
４０１ 表示情報テーブル
５０１ 出力結果

Claims (7)

1. 複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる立体画像処理装置であって、
   複数の立体画像を前記表示装置に出力する出力部と、
   指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出部と、
   前記検出部で検出された前記指示物の動きから所定の操作を判定する操作判定部と、
   前記操作判定部で判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力部に出力させる画像処理部とを備える
   立体画像処理装置。
2. 前記操作判定部は、前記指示物が、当該指示物に対応付けられた立体画像の任意の位置に重畳したことを、前記所定の操作として判定し、
   前記画像処理部は、前記指示物が重畳した位置が選択されたことをユーザが知覚できるように、当該指示物に対応付けられた立体画像に処理を施す
   請求項１に記載の立体画像処理装置。
3. 前記操作判定部は、前記指示物が、当該指示物に対応付けられた立体画像に対面する位置で任意の方向に移動したことを、前記所定の操作として判定し、
   前記画像処理部は、立体画像が前記指示物の移動方向に回転するように、当該指示物に対応付けられた立体画像に処理を施す
   請求項１又は２に記載の立体画像処理装置。
4. 前記表示装置は、同一の立体画像を複数表示し、
   前記画像処理部は、さらに、前記操作判定部で判定された前記所定の操作に対応付けられた処理を、当該指示物に対応づけられた以外の立体画像にも施して、前記出力部に出力させる
   請求項１〜３のいずれか１項に記載の立体画像処理装置。
5. 前記表示装置は、複数の視点範囲それぞれに対して立体画像を個別に表示可能であり、
   前記出力部は、前記複数の視点範囲それぞれの立体画像を前記表示装置に出力し、
   前記検出部は、前記複数の視点範囲それぞれから前記指示物を検出し、検出した前記指示物を、当該指示物が検出された前記視点範囲の立体画像と対応付ける
   請求項１〜４のいずれか１項に記載の立体画像処理装置。
6. 複数の立体画像を個別に表示可能な表示装置に立体画像を表示させる立体画像処理方法であって、
   複数の立体画像を前記表示装置に出力する出力ステップと、
   指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出ステップと、
   前記検出ステップで検出された前記指示物の動きから所定の操作を判定する操作判定ステップと、
   前記操作判定ステップで判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力ステップで出力させる画像処理ステップとを含む
   立体画像処理方法。
7. コンピュータに、複数の立体画像を個別に表示可能な表示装置に立体画像を表示させるプログラムであって、
   複数の立体画像を前記表示装置に出力する出力ステップと、
   指示物を、前記表示装置に表示されている立体画像に対応付けて検出する検出ステップと、
   前記検出ステップで検出された前記指示物の動きから所定の操作を判定する操作判定ステップと、
   前記操作判定ステップで判定された前記所定の操作に対応付けられた処理を、当該指示物に対応付けられた立体画像に施して、前記出力ステップで出力させる画像処理ステップとを、前記コンピュータに実行させる
   プログラム。

Images