JP2014142568A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】ユーザーが所望する３次元画像の一部に、前記３次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく３次元表示のマーカーを描画する。
【解決手段】取得した３次元画像情報に基づいて３次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された３次元画像の一部を指し示すマーカー位置を検出する検出手段と、前記検出されたマーカー位置に対応する３次元位置にマーカーの先端が重なるように、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、を有することによって課題を解決する。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

３次元画像を表示可能な３次元表示器で、３次元画像と、カーソル等のマーカーとを重ねて表示する技術が開示されている。

特開２００４−３５４５４０号公報

特許文献１に開示されている技術は、３次元画像と、カーソルとの互いの奥方向の位置関係を考慮しないで表示している。そのため、特許文献１に開示されている技術は、両者の重なりを検出する検出手段によって重なりを検出した場合、３次元画像と、カーソルとの相対位置関係に応じて、何れか一方を他方より手前に表示するように描画を制御する。
しかし、特許文献１に開示されている技術では、カーソルと、指し示すべき画像以外の画像との重なりを考慮していないため、カーソルが指し示すべき画像以外の画像に隠れたり、３次元的に干渉したりしてしまうことがある。
本発明は、上記課題を鑑みてなされたものであり、ユーザーが所望する３次元画像の一部に、前記３次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく３次元表示のマーカーを描画することを目的とする。

そこで、本発明の画像処理装置は、取得した３次元画像情報に基づいて３次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された３次元画像の一部を指し示すマーカー位置を検出する検出手段と、前記検出されたマーカー位置に対応する３次元位置にマーカーの先端が重なるように、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、を有する。

本発明によれば、ユーザーが所望する３次元画像の一部に、前記３次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく３次元表示のマーカーを描画することができる。

画像処理装置のハードウェア構成の一例を示す図である。 レンチキュラー多視点表示器の一例を示す図である。 レンチキュラーレンズと、各表示画素との一例を示す図である。 視点１から３次元表示器を見た場合に見える画素の一例を示す図である。 視点４から３次元表示器を見た場合に見える画素の一例を示す図である。 視点と、その視点に対応する撮影画像との関係の一例を示す図である。 画像処理装置の機能構成の一例を示す図である。 実施形態１における処理の一例を示すフローチャートである。 視点４の左目用画像４と、右目用画像５との一例を示す図である。 画像４の座標点と、視線との関係の一例を示す図である。 画像５の座標点と、視線との関係の一例を示す図である。 画像４と、画像５との各視線の交点の一例を示す図である。 仮想平面図と、仮想側面図との関係の一例を示す図である。 実施形態１で選択可能なマーカーの形状の一例を示す図である。 矢印形状のマーカーの表示可能な角度領域の一例を示す図である。 画像４上にマーカー画像を描画する手順の一例を示す図である。 画像５上にマーカー画像を描画する手順の一例を示す図である。 左目用画像上にマーカーが描画された画像の一例を示す図である。 右目用画像上にマーカーが描画された画像の一例を示す図である。 画像オブジェクトと干渉しないマーカー表示の一例を示す図である。 実施形態２で用いるマーカーの一例を示す図である。 実施形態３の仮想平面図と、仮想側面図との関係の一例を示す図である。 実施形態４における処理の一例を示すフローチャートである。 奥行位置に応じてサイズの異なるマーカー描画の一例を示す図である。 上下の位置に応じて向きの異なるマーカー描画の一例を示す図である。 パララックスバリア方式の３次元表示器の表示原理の一例を示す図である。 パララックスバリア方式を用いた場合の表示の一例を示す図である。

以下、本実施形態を説明するに先立って、以降の説明で用いる用語について説明する。
２次元画像とは、表示器で表示される、例えば人や風景等を表す２次元の画像そのものを意味する。
３次元画像とは、３次元表示器で表示される、例えば人や風景等を表す３次元の画像そのものを意味する。即ち、３次元画像は、視差を有する複数の２次元画像で構成され、例えば左目用及び右目用の２つの２次元画像が交互に配置される画像である。
２次元画像情報又は３次元画像情報とは、上記の２次元画像又は３次元画像を表示するための信号源の情報を意味する。特に３次元画像情報は、少なくとも左目用及び右目用の２次元画像情報を有する。
次に、簡単に３次元表示器について説明する。３次元表示器は、３次元画像情報として、その表示器の１つの画面中に複数の２次元画像を表す複数の２次元画像情報を同時に表示する。つまり、３次元表示器に表示される３次元画像は、少なくともユーザーの左目及び右目の各視点から見た２枚以上の複数の２次元画像情報に基づいて表示される画像である。したがって、その３次元表示器の同じ位置近傍に立体表示された３次元画像は、ユーザーの視点によって大きく異なることになる。なお、ここでいう「近傍」とは、前記３次元表示器の同じ位置から予め定められた範囲のことを意味する。以降の説明で用いる「近傍」についても同様の意味であるとする。

以下、本発明の実施形態について図面に基づき説明する。

＜実施形態１＞
図１は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。
本実施形態の画像処理装置は、一般的なパーソナルコンピュータ１（以後、ＰＣ１という）を有し、ネットワーク制御部９０、ネットワーク回線１１０を介して外部から３次元画像情報等を取得する。なお、画像処理装置は、後述の記憶装置８０等から３次元画像情報を取得するようにしてもよい。また、画像処理装置は、取得した３次元画像情報に基づいた３次元画像を立体表示するための表示器２を有する。
ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０で制御される。なお、ＣＰＵ１０は、ＲＯＭ６０等に格納されているプログラムを実行することにより後述の画像処理装置の機能（ソフトウェア構成）及びフローチャートに係る処理を実現する。また、ＰＣ１は、３次元画像情報や本実施形態に用いられるプログラム等を保持する記憶装置８０を有する。更に、ＰＣ１は、各種設定やプログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０、一時的な記憶装置として機能するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７０を有する。なお、ＲＯＭ６０、ＲＡＭ７０及び記憶装置８０は、記憶部の一例である。

表示器２は、３次元画像を表示する３次元表示器３０を有する。また、表示器２は、３次元表示器３０の表示面にタッチパネル４０を有する。ユーザーは、表示面に表示された３次元画像を、タッチパネル４０を介して直接タッチして操作することができる。また、ユーザーは、キーボード５０を介してＰＣ１に対する各種の入力操作をすることができる。更に、表示器２は、撮像装置２０を有する。撮像装置２０は、ユーザーの位置や動作を認識するために３次元表示器３０の近傍に設けられている。
ＣＰＵ１０は、タッチパネル４０、マウスやタッチパッド５５、キーボード５０等を介して受け付けたユーザーの操作に基づいて、表示するマーカーの位置を指定する。なお、タッチパネル４０、マウスやタッチパッド５５、キーボード５０等は、操作部の一例である。また、本実施形態における「マーカー」とは、表示された画像の一部（以後、画像オブジェクトという）を指し示すために表示する矢印、文字、数字等を入力する際に、その入力位置を指し示すために表示するポインターやカーソル等の総称である。

次に、表示器２について、図２Ａから図２Ｄまでを用いて説明する。
図２Ａは、３次元表示器３０として用いられるレンチキュラー多視点表示器の一例を示す図である。
図２Ａに示す３次元表示器３０は、液晶表示器３００と、液晶表示器３００の前面に備えられたレンチキュラーレンズ３０１とを有する。更に、図２Ａに示す３次元表示器３０は、レンチキュラーレンズ３０１の前面に備えられたタッチパネル４０と、画面中央部に備えられた撮像装置２０とを有する。

図２Ｂは、多視点の画像を表示するための各レンチキュラーレンズ３０１と、相対位置が保証された各表示画素との一例を示す図である。
図２Ｂの３次元表示器３０は、ユーザーが６方向からこの３次元表示器３０を見た場合の多視点３次元画像の表示を可能にするため、各１つのレンチキュラーレンズ内に画素３０２から画素３０３までの一続きの７つの表示画素を有する。なお、多視点３次元画像とは、後述する図３で示すように、例えば同一被写体を複数の視点から撮影して得られた複数の視点の３次元画像やコンピュータグラフィックス等で制作された３次元画像のことである。また、本実施形態の３次元表示器３０は、公知の技術で一般的に実現される表示器であり、カラー表示が可能であるが、説明を簡略化するため、単色表示が可能な表示器であるものとする。また、以後の図において、本実施形態の３次元表示器３０における表示画素の並びを１次元的に表現するものとする。なお、以降の説明で単に「視点」と述べる場合、「視点」は、３次元表示器３０の位置から見たユーザーの両目の位置のことを意味し、１つの「視点」にはユーザーの右目用の画像と、左目用の画像とが届けられる。

次に、ユーザーが異なる視点から３次元表示器３０を見た場合に見える画素について、図２Ｃ、図２Ｄを用いて説明する。
図２Ｃは、ユーザーが視点１から３次元表示器３０を見た場合に見える画素の一例を示す図である。
図２Ｄは、ユーザーが視点４から３次元表示器３０を見た場合に見える画素の一例を示す図である。
レンチキュラーレンズ３０１の光学特性により、視点１のユーザーの右目では画素２のみが、視点１のユーザーの左目では画素１のみが見える。また、視点４のユーザーの右目では画素５のみが、視点４のユーザーの左目では画素４のみが見える。このようなレンチキュラーレンズによる３次元画像の表示は公知の原理であるため、詳細な説明を省略する。

図３は、上記の６つの視点と、その視点に対応する画像を表示するために撮影する撮影画像との関係の一例を示す図である。
それぞれの視点では、ユーザーの左右の目それぞれで見た画像に相当する２つの２次元画像が撮影される。３次元表示器３０は、同一被写体を視点１から視点６まで連続的に３次元表示するため、視点Ｎ（Ｎは１から６までの何れかの整数）においてユーザーの左目に届ける画像Ｎと、視点Ｎ−１においてユーザーの右目に届ける画像とが同じとなる。３次元表示器３０は、これらの画像を示す２次元画像情報を分割して先のレンチキュラーレンズ３０１と相対位置を保った液晶表示画素で表示すれば、図３で示す視点から被写体を見た際と同じ立体像をユーザーに見せることができる。即ち、図２Ｃ、図２Ｄで示す画素１は、視点１の左側で撮影した２次元画像（画像１）を示す２次元画像情報の一部であり、画素２は、視点１の右側で撮影した２次元画像（画像２）を示す２次元画像情報の一部である。また、図２Ｃ、図２Ｄで示す画素４は、視点４の左側で撮影した２次元画像（画像４）を示す２次元画像情報の一部であり、画素５は、視点４の右側で撮影した２次元画像（画像５）を示す２次元画像情報の一部である。

図４は、本実施形態の画像処理装置の機能構成の一例を示す図である。
画像処理装置は、多視点３次元画像情報取得部４０１と、３次元画像表示部４０２と、マーカー位置検出部４０３と、マーカー描画部４０４とを有する。
多視点３次元画像情報取得部４０１は、３次元画像情報を記憶装置８０から取得したり、ネットワーク制御部９０及びネットワーク回線１１０を介して外部から取得したりする。
３次元画像表示部４０２は、表示器２の機能に対応する。３次元画像表示部４０２は、多視点３次元画像情報取得部４０１で取得された３次元画像情報に基づいて、３次元画像を表示する。

マーカー位置検出部４０３は、タッチパネル４０、キーボード５０、マウスやタッチパッド５５及び撮像装置２０を介したユーザーの指示に基づいて表示器２に表示された画像オブジェクトを指し示すために表示するマーカーの位置を検出する。
マーカー描画部４０４は、３次元画像オブジェクトをより明確に表示するために、マーカー位置検出部４０３により検出されたマーカー位置に３次元形状のマーカーを描画する。なお、マーカー描画部４０４は、前記３次元画像オブジェクトの近傍、かつ、その手前の３次元位置にマーカーを描画する。

図５は、本実施形態における３次元マーカーの描画処理の一例を示すフローチャートである。
図５は、３次元画像表示部４０２が多視点３次元画像を表示している状態で、ユーザーが所望する画像オブジェクトを指し示し、マーカー描画部４０４が前記画像オブジェクトを指し示すようなマーカーを適切な向き及び位置で描画する際の処理の手順を示す。
Ｓ５００で、マーカー位置検出部４０３は、３次元画像表示部４０２で３次元表示された画像オブジェクトに対してユーザーが指し示す位置（マーカー位置）を検出し、処理をＳ５０１に進める。ここで、マーカー位置検出部４０３は、ユーザーがタッチパネル４０を操作した場合、そのタッチした２次元位置を直接検出する。一方、マーカー位置検出部４０３は、ユーザーがマウスやタッチパッド５５又はキーボード５０等のカーソル移動キーを操作した場合、その変化を積算した２次元的な現在の位置を検出する。より具体的には、Ｓ５００で、マーカー位置検出部４０３は、検出したマーカー位置に相当する視点Ｎの左目用２次元画像（画像Ｎ）上の位置を検出する。本実施形態では、前記視点を表示器２の正面から見た視点４（Ｎ＝４）として以降の説明を行う。

３次元画像表示部４０２は、多視点３次元画像を表示するために、図３に示す各視点の画像１から画像６までをＲＡＭ７０上に展開している。
Ｓ５０１で、マーカー位置検出部４０３は、その画像の中から図６Ａに示される視点４の左目用画像４（画像Ｎ）と、右目用画像５（画像Ｎ＋１）とを読み出し、処理をＳ５０２に進める。
なお、図６Ａは、視点４の左目用画像４と、右目用画像５との一例を示す図である。
図６Ｂに示される画像４の位置Ｑ４（Ｘ４、Ｙ４）は、Ｓ５００で得られた画像４上のマーカー位置を示している。
なお、図６Ｂは、画像４の座標点と、視線との関係の一例を示す図である。
画像４は、図３に示されるように被写体に対して正面に位置する視点の画像であるため、画像４の座標点Ｐ１、Ｐ２、Ｐ３から図示する視線Ｌ４１、Ｌ４２、Ｌ４３の延長上の平面図上に被写体が存在していることになる。なお、ここでいう座標点Ｐ１、Ｐ２、Ｐ３とは、被写体の一部の位置を示す座標点のことである。
同様に図６Ｃに示される画像５は、図３に示されるように所定の角度を持って被写体を写しているため、座標点Ｐ１、Ｐ２、Ｐ３から図示する視線Ｌ５１、Ｌ５２、Ｌ５３の延長上の平面図上に被写体が存在していることになる。
なお、図６Ｃは、画像５の座標点と、視線との関係の一例を示す図である。

図７は、画像４及び画像５の各視線の交点の一例を示す図である。
図７は、画像４及び画像５からの視線Ｌ４１と、視線Ｌ５１との交点をＰ１、視線Ｌ４２と、視線Ｌ５２との交点をＰ２、視線Ｌ４３と、視線Ｌ５３との交点をＰ３として図示している。マーカー位置検出部４０３は、図７に示されるように、交点Ｐ１、交点Ｐ２及び交点Ｐ３を求める。また、交点Ｐ１と、交点Ｐ２とを結んだ線及び交点Ｐ２と、交点Ｐ３とを結んだ線は、被写体を上から見た場合の画像オブジェクトの位置を示す仮想平面図である。
Ｓ５０２で、マーカー位置検出部４０３は、上記の演算をすることにより仮想平面図を作成し、処理をＳ５０３に進める。

Ｓ５０３で、マーカー位置検出部４０３は、得られた仮想平面図上の被写体の点Ｐ２と、点Ｐ３とからの投影処理と、画像４の被写体の同位置からの投影処理とを行い、被写体を側面方向から見た位置を示す仮想側面図を作成し、処理をＳ５０４に進める。マーカー位置検出部４０３は、図６Ｂ、図６Ｃ、図７に示される画像４、画像５及び仮想平面図から、図８の仮想側面図を得る。
なお、図８は、仮想平面図と、仮想側面図との関係の一例を示す図である。
本実施形態における仮想側面図とは、図３に示されるように被写体を横から見た仮想の画像であり、一般に多視点画像は被写体を図３に示す右横視点や左横視点までは表示し得ない。マーカー位置検出部４０３は、仮想平面図で得られた被写体から真横に視線を投影する。一方、マーカー位置検出部４０３は、多視点画像が被写体に対して同じ水平面からの視点画像であるため、被写体を正面から見た画像４から、被写体や、ユーザーが指定したマーカー位置をＸ軸方向に投影する。仮想側面図は、上記のそれぞれの視線の交点を結んで作る被写体の仮想の側面図である。

被写体を正面から見た画像である画像４を被写体の正面図とするなら、仮想側面図は、画像４に対して９０度の角度を有した仮想の視点画像といえる。
なお、本実施形態では、右横視点から見た仮想側面図を用いて説明するが、視点１、視点２、及び視点３の画像１、画像２、画像３及び画像４から仮想平面図を作成する場合、仮想側面図は左横視点から見た仮想側面図となる。
したがって、仮想側面図上の被写体の座標点Ｐ１及びＰ３は、仮想平面図からの投影線Ｌ８０と、画像４からの投影線Ｌ８２との交点として得られる。また、被写体の座標点Ｐ２は、仮想平面図からの投影線Ｌ８１と、画像４からの投影線Ｌ８４との交点として得られる。そして、マーカー位置検出部４０３は、両者を結ぶ画像オブジェクトの面を示す直線と、画像４のマーカー位置Ｑ４からのＹ＝Ｙ４なる投影線Ｌ８３との交点に仮想側面図上のマーカー位置Ｍを得る。マーカー位置Ｍは、奥から手前に傾斜して点Ｐ３から点Ｐ２に向けて下がる平面を成す画像オブジェクト上に存在していることがわかる。即ち、この平面を画像オブジェクトとしてユーザーが指し示している。

Ｓ５０４で、マーカー位置検出部４０３は、上記の処理で既に作成した仮想平面図と、仮想側面図上に得られたマーカー位置とを、実際に３次元表示させるためのマーカーの位置として設定し、処理をＳ５０５に進める。

本実施形態の特徴は、ユーザーが指し示す画像オブジェクトを確実に指し示すために、検出されたマーカー位置、即ち指し示す画像オブジェクトに、用いるマーカーの先端部を３次元的に接触表示させてマーカー全体を３次元表示することである。
マーカー描画部４０４は、この接触表示の際に画像オブジェクトと、マーカーの形状とを考慮せずにマーカーを描画すると、画像オブジェクトの形状等によっては、用いるマーカーの一部が画像オブジェクトと干渉したような表示になる。そのため、マーカー描画部４０４は、画像オブジェクトをわかりやすく指し示す位置に、マーカーを描画することができない場合がある。そのため、Ｓ５０５で、マーカー描画部４０４は、指し示す位置がわかりやすくなるようなマーカー形状を複数の候補から選択し、処理をＳ５０６に進める。
図９Ａは、先に説明した本実施形態で選択可能なマーカーの形状の一例を示す図である。なお、マーカー自体は立体形状であるが、説明の便宜上、平面的な矢印として説明する。

マーカー描画部４０４は、仮想平面図において、水平方向に対して図９Ｂに示す角度θ以内のマーカーを選択することができる。なぜなら、角度θを超える場合、矢印の先端部の形状の凸部の一部が被写体を示す画像オブジェクトに干渉して見え、その結果、マーカー描画部４０４は、矢印の先端部を画像オブジェクトに接した状態でマーカー全体を表示することができなくなるからである。
なお、図９Ｂは、矢印形状のマーカーの表示可能な角度領域の一例を示す図である。
同様に、マーカー描画部４０４は、仮想側面図において、垂直方向に被写体を示す画像オブジェクトの面に対して、その前面の１８０度の空間の範囲内のマーカーであれば描画に用いることができる。以上のように、マーカー描画部４０４は、マーカーを回転させて描画することができる。
なお、上記のように、マーカー描画部４０４が、マーカー形状が被写体を示す画像オブジェクトと干渉して立体表示されるかどうかを判定する処理を干渉判定処理と呼ぶ。

上述したように、Ｓ５０５で、マーカー描画部４０４は、複数のマーカー形状の候補の中からマーカー形状を選択し、処理をＳ５０６に進める。本実施形態では、マーカー描画部４０４は、マーカー９００を選択したとする。なお、マーカー描画部４０４は、複数のマーカー形状に関するマーカー情報をＲＯＭ６０又は記憶装置８０等に格納している。
Ｓ５０６で、マーカー描画部４０４は、Ｓ５０５で選択したマーカー形状について干渉判定処理を行い、干渉すると判定した場合、処理をＳ５０５に戻し、干渉しないと判定した場合、処理をＳ５０７へ進める。

Ｓ５０７で、マーカー描画部４０４は、画像Ｎ及び画像Ｎ＋１上にマーカーを描画し、処理をＳ５０８に進める。以下、Ｓ５０７の処理について、図１０Ａを用いて説明する。
図１０Ａは、マーカー描画部４０４がマーカー位置Ｍにマーカー９００を３次元表示するために、画像４（視点Ｎにおける画像Ｎ）上にマーカー画像を描画する際の手順の一例を示す図である。
選択され得る全ての形状のマーカーは、画像オブジェクトを指し示すために画像オブジェクトに接する先端部を既定する。本実施形態のマーカー９００は、その矢印の先端部が画像オブジェクトに接する。したがって、マーカー描画部４０４は、仮想平面図上のマーカー位置Ｍ、仮想側面図上のマーカー位置Ｍ及び画像４上のマーカー位置Ｑ４にマーカー９００の矢印の先端部を重ねる。

マーカー９００は仮想側面図上で既定の長さを確定することができるため、まず、マーカー描画部４０４は、仮想側面図上にマーカー１０００を配置する。
マーカー描画部４０４は、仮想側面図上のマーカー１０００の側面図のその尾から投影線Ｌ０１を用いて仮想平面図上に投影すれば、仮想平面図上にマーカー１００１を描くことができる。そして、マーカー描画部４０４は、仮想平面図のマーカー１００１と、仮想側面図上のマーカー１０００とを画像４上に投影することにより矢印の先端部をＱ４に位置させて、（Ｙ４１−Ｙ４）を矢印の長さとするマーカー１００２を画像４上に描画することができる。

図１０Ｂは、マーカー描画部４０４がマーカー位置Ｍにマーカー９００を３次元表示するために、画像５上にマーカー画像を描画する際の手順の一例を示す図である。
マーカー描画部４０４０は、画像４上にマーカー１００２を描画したのと同様に、仮想平面図上のマーカー１００１と、仮想側面図上のマーカー１０００とを画像５上に投影する。そして、マーカー描画部４０４は、矢印の先端部をＱ５に位置させて、（Ｙ４１−Ｙ４）を矢印の長さとするマーカー１００３を画像５上に描画することができる。

図１１Ａは、視点４における左目用画像４上にマーカー１００２が描画された画像の一例を示す図である。
図１１Ｂは、視点４における右目用画像５上にマーカー１００３が描画された画像の一例を示す図である。
画像４及び画像５が表示器２で同時に表示され、ユーザーが視点４から見た場合の例について説明する。矢印形状のマーカー９００は、その画面上部から手前に向かって下がる３角形の被写体の面（Ｐ１−Ｐ２−Ｐ３）に対して水平方向から上約４５度の方向の上手前から奥下方向に向く。そして、マーカー描画部４０４は、矢印形状のマーカー９００の先端部を前記３角形の画像オブジェクトの面（Ｐ１−Ｐ２−Ｐ３）に接した状態で被写体と共に３次元的に表示することができる。
Ｓ５０８で、マーカー描画部４０４は、他の視点画像に対しても同様の処理を実行すれば、マーカー９００を各視点画像上に描画することができる。即ち、マーカー描画部４０４は、画像１、画像２、画像３、画像６及び画像７上にマーカー９００を描画することができる。これにより、マーカー描画部４０４は、多視点３次元画像として画像オブジェクトをどの視点からでも確実に指し示す３次元マーカーを表示することができる。

なお、マーカー描画部４０４は、図１１Ａ及び図１１Ｂに示した画像４及び画像５上に描いたマーカー９００の描画データを予めＲＯＭ６０又は記憶装置８０に記憶保持し、描画時にＲＡＭ７０に展開してそれぞれの画像データを上書きする。そのためマーカー描画部４０４は、より高速にマーカーを描画することができる。また、各視点の左右の目用の画像に用いるマーカーの描画データは、それぞれ予め相対的な視点の角度差が決まっている。そのため、マーカー描画部４０４は、例えば任意の画像Ｎのマーカー形状を決めれば、画像Ｎ上に描画するマーカーの描画データを一意に決めることができる。更に、マーカー描画部４０４は、関連する画像Ｎ＋１の画像上に描くマーカーの描画データも一意に決めることができる。即ち、本実施形態において、マーカー描画部４０４は、ＲＯＭ６０或いは記憶装置８０に同じ位置を指し示す３次元的に表示可能な多数のマーカーと、描画データとを予め記憶保持している。なお、前記記憶保持されているマーカーの３次元形状は既知であるため、マーカー描画部４０４は、Ｓ５０５の処理以前に画像オブジェクト周辺の３次元位置が判れば、画像オブジェクトと干渉しないマーカーを記憶保持している中から高速に選択することができる。

図１２は、画像オブジェクトとの干渉を防止して、画像オブジェクトに接触させて３次元表示したマーカー表示の一例を示す図である。
図１２の被写体の破線左端をマーカーＡ１で指し示し、順次破線上を左から右に移動させた場合、同じマーカーＡ２ではその矢印の先端の矢の右端が被写体の側面１２００に接触する。したがって、Ａ形状のマーカーでは側面１２００上を指し示すことができない。そのため、マーカー描画部４０４は、側面１２００を指し示す場合、Ｓ５０５でマーカーＣ１、マーカーＣ２を選択する。マーカーＣは、マーカーＡと異なり、下手前から斜め右奥上方向を指し示す形状のため、被写体の正面ではその尾の部分が被写体の面１２０１と干渉する。そのため、マーカー描画部４０４は、正面を指し示す場合、Ｓ５０５で上手前から左下奥方向を指し示すマーカーＢ１、マーカーＢ２、マーカーＢ３を選択する。

以上、本実施形態によれば、マーカー描画部４０４は、描画するマーカーと、指し示すべき画像オブジェクトとの干渉を防止して、マーカーの先端部が前記画像オブジェクトに接触するように描画することができる。更に、マーカー描画部４０４は、記憶保持している複数の形状のマーカーから最適な形状のマーカーを選択して描画することができるため、より確実に画像オブジェクトを指し示すことができるようになる。

＜実施形態２＞
図１３は、本実施形態のマーカー描画で用いるマーカーの一例を示す図である。
実施形態１では、２次元表示のシステム等で用いられる矢印形状のマーカー１３０２を用いて説明した。しかし、マーカー１３０２のように平面的な形状は、マーカーを側面から表示するような視点によっては平面的な矢印形状に見えず、線上に見える場合がある。そのため、マーカー描画部４０４は、マーカー１３０２を用いた場合、画像オブジェクトを確実に指し示すことができない場合がある。

マーカー１３０４は、上述したようにマーカーを側面から表示するような視点の場合に、マーカー１３０２よりも有利なマーカーである。マーカー１３０４は、角錐と、円柱とで構成されているため、どの視点においても形状の変化がほとんどないという利点を有する。
人の指を模写したマーカー１３００は、認識し易いという利点を有する。
三角形状のマーカー１３０１は、形状が簡単なため、マーカー描画部４０４が描画を高速に行うことができるという利点を有する。
上記の全てのマーカーは、その一端部が先鋭形状に尖っているため、より正確に細かな画像オブジェクトに接した状態で画像オブジェクトを指し示すことができる。

マーカー１３０３は、円形のシート形状のマーカーである。マーカー描画部４０４は、マーカー１３０３の全体を画像オブジェクトに接触させて、同じ３次元の位置に表示させることができる。そのため、マーカー１３０３は、あたかも画像オブジェクトにシールを張り付けたかのように、或いは赤色レーザーポインターで画像オブジェクトを照射した際の赤色で円形のスペックルパターンのように見える。マーカー１３０３は、他のマーカーと比べて最も他の被写体や画像オブジェクトとの干渉を避けるができるという利点を有する。

以上、本実施形態によれば、マーカー描画部４０４は、状況に応じて種々のマーカーから最適なマーカーを選択して描画することにより、より確実に画像オブジェクトを指し示すことができるようになる。

＜実施形態３＞
実施形態１で説明したマーカー９００を用いたマーカー描画を、実施形態２で説明したマーカー１３０３を用いて描画した場合の実施形態について、図１４を用いて説明する。
なお、図１４は、本実施形態における仮想平面図と、仮想側面図との関係の一例を示す図である。
図１４に示される画像４、画像５及び画像４上のマーカー位置Ｑ４は、実施形態１で説明した図８と同様である。
まず、マーカー描画部４０４は、仮想側面図のマーカー位置Ｍを中心にして直径ｄの円形のマーカー１４００を仮想側面図上に描画する。そして、マーカー描画部４０４は、マーカー１４００からの投影線Ｌ０２及び投影線Ｌ０３を用いて仮想平面図にマーカー１４００を投影する。更に、マーカー描画部４０４は、画像４から直径ｄに相当する円として仮想平面図上に投影して楕円形のマーカー１４０１を仮想平面図上の画像オブジェクト上に描く。

マーカー描画部４０４は、画像４のマーカー位置Ｑ４を中心に、横径ｄ、仮想側面図から得られる縦径（Ｙ４２−Ｙ４３）の楕円で画像４上のマーカー１４０２を描くことができる。同様に、マーカー描画部４０４は、仮想平面図のマーカー１４０１から画像５に投影することにより、マーカー位置Ｑ５を中心にした楕円形状のマーカー１４０３を描くことができる。
なお、マーカー描画部４０４は、図５を用いて説明したＳ５０５で、マーカー１３０３を選択した場合、他の画像オブジェクトとの干渉がないため、Ｓ５０５の処理終了後、Ｓ５０６を介さずに直接Ｓ５０７に処理を進める。

以上、本実施形態によれば、マーカー描画部４０４は、マーカー１３０３を用いることにより、円形のマーカー全体を画像オブジェクトと接触させて、即ち、マーカー全体を画像オブジェクトと同じ位置に表示することができる。但し、マーカー１３０３の直径ｄの大きさによっては、指し示す画像オブジェクトの平面的な面以外の曲面や３次元的に不連続な他の画像オブジェクトにその一部が跨って表示されることになる。

＜実施形態４＞
実施形態１では、画像オブジェクトや他の被写体と干渉しないマーカー形状を選択する処理について説明した。本実施形態では、より確実に画像オブジェクトを指し示すために、更に、マーカーの位置に応じて形状を選択する処理について、図１５、図１６Ａ及び図１６Ｂを用いて説明する。
図１５は、本実施形態における処理の一例を示すフローチャートである。
以下、実施形態１で説明した図５と同一の処理については、説明を省略する。
実施形態１と異なる本実施形態の特徴は、マーカー描画部４０４がＳ５０５で画像オブジェクトと干渉しないマーカー形状を選択する処理に先立ち、Ｓ５０９の処理を実行する点である。より具体的には、Ｓ５０９で、マーカー描画部４０４は、マーカー位置検出部４０３で検出されたマーカー位置に応じて、予め干渉しにくくなるようにマーカーの形状を選択する。

図１６Ａ及び図１６Ｂは、被写体を実施形態１と同様のマーカー９００を用いて描画する場合において、被写体を正面からみた画像４と、仮想平面図とを示している。
図１６Ａは、奥行方向の位置に応じてサイズの異なるマーカー描画の一例を示す図である。
図１６Ａのマーカー１８０、マーカー１８１、マーカー１８２及びマーカー１８３は、指し示す画像オブジェクトの位置が奥行方向に異なる。一般的に、遠くに表示される画像オブジェクトほど小さく、その周辺に多数の画像オブジェクトが存在する。逆に手前に表示される画像オブジェクトほど大きく、その周辺に存在する画像オブジェクトは少ない。

したがって、マーカー描画部４０４は、Ｓ５０４で仮想平面図上のマーカーの位置を設定した後、Ｓ５０９でその奥行方向の位置に応じてマーカーのサイズを選択する。即ち、マーカー描画部４０４は、差し示す画像オブジェクトが遠くにある場合、所定のサイズよりマーカーのサイズを小さくして、マーカーと、他の画像オブジェクトとを干渉しにくくする。逆に、マーカー描画部４０４は、差し示す画像オブジェクトが近くにある場合、マーカーと、他の画像オブジェクトとは干渉しにくいため、マーカーのサイズを所定のサイズより大きくして視認性を高める。
本実施形態では、マーカー描画部４０４は、図１６Ａに示されるように４種類のサイズの中からマーカーのサイズを選択したが、その位置に応じて連続的にマーカーの大きさを変えるようにしてもよい。
また、マーカー描画部４０４は、上述したように奥行方向の位置に応じて単にマーカーのサイズを変えるだけでなく、マーカーの先端部を小さく、そして先端部から手前（後端部側）に向かうにつれて連続的に大きくなるようにマーカーを描画してもよい。これにより、マーカー描画部４０４は、より遠近感を考慮したマーカーを描画することができる。

図１６Ｂは、画面の上下の位置に応じて向きの異なるマーカー描画の一例を示す図である。
図１６Ｂのマーカー１８４は、画面水平方向から上部を指し示している。一方、図１６Ｂのマーカー１８５は、画面水平方向から下部を指し示している。
一般的に、画面の上部に表示される画像オブジェクトほど、その下部に他の画像オブジェクトが存在しない場合が多い。また、下部に表示される画像オブジェクトほど、その上部に他の画像オブジェクトが存在しない場合が多い。

したがって、Ｓ５０９で、マーカー描画部４０４は、Ｓ５００で検出した画像４におけるマーカー位置のＹ方向の位置に応じて、マーカーの向きを選択する。例えば、マーカー描画部４０４は、差し示す画像オブジェクトが画面Ｙ方向中央から上部の場合、マーカー先端部を手前下から上方向に向かう形状として、マーカーと、他の画像オブジェクトとを干渉しにくくする。逆に、マーカー描画部４０４は、差し示す画像オブジェクトが画面Ｙ方向中央から下部の場合、マーカー先端部を手前上から下方向に向かう形状として、マーカーと、他の画像オブジェクトとを干渉しにくくする。
本実施形態では、マーカー描画部４０４は、図１６Ｂに示されるように２種類の向きの形状からマーカーを選択したが、その位置に応じて連続的に向きを変えるようにしてもよい。
なお、マーカー描画部４０４は、図１６Ａ及び図１６Ｂの両者の処理を組み合わせてマーカーを描画するようにしてもよい。

以上、本実施形態によれば、マーカー描画部４０４は、マーカーの位置に応じてマーカーの形状を選択することにより、より確実に画像オブジェクトを指し示すことができるようになる。更に、マーカー描画部４０４は、マーカーと、指し示すべき画像以外の画像オブジェクトとを干渉しにくくするために、Ｓ５０９でマーカー形状を予め選択する。これにより、マーカー描画部４０４は、Ｓ５０９に続くＳ５０５及びＳ５０６の処理を大幅に短縮することができる。

＜実施形態５＞
実施形態１から実施形態４までは、視差分割方式としてレンチキュラーレンズ方式を用いた多視点３次元表示器を用いた場合の実施形態について説明した。しかしながら、３次元表示器３０は、レンチキュラーレンズを用いるものに限定されることなく他の３次元表示器を用いることも可能である。本実施形態では、パララックスバリア方式の３次元表示器を用いた場合の実施形態について説明する。
図１７は、本実施形態で用いるパララックスバリア方式の３次元表示器の表示原理の一例を示す図である。
例えば図１７に示すパララックスバリア方式の３次元表示器３０は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮るための光学的なパララックスバリア１６０を有する。これにより、図１７に示すように、右目に対しては左目用画素がパララックスバリア１６０で光路遮光され、逆に左目に対しては右目用画素がパララックスバリア１６０で光路遮光される。その結果、右目と、左目とには、両目の視点で撮影された異なる視点の画像が見えるため、立体表示がなされる。

次に、図１８を用いて、パララックスバリア方式の３次元表示器を使った実施形態について詳述する。
図１８は、パララックスバリア方式を用いた場合の表示の一例を示す図である。
図１８の液晶表示器３００は、それぞれ右目用表示画素１７０と、左目用表示画素１７１とを隣接対として有している。３次元表示器３０は、視点１から見た３次元画像を表示する場合、３次元画像情報１７２として、右目用画素位置に図３に示す画像２の２次元画像情報を、左目用画素位置に画像１の２次元画像情報を、それぞれ短冊状に分解して表示する。
ここで、多視点画像として図１８に示すように各視点の３次元画像情報を有する場合、３次元表示器３０は、順次表示する３次元画像情報を切り替えて表示することにより、ユーザーが所望する視点の画像を表示することができる。即ち、マーカー描画部４０４は、画像を３次元表示するためには、表示方式によらず任意の視点Ｎの左目用の２次元画像Ｎと、右目用の２次元画像Ｎ＋１とで表示される画像にマーカーを描画する。これにより、マーカー描画部４０４は、画像オブジェクトを確実に差し示す３次元形状でマーカーを表示することができる。

以上、本実施形態におけるパララックスバリア方式の３次元表示器を用いた３次元表示器を用いれば、レンチキュラーレンズ方式を用いた場合よりも、より画素密度の高い表示が可能となり、より正確に画像を指定することができる。

＜その他の実施形態＞
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、マーカー描画部４０４は、ユーザーが所望する３次元画像の一部に、前記３次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく３次元表示のマーカーを描画することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (11)

1. 取得した３次元画像情報に基づいて３次元画像を表示する表示手段と、
   操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された３次元画像の一部を指し示すマーカー位置を検出する検出手段と、
   前記検出されたマーカー位置に対応する３次元位置にマーカーの先端が重なるように、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画手段と、
   を有する画像処理装置。
2. 前記画像処理装置の記憶部には、マーカー形状に関する情報であるマーカー情報が格納されており、
   前記描画手段は、前記マーカー位置と同じ３次元位置にマーカーの先端が重なるように、前記記憶部から取得したマーカー情報に基づくマーカー形状のマーカーを前記３次元画像の手前に描画する請求項１記載の画像処理装置。
3. 前記描画手段は、前記マーカー位置と同じ３次元位置にマーカーの先端が重なるように、３次元的に表示される先鋭形状のマーカーを前記３次元画像の手前に描画する請求項１又は２記載の画像処理装置。
4. 前記描画手段は、前記先鋭形状のマーカーの先端を前記マーカー位置と同じ３次元位置に重ね、かつ、前記マーカーの後端が指し示すべき画像以外の画像と干渉しないように回転させて前記３次元画像の手前に描画する請求項３記載の画像処理装置。
5. 前記先鋭形状のマーカーとは、
   矢印形状のマーカー、
   又は三角形状のマーカー、
   又は角錐と、円柱とで構成される形状のマーカー、
   又は人の指を模写した形状のマーカーであり、
   前記描画手段は、前記マーカー位置と同じ３次元位置にマーカーの先端が重なるように、３次元的に表示される先鋭形状のマーカーを前記３次元画像の手前に描画する請求項３又は４記載の画像処理装置。
6. 前記描画手段は、前記マーカー位置におけるＹ方向の位置が予め定めた位置よりも上の場合、マーカーの先端部が後端部よりも上を向く形状のマーカーを前記３次元画像の手前に描画し、前記Ｙ方向の位置が予め定めた位置よりも下の場合、マーカーの先端部が後端部よりも下を向く形状のマーカーを前記３次元画像の手前に描画する請求項１乃至５の何れか１項記載の画像処理装置。
7. 前記描画手段は、前記マーカー位置における奥行方向の位置に応じて、異なるサイズのマーカーを前記３次元画像の手前に描画する請求項１乃至６の何れか１項記載の画像処理装置。
8. 前記描画手段は、前記マーカー位置における奥行方向の位置に応じて、マーカーの先端部から後端部へと連続的に大きくなるように表示されるマーカーを前記３次元画像の手前に描画する請求項１乃至７の何れか１項記載の画像処理装置。
9. 前記描画手段は、前記マーカー位置と同じ３次元位置にシート形状のマーカーを前記３次元画像の手前に描画する請求項１又は２記載の画像処理装置。
10. 画像処理装置が実行する画像処理方法であって、
    取得した３次元画像情報に基づいて３次元画像を表示する表示ステップと、
    操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された３次元画像の一部を指し示すマーカー位置を検出する検出ステップと、
    前記検出されたマーカー位置に対応する３次元位置にマーカーの先端が重なるように、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画ステップと、
    を含む画像処理方法。
11. コンピュータに、
    取得した３次元画像情報に基づいて３次元画像を表示する表示ステップと、
    操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された３次元画像の一部を指し示すマーカー位置を検出する検出ステップと、
    前記検出されたマーカー位置に対応する３次元位置にマーカーの先端が重なるように、３次元的に表示されるマーカーを前記３次元画像の手前に描画する描画ステップと、
    を実行させるためのプログラム。

Images