JP2014142568A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2014142568A JP2014142568A JP2013012436A JP2013012436A JP2014142568A JP 2014142568 A JP2014142568 A JP 2014142568A JP 2013012436 A JP2013012436 A JP 2013012436A JP 2013012436 A JP2013012436 A JP 2013012436A JP 2014142568 A JP2014142568 A JP 2014142568A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- dimensional
- image processing
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】ユーザーが所望する3次元画像の一部に、前記3次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく3次元表示のマーカーを描画する。
【解決手段】取得した3次元画像情報に基づいて3次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された3次元画像の一部を指し示すマーカー位置を検出する検出手段と、前記検出されたマーカー位置に対応する3次元位置にマーカーの先端が重なるように、3次元的に表示されるマーカーを前記3次元画像の手前に描画する描画手段と、を有することによって課題を解決する。
【選択図】図5
【解決手段】取得した3次元画像情報に基づいて3次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された3次元画像の一部を指し示すマーカー位置を検出する検出手段と、前記検出されたマーカー位置に対応する3次元位置にマーカーの先端が重なるように、3次元的に表示されるマーカーを前記3次元画像の手前に描画する描画手段と、を有することによって課題を解決する。
【選択図】図5
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
3次元画像を表示可能な3次元表示器で、3次元画像と、カーソル等のマーカーとを重ねて表示する技術が開示されている。
特許文献1に開示されている技術は、3次元画像と、カーソルとの互いの奥方向の位置関係を考慮しないで表示している。そのため、特許文献1に開示されている技術は、両者の重なりを検出する検出手段によって重なりを検出した場合、3次元画像と、カーソルとの相対位置関係に応じて、何れか一方を他方より手前に表示するように描画を制御する。
しかし、特許文献1に開示されている技術では、カーソルと、指し示すべき画像以外の画像との重なりを考慮していないため、カーソルが指し示すべき画像以外の画像に隠れたり、3次元的に干渉したりしてしまうことがある。
本発明は、上記課題を鑑みてなされたものであり、ユーザーが所望する3次元画像の一部に、前記3次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく3次元表示のマーカーを描画することを目的とする。
しかし、特許文献1に開示されている技術では、カーソルと、指し示すべき画像以外の画像との重なりを考慮していないため、カーソルが指し示すべき画像以外の画像に隠れたり、3次元的に干渉したりしてしまうことがある。
本発明は、上記課題を鑑みてなされたものであり、ユーザーが所望する3次元画像の一部に、前記3次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく3次元表示のマーカーを描画することを目的とする。
そこで、本発明の画像処理装置は、取得した3次元画像情報に基づいて3次元画像を表示する表示手段と、操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された3次元画像の一部を指し示すマーカー位置を検出する検出手段と、前記検出されたマーカー位置に対応する3次元位置にマーカーの先端が重なるように、3次元的に表示されるマーカーを前記3次元画像の手前に描画する描画手段と、を有する。
本発明によれば、ユーザーが所望する3次元画像の一部に、前記3次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく3次元表示のマーカーを描画することができる。
以下、本実施形態を説明するに先立って、以降の説明で用いる用語について説明する。
2次元画像とは、表示器で表示される、例えば人や風景等を表す2次元の画像そのものを意味する。
3次元画像とは、3次元表示器で表示される、例えば人や風景等を表す3次元の画像そのものを意味する。即ち、3次元画像は、視差を有する複数の2次元画像で構成され、例えば左目用及び右目用の2つの2次元画像が交互に配置される画像である。
2次元画像情報又は3次元画像情報とは、上記の2次元画像又は3次元画像を表示するための信号源の情報を意味する。特に3次元画像情報は、少なくとも左目用及び右目用の2次元画像情報を有する。
次に、簡単に3次元表示器について説明する。3次元表示器は、3次元画像情報として、その表示器の1つの画面中に複数の2次元画像を表す複数の2次元画像情報を同時に表示する。つまり、3次元表示器に表示される3次元画像は、少なくともユーザーの左目及び右目の各視点から見た2枚以上の複数の2次元画像情報に基づいて表示される画像である。したがって、その3次元表示器の同じ位置近傍に立体表示された3次元画像は、ユーザーの視点によって大きく異なることになる。なお、ここでいう「近傍」とは、前記3次元表示器の同じ位置から予め定められた範囲のことを意味する。以降の説明で用いる「近傍」についても同様の意味であるとする。
2次元画像とは、表示器で表示される、例えば人や風景等を表す2次元の画像そのものを意味する。
3次元画像とは、3次元表示器で表示される、例えば人や風景等を表す3次元の画像そのものを意味する。即ち、3次元画像は、視差を有する複数の2次元画像で構成され、例えば左目用及び右目用の2つの2次元画像が交互に配置される画像である。
2次元画像情報又は3次元画像情報とは、上記の2次元画像又は3次元画像を表示するための信号源の情報を意味する。特に3次元画像情報は、少なくとも左目用及び右目用の2次元画像情報を有する。
次に、簡単に3次元表示器について説明する。3次元表示器は、3次元画像情報として、その表示器の1つの画面中に複数の2次元画像を表す複数の2次元画像情報を同時に表示する。つまり、3次元表示器に表示される3次元画像は、少なくともユーザーの左目及び右目の各視点から見た2枚以上の複数の2次元画像情報に基づいて表示される画像である。したがって、その3次元表示器の同じ位置近傍に立体表示された3次元画像は、ユーザーの視点によって大きく異なることになる。なお、ここでいう「近傍」とは、前記3次元表示器の同じ位置から予め定められた範囲のことを意味する。以降の説明で用いる「近傍」についても同様の意味であるとする。
以下、本発明の実施形態について図面に基づき説明する。
<実施形態1>
図1は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。
本実施形態の画像処理装置は、一般的なパーソナルコンピュータ1(以後、PC1という)を有し、ネットワーク制御部90、ネットワーク回線110を介して外部から3次元画像情報等を取得する。なお、画像処理装置は、後述の記憶装置80等から3次元画像情報を取得するようにしてもよい。また、画像処理装置は、取得した3次元画像情報に基づいた3次元画像を立体表示するための表示器2を有する。
PC1は、CPU(Central Processing Unit)10で制御される。なお、CPU10は、ROM60等に格納されているプログラムを実行することにより後述の画像処理装置の機能(ソフトウェア構成)及びフローチャートに係る処理を実現する。また、PC1は、3次元画像情報や本実施形態に用いられるプログラム等を保持する記憶装置80を有する。更に、PC1は、各種設定やプログラムを格納するROM(Read Only Memory)60、一時的な記憶装置として機能するRAM(Random Access Memory)70を有する。なお、ROM60、RAM70及び記憶装置80は、記憶部の一例である。
図1は、本実施形態の画像処理装置のハードウェア構成の一例を示す図である。
本実施形態の画像処理装置は、一般的なパーソナルコンピュータ1(以後、PC1という)を有し、ネットワーク制御部90、ネットワーク回線110を介して外部から3次元画像情報等を取得する。なお、画像処理装置は、後述の記憶装置80等から3次元画像情報を取得するようにしてもよい。また、画像処理装置は、取得した3次元画像情報に基づいた3次元画像を立体表示するための表示器2を有する。
PC1は、CPU(Central Processing Unit)10で制御される。なお、CPU10は、ROM60等に格納されているプログラムを実行することにより後述の画像処理装置の機能(ソフトウェア構成)及びフローチャートに係る処理を実現する。また、PC1は、3次元画像情報や本実施形態に用いられるプログラム等を保持する記憶装置80を有する。更に、PC1は、各種設定やプログラムを格納するROM(Read Only Memory)60、一時的な記憶装置として機能するRAM(Random Access Memory)70を有する。なお、ROM60、RAM70及び記憶装置80は、記憶部の一例である。
表示器2は、3次元画像を表示する3次元表示器30を有する。また、表示器2は、3次元表示器30の表示面にタッチパネル40を有する。ユーザーは、表示面に表示された3次元画像を、タッチパネル40を介して直接タッチして操作することができる。また、ユーザーは、キーボード50を介してPC1に対する各種の入力操作をすることができる。更に、表示器2は、撮像装置20を有する。撮像装置20は、ユーザーの位置や動作を認識するために3次元表示器30の近傍に設けられている。
CPU10は、タッチパネル40、マウスやタッチパッド55、キーボード50等を介して受け付けたユーザーの操作に基づいて、表示するマーカーの位置を指定する。なお、タッチパネル40、マウスやタッチパッド55、キーボード50等は、操作部の一例である。また、本実施形態における「マーカー」とは、表示された画像の一部(以後、画像オブジェクトという)を指し示すために表示する矢印、文字、数字等を入力する際に、その入力位置を指し示すために表示するポインターやカーソル等の総称である。
CPU10は、タッチパネル40、マウスやタッチパッド55、キーボード50等を介して受け付けたユーザーの操作に基づいて、表示するマーカーの位置を指定する。なお、タッチパネル40、マウスやタッチパッド55、キーボード50等は、操作部の一例である。また、本実施形態における「マーカー」とは、表示された画像の一部(以後、画像オブジェクトという)を指し示すために表示する矢印、文字、数字等を入力する際に、その入力位置を指し示すために表示するポインターやカーソル等の総称である。
次に、表示器2について、図2Aから図2Dまでを用いて説明する。
図2Aは、3次元表示器30として用いられるレンチキュラー多視点表示器の一例を示す図である。
図2Aに示す3次元表示器30は、液晶表示器300と、液晶表示器300の前面に備えられたレンチキュラーレンズ301とを有する。更に、図2Aに示す3次元表示器30は、レンチキュラーレンズ301の前面に備えられたタッチパネル40と、画面中央部に備えられた撮像装置20とを有する。
図2Aは、3次元表示器30として用いられるレンチキュラー多視点表示器の一例を示す図である。
図2Aに示す3次元表示器30は、液晶表示器300と、液晶表示器300の前面に備えられたレンチキュラーレンズ301とを有する。更に、図2Aに示す3次元表示器30は、レンチキュラーレンズ301の前面に備えられたタッチパネル40と、画面中央部に備えられた撮像装置20とを有する。
図2Bは、多視点の画像を表示するための各レンチキュラーレンズ301と、相対位置が保証された各表示画素との一例を示す図である。
図2Bの3次元表示器30は、ユーザーが6方向からこの3次元表示器30を見た場合の多視点3次元画像の表示を可能にするため、各1つのレンチキュラーレンズ内に画素302から画素303までの一続きの7つの表示画素を有する。なお、多視点3次元画像とは、後述する図3で示すように、例えば同一被写体を複数の視点から撮影して得られた複数の視点の3次元画像やコンピュータグラフィックス等で制作された3次元画像のことである。また、本実施形態の3次元表示器30は、公知の技術で一般的に実現される表示器であり、カラー表示が可能であるが、説明を簡略化するため、単色表示が可能な表示器であるものとする。また、以後の図において、本実施形態の3次元表示器30における表示画素の並びを1次元的に表現するものとする。なお、以降の説明で単に「視点」と述べる場合、「視点」は、3次元表示器30の位置から見たユーザーの両目の位置のことを意味し、1つの「視点」にはユーザーの右目用の画像と、左目用の画像とが届けられる。
図2Bの3次元表示器30は、ユーザーが6方向からこの3次元表示器30を見た場合の多視点3次元画像の表示を可能にするため、各1つのレンチキュラーレンズ内に画素302から画素303までの一続きの7つの表示画素を有する。なお、多視点3次元画像とは、後述する図3で示すように、例えば同一被写体を複数の視点から撮影して得られた複数の視点の3次元画像やコンピュータグラフィックス等で制作された3次元画像のことである。また、本実施形態の3次元表示器30は、公知の技術で一般的に実現される表示器であり、カラー表示が可能であるが、説明を簡略化するため、単色表示が可能な表示器であるものとする。また、以後の図において、本実施形態の3次元表示器30における表示画素の並びを1次元的に表現するものとする。なお、以降の説明で単に「視点」と述べる場合、「視点」は、3次元表示器30の位置から見たユーザーの両目の位置のことを意味し、1つの「視点」にはユーザーの右目用の画像と、左目用の画像とが届けられる。
次に、ユーザーが異なる視点から3次元表示器30を見た場合に見える画素について、図2C、図2Dを用いて説明する。
図2Cは、ユーザーが視点1から3次元表示器30を見た場合に見える画素の一例を示す図である。
図2Dは、ユーザーが視点4から3次元表示器30を見た場合に見える画素の一例を示す図である。
レンチキュラーレンズ301の光学特性により、視点1のユーザーの右目では画素2のみが、視点1のユーザーの左目では画素1のみが見える。また、視点4のユーザーの右目では画素5のみが、視点4のユーザーの左目では画素4のみが見える。このようなレンチキュラーレンズによる3次元画像の表示は公知の原理であるため、詳細な説明を省略する。
図2Cは、ユーザーが視点1から3次元表示器30を見た場合に見える画素の一例を示す図である。
図2Dは、ユーザーが視点4から3次元表示器30を見た場合に見える画素の一例を示す図である。
レンチキュラーレンズ301の光学特性により、視点1のユーザーの右目では画素2のみが、視点1のユーザーの左目では画素1のみが見える。また、視点4のユーザーの右目では画素5のみが、視点4のユーザーの左目では画素4のみが見える。このようなレンチキュラーレンズによる3次元画像の表示は公知の原理であるため、詳細な説明を省略する。
図3は、上記の6つの視点と、その視点に対応する画像を表示するために撮影する撮影画像との関係の一例を示す図である。
それぞれの視点では、ユーザーの左右の目それぞれで見た画像に相当する2つの2次元画像が撮影される。3次元表示器30は、同一被写体を視点1から視点6まで連続的に3次元表示するため、視点N(Nは1から6までの何れかの整数)においてユーザーの左目に届ける画像Nと、視点N−1においてユーザーの右目に届ける画像とが同じとなる。3次元表示器30は、これらの画像を示す2次元画像情報を分割して先のレンチキュラーレンズ301と相対位置を保った液晶表示画素で表示すれば、図3で示す視点から被写体を見た際と同じ立体像をユーザーに見せることができる。即ち、図2C、図2Dで示す画素1は、視点1の左側で撮影した2次元画像(画像1)を示す2次元画像情報の一部であり、画素2は、視点1の右側で撮影した2次元画像(画像2)を示す2次元画像情報の一部である。また、図2C、図2Dで示す画素4は、視点4の左側で撮影した2次元画像(画像4)を示す2次元画像情報の一部であり、画素5は、視点4の右側で撮影した2次元画像(画像5)を示す2次元画像情報の一部である。
それぞれの視点では、ユーザーの左右の目それぞれで見た画像に相当する2つの2次元画像が撮影される。3次元表示器30は、同一被写体を視点1から視点6まで連続的に3次元表示するため、視点N(Nは1から6までの何れかの整数)においてユーザーの左目に届ける画像Nと、視点N−1においてユーザーの右目に届ける画像とが同じとなる。3次元表示器30は、これらの画像を示す2次元画像情報を分割して先のレンチキュラーレンズ301と相対位置を保った液晶表示画素で表示すれば、図3で示す視点から被写体を見た際と同じ立体像をユーザーに見せることができる。即ち、図2C、図2Dで示す画素1は、視点1の左側で撮影した2次元画像(画像1)を示す2次元画像情報の一部であり、画素2は、視点1の右側で撮影した2次元画像(画像2)を示す2次元画像情報の一部である。また、図2C、図2Dで示す画素4は、視点4の左側で撮影した2次元画像(画像4)を示す2次元画像情報の一部であり、画素5は、視点4の右側で撮影した2次元画像(画像5)を示す2次元画像情報の一部である。
図4は、本実施形態の画像処理装置の機能構成の一例を示す図である。
画像処理装置は、多視点3次元画像情報取得部401と、3次元画像表示部402と、マーカー位置検出部403と、マーカー描画部404とを有する。
多視点3次元画像情報取得部401は、3次元画像情報を記憶装置80から取得したり、ネットワーク制御部90及びネットワーク回線110を介して外部から取得したりする。
3次元画像表示部402は、表示器2の機能に対応する。3次元画像表示部402は、多視点3次元画像情報取得部401で取得された3次元画像情報に基づいて、3次元画像を表示する。
画像処理装置は、多視点3次元画像情報取得部401と、3次元画像表示部402と、マーカー位置検出部403と、マーカー描画部404とを有する。
多視点3次元画像情報取得部401は、3次元画像情報を記憶装置80から取得したり、ネットワーク制御部90及びネットワーク回線110を介して外部から取得したりする。
3次元画像表示部402は、表示器2の機能に対応する。3次元画像表示部402は、多視点3次元画像情報取得部401で取得された3次元画像情報に基づいて、3次元画像を表示する。
マーカー位置検出部403は、タッチパネル40、キーボード50、マウスやタッチパッド55及び撮像装置20を介したユーザーの指示に基づいて表示器2に表示された画像オブジェクトを指し示すために表示するマーカーの位置を検出する。
マーカー描画部404は、3次元画像オブジェクトをより明確に表示するために、マーカー位置検出部403により検出されたマーカー位置に3次元形状のマーカーを描画する。なお、マーカー描画部404は、前記3次元画像オブジェクトの近傍、かつ、その手前の3次元位置にマーカーを描画する。
マーカー描画部404は、3次元画像オブジェクトをより明確に表示するために、マーカー位置検出部403により検出されたマーカー位置に3次元形状のマーカーを描画する。なお、マーカー描画部404は、前記3次元画像オブジェクトの近傍、かつ、その手前の3次元位置にマーカーを描画する。
図5は、本実施形態における3次元マーカーの描画処理の一例を示すフローチャートである。
図5は、3次元画像表示部402が多視点3次元画像を表示している状態で、ユーザーが所望する画像オブジェクトを指し示し、マーカー描画部404が前記画像オブジェクトを指し示すようなマーカーを適切な向き及び位置で描画する際の処理の手順を示す。
S500で、マーカー位置検出部403は、3次元画像表示部402で3次元表示された画像オブジェクトに対してユーザーが指し示す位置(マーカー位置)を検出し、処理をS501に進める。ここで、マーカー位置検出部403は、ユーザーがタッチパネル40を操作した場合、そのタッチした2次元位置を直接検出する。一方、マーカー位置検出部403は、ユーザーがマウスやタッチパッド55又はキーボード50等のカーソル移動キーを操作した場合、その変化を積算した2次元的な現在の位置を検出する。より具体的には、S500で、マーカー位置検出部403は、検出したマーカー位置に相当する視点Nの左目用2次元画像(画像N)上の位置を検出する。本実施形態では、前記視点を表示器2の正面から見た視点4(N=4)として以降の説明を行う。
図5は、3次元画像表示部402が多視点3次元画像を表示している状態で、ユーザーが所望する画像オブジェクトを指し示し、マーカー描画部404が前記画像オブジェクトを指し示すようなマーカーを適切な向き及び位置で描画する際の処理の手順を示す。
S500で、マーカー位置検出部403は、3次元画像表示部402で3次元表示された画像オブジェクトに対してユーザーが指し示す位置(マーカー位置)を検出し、処理をS501に進める。ここで、マーカー位置検出部403は、ユーザーがタッチパネル40を操作した場合、そのタッチした2次元位置を直接検出する。一方、マーカー位置検出部403は、ユーザーがマウスやタッチパッド55又はキーボード50等のカーソル移動キーを操作した場合、その変化を積算した2次元的な現在の位置を検出する。より具体的には、S500で、マーカー位置検出部403は、検出したマーカー位置に相当する視点Nの左目用2次元画像(画像N)上の位置を検出する。本実施形態では、前記視点を表示器2の正面から見た視点4(N=4)として以降の説明を行う。
3次元画像表示部402は、多視点3次元画像を表示するために、図3に示す各視点の画像1から画像6までをRAM70上に展開している。
S501で、マーカー位置検出部403は、その画像の中から図6Aに示される視点4の左目用画像4(画像N)と、右目用画像5(画像N+1)とを読み出し、処理をS502に進める。
なお、図6Aは、視点4の左目用画像4と、右目用画像5との一例を示す図である。
図6Bに示される画像4の位置Q4(X4、Y4)は、S500で得られた画像4上のマーカー位置を示している。
なお、図6Bは、画像4の座標点と、視線との関係の一例を示す図である。
画像4は、図3に示されるように被写体に対して正面に位置する視点の画像であるため、画像4の座標点P1、P2、P3から図示する視線L41、L42、L43の延長上の平面図上に被写体が存在していることになる。なお、ここでいう座標点P1、P2、P3とは、被写体の一部の位置を示す座標点のことである。
同様に図6Cに示される画像5は、図3に示されるように所定の角度を持って被写体を写しているため、座標点P1、P2、P3から図示する視線L51、L52、L53の延長上の平面図上に被写体が存在していることになる。
なお、図6Cは、画像5の座標点と、視線との関係の一例を示す図である。
S501で、マーカー位置検出部403は、その画像の中から図6Aに示される視点4の左目用画像4(画像N)と、右目用画像5(画像N+1)とを読み出し、処理をS502に進める。
なお、図6Aは、視点4の左目用画像4と、右目用画像5との一例を示す図である。
図6Bに示される画像4の位置Q4(X4、Y4)は、S500で得られた画像4上のマーカー位置を示している。
なお、図6Bは、画像4の座標点と、視線との関係の一例を示す図である。
画像4は、図3に示されるように被写体に対して正面に位置する視点の画像であるため、画像4の座標点P1、P2、P3から図示する視線L41、L42、L43の延長上の平面図上に被写体が存在していることになる。なお、ここでいう座標点P1、P2、P3とは、被写体の一部の位置を示す座標点のことである。
同様に図6Cに示される画像5は、図3に示されるように所定の角度を持って被写体を写しているため、座標点P1、P2、P3から図示する視線L51、L52、L53の延長上の平面図上に被写体が存在していることになる。
なお、図6Cは、画像5の座標点と、視線との関係の一例を示す図である。
図7は、画像4及び画像5の各視線の交点の一例を示す図である。
図7は、画像4及び画像5からの視線L41と、視線L51との交点をP1、視線L42と、視線L52との交点をP2、視線L43と、視線L53との交点をP3として図示している。マーカー位置検出部403は、図7に示されるように、交点P1、交点P2及び交点P3を求める。また、交点P1と、交点P2とを結んだ線及び交点P2と、交点P3とを結んだ線は、被写体を上から見た場合の画像オブジェクトの位置を示す仮想平面図である。
S502で、マーカー位置検出部403は、上記の演算をすることにより仮想平面図を作成し、処理をS503に進める。
図7は、画像4及び画像5からの視線L41と、視線L51との交点をP1、視線L42と、視線L52との交点をP2、視線L43と、視線L53との交点をP3として図示している。マーカー位置検出部403は、図7に示されるように、交点P1、交点P2及び交点P3を求める。また、交点P1と、交点P2とを結んだ線及び交点P2と、交点P3とを結んだ線は、被写体を上から見た場合の画像オブジェクトの位置を示す仮想平面図である。
S502で、マーカー位置検出部403は、上記の演算をすることにより仮想平面図を作成し、処理をS503に進める。
S503で、マーカー位置検出部403は、得られた仮想平面図上の被写体の点P2と、点P3とからの投影処理と、画像4の被写体の同位置からの投影処理とを行い、被写体を側面方向から見た位置を示す仮想側面図を作成し、処理をS504に進める。マーカー位置検出部403は、図6B、図6C、図7に示される画像4、画像5及び仮想平面図から、図8の仮想側面図を得る。
なお、図8は、仮想平面図と、仮想側面図との関係の一例を示す図である。
本実施形態における仮想側面図とは、図3に示されるように被写体を横から見た仮想の画像であり、一般に多視点画像は被写体を図3に示す右横視点や左横視点までは表示し得ない。マーカー位置検出部403は、仮想平面図で得られた被写体から真横に視線を投影する。一方、マーカー位置検出部403は、多視点画像が被写体に対して同じ水平面からの視点画像であるため、被写体を正面から見た画像4から、被写体や、ユーザーが指定したマーカー位置をX軸方向に投影する。仮想側面図は、上記のそれぞれの視線の交点を結んで作る被写体の仮想の側面図である。
なお、図8は、仮想平面図と、仮想側面図との関係の一例を示す図である。
本実施形態における仮想側面図とは、図3に示されるように被写体を横から見た仮想の画像であり、一般に多視点画像は被写体を図3に示す右横視点や左横視点までは表示し得ない。マーカー位置検出部403は、仮想平面図で得られた被写体から真横に視線を投影する。一方、マーカー位置検出部403は、多視点画像が被写体に対して同じ水平面からの視点画像であるため、被写体を正面から見た画像4から、被写体や、ユーザーが指定したマーカー位置をX軸方向に投影する。仮想側面図は、上記のそれぞれの視線の交点を結んで作る被写体の仮想の側面図である。
被写体を正面から見た画像である画像4を被写体の正面図とするなら、仮想側面図は、画像4に対して90度の角度を有した仮想の視点画像といえる。
なお、本実施形態では、右横視点から見た仮想側面図を用いて説明するが、視点1、視点2、及び視点3の画像1、画像2、画像3及び画像4から仮想平面図を作成する場合、仮想側面図は左横視点から見た仮想側面図となる。
したがって、仮想側面図上の被写体の座標点P1及びP3は、仮想平面図からの投影線L80と、画像4からの投影線L82との交点として得られる。また、被写体の座標点P2は、仮想平面図からの投影線L81と、画像4からの投影線L84との交点として得られる。そして、マーカー位置検出部403は、両者を結ぶ画像オブジェクトの面を示す直線と、画像4のマーカー位置Q4からのY=Y4なる投影線L83との交点に仮想側面図上のマーカー位置Mを得る。マーカー位置Mは、奥から手前に傾斜して点P3から点P2に向けて下がる平面を成す画像オブジェクト上に存在していることがわかる。即ち、この平面を画像オブジェクトとしてユーザーが指し示している。
なお、本実施形態では、右横視点から見た仮想側面図を用いて説明するが、視点1、視点2、及び視点3の画像1、画像2、画像3及び画像4から仮想平面図を作成する場合、仮想側面図は左横視点から見た仮想側面図となる。
したがって、仮想側面図上の被写体の座標点P1及びP3は、仮想平面図からの投影線L80と、画像4からの投影線L82との交点として得られる。また、被写体の座標点P2は、仮想平面図からの投影線L81と、画像4からの投影線L84との交点として得られる。そして、マーカー位置検出部403は、両者を結ぶ画像オブジェクトの面を示す直線と、画像4のマーカー位置Q4からのY=Y4なる投影線L83との交点に仮想側面図上のマーカー位置Mを得る。マーカー位置Mは、奥から手前に傾斜して点P3から点P2に向けて下がる平面を成す画像オブジェクト上に存在していることがわかる。即ち、この平面を画像オブジェクトとしてユーザーが指し示している。
S504で、マーカー位置検出部403は、上記の処理で既に作成した仮想平面図と、仮想側面図上に得られたマーカー位置とを、実際に3次元表示させるためのマーカーの位置として設定し、処理をS505に進める。
本実施形態の特徴は、ユーザーが指し示す画像オブジェクトを確実に指し示すために、検出されたマーカー位置、即ち指し示す画像オブジェクトに、用いるマーカーの先端部を3次元的に接触表示させてマーカー全体を3次元表示することである。
マーカー描画部404は、この接触表示の際に画像オブジェクトと、マーカーの形状とを考慮せずにマーカーを描画すると、画像オブジェクトの形状等によっては、用いるマーカーの一部が画像オブジェクトと干渉したような表示になる。そのため、マーカー描画部404は、画像オブジェクトをわかりやすく指し示す位置に、マーカーを描画することができない場合がある。そのため、S505で、マーカー描画部404は、指し示す位置がわかりやすくなるようなマーカー形状を複数の候補から選択し、処理をS506に進める。
図9Aは、先に説明した本実施形態で選択可能なマーカーの形状の一例を示す図である。なお、マーカー自体は立体形状であるが、説明の便宜上、平面的な矢印として説明する。
マーカー描画部404は、この接触表示の際に画像オブジェクトと、マーカーの形状とを考慮せずにマーカーを描画すると、画像オブジェクトの形状等によっては、用いるマーカーの一部が画像オブジェクトと干渉したような表示になる。そのため、マーカー描画部404は、画像オブジェクトをわかりやすく指し示す位置に、マーカーを描画することができない場合がある。そのため、S505で、マーカー描画部404は、指し示す位置がわかりやすくなるようなマーカー形状を複数の候補から選択し、処理をS506に進める。
図9Aは、先に説明した本実施形態で選択可能なマーカーの形状の一例を示す図である。なお、マーカー自体は立体形状であるが、説明の便宜上、平面的な矢印として説明する。
マーカー描画部404は、仮想平面図において、水平方向に対して図9Bに示す角度θ以内のマーカーを選択することができる。なぜなら、角度θを超える場合、矢印の先端部の形状の凸部の一部が被写体を示す画像オブジェクトに干渉して見え、その結果、マーカー描画部404は、矢印の先端部を画像オブジェクトに接した状態でマーカー全体を表示することができなくなるからである。
なお、図9Bは、矢印形状のマーカーの表示可能な角度領域の一例を示す図である。
同様に、マーカー描画部404は、仮想側面図において、垂直方向に被写体を示す画像オブジェクトの面に対して、その前面の180度の空間の範囲内のマーカーであれば描画に用いることができる。以上のように、マーカー描画部404は、マーカーを回転させて描画することができる。
なお、上記のように、マーカー描画部404が、マーカー形状が被写体を示す画像オブジェクトと干渉して立体表示されるかどうかを判定する処理を干渉判定処理と呼ぶ。
なお、図9Bは、矢印形状のマーカーの表示可能な角度領域の一例を示す図である。
同様に、マーカー描画部404は、仮想側面図において、垂直方向に被写体を示す画像オブジェクトの面に対して、その前面の180度の空間の範囲内のマーカーであれば描画に用いることができる。以上のように、マーカー描画部404は、マーカーを回転させて描画することができる。
なお、上記のように、マーカー描画部404が、マーカー形状が被写体を示す画像オブジェクトと干渉して立体表示されるかどうかを判定する処理を干渉判定処理と呼ぶ。
上述したように、S505で、マーカー描画部404は、複数のマーカー形状の候補の中からマーカー形状を選択し、処理をS506に進める。本実施形態では、マーカー描画部404は、マーカー900を選択したとする。なお、マーカー描画部404は、複数のマーカー形状に関するマーカー情報をROM60又は記憶装置80等に格納している。
S506で、マーカー描画部404は、S505で選択したマーカー形状について干渉判定処理を行い、干渉すると判定した場合、処理をS505に戻し、干渉しないと判定した場合、処理をS507へ進める。
S506で、マーカー描画部404は、S505で選択したマーカー形状について干渉判定処理を行い、干渉すると判定した場合、処理をS505に戻し、干渉しないと判定した場合、処理をS507へ進める。
S507で、マーカー描画部404は、画像N及び画像N+1上にマーカーを描画し、処理をS508に進める。以下、S507の処理について、図10Aを用いて説明する。
図10Aは、マーカー描画部404がマーカー位置Mにマーカー900を3次元表示するために、画像4(視点Nにおける画像N)上にマーカー画像を描画する際の手順の一例を示す図である。
選択され得る全ての形状のマーカーは、画像オブジェクトを指し示すために画像オブジェクトに接する先端部を既定する。本実施形態のマーカー900は、その矢印の先端部が画像オブジェクトに接する。したがって、マーカー描画部404は、仮想平面図上のマーカー位置M、仮想側面図上のマーカー位置M及び画像4上のマーカー位置Q4にマーカー900の矢印の先端部を重ねる。
図10Aは、マーカー描画部404がマーカー位置Mにマーカー900を3次元表示するために、画像4(視点Nにおける画像N)上にマーカー画像を描画する際の手順の一例を示す図である。
選択され得る全ての形状のマーカーは、画像オブジェクトを指し示すために画像オブジェクトに接する先端部を既定する。本実施形態のマーカー900は、その矢印の先端部が画像オブジェクトに接する。したがって、マーカー描画部404は、仮想平面図上のマーカー位置M、仮想側面図上のマーカー位置M及び画像4上のマーカー位置Q4にマーカー900の矢印の先端部を重ねる。
マーカー900は仮想側面図上で既定の長さを確定することができるため、まず、マーカー描画部404は、仮想側面図上にマーカー1000を配置する。
マーカー描画部404は、仮想側面図上のマーカー1000の側面図のその尾から投影線L01を用いて仮想平面図上に投影すれば、仮想平面図上にマーカー1001を描くことができる。そして、マーカー描画部404は、仮想平面図のマーカー1001と、仮想側面図上のマーカー1000とを画像4上に投影することにより矢印の先端部をQ4に位置させて、(Y41−Y4)を矢印の長さとするマーカー1002を画像4上に描画することができる。
マーカー描画部404は、仮想側面図上のマーカー1000の側面図のその尾から投影線L01を用いて仮想平面図上に投影すれば、仮想平面図上にマーカー1001を描くことができる。そして、マーカー描画部404は、仮想平面図のマーカー1001と、仮想側面図上のマーカー1000とを画像4上に投影することにより矢印の先端部をQ4に位置させて、(Y41−Y4)を矢印の長さとするマーカー1002を画像4上に描画することができる。
図10Bは、マーカー描画部404がマーカー位置Mにマーカー900を3次元表示するために、画像5上にマーカー画像を描画する際の手順の一例を示す図である。
マーカー描画部4040は、画像4上にマーカー1002を描画したのと同様に、仮想平面図上のマーカー1001と、仮想側面図上のマーカー1000とを画像5上に投影する。そして、マーカー描画部404は、矢印の先端部をQ5に位置させて、(Y41−Y4)を矢印の長さとするマーカー1003を画像5上に描画することができる。
マーカー描画部4040は、画像4上にマーカー1002を描画したのと同様に、仮想平面図上のマーカー1001と、仮想側面図上のマーカー1000とを画像5上に投影する。そして、マーカー描画部404は、矢印の先端部をQ5に位置させて、(Y41−Y4)を矢印の長さとするマーカー1003を画像5上に描画することができる。
図11Aは、視点4における左目用画像4上にマーカー1002が描画された画像の一例を示す図である。
図11Bは、視点4における右目用画像5上にマーカー1003が描画された画像の一例を示す図である。
画像4及び画像5が表示器2で同時に表示され、ユーザーが視点4から見た場合の例について説明する。矢印形状のマーカー900は、その画面上部から手前に向かって下がる3角形の被写体の面(P1−P2−P3)に対して水平方向から上約45度の方向の上手前から奥下方向に向く。そして、マーカー描画部404は、矢印形状のマーカー900の先端部を前記3角形の画像オブジェクトの面(P1−P2−P3)に接した状態で被写体と共に3次元的に表示することができる。
S508で、マーカー描画部404は、他の視点画像に対しても同様の処理を実行すれば、マーカー900を各視点画像上に描画することができる。即ち、マーカー描画部404は、画像1、画像2、画像3、画像6及び画像7上にマーカー900を描画することができる。これにより、マーカー描画部404は、多視点3次元画像として画像オブジェクトをどの視点からでも確実に指し示す3次元マーカーを表示することができる。
図11Bは、視点4における右目用画像5上にマーカー1003が描画された画像の一例を示す図である。
画像4及び画像5が表示器2で同時に表示され、ユーザーが視点4から見た場合の例について説明する。矢印形状のマーカー900は、その画面上部から手前に向かって下がる3角形の被写体の面(P1−P2−P3)に対して水平方向から上約45度の方向の上手前から奥下方向に向く。そして、マーカー描画部404は、矢印形状のマーカー900の先端部を前記3角形の画像オブジェクトの面(P1−P2−P3)に接した状態で被写体と共に3次元的に表示することができる。
S508で、マーカー描画部404は、他の視点画像に対しても同様の処理を実行すれば、マーカー900を各視点画像上に描画することができる。即ち、マーカー描画部404は、画像1、画像2、画像3、画像6及び画像7上にマーカー900を描画することができる。これにより、マーカー描画部404は、多視点3次元画像として画像オブジェクトをどの視点からでも確実に指し示す3次元マーカーを表示することができる。
なお、マーカー描画部404は、図11A及び図11Bに示した画像4及び画像5上に描いたマーカー900の描画データを予めROM60又は記憶装置80に記憶保持し、描画時にRAM70に展開してそれぞれの画像データを上書きする。そのためマーカー描画部404は、より高速にマーカーを描画することができる。また、各視点の左右の目用の画像に用いるマーカーの描画データは、それぞれ予め相対的な視点の角度差が決まっている。そのため、マーカー描画部404は、例えば任意の画像Nのマーカー形状を決めれば、画像N上に描画するマーカーの描画データを一意に決めることができる。更に、マーカー描画部404は、関連する画像N+1の画像上に描くマーカーの描画データも一意に決めることができる。即ち、本実施形態において、マーカー描画部404は、ROM60或いは記憶装置80に同じ位置を指し示す3次元的に表示可能な多数のマーカーと、描画データとを予め記憶保持している。なお、前記記憶保持されているマーカーの3次元形状は既知であるため、マーカー描画部404は、S505の処理以前に画像オブジェクト周辺の3次元位置が判れば、画像オブジェクトと干渉しないマーカーを記憶保持している中から高速に選択することができる。
図12は、画像オブジェクトとの干渉を防止して、画像オブジェクトに接触させて3次元表示したマーカー表示の一例を示す図である。
図12の被写体の破線左端をマーカーA1で指し示し、順次破線上を左から右に移動させた場合、同じマーカーA2ではその矢印の先端の矢の右端が被写体の側面1200に接触する。したがって、A形状のマーカーでは側面1200上を指し示すことができない。そのため、マーカー描画部404は、側面1200を指し示す場合、S505でマーカーC1、マーカーC2を選択する。マーカーCは、マーカーAと異なり、下手前から斜め右奥上方向を指し示す形状のため、被写体の正面ではその尾の部分が被写体の面1201と干渉する。そのため、マーカー描画部404は、正面を指し示す場合、S505で上手前から左下奥方向を指し示すマーカーB1、マーカーB2、マーカーB3を選択する。
図12の被写体の破線左端をマーカーA1で指し示し、順次破線上を左から右に移動させた場合、同じマーカーA2ではその矢印の先端の矢の右端が被写体の側面1200に接触する。したがって、A形状のマーカーでは側面1200上を指し示すことができない。そのため、マーカー描画部404は、側面1200を指し示す場合、S505でマーカーC1、マーカーC2を選択する。マーカーCは、マーカーAと異なり、下手前から斜め右奥上方向を指し示す形状のため、被写体の正面ではその尾の部分が被写体の面1201と干渉する。そのため、マーカー描画部404は、正面を指し示す場合、S505で上手前から左下奥方向を指し示すマーカーB1、マーカーB2、マーカーB3を選択する。
以上、本実施形態によれば、マーカー描画部404は、描画するマーカーと、指し示すべき画像オブジェクトとの干渉を防止して、マーカーの先端部が前記画像オブジェクトに接触するように描画することができる。更に、マーカー描画部404は、記憶保持している複数の形状のマーカーから最適な形状のマーカーを選択して描画することができるため、より確実に画像オブジェクトを指し示すことができるようになる。
<実施形態2>
図13は、本実施形態のマーカー描画で用いるマーカーの一例を示す図である。
実施形態1では、2次元表示のシステム等で用いられる矢印形状のマーカー1302を用いて説明した。しかし、マーカー1302のように平面的な形状は、マーカーを側面から表示するような視点によっては平面的な矢印形状に見えず、線上に見える場合がある。そのため、マーカー描画部404は、マーカー1302を用いた場合、画像オブジェクトを確実に指し示すことができない場合がある。
図13は、本実施形態のマーカー描画で用いるマーカーの一例を示す図である。
実施形態1では、2次元表示のシステム等で用いられる矢印形状のマーカー1302を用いて説明した。しかし、マーカー1302のように平面的な形状は、マーカーを側面から表示するような視点によっては平面的な矢印形状に見えず、線上に見える場合がある。そのため、マーカー描画部404は、マーカー1302を用いた場合、画像オブジェクトを確実に指し示すことができない場合がある。
マーカー1304は、上述したようにマーカーを側面から表示するような視点の場合に、マーカー1302よりも有利なマーカーである。マーカー1304は、角錐と、円柱とで構成されているため、どの視点においても形状の変化がほとんどないという利点を有する。
人の指を模写したマーカー1300は、認識し易いという利点を有する。
三角形状のマーカー1301は、形状が簡単なため、マーカー描画部404が描画を高速に行うことができるという利点を有する。
上記の全てのマーカーは、その一端部が先鋭形状に尖っているため、より正確に細かな画像オブジェクトに接した状態で画像オブジェクトを指し示すことができる。
人の指を模写したマーカー1300は、認識し易いという利点を有する。
三角形状のマーカー1301は、形状が簡単なため、マーカー描画部404が描画を高速に行うことができるという利点を有する。
上記の全てのマーカーは、その一端部が先鋭形状に尖っているため、より正確に細かな画像オブジェクトに接した状態で画像オブジェクトを指し示すことができる。
マーカー1303は、円形のシート形状のマーカーである。マーカー描画部404は、マーカー1303の全体を画像オブジェクトに接触させて、同じ3次元の位置に表示させることができる。そのため、マーカー1303は、あたかも画像オブジェクトにシールを張り付けたかのように、或いは赤色レーザーポインターで画像オブジェクトを照射した際の赤色で円形のスペックルパターンのように見える。マーカー1303は、他のマーカーと比べて最も他の被写体や画像オブジェクトとの干渉を避けるができるという利点を有する。
以上、本実施形態によれば、マーカー描画部404は、状況に応じて種々のマーカーから最適なマーカーを選択して描画することにより、より確実に画像オブジェクトを指し示すことができるようになる。
<実施形態3>
実施形態1で説明したマーカー900を用いたマーカー描画を、実施形態2で説明したマーカー1303を用いて描画した場合の実施形態について、図14を用いて説明する。
なお、図14は、本実施形態における仮想平面図と、仮想側面図との関係の一例を示す図である。
図14に示される画像4、画像5及び画像4上のマーカー位置Q4は、実施形態1で説明した図8と同様である。
まず、マーカー描画部404は、仮想側面図のマーカー位置Mを中心にして直径dの円形のマーカー1400を仮想側面図上に描画する。そして、マーカー描画部404は、マーカー1400からの投影線L02及び投影線L03を用いて仮想平面図にマーカー1400を投影する。更に、マーカー描画部404は、画像4から直径dに相当する円として仮想平面図上に投影して楕円形のマーカー1401を仮想平面図上の画像オブジェクト上に描く。
実施形態1で説明したマーカー900を用いたマーカー描画を、実施形態2で説明したマーカー1303を用いて描画した場合の実施形態について、図14を用いて説明する。
なお、図14は、本実施形態における仮想平面図と、仮想側面図との関係の一例を示す図である。
図14に示される画像4、画像5及び画像4上のマーカー位置Q4は、実施形態1で説明した図8と同様である。
まず、マーカー描画部404は、仮想側面図のマーカー位置Mを中心にして直径dの円形のマーカー1400を仮想側面図上に描画する。そして、マーカー描画部404は、マーカー1400からの投影線L02及び投影線L03を用いて仮想平面図にマーカー1400を投影する。更に、マーカー描画部404は、画像4から直径dに相当する円として仮想平面図上に投影して楕円形のマーカー1401を仮想平面図上の画像オブジェクト上に描く。
マーカー描画部404は、画像4のマーカー位置Q4を中心に、横径d、仮想側面図から得られる縦径(Y42−Y43)の楕円で画像4上のマーカー1402を描くことができる。同様に、マーカー描画部404は、仮想平面図のマーカー1401から画像5に投影することにより、マーカー位置Q5を中心にした楕円形状のマーカー1403を描くことができる。
なお、マーカー描画部404は、図5を用いて説明したS505で、マーカー1303を選択した場合、他の画像オブジェクトとの干渉がないため、S505の処理終了後、S506を介さずに直接S507に処理を進める。
なお、マーカー描画部404は、図5を用いて説明したS505で、マーカー1303を選択した場合、他の画像オブジェクトとの干渉がないため、S505の処理終了後、S506を介さずに直接S507に処理を進める。
以上、本実施形態によれば、マーカー描画部404は、マーカー1303を用いることにより、円形のマーカー全体を画像オブジェクトと接触させて、即ち、マーカー全体を画像オブジェクトと同じ位置に表示することができる。但し、マーカー1303の直径dの大きさによっては、指し示す画像オブジェクトの平面的な面以外の曲面や3次元的に不連続な他の画像オブジェクトにその一部が跨って表示されることになる。
<実施形態4>
実施形態1では、画像オブジェクトや他の被写体と干渉しないマーカー形状を選択する処理について説明した。本実施形態では、より確実に画像オブジェクトを指し示すために、更に、マーカーの位置に応じて形状を選択する処理について、図15、図16A及び図16Bを用いて説明する。
図15は、本実施形態における処理の一例を示すフローチャートである。
以下、実施形態1で説明した図5と同一の処理については、説明を省略する。
実施形態1と異なる本実施形態の特徴は、マーカー描画部404がS505で画像オブジェクトと干渉しないマーカー形状を選択する処理に先立ち、S509の処理を実行する点である。より具体的には、S509で、マーカー描画部404は、マーカー位置検出部403で検出されたマーカー位置に応じて、予め干渉しにくくなるようにマーカーの形状を選択する。
実施形態1では、画像オブジェクトや他の被写体と干渉しないマーカー形状を選択する処理について説明した。本実施形態では、より確実に画像オブジェクトを指し示すために、更に、マーカーの位置に応じて形状を選択する処理について、図15、図16A及び図16Bを用いて説明する。
図15は、本実施形態における処理の一例を示すフローチャートである。
以下、実施形態1で説明した図5と同一の処理については、説明を省略する。
実施形態1と異なる本実施形態の特徴は、マーカー描画部404がS505で画像オブジェクトと干渉しないマーカー形状を選択する処理に先立ち、S509の処理を実行する点である。より具体的には、S509で、マーカー描画部404は、マーカー位置検出部403で検出されたマーカー位置に応じて、予め干渉しにくくなるようにマーカーの形状を選択する。
図16A及び図16Bは、被写体を実施形態1と同様のマーカー900を用いて描画する場合において、被写体を正面からみた画像4と、仮想平面図とを示している。
図16Aは、奥行方向の位置に応じてサイズの異なるマーカー描画の一例を示す図である。
図16Aのマーカー180、マーカー181、マーカー182及びマーカー183は、指し示す画像オブジェクトの位置が奥行方向に異なる。一般的に、遠くに表示される画像オブジェクトほど小さく、その周辺に多数の画像オブジェクトが存在する。逆に手前に表示される画像オブジェクトほど大きく、その周辺に存在する画像オブジェクトは少ない。
図16Aは、奥行方向の位置に応じてサイズの異なるマーカー描画の一例を示す図である。
図16Aのマーカー180、マーカー181、マーカー182及びマーカー183は、指し示す画像オブジェクトの位置が奥行方向に異なる。一般的に、遠くに表示される画像オブジェクトほど小さく、その周辺に多数の画像オブジェクトが存在する。逆に手前に表示される画像オブジェクトほど大きく、その周辺に存在する画像オブジェクトは少ない。
したがって、マーカー描画部404は、S504で仮想平面図上のマーカーの位置を設定した後、S509でその奥行方向の位置に応じてマーカーのサイズを選択する。即ち、マーカー描画部404は、差し示す画像オブジェクトが遠くにある場合、所定のサイズよりマーカーのサイズを小さくして、マーカーと、他の画像オブジェクトとを干渉しにくくする。逆に、マーカー描画部404は、差し示す画像オブジェクトが近くにある場合、マーカーと、他の画像オブジェクトとは干渉しにくいため、マーカーのサイズを所定のサイズより大きくして視認性を高める。
本実施形態では、マーカー描画部404は、図16Aに示されるように4種類のサイズの中からマーカーのサイズを選択したが、その位置に応じて連続的にマーカーの大きさを変えるようにしてもよい。
また、マーカー描画部404は、上述したように奥行方向の位置に応じて単にマーカーのサイズを変えるだけでなく、マーカーの先端部を小さく、そして先端部から手前(後端部側)に向かうにつれて連続的に大きくなるようにマーカーを描画してもよい。これにより、マーカー描画部404は、より遠近感を考慮したマーカーを描画することができる。
本実施形態では、マーカー描画部404は、図16Aに示されるように4種類のサイズの中からマーカーのサイズを選択したが、その位置に応じて連続的にマーカーの大きさを変えるようにしてもよい。
また、マーカー描画部404は、上述したように奥行方向の位置に応じて単にマーカーのサイズを変えるだけでなく、マーカーの先端部を小さく、そして先端部から手前(後端部側)に向かうにつれて連続的に大きくなるようにマーカーを描画してもよい。これにより、マーカー描画部404は、より遠近感を考慮したマーカーを描画することができる。
図16Bは、画面の上下の位置に応じて向きの異なるマーカー描画の一例を示す図である。
図16Bのマーカー184は、画面水平方向から上部を指し示している。一方、図16Bのマーカー185は、画面水平方向から下部を指し示している。
一般的に、画面の上部に表示される画像オブジェクトほど、その下部に他の画像オブジェクトが存在しない場合が多い。また、下部に表示される画像オブジェクトほど、その上部に他の画像オブジェクトが存在しない場合が多い。
図16Bのマーカー184は、画面水平方向から上部を指し示している。一方、図16Bのマーカー185は、画面水平方向から下部を指し示している。
一般的に、画面の上部に表示される画像オブジェクトほど、その下部に他の画像オブジェクトが存在しない場合が多い。また、下部に表示される画像オブジェクトほど、その上部に他の画像オブジェクトが存在しない場合が多い。
したがって、S509で、マーカー描画部404は、S500で検出した画像4におけるマーカー位置のY方向の位置に応じて、マーカーの向きを選択する。例えば、マーカー描画部404は、差し示す画像オブジェクトが画面Y方向中央から上部の場合、マーカー先端部を手前下から上方向に向かう形状として、マーカーと、他の画像オブジェクトとを干渉しにくくする。逆に、マーカー描画部404は、差し示す画像オブジェクトが画面Y方向中央から下部の場合、マーカー先端部を手前上から下方向に向かう形状として、マーカーと、他の画像オブジェクトとを干渉しにくくする。
本実施形態では、マーカー描画部404は、図16Bに示されるように2種類の向きの形状からマーカーを選択したが、その位置に応じて連続的に向きを変えるようにしてもよい。
なお、マーカー描画部404は、図16A及び図16Bの両者の処理を組み合わせてマーカーを描画するようにしてもよい。
本実施形態では、マーカー描画部404は、図16Bに示されるように2種類の向きの形状からマーカーを選択したが、その位置に応じて連続的に向きを変えるようにしてもよい。
なお、マーカー描画部404は、図16A及び図16Bの両者の処理を組み合わせてマーカーを描画するようにしてもよい。
以上、本実施形態によれば、マーカー描画部404は、マーカーの位置に応じてマーカーの形状を選択することにより、より確実に画像オブジェクトを指し示すことができるようになる。更に、マーカー描画部404は、マーカーと、指し示すべき画像以外の画像オブジェクトとを干渉しにくくするために、S509でマーカー形状を予め選択する。これにより、マーカー描画部404は、S509に続くS505及びS506の処理を大幅に短縮することができる。
<実施形態5>
実施形態1から実施形態4までは、視差分割方式としてレンチキュラーレンズ方式を用いた多視点3次元表示器を用いた場合の実施形態について説明した。しかしながら、3次元表示器30は、レンチキュラーレンズを用いるものに限定されることなく他の3次元表示器を用いることも可能である。本実施形態では、パララックスバリア方式の3次元表示器を用いた場合の実施形態について説明する。
図17は、本実施形態で用いるパララックスバリア方式の3次元表示器の表示原理の一例を示す図である。
例えば図17に示すパララックスバリア方式の3次元表示器30は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮るための光学的なパララックスバリア160を有する。これにより、図17に示すように、右目に対しては左目用画素がパララックスバリア160で光路遮光され、逆に左目に対しては右目用画素がパララックスバリア160で光路遮光される。その結果、右目と、左目とには、両目の視点で撮影された異なる視点の画像が見えるため、立体表示がなされる。
実施形態1から実施形態4までは、視差分割方式としてレンチキュラーレンズ方式を用いた多視点3次元表示器を用いた場合の実施形態について説明した。しかしながら、3次元表示器30は、レンチキュラーレンズを用いるものに限定されることなく他の3次元表示器を用いることも可能である。本実施形態では、パララックスバリア方式の3次元表示器を用いた場合の実施形態について説明する。
図17は、本実施形態で用いるパララックスバリア方式の3次元表示器の表示原理の一例を示す図である。
例えば図17に示すパララックスバリア方式の3次元表示器30は、表示画面の手前に左右の目から見た視線上に互いに他方の目用の表示画素からの光を遮るための光学的なパララックスバリア160を有する。これにより、図17に示すように、右目に対しては左目用画素がパララックスバリア160で光路遮光され、逆に左目に対しては右目用画素がパララックスバリア160で光路遮光される。その結果、右目と、左目とには、両目の視点で撮影された異なる視点の画像が見えるため、立体表示がなされる。
次に、図18を用いて、パララックスバリア方式の3次元表示器を使った実施形態について詳述する。
図18は、パララックスバリア方式を用いた場合の表示の一例を示す図である。
図18の液晶表示器300は、それぞれ右目用表示画素170と、左目用表示画素171とを隣接対として有している。3次元表示器30は、視点1から見た3次元画像を表示する場合、3次元画像情報172として、右目用画素位置に図3に示す画像2の2次元画像情報を、左目用画素位置に画像1の2次元画像情報を、それぞれ短冊状に分解して表示する。
ここで、多視点画像として図18に示すように各視点の3次元画像情報を有する場合、3次元表示器30は、順次表示する3次元画像情報を切り替えて表示することにより、ユーザーが所望する視点の画像を表示することができる。即ち、マーカー描画部404は、画像を3次元表示するためには、表示方式によらず任意の視点Nの左目用の2次元画像Nと、右目用の2次元画像N+1とで表示される画像にマーカーを描画する。これにより、マーカー描画部404は、画像オブジェクトを確実に差し示す3次元形状でマーカーを表示することができる。
図18は、パララックスバリア方式を用いた場合の表示の一例を示す図である。
図18の液晶表示器300は、それぞれ右目用表示画素170と、左目用表示画素171とを隣接対として有している。3次元表示器30は、視点1から見た3次元画像を表示する場合、3次元画像情報172として、右目用画素位置に図3に示す画像2の2次元画像情報を、左目用画素位置に画像1の2次元画像情報を、それぞれ短冊状に分解して表示する。
ここで、多視点画像として図18に示すように各視点の3次元画像情報を有する場合、3次元表示器30は、順次表示する3次元画像情報を切り替えて表示することにより、ユーザーが所望する視点の画像を表示することができる。即ち、マーカー描画部404は、画像を3次元表示するためには、表示方式によらず任意の視点Nの左目用の2次元画像Nと、右目用の2次元画像N+1とで表示される画像にマーカーを描画する。これにより、マーカー描画部404は、画像オブジェクトを確実に差し示す3次元形状でマーカーを表示することができる。
以上、本実施形態におけるパララックスバリア方式の3次元表示器を用いた3次元表示器を用いれば、レンチキュラーレンズ方式を用いた場合よりも、より画素密度の高い表示が可能となり、より正確に画像を指定することができる。
<その他の実施形態>
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本実施形態は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
以上、上述した各実施形態によれば、マーカー描画部404は、ユーザーが所望する3次元画像の一部に、前記3次元画像の背後に隠れることなく、かつ、指し示すべき画像以外の画像と干渉することなく3次元表示のマーカーを描画することができる。
以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
Claims (11)
- 取得した3次元画像情報に基づいて3次元画像を表示する表示手段と、
操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された3次元画像の一部を指し示すマーカー位置を検出する検出手段と、
前記検出されたマーカー位置に対応する3次元位置にマーカーの先端が重なるように、3次元的に表示されるマーカーを前記3次元画像の手前に描画する描画手段と、
を有する画像処理装置。 - 前記画像処理装置の記憶部には、マーカー形状に関する情報であるマーカー情報が格納されており、
前記描画手段は、前記マーカー位置と同じ3次元位置にマーカーの先端が重なるように、前記記憶部から取得したマーカー情報に基づくマーカー形状のマーカーを前記3次元画像の手前に描画する請求項1記載の画像処理装置。 - 前記描画手段は、前記マーカー位置と同じ3次元位置にマーカーの先端が重なるように、3次元的に表示される先鋭形状のマーカーを前記3次元画像の手前に描画する請求項1又は2記載の画像処理装置。
- 前記描画手段は、前記先鋭形状のマーカーの先端を前記マーカー位置と同じ3次元位置に重ね、かつ、前記マーカーの後端が指し示すべき画像以外の画像と干渉しないように回転させて前記3次元画像の手前に描画する請求項3記載の画像処理装置。
- 前記先鋭形状のマーカーとは、
矢印形状のマーカー、
又は三角形状のマーカー、
又は角錐と、円柱とで構成される形状のマーカー、
又は人の指を模写した形状のマーカーであり、
前記描画手段は、前記マーカー位置と同じ3次元位置にマーカーの先端が重なるように、3次元的に表示される先鋭形状のマーカーを前記3次元画像の手前に描画する請求項3又は4記載の画像処理装置。 - 前記描画手段は、前記マーカー位置におけるY方向の位置が予め定めた位置よりも上の場合、マーカーの先端部が後端部よりも上を向く形状のマーカーを前記3次元画像の手前に描画し、前記Y方向の位置が予め定めた位置よりも下の場合、マーカーの先端部が後端部よりも下を向く形状のマーカーを前記3次元画像の手前に描画する請求項1乃至5の何れか1項記載の画像処理装置。
- 前記描画手段は、前記マーカー位置における奥行方向の位置に応じて、異なるサイズのマーカーを前記3次元画像の手前に描画する請求項1乃至6の何れか1項記載の画像処理装置。
- 前記描画手段は、前記マーカー位置における奥行方向の位置に応じて、マーカーの先端部から後端部へと連続的に大きくなるように表示されるマーカーを前記3次元画像の手前に描画する請求項1乃至7の何れか1項記載の画像処理装置。
- 前記描画手段は、前記マーカー位置と同じ3次元位置にシート形状のマーカーを前記3次元画像の手前に描画する請求項1又は2記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
取得した3次元画像情報に基づいて3次元画像を表示する表示ステップと、
操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された3次元画像の一部を指し示すマーカー位置を検出する検出ステップと、
前記検出されたマーカー位置に対応する3次元位置にマーカーの先端が重なるように、3次元的に表示されるマーカーを前記3次元画像の手前に描画する描画ステップと、
を含む画像処理方法。 - コンピュータに、
取得した3次元画像情報に基づいて3次元画像を表示する表示ステップと、
操作部を介して受け付けたユーザーの指示に基づいて指定された前記表示された3次元画像の一部を指し示すマーカー位置を検出する検出ステップと、
前記検出されたマーカー位置に対応する3次元位置にマーカーの先端が重なるように、3次元的に表示されるマーカーを前記3次元画像の手前に描画する描画ステップと、
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013012436A JP2014142568A (ja) | 2013-01-25 | 2013-01-25 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013012436A JP2014142568A (ja) | 2013-01-25 | 2013-01-25 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014142568A true JP2014142568A (ja) | 2014-08-07 |
Family
ID=51423885
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013012436A Pending JP2014142568A (ja) | 2013-01-25 | 2013-01-25 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014142568A (ja) |
-
2013
- 2013-01-25 JP JP2013012436A patent/JP2014142568A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3997552B1 (en) | Virtual user interface using a peripheral device in artificial reality environments | |
JP5981006B1 (ja) | 視線誘導のためのコンピュータ・プログラム | |
US8791962B2 (en) | Information processing device, information processing method, and program for 3D object selection and interaction | |
WO2016203792A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US9933853B2 (en) | Display control device, display control program, and display control method | |
JP6508280B2 (ja) | 制御装置、検出装置、表示システム、電子機器、及びプログラム | |
JP5167439B1 (ja) | 立体画像表示装置及び立体画像表示方法 | |
US9979946B2 (en) | I/O device, I/O program, and I/O method | |
US20160292922A1 (en) | Display control device, display control method, and recording medium | |
CN110379019A (zh) | 在真实环境的视图中表示兴趣点的方法以及移动设备 | |
US20160291687A1 (en) | Display control device, display control method, and recording medium | |
Livingston et al. | Pursuit of “X-ray vision” for augmented reality | |
US9906778B2 (en) | Calibration device, calibration program, and calibration method | |
JP6332652B1 (ja) | 表示制御装置、及びプログラム | |
JP2011215956A (ja) | カーソルの表示方法およびカーソルの表示プログラム | |
US20180113596A1 (en) | Interface for positioning an object in three-dimensional graphical space | |
US20180053338A1 (en) | Method for a user interface | |
US9594436B2 (en) | Three-dimensional image display device, cursor display method therefor, and computer program | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2013168120A (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP2018097141A (ja) | 頭部装着型表示装置、仮想物体表示システム | |
JP2017059212A (ja) | 視線誘導のためのコンピュータ・プログラム | |
JP2014142568A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6613099B2 (ja) | 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム | |
Ericsson et al. | Interaction and rendering techniques for handheld phantograms |