JP5181084B1 - 立体画像表示制御装置及び立体画像表示制御方法 - Google Patents

Abstract

立体画像表示制御装置の一例である３Ｄタブレット端末（１００）は、オブジェクトの表示面から最も飛び出す最大飛び出し位置、及び最も引っ込む最大引っ込み位置を特定する最大飛び出し位置特定部（１０４）と、オブジェクトを表示装置に表示させる表示制御部（１０５）とを備え、表示制御部（１０５）は、最大飛び出し位置の飛び出し量が適正飛び出し量に一致するように、当該オブジェクトの表示位置を調整し、表示位置を調整した後の最大引っ込み位置の引っ込み量が適性引っ込み量を超える場合に、当該オブジェクトの表示面より奥側の部分を所定の方法で加工する。
【選択図】図１

Description

本発明は、オブジェクトの立体表示を制御する立体画像表示制御装置に関する。

近年、モバイル分野における３Ｄ市場は急速に伸びており、全体に占める裸眼３Ｄ対応の割合は約１２％になると予測されている。裸眼３Ｄ対応モバイル端末は、２０１１年から２０１５年にかけて１３０００万台増が予測されており、将来性が見込まれるタブレットでも裸眼３Ｄの採用が進むと考えられる。

タブレットは一般的に小型のため、ディスプレイに表示されるアイコンなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の画面部品をタッチペンや指でタッチすることにより情報の入力を行うタッチ入力方式が採用されている。タッチ入力方式では、表示画面に複数のアイコンなどを含む画面部品が表示され、それらの画面部品をタッチペンや指でタッチすることにより、アイコンが決定され、アイコンに割り当てられているアプリケーションプログラムを起動することができる。

また、表示画像の３Ｄ化とともに入力操作も３次元化しつつある。すなわち、空間上に表示される３Ｄオブジェクトを指で直接操作（タッチ）することなども考えられるようになっている。

また、特許文献１には、大人が子供の目の安全性を気にかけることなく、立体映像コンテンツを子供と一緒に楽しむことができる複数視点に対応した立体映像表示方法などが開示されている。

特開２００６−２６２１９１号公報

人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン（２０１０年４月２０日改訂、３Ｄコンソーシアム）

立体視される３Ｄオブジェクトを表示する場合、３Ｄコンソーシアム（３ＤＣ）安全ガイドライン部会のＨＰ（http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guideJ_20111031.pdf）で公開されている非特許文献１のガイドライン（以下、単に「安全ガイドライン」と
いう。）に準拠することにより、視聴者の疲労や不快感等を抑制することができる。

例えば、非特許文献１には、瞳孔間隔が６．５ｃｍで、視聴者と画面との間の視距離を４５ｃｍとすると、約５ｃｍが３Ｄ表示における飛び出し量の限界となると開示されている（引っ込み量の限界もほぼ同程度）。

３Ｄオブジェクトに対して回転などの操作を加えることを考えると、安全ガイドラインを守りつつ３Ｄオブジェクトを操作可能とするために、３Ｄオブジェクトが一辺約１０ｃｍの立方体内に収まるようにする方法がある。この場合、前述の立方体内に３Ｄオブジェクトを収めなければならないという制限を受ける。

一方、オブジェクトサイズを制限外にまで飛び出させたり引っ込ませたりする場合、安全ガイドラインを逸脱する３Ｄオブジェクトの部分をカットして安全の問題を回避しようとすると、不自然な画像となってしまう。

本発明は、上記の事情に鑑みてなされたものであり、オブジェクトサイズの制限を受けずに、自然な３Ｄオブジェクトを表示することができる立体画像表示制御装置を提供することを目的とする。

本発明の一形態に係る立体画像表示制御装置は、表示装置の表示面からの適正飛び出し量及び適正引っ込み量の範囲内に、オブジェクトを立体表示させる。具体的には、立体画像表示制御装置は、前記オブジェクトの前記表示面から最も飛び出す最大飛び出し位置、及び最も引っ込む最大引っ込み位置を特定する最大飛び出し位置特定部と、前記オブジェクトを前記表示装置に表示させる表示制御部とを備える。そして、前記表示制御部は、前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように、当該オブジェクトの表示位置を調整し、表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、立体視オブジェクトのサイズを制限することなく、立体視オブジェクトを自然に表示することができる。

図１は、本実施の形態に係る３Ｄタブレット端末の制御構成図である。 図２は、本実施の形態に係る３Ｄタブレット端末の外観図である。 図３は、立体視の原理を説明するための図である。 図４は、制限範囲に収まる立体視オブジェクトの例を示す図である。 図５は、立体視オブジェクトの制限範囲を超えた部分をカットした例を示す図である。 図６Ａは、裸眼３Ｄディスプレイに表示される立体視オブジェクトを上から見た概念図である。 図６Ｂは、図６Ａの左側の立体視オブジェクトが裸眼３Ｄオブジェクトに表示されている状態を示す図である。 図６Ｃは、図６Ａの中央の立体視オブジェクトが裸眼３Ｄオブジェクトに表示されている状態を示す図である。 図６Ｄは、図６Ａの右側の立体視オブジェクトが裸眼３Ｄオブジェクトに表示されている状態を示す図である。 図７は、本実施の形態に係る３Ｄタブレット端末の動作を示すフローチャートである。 図８は、本明細書中で定義される立体視オブジェクトの各部の名称を説明する図である。 図９は、視差画像の生成方法を示す図である。 図１０は、視差画像の生成方法を示す図である。

本発明の一形態に係る立体画像表示制御装置は、表示装置の表示面からの適正飛び出し量及び適正引っ込み量の範囲内に、オブジェクトを立体表示させる。具体的には、立体画像表示制御装置は、前記オブジェクトの前記表示面から最も飛び出す最大飛び出し位置、及び最も引っ込む最大引っ込み位置を特定する最大飛び出し位置特定部と、前記オブジェクトを前記表示装置に表示させる表示制御部とを備える。そして、前記表示制御部は、前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように、当該オブジェクトの表示位置を調整し、表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工する。

上記構成によれば、オブジェクトの手前側の部分をカットすることなく、且つ奥側の部分に所定の加工を施すことによって、オブジェクトを適正範囲（適正飛び出し量と適正引っ込み量との間の範囲）に納めることができる。その結果、オブジェクトのサイズを制限することなく、立体視オブジェクトを自然に表示することができる。

さらに、前記立体画像表示制御装置は、前記表示装置に表示されている前記オブジェクトに対する操作の入力を受け付ける操作部を備えてもよい。そして、前記表示制御部は、前記操作部に入力された操作を反映した後の前記オブジェクトの前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように当該オブジェクトの表示位置を調整し、表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工してもよい。

これにより、オブジェクトが変化（移動、回転、拡大、縮小等）した場合でも、オブジェクトのサイズを制限することなく、立体視オブジェクトを自然に表示することができる。但し、表示制御部による上記の表示制御は、オブジェクトが操作されたタイミングに限定されない。

一例として、前記表示制御部は、前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、表示面より奥側の部分の明るさが引っ込み量が大きくなるほど徐々に暗くなり、且つ前記適正引っ込み量の位置における明るさが０になるように、前記オブジェクトを加工してもよい。

他の例として、前記表示制御部は、前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、表示面より奥側の部分の透明度が引っ込み量が大きくなるほど徐々に大きくなり、且つ前記適正引っ込み量の位置における透明度が１００％になるように、前記オブジェクトを加工してもよい。

さらに他の例として、前記表示制御部は、前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、前記オブジェクトの前記表示装置の表示面より奥側の部分の色と背景色とを、引っ込み量が大きくなるほど背景色の混合比率が徐々に大きくなり、且つ前記適正引っ込み量の位置における背景色の混合比率が１００％になるように、混合してもよい。

さらに、前記立体画像表示制御装置は、視聴者と表示装置との間の視距離、及び視聴者の瞳孔間隔を検出する検出部と、前記検出部で検出された前記視距離及び前記瞳孔間隔に基づいて、前記適正飛び出し量及び前記適正引っ込み量を算出する適正飛び出し量算出部とを備えてもよい。

さらに、前記立体画像表示制御装置は、視聴者に年齢を入力させる入力部と、前記表示装置の表示面の大きさと、前記入力部に入力された視聴者の年齢とに基づいて、前記適正飛び出し量及び前記適正引っ込み量を算出する適正飛び出し量算出部とを備えてもよい。

さらに、前記立体画像表示制御装置は、前記表示装置を備えてもよい。

上記のように、立体画像表示制御装置は、表示装置を備えてもよいし、外部の表示装置の表示を制御するものであってもよい。

本発明の一形態に係る立体画像表示制御方法は、表示装置の表示面からの適正飛び出し量及び適正引っ込み量の範囲内に、オブジェクトを立体表示させる方法である。具体的には、立体画像表示制御方法は、前記オブジェクトの前記表示面から最も飛び出す最大飛び出し位置、及び最も引っ込む最大引っ込み位置を特定する最大飛び出し位置特定ステップと、前記オブジェクトを前記表示装置に表示させる表示制御ステップとを含む。そして、前記表示制御ステップでは、前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように、当該オブジェクトの表示位置を調整し、表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工する。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

以下に、本発明の一実施の形態に係る立体画像表示制御装置の一例である３Ｄタブレット端末について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
図１は、本実施の形態における３Ｄタブレット端末１００の制御構成図である。図２は、図１の３Ｄタブレット端末１００に対応する３Ｄタブレット端末２００の外観図である。

図１に示される３Ｄタブレット端末１００は、利用者検出部１０１と、適正飛び出し量算出部１０２と、操作部１０３と、最大飛び出し位置特定部１０４と、表示制御部１０５とを備える。

図２に示される３Ｄタブレット端末２００は、図１の３Ｄタブレット端末１００に対応し、本体上部に所定の間隔を空けて配置されるステレオカメラ２０１と、裸眼３Ｄディスプレイ２０２とを備える。この３Ｄタブレット端末２００は、裸眼３Ｄディスプレイ２０２の表示面からの適正飛び出し量及び適正引っ込み量の範囲内に、オブジェクトを立体表示させる。

なお、図１における利用者検出部１０１は、例えば、図２におけるステレオカメラ２０１で撮像された画像データを用いて利用者（視聴者）を検出する。また、図１における表示制御部１０５は、例えば、図２における裸眼３Ｄディスプレイ２０２に立体画像を表示させる。

利用者検出部１０１は、表示部の上部などに設けられたステレオ撮像部（ＣＣＤやＣＭＯＳセンサ）から利用者の視距離と瞳孔間隔とを検出する。具体的には、ステレオ撮像部の一例であるステレオカメラ２０１により、利用者の頭部を撮影する。そして、利用者検出部１０１は、ステレオ撮像部から取得した左画像及び右画像それぞれに画像処理を施して、利用者の両目を検出し、左画像及び右画像から利用者の両目の空間位置を三角測量法により求める。

これにより利用者の両目の瞳孔間隔と、両目からステレオ撮像部であるステレオカメラ２０１までの距離（視距離）を算出することができる。ここで「視距離」とは、裸眼３Ｄディスプレイ２０２の表示面から利用者の瞳孔を結ぶ線分の中点までの距離と定義する。

適正飛び出し量算出部１０２は、利用者の視距離（Ｌ）と瞳孔間隔（Ｄ）とに基づいて、利用者に応じた立体視オブジェクト（単に「オブジェクト」と表記することがある）の表示面からの適正飛び出し量（Ｈ）と適正引っ込み量（Ｈ’）とを、式１及び式２を用いて算出する。そして、適正飛び出し量算出部１０２は、算出した適正飛び出し量（Ｈ）及び適正引っ込み量（Ｈ’）を、表示制御部１０５に出力する。

式１及び式２の詳細な導出方法は後述する。ここで、適正飛び出し量（Ｈ）とは、例えば、安全ガイドライン（非特許文献１）を満足する適正な飛び出し量の最大値である。また、適正引っ込み量（Ｈ’）とは、例えば、安全ガイドラインを満足する適正な引っ込み量の最大値である。

なお、適正飛び出し量及び適正引っ込み量を算出する方法は、上記の例に限定されない。すなわち、利用者の視距離（Ｌ）及び瞳孔間隔（Ｄ）以外のパラメータに基づいて、適正飛び出し量及び適正引っ込み量を算出してもよい。また、３Ｄタブレット端末１００は、適正飛び出し量及び適正引っ込み量を固定値として予め保持していてもよい。その場合、適正飛び出し量算出部１０２は省略することができる。

操作部１０３は、裸眼３Ｄディスプレイ２０２に表示されている立体視オブジェクトに対する操作（拡大、縮小、回転、移動など）を利用者から受け付けて、受け付けた操作を反映した後の立体視オブジェクトの頂点座標データを、最大飛び出し位置特定部１０４に出力する。

なお、ここでは立体視オブジェクトの一例として、立方体などの多面体を想定している。このため、操作部１０３は、操作を反映した後の立体視オブジェクトの頂点座標データを出力するとした。しかしながら、立体視オブジェクトの特定方法をこれに限定するものではない。例えば、立体視オブジェクトが球の場合、操作部１０３は、中心座標と半径とを特定するデータを出力するようにすればよい。また、立体視オブジェクトがより複雑な形状を有する場合であっても、３ＤＣＧ技術を適用することによって最適な立体視オブジェクトを特定するデータを出力することができる。

「利用者の操作」を検出する具体的な方法の一例として、操作部１０３は、例えば、ステレオカメラ２０１により利用者の２本の指先の空間位置を検出し、検出した利用者の２本の指先が立体視オブジェクトに触れている時間を計測する。

そして、操作部１０３は、利用者の２本の指先が立体視オブジェクトに所定時間以上触れている（接触モード）と判断すると、それ以降の利用者の２本の指先の移動方向と移動量とを、例えば立体視オブジェクトの回転方向と回転量とに置き換える。

また、操作部１０３は、接触モードとなった場合に、利用者の２本の指先の間隔を拡げると立体視オブジェクトのサイズを拡大する操作と判断し、狭めると立体視オブジェクトのサイズを縮小する操作と判断し、２本の指先の間隔の変化量を拡大率（縮小率）に置き換える。さらに、操作部１０３は、立体視オブジェクトから利用者の２本の指先が離れると、接触モードを解除する。

なお、ここで「接触」とは、立体視オブジェクトと利用者の２本の指先とが物理的に接触していることを意味するものではない。裸眼３Ｄディスプレイ２０２は、あたかもそこに立体視オブジェクトが存在するかのごとく利用者に見せかけるものに過ぎないからである。

最大飛び出し位置特定部１０４は、操作部１０３から出力された操作を反映した後の立体視オブジェクトの頂点座標データを用いて、操作反映後の立体視オブジェクトの最大飛び出し位置と、最大引っ込み位置とを特定する。

具体的には、最大飛び出し位置特定部１０４は、例えば、立体視オブジェクトが立方体の場合に、各頂点の飛び出し量及び引っ込み量を算出し、飛び出し量が最も大きい頂点を最大飛び出し位置（この頂点の飛び出し量を「最大飛び出し量」と定義する）と特定し、引っ込み量が最も大きい頂点を最大引っ込み位置（この頂点の引っ込み量を「最大引っ込み量」と定義する）と特定する。

表示制御部１０５は、入力される各種情報から立体視オブジェクトを表示するための視差画像を生成して裸眼３Ｄディスプレイ２０２に表示する。具体的には、表示制御部１０５は、利用者検出部１０１から視距離及び瞳孔間隔を取得し、適正飛び出し量算出部１０２から適正飛び出し量及び適正引っ込み量を取得し、最大飛び出し位置特定部１０４から最大飛び出し位置（最大飛び出し量）及び最大引っ込み位置（最大引っ込み量）を取得する。視差画像を生成する詳細な方法は、後述する。

ところで立体視表示の基本原理は、図３で示される。図３は、画面と利用者の両目との位置関係を上から見た図である。画面上に左右の視差画像を表示することで、利用者はＰ点あるいはＱ点に立体視オブジェクトを見ることができる。利用者の左右の瞳孔とＰ点あるいはＱ点とを結ぶ線分で構成される角が輻輳角αである。また、利用者の左右の瞳孔と画面上のＲ点とを結ぶ線分で構成される角が輻輳角βである。さらに、｜α−β｜を視差角と呼ぶ。

安全ガイドラインでは、視差角が１°以内であれば安全性が確保できると示している。そこで、本実施の形態に係る３Ｄタブレット端末１００に立体視オブジェクトを表示する場合においては、視差角をこの範囲内とする。

そのため、適正飛び出し量算出部１０２は、利用者の瞳孔間隔（Ｄ）と視距離（Ｌ）とから、視差角が１°となるように、適正飛び出し量（Ｈ）と適正引っ込み量（Ｈ’）とを算出する。

具体的には、適正飛び出し量（Ｈ）を導く式１は、式３〜９に基づいて導出される。図３にあるように、利用者の左右の瞳孔と画面上のＲ点とを結ぶ線分で構成される輻輳角βを式３で算出する。また、利用者の左右の瞳孔とＱ点とを結ぶ線分で構成される輻輳角αを式４で算出する。

ここで式５のようにおくと、視差角（α−β）は、式６によって与えられる。視差角（α−β）が１°となるときに、飛び出し量が適正な範囲の最大（適正飛び出し量（Ｈ））となる。そこで、式６において視差角（α−β）を１°とすると、ｘは式７によって与えられる。式５と式７とから式８を得ることができる。式８を適正飛び出し量（Ｈ）について解くと式９、すなわち式１が導かれる。

同様に、適正引っ込み量（Ｈ’）を導く式２は、式３、及び式１０〜１５に基づいて導出される。図３にあるように、利用者の左右の瞳孔と画面上のＲ点とを結ぶ線分で構成される輻輳角βを式３で算出する。また、利用者の左右の瞳孔とＰ点とを結ぶ線分で構成される輻輳角αを式１０で算出する。

ここで式１１のようにおくと、視差角（α−β）は、式１２によって与えられる。視差角（α−β）が−１°となるときに、引っ込み量が適正な範囲の最大（適正引っ込み量（Ｈ’））となる。そこで、式１２において視差角（α−β）を−１°とすると、ｘ’は式１３によって与えられる。式１１と式１３とから式１４を得ることができる。式１４を適正引っ込み量（Ｈ’）について解くと式１５、すなわち式２が導かれる。

適正飛び出し量（Ｈ）と適正引っ込み量（Ｈ’）とを加算したものが制限範囲となる。そして、図４で示すように、回転前の立体視オブジェクト４０１及び回転後の立体視オブジェクト４０２の両方が制限範囲に収まるようにする必要がある。図４の例では、回転後の立体視オブジェクト４０２が制限範囲に収まるようにするために、すなわち回転後の立体視オブジェクト４０２が安全ガイドラインを満足するようにするために、回転前の立体視オブジェクト４０１のサイズを制限範囲に対して余裕をもたせた大きさにとどめている。

また、図５は、立体視オブジェクトのサイズを無制限にする（制限範囲を逸脱する）ことを許容する代わりに、立体視オブジェクトのうちの制限範囲を超えた部分をカットする例を示している。この場合、立体視オブジェクトの一部（適正飛び出し量より手前側、及び適正引っ込み量より奥側）がカットされることにより、不自然な部位が生成される可能性がある。

次に、図６Ａ〜図６Ｄ、図７、及び図８を参照しながら本発明の立体画像表示制御装置の動作を説明する。図６Ａ〜図６Ｄは、図２の裸眼３Ｄディスプレイ２０２に表示される立体視オブジェクトの例を示す図である。図７は、立体画像表示制御装置（３Ｄタブレット端末）の動作を示すフローチャートである。図８は、本明細書中で定義する立体視オブジェクトの各部の名称を説明するための図である。

まず、利用者検出部１０１は、ステレオカメラ２０１の画像から利用者の左右の瞳孔を検出し、利用者の瞳孔間隔（Ｄ）及び視距離（Ｌ）を画像処理を用いた三角測量法によって検出し、これらのデータを適正飛び出し量算出部１０２及び表示制御部１０５に出力する（ＳＴＥＰ７０１）。

次に、適正飛び出し量算出部１０２は、利用者検出部１０１から取得した瞳孔間隔（Ｄ）及び視距離（Ｌ）を用いて、式１により適正飛び出し量（Ｈ）を算出し、式２により適正引っ込み量（Ｈ’）を算出し、表示制御部１０５に出力する（ＳＴＥＰ７０２）。

なお、立体視オブジェクトは、例えば図８のようにオブジェクト原点（図８の例では立方体の重心）を原点とした各頂点座標（立体視オブジェクト頂点座標）と、複数の頂点によって規定される面とで構成されるものとする。また、画面原点（裸眼３Ｄディスプレイ２０２の表示面中央とする。）に対するオブジェクト原点のオフセット位置を、立体視オブジェクト位置座標で与えるものとする。

したがって、裸眼３Ｄディスプレイ２０２の表示面中央を画面原点とする実空間座標においては、立体視オブジェクト頂点座標に立体視オブジェクト位置座標を加算した実空間立体視オブジェクト頂点座標が立体視オブジェクトの各頂点座標を示す。

次に、操作部１０３は、ステレオカメラ２０１による３次元センサを有しており、撮影した利用者の指画像を処理して実空間座標における利用者の指座標を検出する。実空間座標における利用者の指座標の検出方法にはさまざまな方法があってよい。

そして、操作部１０３は、検出した実空間座標における利用者の指座標と立体視オブジェクトの複数の実空間立体視オブジェクト頂点座標との距離を求め、所定範囲内であるか否かを判定する（ＳＴＥＰ７０３）。

実空間座標における利用者の指座標と立体視オブジェクトの複数の実空間立体視オブジェクト頂点座標との距離が所定範囲内であれば（ＳＴＥＰ７０３でＹｅｓ）、操作部１０３は、利用者の指が立体視オブジェクトに触れたと判断する。そして、操作部１０３は、実空間座標における利用者の指座標を継続的に検出することによって、立体視オブジェクトに対する利用者の操作を判定し、判定結果に応じて立体視オブジェクトの制御を行う。

例えば、操作部１０３は、実空間座標における利用者の２本の指の指座標の距離が拡がったと判断すると、その動き量（拡がり量）に応じて立体視オブジェクトを拡大させる制御を行い、拡大操作を反映した後の実空間立体視オブジェクト頂点座標を、最大飛び出し位置特定部１０４に出力する（ＳＴＥＰ７０４）。

図６Ａの左側及び図６Ｂは、裸眼３Ｄディスプレイ２０２に表示される立体視オブジェクトの例を示す図である。具体的には、図６Ａの左側は、裸眼３Ｄディスプレイ２０２に表示される立体視オブジェクトを上方向から見た概念図である。図６Ｂは、裸眼３Ｄディスプレイ２０２の表示例を示す図である。

この例では、裸眼３Ｄディスプレイ２０２に、立体視オブジェクトの一例である車が表示されている。より具体的には、車の左前の角（最大飛び出し位置）の飛び出し量が適正飛び出し量に一致し、車の右後ろの角（最大引っ込み位置）の飛び出し量が適正引っ込み量に一致している。

そして、操作部１０３は、利用者の２本の指が車に触れた状態で所定の量だけ間隔が拡がったと判断すると、図６Ａの中央に示されるように拡大された車の実空間立体視オブジェクト頂点座標を算出し、最大飛び出し位置特定部１０４に出力する。

なお、立体視オブジェクトに対する操作は、拡大だけではなく、回転、移動、縮小などの処理があってもよい。また、本実施の形態では、利用者の指が立体視オブジェクトに触れたか否かの判断において、実空間座標における利用者の指座標と立体視オブジェクトの複数の実空間立体視オブジェクト頂点座標との距離を用いたが、実空間座標における利用者の指座標と立体視オブジェクトを構成する複数の面との距離を用いてもよい。

なお、操作部１０３は、利用者の指と立体視オブジェクトとの実空間における接触による立体視オブジェクトの操作を受け付ける以外にも、様々な構成が考えられる。例えば、裸眼３Ｄディスプレイ２０２の表示面に貼付されたタッチパネルに対する接触によって、利用者に立体視オブジェクトを操作させるような構成でもよい。または、３Ｄタブレット端末２００に設けられた物理的なボタンを押下することによって、利用者に立体視オブジェクトを操作させるような構成でもよい。

次に、最大飛び出し位置特定部１０４は、全ての実空間立体視オブジェクト頂点座標に対して、Ｚ座標（Ｚ軸は図８における紙面手前向きを正とする。）の最大値を検出し、最大値が検出された位置を最大飛び出し位置（この最大値を最大飛び出し量）として表示制御部１０５に出力する（ＳＴＥＰ７０５）。

表示制御部１０５は、適正飛び出し量算出部１０２から出力された適正飛び出し量を取得し、最大飛び出し位置特定部１０４から出力された最大飛び出し位置（最大飛び出し量）を取得する。そして、表示制御部１０５は、適正飛び出し量から最大飛び出し量を減算して、立体視オブジェクト位置座標補正量を算出する（ＳＴＥＰ７０６）。

立体視オブジェクト位置座標補正量は、最大飛び出し量が適正飛び出し量よりも大きい場合に、最大飛び出し位置の飛び出し量が適正飛び出し量に一致するように立体視オブジェクト位置座標のＺ座標値に加算する補正量である。最大飛び出し量が適正飛び出し量よりも大きい場合、立体視オブジェクト位置座標補正量は負の値となり、これを立体視オブジェクト位置座標のＺ座標値に加算することによって、立体視オブジェクトはＺ軸の負の向きに平行移動する。これによって、立体視オブジェクトの一部が制限範囲（適正飛び出し量）を超えて利用者の方へ（Ｚ軸の正の向きに）飛び出すということがなくなる。

次に、表示制御部１０５は、立体視オブジェクト位置座標補正量を用いて補正された立体視オブジェクトの位置と、利用者の瞳孔間隔（Ｄ）及び視距離（Ｌ）とから左右の視差画像を生成する。具体的な視差画像の生成方法は、図９及び図１０に示すように、視点位置Ａ及び視点位置Ｂから見た立体視オブジェクトＣを表現するための視差画像Ｑ及び視差画像Ｐを、ＯｐｅｎＧＬ（登録商標）などのグラフィックライブラリを利用して描画する。そして、飛び出している部分の視差量Ｓを式１６により算出し、引っ込んでいる部分の視差量Ｓを式１７により算出する。

次に、表示制御部１０５は、得られた視差量Ｓを視点位置Ａ及び視点位置Ｂの中点から画面に垂直に引いた直線と画面との交点からの画面上のオフセットとして、視差量Ｓだけ左右に離間した視差画像Ｐ及び視差画像Ｑを裸眼３Ｄディスプレイ２０２上に描画する。なお、視差量Ｓは連続的な値をとるが、裸眼３Ｄディスプレイ２０２のピクセルピッチは固定であるから、裸眼３Ｄディスプレイ２０２のピクセルピッチを勘案して視差画像Ｐ及び視差画像Ｑの画面上の描画位置を決定する。

このようにすることで、立体視オブジェクトを操作したときに、立体視オブジェクトの一部が制限範囲を超えて利用者の方へ（Ｚ軸の正の向きに）飛び出すということがなくなる。すなわち、図６Ａの左側及び中央に示されるように、拡大の前後における車の左前角（最大飛び出し位置）の飛び出し量は、適正飛び出し量に一致したままとなる。

なお、図５及び図６Ｂの中央の図を参照して、本実施の形態に係る表示制御部１０５が実行する「最大飛び出し位置の飛び出し量を適正飛び出し量に一致させる」という処理の内容を、改めて説明する。

まず、図５の例では、最大飛び出し量及び最大引っ込み量を制限範囲に納めるための画像処理（適正飛び出し量を超えて飛び出している部分をカットする処理）を施した後のオブジェクトの最大飛び出し位置の飛び出し量が適正飛び出し量に一致している。

これに対して、図６Ｂの中央の例では、オブジェクト本来の最大飛び出し位置（すなわち、車の左前の角）の飛び出し量を適正飛び出し量に一致させるために、オブジェクトの奥行き方向の表示位置を調整（奥行き方向に平行移動）している点で、図５の例と相違する。

すなわち、本実施の形態に係る最大飛び出し位置特定部１０４は、表示対象となるオブジェクトの本来の形状のうち、裸眼３Ｄディスプレイ２０２に表示させた場合に最も飛び出す位置を最大飛び出し位置とし、最も引っ込む位置を最大引っ込み位置として特定する。そして、表示制御部１０５は、最大飛び出し位置特定部１０４で特定された上記の最大飛び出し位置の飛び出し量を適正飛び出し量に一致させるために、オブジェクトの奥行き方向の表示位置を調整する。

一方、拡大した立体視オブジェクトのサイズを制限範囲に合わせて変更するようなことをしないので、上記の処理の結果として、立体視オブジェクトの一部が制限範囲を超えて利用者と反対の向きへ（Ｚ軸の負の向きに）引っ込むということが考えられる。すなわち、図６Ａの中央に示されるように、車の後ろ側の一部が適正引っ込み量よりさらに奥に引っ込んでしまう。

そのような場合、表示制御部１０５は、グラフィックライブラリなどを用いて、制限範囲を超えて利用者と反対の向きへ（Ｚ軸の負の向きに）引っ込んだ立体視オブジェクトの部分の明るさを０とし、制限範囲内において利用者の方へ向かって立体視オブジェクトを徐々に明るくしていくことが考えられる（図６Ｃ参照）。

具体的には、表示制御部１０５は、最大飛び出し位置の飛び出し量を適正飛び出し量に一致させた後（すなわち、奥行き方向の表示位置を調整した後）の最大引っ込み位置（図６Ａの中央に示される例では、車の左後ろの角）の引っ込み量が適正引っ込み量を超える場合に、表示面より奥側の部分の明るさを、引っ込み量が大きくなるほど（すなわち、奥に行くほど）徐々に暗くし、適正引っ込み量の位置における明るさを０にする（所定の方法の加工の一例）。

そして、表示制御部１０５は、これらの視差画像を裸眼３Ｄディスプレイ２０２で表示する（ＳＴＥＰ７０７）。その結果、図６Ｃに示されるように、裸眼３Ｄディスプレイ２０２に表示される車の利用者から見える右側面は、表示面より後ろ側の部分が奥に向かって徐々に暗くなり、適正引っ込み量を超えた部分は非表示となる（図６Ｃでは破線で示している）。

また、図６Ａの左側の状態から車を縮小した場合の概念図を図６Ａの右側に、これを利用者側から見た図を図６Ｄに示す。この場合、表示制御部１０５は、縮小後の車の左前の角（最大飛び出し位置）の飛び出し量を適正飛び出し量に一致させる。一方、この例における車の右後ろの角（最大引っ込み位置）の引っ込み量は適正引っ込み量を超えないので、車の表示面より奥側の部分の加工は行わない。

このように、裸眼３Ｄディスプレイ２０２に表示させる立体視画像を、最大飛び出し位置の飛び出し量を適正飛び出し量に一致させ、且つ最大引っ込み位置の引っ込み量が適正引っ込み量を超える場合に、当該立体視オブジェクトの表示面より奥側の部分を所定の方法で加工することにより、操作を反映した後の立体視オブジェクトを制限範囲に留めつつ、利用者にとって不自然さを感じさせないように表示することができる。

なお、本実施の形態においては、立体視オブジェクトの表示面より奥側の部分の明るさを、適正引っ込み量の位置で０になるように徐々に暗くする例を説明したが、立体視オブジェクトの制限範囲外の部分の色を薄くする方法やボカしていくなどの方法でもよい。

立体視オブジェクトの加工の一例として、表示面から引っ込み側の制限範囲の限界に向かう向きに立体視オブジェクトの色を徐々に薄くしていき、引っ込み側の制限範囲の限界において透明としてもよい。より具体的には、表示制御部１０５は、最大引っ込み位置の引っ込み量が適正引っ込み量を超える場合に、表示面より奥側の部分の透明度を引っ込み量が大きくなるほど徐々に大きくし、適正引っ込み量の位置における透明度を１００％にする。

また、立体視オブジェクトの加工の他の例として、表示面から引っ込み側の制限範囲の限界に向かう向きに立体視オブジェクトを徐々にボカしていき、引っ込み側の制限範囲の限界において背景に溶け込むようにしてもよい。より具体的には、表示制御部１０５は、最大引っ込み位置の引っ込み量が適正引っ込み量を超える場合に、立体視オブジェクトの表示面より奥側の部分の色と背景色とを、引っ込み量が大きくなるほど背景色の混合比率を徐々に大きくし、適正引っ込み量の位置における背景色の混合比率を１００％として、混合してもよい。

なお、本実施の形態における利用者検出部１０１は、表示部１０６の上部などに設けられた撮像部（ＣＣＤやＣＭＯＳセンサ）から利用者の視距離と瞳孔間隔とを検出するとしたが、利用者の視距離と瞳孔間隔とを得る方法はこれに限定されるものではない。

例えば、視距離を裸眼３Ｄディスプレイ２０２の大きさから決定される固定値とし、瞳孔間隔を大人の標準的な瞳孔間隔である６．５ｃｍとすることもできる。また、視距離を裸眼３Ｄディスプレイ２０２の大きさから決定される固定値とし、利用者に年齢を入力させることによって、瞳孔間隔をその年齢の標準的な値とすることもできる。

また、上記の実施の形態では、裸眼３Ｄディスプレイ２０２に表示されている立体視オブジェクトの操作が操作部１０３に入力された場合に、当該操作を反映した後の立体視オブジェクトに対して、最大飛び出し位置の飛び出し量が適正飛び出し量に一致するように平行移動し、且つ表示面より奥側の部分に所定の加工を施す例を説明した。しかしながら、表示制御部１０５による立体視オブジェクトの表示制御は、上記のタイミングに限定されない。

例えば、利用者と３Ｄタブレット端末１００との間の視距離が変化すると、適正飛び出し量算出部１０２で算出される適正飛び出し量及び適正引っ込み量が変化する。その結果、裸眼３Ｄディスプレイ２０２に表示されている立体視オブジェクト自体に変化がなくとも、立体視オブジェクトと適正飛び出し量及び適正引っ込み量との関係が変わることがある。そこで表示制御部１０５は、このような場合にも、裸眼３Ｄディスプレイ２０２に表示されている立体視オブジェクトに対して、最大飛び出し位置の飛び出し量が適正飛び出し量に一致するように平行移動し、且つ表示面より奥側の部分に上記のような所定の加工を施せばよい。

さらに、上記の実施の形態では、ステレオカメラ２０１及び裸眼３Ｄディスプレイ２０２を構成要素に含む一体型の３Ｄタブレット端末２００の例を説明したが、本発明はこれに限定されない。すなわち、外部のステレオカメラで撮像された画像を取得してもよいし、外部の表示装置にオブジェクトを表示させるものであってもよい。

なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現され得る。ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有してもよい。

（４）本発明は、上記に示す方法で実現されてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムで実現してもよいし、コンピュータプログラムからなるデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現してもよい。また、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、メモリは、コンピュータプログラムを記憶しており、マイクロプロセッサは、コンピュータプログラムにしたがって動作してもよい。

また、プログラムまたはデジタル信号を記録媒体に記録して移送することにより、またはプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施してもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせてもよい。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

本発明の立体視オブジェクト表示装置は、立体視オブジェクトを操作する場合であっても立体視オブジェクトのサイズを制限することなく、常に適正飛び出し量で自然に立体視オブジェクトを表示することができる効果を有するので、３Ｄ表示が可能なタブレットなどに有用である。

１００，２００ ３Ｄタブレット端末
１０１ 利用者検出部
１０２ 適正飛び出し量算出部
１０３ 操作部
１０４ 最大飛び出し位置特定部
１０５ 表示制御部
２０１ ステレオカメラ
２０２ 裸眼３Ｄディスプレイ
４０１ 回転前の立体視オブジェクト
４０２ 回転後の立体視オブジェクト

Claims (9)

1. 表示装置の表示面からの適正飛び出し量及び適正引っ込み量の範囲内に、オブジェクトを立体表示させる立体画像表示制御装置であって、
   前記オブジェクトの前記表示面から最も飛び出す最大飛び出し位置、及び最も引っ込む最大引っ込み位置を特定する最大飛び出し位置特定部と、
   前記オブジェクトを前記表示装置に表示させる表示制御部とを備え、
   前記表示制御部は、
   前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように、当該オブジェクトを奥行き方向に移動させることで、当該オブジェクトの表示位置を調整し、
   表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工を行い、
   当該加工において、引っ込み量が大きくなるほど徐々に前記加工の程度を大きくし、且つ前記適正引っ込み量の位置において非表示となるように加工する
   立体画像表示制御装置。
2. 前記立体画像表示制御装置は、さらに、前記表示装置に表示されている前記オブジェクトに対する操作の入力を受け付ける操作部を備え、
   前記表示制御部は、前記操作部に入力された操作を反映した後の前記オブジェクトの前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように、当該オブジェクトを奥行き方向に移動させることで、当該オブジェクトの表示位置を調整し、表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工する
   請求項１に記載の立体画像表示制御装置。
3. 前記表示制御部は、前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、表示面より奥側の部分の明るさが引っ込み量が大きくなるほど徐々に暗くなり、且つ前記適正引っ込み量の位置における明るさが０になるように、前記オブジェクトを加工する
   請求項１又は２に記載の立体画像表示制御装置。
4. 前記表示制御部は、前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、表示面より奥側の部分の透明度が引っ込み量が大きくなるほど徐々に大きくなり、且つ前記適正引っ込み量の位置における透明度が１００％になるように、前記オブジェクトを加工する
   請求項１又は２に記載の立体画像表示制御装置。
5. 前記表示制御部は、前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、前記オブジェクトの前記表示装置の表示面より奥側の部分の色と背景色とを、引っ込み量が大きくなるほど背景色の混合比率が徐々に大きくなり、且つ前記適正引っ込み量の位置における背景色の混合比率が１００％になるように、混合する
   請求項１又は２に記載の立体画像表示制御装置。
6. 前記立体画像表示制御装置は、さらに、
   視聴者と表示装置との間の視距離、及び視聴者の瞳孔間隔を検出する検出部と、
   前記検出部で検出された前記視距離及び前記瞳孔間隔に基づいて、前記適正飛び出し量及び前記適正引っ込み量を算出する適正飛び出し量算出部とを備える
   請求項１〜５のいずれか１項に記載の立体画像表示制御装置。
7. 前記立体画像表示制御装置は、さらに、
   視聴者に年齢を入力させる入力部と、
   前記表示装置の表示面の大きさと、前記入力部に入力された視聴者の年齢とに基づいて、前記適正飛び出し量及び前記適正引っ込み量を算出する適正飛び出し量算出部とを備える
   請求項１〜６のいずれか１項に記載の立体画像表示制御装置。
8. 前記立体画像表示制御装置は、さらに、前記表示装置を備える
   請求項１〜７のいずれか１項に記載の立体画像表示制御装置。
9. 表示装置の表示面からの適正飛び出し量及び適正引っ込み量の範囲内に、オブジェクトを立体表示させる立体画像表示制御方法であって、
   前記オブジェクトの前記表示面から最も飛び出す最大飛び出し位置、及び最も引っ込む最大引っ込み位置を特定する最大飛び出し位置特定ステップと、
   前記オブジェクトを前記表示装置に表示させる表示制御ステップとを含み、
   前記表示制御ステップでは、
   前記最大飛び出し位置の飛び出し量が前記適正飛び出し量に一致するように、当該オブジェクトを奥行き方向に移動させることで、当該オブジェクトの表示位置を調整し、
   表示位置を調整した後の前記最大引っ込み位置の引っ込み量が前記適正引っ込み量を超える場合に、当該オブジェクトの前記表示面より奥側の部分を所定の方法で加工を行い、
   当該加工において、引っ込み量が大きくなるほど徐々に前記加工の程度を大きくし、且つ前記適正引っ込み量の位置において非表示となるように加工する
   立体画像表示制御方法。

Images