JP6012068B2 - 電子機器、その制御方法及びプログラム - Google Patents

Description

本発明は、電子機器、その制御方法及びプログラムに関する。特に、３次元画像（立体画像）を表示する電子機器、その制御方法及びプログラムに関する。

近年、３次元画像の表示に対応した電子機器が広く普及している。特に、据え置き型のテレビ等において、３次元画像に対応した機器の普及が著しい。携帯電話等の携帯電子機器においても３次元画像に対応した機器が存在する。

また、携帯電子機器には、筐体を振動させ、筐体を把持している手に振動を伝えることができる機器が存在する。

特許文献１において、表示画像に対応させて、把持している手に振動を伝える装置が開示されている。特許文献１が開示する携帯電子機器は、タッチスクリーン（表示画面）の周辺に複数の触覚ピクセルを設け、表示するコンテンツに応じて、触覚ピクセルを動かす（例えば、振動や上下運動を行う）。携帯電子機器がゲーム機として機能するのであれば、ゲーム中のイベントに応じて触覚ピクセルを変化させることが特許文献１に記載されている。さらに、タッチスクリーンのスクロールの終点の場合に触覚ピクセルを大きく振動させる、又は、スクロールの位置を触覚ピクセルの位置と連動させて伝える、といった点が特許文献１に開示されている。

特許文献２において、表示画面上の地図の高低差に応じて、スクロール操作を行うジョイスティックに対して抵抗力を与える技術が開示されている。つまり、特許文献２では、３次元的な情報に応じて、ユーザの触覚を刺激する技術が開示されている。

特表２０１１−５１０４０３号公報 特開２００４−２２６３０１号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

特許文献１が対象とする画像は、２次元画像であって、３次元画像を対象とはしていない。また、特許文献２が開示する技術は、表示画面に表示されている地図から得られる位置情報に応じて、ジョイスティックに与える抵抗を変化させているに過ぎず、３次元画像に対応してユーザの触覚に刺激を与えているものではない。

特許文献１及び２が開示する技術では、３次元画像の表示態様に応じて、ユーザの感覚を刺激する電子機器を実現することはできない。即ち、特許文献１及び２が開示する技術では、３次元画像が確かに存在するとユーザに認識させることができない。なお、３次元画像の表示態様とは、電子機器が出力する３次元画像に接したユーザが実際に感じる表示である。つまり、ユーザが実際に感じる表示内容が、３次元画像の表示態様であり、画像が表示面から飛び出している（又は、奥まっている）と感じることを意味する。

以上のことから、３次元画像に応じて、ユーザの感覚を刺激する電子機器、その制御方法及びプログラムが、望まれる。

本発明の第１の視点によれば、３次元画像を表示する表示面を含む表示部と、前記表示面に対する物体の位置を、物体深度として検出する位置検出部と、ユーザの感覚を刺激する感覚刺激部と、前記３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と前記物体深度とに基づいて、前記感覚刺激部を制御する制御部と、を備え、前記制御部は、前記画像深度と前記物体深度を比較する深度判別部と、前記深度判別部における比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する相関制御部と、を含み、前記相関制御部は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する電子機器が提供される。

本発明の第２の視点によれば、３次元画像を表示する表示面を含む表示部と、ユーザの感覚を刺激する感覚刺激部と、を備える電子機器の制御方法であって、前記表示面に対する物体の位置を、物体深度として検出する位置検出工程と、前記３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と前記物体深度とに基づいて、前記感覚刺激部を制御する工程と、を含み、前記感覚刺激部を制御する工程は、前記画像深度と前記物体深度を比較する工程と、前記画像深度と前記物体深度の比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する工程と、を含み、前記ユーザの感覚に与える刺激を制御する工程は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する、電子機器の制御方法が提供される。
なお、本方法は、表示部と、感覚刺激部と、を備える電子機器という、特定の機械に結びつけられている。

本発明の第３の視点によれば、３次元画像を表示する表示面を含む表示部と、ユーザの感覚を刺激する感覚刺激部と、を備える電子機器を制御するコンピュータに実行させるプログラムであって、前記表示面に対する物体の位置を、物体深度として検出する位置検出処理と、前記３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と前記物体深度とに基づいて、前記感覚刺激部を制御する処理と、を実行し、前記感覚刺激部を制御する処理は、前記画像深度と前記物体深度を比較する処理と、前記画像深度と前記物体深度の比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する処理と、を含み、前記ユーザの感覚に与える刺激を制御する処理は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する、プログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、３次元画像に応じて、ユーザの感覚を刺激する電子機器、その制御方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る電子機器１の内部構成の一例を示す図である。 物体深度及び画像深度を説明するための図である。 物体深度及び画像深度を説明するための図である。 電子機器１の動作の一例を示すフローチャートである。 第２の実施形態による物体深度及び画像深度を説明するための図である。 第２の実施形態による物体深度及び画像深度を説明するための図である。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述のように、３次元画像に応じて、ユーザの感覚を刺激する電子機器を特許文献１及び２に開示された技術では実現することができない。それは、ユーザが３次元画像を視認する際の奥行き方向の位置と、３次元画像に触れようとするユーザの指先との位置関係を規定する（決定する）ことができないことに起因する。

そこで、一例として図１に示す電子機器１００を提供する。電子機器１００は、表示部１０１と、位置検出部１０２と、感覚刺激部１０３と、制御部１０４と、を備える。表示部１０１は、３次元画像を表示する表示面を含む。位置検出部１０２は、表示面に対する物体の位置を、物体深度として検出する。感覚刺激部１０３は、ユーザの感覚を刺激する。制御部１０４は、３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と物体深度とに基づいて、感覚刺激部を制御する。

電子機器１００は、ユーザが視認する３次元画像の位置を画像深度として規定し、ユーザの指先等に代表される物体の位置を物体深度として規定する。電子機器１００は、感覚刺激部１０３及び制御部１０４により、画像深度及び物体深度に応じて、電子機器１００を操作するユーザの感覚（例えば、触覚）を刺激する。その結果、３次元画像の表示位置と指先等の物体の位置とに応じて、３次元で表現される仮想的な物体に触れているという感覚をユーザに提示することができる。特に、携帯電子機器等の表示面の面積が限られるような、３次元画像として表示される物の位置をユーザが即座に把握することが困難な場合であっても、ユーザの触覚等に与えられる刺激により、その位置を実感することができる。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、本実施形態に係る電子機器１の内部構成の一例を示す図である。なお、本実施形態に係る電子機器１は携帯電話として以降の説明を行うが、電子機器１を携帯電話に限定する趣旨ではない。例えば、携帯電話、スマートフォン、ゲーム機、タブレットＰＣ（Personal Computer）、ノートＰＣ、ＰＤＡ（Personal Data Assistants；携帯情報端末）等の電子機器であってもよい。

電子機器１は、表示部１０と、物体深度検出部２０と、感覚刺激部３０と、記憶部４０と、制御部５０と、を含んで構成される。なお、図２には、簡単のため、本実施形態に係る電子機器１に関係するモジュールを主に記載する。

表示部１０は、３次元画像の表示が可能であり、液晶パネル等の表示デバイスを含んで構成されている。表示部１０は、制御部５０が生成する３次元画像に対応した画像信号を受け付け、受け付けた画像信号に基づき、３次元画像をユーザに提供する。なお、３次元画像の再生方法は、どのような方法であってもよい。例えば、ユーザが液晶シャッタからなる眼鏡を着用して３次元画像を視認する方法であってもよいし、眼鏡を使用せず裸眼で３次元画像を視認する方法であってもよい。また、表示部１０が表示する３次元画像には、静止画及び動画が含まれる。

なお、表示部１０は各種の画像を表示する。表示部１０が表示する画像は、３次元表示に対応した画像も存在すれば、３次元表示に対応していない画像も存在する。３次元表示に対応した画像を表示する際に、当該３次元画像を視覚するユーザは、表示部１０の表示面の法線方向において、表示面の位置とは異なる位置に画像が表示されているものとして認識する。本実施形態においては、３次元画像に接したユーザが、当該画像を知覚する位置を、当該画像の表示位置とする。

物体深度検出部２０は、表示部１０の表示面に対して直交する方向（法線方向）に存在する導体の位置を検出する。物体深度検出部２０が、上述の位置検出部１０２に相当する。物体深度検出部２０には、例えば、投射型静電容量検出センサが含まれている。物体深度検出部２０は、電極（後述する電極３００）に導体（例えば、指先等の人体の一部）が近づいた場合、電極と導体との距離に応じて変化する静電容量の変化から表示面と導体との距離を算出する。

物体深度検出部２０は、赤外線センサ等の距離センサにより表示部１０の表示面からの物体（導体）の位置を検出してもよい。あるいは、電子機器１がカメラ機能を備える場合には、導体を撮影した画像に対して画像処理を施すことにより、表示面と導体の位置関係を推定してもよい。

なお、物体深度検出部２０は、表示部１０の表示面と導体との位置関係の検出を主な機能とするため、電子機器１には、別途、タッチパネル等を含んで構成される操作部（図示せず）が必要である。その際、操作部に含まれるタッチパネルは、液晶パネル等の表示部１０とタッチセンサ等が組み合わせたものだけではなく、一体として製造されるものであってもよい。即ち、タッチパネルの検出形式や構成等はどのような形式及び構成であってもよい。

感覚刺激部３０は、電子機器１の筐体を把持しているユーザの手に、振動又は圧力を加えることで、ユーザの触覚を刺激する。感覚刺激部３０は、例えば、圧電素子（ＭＥＭＳ（Micro Electro Mechanical Systems）デバイスを含む）や振動モータ等の電子機器１を把持する手に振動を与えるデバイスや、バネなどを用いて圧力を手に与えるデバイスを含んで構成される。以降の説明は、感覚刺激部３０には圧電素子が含まれるものとして説明する。ただし、感覚刺激部３０に含まれるデバイスを圧電素子に限定する趣旨ではない。

感覚刺激部３０は、制御部５０から信号Ｓを受け付け、信号Ｓに基づいて圧電素子を制御する。なお、感覚刺激部３０によるユーザの感覚を刺激する方法は、触覚に限定されるものではない。音声等を用いて、聴覚を刺激するものであってもよい。

記憶部４０は、電子機器１の動作に必要な情報や、ユーザに提供する３次元画像等を記憶する。

制御部５０は、電子機器１の全体を制御すると共に、図２に示す各部の制御を行う。なお、ユーザは、電子機器１を把持する手とは異なる指を用いて、電子機器１を操作するものとして以降の説明を行う。

次に、物体深度及び画像深度の詳細について説明する。

図３及び図４は、物体深度及び画像深度を説明するための図である。図３及び図４を用いて、図４に示す画像Ａを例に取り物体深度及び画像深度について説明する。

物体深度検出部２０は、図３に示すように、表示部１０の表示面に設けた電極３００から表示面の法線方向に距離Ｌ０離れた位置に、導体の位置を検出する際の基準となる基準面を仮想的に設定する。なお、この基準面からの法線方向の導体の位置を物体深度とし、上述の基準面を物体深度基準面とする。

図３では、導体である指先３０１（入力デバイス）は、物体深度基準面から距離Ｌ１離れた位置に存在する。物体深度検出部２０は、電極３００と導体である指先３０１との距離に応じて変化する静電容量の変化から距離Ｌ１＋Ｌ０を算出する。その後、物体深度検出部２０は、距離Ｌ１＋Ｌ０から距離Ｌ０を減算することにより、指先３０１の物体深度を検出する。即ち、物体深度検出部２０は、距離Ｌ１を指先３０１の物体深度とする。なお、物体深度検出部２０が物体深度基準面の位置である距離Ｌ０をＬ０＝０と設定すれば、表示部１０の表示面と物体深度基準面の位置は実質的に一致することになる。

次に、画像深度について説明する。

画像深度とは、基準面からどの程度、表示物が飛び出しているようにユーザに認識されているかを示す指標である。

電子機器１は、３次元表示を行いたい画像を予め記憶部４０に格納しておく。また、電子機器１の設計者は、３次元画像のコンテンツを作成する際、画像ごとに画像深度を付与しておく。その際、図４に示すように、表示部１０の表示面からの飛び出し量を規定するために、表示面に平行、かつ、表示面より法線方向にＭ０離れて見える面を基準面として仮想的に設定する。この基準面から法線方向における画像の表示位置（ユーザによる視認位置）を画像深度とし、上述の基準面を画像深度基準面とする。図４では、表示部１０が表示する画像Ａが表示されているとユーザが感じる位置（飛び出し量）は、画像深度基準面より距離Ｍ１離れているとする。従って、画像Ａの画像深度は距離Ｍ１であるといえる。以上の説明から明らかなとおり、画像深度基準面から画像Ａが離れるほど画像深度Ｍ１は大きくなる。

より具体的な画像深度の付与は以下のとおりである。画像深度基準面を基準とし、この基準面と同じ面に３次元画像が表示されているとユーザに認識させたいのであれば、当該画像の画像深度を０に設定する。また、画像深度の最大値は、物体深度検出部２０が導体を検出可能な範囲により定まる。例えば、物体深度検出部２０の導***置検出能力が、距離Ｌ３であれば、距離Ｌ３の位置に画像を飛び出して表示させたい場合に、画像深度を最大値に設定する。距離Ｌ３は、物体深度検出部２０に使用するデバイスの仕様から導き出すことが可能であり、電子機器１の設計者が予め把握可能な値である。画像深度の最小値については、画像深度基準面からどの程度奥行きを持って３次元画像を表示させたいかにより定まる。

このように、電子機器１の設計者は、３次元画像をどのようにユーザに認識させたいかにより、３次元画像の画像深度を決定し、３次元画像ごとに付与する。画像深度が付与された３次元画像は、記憶部４０に格納される。

次に、制御部５０について説明する。

図２に示す制御部５０には、画像深度抽出部２０１と、深度判別部２０２と、相関制御部２０３と、が含まれている。

制御部５０は、表示部１０に表示する３次元画像を生成し、表示部１０に画像信号を供給する。

画像深度抽出部２０１は、記憶部４０から３次元画像を読み出し、３次元画像に付与されている画像深度Ｍ１を抽出する。

深度判別部２０２は、画像深度Ｍ１と物体深度検出部２０から得られる物体深度Ｌ１を比較し、ユーザの操作を分類する。より具体的には、深度判別部２０２は、画像深度Ｍ１と物体深度Ｌ１との比較結果から、ユーザの操作を以下の３通りに仕分ける。画像Ａに対し、表示部１０に対向する側から指先３０１が表示面に向けて近づく場合、指先３０１が画像Ａへ接触しているとユーザが感じる場合（指先３０１が疑似的に画像Ａと接触している場合）、指先３０１が画像Ａを貫通して表示面に近づく場合、の３通りである。

ここで、画像Ａに対して、表示部１０に対向する側から指先３０１が表示面に近づく場合をケースＡとする。指先３０１が画像Ａへ接触しているとユーザが感じる場合をケースＢとする。指先３０１が画像Ａを貫通して表示面に近づく場合をケースＣとする。

各ケースにおける画像深度Ｍ１と物体深度Ｌ１との関係は、以下のようになる。
・ケースＡにおいては、画像深度Ｍ１−物体深度Ｌ１＞０である。
・ケースＢにおいては、画像深度Ｍ１＝物体深度Ｌ１である。
・ケースＣにおいては、画像深度Ｍ１−物体深度Ｌ１＜０である。

相関制御部２０３は、深度判別部２０２の判定結果に応じて、感覚刺激部３０に送信する信号Ｓを変更する。例えば、相関制御部２０３から感覚刺激部３０に送信する信号Ｓが所定のＤＣ成分（直流成分）を持つ正弦波の場合に、相関制御部２０３は、この正弦波の周波数及び振幅を変更する。

相関制御部２０３における信号Ｓの変更の一例を下記に示す。

ケースＡの場合には、相関制御部２０３は、画像深度Ｍ１−物体深度Ｌ１の絶対値が小さくなる（画像深度Ｍ１と物体深度Ｌ１の差分が０に近づく）ことに伴い、信号Ｓの振幅を大きくする。但し、その場合の信号Ｓの周波数は固定する。

ケースＢの場合には、相関制御部２０３は、信号Ｓの振幅を最大値に設定する。

ケースＣの場合には、相関制御部２０３は、画像深度Ｍ１−物体深度Ｌ１の絶対値が大きくなるに伴い、信号Ｓの振幅を最大値に固定したまま、その周波数を変更する。

相関制御部２０３が出力する信号Ｓを受け付けた感覚刺激部３０は、ケースＡの場合、画像深度Ｍ１−物体深度Ｌ１の絶対値が小さくなるにつれて圧電素子の振動振幅を大きくし、ケースＢにおいて圧電素子の振動振幅を最大とする。ケースＣの場合には、圧電素子の振動振幅を最大に固定したまま、振動周波数を変更する。

次に、本実施形態に係る電子機器１の動作について説明する。

図５は、電子機器１の動作の一例を示すフローチャートである。

ステップＳ０１において、制御部５０は、３次元画像（例えば、画像Ａ）を表示部１０に表示させているかを判断する。画像Ａが表示されていない場合（ステップＳ０１、Ｎｏ分岐）には、制御部５０は、画像Ａが表示されるまでステップＳ０１の処理を繰り返す。３次元画像が表示された場合（ステップＳ０１、Ｙｅｓ分岐）には、画像深度抽出部２０１が、画像深度Ｍ１を、表示している３次元画像から抽出する（ステップＳ０２）。

ステップＳ０３において、物体深度検出部２０は、物体深度検出部２０が持つ検出可能範囲内に指先３０１が存在するかを検知する。なお、物体深度検出部２０が持つ検出可能範囲は、電極３００の構造（厚さ、材質、電極に並列接続されるコンデンサの容量等）により定まる範囲である。また、指先３０１が検出領域内にない場合（ステップＳ０３、Ｎｏ分岐）には、相関制御部２０３に信号Ｓが送信されることはなく、処理を終了する。

指先３０１が検出領域内にある場合（ステップＳ０３、Ｙｅｓ分岐）には、物体深度検出部２０は、指先３０１の物体深度Ｌ１を検出する（ステップＳ０４）。即ち、物体深度検出部２０は、物体深度基準面から指先３０１までの物体深度Ｌ１を検出する。なお、指先３０１が表示面に近づき検出領域に入った際に、物体深度Ｌ１は最大となり、指先３０１が表示面に近づくにつれ、物体深度Ｌ１は減少する。

ステップＳ０５において、深度判別部２０２は、画像深度Ｍ１と物体深度Ｌ１を比較し、比較結果に応じて、その後の処理を分岐する。深度判別部２０２は、画像深度Ｍ１と物体深度Ｌ１の大小関係に応じて、これらの位置関係がケースＡ〜Ｃのいずれに該当するか判断し、その後に行う処理を変更する。より具体的には、深度判別部２０２は、画像深度Ｍ１と物体深度Ｌ１の差分を計算し、その結果を「正」、「０」、「負」の場合に分類し、その後に行う処理を決定する。

相関制御部２０３は、それぞれの場合において、感覚刺激部３０に送信する信号Ｓの振幅又は周波数を変更する。具体的には、深度判別部２０２の判定結果が「正」の場合（画像深度Ｍ１−物体深度Ｌ１＞０の場合；ケースＡ）は、相関制御部２０３は、物体深度Ｌ１が最大の時に信号Ｓの振幅が最も小さくなるように設定する。相関制御部２０３は、画像深度Ｍ１−物体深度Ｌ１の絶対値が小さくなると共に、信号Ｓの振幅を大きくする（ステップＳ０６）。なお、その際、信号Ｓの周波数は固定とする。

深度判別部２０２の判定結果が「０」の場合（画像深度Ｍ１−物体深度Ｌ１＝０の場合；ケースＢ）は、相関制御部２０３は、信号Ｓの振幅を最大値に設定する（ステップＳ０７）。なお、画像深度Ｍ１−物体深度Ｌ１＝０となる場合とは、画像深度Ｍ１と物体深度Ｌ１とが、実質的に一致する場合を意味する。

深度判別部２０２の判定結果が「負」の場合（画像深度Ｍ１−物体深度Ｌ１＜０の場合；ケースＣ）は、相関制御部２０３は、画像深度Ｍ１−物体深度Ｌ１の絶対値が小さくなるに伴い、信号Ｓの周波数を低下させる。なお、その際信号Ｓの振幅は最大値を維持する。それぞれのケースにおける信号Ｓは、感覚刺激部３０に出力される。

ステップＳ０９〜Ｓ１１において、感覚刺激部３０は、信号Ｓに基づき内部の圧電素子を制御する。

具体的には、ステップＳ０９において、感覚刺激部３０は、物体深度Ｌ１が最大値となる場合に振動が最も小さく、画像深度Ｍ１−物体深度Ｌ１の絶対値が小さくなるに伴い、振動量が増加するように圧電素子を制御する。つまり、物体深度Ｌ１が最大値の場合の振動は、電子機器１を把持しているユーザの手が感じることのできる最小の振動量である。なお、振動周波数は固定である。

ステップＳ１０において、感覚刺激部３０は、振動量が最も大きくなるように圧電素子を制御する。

ステップＳ１１において、感覚刺激部３０は、画像深度Ｍ１−物体深度Ｌ１の絶対値が大きくなるに伴い、振動周波数が低下するように圧電素子を制御する。なお、この場合の振動振幅は固定である。

ステップＳ０９〜Ｓ１１が終了した後、制御部５０は、既に表示した３次元画像とは異なる３次元画像の有無を確認する（ステップＳ１２）。

次の３次元画像が存在すれば（ステップＳ１２、Ｙｅｓ分岐）、制御部５０は、ステップＳ０１に戻り処理を継続する。一方、制御部５０は、次の３次元画像が存在しなければ（ステップＳ１２、Ｎｏ分岐）、図５に示す処理を終了する。

なお、物体深度基準面及び画像深度基準面を、表示部１０の表示面上（電極３００の面上）に設定した場合（距離Ｌ０＝０、距離Ｍ０＝０の場合）には、指先３０１が物体深度基準面を超えて、表示面に近づくことはない。そのため、指先３０１の物体深度Ｌ１が０の場合は、画像Ａの飛び出し量（即ち、画像Ａの画像深度Ｍ１）が定まれば、ユーザの触覚に与える振動量及び周波数が定まる。

以上、電子機器１を把持する手とは異なる手の指先を、電子機器１の表示部１０に近づける場合を例に取り説明を行った。しかし、電子機器１を把持する手の指先を表示部１０に近づける場合であっても同じ効果を得ることができるのは当然である。また、電子機器１に近づける導体の一例として指先３０１を用いて説明したが、これは導体を指先に限定する趣旨ではない。指先ではなく、電極３００に静電容量の変化をもたらすものであればよい。例えば、ペン先が導体のスタイラスペンのようなものであってもよい。さらには、物体深度検出部２０が距離センサ等を含む場合には、表示面に近づく物体は導体でなくてもよい。即ち、電子機器１が検出する物体は導体に限定されない。

画像深度Ｍ１と物体深度Ｌ１の差分が「正」、「０」、「負」の場合における圧電素子の振動振幅、振動周波数の組み合わせは上記の内容に限定されない。例えば、画像深度Ｍ１−物体深度Ｌ１＞０の場合（ケースＡ）、圧電素子の振動振幅を０とし、画像深度Ｍ１−物体深度Ｌ１＝０の場合（ケースＢ）に、圧電素子を所定の振動振幅、振動周波数で振動させてもよい。さらに、画像深度Ｍ１−物体深度Ｌ１＜０の場合（ケースＣ）に、ケースＢと同じ振動振幅を維持し、かつ、画像深度Ｍ１−物体深度Ｌ１の絶対値が増加に伴い振動周波数を低下させてもよい。あるいは、画像深度Ｍ１−物体深度Ｌ１＝０の場合（ケースＢ）に限り、圧電素子を所定の振動振幅、振動周波数で振動させてもよい。さらには、ケースＡ及びケースＢにおいて振動振幅を一定とし、振動周波数を変化させ、ケースＣにおいて振動周波数を一定とし、振動振幅を変化させてもよい。このように、画像深度Ｍ１−物体深度Ｌ１が「正」、「０」、「負」の場合における圧電素子の振動振幅、振動周波数の組み合わせは種々の形態が考えられる。

さらにまた、電子機器１では、ユーザの触覚を刺激するための手段として圧電素子を用いて、ユーザに画像Ａの存在を認識させているが、他の手段を用いることができる。例えば、電子機器１がスピーカを備えていれば、音声を用いてユーザの聴覚を刺激し、画像Ａの存在を認識させることもできる。

以上のように、本実施形態に係る電子機器１は、３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と、表示部１０に含まれる表示面に近づく物体深度とに基づいて、感覚刺激部３０がユーザに与える刺激を制御する。即ち、電子機器１は、感覚刺激部３０を使用して、画像Ａを指先で接触している感覚をユーザの手に与えることができる。また、電子機器１では、ユーザの指先と、３次元画像との相対的な深度に応じて、電子機器１を把持する手の触覚を刺激することができる。その結果、ユーザが視認している画像が確かにその位置（深度）にあると直感的に確認することができる。ユーザは、画像の位置を直感的に感じ取ることができるので、表示画面を注視しなくとも、手に受ける振動によりその画像の存在を認識することができる。

［第２の実施形態］
続いて、第２の実施形態について図面を参照して詳細に説明する。

本実施形態に係る電子機器２は、第１の実施形態に係る電子機器１とその内部構造に相違点は存在しないので、図２に相当する説明を省略する。電子機器１と電子機器２の相違点は、物体深度検出部２０に含まれる電極の構造である。電子機器２の物体深度検出部２０に含まれる電極３１０は複数に分割されている。電極３１０を複数に分割することで、指先３０１の表示面における座標位置も検出可能とする。なお、物体深度検出部２０が複数に分割された電極３１０を含む場合には、物体深度検出部２０はユーザの操作を受け付けるタッチパネル（操作部）としても機能する。

第１の実施形態においては、画像Ａが表示部１０の全面均一に飛び出す場合について説明した。本実施形態では、３次元画像に凹凸が存在する場合について説明する。

図６及び図７は、第２の実施形態による物体深度及び画像深度を説明するための図である。

電子機器２では、図７に示す３次元画像である画像Ｂのように、凹凸がある画像を取り扱う。なお、図７に示す画像Ｂは、領域４１０が領域４２０よりも突出している画像である。電子機器２は、指先３０１と、画像Ｂ内の領域４１０及び領域４２０の相対的な面内位置を導出する点が、電子機器１とは相違する。

図６及び図７に示すように、電極３１０は面内で複数に分割されており、分割された複数の電極部の静電容量の変化に基づき、物体深度検出部２０は、指先３０１の物体深度Ｌ１を検出する。さらに、図６に示す物体深度基準面に、Ｘ１軸及びＹ１軸を規定し、この２軸で形成される座標軸上における各電極部の座標位置を予め定めることで、静電容量の変化した電極部の位置から指先３０１の面内位置を算出することができる。

一方、図７に示す画像深度基準面にＸ２軸及びＹ２軸を規定し、この２軸で形成される座標軸上における画像Ｂの領域４１０及び領域４２０の位置は、予め把握可能な情報である。画像Ｂは、電子機器２の設計段階で用意される画像であって、電子機器２の設計者が用意する画像であるためである。Ｘ１Ｙ１座標軸の基準点４００とＸ２Ｙ２座標軸の基準点４０１との位置を一致させることで、指先３０１と画像Ｂ内の領域４１０及び領域４２０の相対的な面内位置を算出することができる。

このように、電極３１０を複数に分割することで、画像Ｂに含まれる領域の画像深度が異なる場合であっても、領域ごとに異なる画像深度に応じて電子機器２を把持する手に刺激を与えることができる。なお、電極３１０は表示部１０上に複数に分割した複数の電極部により構成される場合について説明したが、図３及び図４に示す電極３００に加えて、表示部１０に表示画面内の位置を検出することができるタッチセンサを設けてもよい。その場合、位置検出用のタッチセンサとして、静電容量型又は抵抗膜型等を使用可能であり、位置検出用のタッチセンサと物体深度検出部２０を構成する電極３００を積層する。

［変形例］
上述のように、電子機器２が表示する画像は、厚みのない平面に限られるものではない。例えば、立方体、球対又は円筒形状の立体物を表示することが想定される。このような立体物等を表示している場合には、ユーザが指先３０１を表示部１０の表示面に近づけた場合に最初に触れる面と、当該立体物を突き抜けて触れる面と、２つ仮想的な面を想定することができる。即ち、ユーザの指先と、仮想的に表示されている立体物との関係は、以下のように変化する。

始めに、ユーザの指先３０１が立体物に近づき、その後、指先３０１がユーザから見た場合の手前側の面に接触する。さらに、指先３０１を表示部１０に近づけていくと、指先３０１は立体物の内部に入る。その後、指先３０１は立体物を貫通し、手前側の面と相対する面に達し、立体物を突き抜ける。

このような場合に、ユーザの感覚を刺激する手段が１つであると、上記のような状態の変化をユーザに報知するのは困難であると考えられる。感覚刺激部３０に含まれる圧電素子では、振動の大きさと周波数といった２種類のパラメータが変更可能なためである。しかし、電子機器１又は２が、複数の圧電素子を備える場合には、複数の圧電素子を使用して、立体物を通過する際の状態変化をユーザに報知することも可能である。

例えば、電子機器２が、２つの圧電素子を備えるものとする。さらに、この２つの圧電素子は、電子機器２の筐体を上下方向と左右方向の両方向に振動させるように配置されているものとする。このような構成を持つ電子機器２において、相関制御部２０３は、物体深度及び画像深度に基づいて、以下のような制御することができる。

初めに、ユーザの指先３０１が表示部１０の表示面に近づくにつれて、左右方向に振動させる圧電素子の振動振幅を増加させる。指先３０１が、手前側の面に接触した際に、相関制御部２０３は、左右方向の振動量を最大に設定する。さらに、立体物の内部を進む場合には、相関制御部２０３は、上下方向に振動させる圧電素子の振動振幅を増加させる。指先３０１が、手前側の面と相対する面に達した際に、相関制御部２０３は、上下方向の振動量を最大に設定する。手前側の面と相対する面を突き抜けた場合には、相関制御部２０３は、２つの圧電素子の振動周波数を低下させる。

あるいは、２つの圧電素子を備えていれば、以下のような制御をすることもできる。例えば、球体や立方体等の表示している物体の内部に刺激変位点を設定する。刺激変位点には、例えば、物体の中心点とすることができる。物体の中心点は、表示しようとする物体の幾何的な中心点とすることができる。即ち、立体物等の左右の表示範囲の最も右の点と左の点との中点を通る垂直面と、上下の表示範囲の最も上の面と下の面との中点を通る水平面と、仮想的な奥行き方向の最も手前の点と奥の点の中点をとおる表示部に平行な面との交点を中心点に設定することができる。ただし、刺激変位点は幾何的な中心点に限定する趣旨ではなく、表示しようとする立体物ごとに定められる値であってもよい。

相関制御部２０３は、このような刺激変位点の上下方向及び左右方向で、指先３０１が移動する場合には、刺激変位点において圧電素子の振幅を最大に設定する。相関制御部２０３は、上下方向及び左右方向の指先３０１の移動に合わせて、２つの圧電素子の振幅を制御する。例えば、相関制御部２０３は、指先３０１が刺激変位点から離れるに従い振動振幅を小さくし、立体物の内部から指先３０１が遊離した段階で振動を停止する。

さらに、表示部１０に向かって（又は、表示部１０が遠ざかって）指先３０１が移動する場合には、刺激変位点において２つの圧電素子の振動周波数を最大に設定し、刺激変位点から離れるに従って振動周波数を低下させる。

このように、２つの圧電素子を備える場合には、２つの圧電素子により実現する振動量とその周波数により、指先３０１が立体物のどの位置にあるのか報知することができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

［付記１］
上記第１の視点に係る電子機器のとおりである。
［付記２］
前記位置検出部は、前記表示面の法線方向に位置する物体の位置を、前記物体深度として検出する付記１の電子機器。
［付記３］
前記画像深度は、前記３次元画像に予め付与され、所定の基準面から画像が飛び出して視認される、又は、奥まってユーザに視認される距離を示す値であり、
前記制御部は、前記３次元画像から前記画像深度を抽出する画像深度抽出部を含む付記１又は２の電子機器。
［付記４］
前記制御部は、
前記画像深度と前記物体深度を比較する深度判別部と、
前記深度判別部における比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する相関制御部と、
を含む付記１乃至３のいずれか一に記載の電子機器。
［付記５］
前記感覚刺激部は、振動振幅と振動周波数の少なくとも一方が可変な圧電素子を含み、
前記相関制御部は、前記比較結果に基づき、前記圧電素子の振動振幅と振動周波数の少なくともいずれかを変化させる付記４の電子機器。
［付記６］
前記相関制御部は、前記画像深度と前記物体深度が一致した際に、前記振動振幅と前記振動周波数の少なくともいずれかを最大値に設定する付記５の電子機器。
［付記７］
前記相関制御部は、前記画像深度と前記物体深度が一致した際に、前記圧電素子を振動させる付記５の電子機器。
［付記８］
前記相関制御部は、前記表示物の前記表示面における位置と、前記表示物に応じた前記画像深度と、前記物体の前記表示面における位置と、前記物体に応じた前記物体深度と、に基づいてユーザに与える刺激を制御する付記１乃至７のいずれか一に記載の電子機器。
［付記９］
前記相関制御部は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する付記４乃至８のいずれか一に記載の電子機器。
［付記１０］
上記第２の視点に係る電子機器の制御方法のとおりである。
［付記１１］
前記位置検出工程は、前記表示面の法線方向に位置する物体の位置を、前記物体深度として検出する付記１０の電子機器の制御方法。
［付記１２］
前記画像深度は、前記３次元画像に予め付与され、所定の基準面から画像が飛び出して視認される、又は、奥まってユーザに視認される距離を示す値であり、
前記３次元画像から前記画像深度を抽出する画像深度抽出工程を含む付記１０又は１１の電子機器の制御方法。
［付記１３］
前記画像深度と前記物体深度を比較する深度判別工程と、
前記深度判別工程による比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する相関制御工程と、
を含む付記１０乃至１２のいずれか一に記載の電子機器の制御方法。
［付記１４］
前記感覚刺激部は、振動振幅と振動周波数の少なくとも一方が可変な圧電素子を含み、
前記相関制御工程は、前記比較結果に基づき、前記圧電素子の振動振幅と振動周波数の少なくともいずれかを変化させる付記１３の電子機器の制御方法。
［付記１５］
前記相関制御工程は、前記画像深度と前記物体深度が一致した際に、前記振動振幅と前記振動周波数の少なくともいずれかを最大値に設定する付記１４の電子機器の制御方法。
［付記１６］
前記相関制御工程は、前記画像深度と前記物体深度が一致した際に、前記圧電素子を振動させる付記１４の電子機器の制御方法。
［付記１７］
前記相関制御工程は、前記表示物の前記表示面における位置と、前記表示物に応じた前記画像深度と、前記物体の前記表示面における位置と、前記物体に応じた前記物体深度と、に基づいてユーザに与える刺激を制御する付記１０乃至１６のいずれか一に記載の電子機器の制御方法。
［付記１８］
前記相関制御工程は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する付記１３乃至１７のいずれか一に記載の電子機器の制御方法。
［付記１９］
上記第３の視点に係るプログラムのとおりである。
［付記２０］
前記位置検出処理は、前記表示面の法線方向に位置する物体の位置を、前記物体深度として検出する付記１９のプログラム。
［付記２１］
前記画像深度は、前記３次元画像に予め付与され、所定の基準面から画像が飛び出して視認される、又は、奥まってユーザに視認される距離を示す値であり、
前記３次元画像から前記画像深度を抽出する画像深度抽出処理を実行する付記１９又は２０のプログラム。
［付記２２］
前記画像深度と前記物体深度を比較する深度判別処理と、
前記深度判別処理による比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する相関制御処理と、
を実行する付記１９乃至２１のいずれか一に記載のプログラム。
［付記２３］
前記感覚刺激部は、振動振幅と振動周波数の少なくとも一方が可変な圧電素子を含み、
前記相関制御処理は、前記比較結果に基づき、前記圧電素子の振動振幅と振動周波数の少なくともいずれか変化させる付記２２のプログラム。
［付記２４］
前記相関制御処理は、前記画像深度と前記物体深度が一致した際に、前記振動振幅と前記振動周波数の少なくともいずれかを最大値に設定する付記２３のプログラム。
［付記２５］
前記相関制御処理は、前記画像深度と前記物体深度が一致した際に、前記圧電素子を振動させる付記２３のプログラム。
［付記２６］
前記相関制御処理は、前記表示物の前記表示面における位置と、前記表示物に応じた前記画像深度と、前記物体の前記表示面における位置と、前記物体に応じた前記物体深度と、に基づいてユーザに与える刺激を制御する付記１９乃至２５のいずれか一に記載のプログラム。
［付記２７］
前記相関制御処理は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する付記１９乃至２６のいずれか一に記載のプログラム。
［付記２８］
立体視に用いる立体画像を表示する表示手段と、
前記表示手段に対する指示手段の位置を検出する位置検出手段と、
物理的な振動を用いて報知する報知手段と、
前記立体画像に含まれる少なくとも一部の表示物の立体視における位置と前記指示手段の位置との位置関係を基に、前記報知手段を用いた報知を制御する制御手段と、
を含む処理装置。
［付記２９］
表示画面に３次元画像を表示可能な携帯端末であって、
入力デバイスが前記表示画面に対し近接することにより入力操作を受け付けて、前記表示画面の法線方向の入力位置を取得する入力受付部と、
前記表示画面に表示する３次元画像の前記表示画面上に対する相対位置奥行き位置を求める画像表示位置深度算出部と、
前記表示画面の法線方向における入力位置と前記３次元画像の表示位置との相関に応じて振動または力を出力する提示部と、
を備える携帯端末。
［付記３０］
更に、前記表示画面に対する法線方向の入力位置と前記３次元画像の奥行き位置との相対的な位置を比較する判別部を備える付記２９の携帯端末。
［付記３１］
前記表示画面に対する法線方向の入力位置と前記３次元画像の奥行き位置との相対的な位置に応じて、提示部の振動振幅または振動周波数の何れか一方を変える付記２９又は３０の携帯端末。
［付記３２］
前記表示画面に対する法線方向の入力位置と前記３次元画像の奥行き位置とが一致した場合、提示部の振動振幅または振動周波数の何れか一方が最大となる付記３１の携帯端末。
［付記３３］
前記表示画面に対する法線方向の入力位置と前記３次元画像の奥行き位置とが一致した場合、提示部が振動する付記２９の携帯端末。
［付記３４］
前記表示画面の面内位置と前記３次元画像の面内位置との相対的な位置に応じて、提示部の振動振幅または振動周波数の何れか一方を変える付記２９乃至３３のいずれか一に記載の携帯端末。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１、２、１００ 電子機器
１０、１０１ 表示部
２０ 物体深度検出部
３０、１０３ 感覚刺激部
４０ 記憶部
５０、１０４ 制御部
１０２ 位置検出部
２０１ 画像深度抽出部
２０２ 深度判別部
２０３ 相関制御部
３００、３１０ 電極
３０１ 指先
４００、４０１ 基準点
４１０ ４２０ 領域

Claims (9)

1. ３次元画像を表示する表示面を含む表示部と、
   前記表示面に対する物体の位置を、物体深度として検出する位置検出部と、
   ユーザの感覚を刺激する感覚刺激部と、
   前記３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と前記物体深度とに基づいて、前記感覚刺激部を制御する制御部と、
   を備え、
   前記制御部は、
   前記画像深度と前記物体深度を比較する深度判別部と、
   前記深度判別部における比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する相関制御部と、
   を含み、
   前記相関制御部は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更することを特徴とする電子機器。
2. 前記位置検出部は、前記表示面の法線方向に位置する物体の位置を、前記物体深度として検出する請求項１の電子機器。
3. 前記画像深度は、前記３次元画像に予め付与され、所定の基準面から画像が飛び出して視認される、又は、奥まってユーザに視認される距離を示す値であり、
   前記制御部は、前記３次元画像から前記画像深度を抽出する画像深度抽出部を含む請求項１又は２の電子機器。
4. 前記感覚刺激部は、振動振幅と振動周波数の少なくとも一方が可変な圧電素子を含み、
   前記相関制御部は、前記比較結果に基づき、前記圧電素子の振動振幅と振動周波数の少なくともいずれかを変化させる請求項１の電子機器。
5. 前記相関制御部は、前記画像深度と前記物体深度が一致した際に、前記振動振幅と前記振動周波数の少なくともいずれかを最大値に設定する請求項４の電子機器。
6. 前記相関制御部は、前記画像深度と前記物体深度が一致した際に、前記圧電素子を振動させる請求項４の電子機器。
7. 前記相関制御部は、前記表示物の前記表示面における位置と、前記表示物に応じた前記画像深度と、前記物体の前記表示面における位置と、前記物体に応じた前記物体深度と、に基づいてユーザに与える刺激を制御する請求項１乃至６のいずれか一に記載の電子機器。
8. ３次元画像を表示する表示面を含む表示部と、
   ユーザの感覚を刺激する感覚刺激部と、
   を備える電子機器の制御方法であって、
   前記表示面に対する物体の位置を、物体深度として検出する位置検出工程と、
   前記３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と前記物体深度とに基づいて、前記感覚刺激部を制御する工程と、
   を含み、
   前記感覚刺激部を制御する工程は、
   前記画像深度と前記物体深度を比較する工程と、
   前記画像深度と前記物体深度の比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する工程と、
   を含み、
   前記ユーザの感覚に与える刺激を制御する工程は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する、ことを特徴とする電子機器の制御方法。
9. ３次元画像を表示する表示面を含む表示部と、
   ユーザの感覚を刺激する感覚刺激部と、
   を備える電子機器を制御するコンピュータに実行させるプログラムであって、
   前記表示面に対する物体の位置を、物体深度として検出する位置検出処理と、
   前記３次元画像から得られる少なくとも一部の表示物の立体視における位置を示す画像深度と前記物体深度とに基づいて、前記感覚刺激部を制御する処理と、
   を実行し、
   前記感覚刺激部を制御する処理は、
   前記画像深度と前記物体深度を比較する処理と、
   前記画像深度と前記物体深度の比較結果に基づき、前記感覚刺激部がユーザの感覚に与える刺激を制御する処理と、
   を含み、
   前記ユーザの感覚に与える刺激を制御する処理は、前記３次元画像から得られる表示物を立体視した立体物の内部に規定された刺激変位点に応じて、前記感覚刺激部からユーザに与える刺激を変更する、プログラム。

Images