JP5640680B2 - 情報処理装置、立体視表示方法及びプログラム - Google Patents

情報処理装置、立体視表示方法及びプログラム Download PDF

Info

Publication number
JP5640680B2
JP5640680B2 JP2010253151A JP2010253151A JP5640680B2 JP 5640680 B2 JP5640680 B2 JP 5640680B2 JP 2010253151 A JP2010253151 A JP 2010253151A JP 2010253151 A JP2010253151 A JP 2010253151A JP 5640680 B2 JP5640680 B2 JP 5640680B2
Authority
JP
Japan
Prior art keywords
display
image content
stereoscopic
depth
proximity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010253151A
Other languages
English (en)
Other versions
JP2012103982A (ja
Inventor
野田 卓郎
卓郎 野田
泰史 奥村
泰史 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010253151A priority Critical patent/JP5640680B2/ja
Priority to CA2755689A priority patent/CA2755689A1/en
Priority to AU2011244907A priority patent/AU2011244907A1/en
Priority to EP11187686.8A priority patent/EP2453660B1/en
Priority to US13/288,439 priority patent/US8988500B2/en
Priority to CN201110350964.5A priority patent/CN102469333B/zh
Publication of JP2012103982A publication Critical patent/JP2012103982A/ja
Application granted granted Critical
Publication of JP5640680B2 publication Critical patent/JP5640680B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、情報処理装置、立体視表示方法及びプログラムに関する。
近年、立体写真等の画像コンテンツや操作オブジェクトなどの表示物を立体的に表示することが可能な立体視表示装置が実用化され、一般に普及しつつある。例えば、立体視表示が可能なテレビジョン受像機、携帯ゲーム機、及びパーソナルコンピュータ(以下、PCという。))用のディスプレイ装置などでは既に製品化されているものもある。このような立体視表示装置に関し、例えば、下記の特許文献1には、表示物の制作者が意図した飛び出し量や引き込み量(以下、奥行き量という。)などを正確に表現することが可能な立体視画像の補正方法が開示されている。
特開2010−045584号公報
しかしながら、画像を仮想的な三次元空間に立体視表示すると、画像を二次元で表示していたときには起こりえなかった問題が生じる。具体的には、現実空間にある物体が仮想的な三次元空間に立体視表示された表示物に重なると、実際に立体的な形状を持つ物体と、人工的に視差を表現して立体的に見せている表示物との間で距離感に不整合が生じ、見ているユーザに違和感を与えてしまうことがある。例えば、手前にあるべき部分が奥にあるものによって隠れてしまうという現実空間ではあり得ない視覚的な不整合が表現される場合があり、ユーザに不快感を与えてしまう。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、表示物を立体的に表示している表示面に対して現実空間にある物体が近接した場合にユーザが感じる違和感や不快感を低減することが可能な、新規かつ改良された情報処理装置、立体視表示方法、及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像コンテンツを立体的に表示する立体視表示部と、前記立体視表示部のタッチ面に対する操作体の近接を検知する近接検知部と、前記操作体の近接が検知された場合、前記画像コンテンツを縮小して表示するように制御する表示制御部と、を備える情報処理装置が提供される。
前記表示制御部は、前記タッチ面と前記操作体の近接位置との距離が近くなるほど、前記画像コンテンツを縮小表示し、前記タッチ面と前記操作体との距離が遠くなるほど、前記画像コンテンツを拡大表示するように制御してもよい。
前記表示制御部は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を表示位置より奥側に表示するように制御してもよい。
前記表示制御部は、前記操作体の近接が検知されなくなった場合、前記画像コンテンツを元のサイズに戻して表示するように制御してもよい。
前記表示制御部は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を前記操作体の近接位置に近づける又は一致させるように制御してもよい。
前記表示制御部は、前記画像コンテンツに含まれる1又は2以上の表示物のうち最大奥行きをもつ表示物の奥行き量に応じて、前記画像コンテンツの縮小の割合を定めてもよい。
ユーザによる操作に応じて前記制御対象の表示物の奥行き方向の位置を調整する奥行き調整部を更に備えてもよい。
前記画像コンテンツ又は前記画像コンテンツ上に仮想的に貼り付けられたシート面に画像を描くことにより、前記画像コンテンツが立体視表示された立体空間上に所望の画像を編集する画像編集部を更に備えてもよい。
前記表示制御部は、前記画像編集部により画像の編集が実行される前に、前記制御対象の表示物の奥行き方向の位置を前記タッチ面に一致させる又はタッチ面より奥側にさせるように制御した後、前記画像コンテンツを拡大して表示するように制御してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像コンテンツを立体的に表示する立体視表示機能と、前記立体視表示のタッチ面に対する操作体の近接を検知する近接検知機能と、前記操作体の近接が検知された場合、前記画像コンテンツを縮小して表示するように制御する表示制御機能と、を含む機能をコンピュータに実現させるためのプログラムが提供される。
前記表示制御機能は、前記タッチ面と前記操作体の近接位置との距離が近くなるほど、前記画像コンテンツを縮小表示し、前記タッチ面と前記操作体との距離が遠くなるほど、前記画像コンテンツを拡大表示するように制御する機能を有してもよい。
前記表示制御機能は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を表示位置より奥側に表示するように制御する機能を有してもよい。
前記表示制御機能は、前記操作体の近接が検知されなくなった場合、前記画像コンテンツを元のサイズに戻して表示するように制御する機能を有してもよい。
前記表示制御機能は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を前記操作体の近接位置に近づける又は一致させるように制御する機能を有してもよい。
前記表示制御機能は、前記画像コンテンツに含まれる1又は2以上の表示物のうち最大奥行きをもつ表示物の奥行き量に応じて、前記画像コンテンツの縮小の割合を定めてもよい。
ユーザによる操作に応じて前記制御対象の表示物の奥行き方向の位置を調整する調整機能を更に含んでもよい。
前記画像コンテンツ又は前記画像コンテンツ上に仮想的に貼り付けられたシート面に画像を描くことにより、前記画像コンテンツが立体視表示された立体空間上に所望の画像を編集する画像編集機能を更に含んでもよい。
前記表示制御機能は、前記画像編集機能により画像の編集が実行される前に、前記制御対象の表示物の奥行き方向の位置を前記タッチ面に一致させる又はタッチ面より奥側にさせるように制御した後、前記画像コンテンツを拡大して表示するように制御する機能を有してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像コンテンツを立体的に表示する立体視表示ステップと、前記立体視表示のタッチ面に対する操作体の近接を検知する近接検知ステップと、前記操作体の近接が検知された場合、前記画像コンテンツを縮小して表示するように制御する表示制御ステップと、を含む、立体視表示方法が提供される。
以上説明したように本発明によれば、表示物を立体的に表示している表示面に対して現実空間にある物体が近接した場合にユーザが感じる違和感や不快感を低減することが可能になる。
本発明の各実施形態に係る情報処理装置のハードウェア構成図である。 第1実施形態に係る情報処理装置の機能構成図である。 立体視表示の原理を説明するための図である。 第1実施形態に係る立体視表示装置の奥行き制御を説明するための図である。 第1実施形態に係る立体視表示装置の奥行き制御を説明するための図である。 第1実施形態に係る立体視表示装置の奥行き制御処理を示したフローチャートである。 第1実施形態に係る立体視表示装置のXY座標の制御を説明するための図である。 第2及び第3実施形態に係る情報処理装置の機能構成図である。 第2実施形態に係る立体視表示装置の奥行き/編集制御を説明するための図である。 第2実施形態に係る立体視表示装置の奥行き/編集制御を説明するための図である。 第2実施形態に係る立体視表示装置の奥行き/編集制御処理を示したフローチャートである。 図11の奥行き/編集制御処理を説明するための図である。 第2実施形態に係る立体視表示装置の奥行き/編集制御結果の表示画面を示した図である。 第2実施形態の変形例1に係る立体視表示装置の奥行き/編集制御処理を示したフローチャートである。 図14の奥行き/編集制御処理を説明するための図である。 第2実施形態の変形例2に係る立体視表示装置の奥行き/編集制御処理を示したフローチャートである。 図16の奥行き/編集制御処理を説明するための図である。 第3実施形態に係る立体視表示装置の奥行き制御処理を示したフローチャートである。 第3実施形態に係る立体視表示装置の奥行き/編集制御処理を説明するための図である。 第3実施形態に係る立体視表示装置の奥行き/編集制御結果の表示画面を示した図である。 各実施形態の組合せに係る奥行き/編集制御処理の一例を説明するための図である。 各実施形態の組合せに係る奥行き/編集制御処理の一例を説明するための図である。 画面遷移を説明するための図である。 奥行き調整を説明するための図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
1.立体視表示装置のハードウェア構成
2.立体視表示装置の機能構成(第1実施形態)
3.立体視表示装置の奥行き制御(第1実施形態)
4.奥行き制御処理(第1実施形態)
5.XY座標の制御(第1実施形態)
6.立体視表示装置の機能構成(第2実施形態)
7.立体視表示装置の奥行き/編集制御(第2実施形態)
8.立体視表示装置の奥行き/編集制御(第2実施形態)
9.奥行き/編集制御処理(第2実施形態/変形例1)
10.奥行き/編集制御処理(第2実施形態/変形例2)
11.立体視表示装置の縮小/拡大制御(第3実施形態)
12.組み合わせ
本明細書において説明する情報処理装置は、典型的には、タッチ画面を有する。情報処理装置は、例えば、PC(Personal Computer)、スマートフォン、携帯情報端末(Personal Digital Assistant)、音楽プレーヤ、ゲーム端末又はデジタル家電機器などであってもよい。また、情報処理装置は、これら装置と接続される周辺機器であってもよい。また、各実施形態に係る情報処理装置は、立体視可能なディスプレイに立体視表示(三次元表示)された表示物を表示することが可能な立体視表示装置である。以下では、立体視表示される画像コンテンツに含まれる1又は2以上の表示物として立体写真を例に挙げて説明する。
以下では、本発明の第1〜第3実施形態に係る情報処理装置について立体視表示装置10を例に挙げて説明する。本実施形態では、立体視表示装置10に立体視表示された表示物に対して現実空間にある物体が近づいた場合にユーザに与える違和感や不快感を低減することが可能な立体視表示方法を提案するものである。
1.立体視表示装置のハードウェア構成
図1は、各実施形態及び変形例に係る立体視表示装置10のハードウェア構成の一例を示すブロック図である。図1を参照すると、立体視表示装置10は、タッチパネル20、バス30、CPU(Central Processing Unit)32、ROM(Read Only Memory)34及びRAM(Random Access Memory)36を有している。
タッチパネル20は、検出面22及び表示面(タッチ面)24を含む。検出面22は、タッチパネル20への操作体(ユーザの指やペン)の近接及び接触を検知し、近接位置や接触位置を表す電気信号を生成する。タッチパネル20は、情報を入力する入力装置の一例である。検出面22は、例えば、感圧式、静電容量式又は赤外線式などの任意のタッチ検出方式に従って形成され得る。タッチパネル20は、表示面24への接触のみ検知可能なタッチパネルでもよいが、近接及び接触を検出できる方が好ましい。
表示面24は、立体視表示装置10からの出力画像を表示する。表示面24は、例えば、液晶、有機EL(Organic Light-Emitting Diode:OLED)又はCRT(Cathode Ray Tube)などを用いて実現され得る。立体視可能なディスプレイとしては、メガネを用いる方式や、パララックスバリアやレンチキュラレンズを用いた裸眼方式などを用いることができる。
バス30は、検出面22、表示面24、CPU32、ROM34及びRAM36を相互に接続する。CPU32は、立体視表示装置10の動作全般を制御する。ROM34は、CPU32により実行されるソフトウェアを構成するプログラム及びデータを記憶する。RAM36は、CPU32による処理の実行時に、プログラム及びデータを一時的に記憶する。なお、立体視表示装置10は、図1に示した構成要素以外の構成要素を含んでもよい。
2.立体視表示装置の機能構成(第1実施形態)
次に、第1実施形態に係る立体視表示装置10の機能構成について、図2を参照しながら説明する。本実施形態に係る立体視表示装置10は、立体視表示部40、近接検知部42、表示制御部44及び記憶部60を有する。
立体視表示部40の表示面上には、タッチパネル20が設けられている。立体視表示部40は、画像コンテンツを立体的に表示する。画像コンテンツは、立体映像等の視差情報を持った動画や静止画をいう。ここでは、それぞれ個別に視差情報を持つ1又は2以上の表示物としての立体写真が含まれた画像コンテンツを例に挙げて説明する。
近接検知部42は、立体視表示部40のタッチ面に対する操作体の近接を検知する。ここでは、操作体としてユーザの指を例に挙げて説明する。表示制御部44は、操作体の近接が検知された場合、画像コンテンツに含まれる1又は2以上の立体写真のうち、操作体の近接位置の奥行き方向に表示された立体写真を制御対象として、該立体写真の位置を操作体の近接位置に近づけるように制御する。記憶部60は、画像コンテンツを記憶したり、画像コンテンツに含まれる立体写真の奥行き量を記憶したりする。
表示制御部44は、記憶部60に格納されている画像データを読み出し、読み出した画像データを立体視表示部40に表示させる。また、表示制御部44は、映像コンテンツやGUI(Graphical User Interface)などを立体視表示部40に表示させる。このとき、表示制御部44は、画像データ、映像コンテンツ、GUIなどの表示物を立体的に表示するための演算を実行する。例えば、表示制御部44は、立体視表示部40の表示面から表示物を飛び出させるためや、表示面の奥側に押し込めるための奥行き量の演算を実行する。
立体写真を仮想的な三次元空間内に表示する場合、仮想的な三次元空間自体が持つ奥行き情報とは別に立体写真自身も視差情報をもつ。図3に三次元空間内に立体写真がある場合の模式図を示す。この場合、右眼用写真及び左眼用写真は表示面24上にあるため表示面24に見えているが、写真に写っているAは表示面24から飛び出して見える。この立体視表示の原理について簡単に説明する。表示物を立体的に見せるには、図3に示すように、右眼用の表示物と左眼用の表示物とを表示面に離して表示し、右眼だけで右眼用の表示物を見るようにさせ、左眼だけで左眼用の表示物を見るようにさせる。右眼用の表示物を右眼だけで見るようにさせ、左眼用の表示物を左眼だけで見るようにさせるためには、多くの場合、偏光が利用される。例えば、第1の方向に直線偏光した光で右眼用の表示物を表示し、第1の方向に直交する第2の方向に直線偏光した光で左眼用の表示物を表示する。さらに、第1の方向に直線偏光した光を通すレンズを右眼に、第2の方向に直線偏光した光を通すレンズを左眼に装着することにより、右眼には右眼用の表示物だけが見え、左眼には左眼用の表示物だけが見える状況をつくりだすことができる。
このような状況がつくりだせると、右眼と右眼用の表示物とを結ぶ視線と、左眼と左眼用の表示物とを結ぶ視線とが交差する位置に表示物が立体視表示されて見える。また、右眼用の表示物と左眼用の表示物との間の距離を制御することにより、輻輳角を調整することが可能になる。輻輳角が変化することにより、立体視表示されている表示物の飛び出し度合いが変化する。
つまり、表示面上にある右眼用及び左眼用の表示物の奥行き量を変化させて表示位置を制御することにより、立体視表示された表示物の飛び出し度合いや押し込み度合いを制御することができる。なお、ここでは偏光を利用して立体視表示を実現する方法について説明したが、本実施形態はこれに限定されず、表示物を立体視表示することが可能な任意の立体視表示方法を適用することができる。
再び図1を参照する。上記のように、表示制御部44は、右眼用及び左眼用の表示物の表示を制御することにより、表示物を立体的に表示させる。表示制御部44により決められる表示物の飛び出し度合いや押し込み度合いを示す情報(以下、奥行き量又は奥行き情報という。)は、立体視表示部40に入力される。また、表示制御部44により記憶部60から読み出された表示物のデータも立体視表示部40に入力される。奥行き量が入力されると、立体視表示部40は、入力された奥行き量に基づいて表示物を表示する。
なお、表示制御部44の機能は、CPU32などを利用して実現される。また、記憶部60の機能は、ROM34、RAM36(又は図示しないリムーバブル記録媒体等)により実現される。
3.立体視表示装置の奥行き制御(第1実施形態)
タッチパネル20を用いて操作を行う場合、立体写真の表面から飛び出した部分と操作体とが重なってしまう場合がある。図3を例に挙げると、操作体が表示面24に近くなった場合にその状況が発生する。そのとき、奥行き情報の齟齬が発生し、見た目の違和感となる。例えば、表示面より手前に飛び出して表示されている立体写真に対しては、操作体が立体写真にめり込んでいるように表示され、ユーザに違和感や不快感を与えることになる。そこで、本実施形態では、この現象を解消する解決法として、以下の奥行き自動制御を実行する。この奥行き自動制御では、操作体が立体写真と重なろうとすることをタッチパネル20により検出し、立体写真が持つ視差情報から得られる奥行き情報を用いて立体写真が操作体に重ならないように立体写真の奥行き方向の位置を自動的に移動させる。
なお、立体写真自体は、視差を持った複数のテクスチャ(ここでは立体写真)を持っているが、各実施形態では2視差の場合を例に挙げて説明する。このとき、立体写真は左右両方の目に投影すべきテクスチャ(ここでは右眼用写真と左眼用写真)を持っているので、一方のテクスチャのある点が他方のテクスチャにおけるどの点に相当するのかを推測することができる。その手法としてはテンプレートマッチングといった手法がある。
図3及び図4を参照しながら、本実施形態に係る立体視表示装置10の奥行き制御について更に説明する。表示制御部44は、図4に示したように操作体が表示面24に接触したことを検出した場合(タッチ検出)、タッチした位置の奥行き方向に表示された表示物である立体写真を制御対象として、その立体写真の奥行き方向の位置(奥行き量)を算出する。
テンプレートマッチングを用いると、例えば、図3の右眼用画像Aの任意の点Paが、左眼用画像Aのどこに近いかを水平方向に探索していく。右眼用画像Aの点Paと左眼用画像Aの対象となる点Pa’とのずれ(ピクセル差)は視差であり、このずれを立体空間内にあてはめることにより、その点がタッチ面(表示面24)からの奥行き量となる。
具体的には、図4の左図における立体写真の左右画像のずれをD、目と表示面24との距離をLc、左右の目の間隔をDc、求めるべき立体写真の奥行き方向の位置(奥行き量)をZとすると、立体写真の奥行き量Zは、表示面24の奥行きを0とした場合、式(1)で示される。
このようにして、操作指の近接位置又は接触位置での奥行き量Zを算出し、奥行き量Z分、図4の右図から左図に遷移するように立体写真の奥行きを奥にずらしていき、立体写真の表示面からの奥行きをZにする。これにより、指が立体写真の突出部にのめり込んだ状態(図4の右図)から、立体写真の突出部が操作体(指)や表示面24に一致した状態(図4の左図)にすることによって、ユーザが感じる違和感や不快感を低減することができる。
なお、奥行き量Zの演算には、テンプレートマッチングに替えて、ステレオカメラから取得した2つの画像の視差から対象物の距離を測るという高速ステレオマッチングの技術を用いることもできる。この技術を用いると奥行き量算出の精度を上げることができる。
以上のように、近接検知部42により表示面24への操作体の接触が検知された場合、表示制御部44は、制御対象の表示物の奥行き方向の位置を表示面24に一致させるように制御する。
次に、接触状態だけでなく近接状態も含んだ場合の立体視表示装置10の奥行き制御について、図5を参照しながら説明する。図5の左図に示したように、操作体が表示面24に近接したことを近接検知部42が検知した場合(近接位置の検出)、表示制御部44は、近接した位置の奥行き方向に表示された立体写真を制御対象として、その立体写真の奥行き方向の位置(奥行き量Z)を算出する。表示制御部44は、算出された奥行き量Z及び近接位置と表示面との距離に基づき、制御対象の立体写真の奥行き方向の位置を操作体の近接位置に近づける又は一致させるように制御する。
さらに、図5の中図及び右図に示したように、操作体の移動を検出し、表示制御部44もこれに伴い上記奥行き演算を繰り返す。表示制御部44は表示面24と操作体の近接位置との距離が近くなるほど、立体写真の奥行き方向の位置を表示面24に近づける又は一致させるように奥行きを自動制御する。近接検知部42は操作体が表示面24から所定以上遠くなるまで以上の奥行き制御を繰り返す。
4.奥行き制御処理(第1実施形態)
次に、本実施形態に係る立体視表示装置10の動作について説明する。図6は、立体視表示装置10の動作のための奥行き制御処理を示したフローチャートである。奥行き制御処理が開始されると、表示制御部44は、近接検知部42により操作体の近接又は接触が検出されたかを判定する(ステップS605)。検出されなかった場合、表示制御部44は、直ちに処理を終了する。一方、検出された場合には、表示制御部44は、検出された近接位置又は接触位置の奥行き方向に立体写真が表示されているかを判定する(ステップS610)。なお、表示制御部44は、検出された近接位置又は接触位置の奥行き方向から多少外れた位置に立体写真が表示されていても、検出された近接位置又は接触位置の奥行き方向に立体写真が表示されていると判定してもよい。
表示されていない場合、表示制御部44は、制御対象がないと判断して直ちに処理を終了する。一方、表示されている場合、表示制御部44は、上述した演算方法により制御対象の立体写真の奥行き量を算出する(ステップS615)。
次に、表示制御部44は、算出された奥行き量に基づき、立体写真から近接位置又は接触位置までの距離を算出する(ステップS620)。算出結果に基づき、立体写真を操作体に近づける又は一致させるように立体写真の奥行き方向の位置を変更する(ステップS625)。
以上に説明したように、第1実施形態に係る立体視表示装置10によれば、操作体が表示面24に近づいた又はタッチした場合、その近接位置又は接触位置を検出する。そして、近接位置又は接触位置の奥行き方向に表示された立体写真が表示面24より飛び出しているときには、立体写真の位置を奥側にずらすことにより操作体と立体写真とが重ならないように表示する。逆に、立体写真が表示面24よりへこんで表示されているときには、立体写真が操作体に引き寄せられ、くっつくように立体写真の位置を手前側にずらして表示する。これにより、立体空間上で立体写真の凹凸を操作体と重ならないようにしながら、立体写真を操作体に近づけながら又は一致させながら動かして表示できるため、タップやドラッグ、フリック操作といった二次元アプリケーションで行われていた操作を、立体写真を含む三次元アプリケーションにおいても違和感なく実現することができる。
5.XY座標の制御(第1実施形態)
立体写真の表示位置を動かす方向としては、上述したように奥行き方向に動かしてもよいし、表示面24に平行に上下左右のどちらかの方向に動かしてもよい。例えば、図7の上図では、立体写真Ps、Ptが表示面24から飛び出して表示されている。図7では、立体写真が重なって表示されている場合である。ここでは、立体写真Ptには被写体Pt’(表示物)が含まれていて、立体写真Psには被写体Ps’(表示物)が含まれている。立体写真Ptの被写体Pt’は立体写真Ptに対して奥にある一方、立体写真Psの被写体Ps’が立体写真Psに対して手前にあるため、全体として、奥側の立体写真Ptの被写体体Pt’が手前側の立体写真Psの被写体Ps’(突出部分)の一部をさえぎって見える。この立体視表示は、現実空間では起こり得ないためユーザに違和感を与える。
このような表示状態において、図7の上図に示したように、操作体を立体写真Ps、Ptに近づける。そうすると、表示制御部44は、操作体の動作に従い、立体写真Ps及び立体写真Ptを表示面24に方向に押し込める。次に、図7の中図に示したように、操作指が、制御対象の立体写真Psを表示面24と水平な方向(ここでは、左)に動かすと、表示制御部44は、立体写真Psの位置を表示面24に水平な方向に移動させ、操作体の近接位置に近づける又は一致させるように制御する。これにより、立体写真Psは、立体写真Ptより左側に表示される。この結果、図7の下図に示したように、手前側の立体写真Psの被写体Ps’が奥側の立体写真Ptの被写体でさえぎられた状態を解消することができる。なお、図7のように、立体写真Psの奥行き方向を変えてから立体写真PsをXY方向(表示面24と水平方向)にずらしてもよいし、立体写真Psの奥行き方向を変えずに立体写真PsをXY方向にずらしてもよい。
6.立体視表示装置の機能構成(第2実施形態)
次に、第2実施形態に係る立体視表示装置10の機能構成について、図8を参照しながら説明する。第2実施形態に係る立体視表示装置10では、第1実施形態で説明した奥行きの自動制御とともに書き込み等の編集制御が実行される。
第2実施形態に係る立体視表示装置10は、立体視表示部40、近接検知部42、表示制御部44、奥行き調整部46、画像編集部48及び記憶部60を有する。このうち、第1実施形態では機能構成となっていなかった奥行き調整部46及び編集制御部48について主に説明する。奥行き調整部46は、ユーザによる操作に応じて制御対象の表示物の奥行き方向の位置を調整する。画像編集部48は、立体写真又は立体写真上に仮想的に貼り付けられたシート面に画像を描くことにより、画像コンテンツが立体視表示された立体空間上に所望の画像を編集する。このとき描き込まれるシート(テクスチャ)は写真そのもののテクスチャ(表示面24)でもよいが、写真そのもののテクスチャと同じ位置に書き込み用のテクスチャ(シート面)を用意することにより、オリジナルの立体写真と編集内容とを別に管理することができる。ここでは、シート面に画像を描く場合について説明する。
7.立体視表示装置の奥行き/編集制御(第2実施形態)
図9は、本実施形態に係る立体視表示装置10の奥行き/編集制御の一例を示している。表示制御部44は、最初に奥行きの自動制御を行う。具体的には、表示制御部44は、操作体が表示面24に接触又は近接したことを検出した場合、接触位置又は近接位置の奥行き方向に表示された立体写真を制御対象として、その立体写真の奥行き方向の位置(奥行き量)を算出する。図9の左図では、表示制御部44は、奥行き量に基づき立体写真の突出部分WAが表示面24に来るように立体写真を手前にずらしている。このようにして奥行きの自動制御を行った結果、立体写真の突出部分WAの表示位置は、操作体に接触又は近接した位置となる。
次に、図9の中図のように、奥行き調整部46は、立体写真を表示する奥行きを調整する。ここでは、立体写真は、自動制御後の位置からZ’だけ奥に表示されるように調整されている。このように立体空間における奥行き方向の位置を調整することにより、立体空間の任意の位置をポインティングすることができる。図9の右図では、ペンで指示される立体空間内の立体写真のシート面(立体写真と同じ位置)の書き込み位置に書き込みが行われている。これは、立体写真の手前の立体空間内中に任意の図形や文字を書き込み、編集していることを意味する。
ユーザが奥行きの調整量Z’を入力する方法としては、図24の右下図に示したように、表示面24に設けられたスライダー24aを操作して調整量Z’を入力する場合が挙げられる。スライダー24aの代わりに図示しないつまみやボタン操作で調整量Z’を入力してもよい。図24の左下図のように、ユーザによるピンチ(Pinch)24bの操作を行うことによっても調整量Z’を入力することが可能である。タッチパネル20と組み合わせることにより、つまみを空中でつまんでその近接位置を検出させて調整量Z’を入力することも可能である。図24の左上図のように、ユーザによるローテート(Rotate)24cの操作を行うことによっても調整量Z’を入力することができる。図24の右上図のように、タップやダブルタップにより、タップやダブルタップした位置に表示された立体写真24dの表示位置が表示面24に一致するように立体写真24dの奥行きを0に調整してもよい。このようにして、ユーザ操作により調整量Z’を入力することにより、立体空間中の任意の位置に図形を描画することが可能になる。
例えば、立体空間中にある立体写真の中にも任意の図形を書き込むことができる。書き込み位置は、以下のように算出される。上記と同様に、立体写真自体が2視差の場合を例に挙げる。図10の左図に示したように、対象とする目の位置ベクトルをVc、ペン先の位置ベクトルをVp、目と表示面との距離をLc、表示面と立体写真との距離をLiとしたとき、書き込み位置の位置ベクトルVwは、式(2)で示される。
Figure 0005640680
表示面24より奥にある立体写真内に描画しようとするとき、左眼の仮想位置と書き込み位置をつないだ直線と立体写真が交差する点の左眼用シート面(シート面として図示)に点を書き込む。同様に、右眼の仮想位置と書き込み位置をつないだ直線と立体写真が交差する点の右眼用シート面(シート面として図示)に点を書き込む。それらを左右同時に行うことにより、あたかも立体写真内に描画したように見える。
図10の中図のように、立体写真が表示面より奥側に表示されている場合、立体写真に仮想的に貼り付けられたシート面にペンで書き込みすると、画像が立体写真の手前の空間に書き込まれたこととなる。一方、図10の右図のように、立体写真が表示面より手前側に表示されている場合、シート面にペンで書き込みすると、画像が立体写真の奥側の空間に書き込まれたこととなる。
8.立体視表示装置の奥行き/編集制御(第2実施形態)
次に、本実施形態に係る立体視表示装置10の動作について説明する。図11は、立体視表示装置10の動作のための奥行き/編集制御処理を示したフローチャートである。奥行き/編集制御処理が開始されると、表示制御部44は、図6のステップS605〜S625に示した奥行き制御処理を実行する(ステップS1105)。図6の奥行き制御処理については、第1実施形態にて説明したので、ここでは説明を省略する。図12の「a」、「b」には、奥行き制御処理にて実行される近接検出及び奥行き自動制御が示されている。ここでは、立体写真には奥行きの異なる被写体m、n、oが含まれている。
次に、奥行き調整部46は、ユーザから奥行き調整の指示があったかを判定する(ステップS1110)。ユーザから奥行き調整量Z’に関する入力操作がなかった場合、奥行き調整部46は、ステップS1115をスキップする。一方、ユーザから奥行き調整量Z’に関する入力操作があった場合、奥行き調整部46は、制御対象の立体写真の奥行きを調整する(ステップS1115)。図12の「c」では、立体写真がより奥側に表示されるように奥行きが調整されている。
次いで、近接検知部42は、所定時間内に操作体(ここでは指)が表示面に接触したかを検出する(ステップS1120)。検出しなかった場合、本処理を終了する。一方、検出した場合、画像編集部48は、シート面の書き込み位置に所望の書き込み/編集を行う(ステップS1125)。この書き込み/編集処理は、表示面24に接触していた操作体が表示面24から離れるまで実行される(ステップS1130及びS1125の繰り返し)。この結果、図12の「d」では被写体mの手前に画像が書き込まれ、「e」では被写体nの奥に画像が書き込まれる。被写体m、nは、操作体の近接位置の奥行き方向に表示された制御対象となる表示物に相当する。
表示面24に接触していた操作体が表示面24から離れると、ステップS1110に戻り、奥行き調整部46は、再びユーザから奥行き調整の指示があったかを判定する。指示があった場合、奥行き調整部46は、再度、立体写真の奥行きを調整する(ステップS1115:図12の「f」参照)。そして、再度、操作体の接触を検出した場合、画像編集部48は、再び、シート面の書き込み位置に所望の書き込み/編集を行う(ステップS1125)。:図12の「g」では立体写真の被写体nの右側のシート面の書き込み位置に画像が書き込まれている。
操作体が表示面24から離れ(ステップS1130)、奥行き調整の指示がなく(ステップS1110、S1115)、かつ、操作体が表示面24に接触することなく所定時間が経過した場合(ステップS1120)、書き込み/編集処理を終了させる。
以上に説明したように、第2実施形態に係る立体視表示装置10によれば、奥行きの自動制御により操作体が指示する被写体を表示面まで浮き上がらせ、その立体写真上に好きな図形や文字を書き込むことができる。例えば、図13の右下図では、被写体の一例である背景の山に操作体が近接し、その結果、山が表示面に一致した状態に自動制御される。これは、山の図形にずれ(視差)がないことからわかる。その状態で、山に「やま」とペンで書き込むと、山の画像上に手書きの「やま」が編集される。なお、図13の右下図では、表示面に対して手前又は奥にある被写体の画像のずれの大きさを視差として2次元で表現している。右側の建物と中央のこま犬の画像にはずれが生じている。よって、この建物とこま犬は、手前又は奥に飛び出して立体視表示されていることがわかる。
例えば、その立体写真の手前の空間に書き込みたい場合には、ユーザからの奥行き調整の指示に従い、立体写真及びシート面を表示面より奥に表示するように奥行きを調整する。この状態でシート面に書き込みを行えば、立体写真の画像の手前の空間に三次元的に書き込みを行うことができる。
逆に、例えば、その立体写真の奥の空間に書き込みたい場合には、ユーザからの奥行き調整の指示に従い、立体写真を表示面より手前に表示するように奥行きを調整する。この状態でシート面に書き込みを行えば、立体写真の画像の奥の空間に三次元的に書き込みを行うことができる。図13の左下図では、表示面に対して手前又は奥に書き込んだ曲線をずれの大きさを視差として2次元で表現している。女性に一番近い曲線は、図からは分からないが手前への書き込みであってずれが小さい。よって、この曲線は女性より手前に少し飛び出して表示される。一方、女性から離れた2本の曲線は図からは分からないが奥への書き込みであってずれが先ほどの奥行き量が大きい。よって、外側の曲線ほど奥に引き込まれた位置に表示されていることがわかる。このようにして、第2実施形態に係る立体視表示装置10によれば、立体写真上や立体写真の手前や奥に画像を書き込み、編集することができる。
9.奥行き/編集制御処理(第2実施形態/変形例1)
上記のように立体写真内の立体空間に自由に描画できるようにした場合、オリジナルの立体写真の持つ視差と書き込みとの間で表示に違和感を生じさせる場合がある。例えば、手前に来ている立体写真の奥に書き込みができてしまうと、立体視表示に違和感や不快感が生じる場合がある。それを防止するために、変形例1では、オリジナルの立体写真の左右の画像のピクセルとのずれを予め計算しておき、書き込み位置から計算される左右のずれと比較することによって、立体写真の奥行き方向の位置と画像の書き込み位置との位置関係を判定することにより立体写真の奥に画像を書き込めないようにする。以下では、本実施形態の変形例1に係る立体視表示装置10の動作について、図14の奥行き/編集制御処理を示したフローチャートを参照しながら説明する。
奥行き制御処理が開始されると、表示制御部44は、図6に示した奥行き制御処理を実行する(ステップS1105)。奥行き制御処理については第2実施形態と同じ処理であるためここでは説明を省略する。
次に、奥行き調整部46は、ユーザから奥行き調整の指示があった場合には、立体写真の奥行きを調整する(ステップS1110、S1115)。奥行き調整処理についても第2実施形態と同じ処理であるためここでは説明を省略する。
次いで、変形例1の書き込み制御について説明する。処理近接検知部42は、所定時間内に操作体が表示面24に接触したかを検出し(ステップS1120)、検出しなかった場合には本処理を終了する。一方、検出した場合には、画像編集部48は、シート面の書き込み位置が立体写真の奥に位置しているかを判定する(ステップS1405)。シート面の書き込み位置が立体写真の奥に位置しているかどうかは、前述の通り、オリジナルの立体写真の左右の画像のピクセルとのずれを予め計算しておき、書き込み位置から計算される左右のずれと比較することによって判断する。書き込み位置が立体写真の奥に位置していない場合、通常通り、画像編集部48は、書き込み位置に所望の書き込み/編集を行う(ステップS1125)。この書き込み/編集処理は、表示面24に接触していた操作体が表示面24から離れるまで実行される(ステップS1130及びS1125の繰り返し)。
一方、書き込み位置が立体写真の奥に位置している場合には、手前に来ている立体写真の奥に書き込むことになってしまうため、画像編集部48は、その書き込み位置での書き込みを禁止する(ステップS1410)。図15の「h」では、表示面より手前に表示されている被写体nの奥に書き込むことが禁止されている。
表示面24に接触していた操作体が表示面24から離れるか(ステップS1130)、書き込みが禁止されると(ステップS1410)、ステップS1110に戻り、奥行き調整部46は、再びユーザから奥行き調整の指示があったかを判定する。指示があった場合、奥行き調整部46は、立体写真の奥行きを再調整し(図15の「j」参照)、再び、シート面の書き込み位置に所望の書き込み/編集を行う。図15の「k」では、再調整後、表示面24より奥に表示されている被写体nの手前に画像を書き込んでいる状態が示されている。
操作体が表示面24から離れ(ステップS1130)、奥行き調整の指示がなく(ステップS1110、S1115)、かつ、操作体が表示面24に接触することなく所定時間が経過した場合(ステップS1120)、書き込み/編集処理を終了する。
以上に説明したように、第2実施形態の変形例1によれば、立体写真の奥に画像を書き込むことを禁止することにより、オリジナルの立体写真の持つ視差と書き込み画像との間で表示に違和感が生じることを防止することができる。
10.奥行き/編集制御処理(第2実施形態/変形例2)
変形例1では、オリジナルの立体写真の持つ視差と書き込みとの間での表示の違和感を防止するために、立体写真の奥への書き込みを禁止した。一方、変形例2では、立体写真上に画像が書き込まれるように、画像の書き込み編集とともに奥行きの自動制御が行われる。以下では、本実施形態の変形例2に係る立体視表示装置10の動作について、図16の奥行き/編集制御処理を示したフローチャートを参照しながら説明する。
奥行き制御処理が開始されると、表示制御部44は、図6に示した奥行き制御処理を実行する(ステップS1105:図17の「p」参照)。奥行き制御処理(自動)については第2実施形態と同じ処理であるためここでは説明を省略する。
次に、変形例2の書き込み制御について説明する。近接検知部42は、所定時間内に操作体が表示面24に接触したかを検出し(ステップS1120)、検出しなかった場合には本処理を終了する。一方、検出した場合には、画像編集部48は、図6の奥行き自動制御処理を実行しながら、シート面の書き込み位置に所望の書き込み/編集を行う(ステップS1605)。この書き込み/編集処理は、表示面24に接触していた操作体が表示面24から離れるまで実行される(ステップS1130及びS1605の繰り返し)。図17の「q」では、被写体mが表示面に一致するように奥行きを自動制御しながら、被写体m上に書き込みが行われる。図17の「r」では、被写体nが表示面に一致するように奥行きを自動制御しながら、被写体n上に書き込みが行われる。図17の「s」では、被写体oが表示面に一致するように奥行きを自動制御しながら、被写体o上に書き込みが行われる。
表示面24に接触していた操作体が表示面24から離れると(ステップS1130)、ステップS1120に戻り、操作体が表示面24に接触することなく所定時間が経過した場合(ステップS1120)、書き込み/編集処理を終了する。
以上に説明したように、第2実施形態の変形例2によれば、立体写真上に画像が書き込まれるように、画像の書き込み編集とともに奥行きの自動制御が行われる。これにより、オリジナルの立体写真と書き込み画像との間で表示に違和感が生じることを防止することができる。
11.立体視表示装置の縮小/拡大制御(第3実施形態)
次に、本発明の第3実施形態に係る立体視表示装置10の機能、動作について説明する。第3実施形態に係る立体視表示装置10の機能は、図8に示した機能ブロックの各部によって実行される。しかしながら、第3実施形態の表示制御部44は、操作体の近接又は接触が検知された場合、立体写真が含まれる画像コンテンツを所望のサイズに縮小して表示する。以下では、この相違点を中心に、第3実施形態に係る立体視表示装置の奥行き制御処理について説明する。
図18は、第3実施形態に係る立体視表示装置の縮小/拡大制御処理を示したフローチャートである。縮小/拡大制御処理が開始されると、表示制御部44は、近接検知部42により近接又は接触が検出されたかを判定する(ステップS605)。検出されていない場合、本処理を終了する。一方、近接又は接触が検出された場合、表示制御部44は、表示面24に表示された画像コンテンツ(立体写真を含む)を所定のサイズに縮小する(ステップS1805)。図19では、操作体の近接が検出されたとき、自動的に立体写真が縮小される状態を示している。
次に、表示制御部44は、近接検知部42により近接を検出しない位置まで操作体が離れたかを判定する(ステップS1810)。離れていない場合、画像コンテンツを所定のサイズに縮小したまま、本処理を終了する。近接を検出しない位置まで操作体が離れた場合、表示制御部44は、表示面24に表示された画像コンテンツを元のサイズに戻し(ステップS1815)、本処理を終了する。
以上に説明したように、第3実施形態に係る立体視表示装置10によれば、立体写真の表示面から飛び出した部分と操作体とが重なる場合または重なりそうな場合に、立体写真の見かけ上の大きさを変えることにより、操作体が立体写真にめり込んだような不整合による違和感を解消できる。例えば、図20の左図に示した画像全体を図20の右図のように縮小すると、女性の両側に書き込んだ曲線のずれは小さくなる。このようにして、立体写真の見かけ上の大きさを変えることにより、視差に対する相対的な左右画像の差分を変化させることにより、立体写真の奥行き感の圧縮を行うことができる。これにより、操作体と立体写真との重なりを軽減し、見た目の違和感を軽減することができる。
例えば、飛び出し量が1cmの立体写真の画像を1/2倍に縮小したら、写真の飛び出し量は0.5cmになる。このようにして、現実空間の操作体と仮想空間上の物体との重なりによる表示の違和感を軽減することができる。特に、本実施形態では、画像全体を縮小/拡大するため、第1実施形態のように奥行き量を計算して立体写真の奥行きを制御する必要がない。よって、本実施形態では、上記奥行きの制御のための計算が不要になり処理をシンプルにすることができる。
また、表示制御部44は、画像コンテンツに含まれる1又は2以上の立体写真のうち最大奥行きをもつ立体写真の奥行き量に応じて、画像コンテンツの縮小の割合を決定してもよい。最大突出量が大きければ操作体と立体写真が重なるときに生じる違和感が大きくなる。よって、この場合には縮小の割合を大きくすることにより、ユーザに与える違和感を軽減することができる。
なお、本実施形態の画像の縮小/拡大処理と、第1及び第2実施形態の奥行き制御とを組み合わせることも可能である。図18の縮小/拡大制御処理に加え、奥行き調整部46がユーザによる操作に応じて制御対象の立体写真の奥行き方向の位置を調整するようにしてもよい。
12.組み合わせ
上記各実施形態及び変形例の立体視表示方法を適宜組み合わせて適用することが可能である。例えば、表示制御部44は、画像編集部48により画像の編集が実行される前に、制御対象の表示物の奥行き方向の位置を表示面(タッチ面)に一致させる又はタッチ面より奥側にさせるように制御した後、画像コンテンツを拡大して表示するように制御してもよい。
また、例えば、表示制御部44は、操作体の近接が検知された場合、画像コンテンツの縮小表示とともに、操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を操作体の近接位置に近づける又は一致させるように制御してもよい。
実施形態及び変形例の組み合わせの一例を、図21及び図22を参照しながら具体的に説明する。図21の左上図のように、立体視表示装置10の表示面24より奥側に複数の立体写真のサムネイルPsが並んでいる場合、操作体を表示面24の任意の位置にタッチさせることにより、所望の立体写真が選択される。図21の右上図では、2つの立体写真Ps1、Ps2がタッチにより選択されて、第1実施形態の奥行き制御により、立体写真の奥行き量を0にすることによって立体写真Ps1、Ps2の表示位置が表示面24と一致するように表示される。図22では、手を表示面24に近付けると、手の位置に近付けるように立体写真の奥行きが制御され、立体写真Ps1が浮かび上がってきて(図22の右上図)、手を表示面24にタッチすることにより、立体写真Ps1が表示面24と位置する位置に表示される(図22の左下図)。手を離すと立体写真Ps1の全画面表示に切り替わる(図22の右下図)。その他のジェスチャで所望の立体写真Ps1を全画面に拡大して表示にしてもよい(図21の左下図)。この状態で第2実施形態にて示したように、手を立体写真Ps1に接触させた状態で、書き込みを開始する(図21の右下図)。
立体写真Ps1が拡大表示されているときに表示面24を手で触ろうとすると、手と立体写真Ps1との間の干渉が起こりやすくなるが、立体写真Ps1の画像を奥行き方向に引っ込めるように前記奥行き調整することにより、干渉を軽減することができる。さらに、奥行き調整とともに立体写真Ps1の画像を縮小することにより(図21の右下図)、干渉をより軽減することができる。
なお、画面表示を変更させるジェスチャとしては、例えば、図23の左上図に示したように近接手振りで前後の写真に遷移させたり、図23の右上図に示したようにドラッグで前後の写真に遷移させたりすること考えられるが、前後の写真に遷移中は、写真の大きさを縮小することで、奥行き感を減少させることにより、立体視表示された表示物の距離感と操作体の距離感との間に生じる不整合による違和感を軽減させることができる。
図23の左下図に示したように一つの立体写真が拡大表示されている状態から、ダブルタップによりサムネイルの一覧表示に遷移させることも可能である。図23の右下図に示したように、ピンチでズームし、十分に小さくなったらサムネイルの一覧表示に遷移するようにしてもよい。これらの場合にも、立体写真が拡大表示されている間は、その写真を奥側に引っ込めるように奥行き調整し、立体視表示された表示物の距離感と操作体の距離感との間に生じる不整合による違和感を軽減する。その後、サムネイルの一覧表示に遷移したら、その写真を表示面24に近付けるように奥行き調整することにより、ユーザの操作性を高める。
このように、表示制御部44は、操作体の近接が検知された場合、画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置をより奥側に表示してもよい。また、表示制御部44は、表示面24と操作体の近接位置との距離が近くなるほど、画像コンテンツを縮小表示し、表示面24と前記操作体との距離が遠くなるほど、画像コンテンツを拡大表示してもよい。
以上、本発明の各実施形態及び変形例によれば、操作体の近接又は接触に応じて表示物の表示方法を適切に制御することにより、立体視表示された表示物と操作体との距離感の不整合による違和感を低減することができる。
例えば、第1実施形態では、近接検出が可能なタッチパネル20を用いて、操作体が近接した点の左右の画像のずれ(視差)から、立体写真の表示面24からの奥行き量を推定し、操作体の近接位置と奥行き量が一致するように立体写真の位置を制御する。これにより、表示物と操作体との距離感の不整合による違和感をなくすことができるとともに、ユーザの操作性を高めることができる。
また、例えば、第2実施形態では、近接検出が可能なタッチパネル20を用いて、書き込みたいXY座標を操作するとともに、書き込みたいZ座標を表示面(タッチ面)に合わせることにより、二次元の位置を指定するのと同様に三次元の位置を指定して、立体写真の表示された立体空間の任意の位置に文字や図を書き込むことができる。
さらに、例えば、第3実施形態では、立体写真がタッチパネル20の表示面24よりも飛び出した位置に結像する際に、操作体の近接を検出すると立体写真を縮小する。これにより、ユーザの操作性を良好に維持しながら、奥行き方向の表示の違和感を容易に軽減させることができる。
さらに、上記各実施形態の立体視表示方法を適宜組み合わせて適用することによって、表示物と操作体との距離感の不整合による違和感を効果的に低減することができる。
上記第1〜第3の実施形態及び変形例において、各部の動作は互いに関連しており、互いの関連を考慮しながら、一連の動作及び一連の処理として置き換えることができる。これにより、情報処理装置の実施形態を、立体視表示方法の実施形態及び情報処理装置が有する機能をコンピュータに実現させるためのプログラムの実施形態とすることができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記各実施形態では、タッチパネルが非近接、近接、接触という3状態を検知し、その検知結果に応じて表示物の表示方法を制御する方法について述べたが、本発明に係る立体視表示方法はこれに限定されない。例えば、タッチパネルにより表示面と表示物との間の距離が多段階又は連続的に検知できる場合には、その距離に応じて多段階又は連続的に表示物を奥行き方向に押し込むようにしてもよい。このような変形についても本発明の技術的範囲に含まれる。
10 立体視表示装置
20 タッチパネル
22 検出面
24 表示面
40 立体視表示部
42 近接検知部
44 表示制御部
46 奥行き調整部
48 画像編集部

Claims (19)

  1. 画像コンテンツを立体的に表示する立体視表示部と、
    前記立体視表示部のタッチ面に対する操作体の近接及び接触を検知する近接検知部と、
    前記操作体の近接が検知された場合、前記画像コンテンツを縮小して表示するように制御する表示制御部と、
    を備え
    前記操作体の接触が検知された場合、前記画像コンテンツに対して所定の処理を行うことを特徴とする、情報処理装置。
  2. 前記表示制御部は、前記タッチ面と前記操作体の近接位置との距離が近くなるほど、前記画像コンテンツを縮小表示し、前記タッチ面と前記操作体との距離が遠くなるほど、前記画像コンテンツを拡大表示するように制御する請求項1に記載の情報処理装置。
  3. 前記表示制御部は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を表示位置より奥側に表示するように制御する請求項1に記載の情報処理装置。
  4. 前記表示制御部は、前記操作体の近接が検知されなくなった場合、前記画像コンテンツを元のサイズに戻して表示するように制御する請求項1に記載の情報処理装置。
  5. 前記表示制御部は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を前記操作体の近接位置に近づける又は一致させるように制御する請求項1に記載の情報処理装置。
  6. 前記表示制御部は、前記画像コンテンツに含まれる1又は2以上の表示物のうち最大奥行きをもつ表示物の奥行き量に応じて、前記画像コンテンツの縮小の割合を定める請求項1に記載の情報処理装置。
  7. ユーザによる操作に応じて前記制御対象の表示物の奥行き方向の位置を調整する奥行き調整部を更に備える請求項1に記載の情報処理装置。
  8. 前記画像コンテンツ又は前記画像コンテンツ上に仮想的に貼り付けられたシート面に画像を描くことにより、前記画像コンテンツが立体視表示された立体空間上に所望の画像を編集する画像編集部を更に備える請求項1に記載の情報処理装置。
  9. 前記表示制御部は、前記画像編集部により画像の編集が実行される前に、前記制御対象の表示物の奥行き方向の位置を前記タッチ面に一致させる又はタッチ面より奥側にさせるように制御した後、前記画像コンテンツを拡大して表示するように制御する請求項8に記載の情報処理装置。
  10. 画像コンテンツを立体的に表示する立体視表示機能と、
    前記立体視表示のタッチ面に対する操作体の近接及び接触を検知する近接検知機能と、
    前記操作体の近接が検知された場合、前記画像コンテンツを縮小して表示するように制御する表示制御機能と、
    前記操作体の接触が検知された場合、前記画像コンテンツに対して所定の処理を行う機能と、
    を含む機能をコンピュータに実現させるためのプログラム。
  11. 前記表示制御機能は、前記タッチ面と前記操作体の近接位置との距離が近くなるほど、前記画像コンテンツを縮小表示し、前記タッチ面と前記操作体との距離が遠くなるほど、前記画像コンテンツを拡大表示するように制御する機能を有する請求項10に記載のプログラム。
  12. 前記表示制御機能は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を表示位置より奥側に表示するように制御する機能を有する請求項10に記載のプログラム。
  13. 前記表示制御機能は、前記操作体の近接が検知されなくなった場合、前記画像コンテンツを元のサイズに戻して表示するように制御する機能を有する請求項10に記載のプログラム。
  14. 前記表示制御機能は、前記操作体の近接が検知された場合、前記画像コンテンツの縮小表示とともに、前記操作体の近接位置の奥行き方向に表示された表示物を制御対象として、該表示物の奥行き方向の位置を前記操作体の近接位置に近づける又は一致させるように制御する機能を有する請求項10に記載のプログラム。
  15. 前記表示制御機能は、前記画像コンテンツに含まれる1又は2以上の表示物のうち最大奥行きをもつ表示物の奥行き量に応じて、前記画像コンテンツの縮小の割合を定める機能を有する請求項10に記載のプログラム。
  16. ユーザによる操作に応じて前記制御対象の表示物の奥行き方向の位置を調整する調整機能を更に含む請求項10に記載のプログラム。
  17. 前記画像コンテンツ又は前記画像コンテンツ上に仮想的に貼り付けられたシート面に画像を描くことにより、前記画像コンテンツが立体視表示された立体空間上に所望の画像を編集する画像編集機能を更に含む請求項10に記載のプログラム。
  18. 前記表示制御機能は、前記画像編集機能により画像の編集が実行される前に、前記制御対象の表示物の奥行き方向の位置を前記タッチ面に一致させる又はタッチ面より奥側にさせるように制御した後、前記画像コンテンツを拡大して表示するように制御する機能を有する請求項17に記載のプログラム。
  19. 画像コンテンツを立体的に表示する立体視表示ステップと、
    前記立体視表示のタッチ面に対する操作体の近接及び接触を検知する近接検知ステップと、
    前記操作体の近接が検知された場合、前記画像コンテンツを縮小して表示するように制御する表示制御ステップと、
    前記操作体の接触が検知された場合、前記画像コンテンツに対して所定の処理を行うステップと、
    を含む、立体視表示方法。
JP2010253151A 2010-11-11 2010-11-11 情報処理装置、立体視表示方法及びプログラム Expired - Fee Related JP5640680B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2010253151A JP5640680B2 (ja) 2010-11-11 2010-11-11 情報処理装置、立体視表示方法及びプログラム
CA2755689A CA2755689A1 (en) 2010-11-11 2011-10-20 Information processing apparatus, stereoscopic display method, and program
AU2011244907A AU2011244907A1 (en) 2010-11-11 2011-11-01 Information processing apparatus, stereoscopic display method, and program
EP11187686.8A EP2453660B1 (en) 2010-11-11 2011-11-03 Information processing apparatus, stereoscopic display method, and program
US13/288,439 US8988500B2 (en) 2010-11-11 2011-11-03 Information processing apparatus, stereoscopic display method, and program
CN201110350964.5A CN102469333B (zh) 2010-11-11 2011-11-04 信息处理设备、立体显示方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010253151A JP5640680B2 (ja) 2010-11-11 2010-11-11 情報処理装置、立体視表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012103982A JP2012103982A (ja) 2012-05-31
JP5640680B2 true JP5640680B2 (ja) 2014-12-17

Family

ID=44992620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010253151A Expired - Fee Related JP5640680B2 (ja) 2010-11-11 2010-11-11 情報処理装置、立体視表示方法及びプログラム

Country Status (6)

Country Link
US (1) US8988500B2 (ja)
EP (1) EP2453660B1 (ja)
JP (1) JP5640680B2 (ja)
CN (1) CN102469333B (ja)
AU (1) AU2011244907A1 (ja)
CA (1) CA2755689A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752621A (zh) * 2012-06-26 2012-10-24 京东方科技集团股份有限公司 景深保持装置、3d显示装置及显示方法
CN103399629B (zh) * 2013-06-29 2017-09-19 华为技术有限公司 获取手势屏幕显示坐标的方法和装置
KR102201733B1 (ko) * 2013-09-30 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102120864B1 (ko) * 2013-11-06 2020-06-10 삼성전자주식회사 영상 처리 방법 및 장치
KR20150092962A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 입력 처리 방법 및 그 전자 장치
CN104765156B (zh) * 2015-04-22 2017-11-21 京东方科技集团股份有限公司 一种三维显示装置和三维显示方法
CN106572389A (zh) * 2015-10-08 2017-04-19 小米科技有限责任公司 调节显示图像方法及装置
TWI796022B (zh) * 2021-11-30 2023-03-11 幻景啟動股份有限公司 在立體影像上執行互動的方法與立體影像顯示系統

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0816137A (ja) * 1994-06-29 1996-01-19 Nec Corp 3次元座標入力装置及びカーソル表示制御方式
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
JP3741764B2 (ja) * 1996-02-09 2006-02-01 シャープ株式会社 三次元画像作成装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP4398141B2 (ja) * 2002-10-31 2010-01-13 パイオニア株式会社 表示装置及び方法
JP3971694B2 (ja) * 2002-12-11 2007-09-05 日本電信電話株式会社 オブジェクト表示方法及びその実施装置
JP4251907B2 (ja) * 2003-04-17 2009-04-08 シャープ株式会社 画像データ作成装置
JP4259913B2 (ja) * 2003-05-08 2009-04-30 シャープ株式会社 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
JP4076090B2 (ja) * 2005-04-14 2008-04-16 日本電信電話株式会社 画像表示システム
JP2007219225A (ja) 2006-02-17 2007-08-30 Seiko Epson Corp プロジェクタ
JP4700539B2 (ja) * 2006-03-22 2011-06-15 パナソニック株式会社 表示装置
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP5219929B2 (ja) * 2008-07-31 2013-06-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2010045584A (ja) 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
FR2936326B1 (fr) * 2008-09-22 2011-04-29 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
JP5539666B2 (ja) 2009-04-28 2014-07-02 株式会社ルミカ アンプルの製造方法及びアンプル製造用のアンプル容器
US8601402B1 (en) * 2009-09-29 2013-12-03 Rockwell Collins, Inc. System for and method of interfacing with a three dimensional display
US10146426B2 (en) * 2010-11-09 2018-12-04 Nokia Technologies Oy Apparatus and method for user input for controlling displayed information

Also Published As

Publication number Publication date
AU2011244907A1 (en) 2012-05-31
CA2755689A1 (en) 2012-05-11
JP2012103982A (ja) 2012-05-31
EP2453660A1 (en) 2012-05-16
US8988500B2 (en) 2015-03-24
US20120120064A1 (en) 2012-05-17
EP2453660B1 (en) 2016-01-27
CN102469333A (zh) 2012-05-23
CN102469333B (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5703703B2 (ja) 情報処理装置、立体視表示方法及びプログラム
JP5640680B2 (ja) 情報処理装置、立体視表示方法及びプログラム
US9432652B2 (en) Information processing apparatus, stereoscopic display method, and program
US8643569B2 (en) Tools for use within a three dimensional scene
EP2638461B1 (en) Apparatus and method for user input for controlling displayed information
KR101815020B1 (ko) 인터페이스 제어 장치 및 방법
JP6508280B2 (ja) 制御装置、検出装置、表示システム、電子機器、及びプログラム
JP5868044B2 (ja) 情報処理装置及びその制御方法、プログラム、コンピュータが読み取り可能なプログラム記憶媒体
US20150033157A1 (en) 3d displaying apparatus and the method thereof
JP6065908B2 (ja) 立体画像表示装置、そのカーソル表示方法及びコンピュータプログラム
Valkov et al. Imperceptible depth shifts for touch interaction with stereoscopic objects
Zhao et al. Evaluation of visuo-haptic feedback in a 3D touch panel interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140930

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141013

R151 Written notification of patent or utility model registration

Ref document number: 5640680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees