JP2011257820A - 情報表示装置および表示画像制御方法 - Google Patents

情報表示装置および表示画像制御方法 Download PDF

Info

Publication number
JP2011257820A
JP2011257820A JP2010129577A JP2010129577A JP2011257820A JP 2011257820 A JP2011257820 A JP 2011257820A JP 2010129577 A JP2010129577 A JP 2010129577A JP 2010129577 A JP2010129577 A JP 2010129577A JP 2011257820 A JP2011257820 A JP 2011257820A
Authority
JP
Japan
Prior art keywords
image
user
unit
display
binocular parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010129577A
Other languages
English (en)
Other versions
JP5573379B2 (ja
Inventor
Hiroaki Adachi
浩明 安達
Katsutoshi Sakao
勝利 坂尾
Atsushi Koshiyama
篤 越山
Haruo Oba
晴夫 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010129577A priority Critical patent/JP5573379B2/ja
Priority to EP11167825.6A priority patent/EP2393299A3/en
Priority to US13/149,034 priority patent/US8872821B2/en
Priority to CN2011101441351A priority patent/CN102270090A/zh
Publication of JP2011257820A publication Critical patent/JP2011257820A/ja
Application granted granted Critical
Publication of JP5573379B2 publication Critical patent/JP5573379B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0443Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a single layer of sensing electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/373Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】ユーザの操作精度を高める、ユーザへの効果的な情報提供を行う等、使い勝手の向上を図る。
【解決手段】自動販売機100の前面側に両眼視差画像を表示するLCD102が配設され、このLCD102の表示面に位置情報取得部を構成する静電容量センサ104が載置されている。位置情報取得部は、LCD102の表示面上の三次元空間に存在する対象物(ユーザ105の手)の三次元位置(x,y,z2)の情報を取得する。ユーザ105がLCD102に一定以上近づいた場合に、LCD102は、ユーザ105に商品選択ボタンを視認させる両眼視差画像を表示する。そして、ユーザ105の手の位置がある商品選択ボタンの選択設定範囲に入るとき、その商品選択ボタンの表示態様(色、大きさ、視認位置など)が変更され、その商品の選択状態にあることが示される。その状態で手の位置がさらにLCD102に近づく場合、商品の選択購入が決定される。
【選択図】図1

Description

この発明は、情報表示装置および表示画像制御方法に関し、特に、両眼視差画像を表示する画像表示部を備える情報表示装置等に関する。
従来、例えば、特許文献1等には、表示面に透明なタッチパネルを配設した液晶表示素子などを使用した平面型の情報表示装置が記載されている。このような情報表示装置の場合、ユーザは、タッチパネルに指などを触れることで、例えば、表示面に表示されたメニューから所定の項目を選択し、この選択項目に対応した動作を行わせることができる。
このようにタッチパネルで操作する情報表示装置の場合、ユーザは、表示面に指などを直接触れて操作を行う必要があった。そのため、例えば手が汚れている場合、操作を行うことができないか、少なくとも、操作を行うことが躊躇されるものであった。
例えば、特許文献2には、ユーザの指の三次元位置を検出し、ユーザは、表示面に指などを直接触れずに操作を行い得る操作指示装置が記載されている。この場合、ユーザの視点位置とディスプレイ装置との間で、ユーザの手の長さを想定した距離だけ隔てた範囲に操作対象空間が設定され、ユーザが操作対象空間に指を進入させることによりディスプレイ装置に表示されたアイコンが選択される。
特開2005−275644号公報 特開2005−280396号公報
特許文献2に記載された情報表示装置の場合、アイコンは二次元表示されている。つまり、このアイコンは、ディスプレイ装置の表示面に表示されている。ユーザは、表示アイコンと、それに対応する操作対象空間とが離れているため、目的のアイコンを指し示していることの確認が困難であるという不都合がある。
この発明の目的は、ユーザの操作精度を高める、ユーザへの効果的な情報提供を行う等、ユーザの使い勝手の向上を図ることにある。
この発明の概念は、
両眼視差画像を表示する画像表示部と、
上記画像表示部に表示される上記両眼視差画像を制御する表示画像制御部と、
上記画像表示部の表示面上の三次元空間に存在する対象物の三次元位置を示す位置情報を取得する位置情報取得部と、
上記表示画像制御部は、上記位置情報取得部で取得された上記位置情報が示す上記対象物の三次元位置に応じて、上記画像表示部に表示される上記両眼視差画像を制御する
情報表示装置にある。
この発明において、画像表示部には、両眼視差画像(左眼画像、右眼画像)が表示される。そして、表示画像制御部により、画像表示部に表示される両眼視差画像が制御される。この両眼視差画像の制御には、画像内容の制御、左眼画像と右眼画像の視差の制御などが含まれる。画像表示部に両眼視差画像が表示されることで、ユーザに、立体画像を視認させることができる。なお、立体画像の表示方式は、メガネ方式(シャッタメガネ方式、偏光メガネ方式など)、または裸眼方式(レンチキュラ方式、パララックスバリア方式など)のいずれであってもよい。
位置情報取得部により、画像表示部の表示面上の三次元空間に存在する対象物の三次元位置を示す位置情報が取得される。この位置情報取得部は、例えば、画像表示部の表示面に載置され、対象物の三次元位置を検出するために用いられる検出用電極として機能することが可能な複数の電極を有する静電容量センサと、複数の電極により得られる取得値に基づいて、対象物の三次元位置を検出する位置検出処理部とを有する構成であってもよい。
位置情報を取得する対象物は、例えば、画像表示部の表示面上の三次元空間に位置するユーザの所定動作を行うため部位とされる。ここで、所定動作は、ユーザにより視認される立体画像に関係する動作を意味する。例えば、ユーザに立体画像として自動販売機の商品選択のための所定内容(商品選択ボタンなど)を視認させる場合、所定動作は商品選択の動作となる。また、例えば、ユーザに立体画像としてテレビ受信機の操作を行うための所定内容(チャネル選択ボタンなど)を視認させる場合、所定動作はテレビ受信機のチャネル選択などの動作となる。また、例えば、ユーザに立体画像として広告宣伝用の所定内容、例えば商品、キャラクタなど視認させる場合、所定動作は、商品、キャラクタなどを載せる手を差し出すなどの動作である。
表示画像制御部では、位置情報取得部で取得された位置情報が示す対象物の三次元位置に応じて、画像表示部に表示される両眼視差画像が制御される。この場合、対象物の三次元位置に応じて、ユーザに視認される立体画像の画像内容、視認位置などが変更される。例えば、ユーザに立体画像として自動販売機の商品選択のための所定内容(商品選択ボタンなど)を視認させる場合、ユーザの手の位置がある商品選択ボタンの選択設定範囲に入るとき、その商品選択ボタンの表示態様(色、大きさ、視認位置など)が変更され、その商品の選択状態にあることが示される。
また、例えば、ユーザに立体画像としてテレビ受信機の操作を行うための所定内容(チャネル選択ボタンなど)を視認させる場合、ユーザの手の位置があるチャネル選択ボタンの視認位置に近づいたとき、そのチャネル選択ボタンの表示態様(色、大きさ、視認位置など)が変更され、そのチャネルの選択状態にあることを示される。また、例えば、ユーザに立体画像として広告宣伝用の所定内容、例えば商品、キャラクタなどを視認させる場合、ユーザの手の位置が表示面に近づいたとき、商品、キャラクタなどが手の上に視認される表示態様に変更される。
このように、この発明においては、対象物の三次元位置に応じて、画像表示部に表示される両眼視差画像が制御される。そのため、ユーザの操作精度を高めることができ、あるいはユーザへの効果的な情報提供を行うことができ、ユーザの使い勝手の向上を図ることができる。
この発明において、例えば、位置情報取得部は、さらに、画像表示部の表示面とユーザとの距離の情報を取得し、表示画像制御部は、さらに、位置情報取得部で取得された距離に応じて、画像表示部に表示される両眼視差画像を制御する、ようにしてもよい。
画像表示部に表示される両眼視差画像が同じであっても、画像表示部の表示面とユーザとの距離により、ユーザが視認する立体画像の位置が異なってくる。距離に応じて画像表示部に表示される両眼視差画像を制御することで、例えば、距離によらず、ユーザが視認する立体画像の位置を同じ位置にできる。また、距離に応じて画像表示部に表示される両眼視差画像を制御することで、ユーザが表示面に一定以上近づいた場合に、画像表示部に両眼視差画像を表示させることも可能となる。
また、この発明において、例えば、画像表示部は、自動販売機の外筐に配設され、画像表示部には、少なくとも、商品選択のための所定内容を立体画像として視認させるための両眼視差画像が表示され、位置情報取得部で取得された位置情報が示す対象物の三次元位置に応じて、自動販売機の動作を制御するシステム制御部をさらに備える、ようにしてもよい。
また、この発明において、画像表示部は、デジタルサイネージ装置を構成し、画像表示部には、少なくとも、商品宣伝用の所定内容を立体画像として視認させるための両眼視差画像が表示される、ようにしてもよい。
また、画像表示部は、テレビ受信機を構成し、画像表示部には、テレビ受信機の操作を行うための所定内容を立体画像として視認させるための両眼視差画像が表示され、位置情報取得部で取得された位置情報が示す対象物の三次元位置に応じて、テレビ受信機の動作を制御するシステム制御部をさらに備える、ようにしてもよい。
この発明によれば、画像表示部の表示面上の三次元空間に存在する対象物の三次元位置に応じて、画像表示部に表示される両眼視差画像が制御される。そのため、ユーザの操作精度を高めることができ、あるいはユーザへの効果的な情報提供を行うことができ、ユーザの使い勝手の向上を図ることができる。
この発明の第1の実施の形態としての自動販売機の外観を概略的に示す図である。 自動販売機の回路構成の一例を示すブロック図である。 位置情報取得部を構成する静電容量センサの構成例を説明するための図である。 位置情報取得部を構成する静電容量センサの構成例を説明するための図である。 対象物、例えば指先のセンサ面からの距離(センサ間距離)と各電極の検出レベルの関係の一例を示す図である。 位置情報取得部を構成する位置検出処理部の構成例を概略的に示す図である。 静電容量センサとユーザとの位置関係、および、静電容量センサの各横電極に対応した検出電圧Vhの一例を示す図である。 自動販売機の制御部の制御動作をユーザの動作に関連付けて説明するためのフローチャートである。 表示画像例を示す図である。 表示画像例と、そのときのセンサ面からユーザの手の位置までの距離の一例を示す図である。 表示画像例と、そのときのユーザの手の三次元位置の一例を示す図である。 表示画像例と、そのときのユーザの手の三次元位置の一例を示す図である。 選択されたと判断するための各商品選択ボタンの座標設定例を示す図である。 自動販売機において各動作場面で表示される画像の一覧を示す図である。 位置検出処理部で取得される指先の三次元位置(x,y,z2)の条件毎のアクション設定の一例を示す図である。 自動販売機の制御部における表示画像制御の一例を示すフローチャートである。 この発明の第2の実施の形態としてのデジタルサイネージ装置の外観を概略的に示す図である。 デジタルサイネージ装置の回路構成の一例を示すブロック図である。 デジタルサイネージ装置の制御部の制御動作をユーザの動作に関連付けて説明するためのフローチャートである。 表示画像例を示す図である。 表示画像例と、そのときのユーザの手の三次元位置の一例を示す図である。 表示画像例と、そのときのユーザの手の三次元位置の一例を示す図である。 デジタルサイネージ装置の制御部における表示画像制御の一例を示すフローチャートである。 この発明の第3の実施の形態としてのテレビ受信機の外観を概略的に示す図である。 テレビ受信機の回路構成の一例を示すブロック図である。 テレビ受信機の制御部の制御動作をユーザの動作に関連付けて説明するためのフローチャートである。 表示画像例を示す図である。 表示画像例と、そのときのユーザの手の三次元位置の一例を示す図である。 表示画像例と、そのときのユーザの手の三次元位置の一例を示す図である。 テレビ受信機の制御部における表示画像制御の一例を示すフローチャートである。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.変形例
<1.第1の実施の形態>
[自動販売機の構成例]
図1は、第1の実施の形態としての自動販売機100の外観を示している。この自動販売機100は、全体として直方体状に形成されている。この自動販売機100の外筐101の前面側には平板状の表示パネル、例えばLCD(Liquid Crystal Display)102が配設されている。このLCD102は、両眼視差画像を表示する画像表示部を構成している。また、この自動販売機100の外筐101の前面下部には商品の取り出し口103が設けられている。
LCD102の表示面に、静電容量センサ104が載置されている。この静電容量センサ104は、位置情報取得部を構成している。位置情報取得部は、LCD102の表示面上の三次元空間に存在する対象物の三次元位置(x,y,z2)を示す情報を取得する。この実施の形態において、対象物は、ユーザ105の手とされる。また、位置情報取得部は、LCD102の表示面とユーザ105との距離z1の情報を取得する。
ユーザ105がLCD102に一定以上近づいた場合に、LCD102には、ユーザ105に商品選択のための所定内容、例えば商品選択ボタンなどを視認させるための両眼視差画像が表示される。そして、ユーザ105の手の位置がある商品選択ボタンの選択設定範囲に入るとき、その商品選択ボタンの表示態様(色、大きさ、視認位置など)が変更され、その商品の選択状態にあることが示される。そして、この商品の選択状態にあって、ユーザ105の手の位置がさらにLCD102に近づく場合、商品の選択購入が決定され、該当商品が取り出し口103に排出される。
図2は、自動販売機100の回路構成の一例を示している。自動販売機100は、LCD102と、静電容量センサ104の他に、制御部111と、記憶部112と、バス113と、自動販売機(自販機)システム各部114と、3D画像生成部115と、パネル駆動部116と、位置検出処理部117を有している。
制御部111は、自動販売機100の各部の動作を制御する。記憶部112には、制御部111の動作プログラム、両眼視差画像(左眼画像、右眼画像)を生成するための画像データ等が予め記憶されている。3D画像生成部115は、制御部111の制御のもと、両眼視差画像(左眼画像、右眼画像)を表示するための表示画像データを生成する。制御部111は、バス113を通じて記憶部112に接続されている。また、制御部111は、バス113を通じて、自販機システム各部114および3D画像生成部115の動作を制御する。
パネル駆動部116は、3D画像生成部115で生成された表示画像データに基づいてLCD102を駆動し、ユーザ105に立体画像を視認させるための両眼視差画像を表示させる。位置検出処理部117は、上述の静電容量センサ104と共に位置情報取得部を構成している。位置検出処理部117は、LCD102の表示面上の三次元空間に存在するユーザ105の手(対象物)の三次元位置(x,y,z2)の情報を出力する。また、位置検出処理部117は、LCD102の表示面とユーザ105との距離z1の情報を出力する。
ここで、LCD102の表示面上の三次元空間に存在する対象物の3次元位置情報を取得する位置情報取得部(静電容量センサ104、位置検出処理部117)の詳細を説明する。なお、この位置情報取得部は、本出願人が先に提案したものであって、以下の記載は、特開2008−11737号公報を参照している。
図3、図4は、静電容量センサ104の構成例を示している。センサ104は、2枚の薄い透明なガラス板(誘電体)26,24によって二次元電極(検知電極)22がサンドイッチされて構成される。
二次元電極22は、透明なワイヤ電極、あるいは透明な導電層によって形成することができ、この例ではワイヤ電極で形成されている。この二次元電極22は、図4に示すように、横方向に所定の間隔を保持して多数配列された複数の横電極(横軸用検知電極)22Hを有している。また、この二次元電極22は、図4に示すように、縦方向に所定の間隔を保持して多数配列された複数の縦電極(縦軸用検知電極)22Vを有している。
複数の横電極22Hの共通端子23Hおよび複数の縦電極22Vの共通端子23Vがそれぞれガラス板26より導出されている。これらの共通端子23H,23Vには、後述するように、位置検出処理部117から、位置検知用の所定の高周波信号が交互に印加される。
この静電容量センサ104は、タッチセンサとして機能すると共に、近接検知型のセンサとして機能する。この静電容量センサ104は、センサ面に指先などを接触させることで、接触点における横電極22H、縦電極22Vの静電容量値が変化することから、当該接触点の座標を特定できる。また、この静電容量センサ104は、センサ面(二次元平面)上に、対象物、例えば指先が対峙したとき、対峙位置の横電極22H、縦電極22Vの静電容量値が変化することから対峙位置の座標(x,y)を特定できる。また、対象物、例えば指先のセンサ面からの距離(センサ間距離)に応じて静電容量値の変化量が異なることから、当該距離を特定できる。
図5は、センサ間距離と各電極の検出レベルの関係の一例を示している。この例では、例えば、図4に示すように、対峙位置(接触点および投影点)がs点である場合において、a〜fの縦電極の検出レベルを示している。図5(a)は、センサ間距離が大の場合を示しており、各電極の検出レベルは小さい。図5(b)は、センサ間距離が中間の場合を示しており、各電極の検出レベルは、センサ間距離が大の場合に比べて、大きくなる。図5(c)は、センサ間距離が0、つまり接触している場合を示しており、各電極の検出レベルは、最も大きくなる。
図6は、位置検出処理部117の構成例を概略的に示している。この例では、対峙位置(接触点および投影点)の検知は、横電極22Hと縦電極22Vとに分けて行なわれ、それぞれから得られた検出値に基づいて、対峙位置の座標(x,y)が特定される。
複数の電極で構成された横電極22Hに関する等価回路220Hは、図示のように、インダクタンスLH、抵抗RH、容量CHで構成された発振回路(分布常数回路)と解される。対象物、例えば指先の対峙位置(接触点および投影点)によって、各電極の容量CHの値が変化する。この変化を周波数fhの変化として検出する。周波数fhは、以下の(1)式で求められる。
fh=1/(2π√(LH・CH)) ・・・・(1)
また、複数の電極で構成された横電極22Vに関する等価回路220Vは、図示のように、インダクタンスLV、抵抗RV、容量CVで構成された発振回路(分布常数回路)と解される。対象物、例えば指先の対峙位置(接触点および投影点)によって、各電極の容量CVの値が変化する。この変化を周波数fvの変化として検出する。周波数fvは、以下の(2)式で求められる。
fv=1/(2π√(LV・CV)) ・・・・(2)
バイアス源32Hと直列接続された交流信号源34Hが、駆動源として、スイッチ36Hを介して、横電極用等価回路220H(実際には横電極22H)の共通端子23Hに接続される。横電極用等価回路220Hの各電極における周波数fhは、上述したように指先の対峙位置(接触点および投影点)によって変化する。各電極における周波数fhは、F−V変換回路(周波数−電圧変換回路)40Hに供給され、周波数fhの値に応じた検出電圧Vhに変換されて、CPU50に供給される。
また、バイアス源32Vと直列接続された交流信号源34Vが、駆動源として、スイッチ36Vを介して、縦電極用等価回路220V(実際には縦電極22V)の共通端子23Vに接続される。縦電極用等価回路220Vの各電極における周波数fvは、上述したように指先の対峙位置(接触点および投影点)によって変化する。各電極における周波数fvは、F−V変換回路(周波数−電圧変換回路)40Vに供給され、周波数fvの値に応じた検出電圧Vvに変換されて、CPU50に供給される。
横電極用等価回路220Hの各電極における周波数fhと、縦電極用等価回路220Vの各電極における周波数fvとは、交互に求められる。そのため、CPU50により、スイッチ36H,36Vが制御される。横電極用等価回路220Hの各電極における周波数fhを求める際には、スイッチ36Hがオンとされ、スイッチ36Vはオフとされる。一方、縦電極用等価回路220Vの各電極における周波数fvを求める際には、スイッチ36Hがオンとされ、スイッチ36Vはオフとされる。
CPU50では、F−V変換回路40Hから供給される各横電極に対応した検出電圧Vhと、F−V変換回路40Vから供給される各縦電極に対応した検出電圧Vvに基づいて、対象物、例えば指先の対峙位置(接触点および投影点)の座標(x,y)が特定される。この場合、各横電極に対応した検出電圧Vhのうち、電圧がピークとなる横電極位置からy座標が特定され、各縦電極に対応した検出電圧Vvのうち、電圧がピークとなる縦電極位置からx座標が特定される。
また、CPU50では、F−V変換回路40Hから供給される各横電極に対応した検出電圧Vhと、F−V変換回路40Vから供給される各縦電極に対応した検出電圧Vvに基づいて、対象物、例えば指先のセンサ面からの距離z2が特定される。この場合、ピーク電圧のレベルから距離z2が特定される。これにより、CPU50では、各横電極に対応した検出電圧Vhと、各縦電極に対応した検出電圧Vvに基づいて、指先の三次元位置(x,y,z2)が特定される。
また、CPU50では、F−V変換回路40Hから供給される各横電極に対応した検出電圧Vhと、F−V変換回路40Vから供給される各縦電極に対応した検出電圧Vvに基づいて、ユーザ105(ユーザ105の目)のセンサ面からの距離z1が特定される。この場合、ピークを除いた電圧レベルから、距離z1が特定される。
図7(a)は、静電容量センサ104とユーザ105との位置関係を示している。この場合、例えば、各横電極に対応した検出電圧Vhは、図7(b)に示すようになる。そのため、検出電圧Vhの電圧がピークとなる横電極位置に基づいて、指先のy座標が特定される。また、電圧ピーク値は指先のセンサ面からの距離z2に対応しているので、この電圧ピーク値に基づいて距離z2が特定される。また、ピーク値を除いた電圧値はユーザ105(ユーザ105の目)のセンサ面からの距離z1に対応しているので、この電圧値に基づいて距離z1が特定される。
図1に示す自動販売機100の制御部111の制御動作を、図8のフローチャートを参照しながら、ユーザ105の動作に関連付けて説明する。まず、ステップST1において、ユーザ105は、自動販売機100に近づく。ユーザ105が近づくと、ステップST2において、制御部111は、LCD102に、図9に示すように、「手をかざしてください」の文字が示された画像(1)を表示する。なお、ユーザ105が近づいたことの判断は、例えば、位置検出処理部117(図2参照)で取得されるユーザ105(ユーザ105の目)のセンサ面からの距離z1に基づいて行うことができる。また、例えば、この判断は、その他のセンサ出力を用いて行うこともできる。
この画像(1)の表示に対応して、ステップST3において、ユーザ105は、画像に手を近づける。ユーザ105が画像に手を近づけると、ステップST4において、制御部111は、LCD102に、図10(a)に示すように、画像(2)を表示する。この画像(2)には、商品選択をするための複数の商品選択ボタン、この例では商品1〜商品3までの3つの商品選択ボタンが、立体表示されている。なお、各商品選択ボタンには、例えば、商品の名、あるいは商品の図などが付され、ユーザ105の選択の便に供されている。図10(b)は、図10(a)が正面から見た場合を示しているのに対し、側面から見た場合を示している。
この画像(2)の表示に対応して、ユーザ105は、ステップST5において、所望の商品の商品選択ボタンに手をかざして商品を選択する。ユーザ105が商品を選択すると、制御部111は、ステップST6において、図11(a)に示すように、LCD102に画像(3)を表示する。この画像(3)は、商品1〜商品3までの3つの商品選択ボタンが立体表示されている点では図10(a)と同様であるが、選択された商品の商品選択ボタンの表示態様が変更されている。
図11(a)の例は、商品2が選択され、この商品2の商品選択ボタンの色が変更された場合を示している。なお、商品選択ボタンの表示態様の変更には、色の変更の他に、形状の変更、さらには飛び出し量の変更、あるいはそれらの組み合わせが考えられる。図11(b)は、図11(a)が正面から見た場合を示しているのに対し、側面から見た場合を示している。
この画像(3)の表示に対応して、ユーザ105は、ステップST7において、選択した商品選択ボタン、つまり表示態様が変更された商品選択ボタンに手を近づけて商品を注文する。ユーザ105が商品を注文すると、制御部111は、ステップST8において、図12(a)に示すように、LCD102に画像(4)を表示する。
この画像(4)は、商品1〜商品3までの3つの商品選択ボタンが立体表示されている点では図11(a)と同様であるが、選択された商品の商品選択ボタンの表示態様(色、形状、飛び出し量など)が、さらに変更されている。図12(b)は、図12(a)が正面から見た場合を示しているのに対し、側面から見た場合を示している。ここで商品選択ボタンの飛び出し量を変更する際には、例えば飛び出し量を少なくして、押し込まれた状態とすることが考えられる。
この画像(4)の表示の後、制御部111は、ステップST9において、注文された商品を取り出し口103に排出する。この後、ユーザ105は、ステップST10において、取り出し口103に排出された商品を、当該取り出し口103から取り出して受け取る。
なお、ステップST5でユーザ105が手をかざして商品を選択した場合に、どの商品選択ボタンに手をかざしているかを判断するために、商品選択ボタン毎に、選択されたと判断するための座標が設定される。図13は、座標設定の一例を示している。この例では、LCD102の表示面において、左下の座標(x,y)は(0,0)され、右上の座標(x,y)は(100,100)とされている。なお、単位は、例えば、「mm」である。
この図13の例において、商品1の商品選択ボタンの選択設定範囲は、x座標が20〜80、かつ、y座標が70〜100である。そのため、上述の位置検出処理部117で取得される指先の三次元位置(x,y,z2)のx座標、y座標がこの範囲にあれば、商品1の商品選択ボタンに手をかざしている、つまりこの商品選択ボタンを指で指し示していると判断される。
また、図13の例において、商品2の商品選択ボタンの選択設定範囲は、x座標が20〜80、かつ、y座標が35〜65である。そのため、上述の位置検出処理部117で取得される指先の三次元位置(x,y,z2)のx座標、y座標がこの範囲にあれば、商品2の商品選択ボタンに手をかざしている、つまりこの商品選択ボタンを指で指し示していると判断される。
さらに、図13の例において、商品3の商品選択ボタンの選択設定範囲は、x座標が20〜80、かつ、y座標が0〜30である。そのため、位置検出処理部117(図2参照)で取得される指先の三次元位置(x,y,z2)のx座標、y座標がこの範囲にあれば、商品3の商品選択ボタンに手をかざしている、つまりこの商品選択ボタンを指で指し示していると判断される。
図14は、図8のフローチャートのステップST2で表示される画像(1)、ステップST4で表示される画像(2)、ステップST6で表示される画像(3)、さらにステップST8で表示される画像(4)の一覧を示している。
図14(a)は、ステップST2で画像(1)として表示される1種類の画像(画像1−1)を示している。図14(b)は、ステップST4で画像(2)として表示される1種類の画像(画像2−1)を示している。また、図14(c),(d),(e)は、ステップST6で画像(3)として表示される3種類の画像(画像3−1,3−2,3−3)を示している。さらに、図14(f),(g),(h)は、ステップST8で画像(4)として表示される3種類の画像(画像4−1,4−2,4−3)を示している。
図15は、位置検出処理部117(図2参照)で取得される指先の三次元位置(x,y,z2)の条件毎のアクション設定を示している。すなわち、ユーザ105が近づいた場合、画像1−1を表示するアクション設定がされている。また、z2<300の場合、画像2−1を表示するアクション設定がされている。
また、z2<150、かつ、20≦x≦80、かつ、0≦x≦30の場合、画像3−1を表示するアクション設定がされている。また、z2<150、かつ、20≦x≦80、かつ、35≦x≦65の場合、画像3−2を表示するアクション設定がされている。また、z2<150、かつ、20≦x≦80、かつ、70≦x≦100の場合、画像3−3を表示するアクション設定がされている。
また、z2=0、かつ、20≦x≦80、かつ、0≦x≦30の場合、画像4−1を表示するアクション設定がされている。また、z2=0、かつ、20≦x≦80、かつ、35≦x≦65の場合、画像4−2を表示するアクション設定がされている。また、z2=0、かつ、20≦x≦80、かつ、70≦x≦100の場合、画像4−3を表示するアクション設定がされている。
以上説明したように、図1に示す自動販売機100においては、ユーザ105の指先の三次元位置(x,y,z2)に応じて、LCD102に表示される両眼視差画像、従ってユーザ105が視認する立体画像が制御される。そのため、ユーザ105の商品選択の操作精度を高めることができ、ユーザ105の使い勝手の向上を図ることができる。
なお、LCD102に両眼視差画像を表示して、ユーザ105に立体画像を視認させる場合、左眼画像および右眼画像の視差が一定であるとき、ユーザ105(ユーザ105の目)の位置に応じて立体画像の視認位置が変化する。上述の図8のフローチャートの説明では、制御部111は、指先の三次元位置(x,y,z2)に基づいて表示画像を制御している。すなわち、指先の三次元位置(x,y,z2)に基づいて、どの画像を表示するかのみを制御している。
制御部111は、ユーザ105の位置に応じて左眼画像および右眼画像の視差を調整し、立体画像の視認位置がユーザ105の位置によらずに常に同じ位置に視認されるように制御することもできる。図16のフローチャートは、制御部111における、ユーザ105(ユーザ105の目)のセンサ面からの距離z1に基づいてユーザ105の視認位置を調整しながら、指先のセンサ面からの距離z2に対応した画像を生成して表示する制御動作の一例を示している。
制御部111は、ステップST11において、制御動作を開始し、その後に、ステップST12の処理に移る。このステップST12において、制御部111は、位置検出処理部117(図2参照)から距離z1を取得する。そして、制御部111は、ステップST13において、距離z1が50cm未満であるか否かを判断する。距離z1が50cm未満でないとき、制御部111は、ステップST12の処理に戻る。
ステップST13で距離z1が50cm未満であるとき、制御部111は、ステップST14の処理に進む。このステップST14において、制御部111は、距離z1を使って生成した画像を表示する。この場合、例えば、図8のフローチャートにおける画像(2)が表示されるが、距離z1により両眼視差画像の視差が調整されて、ユーザ105の立体画像の視認位置がユーザ105の位置によらずに一定とされる。
次に、制御部111は、ステップST15において、位置検出処理部117(図2参照)から距離z1を取得する。そして、制御部111は、ステップST16において、距離z1が50cm未満であるか否かを判断する。上述のステップST12で距離z1が取得されているが、ユーザが移動した場合のためにステップST15で再度距離z1が取得されてステップST16の判断に用いられている。距離z1が50cm未満でないとき、制御部111は、ステップST12の処理に戻る。
ステップST16で距離z1が50cm未満であるとき、制御部111は、ステップST17において、位置検出処理部117(図2参照)から距離z2を取得する。そして、制御部111は、ステップST18において、z2<z1/2であるか否かを判断する。z2<z1/2でないとき、制御部111は、ステップST15の処理に戻る。
ステップST18でz2<z1/2であるとき、制御部111は、ステップST19において、距離z1および距離z2を使って生成した画像を表示する。この場合、例えば、図8のフローチャートにおける画像(3)あるいは画像(4)が表示されるが、距離z1により両眼視差画像の視差が調整されて、ユーザ105の立体画像の視認位置がユーザ105の位置によらずに一定とされる。制御部111は、ステップST19の処理の後、ステップST15の処理に戻る。
<2.第2の実施の形態>
[デジタルサイネージ装置の構成例]
図17は、第2の実施の形態としてのデジタルサイネージ装置200の外観を示している。このデジタルサイネージ装置200の外筐201の前面側には平板状の表示パネル、例えばLCD(Liquid Crystal Display)202が配設されている。このLCD202は、両眼視差画像を表示する画像表示部を構成している。
LCD202の表示面に、静電容量センサ204が載置されている。この静電容量センサ204は、位置情報取得部を構成している。位置情報取得部は、LCD202の表示面上の三次元空間に存在する対象物の三次元位置(x,y,z2)を示す情報を取得する。この実施の形態において、対象物は、ユーザ105の手とされる。また、位置情報取得部は、LCD202の表示面とユーザ105との距離z1の情報を取得する。
ユーザ105がLCD202の表示画像に一定以上近づいた場合に、LCD202には、ユーザ105に立体画像として広告宣伝用の所定内容、例えば商品、キャラクタなどを視認させる両眼視差画像が表示される。そして、ユーザ105が手を出し、手の位置が表示面に近づいたとき、商品、キャラクタなどが手の上に視認される表示態様に変更される。そして、ユーザ105が手の位置を動かしたとき、商品、キャラクタなどの視認位置が手の位置に追従して移動される。
図18は、デジタルサイネージ装置200の回路構成の一例を示している。デジタルサイネージ装置200は、LCD202と、静電容量センサ204の他に、制御部211と、記憶部212と、バス213と、3D画像生成部215と、パネル駆動部216と、位置検出処理部217を有している。
制御部211は、デジタルサイネージ装置200の各部の動作を制御する。記憶部212には、制御部211の動作プログラム、両眼視差画像(左眼画像、右眼画像)を生成するための画像データ等が予め記憶されている。3D画像生成部215は、制御部211の制御のもと、両眼視差画像(左眼画像、右眼画像)を表示するための表示画像データを生成する。制御部211は、バス213を通じて記憶部212に接続されている。また、制御部211は、バス213を通じて、3D画像生成部215の動作を制御する。
パネル駆動部216は、3D画像生成部215で生成された表示画像データに基づいてLCD202を駆動し、ユーザに立体画像を視認させるための両眼視差画像を表示させる。位置検出処理部217は、上述の静電容量センサ204と共に位置情報取得部を構成している。位置検出処理部217は、LCD202の表示面上の三次元空間に存在するユーザ105の手(対象物)の三次元位置(x,y,z2)の情報を出力する。また、位置検出処理部217は、LCD202の表示面とユーザ105との距離z1の情報を出力する。
この位置情報取得部(静電容量センサ204、位置検出処理部217)は、上述した自動販売機100における位置情報取得部(静電容量センサ104、位置検出処理部117)と同様に構成されている。したがって、ここでは、位置情報取得部(静電容量センサ204、位置検出処理部217)の詳細説明は省略する。
図17に示すデジタルサイネージ装置200の制御部211の制御動作を、図19のフローチャートを参照しながら、ユーザ105の動作に関連付けて説明する。まず、ステップST21において、ユーザ105は、デジタルサイネージ装置200に近づく。ユーザ105が近づくと、ステップST22において、制御部211は、LCD202に、図20(a)に示すような、広告宣伝用の所定内容、例えば商品、キャラクタなどを有する画像(1)を表示する。図20(a)の画像例では、小鳥がいる画像である。
この画像(1)の表示に対応して、ステップST23において、図20(b)に示すように、手を出す。ユーザ105が手を出すと、ステップST24において、制御部211は、LCD202に、図21(a)に示すように、画像(2)を表示する。この画像(2)は、ユーザ105の手の位置に小鳥が視認される立体画像である。
次に、ユーザ105は、ステップST25において、ユーザ105は、図21(b)に示すように、手の位置を、移動する。この例では、手の位置を横方向にずらしている。ユーザ105が手の位置を動かすと、ステップST26において、制御部211は、LCD202に、図22に示すように、画像(3)を表示する。この画像(3)は、ユーザ105の手の位置に追従して小鳥の位置が移動し、移動した手の位置に小鳥が視認される立体画像である。
図23のフローチャートは、制御部211の表示画像制御の動作の一例を示している。制御部211は、ステップST31において、制御動作を開始し、その後に、ステップST32の処理に移る。このステップST32において、制御部211は、位置検出処理部217(図18参照)から、LCD202の表示面とユーザ105との距離z1の情報を取得する。そして、制御部211は、ステップST33において、距離z1が100cm未満であるか否かを判断する。距離z1が100cm未満でないとき、制御部211は、ステップST32の処理に戻る。
ステップST33で距離z1が100cm未満であるとき、制御部211は、ステップST34の処理に進む。このステップST34において、制御部211は、画像(1)(図20(a)参照)を表示する。その後に、制御部211は、ステップST35において、位置検出処理部217(図18参照)から距離z1を取得する。そして、制御部211は、ステップST36において、距離z1が100cm未満であるか否かを判断する。距離z1が100cm未満でないとき、制御部211は、ステップST32の処理に戻る。
ステップST36で距離z1が100cm未満であるとき、制御部211は、ステップST37の処理に進む。このステップST37において、制御部211は、位置検出処理部217(図18参照)から、ユーザ105の手の三次元位置(x,y,z2)の情報を出取得する。そして、制御部211は、ステップST38において、距離z2が50cm未満であるか否かを判断する。距離z2が50cm未満でないとき、制御部211は、ステップST35の処理に戻る。
ステップST38で距離z2が50cm未満であるとき、制御部211は、ステップST39の処理に移る。このステップST39において、制御部211は、LCD202に、距離z1、三次元位置(x,y,z2)を使って生成した画像を表示する。すなわち、制御部211は、距離z1の位置から見て、(x,y,z2)の位置に、商品やキャラクタが視認されるように立体画像を表示する(図21(a)、図22参照)。制御部211は、ステップST39の処理の後、ステップST35の処理に戻る。
以上説明したように、図17に示すデジタルサイネージ装置200においては、ユーザ105の指先の三次元位置(x,y,z2)に応じて、LCD202に表示される両眼視差画像、従ってユーザ105が視認する立体画像が制御される。そのため、ユーザ105への効果的な情報提供を行うことができ、ユーザの使い勝手の向上を図ることができる。例えば、従来のデジタルサイネージ装置ではアテンションを取ることが難しかった。しかし、図17に示すデジタルサイネージ装置200では、三次元の表示によりアテンションを取ることができ、かつユーザ105のアクションを三次元で把握することによって、より自然にインタラクティブなコミュニケーションを行うことが可能となる。
なお、図17、図18に示すデジタルサイネージ装置200においては、音声系を省略して示している。例えば、音に関しては、ユーザ105の手に位置に視認される小鳥に併せて、その位置で小鳥が鳴いているように音を出す制御を行うことが考えられる。
<3.第3の実施の形態>
[テレビ受信機の構成例]
図24は、第3の実施の形態としてのテレビ受信機300の外観を示している。このデテレビ受信機300の外筐301の前面側には平板状の表示パネル、例えばLCD(Liquid Crystal Display)302が配設されている。このLCD302は、両眼視差画像を表示する画像表示部を構成している。
LCD302の表示面に、静電容量センサ304が載置されている。この静電容量センサ304は、位置情報取得部を構成している。位置情報取得部は、LCD302の表示面上の三次元空間に存在する対象物の三次元位置(x,y,z2)を示す情報を取得する。この実施の形態において、対象物は、ユーザ105の手とされる。また、位置情報取得部は、LCD302の表示面とユーザ105との距離z1の情報を取得する。
ユーザ105がLCD302の表示画像に手を近づけた場合に、LCD302には、チャネル選択のためのチャネル選択ボタンが重畳表示される。そして、ユーザ105の手の位置が、あるチャネル選択ボタンの視認位置に近づいたとき、そのチャネル選択ボタンの表示態様(色、大きさ、視認位置など)が変更され、そのチャネルの選択状態にあることが示される。そして、このチャネルの選択状態にあって、ユーザ105が手を前に出すとき、チャネルの選択が決定される。
図25は、テレビ受信機300の回路構成の一例を示している。テレビ受信機300は、LCD302と、静電容量センサ304の他に、制御部311と、記憶部312と、バス313と、パネル駆動部316とを有している。また、テレビ受信機300は、アンテナ端子321と、デジタルチューナ322と、3D信号処理部323と、映像処理部324と、グラフィクスデータ発生部325を有している。
制御部311は、テレビ受信機300の各部の動作を制御する。記憶部312には、制御部311の動作プログラム、グラフィクスデータ発生部325で発生させるグラフィクスデータを生成するためのデータ等が予め記憶されている。制御部311は、バス313を通じて、記憶部312に接続されている。
アンテナ端子321は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ322は、アンテナ端子321に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した立体画像データを出力する。3D信号処理部323は、デジタルチューナ322から出力された立体画像データに対して、デコード処理を行って、左眼画像データおよび右眼画像データを生成する。
3D信号処理部323は、立体画像データに対して、その伝送方式に対応したデコード処理を行う。立体画像データの伝送方式としては、例えば、トップ・アンド・ボトム(Top & Bottom)方式、サイド・バイ・サイド(Side By Side)方式、フレーム・シーケンシャル(Frame Sequential)方式等が知られている。
グラフィクスデータ発生部325は、画像データに重畳する種々のグラフィクス情報のデータ(グラフィクスデータ)を発生する。この例では、グラフィクス情報を、例えば、チャネル選択ボタンとする。グラフィクスデータ発生部325は、左眼画像に重畳するグラフィクス情報のデータと右眼画像に重畳するグラフィクス情報のデータを発生する。ここで、左眼画像および右眼画像に重畳するグラフィクス情報は同一とされるが、それらが例えば左右方向にずらされて視差が付与され、このグラフィクス情報が視認される奥行き位置が調整される。
映像処理部324は、3D信号処理部301で生成された左眼画像データおよび右眼画像データに基づいて、両眼視差画像を表示するための表示画像データを生成する。この表示画像データは、立体画像の表示方式(メガネ方式、裸眼方式など)に応じて異なってくる。なお、この映像処理回路307は、画像データに、グラフィクスデータ発生部325で発生されるグラフィクス情報のデータ(ビットマップデータ)を重畳する。
パネル駆動部316は、映像処理部324で生成された表示画像データに基づいてLCD302を駆動し、ユーザ105に立体画像を視認させるための両眼視差画像を表示させる。位置検出処理部317は、上述の静電容量センサ304と共に位置情報取得部を構成している。位置検出処理部317は、LCD302の表示面上の三次元空間に存在するユーザ105の手(対象物)の三次元位置(x,y,z2)の情報を出力する。また、位置検出処理部117は、LCD302の表示面とユーザ105との距離z1の情報を出力する。
この位置情報取得部(静電容量センサ304、位置検出処理部317)は、上述した自動販売機100における位置情報取得部(静電容量センサ104、位置検出処理部117)と同様に構成されている。したがって、ここでは、位置情報取得部(静電容量センサ304、位置検出処理部317)の詳細説明は省略する。
図24に示すテレビ受信機300の制御部311の制御動作を、図26のフローチャートを参照しながら、ユーザ105の動作に関連付けて説明する。ユーザの視聴時に、制御部311は、LCD302に、現在のチャネルの画像(1)を表示する。図27(a)は、画像(1)の一例を示している。
この画像(1)の表示状態で、ステップST42において、ユーザ105は、図27(b)に示すように、画像に手を近づける。ユーザ105が画像に手を近づけると、ステップST43において、制御部311は、LCD102に、図28(a)に示すように、選択可能なチャネルのチャネル選択ボタンが重畳された画像(2)を表示する。この例では、チャネル選択ボタンがチャネル数字で表されている。
この画像(2)の表示に対応して、ユーザ105は、ステップST44において、所望のチャネルのチャネル選択ボタンに手をかざしてチャネルを選択する。ユーザ105がチャネルを選択すると、制御部311は、ステップST45において、図28(b)に示すように、選択チャネルのチャネル選択ボタンが浮き出た画像(3)を表示する。この例では、画像に重畳されているチャネル「4」のチャネル選択ボタンが浮き出た状態、つまりその視認位置が手前とされる。
この画像(3)の表示に対応して、ユーザ105は、ステップST46において、選択したチャネルのチャネル選択ボタンにかざしている手を前に出して、チャネルを決定する。このチャネルの決定に対応して、制御部311は、ステップST47において、デジタルチューナ322の選局チャネルを変更し、LCD302に、新たに選択されたチャネルの画像(4)を表示する。図29は、画像(4)の一例を示している。
図30のフローチャートは、制御部311の表示画像制御の動作の一例を示している。制御部311は、ステップST51において、制御動作を開始し、その後に、ステップST52の処理に移る。このステップST52において、制御部311は、位置検出処理部317(図25参照)から、LCD302の表示面とユーザ105の指先との距離z2の情報を取得する。そして、制御部311は、ステップST53において、距離z2が50cm未満であるか否かを判断する。距離z2が50cm未満でないとき、制御部311は、ステップST52の処理に戻る。
ステップST53で距離z2が50cm未満であるとき、制御部311は、ステップST54の処理に進む。このステップST54において、制御部311は、位置検出処理部317(図25参照)から、LCD302の表示面とユーザ105(ユーザ105の目)との距離z1の情報を取得する。そして、制御部311は、ステップST55において、距離z1から見て、距離z2の位置に、チャネル(チャネル選択ボタン)が視認されるように、このチャネル(チャネル選択ボタン)を画像に重畳表示する(図28(a)参照)。
次に、制御部311は、ステップST56において、位置検出処理部317(図25参照)から、ユーザ105の指先の位置(x,y)の情報を取得する。そして、制御部311は、ステップST57において、位置(x,y)に対応しているチャネル(チャネル選択ボタン)を浮きだし表示し(図28(b)参照)、選択チャネルで明示する。
次に、制御部311は、ステップST58において、位置検出処理部317(図25参照)から、LCD302の表示面とユーザ105の指先との距離z2の情報を取得する。そして、制御部311は、ステップST59において、距離z2が40cm未満であるか否かを判断する。つまり、制御部311は、このステップST59において、ユーザ105がさらに手を前に出して、チャネルの決定操作を行っているか否かを判断する。
距離z2が40cm未満でないとき、制御部311は、ステップST60において、距離z2が50cm以上となったか否かを判断する。距離z2が50cm以上となっていないとき、制御部311は、ステップST56の処理に戻る。一方、距離z2が50cm以上となっているとき、制御部311は、ステップST61において、チャネル(チャネル制御ボタン)の重畳表示を解除し、その後に、ステップST52の処理に戻る。
また、ステップST59で距離z2が40cm未満であるとき、制御部311は、ステップST62の処理に戻る。このステップST62において、制御部311は、選択チャネルを決定する。このとき、制御部311は、デジタルチューナ322(図25参照)の選局チャネルを変更し、LCD302に、新たに選択されたチャネルの画像を表示する(図29参照。制御部311は、このステップST62の処理の後、ステップST56の処理に戻る。
以上説明したように、図24に示すテレビ受信機300においては、ユーザ105の指先の三次元位置(x,y,z2)に応じて、LCD302に表示される両眼視差画像、従ってユーザ105が視認する立体画像が制御される。そのため、ユーザ105のチャネル選択操作等の操作精度を高めることができ、ユーザ105の使い勝手の向上を図ることができる。
<4.変形例>
なお、上述実施の形態においては、この発明を、自動販売機100、デジタルサイネージ装置200、テレビ受信機300などに適用したものであるが、その他の情報表示装置にも適用できることは勿論である。
例えば、医療分野では、人体の解剖シミュレーションで立体的な画像を表示する際に、被験者がメスを動かす動作に応じて切開の画像を表示することにも応用可能である。また、体の動きを使ったゲーム機では、重心以外にも、手の動きや、体全体の動きを検知し、その検知結果に応じた画像を表示することにも応用可能である。
この発明は、自動販売機、デジタルサイネージ装置、テレビ受信機などの画像表示部を備え、ユーザに種々の情報を提供する機器に適用できる。
100・・・自動販売機
102・・・LCD
103・・・取り出し口
104・・・静電容量センサ
105・・・ユーザ
111・・・制御部
112・・・記憶部
114・・・自販機システム各部
115・・・3D画像生成部
116・・・パネル駆動部
117・・・位置検出処理部
200・・・デジタルサイネージ装置
202・・・LCD
204・・・静電容量センサ
211・・・制御部
212・・・記憶部
215・・・3D画像生成部
216・・・パネル駆動部
217・・・位置検出処理部
300・・・テレビ受信機
302・・・LCD
304・・・静電容量センサ
311・・・制御部
312・・・記憶部
316・・・パネル駆動部
321・・・アンテナ端子
322・・・デジタルチューナ
323・・・3D信号処理部
324・・・映像処理部
325・・・グラフィクスデータ発生部

Claims (8)

  1. 両眼視差画像を表示する画像表示部と、
    上記画像表示部に表示される上記両眼視差画像を制御する表示画像制御部と、
    上記画像表示部の表示面上の三次元空間に存在する対象物の三次元位置を示す位置情報を取得する位置情報取得部と、
    上記表示画像制御部は、上記位置情報取得部で取得された上記位置情報が示す上記対象物の三次元位置に応じて、上記画像表示部に表示される上記両眼視差画像を制御する
    情報表示装置。
  2. 上記対象物は、上記画像表示部の表示面上の三次元空間に位置するユーザの所定動作を行う部位である
    請求項1に記載の情報表示装置。
  3. 上記位置情報取得部は、さらに、上記画像表示部の表示面と上記ユーザとの距離の情報を取得し、
    上記表示画像制御部は、さらに、上記位置情報取得部で検出された上記距離に応じて、上記画像表示部に表示される上記両眼視差画像を制御する
    請求項2に記載の情報表示装置。
  4. 上記位置情報取得部は、
    上記画像表示部の表示面に載置され、上記対象物の三次元位置を検出するために用いられる検出用電極として機能することが可能な複数の電極を有する静電容量センサと、
    上記複数の電極により得られる取得値に基づいて、上記対象物の三次元位置を検出する位置検出処理部とを有する
    請求項1に記載の情報表示装置。
  5. 上記画像表示部は、自動販売機の外筐に配設され、
    上記画像表示部には、少なくとも、商品選択のための所定内容を立体画像として視認させるための両眼視差画像が表示され、
    上記位置情報取得部で取得された上記位置情報が示す上記対象物の三次元位置に応じて、上記自動販売機の動作を制御するシステム制御部をさらに備える
    請求項1に記載の情報表示装置。
  6. 上記画像表示部は、デジタルサイネージ装置を構成し、
    上記画像表示部には、少なくとも、商品宣伝用の所定内容を立体画像として視認させるための両眼視差画像が表示される
    請求項1に記載の情報表示装置。
  7. 上記画像表示部は、テレビ受信機を構成し、
    上記画像表示部には、上記テレビ受信機の操作を行うための所定内容を立体画像として視認させるための両眼視差画像が表示され、
    上記位置情報取得部で取得された上記位置情報が示す上記対象物の三次元位置に応じて、上記テレビ受信機の動作を制御するシステム制御部をさらに備える
    請求項1に記載の情報表示装置。
  8. 両眼視差画像を表示する画像表示部に表示される両眼視差画像を制御する表示画像制御方法であって、
    上記画像表示部の表示面上の三次元空間に存在する対象物の三次元位置を示す位置情報を取得する位置情報取得ステップと、
    上記位置情報取得ステップで取得された上記位置情報が示す上記対象物の三次元位置に応じて、上記画像表示部に表示される上記両眼視差画像を制御する表示画像制御ステップと
    を備える表示画像制御方法。
JP2010129577A 2010-06-07 2010-06-07 情報表示装置および表示画像制御方法 Expired - Fee Related JP5573379B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010129577A JP5573379B2 (ja) 2010-06-07 2010-06-07 情報表示装置および表示画像制御方法
EP11167825.6A EP2393299A3 (en) 2010-06-07 2011-05-27 Information display device and display image control method
US13/149,034 US8872821B2 (en) 2010-06-07 2011-05-31 Information display device and display image control method
CN2011101441351A CN102270090A (zh) 2010-06-07 2011-05-31 信息显示设备和显示图像控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010129577A JP5573379B2 (ja) 2010-06-07 2010-06-07 情報表示装置および表示画像制御方法

Publications (2)

Publication Number Publication Date
JP2011257820A true JP2011257820A (ja) 2011-12-22
JP5573379B2 JP5573379B2 (ja) 2014-08-20

Family

ID=44117988

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010129577A Expired - Fee Related JP5573379B2 (ja) 2010-06-07 2010-06-07 情報表示装置および表示画像制御方法

Country Status (4)

Country Link
US (1) US8872821B2 (ja)
EP (1) EP2393299A3 (ja)
JP (1) JP5573379B2 (ja)
CN (1) CN102270090A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102587A (ja) * 2012-11-16 2014-06-05 Toshiba Tec Corp 情報表示装置、端末装置、情報表示システム及びプログラム
JP2014164755A (ja) * 2013-02-22 2014-09-08 Samsung Electronics Co Ltd センサを用いる近接動作認識装置及びその装置を用いた方法
WO2016056762A1 (ko) * 2014-10-08 2016-04-14 주식회사 맥키스컴퍼니 홀로그램 상품 자동판매기
JP2019514092A (ja) * 2016-02-26 2019-05-30 ザ コカ・コーラ カンパニーThe Coca‐Cola Company タッチレス制御グラフィカルユーザインターフェース
US10394434B2 (en) 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8421752B2 (en) * 2011-01-27 2013-04-16 Research In Motion Limited Portable electronic device and method therefor
JPWO2013046596A1 (ja) * 2011-09-26 2015-03-26 Necカシオモバイルコミュニケーションズ株式会社 携帯型情報処理端末
EP2784640A4 (en) 2011-11-21 2015-10-21 Nikon Corp DISPLAY DEVICE AND DISPLAY CONTROL PROGRAM
CN102523469A (zh) * 2011-12-21 2012-06-27 吉林大学 基于视距感知的小分辨率立体视频自适应解码方法
WO2015176039A2 (en) * 2014-05-15 2015-11-19 T-Ink, Inc. Area input device and virtual keyboard
CN105812772B (zh) * 2014-12-29 2019-06-18 深圳超多维科技有限公司 医疗图像立体显示***及方法
US10152154B2 (en) * 2015-01-22 2018-12-11 Superd Technology Co., Ltd. 3D interaction method and display device
GB2550209A (en) * 2016-05-13 2017-11-15 Lucozade Ribena Suntory Ltd Method of controlling a state of a display of a device
US20210142490A1 (en) * 2017-06-21 2021-05-13 Nec Corporation Information processing apparatus, control method, and program
CN109542654A (zh) * 2018-11-23 2019-03-29 京东方科技集团股份有限公司 自动贩卖机和确定用户选定商品的方法
WO2022170105A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, systems, and methods for contactless interfacing

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
JPH10260774A (ja) * 1997-03-19 1998-09-29 Atr Chinou Eizo Tsushin Kenkyusho:Kk 手形状入力装置および仮想現実感生成装置
JP2003076488A (ja) * 2001-09-03 2003-03-14 Takenaka Komuten Co Ltd 指示位置判断装置及び方法
JP2004280496A (ja) * 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
WO2004114108A1 (ja) * 2003-06-20 2004-12-29 Seijiro Tomita 立体画像表示方法及び装置
JP2005196530A (ja) * 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法
WO2007013215A1 (ja) * 2005-07-25 2007-02-01 Pioneer Corporation 画像表示装置
WO2007097225A1 (ja) * 2006-02-21 2007-08-30 Pioneer Corporation 画像表示装置
JP2008059148A (ja) * 2006-08-30 2008-03-13 Fujifilm Corp 画像処理装置
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
JP2008257216A (ja) * 2007-03-12 2008-10-23 Akira Tomono 公衆用情報提示装置
WO2009104818A1 (en) * 2008-02-21 2009-08-27 Sharp Kabushiki Kaisha Display
JP2010092505A (ja) * 2006-10-13 2010-04-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2010092420A (ja) * 2008-10-10 2010-04-22 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6373265B1 (en) * 1999-02-02 2002-04-16 Nitta Corporation Electrostatic capacitive touch sensor
GB0119176D0 (en) * 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2005275644A (ja) 2004-03-24 2005-10-06 Sharp Corp 液晶表示装置
JP4566596B2 (ja) * 2004-03-29 2010-10-20 アルパイン株式会社 操作指示装置
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
JP2008011737A (ja) 2006-07-04 2008-01-24 Shimano Inc 釣竿ケース
WO2008132724A1 (en) * 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
CN101784941A (zh) * 2007-07-30 2010-07-21 磁性介质控股公司 多立体观看设备
JP2009177331A (ja) 2008-01-22 2009-08-06 Nec Corp 画像信号転送システム、方法及び該転送システムを具備する撮像装置
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
JP4659875B2 (ja) 2008-11-25 2011-03-30 パナソニック株式会社 半導体装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
JPH10260774A (ja) * 1997-03-19 1998-09-29 Atr Chinou Eizo Tsushin Kenkyusho:Kk 手形状入力装置および仮想現実感生成装置
JP2003076488A (ja) * 2001-09-03 2003-03-14 Takenaka Komuten Co Ltd 指示位置判断装置及び方法
JP2004280496A (ja) * 2003-03-17 2004-10-07 Kyocera Mita Corp 操作パネル装置
WO2004114108A1 (ja) * 2003-06-20 2004-12-29 Seijiro Tomita 立体画像表示方法及び装置
JP2005196530A (ja) * 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法
WO2007013215A1 (ja) * 2005-07-25 2007-02-01 Pioneer Corporation 画像表示装置
WO2007097225A1 (ja) * 2006-02-21 2007-08-30 Pioneer Corporation 画像表示装置
JP2008059148A (ja) * 2006-08-30 2008-03-13 Fujifilm Corp 画像処理装置
JP2010092505A (ja) * 2006-10-13 2010-04-22 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
JP2008257216A (ja) * 2007-03-12 2008-10-23 Akira Tomono 公衆用情報提示装置
WO2008115997A2 (en) * 2007-03-19 2008-09-25 Zebra Imaging, Inc. Systems and methods for updating dynamic three-dimensional display with user input
WO2009104818A1 (en) * 2008-02-21 2009-08-27 Sharp Kabushiki Kaisha Display
JP2010092420A (ja) * 2008-10-10 2010-04-22 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014102587A (ja) * 2012-11-16 2014-06-05 Toshiba Tec Corp 情報表示装置、端末装置、情報表示システム及びプログラム
JP2014164755A (ja) * 2013-02-22 2014-09-08 Samsung Electronics Co Ltd センサを用いる近接動作認識装置及びその装置を用いた方法
US10261612B2 (en) 2013-02-22 2019-04-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10394434B2 (en) 2013-02-22 2019-08-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
US10921926B2 (en) 2013-02-22 2021-02-16 Samsung Electronics Co., Ltd. Apparatus and method for recognizing proximity motion using sensors
WO2016056762A1 (ko) * 2014-10-08 2016-04-14 주식회사 맥키스컴퍼니 홀로그램 상품 자동판매기
KR101623495B1 (ko) 2014-10-08 2016-05-23 주식회사 맥키스컴퍼니 홀로그램 상품 자동판매기
JP2018500626A (ja) * 2014-10-08 2018-01-11 ザ マッキス カンパニー インコーポレイテッド ホログラム商品自動販売機
JP2019514092A (ja) * 2016-02-26 2019-05-30 ザ コカ・コーラ カンパニーThe Coca‐Cola Company タッチレス制御グラフィカルユーザインターフェース

Also Published As

Publication number Publication date
EP2393299A2 (en) 2011-12-07
US20110298791A1 (en) 2011-12-08
US8872821B2 (en) 2014-10-28
EP2393299A3 (en) 2014-10-15
JP5573379B2 (ja) 2014-08-20
CN102270090A (zh) 2011-12-07

Similar Documents

Publication Publication Date Title
JP5573379B2 (ja) 情報表示装置および表示画像制御方法
US20200409529A1 (en) Touch-free gesture recognition system and method
US9230386B2 (en) Product providing apparatus, display apparatus, and method for providing GUI using the same
EP2525580B1 (en) Dynamically configurable 3D display
JP4450657B2 (ja) 表示装置
US8930838B2 (en) Display apparatus and display method thereof
KR101621528B1 (ko) 디스플레이장치 및 그 3d 영상신호 표시방법
CN105589594B (zh) 电子装置和电子装置的操作控制方法
JP6654743B2 (ja) 電子機器、電子機器の操作制御方法および操作制御プログラム
EP2372512A1 (en) Vehicle user interface unit for a vehicle electronic device
US20150312559A1 (en) Display device, control method, and control program
US10422996B2 (en) Electronic device and method for controlling same
US20190225084A1 (en) Method for interacting with image contents displayed on a display device in a transportation vehicle
CN105593789B (zh) 显示装置及其控制方法
WO2008062586A1 (fr) Dispositif d'affichage, procédé d'affichage, programme d'affichage, et support d'enregistrement
CN103270760B (zh) 在立体变焦过程中用于视差调节的方法和***
US10255832B2 (en) Multi-layer display including proximity sensor and depth-changing interface elements, and/or associated methods
JP2012103980A5 (ja)
EP2667617A2 (en) Video signal processing apparatus
JP2005086773A (ja) 表示装置、表示システム、および表示方法
KR101922086B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
KR101560474B1 (ko) 3차원 사용자 인터페이스를 제공하는 스테레오스코픽 디스플레이 장치 및 방법
KR101950816B1 (ko) 입체영상 디스플레이장치 및 그 구동 방법
JP2009295182A (ja) 記憶媒体及び画像生成装置
JP5521991B2 (ja) 立体画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140616

LAPS Cancellation because of no payment of annual fees