JP6048489B2

JP6048489B2 - 表示装置

Info

Publication number: JP6048489B2
Application number: JP2014502071A
Authority: JP
Inventors: 広務加藤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2012-03-02
Filing date: 2013-01-24
Publication date: 2016-12-21
Anticipated expiration: 2033-01-24
Also published as: US20150103017A1; EP2821892A4; JPWO2013128989A1; EP2821892A1; WO2013128989A1; US9563297B2

Description

本発明は、表示装置及びその動作方法に関し、特に、タッチパネルを用いて操作される表示装置及びその動作方法に関する。

近年、スマートフォンを始めとして、タッチパネルを用いて操作される表示装置が普及している。このような表示装置は、ディスプレイ上にタッチパネルが配置されており、ディスプレイにてボタン等が表示された領域に触れることにより、そのボタン等に応じた動作が行われる。

さらに、このようにタッチパネルを用いて操作される表示装置においては、タッチパネルに触れた場合に、皮膚に電気的刺激を与えたり振動を与えたりすることにより、その領域に表示された画像等の情報に応じた触覚を提示するものも考えられている（例えば、特許文献１，２参照）。

特開２０１０−２５０７５０号公報特表２０１１−５０１２９８号公報

上述したような表示装置の普及に伴い、タッチパネルに対する操作が多様化している。ディスプレイに表示された情報を単に選択、指定するだけではなく、情報をスクロール表示するために画面をなぞったり、次の項目への移行やページ捲りを行うためにフリック操作をしたり、情報を縮小／拡大表示するためにピンチイン／ピンチアウト操作をしたりすることが行われている。ところで、このような操作を行う場合は、触れる領域に表示された画像等の情報に応じた触覚を提示する必要はない。またその逆に、画面をなぞる操作をした場合であっても、情報をスクロール表示せずに触覚を提示することのみが求められる場合もある。

ところが、上述したような触覚を提示する表示装置においては、触覚の提示と表示の制御が、タッチパネルに触れた指の動きの軌跡に応じて予め決められた一通りのものとなっているため、利用者が実際に望む動作とは異なる動作が行われてしまう場合がある。

本発明は、上述したような問題点に鑑みてなされたものであって、接触操作に応じた動作と接触による触覚提示とが行われる表示装置において、利用者が行う様々な操作のそれぞれに対応した動作を行うことができる表示装置及びその動作方法を提供することを目的とする。

上記目的を達成するために本発明は、
情報を表示する表示手段と、
前記表示手段上に設けられ、接触及び／または近接操作を検知する接触／近接検知手段と、
前記接触／近接検知手段を介して触覚を提示する触覚提示手段と、
前記接触及び／または近接操作について設定された条件に基づいて、前記接触／近接検知手段にて検知された接触及び／または近接操作に応じた前記表示手段の表示及び前記触覚提示手段の動作を決定する入力判定手段と、
前記入力判定手段における決定に基づいて、前記表示手段の表示及び前記触覚提示手段の動作を制御する制御手段とを有する。

また、情報を表示する表示手段と、前記表示手段上に設けられ、接触及び／または近接操作を検知する接触／近接検知手段と、前記接触／近接検知手段を介して触覚を提示する触覚提示手段とを有する表示装置の動作方法であって、
前記接触及び／または近接操作について設定された条件に基づいて、前記接触／近接検知手段にて検知された接触及び／または近接操作に応じた前記表示手段の表示及び前記触覚提示手段の動作を制御する。

また、情報を表示する表示手段と、前記表示手段上に設けられ、接触及び／または近接操作を検知する接触／近接検知手段と、前記接触／近接検知手段を介して触覚を提示する触覚提示手段とを有する表示装置を動作させるためのプログラムであって、
前記表示装置に、
前記接触及び／または近接操作について設定された条件に基づいて、前記接触／近接検知手段にて検知された接触及び／または近接操作に応じた前記表示手段の表示及び前記触覚提示手段の動作を決定する手順と、
当該決定に基づいて、前記表示手段の表示及び前記触覚提示手段の動作を制御する手順とを実行させる。

本発明によれば、接触及び／または近接操作について設定された条件に基づいて、検知された接触及び／または近接操作に応じた表示手段の表示及び触覚提示手段の動作を制御する構成としたため、利用者が行う様々な操作のそれぞれに対応した動作を行うことができる。

本発明の表示装置の実施の一形態を示す外観斜視図である。図１に示した携帯端末の内部構成の一例を示すブロック図である。図２に示した入力判定部が有するテーブルの一例を示す図である。図１及び図２に示した携帯端末における図３に示したテーブルに基づく動作方法を説明するためのフローチャートである。図１及び図２に示した携帯端末の動作の一例を説明するための図である。図１及び図２に示した携帯端末の動作の一例を説明するための図である。図１及び図２に示した携帯端末の動作の一例を説明するための図である。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明の表示装置の実施の一形態を示す外観斜視図である。図２は、図１に示した携帯端末１の内部構成の一例を示すブロック図である。

本形態は図１及び図２に示すように、平板状の筐体２の一方の面に、接触／近接検知手段となるタッチパネル部１０と、表示手段となるディスプレイ部２０と、スピーカ部３０と、マイク部４０とが設けられているとともに、筐体２の側面にキーボタン部５０が設けられた携帯端末１である。

ディスプレイ部２０は、液晶等から構成されており、制御手段であるＣＰＵ９０の制御によって画像等の情報を表示する。

タッチパネル部１０は、ディスプレイ部２０上に設けられており、指等の接触体による接触操作が行われた場合にその接触操作を検知する。例えば、抵抗膜を用いたものや、静電容量を用いたもの等が挙げられる。

スピーカ部３０は、ＣＰＵ９０の制御によって、通信部８０を介して受信した音声や、ＣＰＵ９０のメモリ（不図示）に記憶された音声等を出力する。

マイク部４０は、音声が入力されるものである。

キーボタン部５０は、携帯端末１を操作するための情報が入力されるものである。

通信部８０は、携帯端末網を介して情報を送受信する。

触覚提示部６０は、例えば、小型の振動子等からなり、タッチパネル部１０を振動させることにより、タッチパネル部１０に接触した指等の接触体に対して、ディスプレイ部２０に表示された画像に応じた触覚をタッチパネル部１０を介して提示する。

入力判定部７０は、タッチパネル部１０に対する接触操作に応じてディスプレイ部２０の表示及び触覚提示部６０の動作を決定するためのテーブル（不図示）を有している。入力判定部７０は、このテーブルを参照して、タッチパネル部１０に対する接触操作に応じたディスプレイ部２０の表示及び触覚提示部６０の動作を決定する。

図３は、図２に示した入力判定部７０が有するテーブルの一例を示す図である。

図３に示すように、図２に示した入力判定部７０が有するテーブルには、タッチパネル部１０に対して行われた接触操作のそれぞれについて、ディスプレイ部２０の表示、並びに触覚提示部６０が行う動作が対応づけられている。すなわち、このテーブルには、ディスプレイ部２０の表示及び触覚提示部６０の動作についてのタッチパネル部１０に対する接触操作の条件が設定されていることになる。例えば、タッチパネル部１０にて接触操作が検知されてから０．５秒以内にタッチパネル部１０をなぞる操作が検知された場合は、ディスプレイ部２０にてスクロール表示またはフリックによるページ捲り等の動作が行われるとともに、触覚提示部６０においては、動作せずに触覚を提示しない動作が設定されている。なお、ディスプレイ部２０にてスクロール表示をするかフリックによるページ捲りをするかについては、タッチパネル部１０をなぞる操作による移動の速さに応じて設定されている。また、タッチパネル部１０にて接触操作が検知されてから０．５秒経過後にタッチパネル部１０をなぞる操作が検知された場合は、ディスプレイ部２０における表示を変化させることなく、触覚提示部６０が動作して触覚を提示する動作が設定されている。また、ディスプレイ部２０にて動画が再生されている状態において、タッチパネル部１０にて接触操作が検知されてから０．３秒以内に接触操作が検知されなくなると、ディスプレイ部２０に表示された動画が一時停止するとともに、触覚提示部６０においては、動作せずに触覚を提示しない動作が設定されている。また、タッチパネル部１０にてピンチイン／ピンチアウトの接触操作が検知された場合は、ディスプレイ部２０にて表示されている画像が縮小／拡大表示されるとともに、触覚提示部６０においては、動作せずに触覚を提示しない動作が設定されている。また、タッチパネル部１０にてタッチパネル部１０の１つの領域に対する接触が１秒以上継続して検知された場合は、ディスプレイ部２０にて表示されている画像が拡大表示されるとともに、触覚提示部６０においては、提示する触覚を強化する旨が設定されている。

入力判定部７０は、上述したようにテーブルにて設定された条件に基づいて、タッチパネル部１０にて検知された接触操作に応じたディスプレイ部２０の表示及び触覚提示部６０の動作を決定することになる。

ＣＰＵ９０は、メモリ（不図示）を内蔵し、携帯端末１全体を制御するものであって、入力判定部７０における決定に基づいて、ディスプレイ部２０の表示及び触覚提示部６０の動作を制御する。

以下に、上記のように構成された携帯端末１の動作方法について、図３に示したテーブルに基づく動作方法を例に挙げて説明する。

図４は、図１及び図２に示した携帯端末１における図３に示したテーブルに基づく動作方法を説明するためのフローチャートである。

携帯端末１のディスプレイ部２０に画像が表示されている状態において、利用者がタッチパネル部１０に指を触れると、タッチパネル部１０にて接触操作が検知され（ステップ１）、ＣＰＵ９０において、接触操作に応じた携帯端末１の動作の制御が開始される。

タッチパネル部１０にて接触操作が検知された後、０．３秒以内に利用者がタッチパネル部１０から指を離すことにより、タッチパネル部１０にて接触操作が検知されてから０．３秒以内に接触操作が検知されなくなると（ステップ２，３）、入力判定部７０において、図３に示したテーブルにて設定された条件に基づいて、ディスプレイ部２０に表示されている動画を一時停止させるとともに、触覚提示部６０においては触覚を提示しない動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御によって、ディスプレイ部２０にて動画が表示されている場合はその動画が一時停止する（ステップ４）。この際、触覚提示部６０が動作していない場合は、触覚提示部６０の動作を停止する制御を行う必要はないが、触覚提示部６０が動作している場合は、ＣＰＵ９０の制御によって、触覚提示部６０の動作が一時的に停止する。

また、タッチパネル部１０にて接触操作が検知されている状態において、利用者がタッチパネル部１０に触れている指を動かし、タッチパネル部１０にて接触操作が検知された領域が移動した場合（ステップ５）、入力判定部７０において、その接触操作がピンチインあるいはピンチアウトであるかが判定される（ステップ６）。接触操作がピンチインあるいはピンチアウトであるかの判定は、タッチパネル部１０にて接触操作が検知されている数が２つであり、その２つの点の位置が互いに近づく方向に向かったり、互いに離れる方向に向かったりした場合にピンチインあるいはピンチアウトであると判定する等、タッチパネル部１０を有する表示装置にて一般的に行われている技術を用いることができる。

入力判定部７０において、タッチパネル部１０に対する接触操作がピンチインであると判定された場合は、図３に示したテーブルにて設定された条件に基づいて、ディスプレイ部２０に表示された画像のうち、ピンチイン操作が行われた領域の画像を縮小表示するとともに、触覚提示部６０においては触覚を提示しない動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御によって、触覚提示部６０が動作せずに、ディスプレイ部２０に表示されている画像のうち、ピンチイン操作が行われた領域の画像が縮小表示される。また、入力判定部７０において、タッチパネル部１０に対する接触操作がピンチアウトであると判定された場合は、ディスプレイ部２０に表示された画像のうち、ピンチアウト操作が行われた領域の画像を拡大表示するとともに、触覚提示部６０においては触覚を提示しない動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御によって、触覚提示部６０が動作せずに、ディスプレイ部２０に表示されている画像のうち、ピンチアウト操作が行われた領域の画像が拡大表示される（ステップ７）。

また、タッチパネル部１０に対する接触操作がピンチイン／ピンチアウトではないと判定された場合は、入力判定部７０において、タッチパネル部１０にて接触操作が検知されてからタッチパネル部１０にて接触操作が検知された領域が移動するまでの時間が０．５秒以内であったかどうかが判定される（ステップ８）。

そして、タッチパネル部１０にて接触操作が検知されてからタッチパネル部１０にて接触操作が検知された領域が移動するまでの時間が０．５秒を超えている場合は、入力判定部７０において、図３に示したテーブルにて設定された条件に基づいて、ディスプレイ部２０に表示された画像をスクロール表示等で変化させずに、触覚提示部６０にて触覚を提示する動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御によって、ディスプレイ部２０の表示が変化せず、また、触覚提示部６０が動作し、タッチパネル部１０に接触している指に触覚が提示される（ステップ９）。触覚提示部６０は、上述したように小型の振動子等から構成されており、ＣＰＵ９０においては、タッチパネル部１０にて接触操作が検知された領域に応じた触覚提示部６０の動作が予め設定されている。例えば、触覚提示部６０が小型の振動子から構成されている場合は、タッチパネル部１０にて接触操作が検知された領域に応じて振動子の振動の大きさが設定されている。そして、ＣＰＵ９０において、振動子がその大きさで振動するように制御されることにより、利用者があたかも接触している領域に表示された画像による物体に触れているように感じさせることができる。

また、タッチパネル部１０にて接触操作が検知されてからタッチパネル部１０にて接触操作が検知された領域が移動するまでの時間が０．５秒以内である場合は、入力判定部７０において、図３に示したテーブルにて設定された条件に基づいて、ディスプレイ部２０に表示された画像について、タッチパネル部１０にて接触操作が検知された領域が移動する方向にスクロール表示するとともに、触覚提示部６０においては触覚を提示しない動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御によって、触覚提示部６０が動作せずに、ディスプレイ部２０に表示された画像が、タッチパネル部１０にて接触操作が検知された領域が移動する方向にスクロール表示される（ステップ１０）。なお、上述したようなスクロール表示ではなく、入力判定部７０において、検知された接触操作の移動の速さによってフリック操作が行われたと判定された場合に、次の項目への移行やページ捲りを行ってもよい。また、スクロール表示する場合であっても触覚を提示してもよい。その場合は、入力判定部７０にてその旨が設定されている。

ここで、上述したステップ９，１０における動作について詳細に説明する。

図５ａ〜図５ｃは、図１及び図２に示した携帯端末１の動作の一例を説明するための図である。

図５ａに示すように、ディスプレイ部２０上に画像４が表示されている状態において、タッチパネル部１０の画像４が表示された領域に指３が接触すると、タッチパネル部１０において画像４に対する接触操作が検知される。そして、タッチパネル部１０に接触している指３によってタッチパネル部１０の表面がなぞられると、入力判定部７０において、タッチパネル部１０にて接触操作が検知されてから、タッチパネル部１０の表面がなぞられて接触操作が検知された領域が移動するまでの時間が０．５秒以内であったかどうかが判定される。

そして、タッチパネル部１０にて接触操作が検知されてからタッチパネル部１０にて接触操作が検知された領域が移動するまでの時間が０．５秒を超えている場合は、図５ｂに示すように、ディスプレイ部２０に表示された画像４がスクロール表示されずに、触覚提示部６０にて画像４に応じた触覚がタッチパネル部１０を介して指３に提示されることになる。

また、タッチパネル部１０にて接触操作が検知されてからタッチパネル部１０にて接触操作が検知された領域が移動するまでの時間が０．５秒以内である場合は、図５ｃに示すように、ディスプレイ部２０に表示された画像４が、タッチパネル部１０にて接触操作が検知された領域が移動する方向にスクロール表示され、また、触覚提示部６０においては、触覚が提示されないことになる。

このように、入力判定部７０において、接触操作が行われている時間とタッチパネル部１０上における接触操作の軌跡に関する条件に基づいて、タッチパネル部１０にて検知された２つの接触操作が、互いに同一の軌跡を描くものであっても、その軌跡を描く前のタッチパネル部１０に対する接触の時間が互いに異なる場合に、ディスプレイ部１０の表示及び触覚提示部６０の動作を互いに異なるものとして決定されることになる。

また、ステップ２にて接触操作が検知されなくなったのがステップ１にて接触操作が検知されてから０．３秒を経過した後であった場合や、ステップ１にて接触操作が検知されてからタッチパネル部１０にて接触操作が検知された領域が動かない場合は、入力判定部７０において、ステップ１にて接触操作が検知された状態が１秒以上続いたかどうかが判定される（ステップ１１）。

そして、ステップ１にて接触操作が検知された状態が１秒以上続いた場合は、入力判定部７０において、図３に示したテーブルにて設定された条件に基づいて、ディスプレイ部２０に表示された画像のうちタッチパネル部１０にて接触操作が検知された領域に表示された画像を拡大表示するとともに、触覚提示部６０において、提示する触覚を強化する動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御によって、ディスプレイ部２０に表示された画像のうちタッチパネル部１０にて接触操作が検知された領域に表示された画像が拡大表示されるとともに、触覚提示部６０において、提示される触覚が強化される（ステップ１２）。なお、触覚の強化は、例えば、触覚提示部６０が上述したように小型の振動子から構成されている場合、振動子の振動を大きくすることによって指３に与える触覚を強くすること等が考えられる。

また、ステップ１にて接触操作が検知された状態が１秒以上続かなかった場合は、入力判定部７０において、触覚提示部６０にて触覚を提示する動作が決定される。そして、この決定がＣＰＵ９０に送られ、ＣＰＵ９０の制御により、接触操作が検知された領域に表示された画像に応じた触覚が触覚提示部６０によって提示される（ステップ１３）。この際、ディスプレイ部２０における表示は、ステップ１にて接触操作が検知された領域に表示された画像に応じて切り替えてもよく、表示をそのままとしてもよい。

このように、本形態においては、タッチパネル部１０に対する接触操作について、ディスプレイ部２０の表示及び触覚提示部６０の動作の条件が設定されており、この条件に基づいて、タッチパネル部１０にて検知された接触操作に応じたディスプレイ部２０の表示及び触覚提示部６０の動作が制御されるので、利用者がタッチパネル部１０に対して行うことが想定される接触操作について条件を設定しておくことにより、利用者が行う様々な操作のそれぞれに対応した動作を行うことができる。例えば、利用者がタッチパネル部１０を指でなぞった場合、それがスクロール操作なのか、それとも触覚を確かめる操作なのかを判定することができ、それに応じた動作が可能となる。その際、タッチパネル部１０に対する接触操作についての数、位置、時間、軌跡、移動の速さのうち、任意の組み合わせに応じた動作を入力判定部７０のテーブルに設定しておくことにより、タッチパネル部１０に対する接触操作についての数、位置、時間、軌跡、移動の速さ、さらにはこれらの組み合わせに応じた動作が可能となる。

なお、本形態においては、タッチパネル部１０に対する接触操作のみを用いたものを例に挙げて説明したが、利用者の指等の接触体の近接操作を検知するものを用いてもよく、また、タッチパネル部１０として、利用者の指等の接触体との距離に基づいて、接触操作のみならず近接操作を検知するものを用いてもよい。

また、ディスプレイ部２０に表示される情報としては、上記のような画像、動画の他に、通信部８０を介して受信されたブラウザ画面や電子メール画面等に表示されたものであってもよい。

また、本発明の表示装置としては、上述したような携帯端末１に限らず、情報を表示するとともに、接触及び／または近接操作を検知可能であれば適用することができる。

なお、本発明においては、携帯端末１内の処理は上述の専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを携帯端末１にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを携帯端末１に読み込ませ、実行するものであっても良い。携帯端末１にて読取可能な記録媒体とは、ＩＣカードやメモリカード、あるいは、フロッピーディスク（登録商標）、光磁気ディスク、ＤＶＤ、ＣＤ等の移設可能な記録媒体の他、携帯端末１に内蔵されたＨＤＤ等を指す。この記録媒体に記録されたプログラムは、例えば、制御ブロックにて読み込まれ、制御ブロックの制御によって、上述したものと同様の処理が行われる。

以上、実施例を参照して本願発明を説明したが、本願発明は上記実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１２年３月２日に出願された日本出願特願２０１２−０４７１４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

情報を表示する表示手段と、
前記表示手段上に設けられ、接触及び／または近接操作を検知する接触／近接検知手段と、
前記接触／近接検知手段を介して触覚を提示する触覚提示手段と、
前記接触及び／または近接操作について設定された条件に基づいて、前記接触／近接検知手段にて検知された接触及び／または近接操作に応じた前記表示手段の表示及び前記触覚提示手段の動作を決定する入力判定手段と、
前記入力判定手段における決定に基づいて、前記表示手段の表示及び前記触覚提示手段の動作を制御する制御手段とを有し、
前記入力判定手段は、前記接触及び／または近接操作についての数、位置、時間、軌跡もしくは移動の速さ、またはこれらの組み合わせに関する条件に基づいて、前記接触／近接検知手段にて検知された接触及び／または近接操作に応じた前記表示手段の表示及び前記触覚提示手段の動作を決定するものであって、前記接触／近接検知手段にて検知された２つの操作が、互いに同一の軌跡を描くものであっても、前記軌跡を描く前の前記接触及び／または近接の時間が互いに異なる場合に、前記表示手段の表示及び前記触覚提示手段の動作を互いに異なるものとして決定する表示装置。
請求項１に記載の表示装置において、
前記入力判定手段は、前記接触／近接検知手段にて検知された接触及び／または近接操作によっては、前記表示手段による表示が変化する動作と、前記触覚提示手段によって触覚を提示する動作とのうちいずれか一方しか動作させない決定をする表示装置。