JP2014063387A - 電子機器及び電子機器の制御方法 - Google Patents

電子機器及び電子機器の制御方法 Download PDF

Info

Publication number
JP2014063387A
JP2014063387A JP2012208711A JP2012208711A JP2014063387A JP 2014063387 A JP2014063387 A JP 2014063387A JP 2012208711 A JP2012208711 A JP 2012208711A JP 2012208711 A JP2012208711 A JP 2012208711A JP 2014063387 A JP2014063387 A JP 2014063387A
Authority
JP
Japan
Prior art keywords
content
tactile sensation
touched
setting
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012208711A
Other languages
English (en)
Other versions
JP2014063387A5 (ja
JP6071372B2 (ja
Inventor
Tetsuji Ishimaru
哲嗣 石丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012208711A priority Critical patent/JP6071372B2/ja
Priority to US14/031,440 priority patent/US9710062B2/en
Priority to CN201310432077.1A priority patent/CN103677262B/zh
Publication of JP2014063387A publication Critical patent/JP2014063387A/ja
Publication of JP2014063387A5 publication Critical patent/JP2014063387A5/ja
Application granted granted Critical
Publication of JP6071372B2 publication Critical patent/JP6071372B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04809Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】設定アイテムの触感と同じタイプの触感をコンテンツに与えることができるようにする。
【解決手段】表示手段に対するタッチを検出するタッチ検出手段と、前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、コンテンツに関する設定を行うための設定画面において、設定される内容を指定するための設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、前記設定画面において前記触感発生手段、前記触感発生手段を制御する制御手段とを設け、設定項目の触感と同じタイプの触感を与えることができるようにする。
【選択図】図3

Description

本発明は電子機器及び電子機器の制御方法に関し、特に、触感タッチパネルを用いた電子機器装置に用いて好適な技術に関するものである。
タッチパネルの普及により、デジタルカメラやスマートフォン等、タッチパネルを搭載した電子機器が増加している。タッチパネルを搭載した電子機器では、ユーザーの直観的操作を追及し、タップ操作、フリック操作等で電子機器の操作を実現している。また、タッチパネルの操作に合わせ、電気感覚刺激をあたえる触覚フィードバック方法が提案されている。
具体的には、電荷の強さ(電圧)と幅(周波数)をいろいろなパターンで組み合わせることで、表現したい触覚を再現し、それをコントロールモジュールに送り込んで、フィルム上に帯電させる仕組みになっている。この状態で帯電フィルムに触ると、指先に微弱な静電気の力が働いて、それが凹凸状の触感としてユーザーの指先に伝わるようにしている。
特開2009−87359号公報
しかしながら、タッチパネルの操作に合わせ、触感を与える場合、設定アイテムと触感との対応関係が不明であったので、コンテンツをタッチした時に感じた触感が何を意味するのかをユーザーは認識することができなかった。このため、触感からそのコンテンツのメタデータの内容をユーザーが認識することができないので、与えた触感の意味合いがユーザーから分かりづらい課題があった。
本発明は前述の問題点に鑑み、設定アイテムの触感と同じタイプの触感をコンテンツに与えることができるようにすることを目的とする。
本発明の電子機器は、表示手段に対するタッチを検出するタッチ検出手段と、前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、コンテンツに関する設定を行うための設定画面において、設定される内容を指定するための設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生手段を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツに設定された設定内容を指定するための設定アイテムをタッチした際と同様の触感を与えるように前記触感発生手段を制御する制御手段とを有することを特徴とする。
本発明によれば、コンテンツをタッチした場合の触感を、設定アイテムと同じタイプの触感にするようにしたので、与えた触感の意味合いをユーザーが分りやすくなる。
本発明を適用した電子機器の概略構成を示すブロック図である。 第1の実施形態を示し、画像に触感フィードバックを与える制御について説明する図である。 第1の実施形態を示し、画像に触感フィードバックを与える手順を説明するフローチャートである。 第2の実施形態を示し、画像に触感フィードバックを与える制御について説明する図である。 第2の実施形態を示し、画像に触感フィードバックを与える手順を説明するフローチャートである。 第3の実施形態を示し、GPS機能のON/OFFを選択する画面を示す図である。 第3の実施形態を示し、アプリのアイコンに触感フィードバックを与える制御手順を説明するフローチャートである。
以下、図面を参照して、本発明の各実施形態の動作を説明する。
図1は、本実施形態による電子機器としての表示制御装置100の構成例を示すブロック図である。
本実施形態の表示制御装置100は、パーソナルコンピュータ(以下、PC)などを用いて構成可能なものである。
図1に示すように、表示制御装置100は、内部バス150に対してCPU101、メモリ102、不揮発性メモリ103、画像処理部104、ディスプレイ105、操作部106、記録媒体I/F107、外部I/F109、通信I/F110が接続されている。また、本実施形態においてはシステムタイマー112、触感発生部113、撮像部114が接続されている。内部バス150に接続される各部は、内部バス150を介して互いにデータのやりとりを行うことができるようにされている。
メモリ102は、例えばRAM(半導体素子を利用した揮発性のメモリなど)からなる。CPU101は、例えば不揮発性メモリ103に格納されるプログラムに従い、メモリ102をワークメモリとして用いて、表示制御装置100の各部を制御する。不揮発性メモリ103には、画像データや音声データ、その他のデータ、CPU101が動作するための各種プログラムなどが格納される。不揮発性メモリ103は、例えばハードディスク(HD)やROMなどで構成される。
画像処理部104は、CPU101の制御に基づいて、不揮発性メモリ103や記録媒体108に格納された画像データや、外部I/F109を介して取得した映像信号、通信I/F110を介して取得した画像データなどに対して各種画像処理を施す。画像処理部104が行う画像処理には、A/D変換処理、D/A変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大/縮小処理(リサイズ)、ノイズ低減処理、色変換処理などが含まれる。
画像処理部104は、特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては画像処理部104を用いずにCPU101がプログラムに従って画像処理を施すことも可能である。
ディスプレイ105は、CPU101の制御に基づいて、画像やGUI(Graphical User Interface)を構成するGUI画面などを表示する。CPU101は、プログラムに従い表示制御信号を生成し、ディスプレイ105に表示するための映像信号を生成してディスプレイ105に出力するように表示制御装置100の各部を制御する。ディスプレイ105は、入力された映像信号に基づいて映像を表示する。なお、表示制御装置100自体が備える構成としてはディスプレイ105に表示させるための映像信号を出力するためのインターフェースまでとし、ディスプレイ105は外付けのモニタ(テレビなど)で構成してもよい。
操作部106は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネル106aといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザー操作を受け付けるための入力デバイスである。なお、タッチパネル106aは、ディスプレイ105に重ね合わせて平面的に構成され、接触された位置に応じた座標情報が出力されるようにした入力デバイスである。
記録媒体I/F107は、メモリーカードやCD、DVDといった記録媒体108が装着可能なインターフェースである。CPU101の制御に基づき、装着された記録媒体108からのデータの読み出しや、当該記録媒体108に対するデータの書き込みを行うために用いられる。外部I/F109は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインターフェースである。
通信I/F110は、外部機器やインターネット111などと通信して、ファイルやコマンドなどの各種データの送受信を行うためのインターフェースである。
システムタイマー112は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
CPU101は、タッチパネル106aへの以下の操作/状態を検出できる。
・タッチパネル106aを指やペンで触れたこと(以下、タッチダウンと称する)。
・タッチパネル106aを指やペンで触れている状態であること(以下、タッチオンと称する)。
・タッチパネル106aを指やペンで触れたまま移動していること(以下、ムーブと称する)。
・タッチパネルへ触れていた指やペンを離したこと(以下、タッチアップと称する)。
・タッチパネルを触れたままタッチパネルに何も触れていない状態(以下、タッチオフと称する)。
・2箇所で同時にタッチオンであり、タッチされている2点間の距離が狭まること(以下、ピンチインと称する)。
・2箇所で同時にタッチオンであり、タッチされている2点間の距離が広がること(以下、ピンチアウトと称する)。
また、タッチダウン、タッチアップを複数点で行うことをそれぞれマルチタッチダウン、マルチタッチアップと称する。複数点での操作をマルチタッチ、複数点でタッチオンであることをマルチタッチオンと称する。
これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バス150を通じてCPU101に通知され、CPU101は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。
ムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。また、タッチパネル上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。
フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。
また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネル106aは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いてもよい。
触感発生部113は、タッチパネル106にタッチしているユーザーの指に触感刺激を与えるための触感を発生させるデバイスである。触感発生部113としては、振動触感発生方式によるものと、電気的触感発生方式によるものの何れか一方、あるいは両方を採用可能である。
振動触感発生方式では、ディスプレイ105(タッチパネル106a)背面の上部、下部、左部、右部、中心部にそれぞれ偏心モータあるいは圧電素子(これらが触感発生部113に相当する)が配置される。そして、各モータに電流を流すか、あるいは各圧電素子に電圧を印加することによってディスプレイ105の各部位毎に操作部106を振動させる。
モータに流す電流あるいは圧電素子に印加する電圧をCPU101で制御することによって、各部分に対して振幅や周期の異なる種々の振動を発生させ、タッチパネル106aをタッチするユーザーの手に様々な触感を与えることが可能である。
電気的触感発生方式による触感発生部113は、導電層パネルと絶縁体パネルからなり、導電層に正電荷をチャージすることができる。この二枚のパネルは、タッチパネルと同様なディスプレイ105に重ね合わせて平面的に構成され、ユーザーが絶縁体パネルを触ると、導電層パネルにチャージされた正電荷によって電気的刺激を与えることができる。
また、クーロン力により皮膚が引っ張られるような感覚を与えることが可能である。導電層パネルにチャージされる正電荷は、導電層パネル上の位置毎にチャージする、しないを選択可能である。これをCPU101によって制御することで、タッチパネル106aに触れているユーザーの指等のオブジェクトに対して「ザラザラ感」、「ゴツゴツ感(ザラザラより更に粗い触感)」等を与えることができる。
また、導電層パネル上の位置毎に正電荷をチャージすることにより、触れている箇所全体ではなく、局所的に触感を与えることや、一接触面内で触感を与える位置を変更することもでき、様々な触感をユーザーに与えることが可能である。
以下、前述のハードウェア構成を用いて実現可能な各実施形態について説明する。なお、後述の第3の実施形態では、図1のハードウェア構成に加えて、電話通信を行うための通信部、GPS衛星からGPS情報を取得するための位置情報取得部を更に有するものとする。
(第1の実施形態)
第1の実施形態では、図2(a)、図2(c)に基づいて、本発明を実施したデジタルカメラにおいて、ビットレート情報を用いた、画像に触感フィードバックを与える制御について説明する。
図2(a)は、ディスプレイ105に表示された画像撮影時に用いるビットレートを選択する画面を示す図である。この画面は、動画の撮影前に、撮影設定メニューからビットレート選択画面を開くことにより表示される画面である。
ビットレートの種類として、MXP(約24Mbps)、FXP(約17Mbps)、XP+(約12Mbps)、SP(約7Mbps)、LP(約5Mbps)の5種類が選択項目として表示されている。また、ビットレートの種類に応じて記録画素も異なり、MXP/FXPの動画記録画素は1,920×1,080画素、その他は1,440×1,080画素である。
それぞれの項目の表示領域(画面下部の5種類のビットレート設定アイコン)にタッチした時の触覚フィードバック情報として記憶している。具体的には、図2(b)のように、つるつる感(大)、つるつる感(小)、触感無し、ざらざら感(小)、ざらざら感(大)を予め定義したビットレートと触感の対応情報を不揮発性メモリ103に記憶している。
CPU101は、各設定アイコンがタッチされた際に、タッチされた領域に応じて定義した触感を与えるように触感発生部113を制御する。また、画面下部の5種類のビットレート設定アイコンのいずれかがタップされると、タップされた設定アイコンのビットレートを動画撮影時の動画の記録ビットレートとして設定する。
図2(c)は、再生モードにおいて、撮影済の画像を一覧表示している画面を示す図である。図2(c)の画像201は、ビットレートSPで撮影された画像、画像202は、ビットレートMXPで撮影された画像である。
画像201をタッチした時の触感は、図2(a)でのSP項目と同じざらざら感(小)の触感を与える。また、画像202をタッチした時の触感は、図2(a)でのMXP項目と同じつるつる感(大)の触感を与える。
これにより、画像をタッチした時に撮影されたビットレートを認識することが可能となる。
次に、図3に基づいて、本発明を実施したデジタルカメラにおいて、ビットレート情報を用いた、画像に触感フィードバックを与える制御のフローチャートについて説明する。この処理は、不揮発性メモリ103に記録されたプログラムをメモリ102に展開してCPU101が実行することにより実現する。
S301では、CPU101は、タッチパネル106aのうち、コンテンツを表わすコンテンツ画面において、画像の表示領域(コンテンツ領域)に対応する位置でタッチオンとなったか否かを判定する。コンテンツ領域に対するタッチダウン、あるいはコンテンツ領域外がタッチされた状態からコンテンツ領域内にムーブしてきた場合にコンテンツ領域でタッチオンであると判定するタッチ検出を行う。コンテンツ領域にタッチオンであると判定した場合はS302に進み、そうでない場合はS301で待機する。
S302では、CPU101が、タッチされた座標をもとに、画像(コンテンツ)を特定し、特定された画像のメタデータから画像に付帯されたビットレート情報を取得する。CPU101がビットレート情報を取得するとS303へ進む。
S303では、CPU101は、不揮発性メモリ103に記憶しているビットレートと触感の対応情報を参照して、S302で取得したビットレート情報に定義づけられた触感の種類(パターン)を取得する。
S304では、CPU101がS303で取得した種類の触感を発生させるための情報を触感発生部113へ送ることにより、触感発生部113にS303で取得した種類の触感を発生させる。この時、触感はタッチパネル106aの全体に発生させてもよいし、部分的に触感を発生させられる場合には、タッチされているコンテンツ領域の範囲のみに触感を発生させてもよい。
S305では、CPU101は、S302で特定した画像の領域(コンテンツ領域)に対するタッチオンが継続しているか否かを判定する。コンテンツ領域からのタッチアップ、あるいはコンテンツ領域外へのムーブがあると、コンテンツ領域へのタッチオンが無くなったと判定する。コンテンツ領域に対するタッチオンが継続している場合はS304に戻って引き続き触感を発生させ、タッチオンしていないと判定した場合はS306に進み、触感発生部113での触感の発生を終了させ、処理を終了する。
なお、前述したフローチャートではコンテンツ領域に対するタッチオンがあった場合に触感を発生させる例を説明した。この他に、タッチパネル106aの部分毎に異なる触感を同時に発生させられる場合には、タッチされる前から、各コンテンツ領域別に、各コンテンツのビットレートに応じた触感を発生させておいてもよい。
第1の実施形態によれば、ユーザーは、再生時のコンテンツ一覧画面でコンテンツをタッチした際に、そのコンテンツを記録する前の設定画面で一度経験したことのある触感を感じることができる。そのため、コンテンツをタッチした時に感じた触感が何を意味するのかを認識することができ、触感からそのコンテンツのメタデータの内容を認識することができる。
(第2の実施形態)
第1の実施形態では、本発明を実施したデジタルカメラにおいて、ビットレート情報を用いた、画像に触感フィードバックを与える制御について説明した。
これに対して本実施形態では、本発明を実施したデジタルカメラにおいて、記録フォーマット情報を用いた、画像に触感フィードバックを与える制御について説明する。
図4(a)は、ディスプレイ105に表示された画像撮影時に用いる記録フォーマットを選択する画面を示す図である。この画面は、動画の撮影前に、撮影設定メニューから記録フォーマット選択画面を開くことにより表示される画面である。
図4(a)に示すように、記録フォーマットの種類として、AVCHD(Advanced Video Codec High Definition)、MP4、静止画の種類が設定される内容を指定するための設定アイテムがコンテンツアイテム(設定項目)として表示されている。それぞれの項目の表示領域(画面下部の3種類の記録フォーマット設定アイコン)にタッチした時の触覚フィードバック情報を図4(b)に示す。図4(b)のように、つるつる感、触感無し、ざらざら感を予め定義した記録フォーマットと触感の対応情報を不揮発性メモリ103に記憶している。
CPU101は、各設定アイコンがタッチされた際に、タッチされた領域に応じて定義した触感を与えるように触感発生部113を制御する。また、画面下部の3種類の記録フォーマット設定アイコンのいずれかがタップされると、タップされた設定アイコンの記録フォーマットを、画像撮影時の記録フォーマットとして設定する。
図4(c)は、再生モードにおいて、撮影済みの画像を一覧表示している画面を示す図である。図4(c)の画像401は、AVCHDフォーマットで撮影された画像、画像402は、MP4フォーマットで撮影された画像である。
画像401をタッチダウンした時の触感は、図4(a)でのAVCHD項目と同じつるつる感の触感を与える。また、画像402をタッした時の触感は、図4(a)でのMP4項目と同じ触感無しである。
これにより、画像をタッチダウンした時に記録フォーマットをユーザーが認識することが可能となる。
次に、図5に基づいて、本発明を実施したデジタルカメラにおいて、記録フォーマット情報を用いた、画像に触感フィードバックを与える制御のフローチャートについて説明する。この処理は、不揮発性メモリ103に記録されたプログラムをメモリ102に展開してCPU101が実行することにより実現する。
S501では、CPU101は、タッチパネル106aのうち、画像の表示領域(コンテンツ領域)に対応する位置でタッチオンとなったか否かを判定する。コンテンツ領域に対するタッチダウン、あるいはコンテンツ領域外がタッチされた状態からコンテンツ領域内にムーブしてきた場合にコンテンツ領域でタッチオンであると判定するタッチ検出を行う。コンテンツ領域にタッチオンであると判定した場合はS502に進み、そうでない場合はS501で待機する。
S502では、CPU101が、タッチされた座標をもとに、画像(コンテンツ)を特定し、特定された画像のファイル拡張子からコンテンツの記録フォーマットを判別する。CPU101が記録フォーマットを判別すると、S503へ進む。
S503では、CPU101は、不揮発性メモリ103に記憶している記録フォーマットと触感の対応情報を参照して、S502で判別した記録フォーマットに定義づけられた触感の種類を取得する。
S504では、CPU101がS503で取得した種類の触感を発生させるための情報を触感発生部113に送ることにより、触感発生部113にS503で取得した種類の触感を発生させる。この時、触感はタッチパネル106aの全体に発生させてもよいし、部分的に発生させてもよい。部分的に触感を発生させられる場合には、タッチされているコンテンツ領域の範囲のみに触感を発生させてもよい。
S505では、CPU101は、S502で特定した画像の領域(コンテンツ領域)に対するタッチオンが継続しているか否かを判定する。コンテンツ領域からのタッチアップ、あるいはコンテンツ領域外へのムーブがあると、コンテンツ領域へのタッチオンが無くなったと判定する。コンテンツ領域に対するタッチオンが継続している場合はS504に戻って引き続き触感を発生させ、タッチオンしていないと判定した場合はS506に進み、触感発生部113での触感の発生を終了させ、処理を終了する。
なお、前述したフローチャートではコンテンツ領域に対するタッチオンがあった場合に触感を発生させる例を説明した。この他に、タッチパネル106aの部分毎に異なる触感を同時に発生させられる場合には、タッチされる前から、各コンテンツ領域別に、各コンテンツの記録フォーマットに応じた触感を発生させておいてもよい。
また、タッチされたコンテンツに関して複数の情報を触感で通知することも可能である。例えば、第1の実施形態のようにコンテンツのビットレートと、第2の実施形態のようにコンテンツの記録フォーマットとの2つを触感で通知することも可能である。その場合は、コンテンツ領域がタッチされている際に、それぞれの設定状態に定義づけられた触感を交互に発生させる。
第2の実施形態でも、ユーザーは、再生時のコンテンツ一覧画面でコンテンツをタッチした際に、そのコンテンツを記録する前の設定画面で一度経験したことのある触感を感じることができる。そのため、コンテンツをタッチした時に感じた触感が何を意味するのかを認識することができ、触感からそのコンテンツのメタデータの内容を認識することができる。
(第3の実施形態)
第1の実施形態、第2の実施形態では、本発明を実施したデジタルカメラにおいて、画像に触感フィードバックを与える制御について説明した。
これに対して本実施形態では、本発明を実施した携帯電話端末において、GPS情報を用いることのできるアプリケーションソフト(以下、アプリと称する)の起動アイコンに触感フィードバックを与える制御について説明する。
図6(a)は、地図アプリについて、GPS機能のON/OFFを選択する画面を示す図である。
GPS機能は、ON、OFFの種類がある。それぞれの項目の表示領域(画面下部のONボタンあるいはOFFボタン)にタッチした時の触覚フィードバック情報として、図6(b)のように、触感無し、ざらざら感を予め定義したGPS設定と触感の対応情報を不揮発性メモリ103に記憶している。
CPU101は、各ボタンがタッチされた際に、タッチされたボタンに応じて定義した触感を与えるように触感発生部113を制御する。また、画面下部の2種類のボタンのいずれかがタップされると、タップされたボタンに応じて、GPS設定のON(GPS位置情報を利用する)、GPS設定のOFF(GPS位置情報を利用しない)のいずれかを、対象の地図アプリに設定する。同様の設定を、GPS情報を利用可能なアプリ毎に行うことが可能であり、本実施の形態では、電話アプリ、メールアプリ、カレンダーアプリでもそれぞれGPS位置情報を利用するかしないかを設定可能であるものとする。
図6(c)は、ユーザーが任意のアプリを起動するための、ディスプレイ105におけるアプリ一覧画面の表示例を示す図である。図6(c)の地図アプリケーションソフトをタッチした時の触感は、図6(a)で説明したGPS機能の設定状態に依存し、GPS機能がONであれば、触感なし、GPS機能がOFFであればざらざら感の触感を与える。
これにより、地図アプリの起動アイコンをタッチした時にGPS機能の設定状態を認識することが可能となる。すなわち、地図アプリを起動しなくとも地図アプリでのGPS設定を認識できる。
次に、図7に基づいて、本発明を実施した携帯電話において、GPS情報を用いた、アプリケーションソフトに触感フィードバックを与える制御のフローチャートについて説明する。この処理は、不揮発性メモリ103に記録されたプログラムをメモリ102に展開してCPU101が実行することにより実現する。
S701では、CPU101は、タッチパネル106aのうち、いずれかのアプリ起動アイコンの表示領域(アプリアイコン)に対応する位置でタッチオンとなったか否かを判定する。アプリアイコンに対するタッチダウン、あるいはアプリアイコン外がタッチされた状態からアプリアイコン内にムーブしてきた場合にアプリアイコンでタッチオンであると判定するタッチ検出を行う。アプリアイコンにタッチオンであると判定した場合はS702に進み、そうでない場合はS701で待機する。
S702では、CPU101が、タッチされた座標をもとに、アプリケーションソフトを特定する。そして、アプリケーションソフトがGPS情報を利用可能な特定のアプリケーションソフトである(例えば地図アプリである)と判断すれば、そのアプリでのGPSの設定状態を判別する。CPU101がGPSの設定状態を判別すると、S703へ進む。
S703では、CPU101は、は、不揮発性メモリ103に記憶しているGPS設定と触感の対応情報を参照して、S702で判別したGPSの設定状態に定義づけられた触感の種類を取得する。
S704では、CPU101がS703で取得した種類の触感を発生させるための情報を触感発生部113へ送ることにより、触感発生部113にS703で取得した種類の触感を発生させる。この時、触感はタッチパネル106aの全体に発生させてもよいし、部分的に触感を発生させられる場合には、タッチされているコンテンツ領域の範囲のみに触感を発生させてもよい。
S705では、CPU101は、S702で特定したアプリアイコンに対するタッチオンが継続しているか否かを判定する。アプリアイコンからのタッチアップ、あるいはアプリアイコン外へのムーブがあると、アプリアイコンへのタッチオンが無くなったと判定する。アプリアイコンに対するタッチオンが継続している場合はS704に戻って引き続き触感を発生させ、タッチオンしていないと判定した場合はS706に進み、触感発生部113での触感の発生を終了させ、処理を終了する。
なお、前述したフローチャートでは、アプリアイコンに対するタッチオンがあった場合に触感を発生させる例を説明した。この他に、タッチパネル106aの部分毎に異なる触感を同時に発生させられる場合には、タッチされる前から、各アプリアイコン別に、各アプリケーションのGPS設定に応じた触感を発生させておいてもよい。
また、前述の例では、GPS設定についての例を説明したが、設定時とアプリアイコンのタッチ時とで同様の触感をフィードバックを発生させるものであればよく、GPU設定に限定されない。各アプリに関する設定内容であれば他の設定内容についても同様に実施可能である。また、複数の設定項目についての設定状態(例えばGPS設定がONである旨と、電話帳の参照機能がONである旨)を触感で通知することも可能である。その場合は、アプリアイコンがタッチされている際に、それぞれの設定状態に定義づけられた触感を交互に発生させる。
第3の実施形態によれば、ユーザーは、アプリアイコンの一覧画面でアプリアイコンをタッチした際に、そのアプリについての機能設定の設定画面で一度経験したことのある触感を感じることができる。そのため、アプリアイコンをタッチした時に感じた触感が何を意味するのかを認識することができ、触感からそのアプリの設定状態を認識することができる。
なお、前述した実施形態は、アプリに限らず、特定の機能に対する設定状態を触感で通知させる場合にも適用可能である。例えば、機能を実行させるための表示領域にタッチした際に、当該機能についての設定画面で当該機能に関する設定を行うためのタッチ領域と同様の触感を発生させる。このようにすることで、機能を実行させるための表示領域にタッチした際に感じる触感から、その機能に関する現在の設定状態を認識することができる。
例えば、撮影を行う際にセルフタイマー撮影機能を発動させるためのセルフタイマーボタンにタッチすると、設定されているセルフタイマー秒時に応じた触感を発生させる。このときの触感が、セルフタイマー秒時を設定する画面における、各秒時設定ボタンをタッチした際と同様の触感となるようにする。このようにすれば、セルフタイマーボタンをタッチした時に感じる触感から、現在セルフタイマー撮影でのタイマー秒時が何秒に設定されているのかを認識することができる。
前述した実施形態においては、設定アイテムとして、ビットレート、記録フォーマットを用いた例を示したが、動画において、単位時間あたりの映像が処理されるフレームレートを用いてもよい。
なお、前述した図3、図5、図7のフローチャートの制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。前述の実施形態の一部を適宜組み合わせてもよい。
また、本発明はタッチ入力可能な表示制御装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやPDA、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
100 表示制御装置
101 CPU
102 メモリ
103 不揮発性メモリ
104 画像処理部
105 ディスプレイ
106 操作部
106a タッチパネル
107 記録媒体I/F
108 記録媒体
109 外部I/F
110 通信I/F
150 内部バス

Claims (8)

  1. 表示手段に対するタッチを検出するタッチ検出手段と、
    前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生手段と、
    コンテンツに関する設定を行うための設定画面において、設定される内容を指定するための設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御手段と、
    前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生手段を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツに設定された設定内容を指定するための設定アイテムをタッチした際と同様の触感を与えるように前記触感発生手段を制御する制御手段
    とを有することを特徴とする電子機器。
  2. 前記コンテンツとは、画像であることを特徴とする請求項1に記載の電子機器。
  3. 前記コンテンツとは、アプリケーションソフトのアイコンであることを特徴とする請求項1に記載の電子機器。
  4. 前記設定アイテムとは、ビットレート、フレームレート、記録フォーマットの選択項目であり、画像に関する項目であることを特徴とする請求項1〜3の何れか1項に記載の電子機器。
  5. 前記オブジェクトは、ユーザーの指であることを特徴とする請求項1〜4の何れか1項に記載の電子機器。
  6. 表示手段に対するタッチを検出するタッチ検出工程と、
    前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生工程と、
    コンテンツに関する設定を行うための設定画面において、設定される内容を指定するための設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御工程と、
    前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生工程を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツに設定された設定内容を指定するための設定アイテムをタッチした際と同様の触感を与えるように前記触感発生工程を制御する制御工程
    とを有することを特徴とする電子機器の制御方法。
  7. 表示手段に対するタッチを検出するタッチ検出工程と、
    前記表示手段にタッチしたオブジェクトに与える触感を発生させる触感発生工程と、
    コンテンツに関する設定を行うための設定画面において、設定される内容を指定するための設定アイテムを表示し、コンテンツを表わすコンテンツ画面において、コンテンツを表すコンテンツアイテムを表示するように前記表示手段を制御する表示制御工程と、
    前記設定画面において前記設定アイテムをタッチしたオブジェクトに、タッチされた設定アイテムに応じた触感を与えるように前記触感発生工程を制御し、前記コンテンツ画面において前記コンテンツアイテムをタッチしたオブジェクトに、該タッチされたコンテンツに設定された設定内容を指定するための設定アイテムをタッチした際と同様の触感を与えるように前記触感発生工程を制御する制御工程をコンピュータに実行させることを特徴とするプログラム。
  8. 請求項7に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2012208711A 2012-09-21 2012-09-21 電子機器及び電子機器の制御方法 Active JP6071372B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012208711A JP6071372B2 (ja) 2012-09-21 2012-09-21 電子機器及び電子機器の制御方法
US14/031,440 US9710062B2 (en) 2012-09-21 2013-09-19 Electronic apparatus and method for controlling electronic apparatus to provide tactile sensation feedback
CN201310432077.1A CN103677262B (zh) 2012-09-21 2013-09-22 电子设备和电子设备的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012208711A JP6071372B2 (ja) 2012-09-21 2012-09-21 電子機器及び電子機器の制御方法

Publications (3)

Publication Number Publication Date
JP2014063387A true JP2014063387A (ja) 2014-04-10
JP2014063387A5 JP2014063387A5 (ja) 2015-11-05
JP6071372B2 JP6071372B2 (ja) 2017-02-01

Family

ID=50315070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012208711A Active JP6071372B2 (ja) 2012-09-21 2012-09-21 電子機器及び電子機器の制御方法

Country Status (3)

Country Link
US (1) US9710062B2 (ja)
JP (1) JP6071372B2 (ja)
CN (1) CN103677262B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017001231A (ja) * 2015-06-08 2017-01-05 京セラドキュメントソリューションズ株式会社 画像形成装置、及び質感出力装置
JPWO2016038676A1 (ja) * 2014-09-09 2017-04-27 三菱電機株式会社 触感制御システムおよび触感制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014049392A1 (en) * 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
KR101846256B1 (ko) * 2014-05-09 2018-05-18 삼성전자주식회사 필기감을 제공하는 촉각 피드백 장치 및 방법
CN103995591B (zh) 2014-05-16 2017-03-01 北京智谷睿拓技术服务有限公司 产生触感反馈的方法和设备
US11023655B2 (en) * 2014-06-11 2021-06-01 Microsoft Technology Licensing, Llc Accessibility detection of content properties through tactile interactions
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
US10261582B2 (en) 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
DK179630B1 (en) * 2016-09-06 2019-03-05 Apple Inc. Devices, methods and graphical user interfaces for providing feedback during interaction with an intensity sensitive button
DK201670728A1 (en) 2016-09-06 2018-03-19 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Feedback During Interaction with an Intensity-Sensitive Button

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031918A (ja) * 2003-07-10 2005-02-03 Ntt Docomo Inc タッチパネルディスプレイ装置
JP2005085201A (ja) * 2003-09-11 2005-03-31 Ishida Co Ltd 商品情報処理装置
JP2006171945A (ja) * 2004-12-14 2006-06-29 Canon Inc 画像処理装置
JP2006195768A (ja) * 2005-01-14 2006-07-27 Alps Electric Co Ltd 入力装置付き表示装置
JP2007215051A (ja) * 2006-02-10 2007-08-23 Softbank Mobile Corp 情報通信端末
JP2008282125A (ja) * 2007-05-09 2008-11-20 Sony Corp 電子機器
US20090167704A1 (en) * 2007-12-31 2009-07-02 Apple Inc. Multi-touch display screen with localized tactile feedback
JP2012520137A (ja) * 2009-03-12 2012-09-06 イマージョン コーポレイション テクスチャエンジン用のシステム及び方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030040361A1 (en) * 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US20090322499A1 (en) * 1995-06-29 2009-12-31 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US6161126A (en) * 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6125385A (en) * 1996-08-01 2000-09-26 Immersion Corporation Force feedback implementation in web pages
US8020095B2 (en) * 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP4298387B2 (ja) * 2003-06-09 2009-07-15 キヤノン株式会社 データ記録装置
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
KR101580227B1 (ko) 2007-09-18 2015-12-24 센세그 오와이 감지 자극에 대한 장치 및 방법
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8174372B2 (en) 2008-06-26 2012-05-08 Immersion Corporation Providing haptic feedback on a touch surface
CN102043465A (zh) 2009-10-12 2011-05-04 三星电机株式会社 触觉反馈装置和电子装置
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US8811948B2 (en) * 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005031918A (ja) * 2003-07-10 2005-02-03 Ntt Docomo Inc タッチパネルディスプレイ装置
JP2005085201A (ja) * 2003-09-11 2005-03-31 Ishida Co Ltd 商品情報処理装置
JP2006171945A (ja) * 2004-12-14 2006-06-29 Canon Inc 画像処理装置
JP2006195768A (ja) * 2005-01-14 2006-07-27 Alps Electric Co Ltd 入力装置付き表示装置
JP2007215051A (ja) * 2006-02-10 2007-08-23 Softbank Mobile Corp 情報通信端末
JP2008282125A (ja) * 2007-05-09 2008-11-20 Sony Corp 電子機器
US20090167704A1 (en) * 2007-12-31 2009-07-02 Apple Inc. Multi-touch display screen with localized tactile feedback
JP2012520137A (ja) * 2009-03-12 2012-09-06 イマージョン コーポレイション テクスチャエンジン用のシステム及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016038676A1 (ja) * 2014-09-09 2017-04-27 三菱電機株式会社 触感制御システムおよび触感制御方法
JP2017001231A (ja) * 2015-06-08 2017-01-05 京セラドキュメントソリューションズ株式会社 画像形成装置、及び質感出力装置

Also Published As

Publication number Publication date
US20140089791A1 (en) 2014-03-27
CN103677262B (zh) 2017-03-15
JP6071372B2 (ja) 2017-02-01
CN103677262A (zh) 2014-03-26
US9710062B2 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
JP6071372B2 (ja) 電子機器及び電子機器の制御方法
KR101749126B1 (ko) 화상 처리장치, 촉감 제어방법 및 기록매체
US20200257415A1 (en) Identifying applications on which content is available
JP6381240B2 (ja) 電子機器、触感制御方法及びプログラム
RU2672134C2 (ru) Портативный терминал и способ обеспечения тактильного эффекта для блока ввода
JP6300604B2 (ja) 触感制御装置、触感制御方法及びプログラム
US20140362274A1 (en) Device, method, and graphical user interface for switching between camera interfaces
JP2015118605A (ja) 触感制御装置、制御方法及びプログラム
JP6289100B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9405370B2 (en) Electronic device and control method thereof
KR20150007799A (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
WO2017146919A1 (en) Motion-based configuration of a multi-user device
JP6004693B2 (ja) 表示制御装置及びその制御方法
US10691333B2 (en) Method and apparatus for inputting character
JP2015130006A (ja) 触感制御装置、触感制御方法及びプログラム
JP6061528B2 (ja) 操作装置、その制御方法及びプログラム並びに記録媒体
JP2013161181A (ja) 表示制御装置および表示制御装置の制御方法
JP2016009315A (ja) 触感制御装置、触感制御方法及びプログラム
CN104793736B (zh) 电子装置及其控制方法
JP6779778B2 (ja) 表示制御装置およびその制御方法
JP6433144B2 (ja) 電子機器、触感制御方法及びプログラム
JP7077024B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
JP2018132831A (ja) 電子機器、電子機器の制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R151 Written notification of patent or utility model registration

Ref document number: 6071372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151