JP6061528B2 - 操作装置、その制御方法及びプログラム並びに記録媒体 - Google Patents

Description

本発明は、タッチパネルを用いた操作装置、その制御方法及びプログラム並びに記録媒体に関する。

近年、表示部にタッチパネルを積層し、表示内容の変更により自在に操作対象又は操作内容を変更可能な操作装置が実用化されている。このような操作装置では、表示画面上のボタンやフォルダなどにタッチ操作することで、様々な機能を指示できる。また、表示内容を変更することで、操作内容を状況に応じて変更できる。

携帯機器では、本体そのものを小さくせざるを得ないことから、本体に装備される表示パネルも小さくなってきている。同時に表示可能な項目数は表示画面サイズにより制限されるので、例えば、複数のアイコン又はサムネイルをフォルダに収容してグループ化することが行われる。その際、グループ内のサムネイル画像を重ねて表示したり視覚的に変化をつけて、各サムネイルを識別できるように表示する技術が知られている（特許文献１）。

特開２０００−２７６４７４号公報

特許文献１に記載の技術をタッチパネルに適用した場合、画面上に操作のための指が常駐することになり、個々のアイコン等又はその視覚的変化を視認することが難しい。視覚的な認識を可能にするには、アイコン等の表示サイズをある程度大きくする必要があるが、表示パネルのサイズにより制約される。

本発明は、上記課題に鑑み、フォルダ等にまとめられた複数のアイコン又はその状態変化を視覚によらず認識可能にした操作装置、その制御方法及びプログラム並びに記録媒体を提示することを目的とする。

本発明に係る操作装置は、コンテンツを収容可能な複数のフォルダを表示手段に表示するように制御する表示制御手段と、前記表示手段に対するタッチ操作を検知する検知手段と、前記表示手段に表示されるフォルダの位置がタッチされたことに応じてユーザが触感として感知可能な刺激を発生させる触感発生手段と、前記複数のフォルダに収容されるコンテンツの検索条件を選択する選択手段と、フォルダのそれぞれに収容される、前記選択手段により選択された前記検索条件を満たすコンテンツの数を検出する検出手段と、前記表示手段に表示される前記複数のフォルダとは異なるアイコンの位置がタッチされたことに応じて所定の触感を発生させ、前記複数のフォルダの何れかがタッチされたことに応じて、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出手段より検出された前記検索条件を満たすコンテンツの数に応じた触感を発生させるように前記触感発生手段を制御する制御手段とを有し、前記制御手段は、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出手段により検出された前記検索条件を満たすコンテンツの数が０の場合には、前記所定の触感を発生させるように前記触感発生手段を制御することを特徴とする。

本発明によれば、本発明は、表示部に表示されたグループに含まれるコンテンツ数を、そのコンテンツ数に応じた触感でユーザに知らせることができる。

本発明の一実施例の概略構成ブロック図である。 ディスプレイの表示画面例である。 コンテンツ数とフィードバックする触感強度の対応表である。 触感フィードバック処理のフローチャートである。 ディスプレイでの検索結果の表示画面例である。 検索結果に対するコンテンツ数とフィードバックする触感強度の対応表である。 検索結果に対する触感フィードバック処理のフローチャートである。 触感フィードバックの強度設定画面例である。 コンテンツ数とフィードバックする触感強度の変更後の対応表である。 検索結果に対するコンテンツ数とフィードバックする触感強度の変更後の対応表である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例の概略構成ブロック図である。携帯情報処理装置１００は、スマートフォン、電子辞書、電子書籍リーダ又はＰＤＡ（Personal digital Assistant）等として利用される得るものであり、パーソナルコンピュータ（以下、ＰＣと略す）と同様の構成要素で実現されうる。

ＣＰＵ１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、ディスプレイ（表示部）１０５、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９及び通信Ｉ／Ｆ１１０が内部バス１５０に接続する。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりできる。

メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリなど）からなる。ＣＰＵ１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、携帯情報処理装置１００の各部を制御する。不揮発性メモリ１０３には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラムなどが格納される。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）、フラッシュメモリ又はＲＯＭなどで構成される。

画像処理部１０４は、Ａ／Ｄ変換部、Ｄ／Ａ変換部、圧縮伸長処理部、拡大／縮小処理（リサイズ）部、ノイズ低減処理部及び色変換処理部などを含み、ＣＰＵ１０１の制御に基づく画像処理を画像データに施す。処理対象は、例えば、不揮発性メモリ１０３又は記録媒体１０８に格納された画像データ、外部Ｉ／Ｆ１０９を介して取得した映像信号の画像データ、及び通信Ｉ／Ｆ１１０を介して取得した画像データなどである。画像処理部１０４の一部又は全部の機能を、対応する処理を施す専用ハードウエアとしても良い。更には、画像処理部１０４の一部又は全部の機能を、ＣＰＵ１０１上で動作するプログラムにより実現してもよい。

ディスプレイ１０５は、ＣＰＵ１０１の制御に基づいて、画像と、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面などを表示する。ＣＰＵ１０１は、プログラムに従い表示制御信号を生成し、ディスプレイ１０５に表示するための映像信号を生成してディスプレイ１０５に出力するように携帯情報処理装置１００の各部を制御する。ディスプレイ１０５は入力する映像信号に基づく画像を表示する。

操作部１０６は、ユーザ操作を受け付けるための入力デバイスである。操作部１０６は、キーボードなどの文字情報入力デバイス、マウス等のポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ及びタッチパッドなどを含む。操作部１０６はまた、ディスプレイ１０５の表示画面上に重ね合わせて配置され、ユーザのタッチ位置に応じた二次元座標値を出力するタッチパネル１０６ａを具備する。

記憶媒体Ｉ／Ｆ１０７には、メモリーカード、ＣＤ又はＤＶＤといった記録媒体１０８が接続可能である。ＣＰＵ１０１は、記録媒体Ｉ／Ｆ１０７を介して、記録媒体１０８にデータを読み書きできる。外部Ｉ／Ｆ１０９は、外部機器と有線ケーブル又は無線によって接続して、映像信号又は音声信号を入出力するインターフェースである。通信Ｉ／Ｆ１１０は、外部機器やインターネット１１１などと通信して、ファイルやコマンドなどの各種データの送受信を行うインターフェースである。

システムタイマ１１２は、現在時刻を計時する計時手段であり、ＣＰＵ１０１は、その出力時刻情報を使って経過時間等を計測する。

ここでは、タッチパネル１０６ａを指又はスタイラスペン（以下、「指」と略す）で触れることを「タッチダウン」と称する。タッチパネル１０６ａを指で触れている状態を「タッチオン」と称する。タッチパネル１０６ａを指で触れたまま移動することを「ムーブ」と称する。タッチパネル１０６ａに触れていた指をタッチパネル１０６ａから離す動作を「タッチアップ」と称する。タッチパネル１０６ａに何も触れていない状態を「タッチオフ」と称する。タッチパネル１０６ａの２箇所で同時にタッチオンであり、タッチしている２点を互いに近づける動作を「ピンチイン」と称する。タッチパネル１０６ａの２箇所で同時にタッチオンであり、タッチしている２点間を互いに遠ざける動作を「ピンチアウト」と称する。

また、タッチダウンを複数点で行うことをマルチタッチダウンと称し、タッチアップを複数点で行うことをマルチタッチアップと称する。複数点でのタッチ操作をマルチタッチと称し、複数点でタッチオンであることをマルチタッチオンと称する。

タッチパネル１０６ａに対するこれらの操作、及び、タッチパネル１０６ａ上で指が触れている位置座標は、内部バス１５０を介してＣＰＵ１０１に通知され、ＣＰＵ１０１は通知された情報に基づいて、タッチパネル１０６ａに対する操作及び状態を判定する。すなわち、ＣＰＵ１０１は、ユーザによるタッチパネル１０６ａへの以上の操作及び状態を個別に検出・識別できる。

ムーブについては、ＣＰＵ１０１は、タッチパネル１０６ａ上で移動する指の移動方向についても、位置座標の変化に基づきタッチパネル１０６ａ上の垂直成分・水平成分毎に判定できる。

タッチパネル１０６ａ上をタッチダウンから一定のムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でムーブしたことが検出され、そのままタッチアップが検出されると、フリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合、ドラッグが行なわれたと判定するものとする。

タッチパネル１０６ａには、抵抗膜方式、静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式又は光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。

触感発生部１１３は、タッチパネル１０６ａにタッチしているユーザの指に触感刺激を与えるための触感を発生させるデバイスである。触感発生方式としては、振動触感発生方式と電気的触感発生方式が知られており、触感発生部１１３は、何れの方式によるものであってもよく、両方式を併用するものでもよい。

振動触感発生方式では、タッチパネル１０６ａの背面に配置されるディスプレイ１０５の背面の上部、下部、左部、右部及び中心部にそれぞれ、触感発生部１１３としての偏心モータ又は圧電素子が配置される。偏心モータへの電流印加又は圧電素子への電圧印加により、ディスプレイ１０５、従ってタッチパネル１０６ａが物理的に振動する。ＣＰＵ１０１が偏心モータの印加電流又は圧電素子の印加電圧を制御することにより、各部分に対して種々の振動を発生させることができ、タッチパネル１０６ａにタッチする指に様々な触感を与えることができる。

電気的触感発生方式による触感発生部１１３は、互いに重ね合わされた絶縁体パネルと導電層パネルとからなり、導電層に正電荷をチャージすることで、絶縁体パネル上の指に電気的に刺激を与えるものである。触感発生部１１３を構成する絶縁体パネルと導電層パネルをタッチパネル１０６ａと同様にディスプレイ１０５に重ね合わせて配置する。ユーザが絶縁体パネルを触ると、導電層パネルにチャージされた正電荷によって電気的刺激を与えることができる。また、クーロン力により皮膚が引っ張られるような感覚を与えることが可能である。導電層パネル上の位置毎に正電荷のチャージを選択できる。導電層パネルの正電荷をチャージする位置をＣＰＵ１０１により制御することで、タッチパネル１０６ａに触れている指に「ザラザラ感」及び「ゴツゴツ感（ザラザラより更に粗い触感）」等を与えることができる。また、導電層パネル上の位置毎に正電荷をチャージすることにより、触れている箇所全体ではなく、局所的に触感を与えることや、一接触面内で触感を与える位置を変更することができ、様々な触感をユーザに与えることが可能である。

携帯情報処理装置１００が、ある設定画面におけるユーザの操作に対して触感をフィードバックする動作を説明する。図２は、ディスプレイ１０５での表示画面例である。

図２に示すようにフォルダを表示している状態で、ユーザが何れかのフォルダをタッチした場合、ＣＰＵ１０１は、当該フォルダに収容されるコンテンツ数に応じた強度の触感を、ユーザのタッチしている指に返す。図３は、コンテンツ数とフィードバック強度の対応の一例を示す。図３に示す例では、フォルダ内にコンテンツが無い場合、フィードバックレベルは、他の画面上のボタンにタッチしたのと同じ強度１に設定される。コンテンツが１０以下のフォルダをタッチした場合、強度２として、コンテンツが１１以上のフォルダに対しては強度３としている。これにより、ユーザはフィードバックされる触感により、タッチしたフォルダのコンテンツ数を大まかではあるが把握できる。

図４は、本実施例の触感フィードバックの動作フローチャートを示す。触感処理が開始されると（Ｓ４０１）、ＣＰＵ１０１は、タッチパネル１０６ａの出力により画面タッチの有無を判別し（Ｓ４０２）、タッチが検知されなければ触感処理を終了する（Ｓ４０８）。タッチが検出されると（Ｓ４０２）、ＣＰＵ１０１は、タッチ位置が反応するべきエリアであるかどうかを判別する（Ｓ４０３）。反応エリアは、図２に示す例では、表示内容を変更させるための左右ボタン、画面上のフォルダ、及び全フォルダにおける現在の画面位置を示すバー上の現在位置表示が該当する。

反応エリア外でのタッチ検知であれば（Ｓ４０３）、ＣＰＵ１０１は、処理を終了する（Ｓ４０８）。反応エリア内であれば（Ｓ４０３）、ＣＰＵ１０１は、フォルダへのタッチかどうかを判別する（Ｓ４０４）。フォルダへのタッチでなければ（Ｓ４０４）、ＣＰＵ１０１は、通常のボタン等へのタッチを行った際の通常強度のフィードバックを行い（Ｓ４０７）、処理を終了する（Ｓ４０８）。フォルダへのタッチであった場合（Ｓ４０４）、ＣＰＵ１０１は、そのフォルダに含まれるコンテンツ数を検出し（Ｓ４０５）、コンテンツ数に応じた強度の触感をフィードバックするように触感発生部１１３を制御する（Ｓ４０６）。ステップＳ４０６の後、ＣＰＵ１０１は、触感フィードバック処理を終了する（Ｓ４０８）。

検索結果の画面では、触感強度の設定を以下に説明するように変更する。図５は、ディスプレイ１０５での検索結果の表示画面例を示す。図５では、画面上部に検索条件を選択するための操作部があり、現在、検索条件としてママ（顔）が選ばれている。画面上には、検索条件「ママ」に合致するフォルダが一覧表示されている。

図６は、図５に示す検索結果の画面に対する、コンテンツ数とフィードバック強度の対応表の一例を示す。「ママ」として設定された人物の顔が撮影されたコンテンツが１０以下であるフォルダに対してフィードバック強度を２に設定し、１０を越える場合には、フィードバック強度を３に設定する。

図７は、図５に示す画面に対する触感フィードバック処理のフローチャートを示す。ステップＳ７０１〜Ｓ７０４，７０７の動作は、図４に示すフローでのステップＳ４０１〜Ｓ４０４，Ｓ４０７のそれと同じであり、ステップＳ７０５，Ｓ７０６の動作がステップＳ４０５，Ｓ４０６のそれとは異なる。

相違部分を説明する。ステップＳ７０５では、ＣＰＵ１０１は、タッチされたフォルダについて、現在設定されている検索条件に一致するコンテンツの数を検出する。Ｓ７０６で、ＣＰＵ１０１は、検出されたコンテンツ数に応じた強度の触感をフィードバックするように触感発生部１１３を制御する。

本実施例では、コンテンツ数とフィードバックする触感強度との対応をユーザが変更することができる。図８は、触感フィードバック強度の設定画面例を示す。強度“中”に設定するレベルをユーザが任意に設定できる。フィードバック“強”となるのは、強度“中”の設定より多いコンテンツが検出された場合となる。

図８に示すように、コンテンツ数１５未満のフォードバック強度”中”としたとする。このとき、図５に示す触感強度表は、図９に示すように変更される、図６に示す触感強度表は、図１０に示すように変更される。

内容に応じて触感強度を変更する実施例を説明したが、触感周波数、触感パターン、又はこれらの組合せで内容をユーザに知らせるようにしても良い。触感パターンは、時間方向で触感の強度又は周波数を変化させるものである。すなわち、触感の種類は、強度、時間的長さ、位置及び回数の内、少なくとも１つによって区別される。

本実施例によれば、視覚的効果に頼ることなく、触感によって各フォルダ内のコンテンツ数を把握できる。

グループに含まれる個々のデータに関連付けられて記憶される１種類以上の付加情報の内、少なくとも１種類以上の付加情報がいくつ含まれているのかを上記グループ単位で検索することがある。この場合、その検索数に応じて触感の種類を変更すればよい。このために、ＣＰＵ１０１は、グループ内に含まれるコンテンツ数だけでなく、検索条件に合致したコンテンツがどこにどれだけ存在するのかを検知する。

グループに含まれるデータの数と前記触感変更手段による触感の種類の関係をユーザが設定できるようにすることで、ユーザがより重要と考えるコンテンツ数又はデータ量に応じた触感をフィードバックできる。これにより、ユーザの検索効率が向上する。

グループに含まれる個々のデータに関連付けられて記憶される付加情報について検索する場合で、検索数と触感の種類との関係をユーザが設定できるようにすることでも、ユーザが重要と考えるデータ量に応じた触感をフィードバックできる。これにより、ユーザの検索効率が向上する。

ＣＰＵ１０１の上述した制御は、１つのハードウエアが行ってもよいし、複数のハードウエアが処理を分担することで、装置全体の制御を行ってもよい。

本発明をその好適な実施例に基づいて詳述してきたが、本発明はこれら特定の実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した実施例は本発明を説明するための一実施例を示すものにすぎない。

上述した実施例においては、本発明を携帯情報処理装置に適用した場合を例にして説明したが、本発明は、この例に限定されない。本発明は、何らかのグループされた情報をアイコン又はサムネイル等のＧＵＩ要素として表示し、その何れかをタッチパネルにより指定する操作装置を有する装置一般に適用可能である。いうまでもないが、据置の情報処理装置にも適用可能である。

すなわち、本発明は、パーソナルコンピュータ、ＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダなどに適用可能である。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウエア（制御プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶したコンピュータ読取可能な記録媒体は本発明を構成することになる。

Claims (12)

1. コンテンツを収容可能な複数のフォルダを表示手段に表示するように制御する表示制御手段と、
   前記表示手段に対するタッチ操作を検知する検知手段と、
   前記表示手段に表示されるフォルダの位置がタッチされたことに応じてユーザが触感として感知可能な刺激を発生させる触感発生手段と、
   前記複数のフォルダに収容されるコンテンツの検索条件を選択する選択手段と、
   フォルダのそれぞれに収容される、前記選択手段により選択された前記検索条件を満たすコンテンツの数を検出する検出手段と、
   前記表示手段に表示される前記複数のフォルダとは異なるアイコンの位置がタッチされたことに応じて所定の触感を発生させ、前記複数のフォルダの何れかがタッチされたことに応じて、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出手段より検出された前記検索条件を満たすコンテンツの数に応じた触感を発生させるように前記触感発生手段を制御する制御手段とを有し、
   前記制御手段は、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出手段により検出された前記検索条件を満たすコンテンツの数が０の場合には、前記所定の触感を発生させるように前記触感発生手段を制御することを特徴とする操作装置。
2. 前記制御手段は、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出手段により検出された前記検索条件を満たすコンテンツの数が、１以上である特定の数以下の場合と、前記特定の数を超える場合とで異なる触感を前記触感発生手段に発生させるように制御することを特徴とする請求項１に記載の操作装置。
3. 前記制御手段は、前記タッチされたフォルダに収容されるコンテンツのうち、前記検出手段により検出された前記検索条件を満たすコンテンツの数が、１以上から前記特定の数よりも少ない何れの場合においても、同一の触感を発生するように前記触感発生手段を制御することを特徴とする請求項２に記載の操作装置。
4. 前記特定の数を、ユーザによって指示された数に設定する設定手段をさらに有することを特徴とする請求項２または３に記載の操作装置。
5. 前記触感発生手段は、前記表示手段を振動させることによって触感を発生させることを特徴とする請求項１乃至４の何れか１項に記載の操作装置。
6. 前記触感発生手段は、タッチ操作を行うユーザの指に電気的刺激を与えることで触感を発生させることを特徴とする請求項１乃至４の何れか１項に記載の操作装置。
7. 前記検索条件は、所定の人物が撮影されたコンテンツであることを特徴とする請求項１乃至６の何れか１項に記載の操作装置。
8. 前記制御手段は、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出手段より検出された前記検索条件を満たすコンテンツ数に応じて、前記触感発生手段に発生させる触感の強度、時間的長さ、位置及び回数の内の少なくともいずれかを変更するように制御することを特徴とする請求項１乃至７の何れか１項に記載の操作装置。
9. 前記選択手段により検索条件が選択されていない場合には、前記制御手段は、タッチが開始されたアイコンに対応するフォルダに収容されているコンテンツの数に応じた大きさの触感を発生させるように前記触感発生手段を制御することを特徴とする請求項１乃至７の何れか１項に記載の操作装置。
10. 表示手段に表示されるフォルダの位置がタッチされたことに応じてユーザが触感として感知可能な刺激を発生させる触感発生手段を有する操作装置の制御方法であって、
    コンテンツを収容可能な複数のフォルダを表示手段に表示するように制御する表示制御ステップと、
    前記表示手段に対するタッチ操作を検知する検知ステップと、
    前記複数のフォルダに収容されるコンテンツの検索条件を選択する選択ステップと、
    フォルダのそれぞれに収容される、前記選択ステップにおいて選択された前記検索条件を満たすコンテンツの数を検出する検出ステップと、
    前記表示手段に表示される前記複数のフォルダとは異なるアイコンの位置がタッチされたことに応じて所定の触感を発生させ、前記複数のフォルダの何れかがタッチされたことに応じて、前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出ステップにおいて検出された前記検索条件を満たすコンテンツの数に応じた触感を発生させるように前記触感発生手段を制御する制御ステップと
    を有し、
    前記制御ステップにおいては前記タッチがされたフォルダに収容されるコンテンツのうち、前記検出ステップにおいて検出された前記検索条件を満たすコンテンツの数が０の場合には、前記所定の触感を発生させるように前記触感発生手段を制御することを特徴とする操作装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載された操作装置の各手段として機能させるためのプログラム。
12. コンピュータを、請求項１乃至９のいずれか１項に記載された操作装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。

Images