JP2013175018A - 表示装置、表示方法およびプログラム - Google Patents

Abstract

【課題】タッチパネル操作による操作性を更に向上させる技術を提供する。
【解決手段】表示装置１は、操作認識部１４と、操作認識部１４によって認識されたユーザ操作に係る操作指を特定する操作指特定部２０と、ユーザ操作に対応する操作方法を特定する操作方法特定部３０と、表示画面の表示を制御する表示制御部４０と、操作指に操作方法を割り当てる割当部５０とを備える。操作方法特定部３０は、操作指特定部２０が、あるユーザ操作に係る操作指として、割当部５０によって操作方法を割り当てている操作指を特定した場合には、当該ユーザ操作に対応する操作方法として、当該操作指に割り当てている操作方法を特定する。表示制御部４０は、操作方法特定部３０が、操作指に割り当てている操作方法を特定した場合には、操作認識部１４によって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御する。
【選択図】図１

Description

本発明は、表示装置、表示方法およびプログラムに関する。

従来、タッチパネル操作において、コンテンツの操作性を向上させる技術が知られている（例えば、特許文献１参照）。特許文献１は、地図コンテンツのスクロール操作の操作性を向上させる技術として、スクロールの際に出現頻度が高いと評価される道路を選択し、それをスクロール対象道路とする技術を開示している。地図コンテンツにおいて、上下左右方向のスクロールに加え、オブジェクト（道、線路など）沿いのスクロールも有用である。

一方、タッチパネル操作において、タッチした指を識別し、識別した指によって異なる意味を持たせる技術（Finger-Specific Interaction）が提案されている（非特許文献１／第７章参照）。上記技術における指の認識は、手の上部に設置した可視光カメラとカラーマーカを用いた画像認識に基づくものである。また、上記技術の応用として、大画面向けペイントツール、操作する指によりモードを切り替えるソフトウエアキーボード、音楽プレイヤ、ＣＳＣＷ向けフォトビューア、操作する指も利用するＰＩＮ個人認証を提案している（７．６節）。

特開２０１１−１９７５６６号公報

学位論文「併行可能な動作に基づくインタラクション手法の研究」 筑波大学 鈴木 優 ２０１１年３月

しかしながら、特許文献１の技術では、上下左右方向のスクロールとオブジェクト沿いのスクロールとを如何に切り替えるのかという問題に触れていない。当該問題に関しては、ボタン操作などによる明示的な切り替え操作を要すことなく、切り替えることができれば、利便性は高まると考えられる。また、非特許文献1では、１つ若しくは複数の指に対して１つの動作を割り当てているため、用途が限定されるという問題がある。

本発明は、このような事情に鑑みてなされたものであり、タッチパネル操作による操作性を更に向上させる技術を提供することを目的とする。

上記問題を解決するために、本発明の一態様である表示装置は、表示画面上のユーザ操作を認識する操作認識部と、前記操作認識部によって認識されたユーザ操作に係る操作指を特定する操作指特定部と、前記操作認識部によって認識されたユーザ操作に対応する操作方法を特定する操作方法特定部と、表示画面の表示を制御する表示制御部と、前記操作指を識別する操作指識別情報と、前記操作方法を識別する操作方法識別情報とを対応付けることによって、前記操作指に前記操作方法を割り当てる割当部とを備え、前記操作方法特定部は、前記操作指特定部が、あるユーザ操作に係る前記操作指として、前記割当部によって前記操作方法を割り当てている前記操作指を特定した場合には、当該ユーザ操作に対応する前記操作方法として、当該操作指に割り当てている前記操作方法を特定し、前記表示制御部は、前記操作方法特定部が、前記操作指に割り当てている前記操作方法を特定した場合には、前記操作認識部によって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御することを特徴とする。

上記表示装置において、前記操作方法特定部は、前記操作指特定部が、ユーザの指示があった場合、又は、あるユーザ操作に係る前記操作指として、前記割当部によって前記操作方法を割り当てていない前記操作指を特定した場合には、当該ユーザ操作と表示内容とに基づいて、当該ユーザ操作に対応する前記操作方法を特定するようにしてもよい。

上記表示装置において、前記割当部は、前記操作方法特定部が、ユーザ操作と表示内容とに基づいて当該ユーザ操作に対応する前記操作方法を特定したときは、当該ユーザ操作に係る操作指に当該操作方法を割り当てるようにしてもよい。

上記表示装置において、前記操作方法特定部は、ユーザ操作と所定操作との類似度に基づいて、当該ユーザ操作に対応する前記操作方法を特定するようにしてもよい。

上記表示装置において、前記所定操作は、ある目的に対する単一若しくは一連の操作、又は、操作履歴から得られる単一若しくは一連の操作であってもよい。

上記表示装置において、前記割当部は、複数の前記操作指の組合せに対して前記操作方法を割り当てるようにしてもよい。

上記表示装置において、前記割当部は、前記表示制御部が、前記操作認識部によって認識されたユーザ操作と、当該ユーザ操作に係る操作指に割り当てている前記操作方法とに応じて、表示画面の表示を制御できなかった場合には、当該操作指への当該操作方法の割当を解除するようにしてもよい。

上記問題を解決するために、本発明の他の態様である表示装置は、表示画面上のスクロール操作を認識するスクロール操作認識部と、前記スクロール操作認識部によって認識されたスクロール操作に係る操作指を特定する操作指特定部と、前記スクロール操作認識部によって認識されたスクロール操作に対応するスクロール方法を特定するスクロール方法特定部と、前記スクロール方法特定部によって特定された前記スクロール方法に応じて、表示画面上のコンテンツのスクロールを制御するスクロール制御部と、前記操作指を識別する操作指識別情報と、前記スクロール方法を識別するスクロール方法識別情報とを対応付けることによって、前記操作指に前記スクロール方法を割り当てる割当部とを備え、前記スクロール方法特定部は、前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てている前記操作指を特定した場合には、当該スクロール操作に対応する前記スクロール方法として、当該操作指に割り当てている前記スクロール方法を特定することを特徴とする。

上記表示装置において、前記スクロール方法特定部は、前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てていない前記操作指を特定した場合には、当該スクロール操作とコンテンツとに基づいて、当該スクロール操作に対応する前記スクロール方法を特定するようにしてもよい。

上記表示装置において、前記コンテンツは、線形状のオブジェクトを有し、前記スクロール方法特定部は、前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てていない前記操作指を特定した場合には、当該スクロール操作に対応する前記スクロール方法として、当該スクロール操作の方向と前記オブジェクトの伸びる方向との類似度、および、スクロール操作中のある座標と前記オブジェクトのある座標との距離からなる関数が最大になる前記オブジェクトに沿ってスクロールさせるスクロール方法を特定するようにしてもよい。

上記表示装置において、前記スクロール方法特定部は、前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てていない前記操作指を特定した場合には、当該スクロール操作に対応する前記スクロール方法として、当該スクロール操作の方向と、前記オブジェクトの存在する方向と、指定されたオブジェクトの種類とに基づいて、１つのオブジェクトを決定し、当該オブジェクトに向かってスクロールさせるスクロール方法を特定するようにしてもよい。

上記表示装置において、前記スクロール方法特定部は、前記オブジェクトに向かってスクロールさせるスクロール方法に代えて、前記オブジェクトに向かってスクロールさせるとともに前記オブジェクトを拡大又は縮小させる操作方法を特定するようにしてもよい。

上記表示装置において、前記スクロール制御部は、前記スクロール操作認識部によって認識されたスクロール操作の方向と、前記スクロール方法特定部によって特定された前記スクロール方法と、コンテンツに存在するオブジェクトの方向とに基づいて、コンテンツのスクロール方向を決定し、コンテンツをスクロールさせるようにしてもよい。

上記問題を解決するために、本発明の他の態様である表示方法は、表示装置における表示方法であって、表示画面上のユーザ操作を認識する操作認識工程と、前記操作認識工程によって認識されたユーザ操作に係る操作指を特定する操作指特定工程と、前記操作認識工程によって認識されたユーザ操作に対応する操作方法を特定する操作方法特定工程と、
表示画面の表示を制御する表示制御工程と、前記操作指を識別する操作指識別情報と、前記操作方法を識別する操作方法識別情報とを対応付けることによって、前記操作指に前記操作方法を割り当てる割当工程とを有し、前記操作方法特定工程は、前記操作指特定工程において、あるユーザ操作に係る前記操作指として、前記割当工程によって前記操作方法を割り当てている前記操作指が特定された場合には、当該ユーザ操作に対応する前記操作方法として、当該操作指に割り当てている前記操作方法を特定し、前記表示制御工程は、前記操作方法特定工程において、前記操作指に割り当てている前記操作方法が特定された場合には、前記操作認識工程によって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御することを特徴とする。

上記問題を解決するために、本発明の他の態様であるプログラムは、表示装置のコンピュータに、表示画面上のユーザ操作を認識する操作認識ステップと、前記操作認識ステップによって認識されたユーザ操作に係る操作指を特定する操作指特定ステップと、前記操作認識ステップによって認識されたユーザ操作に対応する操作方法を特定する操作方法特定ステップと、表示画面の表示を制御する表示制御ステップと、前記操作指を識別する操作指識別情報と、前記操作方法を識別する操作方法識別情報とを対応付けることによって、前記操作指に前記操作方法を割り当てる割当ステップとを実行させるプログラムであって、前記操作方法特定ステップは、前記操作指特定ステップにおいて、あるユーザ操作に係る前記操作指として、前記割当ステップによって前記操作方法を割り当てている前記操作指が特定された場合には、当該ユーザ操作に対応する前記操作方法として、当該操作指に割り当てている前記操作方法を特定し、前記表示制御ステップは、前記操作方法特定ステップにおいて、前記操作指に割り当てている前記操作方法が特定された場合には、前記操作認識ステップによって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御することを特徴とする。

本発明によれば、タッチパネル操作による操作性を更に向上させることができる。例えば、本発明によれば、ボタン操作などによる明示的な切り替え操作を要せずに、操作した操作指に応じてコンテンツを操作することができる。

本発明の一実施形態による表示装置１の機能ブロック図である。 割当情報記憶部８０に記憶される情報の一例である。 表示装置１の動作を説明するための模式図である。 表示装置１の動作を説明するための模式図である。 表示装置１の動作を説明するための模式図である。 接触面モデルの学習に関するフローチャートの一例である。 割当情報の登録（記憶）に関するフローチャートの一例である。 割当情報の利用に関するフローチャートの一例である。 割当情報の利用に関するフローチャートの他の例である。 他の動作に関するフローチャートである。

［全体構成］
以下、本発明の一実施形態について図面を参照して説明する。図１は、本発明の一実施形態による表示装置１の機能ブロック図である。表示装置１は、図１に示すように、表示部１０、操作指特定部２０、操作方法特定部３０、表示制御部４０、割当部５０、割当情報記憶部８０および操作対象データ記憶部９０を備える。表示部１０は、表示画面１２と操作認識部１４とから構成される。

操作対象データ記憶部９０は、表示画面１２に表示され、ユーザによって操作（例えば、タッチ、スクロール、…）されるデータ（以下、「操作対象データ」という）を記憶する。操作対象データとは、各種アプリケーションソフトウェアプログラム若しくはオペレーションシステムソフトウェアプログラムによって表示／操作されるデータである。操作対象データの一例は、再生ソフト（例えば、地図閲覧ソフト）によって表示／操作される画像データ（例えば、地図データ、静止画データ）、ブラウザ、メーラー、ワードプロセッサによって表示／操作される夫々の形式の文書データ、表形式ソフトウェア（表計算ソフトウェア、アドレス管理ソフトウェア）によって表示／操作される表形式データ、スケージュール管理ソフトウェアによって表示／操作されるスケジュールデータである。なお、操作対象データは、コンテンツ（例えば、画像データ）を含む概念である。

なお、表示装置１は、操作対象データを表示／操作させるプログラムを操作対象データ記憶部９０若しくは非図示のプログラム記憶部に記憶する。

表示画面１２は、例えば、液晶パネルである。表示画面１２に表示される情報は、例えば、操作対象データ記憶部９０に記憶されている操作対象データ（例えば、地図データ、ＨＴＭＬデータ）である。また、操作対象データを表示／操作させるプログラムが提供するユーザ操作のためのツール（例えば、ボタン類）を表示画面１２に表示してもよい。例えば、表示画面１２は、操作対象データを表示／操作させるプログラムが提供するウィンドウを表示し、当該ウィンドウ内の所定領域に操作対象データを表示し、当該当該ウィンドウ内の所定領域以外の領域に当該プログラムが提供するツールを表示してもよい。

表示制御部４０は、表示画面１２の表示を制御する。例えば、表示制御部４０は、操作対象データを表示／操作させるプログラムを起動し、操作対象データ記憶部９０に記憶されている操作対象データを表示画面１２に表示する。また、表示制御部４０は、表示中の操作対象データがユーザによって操作された場合には、表示画面１２の表示を制御する。なお、表示制御部４０の詳細は後述する。

操作認識部１４は、表示画面１２の内側に配置されたタッチセンサであって、表示画面１２上のユーザ操作を認識する。例えば、操作認識部１４は、コンテンツ（例えば、地図データ）の表示中において、当該コンテンツ上のスクロール操作を認識する。なお、操作認識部１４の詳細は後述する。

操作指特定部２０は、操作認識部１４によって認識されたユーザ操作に係る操作指を特定する。例えば、操作指特定部２０は、コンテンツ（例えば、地図データ）上のスクロール操作に係る操作指を特定する。なお、操作指特定部２０の詳細は後述する。

操作方法特定部３０は、操作認識部１４によって認識されたユーザ操作に対応する操作方法を特定する。例えば、操作方法特定部３０は、操作認識部１４によって認識されたコンテンツ（例えば、地図データ）上のスクロール操作に対応する、当該コンテンツのスクロール方法を特定する。なお、操作方法特定部３０の詳細は後述する。

割当部５０は、操作指特定部２０によって特定された操作指に、操作方法特定部３０によって特定された操作方法を割り当てる。また、割当部５０は、操作方法の割当を解除する。なお、割当部５０の詳細は後述する。

割当情報記憶部８０は、割当部５０による割当結果を記憶する。例えば、割当情報記憶部８０は、割当情報として、操作指識別情報と操作方法識別情報（例えば、スクロール方法識別情報）とを対応付けて記憶する。なお、割当部５０が、操作対象データ毎に、操作指に操作方法を割り当てる態様の場合には、割当情報記憶部８０は、操作対象データ識別情報と操作指識別情報と操作方法識別情報とを対応付けて記憶する。割当情報記憶部８０の詳細は後述する。

［各機能の詳細］
操作認識部１４、操作指特定部２０、操作方法特定部３０、表示制御部４０、割当部５０、割当情報記憶部８０関して説明する。

（操作認識部１４、操作指特定部２０）
非特許文献１における指の特定方法（識別方法）は、手の上部に設置した可視光カメラとカラーマーカとを用いたものである。非特許文献１に示された指の特定方法を用いても構わないが、可視光カメラとカラーマーカとを用いる方法は利便性が高くないため、可視光カメラとカラーマーカとを用いない方法が好適である。具体的には、指の接触面の形状を認識可能なタッチパネルを用いて指を特定する。

具体的には、表示部１０の表示画面１２として、接触領域を検出できる、ＦＴＩＲ（Frustrated Total Internal Reflection）の原理に基づくタッチパネルを用いる。即ち、厚さ約５ｍｍのアクリル板の側面より赤外光を入射し、アクリル板の上面をタッチしていない状態では全反射により赤外光が閉じ込められ、一方、アクリル板の上面をタッチしている状態では接触領域の反射率の変化によって接触領域から赤外光が漏れ出すような状況を作り出しておく。赤外光の漏れ出している部分を赤外線カメラで検出すれば接触領域の形状を検出することができる。

具体的には、操作認識部１４は、接触領域を検知し、接触領域の位置、接触領域の特徴量を認識（抽出）する。接触領域の特徴量は、例えば、接触領域の面積、長径、短径、長径の水平面に対する傾きなどである。また、操作認識部１４は、接触領域の位置の経時変化の有無、変化量から、ユーザ操作（スライド、タッチ、フリックなど）を認識（区別）する。

操作指特定部２０は、タッチパネルへの夫々の接触時に抽出される接触領域の特徴量を用いて学習された指特定モデルを用いて操作指を特定する。指特定モデルには、例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）を用いてもよい。

（操作方法特定部３０／操作指に操作方法が未割当の時）
操作指特定部２０が、あるユーザ操作に係る操作指として、割当部５０によって操作方法を割り当てていない操作指を特定した場合（即ち、操作指特定部２０によって特定された操作指に操作方法が未割当であった場合）には、操作方法特定部３０は、操作認識部１４によって認識されたユーザ操作と、表示内容とに基づいて、操作認識部１４によって認識されたユーザ操作に対応する操作方法を特定する。

例えば、操作指特定部２０が、あるスクロール操作に係る操作指として、割当部５０によってスクロール方法を割り当てていない操作指を特定した場合（即ち、操作指特定部２０によって特定された操作指にスクロール方法が未割当であった場合）、操作方法特定部３０は、操作認識部１４によって認識されたスクロール操作と、表示中のコンテンツとに基づいて、当該スクロール操作に対応するスクロール方法を特定する。

より詳細には、例えば、表示画面１２に線形状のオブジェクト（例えば、道路、線路、河川）を有するコンテンツ（地図データ）が表示されている場合、操作方法特定部３０は、操作認識部１４によって認識されたスクロール操作の方向とオブジェクトの伸びる方向との類似度、および、当該スクロール操作中のある座標とオブジェクトのある座標との距離からなる関数が最大になるオブジェクトに沿ってスクロールさせるスクロール方法を、スクロール操作に対応するスクロール方法として特定する。

操作方法特定部３０は、例えば、以下の手順１〜手順６に従って、線形状のオブジェクトに沿ってスクロールさせるスクロール方法を特定する。
手順１：ｉ回目のスクロールにおける、始点のスクロール座標Ｘ_ｉ、スクロール方向Ｖｓ_ｉ、および、スクロールした指（操作指）を識別する操作指識別情報を取得する。
手順２：全て又は一部のオブジェクトＡ_ｊについて、始点Ｘ_ｉから各オブジェクトＡ_ｊ迄の最短距離ｄａ_ｉｊ、および、各オブジェクトの主たる方向Ｖａ_ｊを取得する。一部のオブジェクトとは、例えば、始点Ｘ_ｉから距離ｒ以内に少なくとも一部が存在するオブジェクトである。また、オブジェクトＡ_ｊの主たる方向Ｖａ_ｊとは、例えば、オブジェクトＡ_ｊの表示画面１２上の端点同士を結ぶ直線の方向である。
手順３．スクロール方向Ｖｓ_ｉと、最短距離ｄａ_ｉｊと、主たる方向Ｖａ_ｊとから、ユーザ所望の（意図する）スクロールであるか否かを判断するための得点Ｐａを算出する。得点Ｐａは、例えば、Ｐａ＝αＰｖａ ＋ βＰｄａと表される。即ち、得点Ｐａは、スクロール操作の方向（Ｖ_ｉ）とオブジェクトの伸びる方向（Ｖａ_ｊ）の類似度に関する得点Ｐｖａ（Ｖ_ｉ，Ｖａ_ｊ）と、スクロール操作中のある座標（具体的には始点Ｖ_ｉ）とオブジェクトのある座標との距離ｄａ_ｉｊに関する得点Ｐｄａ（ｄａ_ｉｊ）からなる関数である。なお、Ｐｖａには、Ｖ_ｉとＶａ_ｊとのコサイン類似度やピアソン類似度などを用いてもよい。
手順４：ｉ−１回目のスクロールに対する得点Ｐａを加算。
手順５：オブジェクトＡ_ｊ毎の得点Ｐａを算出し、得点ＰａがＫ_ｉ以上であれば、当該オブジェクトＡ_ｊ（例えば、オブジェクトＡ_ｊを識別するオブジェクト識別情報）を得点ｐａとともに一時記憶する。
手順６：手順１〜手順５をＮ回繰り返した際に最も得点Ｐａが高いオブジェクトＡ_ｊを選択し、選択したオブジェクトＡ_ｊに沿ってスクロールさせるスクロール方法を、当該Ｎ回のスクロールに対応するスクロール方法として特定する。但し、手順１〜手順５をＮ回繰り返す前のＭ回目に、オブジェクトＡ_ｊが１つに絞り切れた場合には、当該１つのオブジェクトＡ_ｊに沿ってスクロールさせるスクロール方法を、Ｍ回のスクロールに対応するスクロール方法として特定する。
なお、手順１〜手順５の途中において、操作指が変更された場合には、既に一時記憶しているオブジェクトＡ_ｊを消去し、変更後の新たな操作指について、手順１〜手順５を行う。

また、操作方法特定部３０は、操作認識部１４によって認識されたスクロール操作に対応するスクロール方法として、当該スクロール操作の方向と、オブジェクトの存在する方向と、指定されたオブジェクトの種類（例えば、駅、ショッピングセンタ）とに基づいて、１つのオブジェクトを決定し、当該オブジェクトに向かってスクロールさせるスクロール方法を特定してもよい。

また、操作方法特定部３０は、操作方法としてスクロール方法および拡大縮小方法を特定してもよい。例えば、操作方法特定部３０は、操作認識部１４によって認識されたスクロール操作に対応する操作方法として、オブジェクトに向かってスクロールさせる操作方法（スクロール方法）に代えて、オブジェクトに向かってスクロールさせるとともに当該オブジェクトを拡大又は縮小させる操作方法を特定してもよい。

また、操作方法特定部３０は、操作認識部１４によって認識されたユーザ操作と、所定操作との類似度に基づいて、当該ユーザ操作に対応する操作方法を特定してもよい。上述の所定操作は、ある目的に対する単一若しくは一連の操作、又は、操作履歴から得られる単一若しくは一連の操作（例えば、改ページに続いて所定領域を中心に画面を拡大する操作、受信ボックスのアイコンのタッチに続いて最新の受信メール１件の内容を表示する操作、拡大表示に続いてスクロールする操作）である。

なお、操作指特定部２０が、あるユーザ操作に係る操作指として、割当部５０によって操作方法を割り当てていない操作指を特定した後に、操作方法特定部３０が、上述の如く、操作認識部１４によって認識されたユーザ操作に対応する操作方法を特定した場合には、割当部５０は、上述の如く、当該操作指に当該操作方法を割り当ててもよい。

（操作方法特定部３０／操作指に操作方法が割当済の時）
一方、操作指特定部２０が、あるユーザ操作に係る操作指として、割当部５０によって操作方法を割り当てている操作指を特定した場合（即ち、操作指特定部２０によって特定された操作指に操作方法が割当済であった場合）には、操作方法特定部３０は、操作認識部１４によって認識されたユーザ操作に対応する操作方法として、操作指特定部２０が特定した操作指に割り当てている操作方法を特定する。

例えば、操作指特定部２０が、あるスクロール操作に係る操作指として、割当部５０によってスクロール方法を割り当てている操作指を特定した場合（即ち、操作指特定部２０によって特定された操作指にスクロール方法が割当済であった場合）、操作方法特定部３０は、当該スクロール操作に対応するスクロール方法として、当該操作指に割り当てているスクロール方法を特定する。

より詳細には、例えば、表示画面１２に地図データが表示されている場合において、操作指特定部２０が、あるスクロール操作に係る操作指として、線路沿いにスクロールさせるスクロール方法を割り当てている操作指を特定した場合、操作方法特定部３０は、当該スクロール操作に対応するスクロール方法として、線路沿いにスクロールさせるスクロール方法を特定する。

また、例えば、表示画面１２に地図データが表示されている場合において、操作指特定部２０が、あるスクロール操作に係る操作指として、ある種類の場所に向かってスクロールさせたのちに当該場所を拡大表示する操作方法を割り当てている操作指を特定した場合、操作方法特定部３０は、当該スクロール操作に対応する操作方法として、当該場所に向かってスクロールさせたのちに当該場所を拡大表示する操作方法を特定する。

また、例えば、あるユーザ操作（スクロール操作以外であってもよい）に係る操作指として、一連の操作（例えば、改ページに続いて所定領域を中心に画面を拡大する操作、受信ボックスのアイコンのタッチに続いて最新の受信メール１件の内容を表示する操作、拡大表示に続いてスクロールする操作）を割り当てている操作指を特定した場合、操作方法特定部３０は、当該ユーザ操作に対応する操作方法として、当該一連の操作方法を特定する。

（表示制御部４０）
表示制御部４０は、操作方法特定部３０が、操作指に割り当てている操作方法を特定した場合には、操作認識部１４によって認識されたユーザ操作と、当該操作方法とに応じて表示画面１２の表示を制御する。

例えば、表示画面１２に地図データが表示されている場合において、操作指特定部２０が、あるスクロール操作に係る操作指として、線路沿いにスクロールさせるスクロール方法を割り当てている操作指を特定した場合（即ち、操作方法特定部３０が、線路沿いにスクロールさせるスクロール方法を特定した場合）、表示制御部４０は、操作認識部１４によって認識されたスクロール操作の方向と、操作方法特定部３０によって特定されたスクロール方法と、コンテンツに存在するオブジェクトの方向とに基づいて、コンテンツのスクロール方向を決定し、コンテンツをスクロールさせる。

より詳細には、表示制御部４０は、操作認識部１４によって認識されたスクロール操作の方向と地図データに存在する各線路（又は、各道路、各河川など）の方向との類似度に基づいて決定した線路（又は、各道路、各河川など）に沿って地図データ（地図画像）をスクロールさせる。

なお、表示制御部４０は、上記場合に、操作認識部１４によって認識されたスクロール操作の方向に類似する方向に伸びる線路（又は、各道路、各河川など）を認識できなかった場合には、つまり、線路（又は、各道路、各河川など）沿いにスクロールさせるスクロール方法が特定されている場合に、操作認識部１４によって認識されたスクロール操作からスクロールの対象となる線路（又は、各道路、各河川など）が見つからなかった場合には、地図をスクロールさせなくてもよい。

また、例えば、表示画面１２にＨＴＭＬデータが表示されている場合において、操作指特定部２０が、あるタッチ操作に係る操作指として、改ページに続いて所定領域を中心に画面を拡大する操作方法を割り当てている操作指を特定した場合（即ち、操作方法特定部３０が、改ページに続いて所定領域を中心に画面を拡大する操作方法を特定した場合）、表示制御部４０は、操作認識部１４によって当該操作指による改ページボタンのタッチが認識されたときは、所定領域を中心に改ページ後の画面を拡大表示するように制御する。

また、例えば、表示画面１２にメールデータが表示されている場合において、操作指特定部２０が、あるタッチ操作に係る操作指として、受信ボックスのアイコンのタッチに続いて最新の受信メール１件の内容を表示する操作方法を割り当てている操作指を特定した場合（即ち、操作方法特定部３０が、受信ボックスのアイコンのタッチに続いて最新の受信メール１件の内容を表示する操作方法を特定した場合）、表示制御部４０は、操作認識部１４によって当該操作指による受信ボックスのアイコンのタッチが認識されたときは、最新の受信メール１件の内容を表示するように制御する。

なお、表示制御部４０は、操作指特定部２０が、あるユーザ操作に係る操作指として割当部５０によって操作方法を割り当てている操作指を特定しなかった場合（即ち、操作指特定部２０によって特定された操作指に操作方法が割当済でなかった場合）、当該ユーザ操作に従って、表示画面１２を制御してもよい。例えば、表示制御部４０は、地図データを表示中に、操作認識部１４によって認識されたスクロール操作の方向を地図のスクロール方向とし、地図をスクロールさせてもよい。

但し、操作指特定部２０が、あるユーザ操作に係る操作指として割当部５０によって操作方法を割り当てている操作指を特定しなかった場合において、操作方法特定部３０が、当該ユーザ操作に対応する操作方法を特定したときは、表示制御部４０は、当該ユーザ操作と、当該操作方法とに応じて、表示画面１２の表示を制御してもよい。例えば、操作指特定部２０が、あるユーザ操作に係る操作指として割当部５０によって操作方法を割り当てている操作指を特定しなかった場合において、操作方法特定部３０が、当該ユーザ操作に対応する操作方法として、道路に沿って地図をスクロールさせるスクロール方法を特定したときは、表示制御部４０は、操作認識部１４によって認識されたスクロール操作の方向に類似する方向に伸びる道路を地図のスクロール方向とし、地図をスクロールさせてもよい。

（割当部５０）
割当部５０は、操作指を識別する操作指識別情報と、操作方法を識別する操作方法識別情報とを対応付けることによって、操作指に操作方法を割り当てる。例えば、割当部５０は、操作指識別情報と、コンテンツ（例えば、地図データ）のスクロール方法を識別するスクロール方法識別情報とを対応付けることによって、操作指にコンテンツのスクロール方法を割り当てる。

また、割当部５０は、複数の操作指の組合せに対して操作方法を割り当ててもよい。また、割当部５０は、操作対象データを識別する操作対象データ識別情報と、操作指識別情報と、操作方法識別情報とを対応付けることによって、操作対象データ毎に、操作指に操作方法を割り当てるようにしてもよい。

なお、割当部５０は、割当登録モード（後述）の宣言後に、操作方法が未割当の操作指に操作方法を新規に割り当ててもよい。また、割当部５０は、操作指特定部２０が、あるユーザ操作に係る操作指として、操作方法が未割当の操作指を特定し、更に、操作方法特定部３０が、当該ユーザ操作と表示内容とに基づいて当該ユーザ操作に対応する操作方法を特定した場合に、当該操作指に当該操作方法を割り当ててもよい。

また、割当部５０は、表示制御部４０が、操作認識部１４によって認識されたユーザ操作と、当該ユーザ操作に係る操作指に割り当てている操作方法とに応じて、表示画面１２の表示を制御できなかった場合には、当該操作指への当該操作方法の割当を解除してもよい。例えば、表示制御部４０が、操作認識部１４によって認識されたスクロール操作からスクロールの対象となるような妥当な線路（又は、各道路、各河川など）を見つけられなかった場合には、割当部５０は、当該スクロール操作に係る操作指に割当済の操作方法（即ち、線路（又は、各道路、各河川など）沿いにスクロールさせるスクロール方法）を解除してもよい。

図２は、割当情報記憶部８０に記憶される情報の一例である。割当情報記憶部８０は、例えば、図２（ａ）に示すように、操作対象データ識別情報と操作指識別情報と操作方法識別情報とを対応付けて記憶する。また、割当情報記憶部８０は、例えば、図２（ｂ）に示すように、操作対象データ識別情報と操作対象データの種類（対応するプログラム）とを対応付けて記憶する。また、割当情報記憶部８０は、例えば、図２（ｃ）に示すように、操作方法識別情報と割当済の操作方法とを対応付けて記憶する。なお、指識別情報「Ｆ１」は親指、指識別情報「Ｆ２」は人指し指、指識別情報「Ｆ３」は中指のコードであるものとする。

図２によれば、地図データに関しては、例えば、人指し指に「Ａ（例えば、道路、線路、河川）に沿ってスクロールする」という操作方法が割当済である。また、図２によれば、ＨＴＭＬデータに関しては、例えば、人指し指及び中指による同時操作に、「改ページに続いて所定領域を中心に画面を拡大する操作」という操作方法が割当済である。また、図２によれば、メールデータに関しては、例えば、親指に「受信ボックスのアイコンのタッチに続いて最新の受信メール１件の内容を表示する操作」という操作方法が割当済である。 また、図２によれば、ワープロ用データ（ワードプロセッサ用のデータ）に関しては、例えば、親指に「拡大表示に続いてスクロールする操作」という操作方法が割当済である。

なお、地図データに関しては、親指、薬指、子指には操作方法が未割当であるため、例えば、未割当の指によってスクロールされた場合には、当該スクロール操作の方向、若しくは、当該スクロール操作の方向に類似する方向に伸びる道路の方向が地図データのスクロール方向となる。他の操作対象データについても同様である。

なお、図２に示した割当情報は、操作対象データ毎に、操作指に操作方法を割り当てる態様の場合の一例である。操作対象データに関係なく、操作指に操作方法を割り当てる態様の場合には、割当情報記憶部８０には、操作指識別情報と操作方法識別情報のテーブルと、操作方法識別情報と割当済の操作方法のテーブルを記憶すればよい。

図３乃至図５は、表示装置１の動作を説明するための模式図である。図３は、人指し指にあるスクロール操作を割り当てる割当登録モード時の動作を説明するための模式図である。割当登録モードとは、操作指に操作方法を割り当てるモードである。図４は、人指し指にあるスクロール操作が割当済である場合における割当利用モード時の動作を説明するための模式図である。割当利用モードとは、割当済の操作方法を利用して操作するモードである。図５は、人指し指にあるスクロール操作を割り当てるとともに中指にあるスクロール操作とズーム操作とを割り当てる割当登録モード時の動作、および、人指し指にあるスクロール操作が割当済であってかつ中指にあるスクロール操作とズーム操作とが割当済である場合における割当利用モード時の動作を説明するための模式図である。

図３（ａ）の道路ａ、道路ｂ、線路ｃ、道路ｄ、道路ｅは、人指し指に割り当てる操作方法に関係するオブジェクトの候補である。各候補について、上述の方法（手順１〜６）に従って、１つのオブジェクトを絞り込む。つまり、スクロールの始点Ｘ_ｉ，スクロールの方向Ｖｓ_ｉ、および、各候補の夫々の主たる方向Ｖａを取得し、スクロール操作毎に類似度を計算し、複数回のスクロール操作を行って、人指し指に割り当てる操作方法に関係するオブジェクトを特定する。

なお、図３（ｂ）は、絞込みの途中段階（具体的には、２回のスクロール操作によって、道路ａ、道路ｂ、線路ｃに絞り込まれた様子）を表している。図３（ｃ）は、絞込みの完了段階（具体的には、ｎ回のスクロール操作によって、道路ｂに絞り込まれた様子）を表している。n回のスクロールによって、人指し指に割り当てる操作方法に関係するオブジェクトが道路ｂであると特定できたため、人差し指に、道路ｂ沿いにスクロールさせるスクロール方法を割り当てる。

図４（ａ）は、人差し指でのスクロール操作が、人差し指に割当済のスクロール方法（道路ｂ沿いにスクロールさせるスクロール方法）と少ししか矛盾しない場合（割当済のスクロール方法と高々少ししか違わないスクロール操作をした場合）には、割当済のスクロール方法に従って地図データ（地図画像）をスクロールさせる旨を表している。図４（ａ）の場合、人差し指でのスクロール操作のスクロール方向と道路ｂの伸びる方向とがある範囲内で類似するため、見えていない下側の部分がだんだんと見えてくるように、地図データを道路ｂに沿ってスクロールさせる。

図４（ｂ）は、人差し指でのスクロール操作が、割当済のスクロール方法（道路ｂ沿いにスクロールさせるスクロール方法）と大きく矛盾する場合（割当済のスクロール方法と完全に違うスクロール操作をした場合）には、割当済のスクロール方法に従って地図データ（地図画像）をスクロールさせない旨を表している。図４（ｂ）の場合、人差し指でのスクロール操作のスクロール方向と道路ｂの伸びる方向とがある範囲内で類似しないため、地図データを道路ｂに沿ってスクロールさせない（例えば、人差し指でのスクロール操作のスクロール方向に応じて、見えていない右側の部分がだんだんと見えてくるように、地図データをスクロールさせる）。なお、大きく矛盾するスクロール操作をし続けた場合には、人指し指への割り当てを消去してもよい。

図４（ｃ）は、分岐点における動作を表している。スクロール方法に規定された道路が分岐する場合（例えば、道路ｂが分岐する場合）には、類似度に基づいてスクロールさせてもよい。即ち、分岐後に伸びる方向が、スクロール操作のスクロール方向に最も類似する一方の道路に沿ってスクロールさせてもよい。

また、スクロール方法に規定された道路が分岐する場合、上記の動作に代えて、指の割り当てを一旦消去し、割当登録モードに移行してもよい。なお、割当登録モード中は、分岐部分で表示を止めていてもよい。なお、割当登録モード時には、上記と同様に、最も類似したオブジェクトに沿ってスクロールさせるスクロール方法を割り当ててもよい。

また、図５（ａ）〜図５（ｂ）に示すように、第１の指（人指し指）のスクロール操作のスクロール方向と道路ｂの伸びる方向の類似度、第２の指（中指）のスクロール操作のスクロール方向と現地点（第２の指のスクロール操作の開始地点）から駅に向かう方向との類似度と、駅付近にてズームさせる頻度とに基づいて、第１の指に道路ｂに沿ってスクロールさせるスクロール方法を割り当てるとともに、第２の指に駅に向かってスクロールしかつ駅付近をズームさせる操作方法（スクロール操作＋ズーム操作）を割り当ててもよい。

第１の指に道路ｂに沿ってスクロールさせるスクロール方法が割当済であって、第２の指に駅に向かってスクロールしかつ駅付近をズームさせる操作方法（スクロール操作＋ズーム操作）が割当済である場合、第１の指でスクロールしたときは、類似度に基づいて、図５（ｃ）に示すように、道路ｂに沿ってスクロールし、駅が見えているときに、第２の指でスクロールしたときは、類似度に基づいて、図５（ｄ）に示すように、当該駅にスクロールして駅付近をズームさせる。

なお、図５の場合、第２の指に連続操作（スクロール操作＋ズーム操作）を割り当てているが、連続操作の割当は以下の如く行う。

１．地図上の操作履歴を参照し、ある指でのある地図上のオブジェクト（例えば、交差点、店、同種の店、同種の建物など位置がある程度限られているオブジェクト）に対する連続操作の頻度を算出する。例えば、スクロール操作中におけるあるオブジェクトＡの出現回数ｎ、および、オブジェクトＡに対するズーム回数ｍをカウントする。なお、オブジェクトＡに対する操作（スクロール操作、ズーム操作）であるか否かは、距離、方向の類似度に基づいて判定する。
２．ある指でのあるオブジェクトに対する連続操作の頻度がある基準よりも高い場合、当該指に当該連続操作を割り当てる。例えば、出現回数ｎがある値以上かつ、ｍ／ｎがある値以上の場合に、操作指に、地図上の現在位置からのオブジェクトＡへのスクロール操作およびズーム操作を割り当てる。

なお、操作対象データがＨＴＭＬデータ（ウェブページ）である場合の操作方法の割当も同様である。例えば、あるウェブページＢが、右側に広告領域（オブジェクト）を有し、左側にニュースの記述領域（オブジェクト）を有している場合、ウェブページＢを表示（再表示、改ページを含む）する際に、左側にスクロールし、左側のニュース部分を拡大して閲覧したいという状況が起こりうる。当該状況下において、ある指に連続操作（具体的には、左スクロール操作＋ズーム操作）を割り当てると有効である。なお、ウェブページの場合にも、地図データの場合と同様、操作履歴を参照し、操作指に連続操作を割り当てることが可能である。即ち、あるウェブページ（若しくはＵＲＬの前方部分一致）に対し、ある指での、当該ウェブページの表示後の最初に行った操作（連続操作を含む）の頻度に基づいて、当該指に当該連続操作を割り当てることが可能である。

以下、図６乃至図１０のフローチャートを用いて、表示装置１の処理の流れを説明する。図６は、指特定モデルの学習に関するフローチャートの一例である。

図６に示すように、指特定モデルの学習処理として、はじめに、登録する指（操作方法の割当対象とする指）の指定を受け付ける（ステップＳ１０）。具体的には、例えば、登録する指を指定するボタンを表示画面１２に表示しておき、操作認識部１４がボタンのタッチを認識することによってユーザから登録する指の指定を受け付ける。なお、ユーザは、例えば、利き腕若しくは両腕の５指のうち登録を要する指（又は指の組合せ）について、順番に登録を指示する。

続いて、ステップＳ１０において指定された指についてスライドパタンの指定を受け付ける（ステップＳ１２）。具体的には、例えば、予め用意されたスライドパタンを指定するボタンを表示画面１２に表示しておき、操作認識部１４がボタンのタッチを認識することによってユーザからスライドパタンの指定を受け付ける。なお、ユーザによって指定されたスライドパタンをアニメーションなどで表示画面１２に表示してもよい。

続いて、ユーザによって表示画面１２上をスライドされた指の接触領域のデータ（特徴量）を一定時間間隔でサンプリングする（ステップＳ１４）。具体的には、例えば、操作認識部１４が、スライドに応じて移動する接触領域のデータを一定時間毎にサンプリングする。なお、ユーザは、ステップＳ１２において指定したスライドパタンを参考にして、表示画面１２上にて指定した指をスライドさせる。

続いて、サンプリング量が十分であるか否かを判断する（ステップＳ１６）。具体的には、例えば、操作認識部１４が、接触領域が途切れていない接触データを一定量若しくは統計量（平均・分散値）が安定するまで蓄積したか否かを判断する。サンプリング量が十分でない場合（ステップＳ１６：Ｎｏ）、ステップＳ１４に戻る。一方、サンプリング量が十分である場合（ステップＳ１６：Ｙｅｓ）、機械学習手段により当該指定指について指特定モデルを学習する（ステップＳ１８）。そして、図６のフローチャートは終了する。なお、必要な場合には、他の指について、ステップＳ１０〜Ｓ１８を実行し、各指について指特定モデルを学習する。

なお、図６のフローチャートでは、スクロール操作を念頭に、表示画面１２上の指のスライド操作によって指特定モデルを学習しているが、他の操作（例えば、タッチ、フリック）によって指特定モデルを学習してもよい。また、ステップＳ１２は省略してもよい。

図７は、割当情報の登録（記憶）に関するフローチャートの一例である。図８は、割当情報の利用に関するフローチャートの一例である。なお、図７、図８のフローチャートは、表示装置１が、割当登録モードと割当利用モードとを有する態様における動作の流れを表している。例えば、図７のフローチャートは、割当登録モードの宣言中に動作し、図８のフローチャートは、割当利用モードの宣言中に動作する。

（割当登録モード）
図７に示すように、操作認識部１４は、接触領域を検知し、接触領域の位置、特徴量を認識する（ステップＳ２０）。操作認識部１４は、接触領域の位置の経時変化の有無、変化量から、ユーザ操作（スライド、タッチ、フリックなど）を認識する（ステップＳ２１）。操作認識部１４は、認識した接触領域の特徴量を操作指特定部２０に出力する。また、操作認識部１４は、認識したユーザ操作を操作方法特定部３０に出力する。

操作指特定部２０は、操作認識部１４によって認識されたユーザ操作に係る操作指を特定する（ステップＳ２２）。即ち、操作指特定部２０は、操作認識部１４から取得した接触領域の特徴量と、指特定モデルと用いて、ユーザ操作に係る操作指を特定する。操作指特定部２０は、特定した操作指の操作指識別情報を割当部５０に出力する。

操作方法特定部３０は、ステップＳ２１において認識されたユーザ操作と、表示制御部４０から得られる表示内容（例えば、地図データ上のオブジェクトの位置）とに基づいて、ステップＳ２１において認識されたユーザ操作に対応する操作方法を特定する（ステップＳ２３）。操作方法特定部３０は、特定した操作方法の操作方法識別情報と、表示中の操作対象データの操作対象データ識別情報とを割当部５０に出力する。なお、操作方法特定部３０は、表示制御部４０から表示中の操作対象データの操作対象データ識別情報を取得する。

割当部５０は、表示中のコンテンツに関して、ステップＳ２４において操作指特定部２０が特定した操作指に、ステップＳ２３において操作方法特定部３０が特定した操作方法を割り当てる（ステップＳ２４）。即ち、割当部５０は、操作方法特定部３０から取得したコンテンツ識別情報と、操作指特定部２０から取得した操作指識別情報と、操作方法特定部３０から取得した操作方法識別情報とを対応付けて割当情報記憶部８０に記憶する。そして、図７のフローチャートは終了する。

（割当利用モード／例１）
図８に示すように、操作認識部１４は、接触領域を検知し、接触領域の位置、特徴量を認識する（ステップＳ３０）。操作認識部１４は、接触領域の位置の経時変化の有無、変化量から、ユーザ操作（スライド、タッチ、フリックなど）を認識する（ステップＳ３２）。操作認識部１４は、認識した接触領域の特徴量を操作指特定部２０に出力する。また、操作認識部１４は、認識したユーザ操作を操作方法特定部３０および表示制御部４０に出力する。

操作指特定部２０は、ステップＳ３２において認識されたユーザ操作に係る操作指を特定する（ステップＳ３４）。即ち、操作指特定部２０は、操作認識部１４から取得した接触領域の特徴量と、指特定モデルと用いて、ユーザ操作に係る操作指を特定する。

操作指特定部２０は、特定した操作指に操作方法が割り当てられているか否かを判断する（ステップＳ３６）。即ち、操作指特定部２０は、表示中の操作対象データの操作対象データ識別情報と、ステップＳ３４において特定した操作指の操作指識別情報に対応付けて、割当情報記憶部８０に操作方法識別情報が記憶されているか否かを判断する。なお、操作指特定部２０は、表示制御部４０および操作方法特定部３０を介して、表示中の操作対象データの操作対象データ識別情報を取得する。

特定した操作指に操作方法が割り当てられていない場合（ステップＳ３６：Ｎｏ）、即ち、表示中の操作対象データの操作対象データ識別情報と、当該特定した操作指の操作指識別情報に対応付けて割当情報記憶部８０に操作方法識別情報が記憶されていない場合、操作指特定部２０は、操作方法識別情報が記憶されていない旨を操作方法特定部３０に通知する。上記通知を取得した操作方法特定部３０は、操作方法を特定しなかった旨を表示制御部４０に出力する。表示制御部４０は、ステップＳ３２において認識されたユーザ操作に従って、表示画面１２の表示を制御する（ステップＳ５０）。そして、図８のフローチャートは終了する。

一方、特定した操作指に操作方法が割り当てられている場合（ステップＳ３６：Ｙｅｓ）、即ち、表示中の操作対象データの操作対象データ識別情報と、当該特定した操作指の操作指識別情報に対応付けて割当情報記憶部８０に操作方法識別情報が記憶されている場合、操作指特定部２０は、当該操作方法識別情報を操作方法特定部３０に出力する。

上記操作方法識別情報を取得した操作方法特定部３０は、ステップＳ３２において認識されたユーザ操作に対応する操作方法として、操作指特定部２０から取得した操作方法識別情報の操作方法を特定する（ステップＳ４２）。即ち、操作方法特定部３０は、ステップＳ４２において認識されたユーザ操作に対応する操作方法として、ステップＳ３４において特定された操作指に既に割当済の操作方法を特定する。なお、操作方法特定部３０は、割当情報記憶部８０を参照し、操作指特定部２０から取得した操作方法識別情報に対応付けられている割当方法が何であるかを認識する。操作方法特定部３０は、特定した操作方法（表示制御部４０が当該操作方法を解釈可能な情報）を表示制御部４０に出力する。

表示制御部４０は、ステップＳ３２において認識されたユーザ操作と、ステップＳ４２において特定された操作方法とに応じて、表示画面１２の表示を制御する（ステップＳ５２）。そして、図８のフローチャートは終了する。

（割当利用モード／例２）
図９は、割当情報の利用に関するフローチャートの他の例である。なお、図９のステップＳ３０、Ｓ３２、Ｓ３４、Ｓ３６、Ｓ４２、Ｓ５２は、図８のステップＳ３０、Ｓ３２、Ｓ３４、Ｓ３６、Ｓ４２、Ｓ５２と同様であるため、説明を省略する。

図９において、特定した操作指に操作方法が割り当てられていない場合（ステップＳ３６：Ｎｏ）、即ち、表示中の操作対象データの操作対象データ識別情報と、当該特定した操作指の操作指識別情報に対応付けて割当情報記憶部８０に操作方法識別情報が記憶されていない場合、操作指特定部２０は、操作方法識別情報が記憶されていない旨を操作方法特定部３０に通知する。上記通知を取得した操作方法特定部３０は、図７のステップＳ２３と同様、ステップＳ３２において認識されたユーザ操作と、表示制御部４０から得られる表示内容（例えば、地図データ上のオブジェクトの位置）とに基づいて、ステップＳ３２において認識されたユーザ操作に対応する操作方法を特定する（ステップＳ４０）。操作方法特定部３０は、特定した操作方法（表示制御部４０が当該操作方法を解釈可能な情報）を表示制御部４０に出力する。

表示制御部４０は、ステップＳ３２において認識されたユーザ操作と、ステップＳ４０において特定された操作方法とに応じて、表示画面１２の表示を制御する（ステップＳ５２）。そして、図９のフローチャートは終了する。

図１０は、他の動作に関するフローチャートである。具体的には、図１０（ａ）は、図８および図９の破線で囲んだ部分Ａの別例である。図１０（ｂ）は、図９の一点鎖線で囲んだ部分Ｂの別例である。なお、図１０（ｂ）は、１回のユーザ操作において、操作指に割当済の操作方法にて操作する場面と、操作指に操作方法を割り当てる場面とが混在する態様（割当登録モードと割当利用モードとの区別がない態様）における動作である。

（図１０（ａ）の例）
特定した操作指に操作方法が割り当てられている場合（ステップＳ３６：Ｙｅｓ）、操作指特定部２０は、当該操作方法識別情報を操作方法特定部３０に出力する。上記操作方法識別情報を取得した操作方法特定部３０は、ステップＳ３２において認識されたユーザ操作に対応する操作方法として、操作指特定部２０から取得した操作方法識別情報の操作方法を特定する（ステップＳ４２）。操作方法特定部３０は、特定した操作方法（表示制御部４０が当該操作方法を解釈可能な情報）を表示制御部４０に出力する。

表示制御部４０は、ステップＳ３２において認識されたユーザ操作と、ステップＳ４２において特定された操作方法とによる表示は妥当か否かを判断する（ステップＳ４４）。例えば、表示制御部４０は、線路（又は、各道路、各河川など）沿いにスクロールさせるスクロール方法が特定されている場合に、操作認識部１４によって認識されたスクロール操作からスクロールの対象となる線路（又は、各道路、各河川など）が見つかった場合には、ステップＳ３２において認識されたユーザ操作と、ステップＳ４２において特定された操作方法とによる表示は妥当であると判断し、見つからなかった場合には妥当でないと判断する。

表示が妥当である場合（ステップＳ４４：Ｙｅｓ）、表示制御部４０は、ステップＳ３２において認識されたユーザ操作と、ステップＳ４２において特定された操作方法とに応じて、表示画面１２の表示を制御する（ステップＳ５２）。そして、図１０（ａ）のフローチャートは終了する。

一方、表示が妥当でない場合（ステップＳ４４：Ｎｏ）、表示制御部４０は、所定回数連続して妥当でないか否かを判断する（ステップＳ４６）。即ち、表示制御部４０は、図１０（ａ）のフローチャートにおいて、ステップＳ４４（Ｎｏ）を所定回数連続して実行したか否かを判断する。換言すれば、表示制御部４０は、ユーザ操作を所定回数連続して行っても妥当な表示が得られず、所定回数連続して表示画面１２の表示を制御できない状況であるか否かを判断する。

所定回数連続して妥当でないとはなっていない場合（ステップＳ４６：Ｎｏ）、つまり、所定回数連続して表示を制御できない状況にはなっていない場合、図１０（ａ）のフローチャートは終了する。

一方、所定回数連続して妥当でない場合（ステップＳ４６：Ｙｅｓ）、つまり、所定回数連続して表示を制御できない状況にはなっている場合、割当部５０は、ステップＳ３４において特定された操作指への操作方法（即ち、ステップＳ３６において割当済と判断された操作方法）の割当を解除する（ステップＳ４８）。そして、図１０（ａ）のフローチャートは終了する。

（図１０（ｂ）の例）
ステップＳ４０に続いて、割当部５０は、ステップＳ３４において特定された操作指にステップＳ４０において特定された操作方法を割り当てる旨の指示があったか否かを判断する（ステップＳ６０）。なお、割当部５０は、例えば、操作認識部１４および操作方法特定部３０（又は操作指特定部２０）を介して上記指示を受け付ける。

指示があった場合（ステップＳ６０：Ｙｅｓ）、割当部５０は、ステップＳ３４において特定された操作指にステップＳ４０において特定された操作方法を割り当てる（ステップＳ６２）。そして、図１０（ｂ）のフローチャートは終了する。指示がなかった場合（ステップＳ６０：Ｎｏ）、ステップＳ６２を飛ばして、図１０（ｂ）のフローチャートは終了する。

以上、表示装置１によれば、タッチパネル操作による操作性を更に向上させることができる。例えば、表示装置１によれば、ボタン操作などによる明示的な切り替え操作を要せずに、操作した操作指に応じて適宜、地図をスクロールさせることができる。

なお、本発明の実施形態による表示装置１の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、表示装置１の各処理に係る上述した種々の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…表示装置 １０…表示部 １２…表示画面 １４…操作認識部（スクロール操作認識部） ２０…操作指特定部 ３０…操作方法特定部（スクロール方法特定部） ４０…表示制御部（スクロール制御部） ５０…割当部 ８０…割当情報記憶部 ９０…操作対象データ記憶部

Claims (15)

1. 表示画面上のユーザ操作を認識する操作認識部と、
   前記操作認識部によって認識されたユーザ操作に係る操作指を特定する操作指特定部と、
   前記操作認識部によって認識されたユーザ操作に対応する操作方法を特定する操作方法特定部と、
   表示画面の表示を制御する表示制御部と、
   前記操作指を識別する操作指識別情報と、前記操作方法を識別する操作方法識別情報とを対応付けることによって、前記操作指に前記操作方法を割り当てる割当部と
   を備え、
   前記操作方法特定部は、
   前記操作指特定部が、あるユーザ操作に係る前記操作指として、前記割当部によって前記操作方法を割り当てている前記操作指を特定した場合には、当該ユーザ操作に対応する前記操作方法として、当該操作指に割り当てている前記操作方法を特定し、
   前記表示制御部は、
   前記操作方法特定部が、前記操作指に割り当てている前記操作方法を特定した場合には、前記操作認識部によって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御する
   ことを特徴とする表示装置。
2. 前記操作方法特定部は、
   前記操作指特定部が、ユーザの指示があった場合、又は、あるユーザ操作に係る前記操作指として、前記割当部によって前記操作方法を割り当てていない前記操作指を特定した場合には、当該ユーザ操作と表示内容とに基づいて、当該ユーザ操作に対応する前記操作方法を特定する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記割当部は、
   前記操作方法特定部が、ユーザ操作と表示内容とに基づいて当該ユーザ操作に対応する前記操作方法を特定したときは、当該ユーザ操作に係る操作指に当該操作方法を割り当てる
   ことを特徴とする請求項２に記載の表示装置。
4. 前記操作方法特定部は、
   ユーザ操作と所定操作との類似度に基づいて、当該ユーザ操作に対応する前記操作方法を特定する
   ことを特徴とする請求項２又は請求項３に記載の表示装置。
5. 前記所定操作は、
   ある目的に対する単一若しくは一連の操作、又は、操作履歴から得られる単一若しくは一連の操作である
   ことを特徴とする請求項４に記載の表示装置。
6. 前記割当部は、
   複数の前記操作指の組合せに対して前記操作方法を割り当てる
   ことを特徴とする請求項１乃至請求項５の何れか１項に記載の表示装置。
7. 前記割当部は、
   前記表示制御部が、前記操作認識部によって認識されたユーザ操作と、当該ユーザ操作に係る操作指に割り当てている前記操作方法とに応じて、表示画面の表示を制御できなかった場合には、当該操作指への当該操作方法の割当を解除する
   ことを特徴とする請求項１乃至請求項６の何れか１項に記載の表示装置。
8. 表示画面上のスクロール操作を認識するスクロール操作認識部と、
   前記スクロール操作認識部によって認識されたスクロール操作に係る操作指を特定する操作指特定部と、
   前記スクロール操作認識部によって認識されたスクロール操作に対応するスクロール方法を特定するスクロール方法特定部と、
   前記スクロール方法特定部によって特定された前記スクロール方法に応じて、表示画面上のコンテンツのスクロールを制御するスクロール制御部と、
   前記操作指を識別する操作指識別情報と、前記スクロール方法を識別するスクロール方法識別情報とを対応付けることによって、前記操作指に前記スクロール方法を割り当てる割当部と
   を備え、
   前記スクロール方法特定部は、
   前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てている前記操作指を特定した場合には、当該スクロール操作に対応する前記スクロール方法として、当該操作指に割り当てている前記スクロール方法を特定する
   ことを特徴とする表示装置。
9. 前記スクロール方法特定部は、
   前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てていない前記操作指を特定した場合には、当該スクロール操作とコンテンツとに基づいて、当該スクロール操作に対応する前記スクロール方法を特定する
   ことを特徴とする請求項８に記載の表示装置。
10. 前記コンテンツは、線形状のオブジェクトを有し、
    前記スクロール方法特定部は、
    前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てていない前記操作指を特定した場合には、当該スクロール操作に対応する前記スクロール方法として、当該スクロール操作の方向と前記オブジェクトの伸びる方向との類似度、および、スクロール操作中のある座標と前記オブジェクトのある座標との距離からなる関数が最大になる前記オブジェクトに沿ってスクロールさせるスクロール方法を特定する
    ことを特徴とする請求項９に記載の表示装置。
11. 前記スクロール方法特定部は、
    前記操作指特定部が、あるスクロール操作に係る前記操作指として、前記割当部によって前記スクロール方法を割り当てていない前記操作指を特定した場合には、当該スクロール操作に対応する前記スクロール方法として、当該スクロール操作の方向と、前記オブジェクトの存在する方向と、指定されたオブジェクトの種類とに基づいて、１つのオブジェクトを決定し、当該オブジェクトに向かってスクロールさせるスクロール方法を特定する
    ことを特徴とする請求項９に記載の表示装置。
12. 前記スクロール方法特定部は、
    前記オブジェクトに向かってスクロールさせるスクロール方法に代えて、前記オブジェクトに向かってスクロールさせるとともに前記オブジェクトを拡大又は縮小させる操作方法を特定する
    ことを特徴とする請求項１１に記載の表示装置。
13. 前記スクロール制御部は、
    前記スクロール操作認識部によって認識されたスクロール操作の方向と、前記スクロール方法特定部によって特定された前記スクロール方法と、コンテンツに存在するオブジェクトの方向とに基づいて、コンテンツのスクロール方向を決定し、コンテンツをスクロールさせる
    ことを特徴とする請求項８乃至請求項１２に記載の表示装置。
14. 表示装置における表示方法であって、
    表示画面上のユーザ操作を認識する操作認識工程と、
    前記操作認識工程によって認識されたユーザ操作に係る操作指を特定する操作指特定工程と、
    前記操作認識工程によって認識されたユーザ操作に対応する操作方法を特定する操作方法特定工程と、
    表示画面の表示を制御する表示制御工程と、
    前記操作指を識別する操作指識別情報と、前記操作方法を識別する操作方法識別情報とを対応付けることによって、前記操作指に前記操作方法を割り当てる割当工程と
    を有し、
    前記操作方法特定工程は、
    前記操作指特定工程において、あるユーザ操作に係る前記操作指として、前記割当工程によって前記操作方法を割り当てている前記操作指が特定された場合には、当該ユーザ操作に対応する前記操作方法として、当該操作指に割り当てている前記操作方法を特定し、
    前記表示制御工程は、
    前記操作方法特定工程において、前記操作指に割り当てている前記操作方法が特定された場合には、前記操作認識工程によって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御する
    ことを特徴とする表示方法。
15. 表示装置のコンピュータに、
    表示画面上のユーザ操作を認識する操作認識ステップと、
    前記操作認識ステップによって認識されたユーザ操作に係る操作指を特定する操作指特定ステップと、
    前記操作認識ステップによって認識されたユーザ操作に対応する操作方法を特定する操作方法特定ステップと、
    表示画面の表示を制御する表示制御ステップと、
    前記操作指を識別する操作指識別情報と、前記操作方法を識別する操作方法識別情報とを対応付けることによって、前記操作指に前記操作方法を割り当てる割当ステップと
    を実行させるプログラムであって、
    前記操作方法特定ステップは、
    前記操作指特定ステップにおいて、あるユーザ操作に係る前記操作指として、前記割当ステップによって前記操作方法を割り当てている前記操作指が特定された場合には、当該ユーザ操作に対応する前記操作方法として、当該操作指に割り当てている前記操作方法を特定し、
    前記表示制御ステップは、
    前記操作方法特定ステップにおいて、前記操作指に割り当てている前記操作方法が特定された場合には、前記操作認識ステップによって認識されたユーザ操作と、当該操作方法とに応じて表示画面の表示を制御する
    ことを特徴とするプログラム。

Images