JP6823988B2 - 画面操作方法及び画面操作装置 - Google Patents

Description

この発明は、カーソルの位置を操作する画面操作方法及び画面操作装置に関する。

従来から、例えば、操作者によるジェスチャを検出し、その検出結果に応じて画面上のカーソルの位置を操作する画面操作方法が知られている。また、操作者の視線を検出し、その検出結果に応じて画面上のカーソルの位置を操作する方法も知られている（例えば特許文献１参照）。

特表２０１４−５１４６６１号公報

しかしながら、従来の画面操作方法では、カーソルの位置を正確に操作できない場合があり、信頼性が低いという課題がある。
例えば、ジェスチャに応じてカーソルの位置を操作する方法では、画面上の操作範囲に対して操作者の動作範囲が狭く、細やかな操作が行えない。

例えば図１２に示すように、１００インチの表示装置に表示された画面１０１上に、機能メニューのボタン１０２が１００ピクセル間隔（符号ｌ）で並び、カーソル１０３で操作するものとする。この場合、ボタン１０２間の画面１０１上での距離は約１１．５ｃｍであり、その距離を手の動きで操作する場合には手を例えば約４ｃｍ動かす必要がある。しかしながら、空中に浮かした手の位置を狙いを定めて４ｃｍだけ移動させる腕の動きは、身体的負担が大きく、また、動きが小さいことから検出誤差が生じて正確にカーソル１０３の位置を操作できない確率が高い。

また、視線に応じてカーソルの位置を操作する方法では、視線方向検出の手法上、画面の端では検出エラー又は検出誤差が生じ易く、意図した場所にカーソルを誘導することが困難である。

すなわち、視線方向検出では、例えば図１３に示すように、赤外線フィルタを用いて赤外線を光源として取り込んだ操作者の眼球画像から、瞳孔の中心点１０４と角膜反射点（赤外線の反射点）１０５とを検出し、その相対位置から視線方向を求めている。
しかしながら、例えば図１４に示すように、視線の動きが大きくなり、瞳孔の中心点１０４が眼球画像の中心位置からずれると、角膜反射点１０５が瞳孔部分から白目部分にずれる。この場合、角膜反射点１０５が検出できなかったり、瞳孔の端と白目部分に複数の反射が乱れて映ったりして、誤認識が生じる。

なお、上記に対し、マウスを用い、マウスの動作によりカーソルの位置を操作する方法も一般的に知られている。しかしながら、特に大画面高解像度である画面上のカーソルの位置を操作する場合、マウスを用いた方法では、入力のオンオフ切替えの煩雑さ及びカーソルを大きく動かすことの大変さがあり、好ましくない。

この発明は、上記のような課題を解決するためになされたもので、正確にカーソルの位置を操作できる画面操作方法を提供することを目的としている。

この発明に係る画面操作方法は、第１行動取得部は、画面を操作する操作者による第１行動を取得し、操作範囲指定部は、第１行動取得部により取得された第１行動から、画面上の一部の領域を操作範囲として指定し、第２行動取得部は、操作者による第２行動を取得し、カーソル位置操作部は、第２行動取得部により取得された第２行動から、操作範囲指定部により指定された操作範囲の画面に対する比率に応じて、当該画面に対するカーソルの移動量である操作量よりも小さい操作量で、当該操作範囲においてカーソルの位置を操作することを特徴とする。

この発明によれば、上記のように構成したので、正確にカーソルの位置を操作できる。

この発明の実施の形態１に係る画面操作装置を含む画面操作システムの構成例を示す図である。 この発明の実施の形態１に係る画面操作装置の動作例を示すフローチャートである。 図３Ａ、図３Ｂは、この発明の実施の形態１に係る画面操作装置の動作例を説明する図である。 図４Ａ、図４Ｂは、この発明の実施の形態１に係る画面操作装置の別の動作例を説明する図である。 この発明の実施の形態２に係る画面操作装置を含む画面操作システムの構成例を示す図である。 図６Ａ〜図６Ｃは、この発明の実施の形態２に係る画面操作装置の動作例を説明する図である。 この発明の実施の形態３に係る画面操作装置を含む画面操作システムの構成例を示す図である。 図８Ａ、図８Ｂは、この発明の実施の形態３に係る画面操作装置の動作例を説明する図である。 この発明の実施の形態４に係る画面操作装置を含む画面操作システムの構成例を示す図である。 図１０Ａ、図１０Ｂは、この発明の実施の形態４に係る画面操作装置の動作例を説明する図である。 図１１Ａ、図１１Ｂは、この発明の実施の形態１に係る画面操作装置のハードウェア構成例を示す図である。 表示装置に表示される画面の一例を示す図である。 視線検出方法を説明する図である。 従来の画面操作方法による課題を説明する図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る画面操作装置３を含む画面操作システムの構成例を示す図である。
画面操作システムは、表示装置１、検出装置２及び画面操作装置３を備えている。なお図では、表示装置１、検出装置２及び画面操作装置３がそれぞれ別体に構成された場合を示しているが、これに限らず、表示装置１、検出装置２及び画面操作装置３は他の装置と一体化されていてもよい。また、表示装置１と画面操作装置３との間及び検出装置２と画面操作装置３との間は、それぞれ有線又は無線で接続され、通信可能に構成されている。

表示装置１は、画面を表示する。この表示装置１としては、例えば、ＰＣディスプレイ、テレビ、ヘッドマウント型ディスプレイ等が挙げられる。

検出装置２は、上記画面を操作する操作者による第１，２行動を検出する。なお、検出装置２は、表示装置１に対向して複数の人物が存在する場合であっても、例えば、マーカを保持する人物又は特定の行動を行う人物等を検出することで、当該人物を操作者として認識可能である。また、第１，２行動としては、例えば、ジェスチャ（手や顔等の身体部位の移動）、視線の移動、マウスの移動、操作者の手元に置かれたキーボード等を用いたキー又はボタン等の操作、発声等が挙げられる。なお、第１行動と第２行動は区別可能な行動であればよく、予め決められている。この検出装置２により検出された第１，２行動を示すデータは、画面操作装置３に出力される。

なお、検出装置２では、例えば、カメラ、ジェスチャを認識するジェスチャ認識装置、視線を認識する視線認識装置、マウス、キーボード、マイク等の入力装置を１つ以上有し、この入力装置により得られたデータを用いて第１，２行動を検出する。
例えば、第１行動が顔の移動であり、第２行動が手の移動である場合、入力装置として１台の可視カメラを用いて実現可能である。一方、第１行動が顔の移動であり、第２行動が視線の移動である場合、１台の可視カメラでも実現可能であるが、視線検出の精度を上げる場合には赤外線光源及び赤外線カメラを別途用いる。なお、赤外線カメラの解像度は低いため、表示装置１と操作者との間の距離が限定される。そこで、表示装置１としてヘッドマウント型ディスプレイを用い、このディスプレイに赤外線光源及び赤外線カメラを搭載して視線検出を行ってもよい。なお、検出装置２による第１，２行動の具体的な検出方法については、既存の技術と同様であり、その説明は省略する。

画面操作装置３は、表示装置１に表示された画面を操作する。以下では、画面操作装置３が有する機能のうち、カーソルの位置を操作する機能についてのみ説明を行う。この画面操作装置３は、カーソルの位置を操作する機能として、図１に示すように、第１行動取得部３０１、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４を備えている。

第１行動取得部３０１は、操作者による第１行動を取得する。図１の例では、第１行動取得部３０１は、検出装置２から出力されたデータを受信することで、上記第１行動を取得する。なお、第１行動取得部３０１は、例えば、操作者が予め決められた位置に立った場合、又は、画面上に第１行動を促す表示等が行われた場合等に、処理を開始する。

操作範囲指定部３０２は、第１行動取得部３０１により取得された第１行動から、画面上の一部の領域を操作範囲として指定する。この際、操作範囲指定部３０２は、例えば、上記第１行動に対応する画面上の位置が、規定時間、しきい値範囲内に位置する場合に、当該位置を含む領域を操作範囲として指定する。なお、上記領域は、例えば、予め画面を複数に分割することで設定しておいてもよいし、上記第１行動に対応する画面上の位置を中心にしてその都度設定してもよい。また、上記領域の大きさは、例えば、画面全体の大きさ、表示装置１と操作者との間の距離、操作者の立ち位置等により適切な大きさに設定される。

第２行動取得部３０３は、操作者による第２行動を取得する。図１の例では、第２行動取得部３０３は、検出装置２から出力されたデータを受信することで、上記第２行動を取得する。なお、第２行動取得部３０３は、例えば、操作範囲指定部３０２により操作範囲が指定された場合等に処理を開始してもよいし、第１行動取得部３０１と並行して処理を行ってもよい。

カーソル位置操作部３０４は、第２行動取得部３０３により取得された第２行動から、操作範囲指定部３０２により指定された操作範囲の画面に対する比率に応じた操作量で、当該操作範囲においてカーソルの位置を操作する。

なお図１では、第１，２行動取得部３０１，３０３は、検出装置２から出力されたデータを受信することで、第１，２行動を取得するものとした。しかしながら、これに限らず、検出装置２による入力装置で得られたデータに基づく第１，２行動の検出処理は、第１，２行動取得部３０１，３０３で行うように構成してもよい。

次に、上記のように構成された画面操作装置３によるカーソルの位置の操作例について、図２を参照しながら説明する。なお、表示装置１は画面を表示し、検出装置２は第１，２行動を常時検出しているものとする。
画面操作装置３によるカーソルの位置の操作例では、図２に示すように、まず、第１行動取得部３０１は、検出装置２から出力されたデータを受信することで、操作者による第１行動を取得する（ステップＳＴ２０１）。

次いで、操作範囲指定部３０２は、第１行動取得部３０１により取得された第１行動から、画面上の一部の領域を操作範囲として指定する（ステップＳＴ２０２）。この際、操作範囲指定部３０２は、例えば、上記第１行動に対応する画面上の位置が、規定時間、しきい値範囲内に位置する場合に、当該位置を含む領域を操作範囲として設定する。これにより、操作者がカーソルの位置を操作する操作範囲を、画面全体から一部の領域に絞り込むことができる。また、カーソルは操作範囲内に移動される。
また、操作範囲指定部３０２は、指定した操作範囲を示す枠を画面上に表示してもよい。これにより、操作者は、指定された操作範囲を確認できる。

次いで、第２行動取得部３０３は、検出装置２から出力されたデータを受信することで、操作者による第２行動を取得する（ステップＳＴ２０３）。

次いで、カーソル位置操作部３０４は、第２行動取得部３０３により取得された第２行動から、操作範囲指定部３０２により指定された操作範囲の画面に対する比率に応じた操作量で、当該操作範囲においてカーソルの位置を操作する（ステップＳＴ２０４）。すなわち、操作範囲を画面全体から一部の領域に限定することで、操作者の動作範囲に対する操作範囲が小さくなり、操作者はより大きな動作で操作を行うことができる。

なお、操作範囲指定部３０２による操作範囲の指定後、第２行動取得部３０３が第２行動を取得する前に、第１行動取得部３０１が第１行動を再度取得した場合には、操作範囲指定部３０２は操作範囲の再指定を行う。

また上記では、第２行動取得部３０３が、操作範囲指定部３０２による指定後に処理を開始する場合を示した。しかしながら、これに限らず、第２行動取得部３０３は、第１行動取得部３０１と並行して処理を行ってもよい。

次に、具体例として、操作者が、第１行動として顔を回転させ、第２行動として手を移動させる場合を説明する。
この場合、まず、操作者は、表示装置１に対向する位置に立ち、表示装置１に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第１行動取得部３０１はその顔の向きを取得し、操作範囲指定部３０２は、当該顔の向きから、画面上の一部の領域を操作範囲として指定する。
次いで、操作者は、カーソルの位置を操作対象へ移動させるように、手を移動させる。そして、第２行動取得部３０３はその手の動きを取得し、カーソル位置操作部３０４は、当該手の動きを、操作範囲の画面に対する比率に応じた操作量に変換した上で、当該操作範囲においてカーソルの位置を操作する。

このように、顔の向きに基づいて操作範囲を画面全体から一部の領域に限定することで、操作範囲上の距離と手の動作範囲上の距離との比率を変えることができる。
ここで、図３Ａに示すように、１００インチの表示装置１に表示された画面１１上に、機能メニューのボタン１２が１００ピクセル間隔（符号ｌ１）で並び、カーソル１３で操作するものとする。この画面１１において、操作範囲１４を画面全体から例えば３００ピクセル×３００ピクセルの範囲に限定する。この場合、図３Ｂに示すボタン１２間を移動するために必要な手の動作範囲（符号ｌ２）が例えば従来の４ｃｍから２４ｃｍに変わる。このように、手を動かす必要がある距離が大きくなることで、検出誤差が抑制され、より細やかな操作が可能となる。

次に、別の具体例として、操作者が、第１行動として顔を回転させ、第２行動として視線を移動させる場合を説明する。
この場合、まず、操作者は、表示装置１に対向する位置に立ち、表示装置１に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第１行動取得部３０１はその顔の向きを取得し、操作範囲指定部３０２は、当該顔の向きから、画面上の一部の領域を操作範囲として指定する。
次いで、操作者は、カーソルの位置を操作対象へ移動させるように、視線を移動させる。そして、第２行動取得部３０３はその視線の動きを取得し、カーソル位置操作部３０４は、当該視線の動きを、操作範囲の画面に対する比率に応じた操作量に変換した上で、当該操作範囲においてカーソルの位置を操作する。

このように、顔の向きに基づいて操作範囲を画面全体から一部の領域に限定することで、図４に示すように、操作範囲がｌ３からｌ４に狭まるとともに顔の向きも操作対象の方向へ向いていることから、瞳孔の移動量（符号ｌ５）も自然と小さくなる。よって、検出エラー及び検出誤差の発生を抑制でき、画面操作の信頼性が向上する。また、検出誤差が生じたとしても、カーソルが顔の向きから得られた視界の中心部から外れることはなく、視線の移動を利用した画面操作の安定性が向上する。

次に、別の具体例として、操作者が、第１行動として顔を回転させ、第２行動としてマウスを移動させる場合を説明する。
この場合、まず、操作者は、表示装置１に対向する位置に立ち、表示装置１に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第１行動取得部３０１はその顔の向きを取得し、操作範囲指定部３０２は、当該顔の向きから、画面上の一部の領域を操作範囲として指定する。
次いで、作業者は、カーソルの位置を操作対象へ移動させるように、マウスを移動させる。そして、第２行動取得部３０３はそのマウスの動きを取得し、カーソル位置操作部３０４は、当該マウスの動きを、操作範囲の画面に対する比率に応じた操作量に変換した上で、当該操作範囲においてカーソルの位置を操作させる。

ここで、マウスを用いたカーソルの位置の操作では、特に大画面高解像度である画面上のカーソルの位置を操作する場合に、カーソルを見失ったり、カーソルを動かす距離が長く作業効率が低下したりする。しかしながら、実施の形態１の手法のように、操作範囲を画面全体から一部の領域に限定した上で、カーソルの位置を操作することで、カーソルを見失うことを抑制でき、また、カーソルの移動量を少なくできるため作業効率が向上する。

また上記の３つの具体例のように、第１行動と第２行動を、人の行動の時系列に沿った動きとすることで、操作者は第１行動と第２行動を区別することなく、一連の流れで動作でき、操作性が向上する。

以上のように、この実施の形態１によれば、第１行動取得部３０１は第１行動を取得し、操作範囲指定部３０２は、第１行動取得部３０１により取得された第１行動から、画面上の一部の領域を操作範囲として指定し、第２行動取得部３０３は第２行動を取得し、カーソル位置操作部３０４は、第２行動取得部３０３により取得された第２行動から、操作範囲指定部３０２により指定された操作範囲の画面に対する比率に応じた操作量で、当該操作範囲においてカーソルの位置を操作するように構成したので、正確にカーソルの位置を操作できる。その結果、画面操作の信頼性を向上できる。
また、従来では、単一の行動のみを検出し、その検出結果に応じてカーソルの位置を操作している。そのため、高性能、高価格、大型の検出装置を用いる必要があった。それに対し、実施の形態１では、検出装置２で２つの行動を検出して、操作範囲の絞り込みを行った上でカーソルの位置の操作を行うことで、低性能、低価格、小型な検出装置２であっても画像操作の信頼性を高めることができる。

実施の形態２．
実施の形態２では、操作範囲の指定後、当該操作範囲の大きさを変更する場合を示す。
図５はこの発明の実施の形態２に係る画面操作装置３を備えた画面操作システムの構成例を示す図である。この図５に示す実施の形態２に係る画面操作装置３では、図１に示す実施の形態１に係る画面操作装置３に、第３行動取得部３０５及びサイズ変更部３０６を追加している。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。

なお、検出装置２は、実施の形態１における機能に加え、操作者による第３行動を検出する。ここで、第３行動としては、例えば、ジェスチャ、視線の移動、マウスの移動、操作者の手元に置かれたキーボード等を用いたキー又はボタン等の操作、発声等が挙げられる。なお、第３行動は、第１，２行動と区別可能な行動であればよく、予め決められる。この検出装置２により検出された第１〜３行動を示すデータは、画面操作装置３に出力される。

第３行動取得部３０５は、第３行動を取得する。図５の例では、第３行動取得部３０５は、検出装置２から出力されたデータを受信することで、上記第３行動を取得する。なお、第３行動取得部３０５は、例えば、操作範囲指定部３０２により操作範囲が指定された場合に、処理を開始する。
サイズ変更部３０６は、第３行動取得部３０５により取得された第３行動から、操作範囲指定部３０２により指定された操作範囲の大きさを変更（拡張又は縮小）する。

なお、カーソル位置操作部３０４は、操作範囲指定部３０２により指定され、サイズ変更部３０６により大きさが変更された操作範囲の画面に対する比率に応じた操作量で、当該操作範囲においてカーソルの位置を操作する。

また図５では、第３行動取得部３０５は、検出装置２から出力されたデータを受信することで、第３行動を取得するものとした。しかしながら、これに限らず、検出装置２による入力装置で得られた情報に基づく第３行動の検出処理は、第３行動取得部３０５で行ってもよい。

次に、具体例として、操作者が、第１行動として顔を回転させ、第３行動として顔を前後に移動させ、第２行動としてマウスを移動させる場合を説明する。
この場合、まず、操作者は、表示装置１に対向する位置に立ち、表示装置１に表示された画面上の操作対象がある方向を見るように、顔を回転させる。そして、第１行動取得部３０１はその顔の向きを取得し、操作範囲指定部３０２は、当該顔の向きから、図６Ａに示すように、画面１１上の一部の領域を操作範囲１４として指定する。
次に、操作者は、操作範囲指定部３０２により指定された操作範囲の大きさを変更するように、顔を前又は後ろに移動させる。そして、第３行動取得部３０５はその顔の動きを取得し、サイズ変更部３０６は、当該顔の動きから、図６Ｂに示すように、操作範囲１４の大きさを変更する。図６Ｂでは、例えば操作者が顔を後ろに移動することで、操作範囲１４が拡張した場合を示している。
次いで、作業者は、カーソル１３の位置を操作対象へ移動させるように、マウスを移動させる。そして、第２行動取得部３０３はそのマウスの動きを取得し、カーソル位置操作部３０４は、当該マウスの動きを、操作範囲１４の画面１１に対する比率に応じた操作量に変換した上で、当該操作範囲１４においてカーソル１３の位置を操作させる（図６Ｃ）。

このように、操作者は例えば顔を前後に移動させることで、操作範囲の大きさを変更できる。これにより、例えば第２行動としてマウスの移動を行う場合に、マウスの移動量に対する相対的なカーソルの移動量を変化させることができ、操作性を更に向上できる。その結果、カーソルを見失うことを抑制できるだけではなく、マウスを机から何度も離して移動させることなくカーソルの位置の操作も可能となり、長時間のマウス操作に伴う手首の疲労低減も見込める。

実施の形態３．
実施の形態３では、操作範囲の指定後、当該操作範囲に対応する画面上の領域の表示倍率を変更する場合を示す。
図７はこの発明の実施の形態３に係る画面操作装置３を備えた画面操作システムの構成例を示す図である。この図７に示す実施の形態３に係る画面操作装置３では、図１に示す実施の形態１に係る画面操作装置３に、第４行動取得部３０７及び倍率変更部３０８を追加している。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。

なお、検出装置２は、実施の形態１における機能に加え、操作者による第４行動を検出する。ここで、第４行動としては、例えば、ジェスチャ、視線の移動、マウスの移動、操作者の手元に置かれたキーボード等を用いたキー又はボタン等の操作、発声等が挙げられる。なお、第４行動は、第１，２行動は区別可能な行動であればよく、予め決められる。この検出装置２により検出された第１，２，４行動を示すデータは、画面操作装置３に出力される。

第４行動取得部３０７は、第４行動を取得する。図７の例では、第４行動取得部３０７は、検出装置２から出力されたデータを受信することで、上記第４行動を取得する。なお、第４行動取得部３０７は、例えば、操作範囲指定部３０２により操作範囲が指定された場合に、処理を開始する。
倍率変更部３０８は、第４行動取得部３０７により取得された第４行動から、操作範囲指定部３０２により指定された操作範囲に対応する画面上の領域の表示倍率を変更する。

また図７では、第４行動取得部３０７は、検出装置２から出力されたデータを受信することで、第４行動を取得するものとした。しかしながら、これに限らず、検出装置２による入力装置で得られた情報に基づく第４行動の検出処理は、第４行動取得部３０７で行ってもよい。

例えば図８に示すように、操作者による第４行動に応じて操作範囲指定部３０２により指定された操作範囲１４に対応する画面上の領域の表示倍率を大きくすることで、操作性の向上が見込める。図８では、操作範囲１４に対応する画面１１上の領域を拡大した場合を示している。

なお上記では、実施の形態１に係る画面操作装置３に対して第４行動取得部３０７及び倍率変更部３０８を追加した場合を示した。しかしながら、これに限らず、図５に示す実施の形態２に係る画面操作装置３に対して第４行動取得部３０７及び倍率変更部３０８を追加してもよい。

実施の形態４．
実施の形態４では、操作範囲の指定後、当該操作範囲を画面上の任意の位置に移動する場合を示す。
図９はこの発明の実施の形態４に係る画面操作装置３を備えた画面操作システムの構成例を示す図である。この図９に示す実施の形態４に係る画面操作装置３では、図１に示す実施の形態１に係る画面操作装置３に、領域移動部３０９を追加している。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。

領域移動部３０９は、操作範囲に対応する画面上の領域を、当該画面上で移動する。
ここで、例えば図１０Ａに示すように、操作範囲指定部３０２により指定された操作範囲１４が、画面１１上の上方に位置する場合、操作者は上方を見ながら操作を行うことになり、身体的負担が大きい。そこで、図１０Ｂに示すように、操作範囲１４を画面１１上の真ん中や下方に移動させることで、上記負担を軽減できる。

なお上記では、実施の形態１に係る画面操作装置３に対して領域移動部３０９を追加した場合を示した。しかしながら、これに限らず、図５，７に示す実施の形態２，３に係る画面操作装置３に対して領域移動部３０９を追加してもよい。

最後に、図１１を参照して、実施の形態１−４に係る画面操作装置３のハードウェア構成例を説明する。以下では、実施の形態１に係る画面操作装置３のハードウェア構成例について示すが、実施の形態２−４に係る画面操作装置３についても同様である。
画面操作装置３における第１行動取得部３０１、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４の各機能は、処理回路５１により実現される。処理回路５１は、図１１Ａに示すように、専用のハードウェアであっても、図１１Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。

処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。第１行動取得部３０１、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。

処理回路５１がＣＰＵ５２の場合、第１行動取得部３０１、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアやファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、画面操作装置３は、処理回路５１により実行されるときに、例えば図２に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、第１行動取得部３０１、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の、不揮発性又は揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、第１行動取得部３０１、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、第１行動取得部３０１については専用のハードウェアとしての処理回路５１でその機能を実現し、操作範囲指定部３０２、第２行動取得部３０３及びカーソル位置操作部３０４については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 表示装置、２ 検出装置、３ 画面操作装置、５１ 処理回路、５２ ＣＰＵ、５３ メモリ、３０１ 第１行動取得部、３０２ 操作範囲指定部、３０３ 第２行動取得部、３０４ カーソル位置操作部、３０５ 第３行動取得部、３０６ サイズ変更部、３０７ 第４行動取得部、３０８ 倍率変更部、３０９ 領域移動部。

Claims (6)

1. 第１行動取得部は、画面を操作する操作者による第１行動を取得し、
   操作範囲指定部は、前記第１行動取得部により取得された第１行動から、前記画面上の一部の領域を操作範囲として指定し、
   第２行動取得部は、前記操作者による第２行動を取得し、
   カーソル位置操作部は、前記第２行動取得部により取得された第２行動から、前記操作範囲指定部により指定された操作範囲の前記画面に対する比率に応じて、当該画面に対するカーソルの移動量である操作量よりも小さい操作量で、当該操作範囲においてカーソルの位置を操作する
   ことを特徴とする画面操作方法。
2. 前記操作範囲指定部は、前記第１行動に対応する前記画面上の位置が、規定時間、しきい値範囲内に位置する場合に、当該位置を含む領域を操作範囲として指定する
   ことを特徴とする請求項１記載の画面操作方法。
3. 第３行動取得部は、前記操作者による第３行動を取得し、
   サイズ変更部は、前記第３行動取得部により取得された第３行動から、前記操作範囲指定部により指定された操作範囲の大きさを変更し、
   前記カーソル位置操作部は、前記操作範囲指定部により指定され前記サイズ変更部により大きさが変更された操作範囲の前記画面に対する比率に応じた操作量で、当該操作範囲においてカーソルの位置を操作する
   ことを特徴とする請求項１又は請求項２記載の画面操作方法。
4. 第４行動取得部は、前記操作者による第４行動を取得し、
   倍率変更部は、前記第４行動取得部により取得された第４行動から、前記操作範囲指定部により指定された操作範囲に含まれる画面上の領域の表示倍率を変更する
   ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画面操作方法。
5. 領域移動部は、前記操作範囲に含まれる画面上の領域を、当該画面上で移動する
   ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の画面操作方法。
6. 画面を操作する操作者による第１行動を取得する第１行動取得部と、
   前記第１行動取得部により取得された第１行動から、前記画面上の一部の領域を操作範囲として指定する操作範囲指定部と、
   前記操作者による第２行動を取得する第２行動取得部と、
   前記第２行動取得部により取得された第２行動から、前記操作範囲指定部により指定された操作範囲の前記画面に対する比率に応じて、当該画面に対するカーソルの移動量である操作量よりも小さい操作量で、当該操作範囲においてカーソルの位置を操作するカーソル位置操作部と
   を備えた画面操作装置。

Images