JP2005301669A - 情報処理装置および情報処理プログラム - Google Patents
情報処理装置および情報処理プログラム Download PDFInfo
- Publication number
- JP2005301669A JP2005301669A JP2004116785A JP2004116785A JP2005301669A JP 2005301669 A JP2005301669 A JP 2005301669A JP 2004116785 A JP2004116785 A JP 2004116785A JP 2004116785 A JP2004116785 A JP 2004116785A JP 2005301669 A JP2005301669 A JP 2005301669A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- input
- information processing
- rearranged
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】 グラフィカルユーザインターフェースの操作性を向上させること。
【解決手段】 情報処理装置1は、グラフィカルユーザインターフェース上に表示された複数のボタンが押下されていると判定された場合、即ち、ポインタが複数の接触判定領域と重複し、いずれのボタンが押下されているか明確に判別ができない場合に、押下されている可能性があるボタンを表示画面上で明確に隔離した位置に再配置する。したがって、グラフィカルユーザインターフェースにおいて、比較的小さい面積のボタンを密集して表示する場合に、ユーザが意図するボタンを押下することが容易となり、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。
【選択図】 図6
【解決手段】 情報処理装置1は、グラフィカルユーザインターフェース上に表示された複数のボタンが押下されていると判定された場合、即ち、ポインタが複数の接触判定領域と重複し、いずれのボタンが押下されているか明確に判別ができない場合に、押下されている可能性があるボタンを表示画面上で明確に隔離した位置に再配置する。したがって、グラフィカルユーザインターフェースにおいて、比較的小さい面積のボタンを密集して表示する場合に、ユーザが意図するボタンを押下することが容易となり、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。
【選択図】 図6
Description
本発明は、グラフィカルユーザインターフェースを備える情報処理装置およびそれを実現するための情報処理プログラムに関する。
現在、PC(Personal Computer)や携帯情報端末あるいは携帯電話といった情報処理装置におけるユーザインターフェースとして、グラフィカルユーザインターフェース(GUI:Graphical User Interface)が用いられている。
GUIは、グラフィックを多用して装置とユーザとの間における情報の入出力を行うユーザインターフェースであり、ユーザはマウス等によって画面上で入力操作ができることから利便性が高いものである。
GUIは、グラフィックを多用して装置とユーザとの間における情報の入出力を行うユーザインターフェースであり、ユーザはマウス等によって画面上で入力操作ができることから利便性が高いものである。
ところで、情報処理装置のうち、携帯電話等の携帯型の機器においては、キーボード、マウスあるいはトラックボールといった入力機器を用いることが実質上困難である。また、携帯型の機器は機器自体が小型であり、ハードウェアのボタン等を本体に多数備えることも困難である。
そのため、携帯型の機器においては、表示画面に対する操作によって入力が可能なタッチパネルを用いることが考えられる。
そのため、携帯型の機器においては、表示画面に対する操作によって入力が可能なタッチパネルを用いることが考えられる。
ところが、近年、携帯型の機器は小型化が進んでおり、このような機器にGUIを備える場合、限られたサイズの表示画面内に多数のボタンを表示しなければならず、操作性が低下してしまう。その上、表示画面に直接接触したり押圧を加えたりするため、表示画面の汚れや機器の故障の原因となる場合がある。
そこで、携帯型の機器に適用可能なGUIとして、所定の物体やユーザの身体、例えばペン先や手等(以下、適宜「対象物」という。)を撮像装置によって撮影し、その動きによって入力操作を行う技術が提案されている。
そこで、携帯型の機器に適用可能なGUIとして、所定の物体やユーザの身体、例えばペン先や手等(以下、適宜「対象物」という。)を撮像装置によって撮影し、その動きによって入力操作を行う技術が提案されている。
例えば、特開平10−207619号公報には、ユーザの手やペン先等を撮影し、それらの動作を画像処理によって認識することで、GUIのポインタとして機能させる技術が開示されている(特許文献1参照)。
特許文献1に記載された技術によれば、表示画面上に表示されたボタンを仮想的に押下することによって入力操作を行うことができるため、マウス等の入力機器を備える必要がなく、また、タッチパネルに実際に接触することもないため、上述の問題が生ずることのないGUIを実現することができる。
特開平10−207619号公報
特許文献1に記載された技術によれば、表示画面上に表示されたボタンを仮想的に押下することによって入力操作を行うことができるため、マウス等の入力機器を備える必要がなく、また、タッチパネルに実際に接触することもないため、上述の問題が生ずることのないGUIを実現することができる。
しかしながら、特許文献1に記載された技術を含め、従来の技術においては、上述のように対象物を撮影してGUIのポインタとした場合であっても、表示画面のサイズが限られていることから、表示画面内に表示されるボタン等の面積が比較的小さいものとなる。そして、このような表示画面に複数のボタンが表示され、ユーザがいずれかのボタンを押下しようとする場合、近接する複数のボタンの画像に対象物の画像が接触し、ユーザが意図しないボタンを押下してしまう事態が生じ得る。
そのため、ユーザは、対象物を撮像装置から遠ざけ、対象物の画像を小さくすることにより、複数のボタンに接触することを回避するといった対策をとらなければならず、グラフィカルユーザインターフェースの操作性が低下するという問題があった。
このような問題は、比較的小さい面積のボタンを密集して表示する場合に一般的に生じ得るが、表示画面が小さい携帯型の機器においては特に大きな問題となる。
このような問題は、比較的小さい面積のボタンを密集して表示する場合に一般的に生じ得るが、表示画面が小さい携帯型の機器においては特に大きな問題となる。
本発明の課題は、グラフィカルユーザインターフェースの操作性を向上させることである。
以上の課題を解決するため、本発明は、
被写体の画像を撮影する撮像手段(例えば、図1および図2の撮像装置10)を備えた情報処理装置であって、グラフィカルユーザインターフェースを表示画面に表示するインターフェース表示手段(例えば、図2の制御部30、表示制御部50およびディスプレイ60)と、予め設定された対象物(例えば、図1の指示具2、あるいは、ユーザの指等)の画像が前記撮像手段によって撮影されている場合に、該対象物の画像を前記グラフィカルユーザインターフェースにおけるポインタとして認識するポインタ認識手段(例えば、図2の制御部30)と、前記ポインタ認識手段によって認識されたポインタが、前記グラフィカルユーザインターフェースにおいて、所定の入力操作を行うために表示された複数の入力領域(例えば、図6の接触判定領域)と重複しているか否かを判定する重複判定手段(例えば、図2の制御部30)と、前記重複判定手段によって前記ポインタが複数の前記入力領域と重複していると判定された場合に、前記ポインタと重複している複数の領域相互を、前記表示画面上のより離れた位置(例えば、表示画面の4隅あるいは上辺、下辺、左右の側辺の中央部等)に再配置する再配置手段(例えば、図2の制御部30)とを備えることを特徴としている。
これにより、グラフィカルユーザインターフェース上に表示された複数の入力領域に対して入力操作が行われていると判定された場合、即ち、ポインタが複数の入力領域と重複し、いずれが入力操作されているか明確に判別ができない場合に、入力操作されている可能性のある入力領域が表示画面上で明確に隔離した位置に再配置される。
被写体の画像を撮影する撮像手段(例えば、図1および図2の撮像装置10)を備えた情報処理装置であって、グラフィカルユーザインターフェースを表示画面に表示するインターフェース表示手段(例えば、図2の制御部30、表示制御部50およびディスプレイ60)と、予め設定された対象物(例えば、図1の指示具2、あるいは、ユーザの指等)の画像が前記撮像手段によって撮影されている場合に、該対象物の画像を前記グラフィカルユーザインターフェースにおけるポインタとして認識するポインタ認識手段(例えば、図2の制御部30)と、前記ポインタ認識手段によって認識されたポインタが、前記グラフィカルユーザインターフェースにおいて、所定の入力操作を行うために表示された複数の入力領域(例えば、図6の接触判定領域)と重複しているか否かを判定する重複判定手段(例えば、図2の制御部30)と、前記重複判定手段によって前記ポインタが複数の前記入力領域と重複していると判定された場合に、前記ポインタと重複している複数の領域相互を、前記表示画面上のより離れた位置(例えば、表示画面の4隅あるいは上辺、下辺、左右の側辺の中央部等)に再配置する再配置手段(例えば、図2の制御部30)とを備えることを特徴としている。
これにより、グラフィカルユーザインターフェース上に表示された複数の入力領域に対して入力操作が行われていると判定された場合、即ち、ポインタが複数の入力領域と重複し、いずれが入力操作されているか明確に判別ができない場合に、入力操作されている可能性のある入力領域が表示画面上で明確に隔離した位置に再配置される。
したがって、グラフィカルユーザインターフェースにおいて、比較的小さい面積の入力領域(ボタン等)を密集して表示する場合に、ユーザが意図する入力操作を行うことが容易となり、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。
また、前記再配置手段は、前記ポインタと重複していると判定された複数の前記入力領域を、前記表示画面の4隅の少なくともいずれかに配置することを特徴としている。
また、前記再配置手段は、前記ポインタと重複していると判定された複数の前記入力領域を、前記表示画面の4隅の少なくともいずれかに配置することを特徴としている。
これにより、入力領域を表示画面において明確に隔離される位置に再配置することができる。
また、前記再配置手段は、前記ポインタと重複していると判定された複数の前記入力領域を、前記表示画面を囲む各辺の中央部の少なくともいずれかに配置することを特徴としている。
また、前記再配置手段は、前記ポインタと重複していると判定された複数の前記入力領域を、前記表示画面を囲む各辺の中央部の少なくともいずれかに配置することを特徴としている。
これにより、入力領域を表示画面において明確に隔離される位置に再配置することができる。
また、前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域以外に表示されている入力領域を、入力操作を受け付けない無効状態とすることを特徴としている。
また、前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域以外に表示されている入力領域を、入力操作を受け付けない無効状態とすることを特徴としている。
これにより、再配置された入力領域が、他の入力領域の近隣に位置することによって、再度、複数の入力領域に対する入力操作が行われるといった事態を防止することができ、グラフィカルユーザインターフェースの操作性をさらに向上させることが可能となる。
また、前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域について、該入力領域の操作内容を示唆する注釈領域を表示することを特徴としている。
また、前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域について、該入力領域の操作内容を示唆する注釈領域を表示することを特徴としている。
これにより、確実にユーザが意図する入力操作を行わせることが可能となり、グラフィカルユーザインターフェースの操作性をさらに向上させることが可能となる。
また、前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域のいずれかについて入力操作が行われた後、再配置されている複数の前記入力領域を、再配置されている位置以外の表示画面上の位置に表示させることを特徴としている。
また、前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域のいずれかについて入力操作が行われた後、再配置されている複数の前記入力領域を、再配置されている位置以外の表示画面上の位置に表示させることを特徴としている。
これにより、種々の入力操作を行っていく過程において、入力領域が表示画面の特定の位置に偏って表示されることを防止することができる。
また、本発明は、
被写体の画像を撮影する撮像手段を備えた情報処理装置を制御するための情報処理プログラムであって、グラフィカルユーザインターフェースを表示画面に表示するインターフェース表示機能と、予め設定された対象物の画像が前記撮像手段によって撮影されている場合に、該対象物の画像を前記グラフィカルユーザインターフェースにおけるポインタとして認識するポインタ認識機能と、前記ポインタ認識機能によって認識されたポインタが、前記グラフィカルユーザインターフェースにおいて、所定の入力操作を行うために表示された複数の入力領域と重複しているか否かを判定する重複判定機能と、前記重複判定機能によって前記ポインタが複数の前記入力領域と重複していると判定された場合に、前記ポインタと重複している複数の領域相互を、前記表示画面上のより離れた位置に再配置する再配置機能とを実現させることを特徴としている。
また、本発明は、
被写体の画像を撮影する撮像手段を備えた情報処理装置を制御するための情報処理プログラムであって、グラフィカルユーザインターフェースを表示画面に表示するインターフェース表示機能と、予め設定された対象物の画像が前記撮像手段によって撮影されている場合に、該対象物の画像を前記グラフィカルユーザインターフェースにおけるポインタとして認識するポインタ認識機能と、前記ポインタ認識機能によって認識されたポインタが、前記グラフィカルユーザインターフェースにおいて、所定の入力操作を行うために表示された複数の入力領域と重複しているか否かを判定する重複判定機能と、前記重複判定機能によって前記ポインタが複数の前記入力領域と重複していると判定された場合に、前記ポインタと重複している複数の領域相互を、前記表示画面上のより離れた位置に再配置する再配置機能とを実現させることを特徴としている。
本発明によれば、グラフィカルユーザインターフェースにおいて、比較的小さい面積の入力領域を密集して表示する場合に、ユーザが意図する入力操作を行うことが容易となり、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。
以下、図を参照して本発明に係る情報処理装置の実施の形態を説明する。
まず、構成を説明する。
図1は、本発明を適用した情報処理装置1の外観構成を示す概略図であり、図1(a)は正面図、図1(b)は背面図である。また、図2は、情報処理装置1の機能構成を示すブロック図である。なお、図1においては、情報処理装置1に対する指示入力時に用いられる指示具2を併せて示している。
まず、構成を説明する。
図1は、本発明を適用した情報処理装置1の外観構成を示す概略図であり、図1(a)は正面図、図1(b)は背面図である。また、図2は、情報処理装置1の機能構成を示すブロック図である。なお、図1においては、情報処理装置1に対する指示入力時に用いられる指示具2を併せて示している。
図1および図2において、情報処理装置1は、撮像装置10と、撮像画像処理ユニット20と、制御部30と、記憶部40と、表示制御部50と、ディスプレイ60とを含んで構成される。
撮像装置10は、レンズの結像をCCD(Charge Coupled Device)あるいはCMOS(Complementary Metal-Oxide Semiconductor)センサ等の光電変換可能なデバイスによって電気信号に変換する。そして、撮像装置10は、その電気信号によって示される画像のデータ(以下、「撮像画像データ」と言う。)を撮像画像処理ユニット20に出力する。
撮像装置10は、レンズの結像をCCD(Charge Coupled Device)あるいはCMOS(Complementary Metal-Oxide Semiconductor)センサ等の光電変換可能なデバイスによって電気信号に変換する。そして、撮像装置10は、その電気信号によって示される画像のデータ(以下、「撮像画像データ」と言う。)を撮像画像処理ユニット20に出力する。
撮像画像処理ユニット20は、画像処理部21と、画像処理用メモリ22とをさらに含んで構成される。
画像処理部21は、撮像装置10によって入力された撮像画像データに対し、例えば色補間やサイズの変更といった、所定形式の画像データに変換する処理を施し、処理結果を画像処理用メモリ22に記憶させる。
画像処理部21は、撮像装置10によって入力された撮像画像データに対し、例えば色補間やサイズの変更といった、所定形式の画像データに変換する処理を施し、処理結果を画像処理用メモリ22に記憶させる。
画像処理用メモリ22は、SRAM(Static Random Access Memory)等の半導体メモリによって構成され、撮像装置10によって入力された撮像画像データや、画像処理部21の処理結果である所定形式の画像データを記憶する。
制御部30は、プロセッサ31と、メモリ32とをさらに含んで構成される。
プロセッサ31は、情報処理装置1全体を制御するものであり、電源ボタン(不図示)や後述するグラフィカルユーザインターフェース(GUI)によって入力された各種の指示信号に従って、記憶部40に記憶された各種処理に関するプログラムを読み出して実行する。例えば、プロセッサ31は、電源ボタンが押下され、情報処理装置1の電源が投入されると、記憶部40に記憶されたボタン入力制御処理プログラムを読み出して、後述するボタン入力制御処理を実行する。
制御部30は、プロセッサ31と、メモリ32とをさらに含んで構成される。
プロセッサ31は、情報処理装置1全体を制御するものであり、電源ボタン(不図示)や後述するグラフィカルユーザインターフェース(GUI)によって入力された各種の指示信号に従って、記憶部40に記憶された各種処理に関するプログラムを読み出して実行する。例えば、プロセッサ31は、電源ボタンが押下され、情報処理装置1の電源が投入されると、記憶部40に記憶されたボタン入力制御処理プログラムを読み出して、後述するボタン入力制御処理を実行する。
このボタン入力制御処理において、プロセッサ31は、GUI上にボタンの画像を表示すると共に、そのボタンの画像に「接触判定領域」を設定する。接触判定領域は、そのボタンが押下されたか否かを判定するための領域であり、ポインタが接触判定領域に一部でも重複している場合、そのボタンが押下されているものと判定される。なお、接触判定領域は、基本的にはボタンの画像と一致して設定されるが、ボタンの画像よりやや広く(例えば、ボタンの画像の輪郭から外側に所定画素分まで拡張して)設定したり、ボタンの画像よりやや狭く(例えば、ボタンの画像の輪郭から内側に所定画素分縮小して)設定したりすることが可能である。
そして、プロセッサ31は、各種処理結果をメモリ32や記憶部40の所定の領域に格納したり、表示制御部50に出力したりする。
メモリ32は、DRAM(Dynamic Random Access Memory)等の半導体メモリによって構成され、プロセッサ31により実行される各種処理において生成された各種データを一時的に格納するワークエリアを有する。
メモリ32は、DRAM(Dynamic Random Access Memory)等の半導体メモリによって構成され、プロセッサ31により実行される各種処理において生成された各種データを一時的に格納するワークエリアを有する。
記憶部40は、フラッシュROM等の不揮発性の記憶装置によって構成され、情報処理装置1のオペレーティングシステムプログラム、アプリケーションプログラム、システムデータファイルあるいはボタン入力制御処理プログラムといった不揮発的に保持されるデータを記憶している。また、記憶部40は、ユーザによって設定された各種パラメータや、情報処理装置1が動作中に取得した種々のデータを記憶している。
表示制御部50は、ディスプレイコントローラやディスプレイドライバを含んで構成され、プロセッサ31によって入力された画像データをディスプレイ60に表示させるための制御信号を生成する。
ディスプレイ60は、LCD(Liquid Crystal Display)等の表示装置であり、表示制御部50によって生成された制御信号に応じて、種々の画像を表示する。
ディスプレイ60は、LCD(Liquid Crystal Display)等の表示装置であり、表示制御部50によって生成された制御信号に応じて、種々の画像を表示する。
続いて、本実施の形態において使用される指示具2について説明する。
図1に示す指示具2は、ユーザが手に持つ部分である棒状の保持部2aと、その先端に取り付けられた球体の被認識部2bとによって構成されている。
この被認識部2bは、赤色に着色されており、情報処理装置1は、撮影された画像における形状および色から被認識部2bを識別する。そして、被認識部2bの画像が、GUIにおけるポインタ(カーソル)とされ、ユーザが保持部2aを持って指示具2を各方向へ移動させることにより、種々の指示入力を行うことが可能である。
図1に示す指示具2は、ユーザが手に持つ部分である棒状の保持部2aと、その先端に取り付けられた球体の被認識部2bとによって構成されている。
この被認識部2bは、赤色に着色されており、情報処理装置1は、撮影された画像における形状および色から被認識部2bを識別する。そして、被認識部2bの画像が、GUIにおけるポインタ(カーソル)とされ、ユーザが保持部2aを持って指示具2を各方向へ移動させることにより、種々の指示入力を行うことが可能である。
なお、指示具2の具体的な形態(形状および色等)は設計に応じて定めることが可能であるが、例えば、保持部2aを直径5ミリメートル、長さ10センチメートルの円柱状とし、被認識部2bを直径2センチメートルの球体とすること等が可能である。
次に、動作を説明する。
情報処理装置1は、電源投入と共にボタン入力制御処理を起動し、以後、GUIにおいて入力操作が行われる際には、ボタン入力制御処理に基づいて、ボタンに対する入力操作が制御される。
次に、動作を説明する。
情報処理装置1は、電源投入と共にボタン入力制御処理を起動し、以後、GUIにおいて入力操作が行われる際には、ボタン入力制御処理に基づいて、ボタンに対する入力操作が制御される。
このボタン入力制御処理では、GUIのポインタとして予め設定された指示具2の画像によってGUIのボタンが押下される際に、指示具2の画像に接触しているボタン、即ち、押下されている可能性のあるボタンが表示画面内に再配置されることにより、適切な指示入力を行うことを可能としている。
図3は、情報処理装置1のプロセッサ31が実行するボタン入力制御処理を示すフローチャートである。
図3は、情報処理装置1のプロセッサ31が実行するボタン入力制御処理を示すフローチャートである。
図3において、ボタン入力制御処理が起動されると、プロセッサ31は、撮像装置10および撮像画像処理ユニット20によって所定形式の画像データを取得し(ステップS1)、取得した画像データにおいて、GUIのポインタとして設定された指示具2の画像領域を抽出するための処理(以下、「対象物抽出処理」という。)を実行する(ステップS2)。
次に、プロセッサ31は、ステップS2において抽出された指示具2の画像領域と、表示されているボタンの領域との位置関係に応じて、ボタンの再配置を行って新たな入力画面を表示する処理(以下、「ボタン再配置処理」という。)を実行し(ステップS3)、以後、ステップS1〜S3を繰り返す。
続いて、ボタン入力制御処理のステップS2において実行される対象物抽出処理について説明する。
続いて、ボタン入力制御処理のステップS2において実行される対象物抽出処理について説明する。
図4は、ボタン入力制御処理において実行される対象物抽出処理を示すフローチャートである。
対象物抽出処理が開始されると、プロセッサ31は、ボタン入力制御処理のステップS1において取得された画像データから、赤色の領域(以下、「対象領域」という。)を抽出する(ステップS101)。
対象物抽出処理が開始されると、プロセッサ31は、ボタン入力制御処理のステップS1において取得された画像データから、赤色の領域(以下、「対象領域」という。)を抽出する(ステップS101)。
ここで、赤色の領域を抽出するのは、指示具2の被認識部2bが赤色に着色されているためである。
次いで、プロセッサ31は、抽出された赤色の領域(対象領域)を黒色、赤色以外の領域を白色に変換し、画像データを2値化する(ステップS102)。
次に、プロセッサ31は、画像データに含まれる画素を間引くことにより画像の縮小処理を行う(ステップS103)。
次いで、プロセッサ31は、抽出された赤色の領域(対象領域)を黒色、赤色以外の領域を白色に変換し、画像データを2値化する(ステップS102)。
次に、プロセッサ31は、画像データに含まれる画素を間引くことにより画像の縮小処理を行う(ステップS103)。
縮小処理を行うことにより、1画素からなる対象領域のようにノイズとみなすことができる領域を消去することができる。
そして、プロセッサ31は、ステップS103において縮小された画像を再度元のサイズに戻し(ステップS104)、この時点で対象領域として残存している領域それぞれに識別番号を付与(ラベリング)する(ステップS105)。
そして、プロセッサ31は、ステップS103において縮小された画像を再度元のサイズに戻し(ステップS104)、この時点で対象領域として残存している領域それぞれに識別番号を付与(ラベリング)する(ステップS105)。
さらに、プロセッサ31は、ステップS105において識別番号を付与された各対象領域について、円形度の導出を行う(ステップS106)。
なお、各対象領域の円形度は、その輪郭と円とのマッチングを行うことによって導出される。
そして、プロセッサ31は、最も円形度が高いと導出された識別番号の対象領域に含まれる各画素の位置を取得し(ステップS107)、ボタン入力制御処理に戻る。
なお、各対象領域の円形度は、その輪郭と円とのマッチングを行うことによって導出される。
そして、プロセッサ31は、最も円形度が高いと導出された識別番号の対象領域に含まれる各画素の位置を取得し(ステップS107)、ボタン入力制御処理に戻る。
次に、ボタン入力制御処理のステップS3において実行されるボタン再配置処理について説明する。
図5は、ボタン入力制御処理において実行されるボタン再配置処理を示すフローチャートである。
ボタン再配置処理が開始されると、プロセッサ31は、GUIにおける複数の接触判定領域にポインタが重複しているか否かの判定を行い(ステップS201)、複数の接触判定領域にポインタが重複していると判定した場合、ポインタが重複していると判定したボタンを表示画面上で明確に隔離した位置(例えば表示画面の4隅)に再配置する(ステップS202)。
図5は、ボタン入力制御処理において実行されるボタン再配置処理を示すフローチャートである。
ボタン再配置処理が開始されると、プロセッサ31は、GUIにおける複数の接触判定領域にポインタが重複しているか否かの判定を行い(ステップS201)、複数の接触判定領域にポインタが重複していると判定した場合、ポインタが重複していると判定したボタンを表示画面上で明確に隔離した位置(例えば表示画面の4隅)に再配置する(ステップS202)。
そして、プロセッサ31は、ステップS202において再配置したボタン以外のボタンがあれば、そのボタンを無効(入力を受け付けず、ユーザが操作できない状態)とする(ステップS203)。
図6は、ステップS201において、複数の接触判定領域にポインタが重複していると判定された場合の処理を示す模式図である。
図6は、ステップS201において、複数の接触判定領域にポインタが重複していると判定された場合の処理を示す模式図である。
図6(a)では、第1〜第4の接触判定領域がポインタと重複しており、ステップS201においてポインタと接触していると判定される。
そして、図6(b)では、第1〜第4の接触判定領域が、表示画面の4隅に再配置され、第5の接触判定領域は、無効とされている。
図5に戻り、ステップS201において、複数の接触判定領域にポインタが重複していないと判定した場合およびステップS203の後、プロセッサ31は、入力操作が行われた接触判定領域に対応する操作内容を実行するサブルーチンを起動し(ステップS204)、ボタン入力制御処理に戻る。
そして、図6(b)では、第1〜第4の接触判定領域が、表示画面の4隅に再配置され、第5の接触判定領域は、無効とされている。
図5に戻り、ステップS201において、複数の接触判定領域にポインタが重複していないと判定した場合およびステップS203の後、プロセッサ31は、入力操作が行われた接触判定領域に対応する操作内容を実行するサブルーチンを起動し(ステップS204)、ボタン入力制御処理に戻る。
なお、ステップS204において、各接触判定領域の操作内容に関する注釈を記載した領域(以下、「注釈領域」という。)を入力操作可能な領域として表示し、各接触判定領域を無効として、その注釈領域に対する入力操作を受け付けることとしても良い。
図7は、各接触判定領域について注釈領域を表示する場合の表示画面例を示す図であり、撮像装置10の制御を行うための指示入力内容(ズームイン、キャプチャおよびズームアウト)を示す注釈領域が表示されている。
図7は、各接触判定領域について注釈領域を表示する場合の表示画面例を示す図であり、撮像装置10の制御を行うための指示入力内容(ズームイン、キャプチャおよびズームアウト)を示す注釈領域が表示されている。
このように注釈領域の表示を行う場合、プロセッサ31は、いずれかの注釈領域にポインタが重複しているか否か(即ち、いずれかの注釈領域に入力操作が行われたか否か)の判定を行い、いずれかの注釈領域にポインタが重複していると判定した場合、その注釈領域に対応する操作内容を実行するサブルーチンを起動する。
このように注釈領域を表示して入力操作を受け付けることにより、複数のボタンが押下されたと判定した場合において、ユーザが押下しようとするボタンを改めて明確に選択させることが可能となる。
このように注釈領域を表示して入力操作を受け付けることにより、複数のボタンが押下されたと判定した場合において、ユーザが押下しようとするボタンを改めて明確に選択させることが可能となる。
なお、上述の注釈領域は、入力操作可能な領域とせずに、単に操作内容に関する注釈を記載した領域とすることとしても良い。
ここで、上述のボタン再配置処理においては、ポインタが第1〜第4の接触判定領域に重複している例について説明したが、ポインタが5個以上の接触判定領域に重複している場合、重複する面積が大きい順に4つの接触判定領域を選択し、表示画面の4隅に再配置することが可能である。
ここで、上述のボタン再配置処理においては、ポインタが第1〜第4の接触判定領域に重複している例について説明したが、ポインタが5個以上の接触判定領域に重複している場合、重複する面積が大きい順に4つの接触判定領域を選択し、表示画面の4隅に再配置することが可能である。
図8は、ポインタが5個以上の接触判定領域に重複している場合の処理を示す模式図である。
図8(a)では、第1〜第5の接触判定領域にポインタが重複しており、第4の接触判定領域とポインタとの重複面積が最も小さいものとなっている。
そして、図8(b)では、第4の接触判定領域以外の接触判定領域4つが選択され、表示画面の4隅に再配置されると共に、第4の接触判定領域は無効とされている。
図8(a)では、第1〜第5の接触判定領域にポインタが重複しており、第4の接触判定領域とポインタとの重複面積が最も小さいものとなっている。
そして、図8(b)では、第4の接触判定領域以外の接触判定領域4つが選択され、表示画面の4隅に再配置されると共に、第4の接触判定領域は無効とされている。
また、表示画面の4隅に接触判定領域を再配置する場合以外にも、表示画面上で明確に隔離できれば良いことから、図9に示すように、表示画面の4隅および表示画面の上辺および下辺の中央の合計6個所に接触判定領域を再配置することも可能である。さらに、表示画面における左右の側辺の中央に接触判定領域を再配置することとしても良い。
なお、ボタン再配置処理において、いずれかの接触判定領域に対する入力操作が行われた後には、表示画面の4隅等に再配置されていたボタンは、図10に示すように、これら以外の任意の位置に移動される。
なお、ボタン再配置処理において、いずれかの接触判定領域に対する入力操作が行われた後には、表示画面の4隅等に再配置されていたボタンは、図10に示すように、これら以外の任意の位置に移動される。
これにより、GUIにおいて表示されるボタンが表示画面の4隅等に偏って表示されることを防ぐことができる。
以上のように、本実施の形態に係る情報処理装置1は、グラフィカルユーザインターフェース上に表示された複数のボタンが押下されていると判定された場合、即ち、ポインタが複数の接触判定領域と重複し、いずれのボタンが押下されているか明確に判別ができない場合に、押下されている可能性のあるボタンを表示画面上で明確に隔離した位置に再配置する。
以上のように、本実施の形態に係る情報処理装置1は、グラフィカルユーザインターフェース上に表示された複数のボタンが押下されていると判定された場合、即ち、ポインタが複数の接触判定領域と重複し、いずれのボタンが押下されているか明確に判別ができない場合に、押下されている可能性のあるボタンを表示画面上で明確に隔離した位置に再配置する。
したがって、グラフィカルユーザインターフェースにおいて、比較的小さい面積のボタンを密集して表示する場合に、ユーザが意図するボタンを押下することが容易となり、グラフィカルユーザインターフェースの操作性を向上させることが可能となる。
また、本実施の形態における情報処理装置1は、複数のボタンが押下されたと判定し、ボタンを表示画面の4隅等に再配置した場合に、そのボタンについての注釈領域を表示すると共に、ボタンに代えて、注釈領域を押下することによって入力操作を行うことが可能である。
また、本実施の形態における情報処理装置1は、複数のボタンが押下されたと判定し、ボタンを表示画面の4隅等に再配置した場合に、そのボタンについての注釈領域を表示すると共に、ボタンに代えて、注釈領域を押下することによって入力操作を行うことが可能である。
したがって、確実にユーザが意図する入力操作を行わせることが可能となり、グラフィカルユーザインターフェースの操作性をさらに向上させることが可能となる。
また、本実施の形態における情報処理装置1は、再配置したボタン以外のボタンを無効な状態とする。
したがって、再配置したボタンが、他のボタンの近隣に位置することによって、再度、複数のボタンが押下されるといった事態を防止することができ、グラフィカルユーザインターフェースの操作性をさらに向上させることが可能となる。
また、本実施の形態における情報処理装置1は、再配置したボタン以外のボタンを無効な状態とする。
したがって、再配置したボタンが、他のボタンの近隣に位置することによって、再度、複数のボタンが押下されるといった事態を防止することができ、グラフィカルユーザインターフェースの操作性をさらに向上させることが可能となる。
また、本実施の形態における情報処理装置1は、再配置したボタンについて入力操作が行われた後、再配置された複数のボタンは、再配置されていた位置以外の任意の位置に再配置される。
したがって、種々の入力操作を行っていく過程において、ボタンが表示画面の4隅等に偏って表示されることを防止することができる。
したがって、種々の入力操作を行っていく過程において、ボタンが表示画面の4隅等に偏って表示されることを防止することができる。
1 情報処理装置、2 指示具、2a 保持部、2b 被認識部、10 撮像装置、20 撮像画像処理ユニット、21 画像処理部、22 画像処理用メモリ、30 制御部、31 プロセッサ、32 メモリ、40 記憶部、50 表示制御部、60 ディスプレイ
Claims (7)
- 被写体の画像を撮影する撮像手段を備えた情報処理装置であって、
グラフィカルユーザインターフェースを表示画面に表示するインターフェース表示手段と、
予め設定された対象物の画像が前記撮像手段によって撮影されている場合に、該対象物の画像を前記グラフィカルユーザインターフェースにおけるポインタとして認識するポインタ認識手段と、
前記ポインタ認識手段によって認識されたポインタが、前記グラフィカルユーザインターフェースにおいて、所定の入力操作を行うために表示された複数の入力領域と重複しているか否かを判定する重複判定手段と、
前記重複判定手段によって前記ポインタが複数の前記入力領域と重複していると判定された場合に、前記ポインタと重複している複数の領域相互を、前記表示画面上のより離れた位置に再配置する再配置手段と、
を備えることを特徴とする情報処理装置。 - 前記再配置手段は、前記ポインタと重複していると判定された複数の前記入力領域を、前記表示画面の4隅の少なくともいずれかに配置することを特徴とする請求項1記載の情報処理装置。
- 前記再配置手段は、前記ポインタと重複していると判定された複数の前記入力領域を、前記表示画面を囲む各辺の中央部の少なくともいずれかに配置することを特徴とする請求項1または2記載の情報処理装置。
- 前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域以外に表示されている入力領域を、入力操作を受け付けない無効状態とすることを特徴とする請求項1から3のいずれか1項に記載の情報処理装置。
- 前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域について、該入力領域の操作内容を示唆する注釈領域を表示することを特徴とする請求項1から4のいずれか1項に記載の情報処理装置。
- 前記インターフェース表示手段は、前記再配置手段によって再配置された入力領域のいずれかについて入力操作が行われた後、再配置されている複数の前記入力領域を、再配置されている位置以外の表示画面上の位置に表示させることを特徴とする請求項1から5のいずれか1項に記載の情報処理装置。
- 被写体の画像を撮影する撮像手段を備えた情報処理装置を制御するための情報処理プログラムであって、
グラフィカルユーザインターフェースを表示画面に表示するインターフェース表示機能と、
予め設定された対象物の画像が前記撮像手段によって撮影されている場合に、該対象物の画像を前記グラフィカルユーザインターフェースにおけるポインタとして認識するポインタ認識機能と、
前記ポインタ認識機能によって認識されたポインタが、前記グラフィカルユーザインターフェースにおいて、所定の入力操作を行うために表示された複数の入力領域と重複しているか否かを判定する重複判定機能と、
前記重複判定機能によって前記ポインタが複数の前記入力領域と重複していると判定された場合に、前記ポインタと重複している複数の領域相互を、前記表示画面上のより離れた位置に再配置する再配置機能と、
を実現させることを特徴とする情報処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004116785A JP2005301669A (ja) | 2004-04-12 | 2004-04-12 | 情報処理装置および情報処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004116785A JP2005301669A (ja) | 2004-04-12 | 2004-04-12 | 情報処理装置および情報処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005301669A true JP2005301669A (ja) | 2005-10-27 |
Family
ID=35333121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004116785A Withdrawn JP2005301669A (ja) | 2004-04-12 | 2004-04-12 | 情報処理装置および情報処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005301669A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048359A (ja) * | 2010-08-25 | 2012-03-08 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2012058839A (ja) * | 2010-09-06 | 2012-03-22 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
CN102622149A (zh) * | 2011-01-31 | 2012-08-01 | Lg伊诺特有限公司 | 获得可视区域边界部分上的坐标位置的触摸窗及其方法 |
JP2012201304A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201308A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201307A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201303A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201301A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 手の判定方法、手の判定装置および自動車における車載機器の操作装置 |
JP2012201306A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201305A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
-
2004
- 2004-04-12 JP JP2004116785A patent/JP2005301669A/ja not_active Withdrawn
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012048359A (ja) * | 2010-08-25 | 2012-03-08 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
US10613723B2 (en) | 2010-08-25 | 2020-04-07 | Sony Corporation | Information processing apparatus, information processing method, and computer program product |
JP2012058839A (ja) * | 2010-09-06 | 2012-03-22 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
CN102622149A (zh) * | 2011-01-31 | 2012-08-01 | Lg伊诺特有限公司 | 获得可视区域边界部分上的坐标位置的触摸窗及其方法 |
JP2012160188A (ja) * | 2011-01-31 | 2012-08-23 | Lg Innotek Co Ltd | 有効画面の境界部座標位置の取得が可能なタッチウインドウ及びその設計方法 |
US8941604B2 (en) | 2011-01-31 | 2015-01-27 | Lg Innotek Co., Ltd. | Touch window obtaining coordinate position on boundary portion of view area and method thereof |
JP2012201307A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201303A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201301A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 手の判定方法、手の判定装置および自動車における車載機器の操作装置 |
JP2012201306A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201305A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201308A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
JP2012201304A (ja) * | 2011-03-28 | 2012-10-22 | Honda Access Corp | 自動車における車載機器の操作装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8982070B2 (en) | Portable information terminal | |
JP4609557B2 (ja) | 情報処理装置及び情報処理方法 | |
US10152222B2 (en) | Digital image processing device and associated methodology of performing touch-based image scaling | |
JP5658552B2 (ja) | 表示制御装置及びその制御方法、プログラム、及び記録媒体 | |
US20140192245A1 (en) | Method and mobile terminal for implementing preview control | |
US20040046887A1 (en) | Digital still camera and user instruction input method | |
US20130239050A1 (en) | Display control device, display control method, and computer-readable recording medium | |
JP2005234993A (ja) | 画像表示装置、及び画像表示方法 | |
JP2005301668A (ja) | 情報処理装置および情報処理プログラム | |
US9535604B2 (en) | Display device, method for controlling display, and recording medium | |
JP5893456B2 (ja) | 表示制御装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP2010033158A (ja) | 情報処理装置及び情報処理方法 | |
US20110254784A1 (en) | Controlling method and information processing apparatus | |
JP2015069365A (ja) | 情報処理装置、および制御プログラム | |
JP2005301669A (ja) | 情報処理装置および情報処理プログラム | |
US10684772B2 (en) | Document viewing apparatus and program | |
JP2014016743A (ja) | 情報処理装置、情報処理装置の制御方法、および情報処理装置の制御プログラム | |
JP2011118466A (ja) | 差分ノイズ置換装置、差分ノイズ置換方法、差分ノイズ置換プログラム、コンピュータ読み取り可能な記録媒体、および、差分ノイズ置換装置を備えた電子機器 | |
JP2009037464A (ja) | 画像表示装置及びコンピュータプログラム | |
KR20100088248A (ko) | 사용자 인터페이스 제어 방법 및 그를 이용한 이동 단말기 | |
JP7495651B2 (ja) | オブジェクト姿勢制御プログラムおよび情報処理装置 | |
JP2013161247A (ja) | 操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体 | |
JP5558899B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
JP6039325B2 (ja) | 撮像装置、電子機器、およびタッチパネルの制御方法 | |
JP5152639B2 (ja) | 文字入力・機能操作装置、方法、プログラム及び携帯端末装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |