JP5976708B2 - 電子機器及び操作支援プログラム - Google Patents
電子機器及び操作支援プログラム Download PDFInfo
- Publication number
- JP5976708B2 JP5976708B2 JP2014053325A JP2014053325A JP5976708B2 JP 5976708 B2 JP5976708 B2 JP 5976708B2 JP 2014053325 A JP2014053325 A JP 2014053325A JP 2014053325 A JP2014053325 A JP 2014053325A JP 5976708 B2 JP5976708 B2 JP 5976708B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- line
- coordinates
- sight
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
Description
誤操作は、ユーザーがタッチ入力を正確に行うことで、ある程度防止することが可能である。しかし、例えば、表示部に表示されたキーの画像をタッチ入力することで文字入力を行うソフトウェアキーボード等では、キーの画像が密集して配置される。このような場合、ユーザーが誤操作をしないように正しく操作することは困難である。
特許文献1の技術によれば、表示画面の視認性を向上させつつ、誤操作の発生を抑えることができる。
本発明の電子機器は、前記視線補正時間領域修正手段は、前記ユーザーによる修正が前記注視点の前記表示と一致する場合は前記視線補正範囲を拡大し、前記ユーザーによる修正が前記操作点の前記表示と一致する場合は前記視線補正範囲を縮小し、前記ユーザーによる修正が前記注視点の前記表示及び前記操作点の前記表示のいずれとも一致しない場合は前記操作補正結果情報により前記視線補正範囲を移動させることを特徴とする。
本発明の電子機器は、前記操作座標視線補正手段は、前記操作点の座標の変更後に前記ユーザーが前記表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更しないことを特徴とする。
本発明の操作支援プログラムは、電子機器により実行される操作支援プログラムにおいて、前記電子機器に、ユーザーによるタッチ入力の操作点の座標を検出させ、ユーザーによるタッチ入力の時点から特定の時間の範囲で、ユーザーの視線が向けられた注視点の座標を算出させ、算出された前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出させ、前記操作点の座標が、算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更させ、前記視線補正領域内になかった場合には前記操作点の座標を変更させず、前記操作点の座標、前記注視点の座標、及び前記操作点の座標の変更の結果を操作補正結果情報として保持し、変更された又は変更されなかった前記操作点の座標に対応する表示を行い、前記操作点の座標の変更後に、表示された前記表示について前記ユーザーによる修正を検出した場合、保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正させることを特徴とする。
〔画像形成装置1の全体構成〕
まず、図1及び図2を参照して、画像形成装置1(情報処理装置)の全体の構成について説明する。
制御部10は、記憶部19のROMやHDDに記憶されている制御プログラムを読み出して、この制御プログラムに含まれる操作支援プログラムをRAMに展開させて実行することで、後述する機能ブロックの各手段として動作させられる。また、制御部10は、図示しない外部の端末や操作パネル部16から入力された指示情報に応じて、装置全体を制御する。
画像処理部11は、原稿読取部12で読み取られた画像を、記憶部19に印刷データとして記憶する。この際、画像処理部11は、印刷データをPDFやTIFF等のフォーマットのファイル単位に変換することも可能である。
原稿給送部13は、原稿読取部12で読み取られる原稿を搬送する手段である。
搬送部14は、給紙カセットから記録紙を搬送し、画像形成部17で画像形成させ、その後にスタックトレイへ搬送する。
ネットワーク送受信部15は、データ通信用の回線ではデータを送受信し、音声電話回線では音声信号を送受信する。
タッチパネル60は、GUI(Graphical User Interface)等によりユーザーの各種指示を取得する。具体的には、タッチパネル60は、ユーザーがタッチ入力した座標を、操作点200(図3)として検出する。タッチパネル60は、この際、操作点200を、表示部62上の座標と対応する座標として検出してもよい。
なお、タッチパネル60がマルチタッチ対応の場合は、複数の座標を検出してもよい。また、タッチパネル60は、専用のペン等のペン先で入力された座標を検出してもよい。また、タッチパネル60は、ユーザーが押下した押圧を検出してもよい。また、タッチパネル60は、静電容量式や超音波式等の場合、ユーザーの指が非接触でも、表示部62上の座標を操作点200として検出してもよい。この場合、表示部62からの距離を検出してもよい。
表示部62は、GUIの各種画像を表示させることが可能である。また、表示部62には、タッチパネル60上でユーザーに文字等の入力をさせるためのソフトウェアキーボード(Software keyboard)、このソフトウェアキーボードにより入力された文字等を表示させることも可能である。表示部62は、この際に、操作座標視線補正部110(図3)により変更された又は変更されなかった操作点200の座標に対応する表示を行うことも可能である。なお、表示部62は、記憶部19に記憶された、プレビュー(preview)の画像等も表示可能である。
また、タイマー部18は、設定された時間の経過後、割り込み等を発生させるタイマーを設定可能である。
記憶部19のROMやHDDには画像形成装置1の動作制御を行うための制御プログラムが記憶されている。これに加えて、記憶部19は、ユーザーのアカウント設定も記憶している。また、記憶部19には、ユーザー毎の文書ボックス等の領域が含まれていてもよい。
視線検出部20は、例えば、撮像した画像データから、ユーザーの顔と目とを検出し、更に視線を三次元のベクトル形式等で算出する。視線検出部20は、ユーザーの視線とタッチパネル60との交点の座標(以下、「注視座標」という。)を算出し、注視点220(図3)に設定する。視線検出部20は、この際、ユーザーによるタッチパネル60のタッチ入力の時点の前後の時間範囲210において、注視座標の平均値や、最も注視した時間が長かった座標を、注視点220の座標として算出する。また、視線検出部20は、各注視座標を注視した時間、注視座標の移動のベクトル、注視座標の分散等から、注視点220の算出の確からしさの注視確率等の値を算出してもよい。
なお、時間範囲210は、対象のタッチ入力の前後のタッチ入力の間の時間よりも短い値に設定される。タッチ入力の間隔には個人差があるので、ユーザーが操作パネル部16を使用したときのタッチ入力の間隔の平均値を測定しておき、この実測値に基づいてユーザー毎の時間範囲210を定めてもよい。たとえば、時間範囲210は、タッチ入力の間隔の平均値としてもよいし、この平均値を一定数で割った値としてもよい。
また、視線検出部20は、操作パネル部16に設置することができる。図2に示す例では、視線検出部20が操作パネル部16の端部に設置されているが、操作パネル部16の面上に設置されていてもよく、操作パネル部16に内蔵されていてもよい。また、視線検出部20は、操作パネル部16から離れた位置に設置されていてもよい。また、視線検出部20は、ユーザーを照らす照明部等も備えていてもよい。
また、制御部10及び画像処理部11は、RAMやROMやフラッシュメモリー等を内蔵していてもよい。
また、画像形成装置1は、ファクシミリの送受信を行うFAX送受信部を備えていてもよい。
次に、図3により、画像形成装置1の制御構成について説明する。
画像形成装置1の制御部10は、視線補正領域算出部100(視線補正領域算出手段)、操作座標視線補正部110(操作座標視線補正手段)、操作補正結果情報保持部120(操作補正結果情報保持手段)、及び視線補正時間領域修正部130(視線補正時間領域修正手段)を備えている。
記憶部19は、操作点200、時間範囲210、注視点220、視線補正領域230、視線補正範囲240、及び操作補正結果情報250を記憶している。
また、操作座標視線補正部110は、これら座標補正後に、GUIの各処理を呼び出す。
また、操作座標視線補正部110は、操作点200の座標の変更後に、ユーザーが操作点200の座標に対応するタッチ入力の文字等の表示の修正を行うとき、表示の修正に対応するタッチ入力の操作点200の座標を変更しないような処理を行ってもよい。
また、操作補正結果情報保持部120は、ユーザーによる文字等の表示の修正の操作履歴等についても、操作補正結果情報250に含めて保持させてもよい。
また、視線補正時間領域修正部130は、ユーザーによる修正が注視点220の表示と一致する場合は視線補正領域230を拡大し、ユーザーによる修正が操作点200の表示と一致する場合は視線補正領域230を縮小し、ユーザーによる修正が注視点220の表示及び操作点200の表示のいずれとも一致しない場合は、操作補正結果情報250を参照して、視線補正範囲240を移動させる。
また、視線補正範囲240は、算出された注視点220から視線補正領域230を算出する際に、オフセット値等として座標等を変更するのに使用する特定の座標変更値を含んでいてもよい。
なお、視線補正範囲240は、注視点220を中心とする円形、楕円形、又は任意の範囲の形状を特定するためのデータであってもよい。また、この範囲の形状が楕円形の場合、ソフトウェアキーボードのキーを縦横に含ませる数に応じた長軸と短軸の範囲を設定してもよい。また、この範囲の形状として、ソフトウェアキーボードのキーを複数個含むような領域の形状そのものを指定してもよい。
また、上述の画像形成装置1の各部は、本発明の画像形成方法を実行するハードウェア資源となる。
次に、図4〜図5を参照して、本発明の実施の形態に係る画像形成装置1による操作座標視線補正処理の説明を行う。
本実施形態の操作座標視線補正処理では、視線の先にある注視点220を中心とした視線補正範囲240を、視線補正領域230として算出する。その後、タッチ入力が行われた操作点200が視線補正領域230の内部であった場合、注視点220がタッチされたものとして操作点200の座標を変更する(以下、このように視線により操作点200の座標を特定の条件で補正することを「視線補正する」と呼ぶ。)。操作点200が視線補正領域230の外部であった場合、操作点200の座標を変更せず、そのまま操作箇所がタッチされたものと判断する。
本実施形態の操作座標視線補正処理は、主に制御部10が、記憶部19に記憶されたプログラムを、各部と協働し、ハードウェア資源を用いて実行する。
以下で、図4のフローチャートを参照して、操作座標視線補正処理の詳細をステップ毎に説明する。
まず、制御部10が、視線補正領域算出部100として、視線検出開始処理を行う。
制御部10は、GUIによりソフトウェアキーボード等、タッチパネル60によりユーザーの指示を取得する画面が表示された場合には、視線検出部20による視線検出を開始させる。これにより、視線検出部20は、視線検出を開始し、注視点220の算出を開始する。
次に、タッチパネル60が、操作点検出処理を行う。
タッチパネル60は、ユーザーによる指の押下によるタッチ入力を検出すると、タッチ入力された操作点200に座標を設定して記憶部19に記憶する。また、タッチパネル60は、このタッチ入力の時点を視線検出部20に通知する。
次に、視線検出部20が、注視点算出処理を行う。
視線検出部20は、タッチ入力の時点の前後の時間範囲210において、ユーザーの視線が向けられたタッチパネル60上の注視座標のデータを算出する。視線検出部20は、算出した注視座標のデータから、注視点220の座標を算出し、記憶部19に記憶する。視線検出部20は、注視点220の座標を算出したことを、制御部10に通知する。
次に、制御部10が、視線補正領域算出部100として、視線補正領域算出処理を行う。
制御部10は、視線検出部20からの通知により、注視点220を中心とした視線補正範囲240の座標群等を、視線補正領域230として算出する。
図5(a)の画面例500、及び図5(b)の画面例501には、注視点220を中心としてソフトウェアキーボードのキーの画像を1個〜3個程度含むような距離の円形に算出された視線補正領域230として算出される例が示されている。図5(a)(b)においては、文字の入力欄である表示欄600と、この表示欄600に文字(表示)を入力するためのソフトウェアキーボード610とが描画されている。また、ボタン700は、入力を完了したことを示すボタンである。
次に、制御部10が、操作座標視線補正部110として、操作点200が視線補正領域230内か否かを判断する。制御部10は、図5(a)の画面例500のように、操作点200が視線補正領域230の内側であった場合には、Yesと判断する。制御部10は、逆に、図5(b)の画面例501のように、操作点200が視線補正領域230の外側であった場合には、Noと判断する。なお、制御部10は、操作点200が補正領域の内部であっても、注視確率等の値が閾値以下であった場合には、Noと判断してもよい。
Yesの場合、制御部10は、処理をステップS106に進める。
Noの場合、制御部10は、処理をステップS107に進める。
操作点200が視線補正領域230の内側であった場合、制御部10は、操作座標視線補正部110として、操作点座標変更処理を行う。
制御部10は、操作点の座標を注視点220の座標に変更する。制御部10は、この際、操作点の座標を単純に注視点220の座標に変更するのではなく、特定の座標に変更してもよい。この特定の座標は、例えば、注視点220が含まれるソフトウェアキーボードのキーの中心等であってもよい。
ここで、制御部10は、操作補正結果情報保持部120として、操作補正結果情報記憶処理を行う。
制御部10は、例えば、表示部62に表示されているのがソフトウェアキーボードの場合、一文字の入力及び操作点座標変更処理毎に、操作補正結果情報250を記憶部19に記憶する。この操作補正結果情報250は、操作点200の座標、注視点220の座標、及び操作点200の座標の変更の結果を含んでいてもよい。
次に、制御部10は、操作座標視線補正部110として、操作点指示操作実行処理を行う。
制御部10は、操作点200(ステップS106の操作点座標変更処理を行った場合、注視点220に変更された操作点200である。また、ステップS106の操作点座標変更処理を行わなかった場合、タッチ入力された操作点200である。)の座標について、ユーザーのタッチ入力に対応する処理を実行させるようGUIに通知する。これにより、例えば、GUIがソフトウェアキーボードの場合、制御部10は、通知された操作点200の箇所のキーに対応する文字等を、GUIにより入力し、表示部62の入力欄等に表示させる。
次に、制御部10が、視線補正時間領域修正部130として、ユーザー修正ありか否かを判断する。制御部10は、ステップS107において入力され表示された文字等について、ユーザーによる修正があった場合に、Yesと判断する。具体的に説明すると、制御部10は、ソフトウェアキーボードの場合、ユーザーが入力された文字を「修正」のキーを押下する等して、別の文字をタッチ入力した場合には、修正があったため、Yesと判断する。制御部10は、それ以外の場合、例えば、修正せずに他の文字を入力し、又は完了のボタン700を押下した場合には、Noと判断する。
Yesの場合、制御部10は、処理をステップS110に進める。
Noの場合、制御部10は、操作座標視線補正処理を終了する。
上述のステップS108において、ユーザーによる修正があった場合、制御部10が、視線補正時間領域修正部130として、操作点座標変更抑制処理を行う。
上述の別の文字のタッチ入力は、ユーザー修正時のタッチ入力の操作点の座標に対応するキーに基づいて行われる。
このとき、制御部10は、別の文字のタッチ入力の操作点に対して、操作座標視線補正部110による、操作点座標変更処理を行わないように制御する。つまり、制御部10は、表示の修正に対応するタッチ入力の操作点200の座標を変更しない。
なお、記憶部19に記憶された設定によっては、この処理の際、操作点200の座標の変更の範囲を小さくし、又はそもそも変更しないように構成してもよい。
また、制御部10は、操作補正結果情報保持部120として、修正の結果についても、操作補正結果情報250に含めて記憶部19に記憶してもよい。
次に、制御部10が、視線補正時間領域修正部130として、視線補正時間領域修正処理を行う。
この処理の詳細については、下記で説明する。
以上により、本発明の実施の形態に係る操作座標視線補正処理を終了する。
まず、制御部10は、ユーザーによる修正が注視点220の表示と一致するか否かを判断する。
制御部10は、ステップS107において入力された文字等の表示の修正について、操作補正結果情報250を参照して、修正された表示が注視点220の表示と一致する場合に、Yesと判断する。図7(a)の例によれば、制御部10は、修正された表示260の文字「D」が注視点220の指し示す文字と一致するため、Yesと判断する。制御部10は、それ以外の場合、つまり修正された表示と、注視点220の指し示す表示とが一致しない場合には、Noと判断する。
Yesの場合、制御部10は、処理をステップS202に進める。
Noの場合、制御部10は、処理をステップS203に進める。
修正が注視点220の表示と一致した場合、制御部10は、視線補正領域拡大処理を行う。
図7(b)の例によれば、制御部10は、視線補正範囲240を拡大して、視線補正領域230内に操作点200が含まれるように修正する。その後、タッチパネル60で操作点200のような座標が入力された際に、例えば、ユーザーが注視点220の座標に視線を向けていれば、視線補正範囲240から算出された視線補正領域230に含まれることとなるため、視線補正を行うことが可能となる。これにより、ユーザーの入力ミスを少なくすることができる。
その後、制御部10は、視線補正時間領域修正処理を終了する。
修正が注視点220の表示と一致なかった場合、制御部10は、ユーザーによる修正が操作点200の表示と一致するか否かを判断する。
制御部10は、操作補正結果情報250を参照して、修正された表示が操作点200の表示と一致する場合に、Yesと判断する。図8(a)の例によれば、制御部10は、修正された表示260の文字「X」が操作点200の指し示す文字と一致するため、Yesと判断する。制御部10は、それ以外の場合、つまり修正された表示と、操作点200の指し示す表示とが一致しない場合には、Noと判断する。
Yesの場合、制御部10は、処理をステップS204に進める。
Noの場合、制御部10は、処理をステップS205に進める。
修正が操作点200の表示と一致した場合、制御部10は、視線補正領域縮小処理を行う。
図8(b)の例によれば、制御部10は、視線補正範囲240を縮小して、視線補正領域230内に操作点200が含まれないように修正する。これにより、その後、タッチパネル60で操作点200のような座標が入力された場合でも、例えば、ユーザーが注視点220の座標に視線を向けていた場合、視線補正範囲240から算出された視線補正領域230外であるため、視線補正は行われない。このため、視線補正による誤修正を防ぐことができ、ユーザーの使い勝手を向上させることができる。
その後、制御部10は、視線補正時間領域修正処理を終了する。
ここで、修正が操作点200の表示と一致しない場合、つまり修正が注視点220及び操作点200のいずれとも一致しない場合には、制御部10は、視線補正領域移動処理を行う。この処理において、制御部10は、操作補正結果情報250の履歴を参照して、視線補正範囲240の座標等を移動させる。
図9(a)は、操作点200の指し示す文字と注視点220の指し示す文字とが一致して、視線補正が行われなかったにもかかわらず、ユーザーが表示260の文字「S」に修正した例を示す。この例の場合、制御部10は、視線補正範囲240に含まれる座標変更値を、左に特定の座標だけ移動させるよう変更している。
図9(b)は、視線補正範囲240の変更後に、タッチパネル60で操作点200のような座標が入力されて、視線検出部20により注視点220の座標が検出された場合の例を示す。この例の場合、制御部10は、注視点220に座標変更値を適用して、注視点220’の座標を算出し、この注視点220’の座標に対応する視線補正領域230を算出する。これにより、ユーザーの意図した通りの視線補正が行われ、文字「S」が入力される。
また、制御部10は、時間範囲210を設定値から変更することができる。たとえば、表示がソフトウェアキーボードの場合、制御部10は、操作補正結果情報250の修正の履歴から、文字等の表示の修正に対応する座標に含まれるよう視線補正領域230が算出できるよう、適切な時間範囲210を算出してもよい。
以上により、本実施形態に係る視線補正時間領域修正処理を終了する。
従来、特許文献1の技術では、視線の先の画像を拡大表示することで、表示できる情報が少なくなっていた。
これに対して、本実施形態に係る画像形成装置1は、ユーザーによるタッチ入力の操作点200の座標を検出するタッチパネル60と、ユーザーによるタッチパネル60のタッチ入力の時点から特定の時間範囲210で、ユーザーの視線が向けられたタッチパネル60上の注視点220の座標を算出する視線検出部20と、視線検出部20により算出されたタッチパネル60上の注視点220の座標から特定の視線補正範囲240の視線補正領域230を算出する視線補正領域算出部100と、操作点200の座標が、視線補正領域算出部100により算出された視線補正領域230内にあった場合には操作点200の座標を注視点220の座標に変更し、視線補正領域230内になかった場合には操作点200の座標を変更しない操作座標視線補正部110と、操作点200の座標、注視点220の座標、及び操作座標視線補正部110による操作点200の座標の変更の結果を操作補正結果情報250として保持する操作補正結果情報保持部120と、操作座標視線補正部110により変更された又は変更されなかった操作点200の座標に対応する表示を行う表示部62と、操作座標視線補正部110による操作点200の座標の変更後に、表示部62に表示された表示についてユーザーによる修正を検出した場合、操作補正結果情報保持部120により保持された操作補正結果情報250を参照して、時間範囲210と視線補正範囲240とを修正する視線補正時間領域修正部130とを備えることを特徴とする。
このように構成することで、表示内容が拡大され表示文字数等が変更されることなく、誤操作を防止したタッチ入力を行うことが可能となる。これにより、表示できる情報が減少することがなくなり、ユーザーの使い勝手を向上させることができる。
また、特許文献1の技術では、視線検出により表示内容が変化することで、ユーザーを混乱させ、ユーザーによる表示内容の読み取り等が困難になり、操作性が悪くなることがあった。
これに対して、本実施形態の画像形成装置1は、視線補正の際、表示部62に表示される表示内容が拡大されないため、ユーザーを混乱させることがなくなり、操作性を向上させることができる。
特に、操作補正結果情報250を保持して、視線補正範囲240の修正の際に参照することで、ユーザーが入力した表示をすぐに修正しない場合であっても対応可能となる。たとえば、ソフトウェアキーボードの場合、数文字前に入力された文字等の表示が修正された場合でも、視線補正範囲240を修正することが可能となる。
よって、ユーザーの使い勝手をよくすることができる。
このように構成することで、ユーザーに合わせて視線補正範囲240を調整することができ、視線補正の精度を高めることができる。
これにより、ユーザーの使い勝手をよくすることができる。
このように構成することで、入力された文字等の表示の修正の際に、意図せずに入力される表示が変更されることを防ぎ、ユーザーの操作性を高めることができる。
・ユーザーの意図と異なる箇所へのタッチ入力による誤操作の発生を防止することができる。つまり、ユーザーの視線の先である注視点220の座標により、タッチパネル60の操作点200の座標を補正することで、誤操作の発生を防止することができる。
・視線検出を利用した操作であっても、ユーザーが混乱することがない。つまり、視線検出を利用した操作であっても、従来のタッチパネル60による入力と同様に操作することができ、ユーザーが補正に適応しやすい。
・視線検出を利用した操作であっても、操作の精度が高い。つまり、従来と同様に、主にタッチパネル60による入力を主として、これを補正するものであるため、入力の精度が高くなる。また、視線補正範囲240及び時間範囲210を自動変更することで、適切な補正を行うことができる。
・表示部62に表示される情報を変更しない。つまり、拡大表示等の処理を行わないため、表示される内容に変更が生じない。このため、ユーザーの操作性を高められる。
・視線の先にある範囲内で発生する誤操作を防止する。つまり、視線補正範囲240により算出された視線補正領域230内の操作に対して補正を行うことで、誤操作を防止することができる。
・視線の先にある範囲外で意図的に操作することが可能となる。つまり、視線補正領域230外の操作に対しては、そのまま処理を受け付けることができる。これにより、誤操作を防止することができる。
また、制御部10は、視線補正範囲240を変更するタイミングとして、操作中の画面ですぐ変更しなくてもよい。つまり、制御部10は、例えば、省電力状態になった時、電源オフ時、タイマーで指定した日時といった各種条件に対応して、視線補正範囲240を変更してもよい。
このように構成することで、操作中に視線補正範囲240がすぐ変更されることがなくなるため、ユーザーが自然に変更された視線補正範囲240に適応して操作することができる。よって、ユーザーの使い勝手をよくすることができる。
このような構成により、ユーザーの使い勝手をよくすることができる。
これにより、タッチパネル60のコストを削減することができる。
しかしながら、本発明は、画像形成装置以外の各種電子機器にも適用できる。たとえばタッチパネル60と視線検出部20を備える、スマートフォン、携帯電話、PC(Personal Computer)、及びPDA(Personal Data Assistant)等の情報処理装置に適用可能である。また、タッチパネル60と視線検出部20を備えるテレビジョン、電子レンジ、冷蔵庫、ホームロボット、ホームセキュリティーシステムのような家電機器等にも適法可能である。また、電動バイク、自動車、航空機、船舶等の操縦用システム等にも適法可能である。これに加えて、部品として、タッチパネル60と視線検出部20を備えた基板のような形状で様々な機器に搭載させることが可能である。
10 制御部
11 画像処理部
12 原稿読取部
13 原稿給送部
14 搬送部
15 ネットワーク送受信部
16 操作パネル部
17 画像形成部
18 タイマー部
19 記憶部
20 視線検出部
60 タッチパネル
61 ボタン部
62 表示部
100 視線補正領域算出部
110 操作座標視線補正部
120 操作補正結果情報保持部
130 視線補正時間領域修正部
200 操作点
210 時間範囲
220、220’ 注視点
230 視線補正領域
240 視線補正範囲
250 操作補正結果情報
260 表示
500、501 画面例
600 表示欄
610 ソフトウェアキーボード
700 ボタン
Claims (4)
- ユーザーによるタッチ入力の操作点の座標を検出するタッチパネルと、
前記ユーザーによる前記タッチパネルのタッチ入力の時点から特定の時間の範囲で、前記ユーザーの視線が向けられた前記タッチパネル上の注視点の座標を算出する視線検出手段と、
該視線検出手段により算出された前記タッチパネル上の前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出する視線補正領域算出手段と、
前記操作点の座標が、前記視線補正領域算出手段により算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更し、前記視線補正領域内になかった場合には前記操作点の座標を変更しない操作座標視線補正手段と、
前記操作点の座標、前記注視点の座標、及び前記操作座標視線補正手段による前記操作点の座標の変更の結果を操作補正結果情報として保持する操作補正結果情報保持手段と、
前記操作座標視線補正手段により変更された又は変更されなかった前記操作点の座標に対応する表示を行う表示手段と、
前記操作座標視線補正手段による前記操作点の座標の変更後に、前記表示手段に表示された前記表示について前記ユーザーによる修正を検出した場合、前記操作補正結果情報保持手段により保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正する視線補正時間領域修正手段とを備える
ことを特徴とする電子機器。 - 前記視線補正時間領域修正手段は、
前記ユーザーによる修正が前記注視点の前記表示と一致する場合は前記視線補正範囲を拡大し、
前記ユーザーによる修正が前記操作点の前記表示と一致する場合は前記視線補正範囲を縮小し、
前記ユーザーによる修正が前記注視点の前記表示及び前記操作点の前記表示のいずれとも一致しない場合は前記操作補正結果情報により前記視線補正範囲を移動させる
ことを特徴とする請求項1に記載の電子機器。 - 前記操作座標視線補正手段は、
前記操作点の座標の変更後に前記ユーザーが前記表示の修正を行うとき、前記表示の修正に対応するタッチ入力の操作点の座標を変更しない
ことを特徴とする請求項1又は2に記載の電子機器。 - 電子機器により実行される操作支援プログラムにおいて、前記電子機器に、
ユーザーによるタッチ入力の操作点の座標を検出させ、
ユーザーによるタッチ入力の時点から特定の時間の範囲で、ユーザーの視線が向けられた注視点の座標を算出させ、
算出された前記注視点の座標から特定の視線補正範囲に対応した視線補正領域を算出させ、
前記操作点の座標が、算出された前記視線補正領域内にあった場合には前記操作点の座標を前記注視点の座標に変更させ、前記視線補正領域内になかった場合には前記操作点の座標を変更させず、
前記操作点の座標、前記注視点の座標、及び前記操作点の座標の変更の結果を操作補正結果情報として保持し、
変更された又は変更されなかった前記操作点の座標に対応する表示を行い、
前記操作点の座標の変更後に、表示された前記表示について前記ユーザーによる修正を検出した場合、保持された前記操作補正結果情報を参照して、前記時間の範囲と前記視線補正範囲とを修正させる
ことを特徴とする操作支援プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053325A JP5976708B2 (ja) | 2014-03-17 | 2014-03-17 | 電子機器及び操作支援プログラム |
CN201410841631.6A CN104808836B (zh) | 2014-01-23 | 2014-12-30 | 电子设备及操作支援方法 |
US14/600,151 US9471178B2 (en) | 2014-01-23 | 2015-01-20 | Electronic device, method, and program for supporting touch panel operation |
EP15152301.6A EP2899611B1 (en) | 2014-01-23 | 2015-01-23 | Electronic device, method, and program for supporting touch panel operation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053325A JP5976708B2 (ja) | 2014-03-17 | 2014-03-17 | 電子機器及び操作支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015176429A JP2015176429A (ja) | 2015-10-05 |
JP5976708B2 true JP5976708B2 (ja) | 2016-08-24 |
Family
ID=54255552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014053325A Expired - Fee Related JP5976708B2 (ja) | 2014-01-23 | 2014-03-17 | 電子機器及び操作支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5976708B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6583113B2 (ja) * | 2016-04-15 | 2019-10-02 | 株式会社デンソー | 情報処理装置及び表示システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009110275A (ja) * | 2007-10-30 | 2009-05-21 | Sharp Corp | 表示入力装置及びその視差補正方法 |
JP2012252627A (ja) * | 2011-06-06 | 2012-12-20 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
JP2013222438A (ja) * | 2012-04-19 | 2013-10-28 | Nec Casio Mobile Communications Ltd | 処理装置、検出位置補正方法およびプログラム |
JP5910345B2 (ja) * | 2012-06-21 | 2016-04-27 | 富士通株式会社 | 文字入力プログラム、情報処理装置および文字入力方法 |
-
2014
- 2014-03-17 JP JP2014053325A patent/JP5976708B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015176429A (ja) | 2015-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9471178B2 (en) | Electronic device, method, and program for supporting touch panel operation | |
US9189179B2 (en) | Image processing device and portable terminal | |
US20140145991A1 (en) | Information processing apparatus installed with touch panel as user interface | |
US11188280B2 (en) | Method of providing screen for manipulating execution of application of image forming apparatus and image forming apparatus using the method | |
JP5932858B2 (ja) | 電子機器及び操作画面表示プログラム | |
US9354801B2 (en) | Image processing apparatus, image processing method, and storage medium storing program | |
US10009489B2 (en) | Display and input device that receives image forming instruction through touch panel | |
US10645246B2 (en) | Non-transitory computer-readable medium and portable device | |
JP6412778B2 (ja) | 映像装置、方法、およびプログラム | |
JP2018207186A (ja) | 携帯端末および電子システム | |
JP2018207186A5 (ja) | ||
JP6149684B2 (ja) | 携帯端末、画像処理装置、及びプログラム | |
JP5976708B2 (ja) | 電子機器及び操作支援プログラム | |
JP6711081B2 (ja) | 画像処理プログラム及び情報処理装置 | |
JP5968926B2 (ja) | 情報処理装置及び情報処理プログラム | |
JP6686968B2 (ja) | 携帯端末および電子システム | |
US9467589B2 (en) | Display input apparatus and computer-readable non-transitory recording medium with display input control program recorded thereon | |
JP6176284B2 (ja) | 操作表示システム、操作表示装置および操作表示プログラム | |
JP6565256B2 (ja) | 表示装置、画像処理装置及びプログラム | |
JP2011175516A (ja) | 入力装置及び入力制御プログラム | |
JP6603383B2 (ja) | 映像装置、方法、およびプログラム | |
JP6418119B2 (ja) | 表示装置、及びそれを備えた画像形成装置 | |
JP6665575B2 (ja) | プログラム | |
JP2017054396A (ja) | タッチパネルを有する情報処理装置、情報処理装置の制御方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160318 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160322 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5976708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |