JP6432058B2 - Display control apparatus, control method thereof, and program - Google Patents
Display control apparatus, control method thereof, and program Download PDFInfo
- Publication number
- JP6432058B2 JP6432058B2 JP2014152271A JP2014152271A JP6432058B2 JP 6432058 B2 JP6432058 B2 JP 6432058B2 JP 2014152271 A JP2014152271 A JP 2014152271A JP 2014152271 A JP2014152271 A JP 2014152271A JP 6432058 B2 JP6432058 B2 JP 6432058B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- user
- unit
- directed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
本発明は、ユーザが、画像処理装置に備えたタッチパネル形式の表示部に対して操作を制御する発明に関する。 The present invention relates to an invention in which a user controls an operation on a touch panel type display unit provided in an image processing apparatus.
最近では、ユーザが、画像形成装置に備えたタッチパネル形式の表示部に対して、指などで触れて指示入力を行うことによって、当該画像形成装置に所定の動作を行わせることが行われている。 Recently, when a user touches with a finger or the like and inputs an instruction to a touch panel type display unit provided in the image forming apparatus, the image forming apparatus is caused to perform a predetermined operation. .
しかしながら、ユーザは、余所見などを行っているときに、誤って表示部へ触れることによって、予期せぬ動作をさせてしまうケースが存在する。 However, there are cases where the user makes an unexpected operation by touching the display unit accidentally while performing a look.
そこで、ユーザの視線が、当該ユーザの利用している機器の表示部へ向かっているときに限り、その表示部に対して、タッチ操作を可能とさせ、視線が機器の表示部へ向かっていない場合、表示部に対して操作ができないようにロックをかける技術が存在する（例えば、特許文献１参照）。 Therefore, only when the user's line of sight is toward the display unit of the device used by the user, the display unit can be touched, and the line of sight does not point toward the display unit of the device. In such a case, there is a technique for locking the display unit so that the operation cannot be performed (for example, see Patent Document 1).
しかしながら、特許文献１に記載の技術では、ユーザが、画像処理装置に対してログインした後、当該画像形成装置において、そのユーザのみが操作可能な機能やデータが表示されるような構成において、このユーザがログインした状態で、他のユーザが画像形成装置の表示部へ視線を向けて操作を行うと、真にログインしているユーザの操作権限などを奪ってしまう、という問題が生じうる。 However, in the technique described in Patent Literature 1, after a user logs in to the image processing apparatus, the image forming apparatus displays a function or data that can be operated only by the user. When another user performs an operation with a line of sight toward the display unit of the image forming apparatus while the user is logged in, there may be a problem that an operation authority or the like of the user who is truly logged in is deprived.
あるいは、ユーザは、画像形成装置の表示部に対して、視線をそらすことなく、操作を行う必要に迫られることもあり、ユーザが、表示部に表示された操作機能などの位置を覚えているような場合、少々、視線を表示部から逸らした状態で、操作を行うようなケースも想定されるが（ブラインドタッチなどの操作）、このようなケースでは、表示部がロックされ、ユーザにとって操作性の乏しいものとなってしまう。 Alternatively, the user may be forced to perform an operation on the display unit of the image forming apparatus without turning his / her line of sight, and the user remembers the position of the operation function or the like displayed on the display unit. In such a case, a case where the operation is performed with the line of sight deviated slightly from the display unit is assumed (operation such as blind touch). In such a case, the display unit is locked and the operation is performed for the user. It will be poor.
そこで、本願発明では、ユーザが表示部に対して操作指示を行うにあたり、ユーザの誤操作を抑止することが可能な表示制御装置、その制御方法、及びプログラムを提供することを目的とする。
Therefore, in the present invention, the user carrying out an operation instruction to
上記課題を解決するための第１の発明は、ユーザの押下によってイベントを実行する押下部を表示部へ表示する表示制御装置であって、前記表示部へ向けられたユーザの視線を検出する視線検出手段と、装置のそれぞれの機構に関する状態を検知する検知手段と、前記検知手段によって検知した機構に関する状態により当該機構に操作がなされていないと判定するとともに、前記視線検出手段により検出されたログインユーザの視線が前記表示部へ向けられている場合に、前記押下部のイベントを実行可能なように制御し、一方、当該機構に操作がなされていると判定するとともに、前記視線検出手段により検出されたログインユーザの視線が押下部へ向けられている場合に、当該押下部のイベントを実行可能なように制御する制御手段と、を備えたことを特徴とする。 A first invention for solving the above-described problem is a display control apparatus that displays a pressing unit that executes an event by a user's pressing on a display unit, the line of sight detecting a user's line of sight directed to the display unit The detection means, the detection means for detecting the state relating to each mechanism of the apparatus, and the login related to the mechanism detected by the detection means and determined that the operation is not performed on the mechanism, and the login detected by the line-of-sight detection means When the user's line of sight is directed to the display unit, control is performed so that the event of the pressing unit can be executed. On the other hand, it is determined that the operation is performed on the mechanism, and is detected by the line-of-sight detection unit and control means login user's line of sight is when being directed to the pressing unit, and controls to be executable events of the depressed portion, Characterized by comprising.
上記課題を解決するための第２の発明は、ユーザの押下によってイベントを実行する押下部を表示部へ表示する表示制御装置の制御方法であって、前記表示制御装置は、前記表示部へ向けられたユーザの視線を検出する視線検出ステップと、装置のそれぞれの機構に関する状態を検知する検知ステップと、前記検知ステップによって検知した機構に関する状態により当該機構に操作がなされていないと判定するとともに、前記視線検出ステップにより検出されたログインユーザの視線が前記表示部へ向けられている場合に、前記押下部のイベントを実行可能なように制御し、一方、当該機構に操作がなされていると判定するとともに、前記視線検出ステップにより検出されたログインユーザの視線が押下部へ向けられている場合に、当該押下部のイベントを実行可能なように制御する制御ステップと、を実行することを特徴とする。 A second invention for solving the above-mentioned problem is a control method of a display control device that displays on a display unit a pressing unit that executes an event when pressed by a user, and the display control device is directed to the display unit. A line-of-sight detection step for detecting the line of sight of the user, a detection step for detecting a state relating to each mechanism of the device, and a state relating to the mechanism detected by the detection step determining that the operation is not performed on the mechanism, When the log-in user's line of sight detected by the line-of-sight detection step is directed to the display unit, control is performed so that the event of the pressing unit can be executed, while it is determined that the mechanism is operated. In addition, if the login user's line of sight detected by the line-of-sight detection step is directed to the pressing part, the pressing Characterized by a control step of controlling so as capable of executing the event, the execution.
上記課題を解決するための第３の発明は、コンピュータを、ユーザの押下によってイベントを実行する押下部が表示された表示部へ向けられたユーザの視線を検出する視線検出手段と、装置のそれぞれの機構に関する状態を検知する検知手段と、前記検知手段によって検知した機構に関する状態により当該機構に操作がなされていないと判定するとともに、前記視線検出手段により検出されたログインユーザの視線が前記表示部へ向けられている場合に、前記押下部のイベントを実行可能なように制御し、一方、当該機構に操作がなされていると判定するとともに、前記視線検出手段により検出されたログインユーザの視線が押下部へ向けられている場合に、当該押下部のイベントを実行可能なように制御する制御手段と、して機能させるためのプログラム。 A third invention for solving the above problems, a computer, a visual axis detecting means for detecting a visual axis of a user pressing portion is directed to the display unit which is displayed to execute the event by pressing the user, each device Detecting means for detecting a state related to the mechanism, and determining that the mechanism is not operated based on the state related to the mechanism detected by the detecting means, and the line of sight of the login user detected by the line-of-sight detecting means When the event is directed to the control unit, the event of the pressing unit is controlled to be executable. On the other hand, it is determined that the mechanism is operated, and the line-of-sight of the logged-in user detected by the line-of-sight detection unit is when being directed to the pressing unit, and control means for controlling so as viable event of the depressed portion was thereby to function Of the program.
本発明によれば、ユーザが表示部に対して操作指示を行うにあたり、ユーザの誤操作を抑止することができる、という効果を奏する。
According to the present invention, when the user performs an operation instruction to
以下、図面を参照して、本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明の実施形態における画像処理システムの構成を示す図である。
画像処理システム１００は、印刷、ファクシミリ送信、コピーなどの複合的な機能を備えた画像処理装置１０１、印刷指示を受け付けたことにより生成した印刷ジョブを用いて、画像処理装置１０１に対して当該印刷ジョブの出力指示などを行うクライアント端末１０２と、がネットワーク１０３を介して接続された構成を備えている。
FIG. 1 is a diagram illustrating a configuration of an image processing system according to an embodiment of the present invention.
The
また、この画像処理システムにおいては、ユーザは、クライアント端末１０２において、印刷指示を行った後、画像処理装置１０１へ向かい、画像処理装置１０１に対して、ユーザが所持するユーザ情報やパスワードを入力することで、認証を行った後、認証されればログインを行い（不図示の認証用サーバを用いて、ユーザに対してログインを行わせても良い）、その後、ログインを行ったユーザのみが利用できる機能やデータを画像処理装置１０１に表示する構成をとっても良い。
In this image processing system, the user issues a print instruction at the
図２は、図１に示した画像処理装置１０１のコントローラユニットのハードウェア構成の一例を示すブロック図である。
FIG. 2 is a block diagram illustrating an example of a hardware configuration of the controller unit of the
図２において、２１６はコントローラユニットで、画像入力デバイスとして機能するスキャナ部２１４や、画像出力デバイスとして機能するプリンタ部２１２と接続する一方、ＬＡＮ（例えば、図１に示した無線ＬＡＮ１０６）や公衆回線（ＷＡＮ）（例えば、ＰＳＴＮまたはＩＳＤＮ等）と接続することで、画像データやデバイス情報の入出力を行う。
In FIG. 2, reference numeral 216 denotes a controller unit which is connected to a scanner unit 214 functioning as an image input device and a
コントローラユニット２１６において、２０１はＣＰＵで、システム全体を制御するプロセッサである。
In the
２０２はＲＡＭで、ＣＰＵ２０１が動作するためのシステムワークメモリであり、プログラムを記録するためのプログラムメモリや、画像データを一時記録するための画像メモリでもある。
A
２０３はＲＯＭで、システムのブートプログラムや各種制御プログラムが格納されている。
A
２０４はハードディスクドライブ（ＨＤＤ）で、システムを制御するための各種プログラム，画像データ等を格納する。 A hard disk drive (HDD) 204 stores various programs for controlling the system, image data, and the like.
２０７は操作部インタフェース（操作部Ｉ／Ｆ）で、操作部（キーボード）２０８とのインタフェース部である。また、操作部Ｉ／Ｆ２０７は、操作部２０８から入力したキー情報（例えば、スタートボタンの押下）をＣＰＵ２０１に伝える役割をする。
An operation unit interface (operation unit I / F) 207 is an interface unit with the operation unit (keyboard) 208. Further, the operation unit I /
２０５はネットワークインタフェース（Ｎｅｔｗｏｒｋ Ｉ／Ｆ）で、無線ＬＡＮ１０６に接続し、データの入出力を行う。２０６はモデム（ＭＯＤＥＭ）で、公衆回線に接続し、ＦＡＸの送受信等のデータの入出力を行う。尚、無線ＬＡＮユニット１０４については、ネットワークインタフェース２０５を含む構成を示している。
２１８は外部インタフェース（外部Ｉ／Ｆ）で、ＵＳＢ、ＩＥＥＥ１３９４、プリンタポート、ＲＳ−２３２Ｃ等の外部入力を受け付けるＩ／Ｆ部であり、本実施形態においては認証で必要となる携帯端末のＩＣカード（記憶媒体）の読み取り用のカードリーダ２１９が外部Ｉ／Ｆ２１８に接続されている。
An external interface (external I / F) 218 is an I / F unit that accepts external inputs such as USB, IEEE 1394, printer port, RS-232C, etc. In this embodiment, an IC card for a portable terminal required for authentication A
そして、ＣＰＵ２０１は、この外部Ｉ／Ｆ２１８を介してカードリーダ２１９による携帯端末のＩＣカードからの情報読み取りを制御し、該携帯端末のＩＣカードから読み取られた情報を取得可能である。以上のデバイスがシステムバス２０９上に配置される。尚、ＩＣカードは携帯端末に付帯せず、独立したカード単体のものを用いても良い。
The
２２０はイメージバスインタフェース（ＩＭＡＧＥ ＢＵＳ Ｉ／Ｆ）であり、システムバス２０９と画像データを高速で転送する画像バス２１５とを接続し、データ構造を変換するバスブリッジである。
An image bus interface (IMAGE BUS I / F) 220 is a bus bridge that connects the
画像バス２１５は、ＰＣＩバスまたはＩＥＥＥ１３９４で構成される。画像バス２１５上には以下のデバイスが配置される。
The
２１０はラスタイメージプロセッサ（ＲＩＰ）で、例えば、ＰＤＬコード等のベクトルデータをビットマップイメージに展開する。２１１はプリンタインタフェース（プリンタＩ／Ｆ）で、プリンタ部２１２とコントローラユニット２１６を接続し、画像データの同期系／非同期系の変換を行う。また、２１３はスキャナインタフェース（スキャナＩ／Ｆ）で、スキャナ部２１４とコントローラユニット２１６を接続し、画像データの同期系／非同期系の変換を行う。
A raster image processor (RIP) 210 expands vector data such as a PDL code into a bitmap image. A printer interface (printer I / F) 211 connects the
２１７は画像処理部で、入力画像データに対し補正、加工、編集を行ったり、プリント出力画像データに対して、プリンタの補正、解像度変換等を行う。また、これに加えて、画像処理部２１７は、画像データの回転や、多値画像データに対してはＪＰＥＧ、２値画像データはＪＢＩＧ、ＭＭＲ、ＭＨ等の圧縮伸張処理を行う。
An
スキャナ部２１４は、原稿となる紙上の画像を照明し、ＣＣＤラインセンサで走査することで、ラスタイメージデータとして電気信号に変換する。原稿用紙は原稿フィーダのトレイにセットし、装置使用者が操作部２０８から読み取り起動指示することにより、ＣＰＵ２０１がスキャナ部２１４に指示を与え、フィーダは原稿用紙を１枚ずつフィードし原稿画像の読み取り動作を行う。
The scanner unit 214 illuminates an image on paper as a document and scans it with a CCD line sensor, thereby converting it into an electrical signal as raster image data. The original paper is set on the tray of the original feeder, and when the apparatus user gives a reading start instruction from the
プリンタ部２１２は、ラスタイメージデータを用紙上の画像に変換する部分であり、その方式は感光体ドラムや感光体ベルトを用いた電子写真方式、微少ノズルアレイからインクを吐出して用紙上に直接画像を印字するインクジェット方式等があるが、どの方式でも構わない。
The
プリント動作の起動は、ＣＰＵ２０１からの指示によって開始する。なお、プリンタ部２１２には、異なる用紙サイズまたは異なる用紙向きを選択できるように複数の給紙段を持ち、それに対応した用紙カセットがある。
Activation of the printing operation is started by an instruction from the
操作部２０８は、ＬＣＤ表示部を有し、ＬＣＤ上にタッチパネルシートが貼られており、システムの操作画面を表示するとともに、表示してあるキーが押されるとその位置情報を操作部Ｉ／Ｆ２０７を介してＣＰＵ２０１に伝える。また、操作部２０８は、各種操作キーとして、例えば、スタートキー、ストップキー、ＩＤキー、リセットキー等を備える。
The
尚、表示部は、画像処理装置によって表示性能がことなり、タッチパネルを介して操作をできる画像処理装置、単に液晶画面を備え文字列を表示（印刷状態や印刷している文書名の表示）させるだけの画像処理装置によって本発明は構成されている。 Note that the display unit has different display performance depending on the image processing apparatus. The image processing apparatus can be operated via a touch panel. The display unit simply includes a liquid crystal screen and displays a character string (displays the print status and the name of the document being printed). The present invention is constituted by only an image processing apparatus.
ここで、操作部２０８のスタートキーは、原稿画像の読み取り動作を開始する時などに用いる。スタートキーの中央部には、緑と赤の２色ＬＥＤがあり、その色によってスタートキーが使える状態にあるかどうかを示す。
Here, the start key of the
また、操作部２０８のストップキーは、稼働中の動作を止める働きをする。また、操作部２０８のＩＤキーは、使用者のユーザＩＤを入力する時に用いる。リセットキーは、操作部からの設定を初期化する時に用いる。
Further, the stop key of the
カードリーダ２１９は、ＣＰＵ２０１からの制御により、携帯端末内に備えられたＩＣカードに記憶されている情報を読み取り、該読み取った情報を外部Ｉ／Ｆ２１８を介してＣＰＵ２０１へ通知する。
The
以上のような構成によって、画像処理装置１０１は、スキャナ部２１４から読み込んだ画像データを無線ＬＡＮ１０６上に送信したり、無線ＬＡＮ１０６から受信した印刷データをプリンタ部２１２により印刷出力することができる。
With the configuration described above, the
また、スキャナ部２１４から読み込んだ画像データをモデム２０６により、公衆回線上にＦＡＸ送信したり、公衆回線からＦＡＸ受信した画像データをプリンタ部２１２により出力することできる。
Further, the image data read from the scanner unit 214 can be faxed to the public line by the
視線センサ２２１は、ユーザの視線を検出するカメラ等の機能を備え、例えば、ユーザの瞳孔の位置に基づいて視線を検出し、視線センサＩ／Ｆ２２２を介して、検出した視線に関する情報をＣＰＵ２０１へ出力する。また、当該カメラ等の機能によって、ユーザの顔に関する情報を取得して、ＨＤＤ２０４へ記憶することも可能である。
次に、図３に示す構成図を用いて、画像処理装置１０１の機能構成を説明する。
The line-of-
Next, the functional configuration of the
視線検出部３０１は、視線センサ２２１において検出した視線に関する情報を視線センサＩ／Ｆ２２２を介して、制御部３０２へ出力する。
The line-of-
制御部３０２は、イベント生成部３０３を備え、イベント生成部３０３は、視線検出部３０１において出力された視線に関する情報を受け取る。
The
タッチパネル３０４は、操作部２０８に備えられ、押下検出部３０５及び表示部３０６を備えており、押下検出部３０５は、ユーザによって、指などでタッチパネル３０４に触れられたことを検出すると、タッチパネル３０４によって定められた座標系における接触位置に関する座標を求め、制御部３０２へ出力する。
The
そして、制御部３０２のイベント生成部３０３では、タッチパネル３０４によって定められた座標系における、タッチパネル３０４に対する、視線検出部３０１から受け取った視線に関する情報から定まる視線の位置座標を求める。
Then, the
状態検出部３０７は、画像処理装置１０１における状態を検出する機能を備え、例えば、画像処理装置に備えられた本体カバーや圧板カバーの開閉状態などを検出し、その結果を制御部３０２へ出力する。
The
制御部３０２は、視線検出部３０１で撮影して得られたユーザの顔に関する情報を、当該ユーザが画像処理装置に対してログインした際に、画像記憶部３０８へ、この顔に関する情報（画像データ）を記憶する。
When the user logs in to the image processing apparatus, information related to the face (image data) is transmitted to the
また、制御部３０２は、画像比較部３０９を備え、画像比較部３０９では、ログインしているユーザの顔に関する情報を画像記憶部３０８から取得し、今時点で、視線を向けているユーザの顔に関する情報（画像データ）を比較することで認証を行う。
In addition, the
制御部３０２のイベント生成部３０３では、視線の位置から、所定の範囲内の領域（例えば、視線の位置から所定半径以内）を定め、この領域に接触位置が含まれる場合、その接触位置に関してのイベントに関する情報を生成する。
In the
また、更に、画像比較部３０９で得られた認証結果によって、ログインしているユーザと視線を向けているユーザとが、一致した場合あるいは一致しない場合を識別して、その旨を示すイベントに関する情報を生成しても良い。
In addition, the authentication result obtained by the
更に、状態検出部３０７によって画像処理装置１０１における状態を検出し、例えば、圧板カバーが開いている状態であることを検出しているようであれば、その旨を示すイベントに関する情報を生成しない構成をとることも可能である。
Further, if the state in the
これは、ユーザが、圧板カバーを開いているということは、タッチパネル３０４に対して、無意識的に触れられたことが想定されることから、誤操作を抑止するためである。
This is because the fact that the user is opening the pressure plate cover is assumed to have touched the
制御部３０２は、これらのイベントに関する情報に基づいて、表示部３０６へ表示する内容に関して制御を行う。
The
視線監視部３１０は、視線検出部３０１において検出される視線が、タッチパネル３０４上にあるか否かの判定を定期的に行い、視線が一定期間なければ、ログアウトの処理を行う。
The line-of-
尚、各機能における詳細な処理については、以後のフローチャートを用いて説明する。 Detailed processing in each function will be described with reference to the following flowcharts.
図４に示すフローチャートは、イベントに関する情報を生成する処理を示している。 The flowchart shown in FIG. 4 shows processing for generating information related to an event.
尚、本処理では、後述するログイン処理が行われ、表示部３０６には、図８に示すメニュー画面が表示されているものとする。 In this process, it is assumed that a log-in process described later is performed and the menu screen shown in FIG.
ステップＳ１０１では、押下検出部３０５において、タッチパネル３０４に対して押下されたか否かを判定し、押下されたと判定した場合、ステップＳ１０２へ処理を進め、ステップＳ１０２では、制御部３０２において、状態検出部３０７によって検出された画像処理装置１０１の状態によって、操作中であるか否かを判定し、操作中であると判定した場合は、ステップＳ１０３へ処理を進め、操作中であると判定しない場合は、ステップＳ１０９へ処理を進める。
In step S101, the
この操作中であるか否かの判定は、図７の上段に示す状態テーブルに記憶された情報に基づいて判定を行う。この状態テーブルは、画像処理装置１０１に備えられた各機構の状態に関する情報を記憶するものであり、例えば、本体の右に位置するデッキ、本体の左に位置するデッキ、本体のカセット１、本体のカセット２、本体のカバー、あるいは本体の圧板カバーなどの各機構の開閉状態に関する情報を記憶しておく。尚、これらの情報は、状態検出部３０７によって、適宜、検出された結果がこのテーブルへ記憶される。
Whether or not this operation is being performed is determined based on information stored in the state table shown in the upper part of FIG. This state table stores information regarding the state of each mechanism provided in the
つまり、本ステップでは、このテーブルに記憶された機構に関する状態のうち、開いている状態に関する情報が記憶されていれば、操作中と判定し、全ての機構に関する状態が、閉まっている状態に関する情報が記憶されていれば、操作中でないと判定する。 In other words, in this step, if information related to the open state is stored among the states related to the mechanism stored in this table, it is determined that the operation is in progress, and all the states related to the mechanism are information related to the closed state. Is stored, it is determined that no operation is in progress.
ステップＳ１０３では、イベント生成部３０３において、視線の領域を求め、ステップＳ１０４では、イベント生成部３０３において、押下検出部３０５において検出された接触位置が、ステップＳ１０３で求めた視線の領域に含まれるか否かを判定し、含まれると判定した場合、ステップＳ１０５へ処理を進め、含まれると判定しない場合、ステップＳ１０１へ処理を進める。
In step S103, the
ステップＳ１０５では、制御部３０２において、視線検出部３０１で検出されたユーザの顔に関する情報を取得し、ステップＳ１０６では、制御部３０２において、画像記憶部３０８において記憶したログインしたユーザの顔に関する情報を取得する。
In step S105, the
ステップＳ１０７では、画像比較部３０９において、ステップＳ１０５において取得したユーザの顔に関する情報と、ステップＳ１０６において取得したログインしたユーザの顔に関する情報と、を比較し、同じユーザであるか否かを判定し、同じユーザであると判定した場合、ステップＳ１０８へ処理を進め、同じユーザであると判定しない場合、ステップＳ１０１へ処理を進める。
In step S107, the
ステップＳ１０８では、イベント生成部３０３において、接触位置において、押下されたことを示す押下イベントに関する情報を生成する。
In step S <b> 108, the
ステップＳ１０７を経由したステップＳ１０８までの処理においては、図９に示すように、ログインしたユーザの視線の領域が、破線で示される楕円内を示しており、接触位置に設定／登録のショートカットのボタンが配置されており、この設定／登録のショートカットのボタンに対して押下されたという押下イベントに関する情報を生成する。つまり、設定／登録のショートカットのボタンを押下できるように制御している。 In the processing up to step S108 via step S107, as shown in FIG. 9, the area of the line of sight of the logged-in user indicates the inside of an ellipse indicated by a broken line, and a shortcut button for setting / registering the contact position Is generated, and information relating to a pressing event that the button of the setting / registration shortcut has been pressed is generated. In other words, control is performed so that a setting / registration shortcut button can be pressed.
一方、ステップＳ１０７で、ログインしたユーザ以外のユーザの視線がタッチパネル３０４上に存在する場合は、図１０に示すように、表示部３０６に表示されたボタンを押下させない態様をとる。
On the other hand, when the line of sight of a user other than the logged-in user is present on the
ステップＳ１０９では、イベント生成部３０３において、視線の領域を求め、ステップＳ１１０では、イベント生成部３０３において、ステップＳ１０９で求めた視線の領域が、タッチパネル３０４上に存在するか否かを判定し、存在すると判定した場合、ステップＳ１１１へ処理を進め、存在すると判定しない場合、ステップＳ１０１へ処理を進める。
In step S109, the
但し、視線の領域を用いずに、視線検出部３０１で検出する視線の位置が、タッチパネル３０４上に存在するか否かによって判定しても良い。
However, the line-of-sight position detected by the line-of-
ステップＳ１１１では、制御部３０２において、視線検出部３０１で検出されたユーザの顔に関する情報を取得し、ステップＳ１１２では、制御部３０２において、画像記憶部３０８において記憶したログインしたユーザの顔に関する情報を取得する。
In step S111, the
ステップＳ１１３では、画像比較部３０９において、ステップＳ１１１において取得したユーザの顔に関する情報と、ステップＳ１１２において取得したログインしたユーザの顔に関する情報と、を比較し、同じユーザであるか否かを判定し、同じユーザであると判定した場合、ステップＳ１０８へ処理を進め、同じユーザであると判定しない場合、ステップＳ１１４へ処理を進める。
In step S113, the
ステップＳ１０９からステップＳ１１３を経由して（ステップＳ１１４を経由せず）、ステップＳ１０８までの処理においては、図１１に示すように、ログインしたユーザの視線が、タッチパネル３０４上に存在すれば、接触位置に配置された設定／登録のショートカットのボタンに対して押下されたという押下イベントに関する情報を生成する。つまり、設定／登録のショートカットのボタンを押下できるように制御している。
In the processing from step S109 to step S113 (not through step S114) to step S108, as shown in FIG. 11, if the logged-in user's line of sight exists on the
この場合、視線の領域に接触位置が存在しなくてもよい態様をとるが、視線の領域に接触位置が含まれるような判定を行っても良い。 In this case, the contact position may not be present in the line-of-sight area, but determination may be made so that the contact position is included in the line-of-sight area.
一方、視線がタッチパネル３０４上にない場合（ステップＳ１１０）、図１２に示すように、表示部３０６に表示された設定／登録のショートカットのボタンを押下させない態様をとる。
On the other hand, when the line of sight is not on the touch panel 304 (step S110), the setting / registration shortcut button displayed on the
更に、ログインしたユーザと異なるユーザの視線が、タッチパネル３０４上に存在する場合（ステップＳ１１３）、図１３に示すように、接触位置に配置された個人設定のボタンを押下させない態様をとる。 Further, when a line of sight of a user different from the logged-in user exists on the touch panel 304 (step S113), as shown in FIG. 13, the personal setting button arranged at the contact position is not pressed.
ステップＳ１１４では、イベント生成部３０３において、視線を向けているユーザが、接触位置に位置するボタンを押下することが可能か否かを判定し、押下することが可能と判定した場合、ステップＳ１０８へ処理を進め、押下することが可能と判定しない場合、ステップＳ１０１へ処理を進める。
In step S114, the
本ステップにおける判定方法としては、図７の下段に示すボタン情報テーブルに記憶された情報にと基づいて判定を行う。 As a determination method in this step, determination is performed based on information stored in the button information table shown in the lower part of FIG.
このボタン情報テーブルは、タッチパネル３０４の座標系におけるボタンの配置に関する情報を記憶するテーブルであり、タッチパネル３０４の座標系にボタンの位置座標を示す配置座標、ボタンを一意に識別するためのボタンＩＤ、当該ボタンがログインしたユーザのみで利用か否かを示すフラグを記憶するパーソナライズボタン判定フラグを備えている。
This button information table is a table for storing information related to button arrangement in the coordinate system of the
また、ボタン情報テーブルは、当該ボタンがログインしたユーザのみに利用させる場合（パーソナライズボタン判定フラグがＯＮの場合）、他のユーザが押下した際に、そのユーザに対して、当該ボタンを利用させるか否かを判定するための利用可能ユーザ権限を備えている。 In addition, when the button information table is used only by a user who logs in the button (when the personalized button determination flag is ON), whether the button is used by the user when another user presses the button information table. It has available user authority to determine whether or not.
利用可能ユーザ権限の例としては、AdministratorやGuest Userなどの権限を示す情報が記憶されており、Administrator以外の情報が記憶されていた場合、任意のユーザでも利用可能なボタンとして定められる。 As an example of the available user authority, information indicating an authority such as Administrator or Guest User is stored, and when information other than Administrator is stored, it is determined as a button that can be used by any user.
つまり、ステップＳ１１４では、視線を向けているユーザが、ログインしたユーザではないため、接触位置に位置するボタンが、パーソナライズボタン判定フラグがＯＦＦとなっているボタンであり、さらに、視線を向けているユーザが、利用可能ユーザ権限に該当するボタンであれば、ステップＳ１０８へ処理を進める。 That is, in step S114, since the user who is looking at the line of sight is not the logged-in user, the button located at the contact position is a button for which the personalized button determination flag is OFF, and the line of sight is further directed. If the user is a button corresponding to the available user authority, the process proceeds to step S108.
この例として、図１４に示すように、ログインしたユーザと異なるユーザの視線が、タッチパネル３０４上に存在し、接触位置に配置されたリモートスキャナーのボタンにおいて、任意ユーザであれば押下させる設定がなされていれば、リモートスキャナーのボタンに対して押下されたという押下イベントに関する情報を生成する。つまり、リモートスキャナーのボタンを押下できるように制御している。
As an example of this, as shown in FIG. 14, the line of sight of a user different from the logged-in user exists on the
次に、図５に示すフローチャートを用いて、ユーザがログインした時に、ログインしたユーザの顔に関する情報（画像データ）を保存する処理について説明する。 Next, a process for saving information (image data) related to the logged-in user's face when the user logs in will be described with reference to the flowchart shown in FIG.
ステップＳ２０１では、制御部３０２において、ユーザがログインしたか否かを判定し、ログインしたと判定した場合、ステップＳ２０２へ処理を進める。ログインについては、画像処理装置１０１に対して、ユーザを一意に識別する情報が記録されたＩＣカードがカードリーダ２１９で読取られた際に、ログインしたと判定する。
In step S201, the
あるいは、不図示の認証サーバに対して、ＩＣカードから特定されるユーザに関する情報と、操作部２０８に対して入力されたパスワードと、を用いて認証を行い、認証されれば、ログインしたと判定する態様でもよい。
Alternatively, authentication is performed on an authentication server (not shown) using information related to the user specified from the IC card and the password input to the
ステップＳ２０２では、制御部３０２において、視線検出部３０１でユーザの視線を検出したか否かを判定し、検出したと判定した場合、ステップＳ２０３へ処理を進め、ステップＳ２０３では、制御部３０２において、画像記憶部３０８に顔に関する情報（画像データ）が記憶されているか否かを判定し、記憶されていると判定した場合は、処理を終了し、記憶されていないと判定した場合は、ステップＳ２０４へ処理を進める。
In step S202, the
ステップＳ２０４では、制御部３０２において、視線検出部３０１において取得した顔に関する情報（画像データ）を画像記憶部３０８へ記憶する。
In step S <b> 204, the
そして、ログインが終了すると、表示部３０６に対して、図８に示すようなメニュー画面が表示される。
When the login is completed, a menu screen as shown in FIG. 8 is displayed on the
次に、図６に示すフローチャートを用いて、ユーザの視線が外れた時に、ログアウトを行う処理について説明する。 Next, a process for logging out when the user's line of sight is lost will be described using the flowchart shown in FIG.
ステップＳ３０１では、制御部３０２において、ログインしたユーザの顔に関する情報が画像記憶部３０８に記憶されているか否かを判定し、記憶されていると判定した場合は、ステップＳ３０２へ処理を進める。
In step S301, the
ステップＳ３０２では、視線監視部３１０において、定期的に、視線検出部３０１において視線の検出を監視し、ステップＳ３０３では、視線監視部３１０において、所定時間、視線が検出できていないと判定した場合、ステップＳ３０４へ処理を進め、検出できたと判定した場合、ステップＳ３０２へ処理を進める。
In step S302, the
ステップＳ３０４では、状態検出部３０７において、画像処理装置１０１の状態を確認するために、状態テーブルに記憶された情報を取得し、ステップＳ３０５において、制御部３０２において、画像処理装置１０１が操作中であるか否かを判定し、操作中であると判定した場合、ステップＳ３０２へ処理を進め、操作中であると判定しない場合、ステップＳ３０６へ処理を進める。尚、操作中であるか否かの判定方法は、前述したとおりであるので説明を省略する。
In step S304, the
ステップＳ３０６では、制御部３０２において、画像記憶部３０８に記憶されている顔に関する情報を削除し、ステップＳ３０７では、制御部３０２において、ログアウトの処理を行う。
In step S306, the
以上、本発明の実施形態によれば、ユーザが画像処理装置の表示部に対して操作指示を行うにあたり、当該ユーザの表示部に対する視線と、ユーザが画像処理装置の操作に係る情報とを利用して、表示部に対する表示制御を行うことで、ユーザの誤操作を抑止すると共に、ユーザにとって柔軟性の高い表示制御を行うことができる。 As described above, according to the embodiment of the present invention, when the user gives an operation instruction to the display unit of the image processing device, the line of sight of the user's display unit and the information related to the operation of the image processing device are used. Then, by performing display control on the display unit, it is possible to suppress erroneous operation by the user and perform display control with high flexibility for the user.
以上、各実施形態例の説明をしたが、本発明は、例えば、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である Although the embodiments have been described above, the present invention can take embodiments as a method, a program, a recording medium, or the like.
また、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは画像処理装置に供給し、そのシステムあるいは画像処理装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。 In addition, a recording medium in which a program code of software for realizing the functions of the above-described embodiments is recorded is supplied to the system or the image processing apparatus, and the computer (or CPU or MPU) of the system or image processing apparatus stores the recording medium in the recording medium. It goes without saying that the object of the present invention can also be achieved by reading and executing the programmed program code.
この場合、記録媒体から読み出されたプログラムコード自体が本発明の新規の機能を実現することになる。 In this case, the program code itself read from the recording medium realizes the new function of the present invention.
プログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることができる。 As a recording medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a DVD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, an EEPROM, A silicon disk or the like can be used.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) or the like running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。 Furthermore, after the program code read from the recording medium is written in a memory provided in a function expansion board inserted in the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the case where the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
また、本発明は、複数の画像処理装置から構成されるシステムに適用しても、１つの複合機からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。 Further, the present invention may be applied to a system constituted by a plurality of image processing apparatuses or an apparatus constituted by a single multifunction peripheral. Needless to say, the present invention can be applied to a case where the present invention is achieved by supplying a program to a system or apparatus.
この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体をシステムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 In this case, by reading a recording medium storing a program represented by software for achieving the present invention into the system or apparatus, the system or apparatus can enjoy the effects of the present invention.
さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。 Furthermore, by downloading and reading out a program represented by software for achieving the present invention from a server, database, etc. on a network using a communication program, the system or apparatus can enjoy the effects of the present invention. It becomes.
なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。 In addition, all the structures which combined each embodiment mentioned above and its modification are also included in this invention.
１００ 画像処理システム
１０１ 画像処理装置
１０２ クライアント端末
１０３ ネットワーク
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ＨＤＤ
２０５ ネットワークインタフェース
２０６ ＭＤＥＭ
２０７ 操作部Ｉ／Ｆ
２０８ 操作部
２０９ システムバス
２１０ ＲＩＰ
２１１ プリンタＩ／Ｆ
２１２ プリンタ部
２１３ スキャナＩ／Ｆ
２１４ スキャナ部
２１５ 画像バス
２１６ コントローラユニット
２１７ 画像処理部
２１８ 外部Ｉ／Ｆ
２１９ カードリーダ
２２０ イメージバスインタフェース
２２１ 視線センサ
２２２ 視線Ｉ／Ｆ
DESCRIPTION OF
202 RAM
203 ROM
204 HDD
205
207 Operation unit I / F
208
211 Printer I / F
212 Printer unit 213 Scanner I / F
214
219
Claims (7)
前記表示部へ向けられたユーザの視線を検出する視線検出手段と、
装置のそれぞれの機構に関する状態を検知する検知手段と、
前記検知手段によって検知した機構に関する状態により当該機構に操作がなされていないと判定するとともに、前記視線検出手段により検出されたログインユーザの視線が前記表示部へ向けられている場合に、前記押下部のイベントを実行可能なように制御し、一方、当該機構に操作がなされていると判定するとともに、前記視線検出手段により検出されたログインユーザの視線が押下部へ向けられている場合に、当該押下部のイベントを実行可能なように制御する制御手段と、
を備えたことを特徴とする表示制御装置。 A display control device that displays a pressing unit that executes an event by a user pressing on a display unit,
Line-of-sight detection means for detecting the line of sight of the user directed to the display unit;
Detecting means for detecting a state related to each mechanism of the device;
When the state relating to the mechanism detected by the detection unit determines that the mechanism is not operated, and the login user's line of sight detected by the line-of-sight detection unit is directed to the display unit, the pressing unit If it is determined that an operation is performed on the mechanism, and the line of sight of the logged-in user detected by the line-of-sight detection unit is directed to the pressing unit, Control means for controlling the event of the pressed part so that it can be executed;
A display control apparatus comprising:
前記表示制御装置は、
前記表示部へ向けられたユーザの視線を検出する視線検出ステップと、
装置のそれぞれの機構に関する状態を検知する検知ステップと、
前記検知ステップによって検知した機構に関する状態により当該機構に操作がなされていないと判定するとともに、前記視線検出ステップにより検出されたログインユーザの視線が前記表示部へ向けられている場合に、前記押下部のイベントを実行可能なように制御し、一方、当該機構に操作がなされていると判定するとともに、前記視線検出ステップにより検出されたログインユーザの視線が押下部へ向けられている場合に、当該押下部のイベントを実行可能なように制御する制御ステップと、
を実行することを特徴とする表示制御装置の制御方法。 A control method of a display control apparatus for displaying a pressing unit for executing an event by a user pressing on a display unit,
The display control device includes:
A line-of-sight detection step of detecting a line of sight of a user directed to the display unit;
A detection step for detecting a state relating to each mechanism of the device;
When the state relating to the mechanism detected by the detection step determines that the mechanism is not operated, and when the log-in user's line of sight detected by the line-of-sight detection step is directed to the display unit, the pressing unit If it is determined that the mechanism is being operated, and the log-in user's line of sight detected by the line-of-sight detection step is directed to the pressing unit, A control step for controlling the event of the pressed part so that it can be executed;
A control method for a display control apparatus, comprising:
ユーザの押下によってイベントを実行する押下部が表示された表示部へ向けられたユーザの視線を検出する視線検出手段と、
装置のそれぞれの機構に関する状態を検知する検知手段と、
前記検知手段によって検知した機構に関する状態により当該機構に操作がなされていないと判定するとともに、前記視線検出手段により検出されたログインユーザの視線が前記表示部へ向けられている場合に、前記押下部のイベントを実行可能なように制御し、一方、当該機構に操作がなされていると判定するとともに、前記視線検出手段により検出されたログインユーザの視線が押下部へ向けられている場合に、当該押下部のイベントを実行可能なように制御する制御手段と、
して機能させるためのプログラム。 Computer
A line-of-sight detecting means for detecting the line of sight of the user directed to the display unit on which the pressing unit for executing the event by the user pressing is displayed;
Detecting means for detecting a state related to each mechanism of the device;
When the state relating to the mechanism detected by the detection unit determines that the mechanism is not operated, and the login user's line of sight detected by the line-of-sight detection unit is directed to the display unit, the pressing unit If it is determined that an operation is performed on the mechanism, and the line of sight of the logged-in user detected by the line-of-sight detection unit is directed to the pressing unit, Control means for controlling the event of the pressed part so that it can be executed;
Program to make it function.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014152271A JP6432058B2 (en) | 2014-07-25 | 2014-07-25 | Display control apparatus, control method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014152271A JP6432058B2 (en) | 2014-07-25 | 2014-07-25 | Display control apparatus, control method thereof, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018203893A Division JP6773983B2 (en) | 2018-10-30 | 2018-10-30 | Equipment, its control method, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2016031556A JP2016031556A (en) | 2016-03-07 |
| JP2016031556A5 JP2016031556A5 (en) | 2017-10-26 |
| JP6432058B2 true JP6432058B2 (en) | 2018-12-05 |
Family
ID=55441924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014152271A Active JP6432058B2 (en) | 2014-07-25 | 2014-07-25 | Display control apparatus, control method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6432058B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6672940B2 (en) * | 2016-03-25 | 2020-03-25 | 富士ゼロックス株式会社 | Information processing device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4894310B2 (en) * | 2006-03-15 | 2012-03-14 | コニカミノルタホールディングス株式会社 | Authentication system, controller and control method |
| JP5399880B2 (en) * | 2009-12-11 | 2014-01-29 | レノボ・シンガポール・プライベート・リミテッド | Power control apparatus, power control method, and computer-executable program |
-
2014
- 2014-07-25 JP JP2014152271A patent/JP6432058B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016031556A (en) | 2016-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10198564B2 (en) | Image processing apparatus and method, including user authentication, and storage medium | |
| KR101379339B1 (en) | Image processing apparatus and user authentication method for image processing apparatus | |
| US10754933B2 (en) | Processing apparatus, method for controlling processing apparatus, and non-transitory computer-readable storage medium | |
| US20100100968A1 (en) | Image processing apparatus | |
| JP2016025417A (en) | Image processing system, information processing method, and program | |
| US20170011207A1 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium | |
| JP6432058B2 (en) | Display control apparatus, control method thereof, and program | |
| JP2010093635A (en) | Image forming apparatus | |
| JP5630101B2 (en) | Information processing system, image forming apparatus, authentication server, processing method thereof, and program | |
| JP2015126318A (en) | Image processing system, image processing system control method, and program | |
| JP2012133410A (en) | Authentication system and control method and program therefor | |
| JP2013054635A (en) | Image formation apparatus, image formation system, and control method and program therefor | |
| JP6773983B2 (en) | Equipment, its control method, and program | |
| JP2018129640A (en) | Image formation device | |
| JP5387543B2 (en) | Image forming apparatus, information processing method, and program | |
| JP5673077B2 (en) | Image processing apparatus, processing method thereof, and program. | |
| JP5305160B2 (en) | Image forming apparatus, processing method thereof, and program | |
| JP2015007845A (en) | Information processing apparatus, and processing method and program of the same | |
| JP2013123805A (en) | Image forming device, print server, print management system, control method, and program | |
| JP2014081744A (en) | Electronic file browsing system, electronic file browsing device, image processing apparatus, and method and program for controlling electronic file browsing device | |
| JP6473791B2 (en) | Image forming apparatus, control method thereof, and program | |
| US20190289144A1 (en) | Electronic device, system, method for processing information, and recording medium | |
| JP5565284B2 (en) | Image forming apparatus, information processing method, and program | |
| JP5750660B2 (en) | Image forming apparatus, information processing method, and program | |
| JP5277725B2 (en) | Information processing apparatus, image forming system, information processing method, image forming method, information processing program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161101 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161101 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170719 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180320 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180515 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181002 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181015 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6432058 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |