JP6809022B2 - 画像表示装置、画像形成装置、および、プログラム - Google Patents

Description

本発明は、画像表示装置、画像形成装置、および、プログラムに関する。

特許文献１には、利用者の視線が一定時間以上向けられている領域を特定し、特定した領域を拡大する処理が開示されている。
特許文献２には、ユーザの視線がタッチスクリーンディスプレイの一部分に向けられていると判断されたときに、タッチスクリーンディスプレイ上に提示された画像の一部分を拡大する処理が開示されている。

特開平１０−３２０１０９号公報 特開２０１５−９７１２３号公報

ユーザが参照する画像表示部では、表示画像の一部を拡大するなど、表示画像の変更処理が行われる場合がある。ここで、表示画像の変更処理がユーザの動作に関わらず一律に行われると、ユーザが表示内容に対する操作を行おうとした際に、表示内容が変更されてしまい、ユーザの操作性が低下するおそれがある。
本発明の目的は、表示画像の変更処理がユーザの動作に関わらず一律に行われる場合に比べ、ユーザの操作性を低下させる、表示画像の変更処理を起きにくくすることにある。

請求項１に記載の発明は、画像を表示する画像表示部と、前記画像表示部の表示内容に対するユーザの操作であって当該画像表示部にて表示されているポインターをユーザが移動させる際のユーザの操作を受け付ける受け付け部と、前記受け付け部に対するユーザの操作を検知する検知手段と、前記画像表示部にて表示されている画像の一部の拡大処理を行う変更処理手段と、を備え、前記変更処理手段は、前記受け付け部に対するユーザの操作が検知され且つ前記ポインターが拡大処理される前記一部に向かっている場合に、前記拡大処理を中止し又は当該拡大処理を行わない画像表示装置である。
請求項２に記載の発明は、前記変更処理手段は、前記画像表示部に表示されている画像のうちのユーザが見ている部分の拡大処理を行う請求項１に記載の画像表示装置である。
請求項３に記載の発明は、画像を表示する画像表示部と、前記画像表示部の表示内容に対するユーザの操作を受け付ける受け付け部と、前記受け付け部に対するユーザの操作を受け付ける前に当該受け付け部へのユーザの指の接近を検知する検知手段と、前記画像表示部にて表示されている画像の変更処理を行うとともに、前記検知手段にて前記接近が検知された場合には、当該変更処理を中止し又は当該変更処理を行わない変更処理手段と、を備え、前記画像表示部が、ユーザの操作を受け付ける前記受け付け部として機能し、前記画像表示部のうちの前記ユーザの視線が向いている部分を検出する視線検出手段をさらに備え、前記検知手段は、前記画像表示部に対するユーザの操作を受け付ける前に前記視線が向いている前記部分への当該ユーザの指の接近を検知し、前記変更処理手段は、前記画像表示部にて表示されている画像の変更処理を行うとともに、前記視線が向いている前記部分への前記ユーザの指の接近が前記検知手段により検知された場合には、当該変更処理を中止し又は当該変更処理を行わない画像表示装置である。
請求項４に記載の発明は、画像を表示する画像表示装置と、記録材への画像形成を行う画像形成手段とを、備え、当該画像表示装置が請求項１乃至３の何れかに記載の画像表示装置により構成された画像形成装置である。
請求項５に記載の発明は、画像を表示する画像表示部と当該画像表示部の表示内容に対するユーザの操作であって当該画像表示部にて表示されているポインターをユーザが移動させる際のユーザの操作を受け付ける受け付け部とを備えた画像表示装置に設置されたコンピュータにより実行されるプログラムであり、前記受け付け部に対するユーザの操作を検知する検知機能と、前記画像表示部にて表示されている画像の一部の拡大処理を行う変更処理機能と、を前記コンピュータに実現させるためのプログラムであり、前記変更処理機能は、前記受け付け部に対するユーザの操作が検知され且つ前記ポインターが拡大処理される前記一部に向かっている場合に、前記拡大処理を中止し又は当該拡大処理を行わないプログラムである。
請求項６に記載の発明は、画像を表示するとともに当該表示の内容に対するユーザの操作を受け付ける機能を有する画像表示部と当該画像表示部のうちの当該ユーザの視線が向いている部分を検出する視線検出手段とを備えた画像表示装置に設置されたコンピュータにより実行されるプログラムであり、前記画像表示部に対するユーザの操作を受け付ける前に前記視線が向いている前記部分への当該ユーザの指の接近を検知する検知機能と、前記画像表示部にて表示されている画像の変更処理を行うとともに、前記視線が向いている前記部分への前記ユーザの指の接近が前記検知機能により検知された場合には、当該変更処理を中止し又は当該変更処理を行わない変更処理機能と、を前記コンピュータに実現させるためのプログラムである。

請求項１、５の発明によれば、表示画像の変更処理がユーザの動作に関わらず一律に行われる場合に比べ、ユーザの操作性を低下させる、表示画像の変更処理を起きにくくすることができ、また、ユーザが画像表示部の一部に向けてポインターを移動させる際に表示画像が拡大されることを抑制できる。
請求項２の発明によれば、拡大処理が行われない場合に比べ、ユーザは、画像表示部に表示されている画像を見やすくなる。
請求項３、６の発明によれば、表示画像の変更処理がユーザの動作に関わらず一律に行われる場合に比べ、ユーザの操作性を低下させる、表示画像の変更処理を起きにくくすることができ、また、視線が向いている部分へのユーザの指の接近が検知手段にて検知された場合でも変更処理を行う場合に比べ、ユーザの操作性を低下させる、表示画像の変更処理を起きにくくすることができる。
請求項４の発明によれば、表示画像の変更処理がユーザの動作に関わらず一律に行われる場合に比べ、ユーザの操作性を低下させる、表示画像の変更処理を起きにくくすることができる。

画像形成装置を示した図である。 画像形成装置をフロント側から眺めた場合の図である。 制御部の機能構成を示したブロック図である。 視線検知部の構成を説明する図である。 （Ａ）、（Ｂ）は、視線検知部の構成を説明する図である。 表示部に表示される表示画面の一例を示した図である。 画像形成装置にて実行される処理の流れを示したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施形態に係る画像形成装置１０を示した図である。
図１に示すように、本実施形態の画像形成装置１０を構成する各機能部は、バス１０１に接続され、このバス１０１を介してデータの授受を行う。

画像表示部の一例としての表示部１０６は、画像形成装置１０に関するデータを表示する。また、表示部１０６は、ユーザが画像形成装置１０を操作する際にユーザが選択する選択項目（選択ボタン）を複数表示する。

受け付け部の一例としての操作受け付け部１０７は、ユーザからの操作を受け付ける。
具体的には、操作受け付け部１０７は、表示部１０６にて表示されている表示内容に対するユーザの操作を受け付ける。より具体的には、本実施形態では、複数の選択項目が表示部１０６に表示されるが、操作受け付け部１０７は、ユーザによるこの選択項目の選択を受け付ける。

ここで、表示部１０６および操作受け付け部１０７は、タッチパネル方式のディスプレイにより構成され、表示部１０６と操作受け付け部１０７とが重なった状態で配置されている。
また、ここでは、操作受け付け部１０７が、タッチパネル方式のディスプレイにより構成された場合を説明したが、操作受け付け部１０７は、マウスなどのポインティングデバイスにより構成してもよい。
この場合、ユーザがこのポインティングデバイスを操作すると、表示部１０６に表示されているポインターが動く。そして、ユーザにより選択項目の選択が行われる際には、この選択項目の上にポインターが配置されたうえで、ポインティングデバイスに対するユーザの操作（クリック等の操作）が行われる。

ここで、表示部１０６は、制御部６０により制御される。また、本実施形態では、表示部１０６における表示内容に対するユーザの操作が、操作受け付け部１０７にて受け付けられる。そして、本実施形態では、操作受け付け部１０７にて受け付けたユーザの操作に応じて、この操作に対応した処理が実行され、また、操作受け付け部１０７にて受け付けたユーザの操作に応じて、表示部１０６の表示内容が変更される。
ここで、制御部６０、表示部１０６、および、操作受け付け部１０７等は、画像の表示に関連する機能部であり、これらは、画像表示装置を構成する機能部として捉えることができる。

画像読み取り部１０８は、いわゆるスキャナ装置により構成され、セットされた原稿上の画像を読み取り、原稿の読み取り画像（画像データ）を生成する。
画像形成手段の一例としての画像形成部１０９は、例えば電子写真方式を用い、画像データに応じたトナー像を記録材の一例である用紙に形成する。なお、画像形成部１０９では、インクジェットヘッド方式などの他の方式を用いて画像形成を行ってもよい。
通信部１１０は、通信回線（不図示）に接続され、通信回線に接続されている他の装置との通信を行う通信インターフェースとして機能する。

画像処理部１１１は、画像データが表す画像に色補正や階調補正等の画像処理を施す。
カメラ１１２は、画像形成装置１０の周囲の状況を撮影する。また、カメラ１１２は、画像形成装置１０の前にユーザが立った場合に、このユーザを撮影する。
カメラ１１２は、ＣＣＤ（Charge Coupled Device）などにより構成される。カメラ１１２は、図２（画像形成装置１０をフロント側から眺めた場合の図）に示すように、画像形成装置１０のフロント側（前面側）に設置され、さらに、カメラ１１２は、表示部１０６（操作受け付け部１０７）の横に配置される。

視線検知部１１３（図１参照）は、画像形成装置１０に対する操作を行うユーザの視線を検知する。
この視線検知部１１３も、図２に示すように、画像形成装置１０のフロント側（前面側）に設置される。また、視線検知部１１３は、表示部１０６（操作受け付け部１０７）の横に配置される。

記憶部１０５（図１参照）は、ハードディスク装置などの記憶装置により構成され、例えば、通信部１１０にて受信したデータや、画像読み取り部１０８にて生成された読み取り画像（画像データ）を記憶する。
制御部６０は、画像形成装置１０の各部を制御する。制御部６０は、ＣＰＵ（Central Processing Unit）１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４により構成される。
ＲＯＭ１０３は、ＣＰＵ１０２により実行されるプログラムを記憶する。ＣＰＵ１０２は、ＲＯＭ１０３に記憶されているプログラムを読み出し、ＲＡＭ１０４を作業エリアにして、プログラムを実行する。

ＣＰＵ１０２によりプログラムが実行されると、ＣＰＵ１０２により画像形成装置１０の各部が制御され、画像形成装置１０は、例えば用紙に画像を形成したり、原稿を読み取って原稿の読み取り画像を生成したりする。
また、本実施形態では、ＣＰＵ１０２によりプログラムが実行されることで、図３（制御部６０の機能構成を示したブロック図）に示すように、制御部６０が、検知手段の一例としての検知部６１として機能する。

検知部６１は、操作受け付け部１０７（表示部１０６）（図２参照）へのユーザの指の接近や、操作受け付け部１０７に対するユーザの操作を検知する。
具体的には、検知部６１は、カメラ１１２により得られた撮影画像に基づき、操作受け付け部１０７へのユーザの指の接近を検知する。
また、操作受け付け部１０７がポインティングデバイスにより構成されている場合、検知部６１は、このポインティングデバイスからの出力に基づき、操作受け付け部１０７に対するユーザの操作を検知する。

また、本実施形態では、ＣＰＵ１０２によりプログラムが実行されることで、制御部６０は、変更処理手段の一例としての変更処理部６２（図３参照）として機能する。
変更処理部６２は、表示部１０６（図２参照）にて表示されている画像の変更処理を行う。また、変更処理部６２は、検知部６１にて、表示部１０６に対するユーザの指の接近や、ポインティングデバイスに対するユーザの操作が検知された場合には、この変更処理を中止（中断）し又はこの変更処理を行わない（変更処理を取り止める）。

ここで、ＣＰＵ１０２によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、画像形成装置１０へ提供し得る。
また、ＣＰＵ１０２によって実行されるプログラムは、インターネットなどの通信手段を用いて画像形成装置１０にダウンロードしてもよい。

図４および図５（Ａ）、（Ｂ）は、視線検知部１１３の構成を説明する図である。
図４に示すように、視線検知部１１３は、ユーザの眼球５６に赤外光をスポット状に照射する光源５３を有し、眼球５６からの赤外反射光は接眼レンズ５１に設けられた微小開口絞りを経て光学レンズ群５４に入射する。光学レンズ群５４は入射した赤外反射光をＣＣＤ５５の撮像面上に点状に結像させ、ＣＣＤ５５は撮像面に結像した角膜反射による虚像（プルキニエ像）を電気信号に変換して出力する。
この虚像は、図５（Ａ）、（Ｂ）に示すように、光源５３から照射された赤外光の瞳孔７１の角膜反射による虚像７２であり、瞳孔７１の中心と虚像７２との相対的位置関係は、眼球の回転角に比例して変化する。本実施形態では、ＣＣＤ５５からの虚像を示す電気信号を用いて画像処理が行われ、この画像処理の結果に基づきユーザの視線の方向が検知される。
なお、ユーザの視線の方向の検知は、図４、図５にて示した方法に限らず、他の公知の方法で行ってもよく、図４、図５にて示した方法に限られるものではない。

図６は、表示部１０６に表示される表示画面の一例を示した図である。
本実施形態の画像形成装置１０は、画像読み取り機能、画像出力機能（プリント機能）などの機能を有する。
表示部１０６に表示される表示画面には、これらの機能に関連する選択項目２００（選択ボタン）が複数表示される。具体的には、本実施形態では、１２個の選択項目２００が表示される。

ここで、本実施形態では、上記のとおり、視線検知部１１３が設けられており、本実施形態では、検知部６１が、視線検知部１１３からの出力に基づき、画像形成装置１０を操作するユーザが、表示部１０６に表示されている表示画像のうちの何れの部分を見ているかを把握する。この例では、検知部６１は、図６の符号６Ａで示す部分をユーザが見ていると把握する。言い換えると、この場合、ユーザの視線が符号６Ａで示す部分に向かっている。

そして、本実施形態では、このように、表示画像の一部をユーザが見ている場合、変更処理部６２が、この一部の拡大処理を行う。これにより、ユーザが着目している部分が拡大されるようになり、ユーザにとって、表示がより見やすい状態となる。
その一方で、本実施形態では、変更処理部６２は、予め定められた条件が満たされた場合（ユーザ操作が行われる可能性が高い場合）、上記変更処理を中止（中断）し、あるいは、未だ変更処理を行っていない場合には変更処理を行わない（取り止める）。

図７は、本実施形態の画像形成装置１０にて実行される処理の流れを示したフローチャートである。
本実施形態では、まず、検知部６１（図３参照）が、視線検知部１１３（図１参照）からの出力に基づき、ユーザの視線の向く先が表示部１０６となっており且つ視線の動きが小さいか否か（視線の移動量が予め定めら範囲内に収まっているか否か）を判断する（ステップ１０１）。
そして、検知部６１は、視線の向く先が表示部１０６でないと判断したり、視線の動きが大きいと判断したりした場合は、ステップ１０１の処理を再度行う。

一方、検知部６１は、ステップ１０１にて、視線の向く先が表示部１０６となっており且つ視線の動きが小さいと判断した場合、表示部１０６へのユーザの指の接近があるかを判断する（ステップ１０２）。なお、検知部６１は、カメラ１１２（図２参照）からの出力に基づき、表示部１０６へのユーザの指の接近があるかを判断する
そして、ステップ１０２にて、表示部１０６へのユーザの指の接近がないと判断された場合、変更処理部６２が、表示部１０６における表示画面のうちのユーザの視線が向いている部分（ユーザが見ている部分）（以下、「視線先部分」と称する）の拡大処理を行う（ステップ１０３）。

一方、ステップ１０２にて、表示部１０６へのユーザの指の接近があると判断された場合、変更処理部６２は、ステップ１０３の処理を取りやめる。言い換えると、変更処理部６２は、視線先部分の上記拡大処理を行わない。そして、本実施形態では、この場合、ステップ１０１以降の処理が再び行われる。

ここで、上記拡大処理をユーザの動作に関わらず一律に行ってしまうと、ユーザが表示部１０６に対する操作を行おうとした際に（視線先部分に位置する選択項目２００の選択を行おうとした際に）、拡大処理が行われてしまうおそれがある。この場合、ユーザが選択しようとしていた選択項目２００が移動し、逆に、ユーザの操作性が低下するおそれがある。
このため、本実施形態では、表示部１０６へのユーザの指の接近があった場合（ユーザが表示部１０６に対する操作を行う可能性が高い場合）、拡大処理を行わない処理を行う。

なお、操作受け付け部１０７がポインティングデバイスにより構成されている場合は、ポインティングデバイスへのユーザの操作が検知されたら、拡大処理を行わない処理を行う。付言すると、ポインティングデバイスに対するユーザの操作が検知部６１にて検知されたら、拡大処理を行わないようにする。

ポインティングデバイスが操作された場合も、ユーザが選択項目２００の選択を行う可能性があり、この場合に、上記拡大処理を行ってしまうと、ユーザの操作性が低下するおそれがある。ポインティングデバイスへのユーザの操作が検知されたら、拡大処理を行わないようにすることで、ユーザの操作性が低下することを抑えられる。

なお、上記では、表示部１０６へのユーザの指の接近があった場合に、拡大処理を行わないようにしたが、表示部１０６へのユーザの指の接近があった場合、既に開始した拡大処理を中止（中断）する処理を行ってもよい。
より具体的には、本実施形態では、上記のステップ１０３にて拡大処理を行うが、この拡大処理を開始した後に、表示部１０６に対して、ユーザの指が接近することが起こりうる。このような場合、既に開始した拡大処理を中止（中断）してもよい。

さらに、上記では、表示部１０６へのユーザの指の接近があった場合に、拡大処理の中止や取り止めを行う場合を説明したが、表示部１０６へのユーザの指の接近があり且つ上記視線先部分へこの指が向かっている場合に、拡大処理の中止や取り止めを行ってもよい。
この場合、視線先部分に位置する選択項目２００がユーザにより選択される可能性がより高い場合に、拡大処理の中止や取り止めが行われるようになる。

なお、視線先部分へ指が向かっているか否かの判断は、検知部６１により行われ、検知部６１は、視線検知部１１３による検知結果に基づき視線先部分を特定し、さらに、カメラ１１２による撮影結果（カメラ１１２により撮影された指の動き）に基づき、この視線先部分へ指が向かっているか否かを判断する。

なお、ポインティングデバイスの場合も同様であり、ポインティングデバイスに対する操作があり、且つ、ポインティングデバイスに対するユーザの操作に応じて動くポインターが上記視線先部分へ向かっている場合に、拡大処理の中止や取り止めを行ってもよい。
ここで、図６では、ポインターを例示している（符号６Ｂ参照）。このポインターが、上記視線先部分（符号６Ａで示す部分）へ向かっている場合に、拡大処理の中止や取り止めを行ってもよい。

なお、この場合も、視線先部分へポインターが向かっているか否かの判断は、検知部６１により行われ、検知部６１は、視線検知部１１３による検知結果に基づき視線先部分を特定し、さらに、ポインティングデバイスから出力された情報（ポインターの位置情報）に基づき、この視線先部分へポインターが向かっているか否かを判断する。

（その他）
上記では、視線先部分を拡大する処理を説明したが、拡大処理は、ユーザの視線に基づかずに行ってもよい。例えば、表示画面を表示してから予め定められた時間が経過したら、表示画面の一部を拡大する処理を行うなど、経過時間等に応じて拡大処理を行ってもよい。
そして、この場合も、表示部１０６へのユーザの指の接近等に応じて、拡大処理の中止や取り止めを行うようにすれば、ユーザが選択項目２００の選択等を行おうとした際に拡大処理がなされることが抑制される。

また、上記では、表示画面の変更処理の一例として、表示画面の一部の拡大処理を行う場合を説明したが、表示画面の変更処理としては、拡大処理に限らず、スクロール処理や、画面全体を他の画面に切り替える処理なども挙げられる。
これらの処理を行う場合も、表示部１０６へのユーザの指の接近等に応じて、変更処理の中止や取り止めを行うようにすれば、ユーザが選択項目２００の選択等を行おうとした際に変更処理がなされることが抑制される。

１０…画像形成装置、６０…制御部、６１…検知部、６２…変更処理部、１０６…表示部、１０７…操作受け付け部、１０９…画像形成部

Claims (6)

1. 画像を表示する画像表示部と、
   前記画像表示部の表示内容に対するユーザの操作であって当該画像表示部にて表示されているポインターをユーザが移動させる際のユーザの操作を受け付ける受け付け部と、
   前記受け付け部に対するユーザの操作を検知する検知手段と、
   前記画像表示部にて表示されている画像の一部の拡大処理を行う変更処理手段と、
   を備え、
   前記変更処理手段は、前記受け付け部に対するユーザの操作が検知され且つ前記ポインターが拡大処理される前記一部に向かっている場合に、前記拡大処理を中止し又は当該拡大処理を行わない画像表示装置。
2. 前記変更処理手段は、前記画像表示部に表示されている画像のうちのユーザが見ている部分の拡大処理を行う請求項１に記載の画像表示装置。
3. 画像を表示する画像表示部と、
   前記画像表示部の表示内容に対するユーザの操作を受け付ける受け付け部と、
   前記受け付け部に対するユーザの操作を受け付ける前に当該受け付け部へのユーザの指の接近を検知する検知手段と、
   前記画像表示部にて表示されている画像の変更処理を行うとともに、前記検知手段にて前記接近が検知された場合には、当該変更処理を中止し又は当該変更処理を行わない変更処理手段と、
   を備え、
   前記画像表示部が、ユーザの操作を受け付ける前記受け付け部として機能し、
   前記画像表示部のうちの前記ユーザの視線が向いている部分を検出する視線検出手段をさらに備え、
   前記検知手段は、前記画像表示部に対するユーザの操作を受け付ける前に前記視線が向いている前記部分への当該ユーザの指の接近を検知し、
   前記変更処理手段は、前記画像表示部にて表示されている画像の変更処理を行うとともに、前記視線が向いている前記部分への前記ユーザの指の接近が前記検知手段により検知された場合には、当該変更処理を中止し又は当該変更処理を行わない画像表示装置。
4. 画像を表示する画像表示装置と、記録材への画像形成を行う画像形成手段とを、備え、当該画像表示装置が請求項１乃至３の何れかに記載の画像表示装置により構成された画像形成装置。
5. 画像を表示する画像表示部と当該画像表示部の表示内容に対するユーザの操作であって当該画像表示部にて表示されているポインターをユーザが移動させる際のユーザの操作を受け付ける受け付け部とを備えた画像表示装置に設置されたコンピュータにより実行されるプログラムであり、
   前記受け付け部に対するユーザの操作を検知する検知機能と、
   前記画像表示部にて表示されている画像の一部の拡大処理を行う変更処理機能と、
   を前記コンピュータに実現させるためのプログラムであり、
   前記変更処理機能は、前記受け付け部に対するユーザの操作が検知され且つ前記ポインターが拡大処理される前記一部に向かっている場合に、前記拡大処理を中止し又は当該拡大処理を行わない
   プログラム。
6. 画像を表示するとともに当該表示の内容に対するユーザの操作を受け付ける機能を有する画像表示部と当該画像表示部のうちの当該ユーザの視線が向いている部分を検出する視線検出手段とを備えた画像表示装置に設置されたコンピュータにより実行されるプログラムであり、
   前記画像表示部に対するユーザの操作を受け付ける前に前記視線が向いている前記部分への当該ユーザの指の接近を検知する検知機能と、
   前記画像表示部にて表示されている画像の変更処理を行うとともに、前記視線が向いている前記部分への前記ユーザの指の接近が前記検知機能により検知された場合には、当該変更処理を中止し又は当該変更処理を行わない変更処理機能と、
   を前記コンピュータに実現させるためのプログラム。

Images