JP2018181261A - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP2018181261A
JP2018181261A JP2017084638A JP2017084638A JP2018181261A JP 2018181261 A JP2018181261 A JP 2018181261A JP 2017084638 A JP2017084638 A JP 2017084638A JP 2017084638 A JP2017084638 A JP 2017084638A JP 2018181261 A JP2018181261 A JP 2018181261A
Authority
JP
Japan
Prior art keywords
screen
display
item
operation panel
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017084638A
Other languages
English (en)
Inventor
北村　哲朗
Tetsuro Kitamura
哲朗 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2017084638A priority Critical patent/JP2018181261A/ja
Priority to US15/933,034 priority patent/US10334126B2/en
Priority to CN201810263254.0A priority patent/CN108737675B/zh
Priority to EP18164735.5A priority patent/EP3392714B1/en
Publication of JP2018181261A publication Critical patent/JP2018181261A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016—User-machine interface; Display panels; Control console
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5016—User-machine interface; Display panels; Control console
    • G03G15/502—User-machine interface; Display panels; Control console relating to the structure of the control menu, e.g. pop-up menus, help screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00381—Input by recognition or interpretation of visible user gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00482—Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】操作パネルを操作するユーザーの利便性を向上させる。【解決手段】表示装置は、項目ボタンを配した画面を表示してユーザーから項目ボタンに対する操作を受け付ける操作パネルの撮影を行うカメラ部と、操作パネルをユーザーに視認させつつ情報の表示を行う表示部と、カメラ部による操作パネルの撮影によって得られた撮影データに基づき、表示部の表示エリアにおける操作パネルの位置および操作パネルが現在表示している画面である表示中画面を認識し、表示中画面から遷移可能な画面に配される項目ボタンの項目内容を示す項目情報を操作パネルと重ならないように表示部に表示させる制御部と、を備える。【選択図】図８

Description

本発明は、操作パネルを操作するユーザーを支援する表示装置に関する。
複合機や複写機のような装置には、操作パネルが設置される（たとえば、特許文献１参照）。操作パネルは、ボタンを配した画面を表示し、印刷に関する設定や指示を行うための操作（ボタンに対する操作）をユーザーから受け付ける。
特許文献１の操作パネルは、現在表示中の画面に対して所定操作が行われると、現在表示中の画面の下位階層の画面の一部を表示する。これにより、操作パネルに現在表示されている画面の下位階層の画面にどのようなボタンが配されているかをユーザーは知ることができる。
特開２０１６−６２３９３号公報
特許文献１では、下位階層の画面（ここでは、下位画面と称する）がウィンドウ形式で表示される。そして、ウィンドウ形式で表示されている下位画面が見難い場合には、ウィドウサイズを大きくすることができる。
しかし、ウィンドウサイズを大きくすると、ウィンドウ形式で表示されている下位画面の上位階層の画面（ここでは、上位画面と称する）が見難くなる。この場合には、ウィンドウサイズを小さくして上位画面を確認し、再度、ウィンドウサイズを大きくして下位画面を確認する、という作業を繰り返さなければならない。その結果、数多くの操作を行わなければならず、ユーザーにとっては利便性が悪い。
本発明は、上記課題を解決するためになされたものであり、操作パネルを操作するユーザーの利便性を向上させることが可能な表示装置を提供することを目的とする。
上記目的を達成するため、本発明の表示装置は、項目ボタンを配した画面を表示してユーザーから項目ボタンに対する操作を受け付ける操作パネルの撮影を行うカメラ部と、操作パネルをユーザーに視認させつつ情報の表示を行う表示部と、カメラ部による操作パネルの撮影によって得られた撮影データに基づき、表示部の表示エリアにおける操作パネルの位置および操作パネルが現在表示している画面である表示中画面を認識し、表示中画面から遷移可能な画面に配される項目ボタンの項目内容を示す項目情報を操作パネルと重ならないように表示部に表示させる制御部と、を備える。
本発明の構成では、ユーザーが表示装置を用いて操作パネルを撮影すると、操作パネルに現在表示されている画面から遷移可能な画面に配される項目ボタンの項目内容を示す項目情報が表示装置に表示される。このため、操作パネルに現在表示されている画面から遷移可能な画面（たとえば、操作パネルに現在表示されている画面の下位階層の画面）にどのような項目ボタンが配されているかをユーザーは知ることができる。ここで、項目情報は操作パネルに表示されるのではなく表示装置に表示される。また、項目情報は操作パネルと重ならないように表示される。したがって、操作パネルに現在表示されている画面が項目情報と重なって見え難くなるという不都合は発生しない。すなわち、操作パネルに現在表示されている画面と項目情報との重なりを回避するための操作をユーザーが行う必要はない。その結果、ユーザーの利便性が向上する。
本発明によれば、操作パネルを操作するユーザーの利便性を向上させることができる。
本発明の一実施形態による表示装置の構成を示す図 操作パネルの表示画面（ホーム画面）を示す図 操作パネルの表示画面（基本／応用選択画面）を示す図 操作パネルの表示画面（基本設定画面）を示す図 操作パネルの表示画面（用紙サイズ画面）を示す図 操作パネルの表示画面の階層構造を示す図 本発明の一実施形態による表示装置が行う操作支援処理の流れを示す図 本発明の一実施形態による表示装置が表示処理を行う前後のユーザーからの見え方の違いを示す図 図８に示す項目情報に対応する項目ボタンが配された操作パネルの画面について説明するための図 本発明の一実施形態による表示装置が表示処理を行う前後のユーザーからの見え方の違いを示す図 図１０に示す項目情報に対応する項目ボタンが配された操作パネルの画面について説明するための図 本発明の一実施形態による表示装置の表示エリアにおける操作パネルの位置が移動した場合に行われる制御について説明するための図 本発明の一実施形態による表示装置が表示する報知情報を示す図 本発明の一実施形態による表示装置が受け付ける項目指定操作について説明するための図 本発明の一実施形態による表示装置が受け付ける第１ジェスチャー操作について説明するための図 本発明の一実施形態による表示装置が受け付ける第２ジェスチャー操作について説明するための図
以下、本発明の一実施形態による表示装置について、ヘッドマウントディスプレイを例にとって説明する。以下の説明では、本実施形態のヘッドマウントディスプレイをＨＭＤと称し、符号１を付す。
たとえば、ＨＭＤ１は、画像形成装置（複合機や複写機などの印刷装置）のユーザーにより装着される。当該画像形成装置は、特に限定されないが、コピー機能や、スキャンデータを外部機器に送信する送信機能など、複数種の機能を搭載する複合機である。以下の説明では、ＨＭＤ１を装着したユーザーが実際に使用する画像形成装置に符号２を付す。
＜ＨＭＤの構成＞
ＨＭＤ１は、眼鏡型であり、眼鏡のレンズに相当する部分に種々の情報を表示する（ユーザーの眼前に情報を表示する）。また、ＨＭＤ１は、ユーザーの眼前の風景（物体）を撮影する。
このＨＭＤ１は、図１に示すように、表示部１１、カメラ部１２、操作部１３、制御部１４、通信部１５および記憶部１６を備える。表示部１１、カメラ部１２、操作部１３、制御部１４、通信部１５および記憶部１６は、図示しないが、眼鏡型のフレームに設置される。
表示部１１は、表示を行う。表示部１１は、ＨＭＤ１を装着したユーザーの眼と対向する位置に配置される。これにより、種々の情報がユーザーの眼前に表示される。ＨＭＤ１を装着したユーザーの眼前に画像形成装置２が存在する場合には、画像形成装置２（後述する操作パネル２０を含む）をユーザーに視認させつつ、ユーザーに提供する情報を表示することができる。たとえば、外光を透過させる光学透過型（光学シースルー型）のディスプレイ装置が表示部１１として用いられる。
カメラ部１２は、撮影を行う。カメラ部１２は、ＣＣＤカメラなどを含み、ＨＭＤ１を装着したユーザーの視界方向の撮影が可能な位置に配置される。これにより、ユーザーの眼前の風景（物体）が撮影される。ＨＭＤ１を装着したユーザーの眼前に画像形成装置２が存在する場合には、画像形成装置２（後述する操作パネル２０を含む）を撮影することができる。カメラ部１２は、撮影によって得られた撮影データを出力する。
操作部１３は、ＨＭＤ１による表示や撮影に関する各種設定を行うための操作をユーザーから受け付ける。なお、ユーザーが所有するスマートフォンなどの携帯端末をＨＭＤ１と通信可能に接続すれば、当該携帯端末からでも、ＨＭＤ１による表示や撮影に関する各種設定を行うことが可能となる。
制御部１４は、制御用のプログラムおよびデータに基づき動作するＣＰＵを含み、ＨＭＤ１を制御するための各種処理を実行する。たとえば、制御部１４は、表示部１１による表示を制御するとともに、カメラ部１２による撮影を制御する。また、制御部１１は、操作部１３がユーザーから受け付けた各種操作を検知する。
通信部１５は、ＨＭＤ１を外部機器に通信可能に接続するための通信インターフェースであり、通信回路などを含む。特に限定されないが、ＨＭＤ１と外部機器との間では、近距離無線通信規格に基づく通信や無線ＬＡＮ規格に基づく通信が可能である。制御部１４は、通信部１５を用いて外部機器と通信する。たとえば、制御部１４は、通信部１５を用いて画像形成装置２と通信し、画像形成装置２との間で各種情報を送受信する。
記憶部１６は、不揮発性メモリー（ＲＯＭ）および揮発性メモリー（ＲＡＭ）を含み、制御部１４（ＣＰＵ）を動作させるためのプログラムやデータを記憶する。また、記憶部１６は、後述する項目情報３を表示するための表示データを記憶する。
＜操作パネルの表示画面＞
画像形成装置２は、操作パネル２０を備える。操作パネル２０は、画像形成装置２のユーザー（ＨＭＤ１を装着したユーザー）により操作される。
操作パネル２０は、タッチパネルディスプレイ２１を含む。タッチパネルディスプレイ２１は、ソフトウェアボタン（ユーザーからタッチ操作を受け付ける操作受付領域）を配した画面を表示し、ソフトウェアボタンに対するタッチ操作を受け付ける。たとえば、操作パネル２０は、図２〜図５に示すような画面２００（画面２１１、２２１Ａ、２３１Ａおよび２４１Ａ）をタッチパネルディスプレイ２１に表示させる。なお、操作パネル２０が表示する画面２００は他にも種々ある。また、操作パネル２００が表示する各画面２００に配されるソフトウェアボタンの形態は様々である。たとえば、画面２００の操作受付領域にボタン形状の画像（アイコンなども含む）が表示される場合もあるし、画面２００の操作受付領域にテキスト画像だけが表示される場合もある。
ここで、図６に示すように、操作パネル２０が表示する各画面２００は階層的な構造（階層構造）となっている。そして、操作パネル２０に対して所定の操作を行うと、現在の画面２００から異なる階層の画面２００に切り替わる。なお、図６に示す階層構造は一例であり、特に限定されるものではない。
具体的に、操作パネル２０が表示する各画面２００には、項目ボタンＩＢ（図２〜図４参照）が配されるものがある。項目ボタンＩＢは、最下位階層の画面２００には配されない。ユーザーが項目ボタンＩＢに対してタッチ操作を行うと、現在の画面２００から１つ下の階層の画面２００に遷移する。
図６に示す例において、最上位階層である第１階層の画面２００（画面２１１）の表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第１階層の画面２１１から第２階層の画面２００（画面２２１Ａおよび２２１Ｂのいずれか）に遷移する。
第２階層の画面２２１Ａの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第２階層の画面２２１Ａから第３階層の画面２００（画面２３１Ａおよび２３２Ａのいずれか）に遷移する。
第２階層の画面２２１Ｂの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第２階層の画面２２１Ｂから第３階層の画面２００（画面２３１Ｂ、２３２Ｂおよび２３３Ｂのいずれか）に遷移する。たとえば、画面２３１Ｂ、２３２Ｂおよび２３３Ｂは最下位階層の画面であり、画面２３１Ｂ、２３２Ｂおよび２３３Ｂに項目ボタンＩＢは配されない。
第３階層の画面２３１Ａの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第４階層の画面２００（画面２４１Ａ、２４２Ａおよび２４３Ａのいずれか）に遷移する。たとえば、画面２４１Ａ、２４２Ａおよび２４３Ａは最下位階層の画面であり、画面２４１Ａ、２４２Ａおよび２４３Ａに項目ボタンＩＢは配されない。
第３階層の画面２３２Ａの表示中に項目ボタンＩＢに対するタッチ操作をユーザーが行った場合には、第４階層の画面２００（画面２４４Ａおよび２４５Ａのいずれか）に遷移する。たとえば、画面２４４Ａおよび２４５Ａは最下位階層の画面であり、画面２４４Ａおよび２４５Ａに項目ボタンＩＢは配されない。
また、操作パネル２０が表示する各画面２００には、戻るボタンＢＢ（図３〜図５参照）が配されるものがある。戻るボタンＢＢは、最上位階層の画面２００には配されない。ユーザーが戻るボタンＢＢに対してタッチ操作を行うと、現在の画面２００から１つ上の階層の画面２００に遷移する。なお、戻るボタンＢＢに相当するハードウェアボタンが操作パネル２０に設けられてもよい。
図２に示した操作パネル２０の画面２１１は、画像形成装置１００の複数種の機能のうち使用する機能の指定をユーザーから受け付けるためのホーム画面であり、第１階層（最上位階層）の画面に相当する。ホーム画面２１１には、項目ボタンＩＢとして、コピー機能を使用機能として指定するためのコピーボタン、および、送信機能を使用機能として指定するための送信ボタンが配される。
図３に示した操作パネル２０の画面２２１Ａは、基本設定を行うか応用設定を行うかの選択をユーザーから受け付けるための基本／応用選択画面であり、第２階層の画面に相当する。基本／応用選択画面２２１Ａは、ホーム画面２１１（図２参照）に項目ボタンＩＢとして配されたコピーボタンに対するタッチ操作によって表示される。基本／応用選択画面２２１Ａには、項目ボタンＩＢとして、基本設定を行う旨を指示するための基本設定ボタン、および、応用設定を行う旨を指示するための応用設定ボタンが配される。
図４に示した操作パネル２０の画面２３１Ａは、コピー機能に関する設定項目のうち設定値を設定（変更）したい設定項目の選択をユーザーから受け付けるための基本設定画面であり、第３階層の画面に相当する。基本設定画面２３１Ａは、基本／応用選択画面２２１Ａ（図３参照）に項目ボタンＩＢとして配された基本設定ボタンに対するタッチ操作によって表示される。基本設定画面２３１Ａには、項目ボタンＩＢとして、用紙サイズ設定を行う旨を指示するための用紙サイズボタン、ズーム設定を行う旨を指示するためのズームボタン、および、濃度設定を行う旨を指示するための濃度ボタンが配される。
図５に示した操作パネル２０の画面２４１Ａは、用紙サイズの設定をユーザーから受け付けるための用紙サイズ画面であり、第４階層の画面に相当する。用紙サイズ画面２４１Ａは、基本設定画面２３１Ａ（図４参照）に項目ボタンＩＢとして配された用紙サイズボタンに対するタッチ操作によって表示される。
基本／応用選択画面２２１Ａ（図３参照）、基本設定画面２３１Ａ（図４参照）および用紙サイズ画面２４１Ａ（図５参照）には、戻るボタンＢＢが配される。なお、ホーム画面２１１（図２参照）は最上位階層の画面であるので、ホーム画面２１１に戻るボタンＢＢは配されない。
基本／応用選択画面２２１Ａの表示中に戻るボタンＢＢに対するタッチ操作をユーザーが行った場合には、ホーム画面２１１が表示され、基本設定画面２３１Ａの表示中に戻るボタンＢＢに対するタッチ操作をユーザーが行った場合には、基本／応用選択画面２２１Ａが表示され、用紙サイズ画面２４１Ａの表示中に戻るボタンＢＢに対するタッチ操作をユーザーが行った場合には、基本設定画面２３１Ａが表示される。
＜パネル操作の支援＞
（概要）
画像形成装置２のメーカーにおいて、操作パネル２０を操作するユーザーを支援するためのパネルアプリケーション（以下、パネルアプリと称する）が準備される。パネルアプリがインストールされたＨＭＤ１をユーザーが装着し、その状態でＨＭＤ１を通してユーザーが操作パネル２０を見ると、当該ユーザーの操作パネル２０に対する操作を支援するための情報がＨＭＤ１に表示される。言い換えると、ＨＭＤ１（制御部１４）は、パネル操作を支援するための操作支援処理を行う。
以下に、図７に示すフローチャートを参照し、制御部１４により行われる操作支援処理の流れを説明する。図７に示すフローチャートは、ＨＭＤ１にインストールされたパネルアプリを起動するための操作を操作部１３がユーザーから受け付けたとき（当該操作を制御部１４が検知したとき）にスタートする。
ステップＳ１において、制御部１４は、カメラ部１２による撮影を開始させる。このとき、ユーザーは操作パネル２０を操作しようとしているので、操作パネル２０に近づき、操作パネル２０の方を見る。
ステップＳ２において、制御部１４は、カメラ部１２による撮影によって得られた撮影データを取得し、当該取得した撮影データに基づき、カメラ部１２の撮影エリアに操作パネル２０が存在するか否かを判断する。言い換えると、制御部１４は、操作パネル２０がユーザーの視界に入ったか否かを判断する。たとえば、記憶部１６には、操作パネル２０の特徴点（操作パネル２０の輪郭や色など）を示すパネル情報が記憶される。そして、制御部１４は、撮影データに対して所定の画像認識処理を行い、パネル情報で示される特徴点を検知したとき、カメラ部１２の撮影エリアに操作パネル２０が存在する（操作パネル２０がユーザーの視界に入った）と判断する。
ステップＳ２において、カメラ部１２の撮影エリアに操作パネル２０が存在すると制御部１４が判断した場合、ステップＳ３に移行する。一方で、カメラ部１２の撮影エリアに操作パネル２０が存在しないと制御部１４が判断した場合、ステップＳ２の処理（制御部１４による判断）が繰り返される。
ステップＳ３において、制御部１４は、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、操作パネル２０に現在表示されている画面２００（以下、表示中画面２００と称する場合がある）を認識する。たとえば、記憶部１６には、操作パネル２０が表示し得る各画面２００の特徴点（画面２００に配されたボタンの形状や色、ボタンに付された記号（文字および数字を含む）、および、ボタンの位置など）を示す画面情報が記憶される。そして、制御部１４は、画面情報に基づき表示中画面２００を認識する。このとき、制御部１４は、表示中画面２００を対象画面に設定する。
ステップＳ４において、制御部１４は、表示中画面２００（対象画面）から遷移可能な画面２００および当該画面２００に配される項目ボタンＩＢを認識する。表示中画面２００が最上位階層の画面２００である場合には、表示中画面２００の下位階層の画面２００だけが遷移可能な画面２００となるとともに、表示中画面２００が最下位階層の画面２００である場合には、表示中画面２００の上位階層の画面２００だけが遷移可能な画面２００となる。表示中画面２００が最上位階層の画面２００でもなく最下位階層の画面２００でもなければ、表示中画面２００の下位階層の画面２００および表示中画面２００の上位階層の画面２００の両方が遷移可能な画面２００となる。
たとえば、記憶部１６には、操作パネル２０が表示し得る各画面２００について、画面２００の階層位置、上の階層に位置する画面２００および下の階層に位置する画面２００などを示す階層情報（操作パネル２０が表示する各画面２００の階層構造を示す情報）が記憶される。また、階層情報には、操作パネル２０が表示し得る各画面２００に配される項目ボタンＩＢを示す情報も含まれる。そして、制御部１４は、階層情報に基づき、表示中画面２００から遷移可能な画面２００および当該画面２００に配される項目ボタンＩＢを認識する。
ステップＳ５において、制御部１４は、表示中画面２００（対象画面）から遷移可能な画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図や図１０下図など参照）を表示部１１に表示させる表示処理を操作支援処理の一処理として行う。詳細は後述する。
ステップＳ６において、制御部１４は、表示処理を終了する条件（処理終了条件）が満たされたか否かを判断する。その結果、処理終了条件が満たされたと制御部１４が判断した場合には、ステップＳ７に移行し、処理終了条件が満たされていないと制御部１４が判断した場合には、ステップＳ８に移行する。
たとえば、制御部１４は、パネルアプリを終了するための操作を操作部１３がユーザーから受け付けたことを検知したとき、処理終了条件が満たされたと判断する。また、制御部１４は、カメラ部１２による撮影を停止するための操作を操作部１３がユーザーから受け付けたことを検知したとき、処理終了条件が満たされたと判断する。さらに、制御部１４は、カメラ部１２の撮影エリアに操作パネル２０が存在しなくなったことを検知したとき、処理終了条件が満たされたと判断する。カメラ部１２の撮影エリアに操作パネル２０が存在しなくなったということは、ユーザーが操作パネル２０から離れた（ユーザーが操作パネル２０を見ていない）ということである。
ステップＳ７に移行すると、制御部１４は、表示処理を終了する。すなわち、制御部１４は、表示部１１に指示し、項目情報３の表示を停止させる。
ステップＳ８に移行すると、制御部１４は、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、操作パネル２０が画面２００の遷移を行ったか否かを判断する。
操作パネル２０が画面２００の遷移を行ったと制御部１４が判断した場合には、ステップＳ３に移行する。この場合、制御部１４は、表示部１１による項目情報３の表示を一旦停止させ、ステップＳ３およびＳ４の処理を行う。そして、ステップＳ５において、制御部１４は、表示処理を再度行う。
一方で、操作パネル２０が画面２００の遷移を行っていないと制御部１４が判断した場合、ステップＳ５に移行する。この場合には、項目情報３の表示が続行される。
（項目情報の表示）
制御部１４により行われる表示処理には、第１処理および第２処理がある。以下に具体的に説明する。
制御部１４は、第１処理を行うとき、対象画面に設定した画面２００の下位階層の画面２００（対象画面に設定した画面２００から遷移可能な画面２００）のうち、項目ボタンＩＢが配された画面２００を認識する。そして、制御部１４は、対象画面に設定した画面２００の下位階層の画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図および図１０下図など参照）を表示部１１に表示させる処理を第１処理として行う。
たとえば、ホーム画面２１１（図２参照）が対象画面に設定されたとする。この場合、ユーザーからの見え方は、図８に示すように変化する。制御部１４による表示処理が行われる前の段階では、図８上図に示すように、ユーザーからは操作パネル２０がそのまま見える。その後、制御部１４による表示処理が行われると、図８下図に示すように、ユーザーの眼前に項目情報３が表示される。図８では、ユーザーの視界（表示部１１の表示エリア）を破線で示す。以下の説明で参照する図１０および図１２〜図１６についても同様である。
ホーム画面２１１を対象画面に設定したとき、制御部１４は、ホーム画面２１１の下位階層の画面２００に配される項目ボタンＩＢを対象ボタンに設定する。このときに対象ボタンに設定されるのは、図９に示すように、操作パネル２０が表示し得る各画面２００のうち破線で囲む画面２００に配される項目ボタンＩＢである。
たとえば、基本／応用選択画面２２１Ａには、項目ボタンＩＢとして、基本設定ボタンおよび応用設定ボタンが配される（当該ボタンが対象ボタンに設定される）。基本設定画面２３１Ａには、項目ボタンＩＢとして、用紙サイズボタン、ズームボタンおよび濃度ボタンが配される（当該ボタンが対象ボタンに設定される）。
したがって、制御部１４は、ホーム画面２１１を対象画面に設定した場合、基本設定ボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ２１」で示す）、応用設定ボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ２２」で示す）、用紙サイズボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ３１」で示す）、ズームボタンの項目内容を示す項目情報３（図８図では、文字列「ａ３２」で示す）、および、濃度ボタンの項目内容を示す項目情報３（図８下図では、文字列「ａ３３」で示す）を表示部１１に表示させる。
特に限定されないが、表示部１１は、項目ボタンＩＢの項目内容を示すテキスト情報を項目情報３として表示する。あるいは、表示部１１は、項目ボタンＩＢの絵柄（アイコン）を項目情報３として表示する。
ホーム画面２１１が対象画面に設定された場合には、画面２３２Ａに配される項目ボタンＩＢも対象ボタンとなる（図９参照）。このため、画面２３２Ａに配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図では、文字列「ａ３４」および文字列「ａ３５」で示す）も表示される。
さらに、ホーム画面２１１が対象画面に設定された場合には、画面２２１Ｂに配される項目ボタンＩＢも対象ボタンとなる（図９参照）。このため、画面２２１Ｂに配される項目ボタンＩＢの項目内容を示す項目情報３（図８下図では、文字列「ｂ２１」、文字列「ｂ２２」および文字列「ｂ２３」で示す）も表示される。
制御部１４は、第２処理を行うとき、対象画面に設定した画面２００の上位階層の画面２００（対象画面に設定した画面２００から遷移可能な画面２００）に配される項目ボタンＩＢであって、対象画面に設定した画面２００に遷移するときに操作される項目ボタンＩＢを認識する。そして、制御部１４は、対象画面に設定した画面２００に遷移するときに操作される項目ボタンＩＢの項目内容を示す項目情報３（図１０下図参照）を表示部１１に表示させる処理を第２処理として行う。
たとえば、基本／応用選択画面２２１Ａ（図３参照）が対象画面に設定されたとする。この場合、制御部１４は、第１処理および第２処理の両方を行う。このため、ユーザーからの見え方は、図１０に示すように変化する。制御部１４による表示処理が行われる前の段階では、図１０上図に示すように、ユーザーからは操作パネル２０がそのまま見える。その後、制御部１４による表示処理が行われると、図１０下図に示すように、ユーザーの眼前に項目情報３が表示される。
基本／応用選択画面２２１Ａを対象画面に設定したとき、制御部１４は、基本／応用選択画面２２１Ａの下位階層の画面２００に配される項目ボタンＩＢを対象ボタンに設定する。このときに対象ボタンに設定されるのは、図１１に示すように、操作パネル２０が表示し得る各画面２００のうち破線で囲む画面２００に配される項目ボタンＩＢである。
したがって、制御部１４は、文字列「ａ３１」で示す項目情報３（用紙サイズボタンの項目内容を示す情報）、文字列「ａ３２」で示す項目情報３（ズームボタンの項目内容を示す情報）、および、文字列「ａ３３」で示す項目情報３（濃度ボタンの項目内容を示す情報）を表示部１１に表示させる。また、制御部１４は、画面２３２Ａに配される項目ボタンＩＢの項目内容を示す情報も項目情報３として表示部１１に表示させる。すなわち、文字列「ａ３４」で示す項目情報３および文字列「ａ３５」で示す項目情報３も表示される。
また、基本／応用選択画面２２１Ａを対象画面に設定したとき、制御部１４は、基本／応用選択画面２２１Ａに遷移するときに操作される項目ボタンＩＢも対象ボタンに設定する。このときに対象ボタンに設定されるのは、ホーム画面２１１に項目ボタンＩＢとして配されるコピーボタンである。
したがって、制御部１４は、基本／応用選択画面２２１Ａを対象画面に設定した場合、コピーボタンの項目内容を示す項目情報（図１０下図では、文字列「ａ１１」で示す）を表示部１１にさらに表示させる。たとえば、表示部１１は、基本／応用選択画面２２１Ａの下位階層に配される項目ボタンＩＢの項目内容を示す項目情報３を表示エリアの上側に表示し、基本／応用選択画面２２１Ａの上位階層に配される項目ボタンＩＢの項目内容を示す項目情報３を表示エリアの下側に表示する。
制御部１４は、項目情報３の表示中、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、表示部１１の表示エリアにおける項目ボタンＩＢの位置を基準位置として認識する。図８に示す例では、ホーム画面２１１に項目ボタンＩＢとして配されたコピーボタンおよび送信ボタンの各位置（表示部１１の表示エリアにおける位置）が基準位置となる。図１０に示す例では、基本／応用設定画面２２１Ａに項目ボタンＩＢとして配された基本設定ボタンおよび応用設定ボタンの各位置（表示部１１の表示エリアにおける位置）が基準位置となる。そして、図８および図１０に示すように、制御部１４は、項目情報３と基準位置とを繋ぐ線Ｌを表示部１１に表示させる。図８および図１０では、当該線Ｌを太線で示す。以下の説明で参照する図１２〜図１６についても同様である。
具体的に、表示部１１は、操作パネル２０に現在表示されている画面２００（対象画面）の１つ下の階層の画面２００（ここでは、第１下位画面２００と称する）に配される項目ボタンＩＢに対応する項目情報３（ここでは、第１下位項目情報３と称する）と基準位置とを直接繋ぐ線Ｌを表示する。また、表示部１１は、第１下位画面の下位階層の画面２００（ここでは、第２下位画面２００と称する）に配される項目ボタンＩＢに対応する項目情報３（ここでは、第２下位項目情報３と称する）と第１下位項目情報３とを繋ぐ線Ｌを表示する。すなわち、第１下位項目情報３を経由して第２下位項目情報３と基準位置とを繋ぐ線Ｌが表示される。
また、表示部１１は、操作パネル２０に現在表示されている画面２００（対象画面）の１つ上の階層の画面２００（ここでは、上位画面２００と称する）に配される項目ボタンＩＢに対応する項目情報３（ここでは、上位項目情報３と称する）と基準位置とを直接繋ぐ線Ｌを表示する。
図８に示す例では、文字列「ａ２１」、文字列「ａ２２」、文字列「ｂ２１」、文字列「ｂ２２」、および、文字列「ｂ２３」で示す各項目情報３が第１下位項目情報に相当する。文字列「ａ３１」、文字列「ａ３２」、文字列「ａ３３」、文字列「ａ３４」、および、文字列「ａ３５」で示す各項目情報３が第２下位項目情報に相当する。
なお、文字列「ａ２１」および文字列「ａ２２」の各項目情報３に対応する項目ボタンＩＢがホーム画面２１１のコピーボタンに対する操作により表示されることを明確にするため、当該項目情報３から延びる線Ｌはコピーボタンに対応する基準位置に繋げられる。同様に、文字列「ｂ２１」、文字列「ｂ２２」および文字列「ｂ２３」に対応する項目ボタンＩＢがホーム画面２１１の送信ボタンに対する操作により表示されることを明確にするため、当該項目情報３から延びる線Ｌは送信ボタンに対応する基準位置に繋げられる。
図１０に示す例では、文字列「ａ３１」、文字列「ａ３２」、文字列「ａ３３」、文字列「ａ３４」、および、文字列「ａ３５」で示す各項目情報３が第１下位項目情報に相当する。文字列「ａ１１」で示される項目情報３が上位項目情報に相当する。
なお、文字列「ａ３１」、文字列「ａ３２」、および、文字列「ａ３３」の各項目情報３に対応する項目ボタンＩＢが基本／応用選択画面２２１Ａの基本設定ボタンに対する操作によって表示されることを明確にするため、当該項目情報３から延びる線Ｌは基本設定ボタンに対応する基準位置に繋げられる。同様に、文字列「ａ３４」および文字列「ａ３５」に対応する項目ボタンＩＢが基本／応用選択画面２２１Ａの応用設定ボタンに対する操作によって表示されることを明確にするため、当該項目情報３から延びる線Ｌは応用設定ボタンに対応する基準位置に繋げられる。
また、制御部１４は、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、表示部１１の表示エリアにおける操作パネル２０の位置を認識する。そして、制御部１４は、表示部１１の表示エリアにおいて操作パネル２０と項目情報３とが重ならないように項目情報３の表示位置を制御する。また、制御部１４は、線Ｌの表示位置（線Ｌの長さ、延伸方向および屈曲位置）を制御する。
たとえば、図１２に示すように、表示部１１の表示エリアにおける操作パネル２０の位置が右上方向に移動した（上図の状態から下図の状態に変更した）とする。すなわち、ユーザーが視線を左下方向に移動させたとする。この場合、制御部１４は、項目情報３の表示位置を変更する。また、制御部１４は、線Ｌの長さ、延伸方向および屈曲位置などを変更する。
ここで、場合によっては、表示部１１に表示すべき項目情報３の全てを表示部１１の表示エリアに表示し切れないことがある。たとえば、図１３に示すように、文字列「ｂ２４」で示す項目情報３が表示部１１の表示エリアに表示し切れなかったとする（当該項目情報３を破線で囲み、他の項目情報３と区別する）。この場合、制御部１４は、表示部１１の表示エリアに表示し切れない項目情報３（以下、非表示項目情報３と称する）が存在することをユーザーに報知するための報知情報３０を表示部１１に表示させる。
図１３に示す例では、非表示項目情報３（文字列「ｂ２４」で示す情報）を表示すべき位置は文字列「ｂ２３」で示す項目情報３の右側である。この場合、表示部１１は、文字列「ｂ２３」で示す項目情報３の右側に報知情報３０を表示する。図示しないが、非表示項目情報３を表示すべき位置が文字列「ａ３１」で示す項目情報３の上側であった場合には、文字列「ａ３１」で示す項目情報３の上側に報知情報３０が表示される。
（ジェスチャー操作の検知）
制御部１４は、項目情報３の表示中、カメラ部１２による撮影によって得られた撮影データに基づき、ユーザーが項目情報３に対して行った仮想的な操作（ジェスチャー操作）を検知する。そして、制御部１４は、ジェスチャー操作が行われたことを検知したとき、通信部１５を用いて画像形成装置２（操作パネル２０）と通信し、操作パネル２０の画面２００を遷移させるための情報を操作パネル２０に向けて送信する。
制御部１４は、項目情報３の表示中、項目指定操作として予め定められたジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、表示中のいずれかの項目情報３を仮想的にタップする操作を項目指定操作として検知する。
項目指定操作が行われたと判断した場合、制御部１４は、項目指定操作により指定された項目情報３である指定項目情報（仮想的にタップされた項目情報３）を認識する。そして、制御部１４は、指定項目情報３に対応する項目ボタンＩＢが操作されたときに表示すべき画面２００への遷移を操作パネル２０に行わせるための情報（画面遷移命令）を操作パネル２０に向けて送信する。たとえば、画面遷移命令には、指定項目情報３に対応する項目ボタンＩＢが操作されたときに表示すべき画面２００を遷移先として示す情報が含まれる。画面遷移命令を受けた画像形成装置２の操作パネル２０は、画面遷移命令に含まれる遷移先の画面２００への遷移を行う。
たとえば、図１４上図に示すように、操作パネル２０がホーム画面２１１を表示しているとき、文字列「ａ２１」で示す項目情報３に対して項目指定操作が行われたとする。図１４上図では、項目指定操作が行われた項目情報３を二重線で囲む。文字列「ａ２１」で示す項目情報３に対応する項目ボタンＩＢは、基本／応用選択画面２２１Ａに配される基本設定ボタンである。この場合、図１４下図に示すように、操作パネル２０は、現在の画面２００（ホーム画面２１１）から、基本設定ボタンが操作されたときに表示すべき画面２００である基本設定画面２３１Ａに遷移する。
また、制御部１４は、項目情報３の表示中、予め定められた第１ジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、カメラ部１２の撮影エリアで左から右へ仮想的にフリックする操作を第１ジェスチャー操作として検知する。
第１ジェスチャー操作が行われたと判断した場合、制御部１４は、操作パネル２０が現在表示している表示中画面２００を認識し、表示中画面２００の上位階層の画面２００のうち直近に表示されていた画面２００への遷移を操作パネル２０に行わせるための第１命令を含む情報を操作パネル２０に向けて送信する。第１命令を受けた画像形成装置２の操作パネル２０は、表示中画面２００の上位階層の画面２００のうち直近に表示していた画面２００への遷移を行う。
たとえば、ＨＭＤ１から操作パネル２０への画面遷移命令により、操作パネル２０がホーム画面２１１から基本設定画面２３１Ａに遷移したとする（図１４参照）。それ以降、図１５上図に示すように、操作パネル２０が基本設定画面２３１Ａの表示を続行している状態で、第１ジェスチャー操作が行われたとする。この場合、図１５下図に示すように、操作パネル２０は、基本設定画面２３１Ａからホーム画面２１１に遷移する。
また、制御部１４は、項目情報３の表示中、予め定められた第２ジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、カメラ部１２の撮影エリアで右から左へ仮想的にフリックする操作を第２ジェスチャー操作として検知する。
第２ジェスチャー操作が行われたと判断した場合、制御部１４は、操作パネル２０が現在表示している表示中画面２００を認識し、表示中画面２００の下位階層の画面２００のうち直近に表示されていた画面２００への遷移を操作パネル２０に行わせるための第２命令を含む情報を操作パネル２０に向けて送信する。第２命令を受けた画像形成装置２の操作パネル２０は、表示中画面２００の下位階層の画面２００のうち直近に表示していた画面２００への遷移を行う。
たとえば、操作パネル２０が基本設定画面２３１Ａから基本／応用選択画面２２１Ａに遷移したとする。それ以降、図１６上図に示すように、操作パネル２０が基本／応用選択画面２２１Ａの表示を続行している状態で、第２ジェスチャー操作が行われたとする。この場合、図１６下図に示すように、操作パネル２０は、基本／応用選択画面２２１Ａから基本設定画面２３１Ａに遷移する。
また、制御部１４は、項目情報３の表示中、予め定められた第３ジェスチャー操作が行われたか否かを判断する。たとえば、制御部１４は、カメラ部１２の撮影エリアで上下方向に仮想的にフリックする操作を第３ジェスチャー操作として検知する。
第３ジェスチャー操作が行われたと判断した場合、制御部１４は、操作パネル２０が現在表示している表示中画面２００を認識し、表示中画面２００の１つ上の階層の画面２００への遷移を操作パネル２０に行わせるための第３命令を含む情報を操作パネル２０に向けて送信する。第３命令を受けた画像形成装置２の操作パネル２０は、表示中画面２００の１つ上の階層の画面２００への遷移を行う。たとえば、用紙サイズ画面２４１Ａの表示中に第３ジェスチャー操作を行った場合には、操作パネル２０は用紙サイズ画面２４１Ａから基本設定画面２３１Ａに遷移し、基本設定画面２３１Ａの表示中に第３ジェスチャー操作を行った場合には、操作パネル２０は基本設定画面２３１Ａから基本／応用選択画面２２１Ａに遷移し、基本／応用選択画面２２１Ａの表示中に第３ジェスチャー操作を行った場合には、操作パネル２０は基本／応用選択画面２２１Ａからホーム画面２１１に遷移する。
本実施形態のＨＭＤ１（表示装置）は、上記のように、項目ボタンＩＢを配した画面２００を表示してユーザーから項目ボタンＩＢに対する操作を受け付ける操作パネル２０の撮影を行うカメラ部１２と、操作パネル２０をユーザーに視認させつつ情報の表示を行う表示部１１と、カメラ部１２による操作パネル２０の撮影によって得られた撮影データに基づき、表示部１１の表示エリアにおける操作パネル２０の位置および操作パネル２０が現在表示している画面２００である表示中画面を認識し、表示中画面２００から遷移可能な画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３を操作パネル２０と重ならないように表示部１１に表示させる制御部１４と、を備える。
本実施形態の構成では、ユーザーがＨＭＤ１を用いて操作パネル２０を撮影すると（ユーザーがＨＭＤ１を装着して操作パネル２０を見ると）、操作パネル２０に現在表されている画面２００から遷移可能な画面２００に配される項目ボタンＩＢの項目内容を示す項目情報３が表示される。このため、操作パネル２０に現在表示されている画面２００から遷移可能な画面２００にどのような項目ボタンＩＢが配されているかをユーザーは知ることができる。ここで、項目情報３は操作パネル２０に表示されるのではなくＨＭＤ１に表示される。また、項目情報３は操作パネル２０と重ならないように表示される。したがって、操作パネル２０に現在表示されている画面２００が項目情報３と重なって見え難くなるという不都合は発生しない。すなわち、操作パネル２０に現在表示されている画面２００と項目情報３との重なりを回避するための操作をユーザーが行う必要はない。その結果、ユーザーの利便性が向上する。
また、本実施形態では、上記のように、制御部１４は、操作パネル２０に現在表示されている画面２００の下位階層の画面２００に配される項目ボタンＩＢの項目内容を示す情報を項目情報３として表示部１１に表示させる。これにより、操作パネル２０に現在表示されている画面２００の下位階層の画面２００にどのような項目ボタンＩＢが配されているかを知ることができるので、ユーザーの利便性が向上する。
また、本実施形態では、上記のように、制御部１４は、操作パネル２０に現在表示されている画面２００の上位階層の画面２００に配され、操作パネル２００に現在表示されている画面２００に遷移するときに操作される項目ボタンＩＢの項目内容を示す情報を項目情報３として表示部１１に表示させる。これにより、操作パネル２０に現在表示されている画面２００に遷移するときに操作した項目ボタンＩＢを知ることができるので、ユーザーの利便性が向上する。
また、本実施形態では、上記のように、制御部１４は、表示部１１の表示エリアにおける項目ボタンＩＢの位置を基準位置として認識し、項目情報３と基準位置とを繋ぐ線Ｌを表示部１１に表示させる。これにより、ＨＭＤ１に表示されている項目情報３と項目ボタンＩＢとの対応関係を知ることができるので、ユーザーの利便性が向上する。
また、本実施形態では、上記のように、制御部１４は、表示部１１の表示エリアに表示し切れない項目情報３（非表示項目情報）が存在するとき、報知情報３０を表示部１１に表示させる。これにより、非表示項目情報３が存在する場合、その旨をユーザーに報知することができる。
また、本実施形態では、上記のように、制御部１４は、カメラ部１２による撮影によって得られた撮影データに基づき、項目指定操作として予め定められたジェスチャー操作が行われたと判断した場合、項目指定操作により指定された項目情報３である指定項目情報を認識し、通信部１５を用いて、指定項目情報３に対応する項目ボタンＩＢが操作されたときに表示すべき画面２００への遷移を操作パネル２００に行わせるための情報を操作パネル２０に向けて送信する。これにより、操作パネル２０を直接操作しなくても、操作パネル２０の現在の画面２００をユーザー所望の画面２００に遷移することができるので、ユーザーの利便性が向上する。
また、本実施形態では、上記のように、制御部１４は、第１〜第３ジェスチャー操作のいずれかが行われたことを検知したとき、当該検知した操作に対応付けられた画面遷移処理を行うよう画像形成装置２（操作パネル２０）に命令を与える。これにより、操作パネル２０に現在表示されている画面２００から上位階層の画面２００や下位階層の画面２００に遷移したいときに、操作パネル２０を直接操作しなくてもよくなるので、ユーザーの利便性が向上する。
今回開示された実施形態は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記実施形態の説明ではなく特許請求の範囲によって示され、さらに、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
１ ＨＭＤ（表示装置）
３ 項目情報
１１ 表示部
１２ カメラ部
１４ 制御部
１５ 通信部
２０ 操作パネル
３０ 報知情報
２００ 画面
ＩＢ 項目ボタン
Ｌ 線

Claims (9)

  1. 項目ボタンを配した画面を表示してユーザーから前記項目ボタンに対する操作を受け付ける操作パネルの撮影を行うカメラ部と、
    前記操作パネルをユーザーに視認させつつ情報の表示を行う表示部と、
    前記カメラ部による前記操作パネルの撮影によって得られた撮影データに基づき、前記表示部の表示エリアにおける前記操作パネルの位置および前記操作パネルが現在表示している画面である表示中画面を認識し、前記表示中画面から遷移可能な画面に配される前記項目ボタンの項目内容を示す項目情報を前記操作パネルと重ならないように前記表示部に表示させる制御部と、を備えることを特徴とする表示装置。
  2. 前記制御部は、前記表示中画面の下位階層の画面に配される前記項目ボタンの項目内容を示す情報を前記項目情報として前記表示部に表示させることを特徴とする請求項１に記載の表示装置。
  3. 前記制御部は、前記表示中画面の上位階層の画面に配され、前記表示中画面に遷移するときに操作される前記項目ボタンの項目内容を示す情報を前記項目情報として前記表示部に表示させることを特徴とする請求項１または２に記載の表示装置。
  4. 前記制御部は、前記表示部の表示エリアにおける前記表示中画面に配された前記項目ボタンの位置を基準位置として認識し、前記基準位置と前記項目情報とを繋ぐ線を前記表示部に表示させることを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
  5. 前記制御部は、前記表示部の表示エリアに表示し切れない前記項目情報である非表示項目情報が存在するとき、前記非表示項目情報が存在することをユーザーに報知するための報知情報を前記表示部に表示させることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
  6. 外部機器と通信するための通信部を備え、
    前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、項目指定操作として予め定められたジェスチャー操作が行われたと判断した場合、前記項目指定操作により指定された前記項目情報である指定項目情報を認識し、前記通信部を用いて、前記指定項目情報に対応する前記項目ボタンが操作されたときに表示すべき画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
  7. 外部機器と通信するための通信部を備え、
    前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、予め定められた第１ジェスチャー操作が行われたと判断した場合、前記通信部を用いて、前記表示中画面の上位階層の画面のうち直近に表示されていた画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜６のいずれか１項に記載の表示装置。
  8. 外部機器と通信するための通信部を備え、
    前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、予め定められた第２ジェスチャー操作が行われたと判断した場合、前記通信部を用いて、前記表示中画面の下位階層の画面のうち直近に表示されていた画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
  9. 外部機器と通信するための通信部を備え、
    前記制御部は、前記カメラ部による撮影によって得られた撮影データに基づき、予め定められた第３ジェスチャー操作が行われたと判断した場合、前記通信部を用いて、前記表示中画面の１つ上の階層の画面への遷移を前記操作パネルに行わせるための情報を前記操作パネルに向けて送信することを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
JP2017084638A 2017-04-21 2017-04-21 表示装置 Pending JP2018181261A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017084638A JP2018181261A (ja) 2017-04-21 2017-04-21 表示装置
US15/933,034 US10334126B2 (en) 2017-04-21 2018-03-22 Display Apparatus
CN201810263254.0A CN108737675B (zh) 2017-04-21 2018-03-28 显示装置
EP18164735.5A EP3392714B1 (en) 2017-04-21 2018-03-28 Display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017084638A JP2018181261A (ja) 2017-04-21 2017-04-21 表示装置

Publications (1)

Publication Number Publication Date
JP2018181261A true JP2018181261A (ja) 2018-11-15

Family

ID=61868193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017084638A Pending JP2018181261A (ja) 2017-04-21 2017-04-21 表示装置

Country Status (4)

Country Link
US (1) US10334126B2 (ja)
EP (1) EP3392714B1 (ja)
JP (1) JP2018181261A (ja)
CN (1) CN108737675B (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249749A (ja) * 2000-03-06 2001-09-14 Minolta Co Ltd 画像形成装置および携帯端末装置ならびに画像形成システム
JP2012022497A (ja) * 2010-07-14 2012-02-02 Yahoo Japan Corp ウィンドウ制御を行うＷｅｂページを生成するＷｅｂサーバ及び方法
WO2012111057A1 (ja) * 2011-02-17 2012-08-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子装置、表示方法及びプログラム
JP2012233962A (ja) * 2011-04-28 2012-11-29 Konica Minolta Holdings Inc 投影システム、投影装置、投影方法、および制御プログラム
JP2013186836A (ja) * 2012-03-09 2013-09-19 Konica Minolta Inc 機能設定装置および機能設定装置の制御プログラム
WO2013157322A1 (ja) * 2012-04-18 2013-10-24 ソニー株式会社 情報処理装置およびプログラム
JP2016062393A (ja) * 2014-09-19 2016-04-25 コニカミノルタ株式会社 操作画面表示装置および表示プログラム
JP2016110379A (ja) * 2014-12-05 2016-06-20 コニカミノルタ株式会社 操作入力システム
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置
JP2017510106A (ja) * 2013-12-27 2017-04-06 インテル コーポレイション ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013110514A (ja) * 2011-11-18 2013-06-06 Konica Minolta Business Technologies Inc 操作入力システム
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
JP5938389B2 (ja) * 2013-11-28 2016-06-22 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US9804813B2 (en) 2014-11-26 2017-10-31 The United States Of America As Represented By Secretary Of The Navy Augmented reality cross-domain solution for physically disconnected security domains
JP6439451B2 (ja) 2015-01-08 2018-12-19 コニカミノルタ株式会社 操作システム及び画像形成装置
JP2016139168A (ja) * 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249749A (ja) * 2000-03-06 2001-09-14 Minolta Co Ltd 画像形成装置および携帯端末装置ならびに画像形成システム
JP2012022497A (ja) * 2010-07-14 2012-02-02 Yahoo Japan Corp ウィンドウ制御を行うＷｅｂページを生成するＷｅｂサーバ及び方法
WO2012111057A1 (ja) * 2011-02-17 2012-08-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子装置、表示方法及びプログラム
JP2012233962A (ja) * 2011-04-28 2012-11-29 Konica Minolta Holdings Inc 投影システム、投影装置、投影方法、および制御プログラム
JP2013186836A (ja) * 2012-03-09 2013-09-19 Konica Minolta Inc 機能設定装置および機能設定装置の制御プログラム
WO2013157322A1 (ja) * 2012-04-18 2013-10-24 ソニー株式会社 情報処理装置およびプログラム
US20150026636A1 (en) * 2012-04-18 2015-01-22 Sony Corporation Information processing apparatus and program
JP2017510106A (ja) * 2013-12-27 2017-04-06 インテル コーポレイション ヘッドマウントディスプレイを使用して拡張ディスプレイを提供するデバイス、方法、及びシステム
JP2016062393A (ja) * 2014-09-19 2016-04-25 コニカミノルタ株式会社 操作画面表示装置および表示プログラム
JP2016110379A (ja) * 2014-12-05 2016-06-20 コニカミノルタ株式会社 操作入力システム
WO2016194844A1 (ja) * 2015-05-29 2016-12-08 京セラ株式会社 ウェアラブル装置

Also Published As

Publication number Publication date
EP3392714A1 (en) 2018-10-24
CN108737675A (zh) 2018-11-02
CN108737675B (zh) 2020-01-10
EP3392714B1 (en) 2022-04-27
US20180309883A1 (en) 2018-10-25
US10334126B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
JP6398987B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5678324B2 (ja) 表示装置、コンピュータプログラム、及び表示方法
US9094603B2 (en) Image pickup device and image pickup method
JP5681850B2 (ja) ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
JP6131540B2 (ja) タブレット端末、操作受付方法および操作受付プログラム
KR20160026323A (ko) 움직임에 기반하여 알림 정보를 제어하는 방법 및 장치
US20150370335A1 (en) Display control apparatus, display apparatus, display control method, and program
JP2018013745A (ja) 電子機器およびその制御方法
CN104967773A (zh) 具有前置摄像头拍摄功能的电子设备
US10530945B2 (en) Display device and display system
US10705698B2 (en) Executing functions associated with icons having overlapping areas
JP6145738B2 (ja) 表示装置及びコンピュータプログラム
JP5919570B2 (ja) 画像表示装置及び画像表示方法
JP6149684B2 (ja) 携帯端末、画像処理装置、及びプログラム
JP2020005208A (ja) 電子機器、および電子機器の制御方法、プログラム、記憶媒体
JP2018181261A (ja) 表示装置
JP7121612B2 (ja) 撮像制御装置およびその制御方法、プログラム、並びに記憶媒体
JP6614516B2 (ja) 表示装置及びコンピュータプログラム
KR20220004746A (ko) 눈 추적 맵을 사용하는 동적 눈 추적 카메라 정렬
US20180203659A1 (en) Image display system, information processing apparatus, and image display method
EP2527964B1 (en) Portable terminal device having an enlarged-display function, method for controlling enlarged display, and computer-read-enabled recording medium
JP6811406B2 (ja) 表示装置及びコンピュータプログラム
JP2023160103A (ja) 電子機器
JP2022118501A (ja) 表示システム、表示装置とその制御方法及びプログラム
JP4582165B2 (ja) 通信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200707