JP5787099B2 - 案内情報表示装置 - Google Patents

案内情報表示装置 Download PDF

Info

Publication number
JP5787099B2
JP5787099B2 JP2012244593A JP2012244593A JP5787099B2 JP 5787099 B2 JP5787099 B2 JP 5787099B2 JP 2012244593 A JP2012244593 A JP 2012244593A JP 2012244593 A JP2012244593 A JP 2012244593A JP 5787099 B2 JP5787099 B2 JP 5787099B2
Authority
JP
Japan
Prior art keywords
unit
operation target
target device
photographed
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012244593A
Other languages
English (en)
Other versions
JP2014093036A (ja
Inventor
泰明 杉本
泰明 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012244593A priority Critical patent/JP5787099B2/ja
Priority to EP13189682.1A priority patent/EP2728846B1/en
Priority to US14/067,604 priority patent/US9760168B2/en
Priority to CN201310535194.0A priority patent/CN103813044B/zh
Publication of JP2014093036A publication Critical patent/JP2014093036A/ja
Application granted granted Critical
Publication of JP5787099B2 publication Critical patent/JP5787099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256—User feedback, e.g. print preview, test print, proofing, pre-flight checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/128—Direct printing, e.g. sending document file, using memory stick, printing from a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
    • H04N1/00251—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector with an apparatus for taking photographic images, e.g. a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00493—Particular location of the interface or console
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00501—Tailoring a user interface [UI] to specific requirements
    • H04N1/00503—Customising to a particular machine or model, machine function or application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • H04N1/00803—Presence or absence of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • H04N1/00806—According to type of the original, e.g. colour paper or transparency, or reading a plurality of different types of original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00801—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
    • H04N1/00809—Orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00811—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to user specified instructions, e.g. user selection of reading mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00814—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to a detected condition or state of the reading apparatus, e.g. temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795—Reading arrangements
    • H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
    • H04N1/00824—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity for displaying or indicating, e.g. a condition or state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2158—Intermediate information storage for one or a few pictures using a detachable storage unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2323—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity according to characteristics of the reproducing medium, e.g. type, size or availability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2346—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity according to a detected condition or state of the reproducing device, e.g. temperature or ink quantity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/23—Reproducing arrangements
    • H04N1/2307—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity
    • H04N1/2392—Circuits or arrangements for the control thereof, e.g. using a programmed control device, according to a measured quantity for displaying or indicating, e.g. a condition or state
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Facsimiles In General (AREA)

Description

本発明は、機器を使用するユーザに案内情報を表示する案内情報表示装置に関する。
ヘッドマウントディスプレイにカメラを搭載し、このカメラが撮影している画像からユーザが注視している対象物を特定し、該対象物に関連した情報をリアルタイムにディスプレイ表示する表示装置が各種提案されている。
たとえば、下記特許文献１には、利用者の頭部の姿勢が変化しても、利用者が注視している対象物を精度よく特定できるように、頭部の姿勢および視線方向の検出結果と視界同調カメラの画像情報とから、注視対象物を特定して関連情報を表示する眼鏡型表示装置が開示されている。
また、下記特許文献２には、装置の組み立て作業を支援する作業支援システムにおいて、次の作業に係る部品をマニュアルから特定し、その部品の画像をヘッドマウントディスプレイに表示し、その後、作業者が手に取った部品を検出し、その部品が不適切な場合に警告表示を行うことが開示されている。
下記特許文献３には、ユーザの位置を検出するＧＰＳ受信機（位置検出手段）と、ユーザの視線上の物体を認識する視線検知センサ（認識手段）とを備え、ＧＰＳ受信機（位置検出手段）で検出された位置と視線検知センサ（認識手段）によって認識した物体とに関連する付加情報をユーザに伝達する眼鏡型表示装置が開示されている。
特開２０１２−００８２９０号公報 特開２０１０−２１１６２３号公報 特開２００５−３７１８１号公報
従来の眼鏡型表示装置による関連情報の表示は、ユーザが注視している対象物を特定し、その特定した対象物に関連する情報を表示する。
しかし、その対象物が何らかの機器や装置で使用される物である場合には、対象物を注視しただけで関連情報を表示すると、適切な情報を表示できないことがある。
たとえば、ユーザが注視した対象物を所定の機器で使用する際の案内情報等は、その対象物をその機器で実際に使用するときに必要になるので、ユーザがその対象物を注視した段階で情報を表示しても、時期が不適切で有効でないことがある。
また、ユーザの注視した対象物を利用可能な機器が複数種類ある場合には、対象物が特定されただけではユーザに提供すべき情報を確定できない。また、同じ機器に対しても、その機器の状態に応じてユーザに提供すべき適切な情報が変化することもある。
なお、ユーザの注視した対象物に基づいて情報を表示する場合に限らず、ユーザの意図を推定可能な何らかの行動を検出し、これに関連する情報を提供するような場合にも、同様の問題が生じる。
本発明は、上記の問題を解決しようとするものであり、機器を使用するユーザにとって有用な情報を適切なタイミングで表示することのできる案内情報表示装置を提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
［１］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記カメラ部により撮影された操作対象機器と、前記操作対象機器に使用され当該操作対象機器とは異なるものに基づいて前記行動検出部が検出する前記特定行動との組み合わせに対応する案内情報を、前記操作対象機器が撮影されたとき、かつ、前記特定行動が検出されたときに、前記表示部に表示させる制御部と、
を有する
ことを特徴とする案内情報表示装置。
上記発明では、特定行動が検出され、かつ、カメラ部で特定の操作対象機器が撮影されたとき、検出された特定行動と撮影された操作対象機器との組み合わせに対応する案内情報が表示部に表示される。
［２］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
通信部と、
前記カメラ部で操作対象機器が撮影されたときに、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、外部メモリをユーザが持つまたは注視する行動と外部メモリの接続Ｉ／Ｆ部を備えた操作対象機器の組み合わせである場合に、前記通信部を使用して前記操作対象機器の前記接続Ｉ／Ｆ部に関する情報を取得し、この取得した情報に応じた案内情報を前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、案内情報表示装置は、外部メモリをユーザが持つまたは注視する（じっと見る）特定行動が検出され、カメラ部によって外部メモリの接続Ｉ／Ｆ部を備えた操作対象機器が撮影された場合に、その撮影された操作対象機器と通信して、外部メモリの接続Ｉ／Ｆ部に関する情報、たとえば、接続Ｉ／Ｆ部の位置や使用状況を示す情報を取得し、この取得した情報に応じた案内情報を提供する。
［３］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、白紙の用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記白紙の用紙のサイズに対応した給紙トレイの位置を、前記案内情報として前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、白紙の用紙をユーザが持つまたは注視する特定行動が検出され、カメラ部によって画像形成装置が撮影された場合に、白紙の用紙のサイズに適合する給紙トレイの位置が案内情報として表示される。
［４］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、両面原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合に、両面読み取りの設定に関する案内情報を前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、両面原稿をユーザが持つまたは注視する行動が特定行動として検出され、両面原稿を光学的に読み取る機能を備えた読取装置が撮影された場合に、両面読み取りの設定に関する案内情報が表示される。
［５］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合であって、片面／両面について、前記原稿と、前記読取装置での原稿の読み取り設定とが不一致の場合にのみ、前記読み取り設定の切り替えに関する案内情報を前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、片面／両面について、ユーザが持ったまたは注視した原稿と、読取装置での原稿の読み取り設定とが不一致の場合にのみ、読み取り設定の切り替えに関する案内情報が表示される。
［６］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、レターヘッド用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせであり、かつ撮影された箇所が前記画像形成装置の給紙トレイである場合に、その給紙トレイへの前記レターヘッド用紙の正しいセットの仕方に関する案内情報を前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、レターヘッド用紙をユーザが持つまたは注視する行動が特定行動として検出され、用紙に画像を印刷する機能を備えた画像形成装置の給紙トレイが撮影された場合に、その給紙トレイへのそのレターヘッド用紙の正しいセットの仕方が案内表示される。
［７］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿を光学的に読み取る機能を備えた読み取り装置のプラテンガラス上に２枚の原稿を順に並置しようとする行動と前記読み取り装置の組み合わせである場合に、前記特定行動の検出時に前記カメラ部によって撮影された１枚目の原稿の向きに応じて、該１枚目の原稿と２枚目の原稿の天地を一致させるための前記２枚目の原稿のセットの仕方を前記案内情報として前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、案内情報表示装置は、プラテンガラス上に２枚の原稿を順に並置しようとする特定行動が検出された場合に、その検出中にカメラ部によって撮影された画像からプラテンガラス上にセットされた１枚目の原稿の向きを特定し、該１枚目の原稿と２枚目の原稿の天地を一致させるための２枚目の原稿のセットの仕方を案内表示する。
［８］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、ステープラーまたはやクリップをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙を綴じることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の綴じる機能に関する案内情報を前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、案内情報表示装置は、ステープラーまたはやクリップをユーザが持つまたは注視する行動が特定行動として検出され、用紙に画像を印刷する機能を備えた画像形成装置が撮影された場合に、その画像形成装置で用紙を綴じることが可能か否かを判断し、可能と判断した場合は、その画像形成装置の綴じる機能に関する案内情報を表示する。
［９］表示部と、
カメラ部と、
ユーザの特定行動を検出する行動検出部と、
前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
を有し、
前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、穴あけ用のパンチをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙に穴をあけることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の穴あけ機能に関する案内情報を前記表示部に表示させる
ことを特徴とする案内情報表示装置。
上記発明では、案内情報表示装置は、穴あけ用のパンチをユーザが持つまたは注視する行動が特定行動として検出され、用紙に画像を印刷する機能を備えた画像形成装置が撮影された場合に、その画像形成装置で穴あけが可能か否かを判断し、可能と判断した場合は、その画像形成装置の穴あけ機能に関する案内情報を表示する。
［１０］前記表示部は、外界の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、
前記カメラ部は、前記ヘッドマウントディスプレイに設けられている
ことを特徴とする［１］乃至［９］のいずれか１つに記載の案内情報表示装置。
［１１］前記制御部は、前記表示部に前記案内情報を前記操作対象機器の実画像に重ねて表示させる
ことを特徴とする［１］乃至［１０］のいずれか１つに記載の案内情報表示装置。
上記発明では、操作対象機器の実画像（カメラ部で撮影されて表示部に表示された操作対象機器の画像もしくはハーフミラーを通して見える実物の操作対象機器）に重ねて案内情報が表示される。好ましくは、操作対象機器の位置や向きに位置合わせして案内情報が表示される。
［１２］前記制御部は、前記特定行動が検出された後前記操作対象機器が撮影されたときに、前記案内情報を前記表示部に表示させる
ことを特徴とする［１］乃至［１１］のいずれか１つに記載の案内情報表示装置。
［１３］前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応した案内情報であって前記操作対象機器の状態または撮影された箇所に応じた案内情報を前記表示部に表示させる
ことを特徴とする［１］乃至［１２］のいずれか１つに記載の案内情報表示装置。
上記発明では、検出された特定行動と、撮影された操作対象機器の状態あるいは撮影された箇所とに応じた案内情報が提供される。これにより、検出された特定行動が同一であっても、撮影された操作対象機器の状態や撮影された箇所に応じて異なる案内情報が表示される。
［１４］前記行動検出部は、前記カメラ部によって撮影された画像から前記特定行動を検出する
ことを特徴とする［１］乃至［１３］のいずれか１つに記載の案内情報表示装置。
［１５］前記特定行動は、前記操作対象機器の操作部に対する特定の入力操作である
ことを特徴とする［１］乃至［１４］のいずれか１つに記載の案内情報表示装置。
上記発明では、操作対象機器の操作部に対する特定のキー入力は、たとえば、カメラ部で撮影された画像を解析して検出する、あるいは、操作対象機器と通信してキー入力の内容を取得する。
［１６］前記特定行動は、前記ユーザの特定のジェスチャーである
ことを特徴とする［１］乃至［１４］のいずれか１つに記載の案内情報表示装置。
上記発明では、ユーザが何らかの対象物を手に持つ行動やその対象物を持って何かのアクションを行う、といったジェスチャーが特定行動として検出される。
［１７］前記行動検出部は、音声検出機能を備え、前記特定行動として特定の音声情報を前記音声検出機能によって検出する
ことを特徴とする［１］乃至［１３］のいずれか１つに記載の案内情報表示装置。
上記発明では、案内情報表示装置は、ユーザの発した音声情報から、ユーザの意図を認識する。
［１８］通信部を備え、
前記制御部は、前記通信部を使用して前記操作対象機器の状態に関する情報を取得する
ことを特徴とする［１３］に記載の案内情報表示装置。
［１９］前記制御部は、前記カメラ部によって撮影された前記操作対象機器の画像から前記操作対象機器の状態を認識する
ことを特徴とする［１３］に記載の案内情報表示装置。
［２０］前記制御部は、前記通信部を使用して前記接続Ｉ／Ｆ部の状況を示す情報を取得し、ユーザが持ったまたは注視した前記外部メモリを接続して使用可能な接続Ｉ／Ｆ部に関する情報を前記案内情報として前記表示部に表示させる
ことを特徴とする［２］に記載の案内情報表示装置。
上記発明では、たとえば、接続Ｉ／Ｆ部が複数ある場合に、空いている接続Ｉ／Ｆ部の位置等が案内表示される。
本発明に係る案内情報表示装置によれば、機器を使用するユーザにとって有用な情報を適切なタイミングで表示することができる。
本発明の実施の形態に係る案内情報表示装置が使用される情報システムの構成を示す図である。 操作対象機器の１つである画像処理装置の概略構成を示すブロック図である。 本発明の実施の形態に係る案内情報表示装置としてのヘッドマウントディスプレイ装置の概略構成（外観）を示す図である。 ヘッドマウントディスプレイ装置の構成を示すブロック図である。 本発明の実施の形態に係る案内情報表示装置としての携帯端末の概略構成を示すブロック図である。 ヘッドマウントディスプレイ装置の装着者がＵＳＢメモリを手に持ってこれを注視した後、画像処理装置を見た場合における案内情報の表示例を示す図である。 ヘッドマウントディスプレイ装置の装着者が白紙の用紙束を手に持ってこれを注視した後、画像処理装置を見た場合における案内情報の表示例を示す図である。 ヘッドマウントディスプレイ装置の装着者がＡ４サイズの白紙の用紙束を手に持ってこれを注視した後、画像処理装置を見た場合であって、Ａ４サイズの用紙が手差しトレイにセットされる場合の案内情報の表示例を示す図である。 ヘッドマウントディスプレイ装置の装着者が印字された原稿束を手に持ってこれを注視した後、画像処理装置の操作パネルを見た場合における案内情報の表示例を示す図である。 ヘッドマウントディスプレイ装置の装着者が印字された原稿束を手に持ってこれを注視した後、画像処理装置の操作パネルを見た場合における案内情報の表示例を示す図である。 ヘッドマウントディスプレイ装置の装着者がレターヘッド用紙を持ってこれを注視した後、画像処理装置の給紙トレイを見た場合における案内情報の表示例を示す図である。 ヘッドマウントディスプレイ装置が行う処理の全体を示す流れ図である。 撮影画像対応処理（図１２のステップＳ１０３）の詳細を示す流れ図である。 図１３の続きを示す流れ図である。 図１３の続きを示す流れ図である。 キー入力対応処理（図１２のステップＳ１０４）の詳細を示す流れ図である。 図１６の続きを示す流れ図である。 音声入力対応処理（図１２のステップＳ１０５）の詳細を示す流れ図である。
以下、図面に基づき本発明の実施の形態を説明する。
図１は、本発明の第１の実施の形態に係る案内情報表示装置が使用される情報システム３の構成を示している。情報システム３は、画像処理装置１０、画像読取装置４、ＰＣ（パーソナルコンピュータ）６などの操作対象機器と、これらの利用や操作に係る案内情報をユーザに提供する案内情報表示装置としてのヘッドマウントディスプレイ（ＨＭＤ）装置３０と、同じく案内情報表示装置としての携帯端末６０とをＬＡＮ（Local Area Network）などのネットワーク２に接続して構成される。ＬＡＮは有線でも無線でもよい。操作対象機器の種類や数や案内情報表示装置の種類や数は図１に例示したものに限定されない。案内情報表示装置はヘッドマウントディスプレイ装置３０と携帯端末６０のいずれか一方でもかまわない。
画像処理装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピー機能、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワーク２を通じて送信したりするスキャン機能、ＰＣ６などからネットワーク２を通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリンタ機能、ファクシミリ手順に従って画像データを送受信するファクシミリ機能などを備えた、所謂、複合機（ＭＦＰ）である。画像処理装置１０は、用紙に画像を印刷する機能を備えた画像形成装置としての機能を有する。
画像読取装置４は、原稿を光学的に読み取って対応する画像データを出力する装置（所謂、スキャナ）である。ＰＣ６は、各種のアプリケーションプログラムに基づいて動作するパーソナルコンピュータである。画像処理装置１０、画像読取装置４、ＰＣ６はいずれもＵＳＢ（Universal Serial Bus）メモリなどの外部メモリの接続Ｉ／Ｆ（Interface）部を備えている。
ヘッドマウントディスプレイ装置３０および携帯端末６０は、無線でネットワーク２と接続される。ヘッドマウントディスプレイ装置３０および携帯端末６０は、表示部と、カメラ部と、ユーザの特定行動を検出する行動検出部とを備えており、ユーザの意図を示す特定行動が検出され、かつカメラ部で特定の操作対象機器が撮影されたとき、その検出された特定行動と撮影された操作対象機器との組み合わせに対応する案内情報を表示部に表示する機能を備えている。
ヘッドマウントディスプレイ装置３０のカメラ部は、ユーザの視線のある方向を撮影する。携帯端末６０ではユーザが操作対象機器のガイド情報を欲しいときにその操作対象機器をユーザが携帯端末６０のカメラ部６６によって撮影するものとする。検出される特定行動は、原稿束や白紙の用紙をユーザが手に持っている、原稿束や白紙の用紙をユーザが注視する（じっと見る）、ＵＳＢメモリなど着脱可能な外部メモリをユーザが手に持っている、ＵＳＢメモリなど着脱可能な外部メモリをユーザが注視する、など予め定められたユーザの行動（特定のジェスチャー）である。例えば、ＵＳＢメモリを注視するという行動は、ユーザがＵＳＢメモリを使用して何らかの作業を行うつもりであるが、ユーザの両手がふさがっている場合（例えば、他の物を持っている場合や、他の装置（例えばＰＤＡ等）を操作している場合）に取られる。
たとえば、ヘッドマウントディスプレイ装置３０は、ユーザが原稿を手に取る行動をカメラ部の画像から検出し、その次にカメラ部で画像読取装置４が撮影されたとき、このユーザはこの原稿を画像読取装置４で読み取るであろうと判断し、画像読取装置４で原稿を読み取るための案内情報を当該ヘッドマウントディスプレイ装置３０の表示部に表示する、といった動作を行う。
図２は、画像処理装置１０の概略構成を示すブロック図である。画像処理装置１０は、当該画像処理装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、認証部１７と、複数の接続Ｉ／Ｆ部１８、操作部２０、表示部２１、ネットワーク通信部２２、無線通信部２３、画像読取部２４、画像処理部２５、プリンタ部２６、ファクシミリ通信部２７などが接続されている。
ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像処理装置１０の各機能が実現される。
ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。
不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、画像データなどのほか各種のプログラムやデータが記憶される。
画像読取部２４は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部２４は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部２４の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。また、原稿の表裏を自動的に反転させる機能を有し、これにより原稿の両面自動読み取りを可能にする。
画像読取部２４は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１６によって搬送される原稿を順次読み取る機能を備えている。最大でＡ３サイズの原稿まで読み取り可能であり、プラテンガラス上に原稿を載置して読み取る場合には、Ａ４原稿を２枚
並置して一度に読み取ることも可能になっている。
認証部１７は、画像処理装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。
接続Ｉ／Ｆ部１８は、外部メモリが着脱可能に接続される接続口であり、複数設けてある。接続される外部メモリの種類には、ＵＳＢメモリ、ＣＦ（CompactFlash(登録商標)）、ＳＤ（Secure Digital）メモリカードなどがある。
操作部２０と表示部２１はユーザからジョブ投入などの操作を受ける操作パネルを構成する。表示部２１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。操作部２０は、スタートボタンなどの各種操作スイッチと、表示部２１の物理的画面上に設けられたタッチパネルとを備えている。タッチパネルは、表示部２１の物理的画面がタッチペンや指などで接触操作された座標位置を検出する。
ネットワーク通信部２２は、ＬＡＮなどのネットワーク２を通じてＰＣ６や他のサーバなどの外部装置と通信する機能を果たす。ネットワーク通信部２２は、無線ＬＡＮの機能も有する。
無線通信部２３は、ヘッドマウントディスプレイ装置３０や携帯端末６０と無線通信する機能を果たす。無線通信部２３の通信可能距離は数ｍ程度で十分であり、通信方式には各種の近距離無線通信方式を採用することができる。ヘッドマウントディスプレイ装置３０や携帯端末６０との無線通信はネットワーク通信部２２を使用した無線ＬＡＮで行われてもよい。
画像処理部２５は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。
プリンタ部２６は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。プリンタ部２６は、複数の給紙トレイおよび手差しトレイを有し、選択された給紙トレイまたは手差しトレイから用紙を繰り出して印刷する。プリンタ部２６は、両面印刷機能を備える。
ファクシミリ通信部２７は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。
図３は、ヘッドマウントディスプレイ装置３０の概略構成を示している。ヘッドマウントディスプレイ装置３０は、眼鏡に類似した形を成しており、人の頭に装着されて使用される。本例のヘッドマウントディスプレイ装置３０は、外の様子にハーフミラーで画像を重ね合わせる方式（所謂、光透過型）を採用している。
ヘッドマウントディスプレイ装置３０は、装着時に装着者の左右の目の前にそれぞれ配置される表示部３１と、左右の表示部３１をそれらの間で繋ぐブリッジ３２と、ブリッジ３２で連結された左右の表示部３１の両脇から同一方向に延びて装着者の耳に引っ掛けられるツル３３などを備えている。
また、表示部３１の両脇には、制御回路、投影部４６、カメラ部４７などを含む基幹部３４が設けられている。また各表示部３１の前方に位置するようにハーフミラー３５が、左右の基幹部３４から延びる支持腕に支持されている。
ハーフミラー３５は前方から表示部３１に向けて入射する光Ｌ１に対して４５度の角度で傾斜して設けてあり、基幹部３４の投影部４６は、画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。ハーフミラー３５は透明基板（ガラス基板）に、反射膜（金属膜と誘電体膜）をコーティングして構成されている。ハーフミラー３５は、たとえば、透過と反射の光量比が１：１になっている。
ヘッドマウントディスプレイ装置３０の装着者の目は、外光Ｌ１と画像光Ｌ２とが１：１の割合で合成された光が表示部３１を通じて入射する。すなわち、ヘッドマウントディスプレイ装置３０の装着者は、外の様子と投影部４６が投影した画像とを半々の透過率で重ね合わせた様子を見る。
図４は、ヘッドマウントディスプレイ装置３０の構成を示すブロック図である。ヘッドマウントディスプレイ装置３０は、制御部としてのＣＰＵ４１にバスを介してＲＯＭ４２、ＲＡＭ４３、不揮発メモリ４４、方位センサー部４５、投影部４６、カメラ部４７、無線通信部４８、操作部４９、表示部３１、ネットワーク通信部５１、画像処理部５２、音声検出部５３、行動検出部５４などを接続して構成される。
ＣＰＵ４１はＲＯＭ４２に格納されているプログラムに従ってヘッドマウントディスプレイ装置３０の動作を制御する。ＲＯＭ４２にはプログラムや固定データが記憶されている。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ４４には、各種の設定情報が記憶される。
方位センサー部４５は、ヘッドマウントディスプレイ装置３０の向きや姿勢およびその変化を検出する。方位センサー部４５は、複数の地磁気センサと、複数の加速度センサを組み合わせて構成される。方位センサー部４５は、ヘッドマウントディスプレイ装置３０を装着している操作者の姿勢や操作者が向いている方向や角度（これらは、カメラ部４７が撮影している方向や向きと一致）を検出したり、ヘッドマウントディスプレイ装置３０が傾けられたりした場合の動作の向きや速さを検出したりして、その検出結果をＣＰＵ４１へ通知する。ＣＰＵ４１は、方位センサー部４５からの通知に基づいて、ヘッドマウントディスプレイ装置３０を装着している操作者の姿勢、角度、傾けられたりした動作の向きや速さを認識する。
投影部４６は前述したように、投影対象の画像（拡張現実感情報の画像光Ｌ２とする）をハーフミラー３５に向けて投影する。
カメラ部４７は、ヘッドマウントディスプレイ装置３０の前方を撮影する。より詳細には、装着者が前方を見たときの視野とほぼ同じ範囲を撮影する。カメラ部４７は、左右の基幹部３４にそれぞれ設けられてもよいし、いずれか一方のみに設けられてもよい。カメラ部４７は動画を撮影し、たとえば、毎秒３０フレームの画像を取り込む。
操作部４９は基幹部３４等に設けられたスイッチ等であり、投影画像の明るさなどの調整に使用される。
ネットワーク通信部５１は、無線ＬＡＮを含むネットワーク２を通じて画像処理装置１０などの操作対象機器や他の外部装置との間でデータを通信する機能を果たす。無線通信部４８は近くの操作対象機器（画像処理装置１０など）と近距離無線通信する機能を果たす。
画像処理部５２は、投影部４６からハーフミラー３５を介して表示部３１へ投影する画像の拡大・縮小、変形などを行う。
音声検出部５３は、操作者の音声等を検出する。行動検出部５４は、カメラ部４７の撮影した画像や音声検出部５３の検出した音声などからユーザ（ヘッドマウントディスプレイ装置３０を装着している操作者）が予め定めた特定の行動をとったか否かを判断して、特定行動を検出する。行動検出部５４の機能はＣＰＵ４１が果たしてもよい。
図５は、携帯端末６０の概略構成を示している。携帯端末６０は、ＣＰＵ６１にバスを介してＲＯＭ６２、ＲＡＭ６３、不揮発メモリ６４、方位センサー部６５、カメラ部６６、音声検出部６７、操作部６８、表示部６９、ネットワーク通信部７０、画像処理部７１、無線通信部７２、行動検出部７３などを接続して構成される。
ＣＰＵ６１はＲＯＭ６２に格納されているプログラムに従って携帯端末６０の動作を制御する。ＲＯＭ６２にはプログラムや固定データが記憶されている。ＲＡＭ６３はＣＰＵ６１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。不揮発メモリ６４には、各種の設定情報が記憶される。
方位センサー部６５は、携帯端末６０の向きや姿勢、およびそれらの変化を検出する。方位センサー部６５はヘッドマウントディスプレイ装置３０の方位センサー部４５と同様の構成である。カメラ部６６は携帯端末６０の裏面側に設けられて携帯端末６０の裏面が臨む方向を撮影する。カメラ部６６は動画を撮影でき、たとえば、毎秒３０フレームの画像を取り込む。
表示部６９は液晶ディスプレイなどで構成される。操作部６８は表示部６９の物理的画面上に設けられたタッチパネルなどで構成される。
ネットワーク通信部７０は、無線ＬＡＮを含むネットワーク２を通じて画像処理装置１０などの操作対象機器や他の外部装置との間でデータを通信する機能を果たす。無線通信部７２は近くの操作対象機器（画像処理装置１０など）と近距離無線通信する機能を果たす。
画像処理部７１は、画像データに対して、回転、拡大縮小、変形など各種の処理を施す。
音声検出部６７は、当該携帯端末６０を所持するユーザの音声等を検出する。行動検出部７３は、カメラ部６６の撮影した画像や音声検出部６７の検出した音声などからユーザが特定行動をとったか否かを判断して、特定行動を検出する。行動検出部７３の機能はＣＰＵ６１が果たしてもよい。
次に、案内情報表示装置の１つであるヘッドマウントディスプレイ装置３０における各種の案内情報の表示例を説明する。
図６は、ヘッドマウントディスプレイ装置３０の装着者がＵＳＢメモリを手に持ってこれを注視した後、画像処理装置１０を見た場合（カメラ部４７によって画像処理装置１０が撮影された場合）における案内情報の表示例を示している。なお、図６から図１１では、左側の表示部３１には、ユーザが見ている現実像を示し、右側の表示部３１には、現実像に投影部４６から投影した画像（案内情報）をハーフミラー３５によって重ね合わせた合成像を示す。
ユーザがＵＳＢメモリを注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、「ＵＳＢメモリを手に持って注視した」というユーザの特定行動を検出する。そして、「ＵＳＢメモリを検出しました」との案内情報を現実像（実画像）に重ねて表示する。この段階では、ＵＳＢメモリを使いたいというユーザの意図が認識される。
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０を注視したとき、ヘッドマウントディスプレイ装置３０は、カメラ部４７の撮影している画像からユーザが画像処理装置１０を見たという事実を検出する。そして、「ＵＳＢメモリを手に持って注視する」という特定行動と、その後に撮影された画像処理装置１０との組み合わせから、このユーザはＵＳＢメモリを使用してその撮影された画像処理装置１０で何らかの作業を行うであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
ここでは、ＵＳＢメモリの接続に関連する画像処理装置１０の状態を示す情報を画像処理装置１０と通信して取得し、該情報やユーザが見ている画像処理装置１０の箇所・位置に応じた案内情報を表示する。具体的には、画像処理装置１０と通信して、接続Ｉ／Ｆ部１８が設けられている位置の情報、ＵＳＢメモリに対応した接続Ｉ／Ｆ部１８の箇所や空き状況（使用／未使用）に係る情報を取得する。
同図（ｂ）に示すように、ユーザの見た箇所（カメラ部４７で撮影している箇所）が画像処理装置１０の正面の場合には、次にユーザは接続Ｉ／Ｆ部１８の場所を探すであろうと推定できるので、ヘッドマウントディスプレイ装置３０は、画像処理装置１０の本体の右側面に接続Ｉ／Ｆ部１８があることを示す案内情報を現実像に重ねて表示する。詳細には、画像を解析して、表示部３１の現実像における画像処理装置１０の位置や向きを特定し、案内情報が現実像に対して適切な位置に重ね合わさるように、案内情報の表示位置や表示サイズを調整して合成表示する。
その後、同図（ｃ）に示すように、ユーザが画像処理装置１０の右側に回って右側面を見たとき（カメラ部４７で画像処理装置１０の右側面が撮影されたとき）、次にユーザはＵＳＢメモリをどの接続Ｉ／Ｆ部１８に挿着すべきかを調べるであろう、と推定できる。そこで、ヘッドマウントディスプレイ装置３０は、複数設けられている接続Ｉ／Ｆ部１８のうち、どの接続口（接続Ｉ／Ｆ部１８）にＵＳＢメモリを装着して使用可能であるかを示す案内情報を現実像に重ねて表示する。同図（ｃ）に示す例では、接続可能なＵＳＢポートが１個あることを示すメッセージと、各接続口の現実像に重ね合わせて、それぞれの接続口にＵＳＢメモリを接続できるか否かを示すメッセージを表示している。
図７は、ヘッドマウントディスプレイ装置３０の装着者が白紙の用紙束を手に持ってこれを注視した後、画像処理装置１０を見た場合における案内情報の表示例を示している。
ユーザが白紙の用紙束を注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、ユーザが白紙の用紙束を持ったという特定行動を検出すると共に、その用紙サイズを検出する。そして、「白紙の用紙束（Ａ４サイズ）を検出しました」との案内情報を現実像に重ねて表示する。この段階では、白紙の用紙束を何かに使いたいというユーザの意図が認識される。
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０を注視したとき、カメラ部４７の撮影している画像からユーザが画像処理装置１０を注視したという事実を検出する。そして「白紙の用紙束を注視した」という特定行動と、その後に撮影された画像処理装置１０（用紙に画像を印刷する機能を有する装置）との組み合わせから、ヘッドマウントディスプレイ装置３０は、このユーザは白紙の用紙束を画像処理装置１０の給紙トレイにセットするであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
ここでは、画像処理装置１０と通信して、給紙トレイの位置の情報、各給紙トレイに収納すべき用紙サイズ、各給紙トレイの用紙残量などの情報を取得する。そしてヘッドマウントディスプレイ装置３０は、ユーザが手に持った白紙の束の用紙サイズ（Ａ４）に対応する給紙トレイの位置やその給紙トレイの用紙残量などを示す案内情報を現実像に重ねて表示する。
図８は、ヘッドマウントディスプレイ装置３０の装着者がＡ４サイズの白紙の用紙束を手に持ってこれを注視した後、画像処理装置１０を見た場合であって、Ａ４サイズの用紙が手差しトレイにセットされる場合の案内情報の表示例を示している。
ユーザが白紙の用紙束を注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、ユーザが白紙の用紙束を持ったという特定行動を検出すると共に、その用紙サイズを検出する。そして、「白紙の用紙束（Ａ４サイズ）を検出しました」との案内情報を現実像に重ねて表示する。この段階では、白紙の用紙束を何かに使いたいというユーザの意図が認識される。
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０を注視したとき、カメラ部４７の撮影している画像からユーザが画像処理装置１０を注視したという事実を検出する。そして「白紙の用紙束を注視した」という特定行動と、その後に撮影された画像処理装置１０との組み合わせから、ヘッドマウントディスプレイ装置３０は、このユーザは白紙の用紙束を画像処理装置１０の給紙トレイにセットするであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
ここでは、画像処理装置１０と通信して、給紙トレイや手差しトレイの位置の情報、各給紙トレイに収納すべき用紙サイズ、各給紙トレイの用紙残量などの情報を取得する。そして、各給紙トレイにはＡ４サイズ以外の用紙がセットされているという情報を画像処理装置１０から取得したものとする。この場合、ヘッドマウントディスプレイ装置３０は、ユーザが手に持っているＡ４サイズの白紙の束は手差しトレイにセットすべきと判断する。しかし、同図（ｂ）に示すように、ユーザの見ている箇所（カメラ部４７で撮影している箇所）は画像処理装置１０の正面なので、手差しトレイの場所をユーザに案内すべきと判断する。そして、Ａ４サイズの白紙の用紙は手差しトレイにセットすべきであることおよび手差しトレイの位置を示す案内情報を現実像に重ねて表示する。
その後、同図（ｃ）に示すように、ユーザが画像処理装置１０の右側に回って画像処理装置１０の右側面を見たとき（カメラ部４７で画像処理装置１０の右側面が撮影されたとき）、ヘッドマウントディスプレイ装置３０は、手差しトレイを開くように促すメッセージと、この現実像（画像処理装置１０の右側面）における手差しトレイの位置を指し示す案内情報を現実像に重ねて表示する。
図９、図１０は、ヘッドマウントディスプレイ装置３０の装着者が印字された原稿束を手に持ってこれを注視した後、画像処理装置１０の操作パネルを見た場合における案内情報の表示例を示している。ユーザが原稿束を注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、「印字された原稿束を手に持って注視した」というユーザの特定行動を検出すると共に、その原稿のサイズを検出する。そして、「印字された原稿束を検出しました」との案内情報を現実像に重ねて表示する。
続いて同図（ｂ）に示すように、カメラ部４７の撮影している画像から、ユーザが手に持った原稿束の用紙の裏面にも印刷されていることが確認できたとき、「印字された原稿束は両面に印字されています」との案内情報を現実像に重ねて表示する。
その後、操作対象機器である画像処理装置１０の操作パネルをユーザが注視したとき、ヘッドマウントディスプレイ装置３０は、カメラ部４７の撮影している画像からユーザが画像処理装置１０の操作パネルにおいてコピーの設定画面を注視したという事実を検出する。そして、「両面原稿を手に持った」という特定行動と、その後に撮影された画像処理装置１０およびその撮影箇所（操作パネルのコピー設定画面）の組み合わせに対応した案内情報として、図１０に示すように、コピーモードの印刷設定を両面印刷に切り替えることを推奨する案内情報を、現実像に重ねて表示する。ここでは、両面印刷に切り替えるための操作釦の箇所も案内表示している。
なお、コピーの設定では、原稿に関する片面／両面の設定と、用紙への印刷に関する片面／両面の設定とがあるので、案内情報では、その両者について両面設定に切り替えることを推奨してもよいし、少なくとも原稿に関してのみ両面設定に切り替えることを推奨してもよい。また、撮影箇所が操作パネルに表示された、スキャンモード（たとえば、Scan to HDD（Scam to Box））などの設定画面の場合には、原稿の読み取り設定を両面設定に切り替える旨の案内情報が表示される、もしくは、原稿の読み取り設定が自動的に両面に設定される。
図１１は、ヘッドマウントディスプレイ装置３０の装着者がレターヘッド用紙を持ってこれを注視した後、画像処理装置１０の給紙トレイを見た場合における案内情報の表示例を示している。ユーザがレターヘッド用紙を手に持って注視したとき（同図（ａ））、ヘッドマウントディスプレイ装置３０はカメラ部４７の撮影している画像を解析して、ユーザが「レターヘッド用紙を持って注視した」という特定行動を検出すると共に、その用紙サイズを検出する。そして、「レターヘッド用紙（Ａ４サイズ）を検出しました」との案内情報を現実像に重ねて表示する。
続いて同図（ｂ）に示すように、ユーザが操作対象機器である画像処理装置１０の給紙トレイを引き出したとき、カメラ部４７の撮影している画像からユーザが画像処理装置１０の給紙トレイを引き出したという事実を検出する。そして「レターヘッド用紙を持った」という特定行動と、その後に撮影された画像処理装置１０およびその箇所（給紙トレイ）との組み合わせから、ヘッドマウントディスプレイ装置３０は、このユーザはレターヘッド用紙をこの給紙トレイにセットするであろうとの意図を認識し、この組み合わせに対応した案内情報を表示する。
ここでは、用紙上のレターヘッドの印字されている位置および向きからこの給紙トレイにどのような向きでレターヘッド用紙をセットすべきかを判断し、その正しい向き（セットの仕方）を示す案内情報を現実像に重ねて表示する。ここでは、正しい向きのレターヘッド用紙の画像を、現実像の給紙カセットに重ね合わせて表示している。なお、レターヘッドはロゴなどの印字情報としての画像や文字を指し、レターヘッド用紙はレターヘッドの印字された用紙を指す。
このほか、以下のような動作も行う。
たとえば、外部メモリを装着後に、ユーザが印字された用紙（原稿）を手に持って注視している特定行動を検出した場合、または、外部メモリの装着後に、ユーザが原稿を画像読取部２４（ＡＤＦやプラテンガラス上）にセットしたことを検出した場合に、スキャンto外部メモリ機能に関する案内情報を表示する。
また、ユーザが原稿（用紙）を手に持っていないことが検出され、画像読取部２４（ＡＤＦやプラテンガラス上）に原稿（用紙）が未セットである事実が検出された場合に、現在の処理モード（印刷モード／送信モード／ボックスモードなど）で、外部メモリを利用した機能（印刷モード：ダイレクトプリント）に関する案内情報を表示するようにしてもよい。
検出された特定行動が、原稿を光学的に読み取る機能を備えた読取装置（画像処理装置１０または画像読取装置４）のプラテンガラス上に２枚の原稿を順に並置しようとする行動であり、カメラ部４７によって撮影された操作対象機器が原稿の読取装置である場合に、上記特定行動の検出時にカメラ部４７によって撮影された１枚目の原稿の向きに応じて、該１枚目の原稿と２枚目の原稿の天地を一致させるための２枚目の原稿のセットの仕方を、案内情報として表示する。
たとえば、カメラ部４７による撮影画像から、１枚目の原稿をユーザが手に持ったときの原稿の天地を判定（原稿内容から判定）し、その原稿がプラテンガラス上に裏返して載置されたときの天地方向を記憶する。次に、プラテンカバーを開いたままでユーザが２枚目の原稿を手に持ったとき、その２枚目の原稿の天地を判定する。その後、その２枚目の原稿がプラテンガラス上に裏返して載置されたとき、その原稿の天地方向が１枚目の原稿の天地方向と一致するか否かを判断し、不一致の場合には、天地方向が逆であって天地を反転して原稿を載置し直すべきことを示す案内情報を、現実像に重ね合わせて表示する。
また、検出された特定行動とカメラ部４７によって撮影された操作対象機器との組み合わせが、ステープラーまたはやクリップをユーザが持つという特定行動と、用紙に画像を印刷する機能を備えた画像処理装置１０の組み合わせである場合に、その画像処理装置１０と通信して綴じ機能に関する情報を取得して、その画像処理装置１０で用紙を綴じることが可能か否かを判断する。そして、画像処理装置１０で用紙を綴じることが可能と判断した場合は、画像処理装置１０の綴じる機能に関する案内情報を表示する。
たとえば、ユーザがステープラーを持った後、画像処理装置１０の正面を見た段階で、その画像処理装置１０に用紙をステープルで綴じる綴じ機能があることを示す案内情報を表示し、その後、ユーザが画像処理装置１０の操作パネルを見たとき、綴じ機能を設定するための操作案内を表示する。
また、検出された特定行動とカメラ部４７によって撮影された操作対象機器との組み合わせが、穴あけ用のパンチをユーザが持つという特定行動と、用紙に画像を印刷する機能を備えた画像処理装置１０の組み合わせである場合に、その画像処理装置１０と通信してパンチ機能に関する情報を取得し、その画像処理装置１０で用紙に穴あけが可能か否かを判断する。そして、可能と判断した場合は、画像処理装置１０のパンチ機能に関する案内情報を表示する。
たとえば、ユーザが穴あけ用のパンチを持った後、画像処理装置１０の正面を見た段階で、その画像処理装置１０にパンチ機能があることを示す案内情報を表示する。その後、ユーザが画像処理装置１０の操作パネルを見たとき、パンチ機能を設定するための操作案内を表示する。
特定行動の検出は、操作対象機器への何らかのキー入力であってもよい。あるいは、音声検出部５３によって検出されるユーザによる特定の音声情報（メッセージ）の発話でもよい。
キー入力を特定行動とする場合の例としては、たとえば、ユーザがＵＳＢメモリを持つという特定行動に代えて、ユーザがＵＳＢメモリなどの外部メモリを使用する機能の選択操作を操作パネルから入力したことを特定行動として検出する。その後、カメラ部４７の撮影画像から操作対象機器が画像処理装置１０であることを認識したとき、外部メモリの接続Ｉ／Ｆ部１８の位置やそれぞれの接続Ｉ／Ｆ部１８の使用・未使用に関する情報を画像処理装置１０から取得して、図６（ｂ）、（ｃ）のような案内情報を表示する。
外部メモリを使用する機能には、たとえば、読み取った原稿の画像データファイルを外部メモリに保存する「スキャンto外部メモリ機能」、外部メモリに保存されているファイルを印刷する「ダイレクトプリント機能」などがある。
また、電話回線を利用する機能、たとえば、Ｇ３ファクシミリ送信機能の選択操作をユーザが操作パネルから入力したことを特定行動として検出し、かつ、カメラ部４７の撮影画像から操作対象機器がファクシミリ送信機能を備えた画像処理装置１０等であることを認識したとき、電話線の接続状況や現在の電話回線の使用状態などに関する情報を画像処理装置１０から取得して、現在の画像処理装置１０の状況に応じたファクシミリ送信に関する案内情報を表示する。たとえば、電話線が電話回線の接続Ｉ／Ｆ部１８に接続されていない場合にはその旨の警告を表示する。
一方、ネットワーク通信を利用する機能、たとえば、インターネットファクシミリの送信機能の選択操作をユーザが操作パネルから入力したことを特定行動として検出し、かつ、カメラ部４７の撮影画像から操作対象機器がインターネットファクシミリ機能を備えた画像処理装置１０等であることを認識したとき、ネットワーク回線が接続Ｉ／Ｆ部１８に接続されているか等の情報を画像処理装置１０から取得して、現在の画像処理装置１０の状況に応じたインターネットファクシミリ送信に関する案内情報を表示する。たとえば、インターネット回線が接続Ｉ／Ｆ部１８に接続されていない場合にはその旨の警告を表示する。
特定の音声情報の検出により、上記のキー入力操作と同様のユーザの意図を認識して案内情報を表示してもよい。たとえば、「Ｇ３ファクシミリ送信を選択」といった音声情報の入力を先ほどの機能釦の選択と同様に扱って動作すればよい。
ヘッドマウントディスプレイ装置３０では現実像に案内情報を重ねて表示するが、案内情報表示装置が携帯端末６０の場合には、カメラ部６６が撮影している画像に案内情報を重ねあわせて表示する。たとえば、カメラ部６６で撮影されて表示部６９に表示されている操作対象機器の画像（実画像）に重ねて案内情報を、位置合わせやサイズ調整して、表示する。
次に、案内情報表示装置であるヘッドマウントディスプレイ装置３０の動作を流れ図に基づいて説明する。なお、案内情報表示装置である携帯端末６０についても同様の動作となる。
図１２は、ヘッドマウントディスプレイ装置３０が行う処理の全体を示す流れ図である。ヘッドマウントディスプレイ装置３０のＣＰＵ４１は、行動検出部５４が予め定めた特定行動を検出したか否かを監視し（ステップＳ１０１；Ｎｏ）、特定行動が検出されたら（ステップＳ１０１；Ｙｅｓ）、その特定行動の検出タイプを判別する（ステップＳ１０２）。検出された特定行動がカメラ画像から特定される特定行動の場合は（ステップＳ１０２；カメラ画像）、撮影画像からユーザの意図を解析して案内情報を表示する撮影画像対応処理を実行する（ステップＳ１０３）。特定行動の検出に使用した画像を第１の画像とする。
検出された特定行動がキー入力から特定される特定行動の場合は（ステップＳ１０２；キー入力）、キー入力からユーザの意図を解析して案内情報を表示するキー入力対応処理を実行する（ステップＳ１０４）。検出された特定行動が音声情報から特定される特定行動の場合は（ステップＳ１０２；音声入力）、入力された音声情報からユーザの意図を解析して案内情報を表示する音声入力対応処理を実行する（ステップＳ１０５）。
図１３、図１４、図１５は、撮影画像対応処理（図１２のステップＳ１０３）の詳細を示す流れ図である。ヘッドマウントディスプレイ装置３０のＣＰＵ４１はカメラ部４７によって撮影された第１の画像を解析し（ステップＳ１１１）、撮影対象物（注視対象物）を特定して（ステップＳ１１２）、それが何かを認識する（ステップＳ１１３）。たとえば、ＵＳＢメモリ、白紙の用紙など、ユーザが注視したものを撮影対象物として認識する。そして、その撮影対象物に係る情報（動画像、静止画像、名称など）を記憶する（ステップＳ１１４）。
次に、操作対象機器がカメラ部４７によって撮影されたら（ステップＳ１１５；Ｙｅｓ）、先ほどの撮影対象物の種類を識別する（ステップＳ１１６）。撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）が外部メモリならば（ステップＳ１１７）、外部メモリとＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器における接続Ｉ／Ｆ部の位置や使用・未使用に関する情報を取得し（ステップＳ１１８）、外部メモリの接続Ｉ／Ｆ部の位置や空き状況に関する案内情報を表示して（ステップＳ１１９）、本処理を終了する。
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）が白紙の用紙ならば（ステップＳ１２０）、白紙の用紙とＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から各給紙トレイの位置、収納すべき用紙サイズに関する情報を取得する（ステップＳ１２１）。そして、白紙の用紙のサイズに一致する給紙トレイの有無および場所を確認する（ステップＳ１２２）。収納すべき用紙サイズが白紙の用紙サイズと一致する給紙トレイがあれば（ステップＳ１２３；Ｙｅｓ）、その一致した給紙トレイを示す案内情報を、撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ１２４）、本処理を終了する。
収納すべき用紙サイズが白紙の用紙サイズと一致する給紙トレイがなければ（ステップＳ１２３；Ｎｏ）、手差しトレイに用紙をセットすべきことや、手差しトレイの位置に関する案内情報を、撮影されている操作対象機器の現実像に重ね合わせる等して表示し（ステップＳ１２５）、本処理を終了する。
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）が印字された用紙ならば（ステップＳ１２６）、印字された用紙とＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。詳細には、撮影された箇所が給紙トレイか否かを判断し（図１４、ステップＳ１２７）、給紙トレイならば（ステップＳ１２７；Ｙｅｓ）、印字された用紙はレターヘッド用紙であると判断する（ステップＳ１２８）。そして、撮影された給紙トレイに対するこのレターヘッド用紙の正しいセット方向に関する案内情報を、撮影されている給紙トレイの現実像に重ね合わせて表示して（ステップＳ１２９）、本処理を終了する。
撮影された箇所が操作対象機器の画像読取部ならば（ステップＳ１３０；Ｙｅｓ）、その操作対象機器と通信して、あるいはその操作対象機器の操作パネルが撮影された場合は画像を解析して、現在のその操作対象機器における原稿の読取設定に関する情報を取得する（ステップＳ１３１）。次に、第１の画像あるいはその後に撮影された画像から、印字された用紙が両面原稿か否かを判断し（ステップＳ１３２）、両面原稿であれば（ステップＳ１３２；Ｙｅｓ）、印字された用紙（両面原稿）と、操作対象機器における原稿の読取設定とが一致するか否かを調べる（ステップＳ１３３）。不一致の場合は（ステップＳ１３３；Ｎｏ）、両面読取（あるいは両面印刷）設定への切り替え操作を案内表示し（ステップＳ１３４、ステップＳ１３７へ移行する。一致する場合は（ステップＳ１３３；Ｙｅｓ）、案内表示を行わずに、ステップＳ１３７へ移行する。
片面原稿であれば（ステップＳ１３２；Ｎｏ）、印字された用紙（片面原稿）と、操作対象機器における原稿の読取設定とが一致するか否かを調べる（ステップＳ１３５）。不一致の場合は（ステップＳ１３５；Ｎｏ）、片面読取（あるいは片面印刷）設定への切り替え操作を案内表示し（ステップＳ１３６）、ステップＳ１３７へ移行する。一致する場合は（ステップＳ１３５；Ｙｅｓ）、案内表示を行わずに、ステップＳ１３７へ移行する。
ステップＳ１３７では、その後に撮影された画像から画像読取部に次の原稿がセットされたか否かを判断し、次の原稿がセットされたら（ステップＳ１３７；Ｙｅｓ）、ステップＳ１３０に戻って処理を継続する。
次の原稿がセットされない場合は（ステップＳ１３７；Ｎｏ）、プラテンガラス上に複数枚の原稿がセットされたか否かを撮影画像から判断し（ステップＳ１３８）、セットされなければ（ステップＳ１３８；Ｎｏ）、本処理を終了する。
プラテンガラス上に複数枚の原稿がセットされた場合は（ステップＳ１３８；Ｙｅｓ）、セットされた複数枚の原稿の天地が一致しているか否かを判断し（ステップＳ１３９）、一致していれば（ステップＳ１３９；Ｙｅｓ）、本処理を終了する。一致していなければ（ステップＳ１３９；Ｎｏ）、天地が一致するように原稿のセット方向を案内表示して（ステップＳ１４０）本処理を終了する。
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）がステープラーならば（図１３、ステップＳ１４２）、ステープラーとＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から綴じ機能に関する情報を取得する（図１５、ステップＳ１４３）。その操作対象機器に綴じ機能がなければ（ステップＳ１４４；Ｎｏ）、本処理を終了する。一方、その操作対象機器が綴じ機能を有する場合は（ステップＳ１４４；Ｙｅｓ）、その操作対象機器で綴じ機能を使用するための操作の案内情報を表示して（ステップＳ１４５）、本処理を終了する。
撮影対象物（ユーザが手に取って注視したもの又はユーザが手に持たずに顔を近づける等してじっと見たもの）がパンチならば（図１３、ステップＳ１５０）、パンチとＳ１１５で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ１１５で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器からパンチ機能に関する情報を取得する（図１５、ステップＳ１５１）。その操作対象機器にパンチ機能がなければ（ステップＳ１５２；Ｎｏ）、本処理を終了する。一方、その操作対象機器がパンチ機能を有する場合は（ステップＳ１５２；Ｙｅｓ）、その操作対象機器でパンチ機能を使用するための操作の案内情報を表示して（ステップＳ１５３）、本処理を終了する。
図１６、図１７は、キー入力対応処理（図１２のステップＳ１０４）の詳細を示す流れ図である。ＣＰＵ４１はカメラ部４７によって撮影された第１の画像からキー入力の内容を解析し（ステップＳ２０１）、そのキー入力の内容、たとえば、機器の機能を選択する機能釦が操作された場合に、その機能釦の内容を認識して記憶する（ステップＳ２０２）。キー入力の内容は、操作対象機器から通信により取得してもよい。
次に、操作対象機器がカメラ部４７によって撮影されたら（ステップＳ２０３；Ｙｅｓ）、先ほどのキー入力の種類を識別する（ステップＳ２０４）。キー入力の内容が外部メモリを利用する機能釦ならば（ステップＳ２０５）、その機能釦とＳ２０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ２０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器における外部メモリの接続Ｉ／Ｆ部の位置や使用・未使用に関する情報を取得し（ステップＳ２０６）、外部メモリの接続Ｉ／Ｆ部の位置や空き状況に関する案内情報を表示して（ステップＳ２０７）、本処理を終了する。外部メモリを利用する機能釦としては、たとえば、スキャンto外部メモリ機能やダイレクトプリント機能の機能釦がある。
キー入力の内容が電話回線を利用する機能釦、たとえば、Ｇ３ファクシミリ送信を選択する機能釦ならば（ステップＳ２０８）、その機能釦とＳ２０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。すなわち、Ｓ２０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から電話回線の接続状況、電話回線の接続Ｉ／Ｆ部の情報などを取得する（ステップＳ２０９）。
そしてこの情報を元に、たとえば、電話回線の接続Ｉ／Ｆ部に電話線が接続されているか否かを判断する（ステップＳ２１０）。接続されていれば（ステップＳ２１０；Ｙｅｓ）、電話回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ２１１）、本処理を終了する。電話回線の接続Ｉ／Ｆ部に電話線が接続されていない場合は（ステップＳ２１０；Ｎｏ）、電話線が電話回線の接続Ｉ／Ｆ部に接続されていない旨および電話回線の接続Ｉ／Ｆ部の位置などの案内情報を表示して（ステップＳ２１２）、本処理を終了する。
キー入力の内容がネットワーク回線を利用する機能釦、たとえば、インターネットファクシミリの送信を選択する機能釦ならば（ステップＳ２１３）、その機能釦とＳ２０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ２０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器からネットワーク回線の接続状況、ネットワーク回線の接続Ｉ／Ｆ部の情報などを取得する（図１７、ステップＳ２１４）。そしてこの情報を元に、たとえば、接続Ｉ／Ｆ部にネットワーク回線が接続されているか否かを判断する（ステップＳ２１５）。接続されていれば（ステップＳ２１５；Ｙｅｓ）、ネットワーク回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ２１６）、本処理を終了する。
接続Ｉ／Ｆ部にネットワーク回線が接続されていない場合は（ステップＳ２１５；Ｎｏ）、ネットワーク回線が接続Ｉ／Ｆ部に接続されていない旨、およびネットワーク回線の接続Ｉ／Ｆ部の位置などに関する案内情報を表示して（ステップＳ２１７）、本処理を終了する。
キー入力の内容がその他の機能釦（図１６、ステップＳ２１８）であれば、案内表示を行うことなく処理を終了する。
図１８は、音声入力対応処理（図１２のステップＳ１０５）の詳細を示す流れ図である。ＣＰＵ４１は、音声検出部５３によって検出された音声情報を解析し（ステップＳ３０１）、その解析結果（音声情報の内容）、たとえば、機能釦を選択する音声指示が入力された場合にその指示内容を認識して記憶する（ステップＳ３０２）。
次に、操作対象機器がカメラ部４７によって撮影されたら（ステップＳ３０３；Ｙｅｓ）、先ほどの音声情報の内容の種類を識別する（ステップＳ３０４）。音声情報の内容が外部メモリを利用する機能釦を選択する指示ならば（ステップＳ３０５）、その機能釦とＳ３０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ３０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器における外部メモリの接続Ｉ／Ｆ部の位置や使用・未使用に関する情報を取得し（ステップＳ３０６）、外部メモリの接続Ｉ／Ｆ部の位置や空き状況に関する案内情報を表示して（ステップＳ３０７）、本処理を終了する。
音声情報の内容が電話回線を利用する機能釦（たとえば、Ｇ３ファクシミリ送信の機能釦）を選択する指示ならば（ステップＳ３０８）、その機能釦とＳ３０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ３０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器から電話回線の接続状況、電話回線の接続Ｉ／Ｆ部の情報などを取得する（ステップＳ３０９）。そしてこの情報を元に、たとえば、電話回線の接続Ｉ／Ｆ部に電話線が接続されているか否かを判断する（ステップＳ３１０）。
接続されていれば（ステップＳ３１０；Ｙｅｓ）、電話回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ３１１）、本処理を終了する。電話回線の接続Ｉ／Ｆ部に電話線が接続されていない場合は（ステップＳ３１０；Ｎｏ）、電話線が電話回線の接続Ｉ／Ｆ部に接続されていない旨および電話回線の接続Ｉ／Ｆ部の位置などの案内情報を表示して（ステップＳ３１２）、本処理を終了する。
音声情報の内容がネットワーク回線を利用する機能釦（たとえば、インターネットファクシミリ送信の機能釦）を選択する指示ならば（図１８、ステップＳ３１３）、その機能釦とＳ３０３で撮影された操作対象機器との組み合わせに対応する案内情報を表示する。
すなわち、Ｓ３０３で撮影された操作対象機器を特定し、その操作対象機器と通信して、その操作対象機器からネットワーク回線の接続状況、ネットワーク回線の接続Ｉ／Ｆ部の情報などを取得する（図１７、ステップＳ２１４）。そしてこの情報を元に、たとえば、接続Ｉ／Ｆ部にネットワーク回線が接続されているか否かを判断する（ステップＳ２１５）。
接続されていれば（ステップＳ２１５；Ｙｅｓ）、ネットワーク回線を利用した機能が利用可能である旨を撮影されている操作対象機器の現実像に重ね合わせて表示して（ステップＳ２１６）、本処理を終了する。接続Ｉ／Ｆ部にネットワーク回線が接続されていない場合は（ステップＳ２１５；Ｎｏ）、ネットワーク回線が接続Ｉ／Ｆ部に接続されていない旨、およびネットワーク回線の接続Ｉ／Ｆ部の位置などに関する案内情報を表示して（ステップＳ２１７）、本処理を終了する。
音声情報の内容がその他の機能釦（図１８、ステップＳ３１４）の選択指示等であれば、案内表示を行うことなく処理を終了する。
このように、本発明に係る案内情報表示装置（ヘッドマウントディスプレイ装置３０や携帯端末６０）では、ユーザの特定行動を検出してユーザの意図を認識し、かつ、カメラ部で操作対象機器が撮影された際に、その検出された特定行動と撮影された操作対象機器との組み合わせに対応する案内情報をユーザに提供するので、適切な案内情報を適切なタイミングでユーザに提供することができる。
また、検出された特定行動に関連する情報を、撮影された操作対象機器と通信して取得し、この取得した情報に基づいて案内情報を表示するので、現在の操作対象機器の状態に合致した案内情報を適用することができる。
また、検出された特定行動と、撮影された操作対象機器の箇所（部位）との組み合わせに対応した案内情報を表示するので、より細かくユーザの意図を特定して、その意図に対応した適切な案内情報を提供することができる。
以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
実施の形態では、画像処理装置１０が操作対象機器として撮影された場合の動作を例に説明したが、他の操作対象機器が撮影された場合には、その操作対象機器と検出された特定行動との組み合わせに対応した案内情報が表示される。すなわち、検出された特定行動が同一であっても、表示される案内情報は、撮影された操作対象機器に応じて切り替えられる。たとえば、外部メモリを手に持って注視する特定行動が検出された後に撮影された操作対象機器がＰＣ６の場合には、ＰＣ６における外部メモリの接続Ｉ／Ｆ部に関する案内情報が表示される。
また、両面原稿を手に持って注視する特定行動が検出された後、自動両面読み取り機能のない画像読取装置４が操作対象機器として撮影された場合には、原稿を裏返して手動で両面原稿を読み取るための操作の案内情報や、両面原稿の自動読取機能を有する他の機器（たとえば、画像処理装置１０）で作業を行うことを推奨する案内情報を表示するなどしてもよい。
実施の形態では、操作対象機器として画像処理装置１０、画像読取装置４、ＰＣ６を例に説明したが、操作対象機器は他の機器であってもかまわない。なお、操作対象機器は特定の一の機器に限定されていてもよい。たとえば、案内情報を表示する対象機器は画像処理装置１０のみに限定されていてもよい。この場合、特定行動が検出されたのち、画像処理装置１０が撮影されたタイミングで、その特定行動に関連付けされている案内情報が表示されるので、適切なタイミングで案内情報を提供することができる。また、この際、画像処理装置１０の撮影された箇所や画像処理装置１０の状況に応じて表示する案内情報を切り替えることで、より有効な情報をユーザに提供することができる。
実施の形態では、外の様子にハーフミラー３５で画像を重ね合わせる方式のヘッドマウントディスプレイ装置３０を採用したが、装着すると外の様子を見ることができず、映し出される画像のみが見える、ＶＲ（Virtual Reality）型のヘッドマウントディスプレイであってもよい。この場合は携帯端末６０と同様にカメラ画像に案内情報を合成した画像を表示すればよい。
２…ネットワーク
３…情報システム
４…画像読取装置
６…ＰＣ
１０…画像処理装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置（ＨＤＤ）
１６…自動原稿搬送部（ＡＤＦ）
１７…認証部
１８…接続Ｉ／Ｆ部
２０…操作部
２１…表示部
２２…ネットワーク通信部
２３…無線通信部
２４…画像読取部
２５…画像処理部
２６…プリンタ部
２７…ファクシミリ通信部
３０…ヘッドマウントディスプレイ装置（案内情報表示装置）
３１…表示部
３２…ブリッジ
３３…ツル
３４…基幹部
３５…ハーフミラー
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…方位センサー部
４６…投影部
４７…カメラ部
４８…無線通信部
４９…操作部
５１…ネットワーク通信部
５２…画像処理部
５３…音声検出部
５４…行動検出部
６０…携帯端末（案内情報表示装置）
６１…ＣＰＵ
６２…ＲＯＭ
６３…ＲＡＭ
６４…不揮発メモリ
６５…方位センサー部
６６…カメラ部
６７…音声検出部
６８…操作部
６９…表示部
７０…ネットワーク通信部
７１…画像処理部
７２…無線通信部
７３…行動検出部
Ｌ１…外光
Ｌ２…画像光

Claims (20)

  1. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記カメラ部により撮影された操作対象機器と、前記操作対象機器に使用され当該操作対象機器とは異なるものに基づいて前記行動検出部が検出する前記特定行動との組み合わせに対応する案内情報を、前記操作対象機器が撮影されたとき、かつ、前記特定行動が検出されたときに、前記表示部に表示させる制御部と、
    を有する
    ことを特徴とする案内情報表示装置。
  2. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    通信部と、
    前記カメラ部で操作対象機器が撮影されたときに、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、外部メモリをユーザが持つまたは注視する行動と外部メモリの接続Ｉ／Ｆ部を備えた操作対象機器の組み合わせである場合に、前記通信部を使用して前記操作対象機器の前記接続Ｉ／Ｆ部に関する情報を取得し、この取得した情報に応じた案内情報を前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  3. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、白紙の用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記白紙の用紙のサイズに対応した給紙トレイの位置を、前記案内情報として前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  4. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、両面原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合に、両面読み取りの設定に関する案内情報を前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  5. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿をユーザが持つまたは注視する行動と両面原稿を光学的に読み取る機能を備えた読取装置の組み合わせである場合であって、片面／両面について、前記原稿と、前記読取装置での原稿の読み取り設定とが不一致の場合にのみ、前記読み取り設定の切り替えに関する案内情報を前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  6. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、レターヘッド用紙をユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせであり、かつ撮影された箇所が前記画像形成装置の給紙トレイである場合に、その給紙トレイへの前記レターヘッド用紙の正しいセットの仕方に関する案内情報を前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  7. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、原稿を光学的に読み取る機能を備えた読み取り装置のプラテンガラス上に２枚の原稿を順に並置しようとする行動と前記読み取り装置の組み合わせである場合に、前記特定行動の検出時に前記カメラ部によって撮影された１枚目の原稿の向きに応じて、該１枚目の原稿と２枚目の原稿の天地を一致させるための前記２枚目の原稿のセットの仕方を前記案内情報として前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  8. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、ステープラーまたはやクリップをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙を綴じることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の綴じる機能に関する案内情報を前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  9. 表示部と、
    カメラ部と、
    ユーザの特定行動を検出する行動検出部と、
    前記行動検出部によって前記特定行動が検出され、かつ、前記カメラ部で特定の操作対象機器が撮影されたとき、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応する案内情報を前記表示部に表示させる制御部と、
    を有し、
    前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせが、穴あけ用のパンチをユーザが持つまたは注視する行動と用紙に画像を印刷する機能を備えた画像形成装置の組み合わせである場合に、前記画像形成装置で用紙に穴をあけることが可能か否かを判断し、可能と判断した場合は、前記画像形成装置の穴あけ機能に関する案内情報を前記表示部に表示させる
    ことを特徴とする案内情報表示装置。
  10. 前記表示部は、外界の様子にハーフミラーで画像を重ね合わせる方式のヘッドマウントディスプレイであり、
    前記カメラ部は、前記ヘッドマウントディスプレイに設けられている
    ことを特徴とする請求項１乃至９のいずれか１つに記載の案内情報表示装置。
  11. 前記制御部は、前記表示部に前記案内情報を前記操作対象機器の実画像に重ねて表示させる
    ことを特徴とする請求項１乃至１０のいずれか１つに記載の案内情報表示装置。
  12. 前記制御部は、前記特定行動が検出された後前記操作対象機器が撮影されたときに、前記案内情報を前記表示部に表示させる
    ことを特徴とする請求項１乃至１１のいずれか１つに記載の案内情報表示装置。
  13. 前記制御部は、前記検出された特定行動と前記撮影された操作対象機器との組み合わせに対応した案内情報であって前記操作対象機器の状態または撮影された箇所に応じた案内情報を前記表示部に表示させる
    ことを特徴とする請求項１乃至１２のいずれか１つに記載の案内情報表示装置。
  14. 前記行動検出部は、前記カメラ部によって撮影された画像から前記特定行動を検出する
    ことを特徴とする請求項１乃至１３のいずれか１つに記載の案内情報表示装置。
  15. 前記特定行動は、前記操作対象機器の操作部に対する特定の入力操作である
    ことを特徴とする請求項１乃至１４のいずれか１つに記載の案内情報表示装置。
  16. 前記特定行動は、前記ユーザの特定のジェスチャーである
    ことを特徴とする請求項１乃至１４のいずれか１つに記載の案内情報表示装置。
  17. 前記行動検出部は、音声検出機能を備え、前記特定行動として特定の音声情報を前記音声検出機能によって検出する
    ことを特徴とする請求項１乃至１３のいずれか１つに記載の案内情報表示装置。
  18. 通信部を備え、
    前記制御部は、前記通信部を使用して前記操作対象機器の状態に関する情報を取得する
    ことを特徴とする請求項１３に記載の案内情報表示装置。
  19. 前記制御部は、前記カメラ部によって撮影された前記操作対象機器の画像から前記操作対象機器の状態を認識する
    ことを特徴とする請求項１３に記載の案内情報表示装置。
  20. 前記制御部は、前記通信部を使用して前記接続Ｉ／Ｆ部の状況を示す情報を取得し、ユーザが持ったまたは注視した前記外部メモリを接続して使用可能な接続Ｉ／Ｆ部に関する情報を前記案内情報として前記表示部に表示させる
    ことを特徴とする請求項２に記載の案内情報表示装置。
JP2012244593A 2012-11-06 2012-11-06 案内情報表示装置 Active JP5787099B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012244593A JP5787099B2 (ja) 2012-11-06 2012-11-06 案内情報表示装置
EP13189682.1A EP2728846B1 (en) 2012-11-06 2013-10-22 Guidance information display device
US14/067,604 US9760168B2 (en) 2012-11-06 2013-10-30 Guidance information display device
CN201310535194.0A CN103813044B (zh) 2012-11-06 2013-11-01 引导信息显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012244593A JP5787099B2 (ja) 2012-11-06 2012-11-06 案内情報表示装置

Publications (2)

Publication Number Publication Date
JP2014093036A JP2014093036A (ja) 2014-05-19
JP5787099B2 true JP5787099B2 (ja) 2015-09-30

Family

ID=49546234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012244593A Active JP5787099B2 (ja) 2012-11-06 2012-11-06 案内情報表示装置

Country Status (4)

Country Link
US (1) US9760168B2 (ja)
EP (1) EP2728846B1 (ja)
JP (1) JP5787099B2 (ja)
CN (1) CN103813044B (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6201515B2 (ja) * 2013-08-19 2017-09-27 株式会社リコー 画像形成装置、画像形成方法、画像形成プログラム
JP2015118556A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション コントロールデバイスのための拡張現実オーバーレイ
US9430721B2 (en) * 2014-02-13 2016-08-30 Oce-Technologies B.V. System for displaying printer information
JP2015198327A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像読取装置、画像読取方法、及びコンピュータプログラム
JP6454991B2 (ja) * 2014-06-20 2019-01-23 コニカミノルタ株式会社 印刷条件設定装置、印刷条件設定システム、印刷条件設定方法
JP2016009228A (ja) * 2014-06-23 2016-01-18 コニカミノルタ株式会社 携帯端末、携帯端末の制御プログラム、及び、ネットワーク入出力システム
JP5989725B2 (ja) * 2014-08-29 2016-09-07 京セラドキュメントソリューションズ株式会社 電子機器及び情報表示プログラム
KR20160026574A (ko) * 2014-09-01 2016-03-09 삼성전자주식회사 웨어러블 디바이스를 이용하여 화상 형성 장치의 동작을 제어하는 방법 및 시스템.
DE102014217843A1 (de) * 2014-09-05 2016-03-10 Martin Cudzilo Vorrichtung zum Vereinfachen der Reinigung von Oberflächen und Verfahren zum Erfassen geleisteter Reinigungsarbeiten
US20160112421A1 (en) * 2014-10-20 2016-04-21 Xerox Corporation Method and apparatus for selective activation of universal serial bus (usb) ports
JP2016116066A (ja) * 2014-12-15 2016-06-23 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6740584B2 (ja) * 2015-09-15 2020-08-19 セイコーエプソン株式会社 表示システム、表示装置の制御方法、及び、プログラム
JP6241426B2 (ja) * 2015-01-26 2017-12-06 コニカミノルタ株式会社 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
JP2016138908A (ja) 2015-01-26 2016-08-04 セイコーエプソン株式会社 表示システム、可搬型表示装置、表示制御装置、表示方法
JP6600946B2 (ja) * 2015-01-28 2019-11-06 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP6464821B2 (ja) * 2015-02-27 2019-02-06 ブラザー工業株式会社 画像処理装置、および制御プログラム
US9378440B1 (en) * 2015-03-30 2016-06-28 Xerox Corporation System and method for reducing toner contamination on roll pair of an image forming apparatus
JP6299661B2 (ja) 2015-04-25 2018-03-28 京セラドキュメントソリューションズ株式会社 画像形成システムおよび推奨度表示プログラム
JP6295995B2 (ja) * 2015-04-28 2018-03-20 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
CN104834356B (zh) * 2015-05-06 2018-04-13 百度在线网络技术（北京）有限公司 头戴式设备及其视觉反馈的方法及装置
CN104850229B (zh) 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
US9661164B2 (en) * 2015-05-29 2017-05-23 Kabushiki Kaisha Toshiba Operation guiding apparatus and operation guiding method
US10591729B2 (en) 2015-05-29 2020-03-17 Kyocera Corporation Wearable device
JP6304145B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
JP6304144B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 操作システム
JP6693060B2 (ja) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
US10311617B2 (en) * 2015-08-25 2019-06-04 Ns Solutions Corporation Operation support device, operation support method, and non-transitory computer readable recording medium
JP6852673B2 (ja) * 2015-09-09 2021-03-31 ソニー株式会社 センサ装置、センサシステム及び情報処理装置
US20170308157A1 (en) * 2016-04-25 2017-10-26 Seiko Epson Corporation Head-mounted display device, display system, control method for head-mounted display device, and computer program
JP6493296B2 (ja) * 2016-04-28 2019-04-03 京セラドキュメントソリューションズ株式会社 作業支援システム
JP6729054B2 (ja) * 2016-06-23 2020-07-22 富士ゼロックス株式会社 情報処理装置、情報処理システムおよび画像形成装置
JP2018055633A (ja) * 2016-09-30 2018-04-05 シャープ株式会社 会話システム、端末装置、および、プログラム
CN107016452A (zh) * 2016-11-30 2017-08-04 阿里巴巴集团控股有限公司 基于增强现实的线下交互方法及装置
JP6628105B2 (ja) * 2017-03-22 2020-01-08 京セラドキュメントソリューションズ株式会社 画像形成システムおよび画像形成装置
JP6638687B2 (ja) * 2017-04-05 2020-01-29 京セラドキュメントソリューションズ株式会社 表示装置
JP6610602B2 (ja) * 2017-04-07 2019-11-27 京セラドキュメントソリューションズ株式会社 表示入力装置
JP2018181261A (ja) * 2017-04-21 2018-11-15 京セラドキュメントソリューションズ株式会社 表示装置
JP6822316B2 (ja) * 2017-05-23 2021-01-27 株式会社リコー 情報表示システム
JP6946853B2 (ja) * 2017-08-21 2021-10-13 富士フイルムビジネスイノベーション株式会社 画像処理装置
JP6972964B2 (ja) * 2017-11-27 2021-11-24 京セラドキュメントソリューションズ株式会社 画像形成装置及び画像形成システム
JP6822379B2 (ja) * 2017-10-31 2021-01-27 京セラドキュメントソリューションズ株式会社 画像形成装置、報知方法
WO2019150529A1 (ja) * 2018-02-01 2019-08-08 マクセル株式会社 携帯端末装置及び情報表示方法
EP3540588A1 (en) * 2018-03-16 2019-09-18 Oki Data Corporation Image processing method, image processing apparatus, and information processing terminal
JP7149092B2 (ja) * 2018-03-29 2022-10-06 サトーホールディングス株式会社 情報処理システム、情報処理方法、サーバ、及び、プログラム
JP7119588B2 (ja) * 2018-05-30 2022-08-17 京セラドキュメントソリューションズ株式会社 画像形成装置及び装置状態移行プログラム
JP6711379B2 (ja) * 2018-08-22 2020-06-17 セイコーエプソン株式会社 頭部装着型表示装置、コンピュータープログラム
CN111064852B (zh) * 2018-10-17 2024-04-05 富士胶片商业创新有限公司 图像处理装置
JP7278152B2 (ja) * 2019-06-03 2023-05-19 三菱電機株式会社 ソフトウェア操作支援システム
EP3994602A4 (en) * 2019-07-03 2022-06-15 Telefonaktiebolaget Lm Ericsson (Publ) COMPUTING DEVICE AND METHOD FOR TRACKING OBJECTS
JP7388097B2 (ja) * 2019-09-27 2023-11-29 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP7363399B2 (ja) * 2019-11-15 2023-10-18 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム、及び情報処理プログラム
CN111367453A (zh) * 2020-03-06 2020-07-03 广东小天才科技有限公司 一种自动触发引导程序的方法及电子设备
KR102577437B1 (ko) * 2020-08-26 2023-09-13 한국전자통신연구원 슬림형 몰입 디스플레이 장치 및 슬림형 가시화 장치
US11686927B2 (en) 2020-08-26 2023-06-27 Electronics And Telecommunications Research Institute Slim immersive display device and slim visualization device
US11449286B1 (en) * 2021-07-19 2022-09-20 Xerox Corporation Method and apparatus generate display mirror image of user interface and to print documents in a third-party application from a multi-function device
JP7374396B2 (ja) * 2021-10-25 2023-11-06 三菱電機株式会社 情報処理装置、情報処理方法、及び、情報処理プログラム
WO2023074148A1 (ja) * 2021-10-26 2023-05-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190640A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 情報表示方法および情報提供システム
JPH0981309A (ja) 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6272431B1 (en) * 1997-04-29 2001-08-07 Thomas Zamojdo Method for displaying a map in a vehicle en-route guidance system
US5950045A (en) * 1997-06-20 1999-09-07 Sharp Kabushiki Kaisha Input device
GB9807186D0 (en) * 1998-04-04 1998-06-03 Marconi Gec Ltd Display arrangements
EP1182541A3 (de) * 2000-08-22 2005-11-30 Siemens Aktiengesellschaft System und Verfahren zum kombinierten Einsatz verschiedener Display-/Gerätetypen mit systemgesteuerter kontextabhängiger Informationsdarstellung
US8050521B2 (en) * 2002-07-27 2011-11-01 Archaio, Llc System and method for simultaneously viewing, coordinating, manipulating and interpreting three-dimensional and two-dimensional digital images of structures for providing true scale measurements and permitting rapid emergency information distribution
US6744998B2 (en) * 2002-09-23 2004-06-01 Hewlett-Packard Development Company, L.P. Printer with video playback user interface
JP2005037181A (ja) * 2003-07-17 2005-02-10 Pioneer Electronic Corp ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法
US8442331B2 (en) * 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8838591B2 (en) * 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8600989B2 (en) * 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US20060103591A1 (en) * 2004-11-15 2006-05-18 Canon Kabushiki Kaisha Information processing apparatus and method for providing observer with information
JP4882285B2 (ja) * 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
US8011650B2 (en) * 2005-09-14 2011-09-06 Kyocera Mita Corporation Image forming apparatus using sheet post-processing information
WO2007066166A1 (en) * 2005-12-08 2007-06-14 Abb Research Ltd Method and system for processing and displaying maintenance or control instructions
WO2007085303A1 (en) * 2006-01-30 2007-08-02 Verigy (Singapore) Pte. Ltd. Information overlay system
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP4375403B2 (ja) * 2007-01-15 2009-12-02 コニカミノルタビジネステクノロジーズ株式会社 情報処理装置及び情報処理プログラム
JP2008201146A (ja) 2007-02-16 2008-09-04 Denso Corp 車両用操作案内装置
US20090073476A1 (en) * 2007-09-13 2009-03-19 Konica Minolta Systems Laboratory, Inc. Printing appratus and system
KR101001617B1 (ko) * 2007-12-17 2010-12-17 한국전자통신연구원 가상 모바일 정보기기의 사용성 평가 시스템 및 그 방법
JP5314887B2 (ja) * 2007-12-20 2013-10-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像処理情報を含む出力イメージの設定方法および該設定制御プログラム
JP4553017B2 (ja) * 2008-02-05 2010-09-29 コニカミノルタビジネステクノロジーズ株式会社 情報処理装置およびプログラム
US20090286570A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab Portable communication device and method of processing embedded visual cues
US20090318773A1 (en) * 2008-06-24 2009-12-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Involuntary-response-dependent consequences
JP4625861B2 (ja) * 2008-11-17 2011-02-02 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、画像処理方法、制御プログラム、および記録媒体
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP2010211623A (ja) * 2009-03-11 2010-09-24 Brother Ind Ltd 作業支援システム
WO2010107438A1 (en) * 2009-03-19 2010-09-23 Hewlett-Packard Development Company, L.P. Media roll management
JP5214511B2 (ja) * 2009-03-23 2013-06-19 株式会社ダイヘン 作業工程管理システム
JP2011055250A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報提供方法及び装置、情報表示方法及び携帯端末、プログラム、並びに情報提供システム
US8405871B2 (en) * 2009-09-10 2013-03-26 Bentley Systems, Incorporated Augmented reality dynamic plots techniques for producing and interacting in Augmented Reality with paper plots for which accompanying metadata is accessible
US8830267B2 (en) * 2009-11-16 2014-09-09 Alliance For Sustainable Energy, Llc Augmented reality building operations tool
DE102009057553A1 (de) * 2009-12-09 2011-06-16 Conti Temic Microelectronic Gmbh Verfahren zur Unterstützung des Fahrers eines straßengebundenen Fahrzeugs bei der Fahrzeugführung
JP5488011B2 (ja) * 2010-02-04 2014-05-14 ソニー株式会社 通信制御装置、通信制御方法及びプログラム
JP5743416B2 (ja) * 2010-03-29 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP5651386B2 (ja) 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP5574854B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2012029164A (ja) * 2010-07-26 2012-02-09 Konica Minolta Business Technologies Inc 携帯端末及び装置管理方法
US8559030B2 (en) * 2010-07-27 2013-10-15 Xerox Corporation Augmented reality system and method for device management and service
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
JP5737906B2 (ja) * 2010-11-01 2015-06-17 キヤノン株式会社 画像形成装置、画像形成装置の制御方法、画像表示装置、及び画像表示装置の制御方法と記憶媒体
US8700655B2 (en) * 2010-11-08 2014-04-15 At&T Intellectual Property I, L.P. Systems, methods, and computer program products for location salience modeling for multimodal search
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
JP5682815B2 (ja) * 2011-01-27 2015-03-11 コニカミノルタ株式会社 情報処理装置、画像形成装置、およびプログラム
JP5482679B2 (ja) * 2011-01-27 2014-05-07 ブラザー工業株式会社 制御装置
US20120249588A1 (en) * 2011-03-22 2012-10-04 Panduit Corp. Augmented Reality Data Center Visualization
US8621564B2 (en) * 2011-06-03 2013-12-31 Ebay, Inc. Focus-based challenge-response authentication
US8686851B2 (en) * 2011-06-08 2014-04-01 General Electric Company System and method for rapid location of an alarm condition
US20120320216A1 (en) * 2011-06-14 2012-12-20 Disney Enterprises, Inc. Method and System for Object Recognition, Authentication, and Tracking with Infrared Distortion Caused by Objects for Augmented Reality
JP5941146B2 (ja) * 2011-07-29 2016-06-29 ヒューレット−パッカード デベロップメント カンパニー エル．ピー．Ｈｅｗｌｅｔｔ‐Ｐａｃｋａｒｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏｍｐａｎｙ， Ｌ．Ｐ． 投影取込システム、プログラムおよび方法
JP5879920B2 (ja) * 2011-10-21 2016-03-08 株式会社リコー 画像処理装置、画像処理方法、及びプログラム
US9215293B2 (en) * 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
JP5482808B2 (ja) * 2012-01-30 2014-05-07 コニカミノルタ株式会社 管理システム、管理サーバおよびプログラム
US8947744B2 (en) * 2012-06-19 2015-02-03 Eastman Kodak Company Spectral visible edge marking for steganography or watermarking
US8941886B2 (en) * 2012-06-19 2015-01-27 Eastman Kodak Company Spectral edge marking for steganography or watermarking
JP5929572B2 (ja) * 2012-07-09 2016-06-08 コニカミノルタ株式会社 操作表示装置およびプログラム
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help

Also Published As

Publication number Publication date
JP2014093036A (ja) 2014-05-19
CN103813044B (zh) 2017-06-23
US20140126018A1 (en) 2014-05-08
US9760168B2 (en) 2017-09-12
EP2728846B1 (en) 2019-01-02
CN103813044A (zh) 2014-05-21
EP2728846A1 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5787099B2 (ja) 案内情報表示装置
US9380179B2 (en) AR display device in which an image is overlapped with a reality space, AR display control device, print condition setting system, print system, print setting display method, and non-transitory computer-readable recording medium
JP5696908B2 (ja) 操作表示システム
US9098223B2 (en) Job information display device
US20150138232A1 (en) Ar display device, process contents setting device, process contents setting method and non-transitory computer-readable recording medium
US20160269578A1 (en) Head mounted display apparatus and method for connecting head mounted display apparatus to external device
US10347196B2 (en) Portable terminal, program therefor, apparatus, and operation display system
US10757284B2 (en) Image forming apparatus, storage medium, and control method that switches from sleep mode to standby mode upon detecting a job data of a registered user
JP6304145B2 (ja) 情報処理装置、画像形成装置の設定条件指定方法
US10496161B2 (en) Information processing system, electronic apparatus, information processing apparatus, information processing method, electronic apparatus processing method and non-transitory computer readable medium
US9769341B2 (en) Image forming apparatus
JP6454991B2 (ja) 印刷条件設定装置、印刷条件設定システム、印刷条件設定方法
JP6439451B2 (ja) 操作システム及び画像形成装置
CN107533361B (zh) 图像形成装置
JP5831852B2 (ja) 装置
JP2019036927A (ja) 画像処理装置
CN111064852B (zh) 图像处理装置
JP2018067875A (ja) メガネ型端末及び画像形成システム
JP6946640B2 (ja) 画像形成装置
JP6551363B2 (ja) 情報処理装置
JP2019061304A (ja) 情報処理装置、プログラム及び情報送信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150714

R150 Certificate of patent or registration of utility model

Ref document number: 5787099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150