JP2020077239A - Portable device and operation support program - Google Patents
Portable device and operation support program Download PDFInfo
- Publication number
- JP2020077239A JP2020077239A JP2018210578A JP2018210578A JP2020077239A JP 2020077239 A JP2020077239 A JP 2020077239A JP 2018210578 A JP2018210578 A JP 2018210578A JP 2018210578 A JP2018210578 A JP 2018210578A JP 2020077239 A JP2020077239 A JP 2020077239A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- unit
- mfp
- mobile device
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Or Security For Electrophotography (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示デバイスを備える電子機器の操作を支援する携帯機器および操作支援プログラムに関する。 The present invention relates to a mobile device and an operation support program that support the operation of an electronic device including a display device.
従来、表示デバイスを備える電子機器の操作を支援する携帯機器として、携帯機器の撮影デバイスによって撮影された画像から電子機器の表示デバイスに表示された画面に含まれる識別コードを取得し、識別コードに対応付けられたヘルプ画面を携帯機器の表示デバイスに表示するものが知られている(例えば、特許文献1参照。)。 Conventionally, as a mobile device that supports the operation of an electronic device including a display device, an identification code included in a screen displayed on the display device of the electronic device is acquired from an image captured by a capturing device of the mobile device, and the identification code is used. It is known that the associated help screen is displayed on the display device of the mobile device (for example, refer to Patent Document 1).
しかしながら、従来の携帯機器においては、電子機器の表示デバイスに表示される画面に識別コードを含ませる必要があり、電子機器の表示デバイスに表示される画面に表示可能な内容が識別コードの分だけ少なくなるという問題がある。 However, in the conventional mobile device, it is necessary to include the identification code in the screen displayed on the display device of the electronic device, and the content that can be displayed on the screen displayed on the display device of the electronic device is the identification code. There is a problem of decreasing.
そこで、本発明は、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる携帯機器および操作支援プログラムを提供することを目的とする。 Therefore, it is an object of the present invention to provide a portable device and an operation support program capable of increasing the content that can be displayed on the screen displayed on the display device of the electronic device when supporting the operation of the electronic device. ..
本発明の携帯機器は、表示デバイスを備える電子機器の操作を支援する携帯機器であって、撮影デバイスと、前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、次にすべき前記操作を通知する操作通知部とを備え、前記操作通知部は、前記画面自体と、次にすべき前記操作とを互いに関連付けて示すヘルプデータにおいて、前記画面取得部によって取得された前記画面自体に関連付けられている、次にすべき前記操作を通知することを特徴とする。 A mobile device of the present invention is a mobile device that supports operation of an electronic device including a display device, and includes a photographing device and a screen displayed on the display device of the electronic device from an image photographed by the photographing device. A screen acquisition unit for acquiring and an operation notification unit for notifying the operation to be performed next, and the operation notification unit, in the help data indicating the screen itself and the operation to be performed next in association with each other, It is characterized in notifying the operation to be performed next, which is associated with the screen itself acquired by the screen acquisition unit.
この構成により、本発明の携帯機器は、撮影デバイスによって撮影された画像から取得された、電子機器の表示デバイスに表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知するので、次にすべき操作を特定するための識別コードを、電子機器の表示デバイスに表示される画面に含ませなくても、次にすべき操作を通知することができる。したがって、本発明の携帯機器は、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる。 With this configuration, the mobile device of the present invention notifies the next operation to be performed, which is associated with the screen itself displayed on the display device of the electronic device in the help data, which is acquired from the image captured by the imaging device. Therefore, even if the identification code for specifying the next operation to be performed is not included in the screen displayed on the display device of the electronic device, the next operation can be notified. Therefore, the mobile device of the present invention can increase the content that can be displayed on the screen displayed on the display device of the electronic device when supporting the operation of the electronic device.
本発明の携帯機器は、表示デバイスを備え、前記操作通知部は、前記撮影デバイスによって撮影された画像に、次にすべき前記操作を重ねた画像を前記携帯機器の前記表示デバイスに表示することによって、次にすべき前記操作を通知しても良い。 The mobile device of the present invention includes a display device, and the operation notification unit displays on the display device of the mobile device an image in which the operation to be performed next is superimposed on the image captured by the imaging device. May notify the operation to be performed next.
この構成により、本発明の携帯機器は、撮影デバイスによって撮影された画像に、次にすべき操作を重ねた画像を携帯機器の表示デバイスに表示するので、電子機器に対する操作の容易性を向上することができる。 With this configuration, the mobile device of the present invention displays an image obtained by superimposing an operation to be performed next on the image captured by the imaging device on the display device of the mobile device, thereby improving the operability of the electronic device. be able to.
本発明の操作支援プログラムは、表示デバイスを備える電子機器の操作を支援するための操作支援プログラムであって、撮影デバイスを備える携帯機器に、前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、次にすべき前記操作を通知する操作通知部とを実現させ、前記操作通知部は、前記画面自体と、次にすべき前記操作とを互いに関連付けて示すヘルプデータにおいて、前記画面取得部によって取得された前記画面自体に関連付けられている、次にすべき前記操作を通知することを特徴とする。 An operation support program according to the present invention is an operation support program for supporting an operation of an electronic device including a display device, and includes a portable device including an image capturing device, the image of the electronic device including the image captured by the image capturing device. A screen acquisition unit that acquires a screen displayed on a display device and an operation notification unit that notifies the operation to be performed next are realized, and the operation notification unit includes the screen itself and the operation to be performed next. In the help data indicating the above items in association with each other, the operation to be performed next, which is associated with the screen itself acquired by the screen acquisition unit, is notified.
この構成により、本発明の操作支援プログラムを実行する携帯機器は、撮影デバイスによって撮影された画像から取得された、電子機器の表示デバイスに表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知するので、次にすべき操作を特定するための識別コードを、電子機器の表示デバイスに表示される画面に含ませなくても、次にすべき操作を通知することができる。したがって、本発明の操作支援プログラムを実行する携帯機器は、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる。 With this configuration, the mobile device that executes the operation support program of the present invention is associated with the screen itself displayed on the display device of the electronic device in the help data, which is acquired from the image captured by the image capturing device. Since the operation to be performed is notified, the operation to be performed next can be notified even if the identification code for specifying the operation to be performed next is not included in the screen displayed on the display device of the electronic device. it can. Therefore, the portable device that executes the operation support program of the present invention can increase the content that can be displayed on the screen displayed on the display device of the electronic device when supporting the operation of the electronic device.
本発明の携帯機器および操作支援プログラムは、電子機器の操作を支援する場合に電子機器の表示デバイスに表示される画面に表示可能な内容を増加させることができる。 The mobile device and the operation support program of the present invention can increase the contents that can be displayed on the screen displayed on the display device of the electronic device when supporting the operation of the electronic device.
以下、本発明の実施の形態について、図面を用いて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
まず、本発明の一実施の形態に係るシステムの構成について説明する。 First, the configuration of a system according to an embodiment of the present invention will be described.
図1は、本実施の形態に係るシステム10のブロック図である。 FIG. 1 is a block diagram of a system 10 according to this embodiment.
図1に示すように、システム10は、電子機器としてのMFP(Multifunction Peripheral)20を備えている。システム10は、MFP20以外に、MFP20と同様の構成のMFPを少なくとも1つのMFPを備えても良い。
As shown in FIG. 1, the system 10 includes an MFP (Multifunction Peripheral) 20 as an electronic device. In addition to the
システム10は、タブレット、スマートフォンなどの携帯機器30を備えている。システム10は、携帯機器30以外に、携帯機器30と同様の構成の携帯機器を少なくとも1つ備えても良い。
The system 10 includes a
図2は、MFP20の外観斜視図である。図3は、MFP20のブロック図である。
FIG. 2 is an external perspective view of the
図2および図3に示すように、MFP20は、種々の操作が入力される例えばボタンなどの入力デバイスである操作部21と、種々の情報を表示する例えばLCD(Liquid Crystal Display)などの表示デバイスである表示部22と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター23と、原稿から画像を読み取る読取デバイスであるスキャナー24と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部25と、LAN(Local Area Network)、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部26と、各種の情報を記憶する例えば半導体メモリー、HDD(Hard Disk Drive)などの不揮発性の記憶デバイスである記憶部27と、MFP20全体を制御する制御部28とを備えている。
As shown in FIGS. 2 and 3, the
操作部21の少なくとも一部は、表示部22とともに、タッチパネルを構成している。
At least a part of the
制御部28は、例えば、CPU(Central Processing Unit)と、プログラムおよび各種のデータを記憶しているROM(Read Only Memory)と、制御部28のCPUの作業領域として用いられるメモリーとしてのRAM(Random Access Memory)とを備えている。制御部28のCPUは、記憶部27、または、制御部28のROMに記憶されているプログラムを実行する。
The
図4(a)は、携帯機器30の正面図である。図4(b)は、携帯機器30の背面図である。図5は、携帯機器30のブロック図である。
FIG. 4A is a front view of the
図4および図5に示すように、携帯機器30は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部31と、種々の情報を表示する例えばLCDなどの表示デバイスである表示部32と、音声が入力される音声入力デバイスであるマイク33と、音声を出力する音声出力デバイスであるスピーカー34と、撮影デバイスとしてのカメラ35と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部36と、各種の情報を記憶する例えば半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部37と、携帯機器30全体を制御する制御部38とを備えている。
As shown in FIGS. 4 and 5, the
操作部31の少なくとも一部は、表示部32とともに、タッチパネルを構成している。
At least a part of the
表示部32は、携帯機器30の正面側の部分に配置されている。カメラ35は、携帯機器30の背面側の部分に配置されていて、携帯機器30の背面側の外部を撮影する。
The
記憶部37は、MFPの操作を支援するための操作支援プログラム37aを記憶している。操作支援プログラム37aは、例えば、携帯機器30の製造段階で携帯機器30にインストールされていても良いし、ネットワーク上から携帯機器30に追加でインストールされても良い。
The storage unit 37 stores an
記憶部37は、MFPの操作を支援するためのヘルプデータ37bを記憶している。記憶部37は、ヘルプデータ37b以外に、ヘルプデータ37bと同様の構成のヘルプデータを1つ以上記憶することが可能である。記憶部37は、MFPにおける一連の操作手順毎にヘルプデータを記憶している。
The storage unit 37 stores help
記憶部37は、記憶部37に記憶されているヘルプデータを特定するためのヘルプデータ特定情報37cを記憶している。
The storage unit 37 stores help
記憶部37は、MFPのモデル名と、MFPの表示部の形状とを、MFPのモデル毎に関連付けている表示部形状情報37dを記憶している。
The storage unit 37 stores display
制御部38は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、制御部38のCPUの作業領域として用いられるメモリーとしてのRAMとを備えている。制御部38のCPUは、記憶部37、または、制御部38のROMに記憶されているプログラムを実行する。 The control unit 38 includes, for example, a CPU, a ROM that stores programs and various data, and a RAM that is a memory used as a work area of the CPU of the control unit 38. The CPU of the control unit 38 executes the program stored in the storage unit 37 or the ROM of the control unit 38.
制御部38は、操作支援プログラム37aを実行することによって、カメラ35によって撮影された画像からMFPの表示部に表示された画面を取得する画面取得部38aと、次にすべき、MFPの操作(以下「次操作」という。)を通知する操作通知部38bとを実現する。
The control unit 38 executes the
図6は、ヘルプデータ37bの一例を示す図である。
FIG. 6 is a diagram showing an example of the
図6に示すように、ヘルプデータ37bは、MFPの表示部に表示される画面自体と、このMFPに対する次操作とを互いに関連付けて示すデータである。ヘルプデータ37bは、ヘルプデータ37bに対応する一連の操作手順においてMFPの表示部に表示される全ての画面を含むデータである。なお、ヘルプデータ37bは、ヘルプデータ37bに対応する一連の操作手順においてMFPの表示部に表示される最後の画面については、次操作が存在しないので、画面のみを含んでいる。なお、図6における次操作に描かれている破線の画像は、次操作が表示部32に表示される場合には、表示部32に表示されない。
As shown in FIG. 6, the
図7は、ヘルプデータ特定情報37cの一例を示す図である。
FIG. 7 is a diagram showing an example of the help
図7に示すように、ヘルプデータ特定情報37cは、MFPのモデル名と、MFPに対する一連の操作手順の種類(以下「ヘルプ内容」という。)との組み合わせと、ヘルプデータのIDとを互いに関連付けて示すデータである。
As shown in FIG. 7, the help
次に、システム10の動作について説明する。 Next, the operation of the system 10 will be described.
図8および図9は、次操作を通知する場合の携帯機器30の動作のフローチャートである。
8 and 9 are flowcharts of the operation of the
利用者は、携帯機器30の操作部31を介して操作支援プログラム37aの実行を指示することができる。携帯機器30の制御部38は、操作支援プログラム37aの実行が指示されると、操作支援プログラム37aを実行することによって、図8および図9に示す動作を実行する。
The user can instruct execution of the
図8および図9に示すように、操作通知部38bは、利用者が次操作の通知を希望する対象のMFP(以下「対象MFP」という。)のモデル名と、利用者が次操作の通知を希望する対象のヘルプ内容(以下「対象ヘルプ内容」という。)とを音声によってマイク33に入力することを利用者に促す通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行する(S51)。したがって、利用者は、対象MFPのモデル名と、対象ヘルプ内容とを音声によってマイク33に入力することができる。例えば、利用者は、「モデル〇〇〇の×××という設定がしたい。」とマイク33に向けて発言することによって、対象MFPのモデル名「〇〇〇」と、対象ヘルプ内容「×××」とを音声によってマイク33に入力することができる。
As shown in FIGS. 8 and 9, the operation notification unit 38b includes a model name of a target MFP (hereinafter referred to as “target MFP”) for which the user wants to be notified of the next operation, and a notification of the next operation by the user. A notification prompting the user to input the desired help content (hereinafter referred to as “target help content”) to the
操作通知部38bは、S51の処理の後、マイク33に音声が入力されたと判断するまで、マイク33に音声が入力されたか否かを判断する(S52)。
After the processing of S51, the operation notification unit 38b determines whether or not voice is input to the
操作通知部38bは、マイク33に音声が入力されたとS52において判断すると、マイク33に入力された音声を音声認識することによって、マイク33に入力された音声から、対象MFPのモデル名と、対象ヘルプ内容との組み合わせを取得することができたか否かを判断する(S53)。ここで、操作通知部38bは、対象MFPのモデル名と、対象ヘルプ内容との組み合わせとして、ヘルプデータ特定情報37cに記憶されているものを使用する。
When the operation notifying unit 38b determines in S52 that the voice is input to the
操作通知部38bは、対象MFPのモデル名と、対象ヘルプ内容との組み合わせを取得することができなかったとS53において判断すると、対象MFPのモデル名と、対象ヘルプ内容との組み合わせを取得することができなかったことの通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行して(S54)、S51の処理を実行する。
If the operation notification unit 38b determines in S53 that the combination of the model name of the target MFP and the target help content could not be acquired, the operation notification unit 38b may acquire the combination of the model name of the target MFP and the target help content. The notification of the failure is executed by the display of the
操作通知部38bは、対象MFPのモデル名と、対象ヘルプ内容との組み合わせを取得することができたとS53において判断すると、音声認識によって取得した、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しいか否かの音声による回答を利用者に促す通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行する(S55)。したがって、利用者は、携帯機器30から通知された、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが、利用者自身が音声で入力したものと同一である場合に、例えば「正しい。」とマイク33に向けて発言することによって、携帯機器30から通知された、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しいことを音声によって携帯機器30に回答することができる。一方、利用者は、携帯機器30から通知された、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが、利用者自身が音声で入力したものと同一ではない場合に、例えば「違う。」とマイク33に向けて発言することによって、携帯機器30から通知された、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しくないことを音声によって携帯機器30に回答することができる。
When the operation notification unit 38b determines in S53 that the combination of the model name of the target MFP and the target help content can be acquired, the operation notification unit 38b acquires the combination of the model name of the target MFP and the target help content acquired by voice recognition. A notification prompting the user to give a voice response as to whether or not is correct is executed by the display on the
操作通知部38bは、S55の処理の後、マイク33に音声が入力されたと判断するまで、マイク33に音声が入力されたか否かを判断する(S56)。
After the processing of S55, the operation notification unit 38b determines whether or not voice is input to the
操作通知部38bは、マイク33に音声が入力されたとS56において判断すると、マイク33に入力された音声を音声認識することによって、音声認識によって取得した、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しいか否かの音声による回答を取得することができたか否かを判断する(S57)。
When the operation notification unit 38b determines in S56 that voice is input to the
操作通知部38bは、回答を取得することができなかったとS57において判断すると、回答を取得することができなかったことの通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行して(S58)、S55の処理を実行する。
When the operation notification unit 38b determines in S57 that the answer could not be acquired, the operation notification unit 38b executes the notification that the answer could not be acquired by the display on the
操作通知部38bは、回答を取得することができたとS57において判断すると、音声認識によって取得した、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しいという回答を取得したか否かを判断する(S59)。 When the operation notification unit 38b determines in S57 that the answer can be acquired, the operation notification unit 38b determines whether or not the answer that the combination of the model name of the target MFP and the target help content acquired by voice recognition is correct is acquired. Yes (S59).
操作通知部38bは、音声認識によって取得した、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しいという回答を取得しなかったとS59において判断すると、S51の処理を実行する。 If the operation notification unit 38b determines in S59 that the combination of the model name of the target MFP and the target help content acquired by voice recognition is not correct, the operation notification unit 38b executes the process of S51.
操作通知部38bは、音声認識によって取得した、対象MFPのモデル名と、対象ヘルプ内容との組み合わせが正しいという回答を取得することができたとS59において判断すると、音声認識によって取得した、対象MFPのモデル名と、対象ヘルプ内容との組み合わせを確定し(S60)、S60において確定した組み合わせにヘルプデータ特定情報37cにおいて関連付けられているヘルプデータのIDを取得する(S61)。
When the operation notifying unit 38b determines in S59 that the answer that the combination of the model name of the target MFP and the target help content acquired by voice recognition is correct, the operation notification unit 38b determines that the target MFP of the target MFP acquired by voice recognition is acquired. The combination of the model name and the target help content is determined (S60), and the ID of the help data associated with the combination determined in S60 in the help
次いで、操作通知部38bは、S61において取得したIDによって特定されるヘルプデータを記憶部37から取得する(S62)。 Next, the operation notification unit 38b acquires the help data specified by the ID acquired in S61 from the storage unit 37 (S62).
次いで、画面取得部38aは、カメラ35を起動して(S71)、カメラ35によって撮影された画像の表示部32への表示を開始する(S72)。
Next, the
次いで、画面取得部38aは、表示部32に表示されている、カメラ35によって撮影された画像に、対象MFPの表示部に表示された画面を含ませることを利用者に促す通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行する(S73)。したがって、利用者は、携帯機器30の位置を調整することによって、表示部32に表示されている、カメラ35によって撮影された画像に、対象MFPの表示部に表示された画面を含ませることができる。
Next, the
次いで、画面取得部38aは、カメラ35によって撮影された画像に、対象MFPの表示部が含まれていると判断するまで、カメラ35によって撮影された画像に、対象MFPの表示部が含まれているか否かを判断する(S74)。ここで、画面取得部38aは、S60において確定されたモデル名に表示部形状情報37dにおいて関連付けられている、対象MFPの表示部の形状との画像マッチングを実行することによって、カメラ35によって撮影された画像において、対象MFPの表示部を特定することができる。
Next, the
画面取得部38aは、カメラ35によって撮影された画像に、対象MFPの表示部が含まれているとS74において判断すると、カメラ35によって撮影された画像に含まれている、対象MFPの表示部に表示された画面を取得する(S75)。
When the
次いで、操作通知部38bは、S75において取得した画面が、S62において取得したヘルプデータに含まれるか否かを画像マッチングによって判断する(S76)。 Next, the operation notification unit 38b determines by image matching whether or not the screen acquired in S75 is included in the help data acquired in S62 (S76).
操作通知部38bは、S75において取得した画面が、S62において取得したヘルプデータに含まれないとS76において判断すると、対象ヘルプ内容におけるいずれの画面もMFPの表示部に表示されていないことの通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行する(S77)。したがって、利用者は、対象MFPの操作部を介して対象MFPを操作することによって、対象ヘルプ内容におけるいずれかの画面をMFPの表示部に表示させることができる。
If the operation notification unit 38b determines in S76 that the screen acquired in S75 is not included in the help data acquired in S62, the operation notification unit 38b notifies that no screen in the target help content is displayed on the display unit of the MFP. This is executed by the display on the
画面取得部38aは、S77の処理の後、S74の処理を実行する。
The
操作通知部38bは、S75において取得した画面が、S62において取得したヘルプデータに含まれるとS76において判断すると、S75において取得した画面が、S62において取得したヘルプデータに対応する一連の操作手順においてMFPの表示部に表示される最後の画面であるか否かを、S75において取得した画面と、S62において取得したヘルプデータとに基づいて判断する(S78)。 If the operation notification unit 38b determines in S76 that the screen acquired in S75 is included in the help data acquired in S62, the operation notification unit 38b displays the screen acquired in S75 in the series of operation procedures corresponding to the help data acquired in S62. It is determined whether or not it is the last screen displayed on the display unit of S based on the screen acquired in S75 and the help data acquired in S62 (S78).
操作通知部38bは、S75において取得した画面が最後の画面ではないとS78において判断すると、S75において取得した画面に、S62において取得したヘルプデータにおいて関連付けられている次操作を特定する(S79)。 When the operation notification unit 38b determines in S78 that the screen acquired in S75 is not the last screen, the operation notification unit 38b specifies the next operation associated with the screen acquired in S75 in the help data acquired in S62 (S79).
次いで、操作通知部38bは、カメラ35によって撮影された画像に、S79において特定した次操作を重ねた画像を、表示部32に表示することによって、S79において特定した次操作を通知する(S80)。すなわち、操作通知部38bは、S79において特定した次操作をAR(Augmented Reality)によって表示する。例えば、操作通知部38bは、S75において取得した画面が図10(a)に示すものであって、S62において取得したヘルプデータが図6に示すヘルプデータ37bである場合、図10(b)に示す画像を表示部32に表示する。したがって、利用者は、表示部32に表示されている次操作を参考にして、対象MFPの操作部を介して対象MFPを操作することができる。なお、対象MFPは、対象MFPの操作部を介して操作されることによって、対象MFPの表示部に表示する画像を変更する。
Next, the operation notification unit 38b notifies the next operation specified in S79 by displaying an image in which the next operation specified in S79 is superimposed on the image captured by the
画面取得部38aは、S80の処理の後、S74の処理を実行する。
The
操作通知部38bは、S75において取得した画面が最後の画面であるとS78において判断すると、対象ヘルプ内容における全ての操作が終了したことの通知を、表示部32による表示と、スピーカー34による音声の出力とによって実行する(S81)。したがって、利用者は、携帯機器30の操作部31を介して操作支援プログラム37aの実行の終了を指示することができる。
When the operation notification unit 38b determines in S78 that the screen acquired in S75 is the last screen, the operation notification unit 38b notifies the
操作通知部38bは、S81の処理の後、操作支援プログラム37aの実行の終了が指示されたと判断するまで、操作支援プログラム37aの実行の終了が指示されたか否かを判断する(S82)。
After the processing of S81, the operation notification unit 38b determines whether or not the end of execution of the
操作通知部38bは、操作支援プログラム37aの実行の終了が指示されたとS82において判断すると、カメラ32の動作を終了させた(S83)後、操作支援プログラム37aの実行の終了の処理を開始して(S84)、図8および図9に示す動作を終了する。
When the operation notification unit 38b determines in S82 that the execution end of the
以上に説明したように、携帯機器30は、カメラ35によって撮影された画像から取得された、MFPの表示部に表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知する(S80)ので、次にすべき操作を特定するための識別コードを、MFPの表示部に表示される画面に含ませなくても、次にすべき操作を通知することができる。したがって、携帯機器30は、MFPの操作を支援する場合にMFPの表示部に表示される画面に表示可能な内容を増加させることができる。
As described above, the
携帯機器30は、カメラ35によって撮影された画像から取得された、MFPの表示部に表示された画面自体にヘルプデータにおいて関連付けられている、次にすべき操作を通知するので、次にすべき操作をリアルタイムに利用者に認識させることができる。
Since the
携帯機器30は、カメラ35によって撮影された画像に、次にすべき操作を重ねた画像を表示部32にARによって表示するので、MFPに対する操作の容易性を向上することができる。なお、携帯機器30は、次にすべき操作を、AR以外の方法によって、表示部32に表示しても良い。
Since the
携帯機器は、本実施の形態において、S75において取得した画面が最後の画面であるとS78において判断した後、操作支援プログラム37aの実行の終了が指示されてから、操作支援プログラム37aの実行を終了する。しかしながら、携帯機器は、S75において取得した画面が最後の画面であるとS78において判断すると、操作支援プログラム37aの実行を自動で終了しても良い。
In the present embodiment, the mobile device ends the execution of the
ヘルプデータ、ヘルプデータ特定情報および表示部形状情報は、本実施の形態において、携帯機器の記憶部に記憶されている。しかしながら、ヘルプデータ、ヘルプデータ特定情報および表示部形状情報の少なくとも1つは、例えばクラウド上など、携帯機器の記憶部以外の場所に記憶されても良い。 The help data, help data specifying information, and display section shape information are stored in the storage section of the mobile device in the present embodiment. However, at least one of the help data, the help data specifying information, and the display section shape information may be stored in a place other than the storage section of the mobile device, such as on the cloud.
携帯機器は、本実施の形態において、対象MFPのモデル名と、対象ヘルプ内容との両方を同時に取得する。しかしながら、携帯機器は、対象MFPのモデル名と、対象ヘルプ内容とを1つずつ取得しても良い。 In the present embodiment, the mobile device simultaneously acquires both the model name of the target MFP and the target help content. However, the mobile device may acquire the model name of the target MFP and the target help content one by one.
携帯機器は、本実施の形態において、対象MFPのモデル名と、対象ヘルプ内容とが音声によって入力される。しかしながら、携帯機器は、対象MFPのモデル名と、対象ヘルプ内容との少なくとも1つが音声以外の方法によって入力されても良い。例えば、携帯機器は、対象MFPのモデル名と、対象ヘルプ内容との少なくとも1つが携帯機器の操作部から入力されても良い。 In the present embodiment, in the mobile device, the model name of the target MFP and the target help content are input by voice. However, in the mobile device, at least one of the model name of the target MFP and the target help content may be input by a method other than voice. For example, in the mobile device, at least one of the model name of the target MFP and the target help content may be input from the operation unit of the mobile device.
本発明の電子機器は、本実施の形態において、MFPであるが、例えばプリンター専用機、コピー専用機、ファックス専用機、スキャナー専用機など、MFP以外の画像形成装置でも良いし、例えばPC(Personal Computer)など、画像形成装置以外の電子機器でも良い。 Although the electronic device of the present invention is the MFP in the present embodiment, it may be an image forming apparatus other than the MFP, such as a printer-dedicated machine, a copy-dedicated machine, a fax-dedicated machine, or a scanner-dedicated machine. For example, a PC (Personal) An electronic device other than the image forming apparatus, such as a computer).
20 MFP(電子機器)
22 表示部(表示デバイス)
30 携帯機器
32 表示部(表示デバイス)
35 カメラ(撮影デバイス)
37a 操作支援プログラム
37b ヘルプデータ
38a 画面取得部
38b 操作通知部
20 MFP (electronic device)
22 Display (display device)
30
35 Camera (shooting device)
37a
Claims (3)
撮影デバイスと、
前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、
次にすべき前記操作を通知する操作通知部と
を備え、
前記操作通知部は、前記画面自体と、次にすべき前記操作とを互いに関連付けて示すヘルプデータにおいて、前記画面取得部によって取得された前記画面自体に関連付けられている、次にすべき前記操作を通知することを特徴とする携帯機器。 A mobile device that supports the operation of an electronic device including a display device,
A shooting device,
A screen acquisition unit that acquires a screen displayed on the display device of the electronic device from an image captured by the imaging device,
An operation notification unit for notifying the operation to be performed next,
The operation notification unit is associated with the screen itself acquired by the screen acquisition unit in help data indicating the screen itself and the operation to be performed next, and the operation to be performed next. A mobile device characterized by notifying.
前記操作通知部は、前記撮影デバイスによって撮影された画像に、次にすべき前記操作を重ねた画像を前記携帯機器の前記表示デバイスに表示することによって、次にすべき前記操作を通知することを特徴とする請求項1に記載の携帯機器。 Equipped with a display device,
The operation notification unit notifies the operation to be performed next by displaying on the display device of the portable device an image in which the operation to be performed next is superimposed on the image captured by the image capturing device. The mobile device according to claim 1, wherein:
撮影デバイスを備える携帯機器に、
前記撮影デバイスによって撮影された画像から前記電子機器の前記表示デバイスに表示された画面を取得する画面取得部と、
次にすべき前記操作を通知する操作通知部と
を実現させ、
前記操作通知部は、前記画面自体と、次にすべき前記操作とを互いに関連付けて示すヘルプデータにおいて、前記画面取得部によって取得された前記画面自体に関連付けられている、次にすべき前記操作を通知することを特徴とする操作支援プログラム。 An operation support program for supporting the operation of an electronic device including a display device,
A mobile device equipped with a shooting device,
A screen acquisition unit that acquires a screen displayed on the display device of the electronic device from an image captured by the imaging device,
And an operation notification unit for notifying the operation to be performed next,
The operation notification unit is associated with the screen itself acquired by the screen acquisition unit in help data indicating the screen itself and the operation to be performed next, and the operation to be performed next. An operation support program characterized by notifying.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018210578A JP7205688B2 (en) | 2018-11-08 | 2018-11-08 | Mobile devices and operational assistance programs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018210578A JP7205688B2 (en) | 2018-11-08 | 2018-11-08 | Mobile devices and operational assistance programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020077239A true JP2020077239A (en) | 2020-05-21 |
JP7205688B2 JP7205688B2 (en) | 2023-01-17 |
Family
ID=70724163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018210578A Active JP7205688B2 (en) | 2018-11-08 | 2018-11-08 | Mobile devices and operational assistance programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7205688B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112605A (en) * | 1998-09-30 | 2000-04-21 | Meidensha Corp | Device for supporting operation of application |
JP2011203888A (en) * | 2010-03-25 | 2011-10-13 | Sky Co Ltd | System and program for operation management |
JP2013250849A (en) * | 2012-06-01 | 2013-12-12 | Konica Minolta Inc | Guidance display system, guidance display device, guidance display method, and guidance display program |
JP2014107759A (en) * | 2012-11-28 | 2014-06-09 | Brother Ind Ltd | Control device and computer program |
JP2014222410A (en) * | 2013-05-13 | 2014-11-27 | 京セラドキュメントソリューションズ株式会社 | Portable display device and display program, and operation guide system |
JP2016177681A (en) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | Terminal equipment, system having terminal equipment and electronic equipment, operation method presentation method, and program |
US20180309953A1 (en) * | 2017-04-21 | 2018-10-25 | Fuji Xerox Co., Ltd. | Information processing apparatus, information processing method, and non-transitory computer readable storage medium |
-
2018
- 2018-11-08 JP JP2018210578A patent/JP7205688B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000112605A (en) * | 1998-09-30 | 2000-04-21 | Meidensha Corp | Device for supporting operation of application |
JP2011203888A (en) * | 2010-03-25 | 2011-10-13 | Sky Co Ltd | System and program for operation management |
JP2013250849A (en) * | 2012-06-01 | 2013-12-12 | Konica Minolta Inc | Guidance display system, guidance display device, guidance display method, and guidance display program |
JP2014107759A (en) * | 2012-11-28 | 2014-06-09 | Brother Ind Ltd | Control device and computer program |
JP2014222410A (en) * | 2013-05-13 | 2014-11-27 | 京セラドキュメントソリューションズ株式会社 | Portable display device and display program, and operation guide system |
JP2016177681A (en) * | 2015-03-20 | 2016-10-06 | 株式会社リコー | Terminal equipment, system having terminal equipment and electronic equipment, operation method presentation method, and program |
US20180309953A1 (en) * | 2017-04-21 | 2018-10-25 | Fuji Xerox Co., Ltd. | Information processing apparatus, information processing method, and non-transitory computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP7205688B2 (en) | 2023-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10868939B2 (en) | Image processing apparatus having connection information transmission, method of controlling the same, and storage medium | |
JP4957292B2 (en) | Image forming system | |
US20140376045A1 (en) | Mobile terminal capable of setting cover sheet and header of fax, image forming apparatus, methods of controlling mobile terminal and image forming apparatus, communication system, and storage medium | |
US11570314B2 (en) | Information processing apparatus, control method for information processing apparatus, and program | |
JP6662264B2 (en) | Display system | |
JP2010261989A (en) | Image processing device, display history confirmation support method, and computer program | |
US11011165B2 (en) | Voice input device, non-transitory computer readable medium storing voice input program, and voice input system | |
JP6614186B2 (en) | Book document processing apparatus, book document processing method, and program | |
JP7205688B2 (en) | Mobile devices and operational assistance programs | |
US10251039B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
JP6950053B2 (en) | Information processing device and control method of information processing device | |
JP3721746B2 (en) | Digital camera | |
JP6915295B2 (en) | Data processing equipment and data processing program | |
JP2023068280A (en) | Terminal, image processing device, image transmission method, program, and image processing system | |
JP6556187B2 (en) | Program, storage medium, portable terminal control method, and portable terminal | |
JP6225775B2 (en) | Image forming apparatus, search method, and control program | |
JP2017092603A (en) | Image processing apparatus, remote control method and remote control program | |
JP6697829B2 (en) | Mobile terminal, image processing method, and program | |
JP2016208377A (en) | Image forming system | |
JP2002176615A (en) | Imaging system, digital camera, information processing unit and processing method for photographed image | |
JP2021170807A (en) | Information processing apparatus and method for controlling information processing apparatus | |
JP2024014484A (en) | Data processing apparatus, image forming apparatus and method for controlling the same, and program | |
JP2020037203A (en) | Image printer and method for controlling the same | |
JP2020062858A (en) | Printing control device, printing control device control method and program | |
JP2019101775A (en) | User operation support device and user operation support program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7205688 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |