JP2020098996A - Image forming apparatus, information processing system, control program, and control method - Google Patents

Image forming apparatus, information processing system, control program, and control method Download PDF

Info

Publication number
JP2020098996A
JP2020098996A JP2018236275A JP2018236275A JP2020098996A JP 2020098996 A JP2020098996 A JP 2020098996A JP 2018236275 A JP2018236275 A JP 2018236275A JP 2018236275 A JP2018236275 A JP 2018236275A JP 2020098996 A JP2020098996 A JP 2020098996A
Authority
JP
Japan
Prior art keywords
image forming
forming apparatus
voice
logout
instruction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018236275A
Other languages
Japanese (ja)
Inventor
雅弘 崎山
Masahiro Sakiyama
雅弘 崎山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018236275A priority Critical patent/JP2020098996A/en
Publication of JP2020098996A publication Critical patent/JP2020098996A/en
Priority to JP2023004845A priority patent/JP7466011B2/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

To make it possible to improve operability of an image forming apparatus.SOLUTION: An information processing system 10 includes an image forming apparatus 12 and a voice input terminal 200. The image forming apparatus 12 and the voice input terminal 200 are communicably connected indirectly via a network or directly through radio communication. When a voice including a word for instruction corresponding to an input operation to the image forming apparatus 12 is input to a voice input unit (206), the voice input terminal 200 generates instruction information on a voice instruction according to the word for instruction and transmits the information to the image forming apparatus 12. When receiving the instruction information, the image forming apparatus 12 operates according to the instruction information.SELECTED DRAWING: Figure 1

Description

この発明は、画像形成装置、情報処理システム、制御プログラムおよび制御方法に関し、特にたとえば、音声入力端末と通信可能な画像形成装置、情報処理システム、制御プログラムおよび制御方法に関する。 The present invention relates to an image forming apparatus, an information processing system, a control program and a control method, and more particularly to an image forming apparatus, an information processing system, a control program and a control method capable of communicating with a voice input terminal.

この種の背景技術の一例が特許文献1に開示される。背景技術の画像形成装置遠隔操作システムは、ネットワークを介して情報端末装置と画像形成装置が接続され、画像形成装置の本体操作部と、情報端末装置の端末操作部とによって画像形成装置を操作することが可能である。 Patent Document 1 discloses an example of this type of background art. In an image forming apparatus remote control system of the background art, an information terminal apparatus and an image forming apparatus are connected via a network, and the image forming apparatus is operated by a main body operation section of the image forming apparatus and a terminal operation section of the information terminal apparatus. It is possible.

特許第6094763号Patent No. 6094763

しかしながら、背景技術の画像形成装置遠隔操作システムでは、情報端末装置の端末操作部で画像形成装置を操作するにあたり、画像形成装置の本体操作部および情報端末装置の端末操作部のいずれを操作する場合であっても、手動での入力操作が必須であり、操作性については改善の余地がある。 However, in the image forming apparatus remote control system of the background art, when operating the image forming apparatus with the terminal operating section of the information terminal apparatus, when operating either the main body operating section of the image forming apparatus or the terminal operating section of the information terminal apparatus, However, manual input operation is essential, and there is room for improvement in operability.

それゆえに、この発明の主たる目的は、新規な、画像形成装置、情報処理システム、制御プログラムおよび制御方法を提供することである。 Therefore, a main object of the present invention is to provide a novel image forming apparatus, information processing system, control program and control method.

この発明の他の目的は、操作性の向上を図ることができる、画像形成装置、情報処理システム、制御プログラムおよび制御方法を提供することである。 Another object of the present invention is to provide an image forming apparatus, an information processing system, a control program, and a control method capable of improving operability.

第1の発明は、画像形成装置を含む情報処理システムであって、音声取得手段、判定手段、生成手段および制御手段を含む。音声取得手段は、ユーザが発する音声を取得する。判定手段は、音声取得手段で取得された音声に、所定の単語が含まれているかどうかを判定する。生成手段は、判定手段によって、音声に所定の単語が含まれていると判断された場合に、当該所定の単語に応じた指示情報を生成する。制御手段は、生成手段によって生成された指示情報に従って画像形成装置を制御する。 A first invention is an information processing system including an image forming apparatus, which includes a voice acquisition unit, a determination unit, a generation unit, and a control unit. The voice acquisition unit acquires a voice uttered by the user. The determining means determines whether or not the voice acquired by the voice acquiring means includes a predetermined word. When the determination unit determines that the voice includes a predetermined word, the generation unit generates the instruction information according to the predetermined word. The control unit controls the image forming apparatus according to the instruction information generated by the generation unit.

第2の発明は、第1の発明に従属する情報処理システムであって、画像形成装置を利用しようとする人のユーザ認証処理を行い、予め登録された人について当該画像形成装置へのログインを許可する認証手段、および、ユーザ認証処理でログインが成功した後であってログアウトされる前に、画像形成装置が指示情報を受け付けた場合に、ログアウト処理を行うログアウト手段をさらに含む。 A second invention is an information processing system according to the first invention, which performs a user authentication process for a person who intends to use the image forming apparatus, and logs in to the image forming apparatus for a previously registered person. It further includes an authenticating unit for permitting, and a logout unit for performing a logout process when the image forming apparatus receives the instruction information after the login is successful in the user authentication process and before the logout.

第3の発明は、第2の発明に従属する情報処理システムであって、ユーザ認証処理でログインが成功した後であってログアウトされる前に、画像形成装置が指示情報を受け付けた場合に、ログアウト処理を行うかどうかをユーザに確認する確認手段をさらに含み、ログアウト手段は、確認手段によってログアウト処理を行うことが確認された場合に、ログアウト処理を行う。 A third invention is an information processing system according to the second invention, wherein when the image forming apparatus receives the instruction information after the login is successful in the user authentication process and before the logout, The logout process further includes a confirmation unit that confirms with the user whether or not to perform the logout process, and the logout unit performs the logout process when it is confirmed by the confirmation unit.

第4の発明は、第2または第3の発明に従属する情報処理システムであって、ログアウト手段は、ユーザ認証処理でログインが成功した後であってログアウトされる前に、画像形成装置が指示情報を受け付けてから画像形成装置が操作されない状態が所定時間継続した場合に、ログアウト処理を行う。 A fourth invention is an information processing system according to the second or the third invention, wherein the logout means is instructed by the image forming apparatus after the login is successful in the user authentication process and before the logout. If the image forming apparatus is not operated for a predetermined time after receiving the information, the logout process is performed.

第5の発明は、第2から第4までのいずれかの発明に従属する情報処理システムであって、画像形成装置の周囲の所定範囲に存在する人を検出する人検出手段をさらに備え、ログアウト手段は、ユーザ認証処理でログインが成功した後であってログアウトされる前に、人検出手段によって所定範囲に存在する人が検出されなくなった場合に、ログアウト処理を行う。 A fifth aspect of the present invention is an information processing system according to any one of the second to fourth aspects of the present invention, further including a person detecting unit that detects a person existing in a predetermined range around the image forming apparatus, and logs out. The means performs the logout processing when the person detecting means does not detect a person existing within the predetermined range after the login is successful in the user authentication processing and before the user is logged out.

第6の発明は、ユーザが発する音声を取得して音声に応じた指示情報を送信する音声入力端末と通信可能な画像形成装置であって、受信手段および制御手段を含む。受信手段は、音声入力端末から送信される指示情報を受信する。制御手段は、受信手段で受信した指示情報に従って画像形成装置を制御する。 A sixth invention is an image forming apparatus capable of communicating with a voice input terminal which acquires a voice uttered by a user and transmits instruction information corresponding to the voice, and includes a receiving unit and a control unit. The receiving means receives the instruction information transmitted from the voice input terminal. The control unit controls the image forming apparatus according to the instruction information received by the receiving unit.

第7の発明は、第6の発明に従属する画像形成装置であって、画像形成装置を利用しようとする人のユーザ認証処理を行い、予め登録された人について当該画像形成装置へのログインを許可する認証手段、および、ユーザ認証処理でログインが成功した後であってログアウトされる前に、指示情報を受信した場合に、ログアウト処理を行うログアウト手段をさらに備える。 A seventh invention is an image forming apparatus according to the sixth invention, wherein user authentication processing of a person who intends to use the image forming apparatus is performed, and a previously registered person logs in to the image forming apparatus. The apparatus further includes an authenticating unit for permitting, and a logout unit for performing the logout process when the instruction information is received after the successful login in the user authentication process and before the logout.

第8の発明は、第7の発明に従属する画像形成装置であって、ユーザ認証処理でログインが成功した後であってログアウトされる前に、指示情報を受け付けた場合に、ログアウト処理を行うかどうかをユーザに確認する確認手段をさらに備え、ログアウト手段は、確認手段によってログアウト処理を行うことが確認された場合に、ログアウト処理を行う。 An eighth aspect of the invention is an image forming apparatus according to the seventh aspect of the invention, wherein the logout process is performed when the instruction information is received after the login is successful in the user authentication process and before the logout. The logout means performs the logout processing when the confirmation means confirms that the logout processing is to be performed.

第9の発明は、第7または第8の発明に従属する画像形成装置であって、ログアウト手段は、ユーザ認証処理でログインが成功した後であってログアウトされる前に、指示情報を受信してから画像形成装置が操作されない状態が所定時間継続した場合に、ログアウト処理を行う。 A ninth invention is an image forming apparatus according to the seventh or the eighth invention, wherein the logout means receives the instruction information after the login is successful in the user authentication process and before the logout. If the image forming apparatus has not been operated for a predetermined time after that, the logout process is performed.

第10の発明は、第7から第9までのいずれかの発明に従属する画像形成装置であって、画像形成装置の周囲の所定範囲に存在する人を検出する人検出手段をさらに備え、ログアウト手段は、ユーザ認証処理でログインが成功した後であってログアウトされる前に、人検出手段によって所定範囲に存在する人が検出されなくなった場合に、ログアウト処理を行う。 A tenth aspect of the invention is an image forming apparatus according to any one of the seventh to ninth aspects of the invention, further comprising person detection means for detecting a person existing in a predetermined range around the image forming apparatus, and logging out. The means performs the logout processing when the person detecting means does not detect a person existing within the predetermined range after the login is successful in the user authentication processing and before the user is logged out.

第11の発明は、ユーザが発する音声を取得して音声に応じた指示情報を送信する音声入力端末と通信可能な画像形成装置の制御プログラムであって、画像形成装置のプロセッサに、音声入力端末から送信される指示情報を受信する受信ステップと、受信ステップで受信した指示情報に従って画像形成装置を制御する制御ステップとを実行させる。 An eleventh aspect of the present invention is a control program of an image forming apparatus capable of communicating with a voice input terminal which acquires a voice uttered by a user and transmits instruction information according to the voice, wherein the processor of the image forming apparatus includes a voice input terminal. And a control step of controlling the image forming apparatus according to the instruction information received in the receiving step.

第12の発明は、ユーザが発する音声を取得して音声に応じた指示情報を送信する音声入力端末と通信可能な画像形成装置の制御方法であって、(a)音声入力端末から送信される指示情報を受信するステップと、(b)ステップ(a)で受信した指示情報に従って画像形成装置を制御するステップとを含む制御方法である。 A twelfth aspect of the present invention is a control method of an image forming apparatus capable of communicating with a voice input terminal that acquires a voice uttered by a user and transmits instruction information according to the voice, and is transmitted from (a) the voice input terminal. The control method includes a step of receiving instruction information and a step of (b) controlling the image forming apparatus according to the instruction information received in step (a).

第13の発明は、画像形成装置を含む情報処理システムのコンピュータによって実行される制御方法であって、(a)ユーザが発する音声を取得するステップと、(b)ステップ(a)で取得された音声に、所定の単語が含まれているかどうかを判定するステップと、(c)ステップ(b)で音声に所定の単語が含まれていると判断された場合に、当該所定の単語に応じた指示情報を生成するステップと、(d)ステップ(c)で生成された指示情報に従って画像形成装置を制御するステップとを含む制御方法である。 A thirteenth invention is a control method executed by a computer of an information processing system including an image forming apparatus, the method being obtained in (a) a step of acquiring a voice uttered by a user and (b) a step (a). A step of determining whether or not the voice includes a predetermined word; and (c) responding to the predetermined word when it is determined that the voice includes the predetermined word in step (b). The control method includes a step of generating instruction information, and a step of (d) controlling the image forming apparatus according to the instruction information generated in step (c).

この発明によれば、画像形成装置の操作性の向上を図ることができる。 According to the present invention, the operability of the image forming apparatus can be improved.

この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。 The above-mentioned objects, other objects, features and advantages of the present invention will become more apparent from the following detailed description of the embodiments with reference to the drawings.

図1はこの発明の情報処理システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of an information processing system according to the present invention. 図2は図1に示す画像形成装置の電気的な構成を示すブロック図である。FIG. 2 is a block diagram showing an electrical configuration of the image forming apparatus shown in FIG. 図3は図1に示す音声入力端末の電気的な構成を示すブロック図である。FIG. 3 is a block diagram showing an electrical configuration of the voice input terminal shown in FIG. 図4は画像形成装置のホーム画面の一例を示す図解図である。FIG. 4 is an illustrative view showing an example of a home screen of the image forming apparatus. 図5は画像形成装置のコピー設定画面の一例を示す図解図である。FIG. 5 is an illustrative view showing an example of a copy setting screen of the image forming apparatus. 図6は図1に示す画像形成装置のRAMのメモリマップの一例を示す図解図である。FIG. 6 is an illustrative view showing one example of a memory map of the RAM of the image forming apparatus shown in FIG. 図7は図1に示す音声入力端末のRAMのメモリマップの一例を示す図解図である。FIG. 7 is an illustrative view showing one example of a memory map of the RAM of the voice input terminal shown in FIG. 図8は画像形成装置のCPUの遠隔操作処理の一例を示すフロー図である。FIG. 8 is a flowchart showing an example of remote control processing of the CPU of the image forming apparatus. 図9は音声入力端末のCPUの遠隔操作処理の一例を示すフロー図である。FIG. 9 is a flowchart showing an example of remote control processing of the CPU of the voice input terminal. 図10は第2実施例の確認画面の一例を示す図解図である。FIG. 10 is an illustrative view showing one example of the confirmation screen of the second embodiment. 図11は第2実施例の画像形成装置のCPUの遠隔操作処理の一例を示すフロー図である。FIG. 11 is a flowchart showing an example of the remote control processing of the CPU of the image forming apparatus of the second embodiment. 図12は第3実施例の画像形成装置のCPUの遠隔操作処理の一例を示すフロー図である。FIG. 12 is a flowchart showing an example of the remote control processing of the CPU of the image forming apparatus of the third embodiment. 図13は第4実施例の画像形成装置のCPUの遠隔操作処理の一例を示すフロー図である。FIG. 13 is a flow chart showing an example of remote control processing of the CPU of the image forming apparatus of the fourth embodiment.

[第1実施例]
図1はこの発明の情報処理システム10の構成の一例を示す図である。図1を参照して、この発明の第1実施例である情報処理システム10は画像形成装置12を含み、この画像形成装置12はインターネットのようなネットワークに接続される。また、画像形成装置12は、携帯端末(音声入力端末)200とネットワークを介して間接的に、または無線通信等によって直接的に通信可能に接続される。
[First embodiment]
FIG. 1 is a diagram showing an example of the configuration of an information processing system 10 of the present invention. Referring to FIG. 1, an information processing system 10 according to a first embodiment of the present invention includes an image forming apparatus 12, and this image forming apparatus 12 is connected to a network such as the Internet. Further, the image forming apparatus 12 is communicatively connected to the mobile terminal (voice input terminal) 200 indirectly via a network or directly by wireless communication or the like.

なお、図1では、一台の画像形成装置12および一台の音声入力端末200を示してあるが、画像形成装置12および音声入力端末200は二台以上であってもよい。 Although FIG. 1 shows one image forming apparatus 12 and one voice input terminal 200, the number of image forming apparatuses 12 and voice input terminals 200 may be two or more.

第1実施例では、画像形成装置12は、複写機能、プリンタ機能、スキャナ機能およびファクシミリ(FAX)機能などを有する複合機(MFP:Multifunction Peripheral)である。なお、この発明は複合機だけでなく、複写機(コピー機)、印刷装置(プリンタ)およびファクシミリのような他の画像形成装置に適用可能である。 In the first embodiment, the image forming apparatus 12 is a multifunction peripheral (MFP) having a copy function, a printer function, a scanner function, a facsimile (FAX) function, and the like. The present invention can be applied not only to the multifunction machine but also to other image forming apparatuses such as a copying machine (copying machine), a printing apparatus (printer) and a facsimile.

図2は図1に示す画像形成装置12の電気的な構成を示すブロック図である。図2を参照して、画像形成装置12はCPU122を含む。CPU122には、バス120を介して、RAM124、タッチパネル制御回路126、表示制御回路128、操作ボタン検出回路130、画像形成部138、画像読取部140および通信部142が接続される。また、タッチパネル制御回路126にはタッチパネル132が接続され、表示制御回路128にはディスプレイ134が接続され、操作ボタン検出回路130には操作ボタン136が接続される。ディスプレイ134としては、LCDまたはEL(Electro-Luminescence)ディスプレイなどを用いることができる。この第1実施例では、タッチパネル132としては、静電容量方式のタッチパネルが用いられ、ディスプレイ134の表示面上にタッチパネル132が設けられる。ただし、タッチパネル132とディスプレイ134とが一体的に形成されたタッチパネルディスプレイが用いられてもよい。また、タッチパネル132は、静電容量方式に限定される必要は無く、電磁誘導方式、抵抗膜方式、赤外線方式など、任意の方式のものを用いることができる。 FIG. 2 is a block diagram showing an electrical configuration of the image forming apparatus 12 shown in FIG. Referring to FIG. 2, image forming apparatus 12 includes CPU 122. A RAM 124, a touch panel control circuit 126, a display control circuit 128, an operation button detection circuit 130, an image forming unit 138, an image reading unit 140, and a communication unit 142 are connected to the CPU 122 via a bus 120. A touch panel 132 is connected to the touch panel control circuit 126, a display 134 is connected to the display control circuit 128, and an operation button 136 is connected to the operation button detection circuit 130. As the display 134, an LCD, an EL (Electro-Luminescence) display, or the like can be used. In the first embodiment, a capacitive touch panel is used as the touch panel 132, and the touch panel 132 is provided on the display surface of the display 134. However, a touch panel display in which the touch panel 132 and the display 134 are integrally formed may be used. Further, the touch panel 132 is not limited to the capacitance type, and an arbitrary type such as an electromagnetic induction type, a resistance film type, an infrared type can be used.

CPU122は、画像形成装置12の全体的な制御を司る。RAM124は、CPU122のワーク領域およびバッファ領域として用いられる。 The CPU 122 controls the entire image forming apparatus 12. The RAM 124 is used as a work area and a buffer area of the CPU 122.

タッチパネル制御回路126は、タッチパネル132に必要な電圧などを付与するとともに、タッチパネル132において、そのタッチ有効範囲内でのタッチ操作(タッチ入力)を検出すると、そのタッチ入力の位置を示すタッチ座標データをCPU122に出力する。 The touch panel control circuit 126 gives a necessary voltage or the like to the touch panel 132, and when the touch panel 132 detects a touch operation (touch input) within the touch effective range, it outputs touch coordinate data indicating the position of the touch input. Output to the CPU 122.

表示制御回路128は、GPUおよびVRAMなどを含み、CPU122の指示の下、GPUは、RAM124に記憶された画像生成データ304b(図6参照)を用いてディスプレイ134に種々の操作画面を表示するための表示画像データをVRAMに生成し、生成した表示画像データをディスプレイ134に出力する。一例として、ディスプレイ134には、画像形成装置12が実行可能な各種のジョブから所望のジョブを選択するための画面であるホーム画面100(図4参照)が表示される。ただし、この第1実施例では、ジョブは、スキャン、コピー(原稿のスキャンを含む)およびファクシミリ(FAX)などを意味する。 The display control circuit 128 includes a GPU, a VRAM, and the like, and under the instruction of the CPU 122, the GPU uses the image generation data 304b (see FIG. 6) stored in the RAM 124 to display various operation screens on the display 134. Display image data is generated in the VRAM, and the generated display image data is output to the display 134. As an example, the display 134 displays a home screen 100 (see FIG. 4) which is a screen for selecting a desired job from various jobs that the image forming apparatus 12 can execute. However, in the first embodiment, the job means scanning, copying (including scanning of a document), facsimile (FAX), and the like.

操作ボタン検出回路130は、操作ボタン136の操作に応じた操作信号ないし操作データをCPU122に出力する。操作ボタン136は、ハードウェアキーであって、たとえば、ホームキー、省電力キーおよび主電源キーなどが含まれる。ホームキーは、ホーム画面100(図4参照)をディスプレイ134に表示させるためのキーである。電力キーは、消費電力が制限される省電力状態と、消費電力が制限されない通常状態とを切り替えるためのキーである。 The operation button detection circuit 130 outputs an operation signal or operation data according to the operation of the operation button 136 to the CPU 122. The operation button 136 is a hardware key, and includes, for example, a home key, a power saving key, a main power key, and the like. The home key is a key for displaying the home screen 100 (see FIG. 4) on the display 134. The power key is a key for switching between a power saving state in which power consumption is limited and a normal state in which power consumption is not limited.

画像形成部(印刷装置)138は、汎用のレーザプリンタであり、感光体、帯電器、露光装置、現像装置、転写装置、定着装置などを備え、画像処理回路で処理された印刷データに対応する画像を記録紙(用紙)などに印刷する。ただし、画像形成部138は、レーザプリンタに代えて、インクジェットプリンタで構成されてもよい。 The image forming unit (printing device) 138 is a general-purpose laser printer and includes a photoconductor, a charger, an exposure device, a developing device, a transfer device, a fixing device, and the like, and corresponds to print data processed by an image processing circuit. Print the image on recording paper (paper). However, the image forming unit 138 may be configured by an inkjet printer instead of the laser printer.

なお、詳細な説明は省略するが、画像形成部138は、カラーのプリント機能を備えており、Y(イエロー)、M(マゼンタ)、C(シアン)、K(ブラック)の各色について、感光体、帯電器および現像装置等を含む画像形成ステーションが構成される。 Although detailed description is omitted, the image forming unit 138 has a color printing function, and the photoconductor for each color of Y (yellow), M (magenta), C (cyan), and K (black). An image forming station including a charger, a developing device, and the like is configured.

画像読取部140は、光源、複数のミラー、結像レンズおよびラインセンサ等を備える。この画像読取部140は、原稿表面を光源によって露光し、原稿表面から反射した反射光を複数のミラーによって結像レンズに導く。そして、結像レンズによって反射光をラインセンサの受光素子に結像させる。ラインセンサでは、受光素子に結像した反射光の輝度および色度が検出され、原稿表面の画像に基づく読取画像データが生成される。 The image reading unit 140 includes a light source, a plurality of mirrors, an imaging lens, a line sensor, and the like. The image reading unit 140 exposes the surface of the document with a light source, and guides the reflected light reflected from the surface of the document to an imaging lens by a plurality of mirrors. Then, the reflected light is imaged on the light receiving element of the line sensor by the imaging lens. The line sensor detects the brightness and chromaticity of the reflected light formed on the light receiving element, and generates read image data based on the image on the document surface.

通信部142は、有線通信回路または無線通信回路を含み、音声入力端末200、サーバ等を含む外部のコンピュータとの間で送受される通信データの送受信処理を行う。有線通信回路は、Ethernet(登録商標)等の公知の通信規格に準拠した有線通信を行うための回路であり、インターネットなどのネットワークを介して外部のコンピュータとの間で通信データの送受信処理を行う。無線通信回路は、WiFiなどの無線通信を行うための回路であり、アンテナが接続される。この無線通信回路は、IEEE 802.11等の公知の通信規格に準拠した無線通信方式に基づき、WiFiなどの無線通信を使用して、外部のコンピュータとの間で送受信される通信データの送受信処理を行う。これらのことは、後述する音声入力端末200の通信部208も同様である。 The communication unit 142 includes a wired communication circuit or a wireless communication circuit, and performs transmission/reception processing of communication data transmitted/received to/from an external computer including the voice input terminal 200, a server, and the like. The wired communication circuit is a circuit for performing wired communication conforming to a known communication standard such as Ethernet (registered trademark), and performs transmission/reception processing of communication data with an external computer via a network such as the Internet. .. The wireless communication circuit is a circuit for performing wireless communication such as WiFi and has an antenna connected thereto. This wireless communication circuit performs transmission/reception processing of communication data transmitted/received to/from an external computer using wireless communication such as WiFi based on a wireless communication system based on a known communication standard such as IEEE 802.11. .. The same applies to the communication unit 208 of the voice input terminal 200 described later.

なお、図2に示す画像形成装置12の電気的な構成は単なる一例であり、これに限定される必要はない。たとえば、画像形成装置12には、他の入力手段として、ハードウェアのキーボードが接続されたりすることがある。 The electrical configuration of the image forming apparatus 12 shown in FIG. 2 is merely an example, and the invention is not limited to this. For example, a hardware keyboard may be connected to the image forming apparatus 12 as another input means.

音声入力端末200は、ユーザからの音声入力を受け付けるための端末であり、音声認識機能を備える。この音声入力端末200は、画像形成装置12の近傍に設置されても良いし、画像形成装置12から離れた場所に設置されても良い。 The voice input terminal 200 is a terminal for receiving a voice input from a user and has a voice recognition function. The voice input terminal 200 may be installed in the vicinity of the image forming apparatus 12 or may be installed in a place apart from the image forming apparatus 12.

図3は図1に示す音声入力端末200の電気的な構成を示すブロック図である。図3を参照して、第1実施例の音声入力端末200はCPU202を含む。CPU202には、バス220を介してRAM204、音声入力部206および通信部208が接続される。 FIG. 3 is a block diagram showing an electrical configuration of the voice input terminal 200 shown in FIG. With reference to FIG. 3, the voice input terminal 200 of the first embodiment includes a CPU 202. A RAM 204, a voice input unit 206, and a communication unit 208 are connected to the CPU 202 via a bus 220.

CPU202は、音声入力端末200の全体的な制御を司る。RAM204は、CPU202のワーク領域およびバッファ領域として用いられる。 The CPU 202 controls the entire voice input terminal 200. The RAM 204 is used as a work area and a buffer area of the CPU 202.

音声入力部206は、マイク(マイクロフォン)、A/Dコンバータおよび信号増幅部から構成される。マイクを通して入力される音声は、A/D変換された後に、音声信号が増幅され、入力された音声に対応する音声データが生成される。また、マイクとしては、例えば、コンデンサマイクおよびダイナミックマイクなどの汎用のマイクを用いることができる。 The voice input unit 206 includes a microphone (microphone), an A/D converter, and a signal amplification unit. The voice input through the microphone is A/D converted, and then the voice signal is amplified to generate voice data corresponding to the input voice. As the microphone, for example, a general-purpose microphone such as a condenser microphone and a dynamic microphone can be used.

通信部208は、有線通信回路または無線通信回路等を含み、公知の通信規格に準拠した通信方式に基づき、画像形成装置12、サーバ等を含む外部のコンピュータとの間で送受信される通信データの送受信処理を行う。 The communication unit 208 includes a wired communication circuit, a wireless communication circuit, or the like, and is based on a communication method that conforms to a known communication standard, of communication data transmitted/received to/from an external computer including the image forming apparatus 12 and a server. Performs transmission/reception processing.

なお、図3に示す音声入力端末200の電気的な構成は単なる一例であり、これに限定される必要はない。たとえば、音声入力端末200は、音声(合成音声)を出力することが可能なスピーカ等の音声出力手段を備えるいわゆるスマートスピーカでも良い。この場合、ユーザと音声入力端末200との音声対話が可能となる。 The electrical configuration of the voice input terminal 200 shown in FIG. 3 is merely an example, and the configuration is not limited to this. For example, the voice input terminal 200 may be a so-called smart speaker including a voice output unit such as a speaker capable of outputting a voice (synthesized voice). In this case, a voice conversation between the user and the voice input terminal 200 becomes possible.

以下、図4および図5を参照して情報処理システム10の動作例を説明する。図4は画像形成装置12のホーム画面100の一例を示す図解図である。図5は画像形成装置12のコピー設定画面160の一例を示す図解図である。 Hereinafter, an operation example of the information processing system 10 will be described with reference to FIGS. 4 and 5. FIG. 4 is an illustrative view showing an example of the home screen 100 of the image forming apparatus 12. FIG. 5 is an illustrative view showing an example of the copy setting screen 160 of the image forming apparatus 12.

画像形成装置12の主電源がオンされて、各機能を実行可能な待機状態にある場合、画像形成装置12のディスプレイ134には、図4に示すようなホーム画面100が表示される。ホーム画面100は、上述したように、各種のジョブを選択するための画面である。このホーム画面100には、コピー、FAXおよびスキャンなどの各ジョブを選択するためのソフトウェアキー(アイコン)102の画像が表示される。 When the main power of the image forming apparatus 12 is turned on and the image forming apparatus 12 is in a standby state in which each function can be executed, the home screen 100 as shown in FIG. 4 is displayed on the display 134 of the image forming apparatus 12. The home screen 100 is a screen for selecting various jobs, as described above. On this home screen 100, an image of a software key (icon) 102 for selecting each job such as copy, FAX and scan is displayed.

ホーム画面100においてアイコン102がタッチ(選択)された場合、ディスプレイ134には、選択されたアイコン102に割り当てられたジョブの設定を行うための設定画面が表示される。以下、コピージョブが選択される場合を例に挙げて説明する。 When the icon 102 is touched (selected) on the home screen 100, the display 134 displays a setting screen for setting the job assigned to the selected icon 102. Hereinafter, a case where a copy job is selected will be described as an example.

ホーム画面100においてコピージョブが割り当てられたアイコン102がタッチされる(コピージョブが選択される)と、ディスプレイ134には、図5に示すようなコピー設定画面160が表示される。このコピー設定画面160は、コピージョブの動作条件を設定するための画面であり、操作画面の一例である。なお、図5では、各種キー等が選択されていない基本状態のコピー設定画面160を示している。つまり、基本状態では、各設定はデフォルトの状態である。 When the icon 102 to which a copy job is assigned is touched on the home screen 100 (a copy job is selected), a copy setting screen 160 as shown in FIG. 5 is displayed on the display 134. The copy setting screen 160 is a screen for setting operating conditions of a copy job, and is an example of an operation screen. Note that FIG. 5 shows the copy setting screen 160 in the basic state in which various keys and the like are not selected. That is, in the basic state, each setting is the default state.

コピー設定画面160には、機能選択キー162、他の機能選択キー164、テンキー166、白黒用のスタートキー168、カラー用のスタートキー170およびリセットキー172などのソフトウェアキーが設けられる(表示される)。 The copy setting screen 160 is provided with software keys such as a function selection key 162, another function selection key 164, a numeric keypad 166, a black and white start key 168, a color start key 170, and a reset key 172 (displayed. ).

機能選択キー162は、コピー設定画面160の左端に表示される。機能選択キー162は、複数設けられ、上下方向に並んで配置される。複数の機能選択キー162の各々は、コピージョブの主要な動作条件または主要な機能に対応する。具体的には、コピー設定画面160には、カラー設定、原稿の向き、用紙選択、両面コピー、倍率、コピー濃度およびページ集約の各々についての詳細設定を行うための機能選択キー162が表示される。また、コピー設定画面160には、上述した主要な機能以外の機能(他の機能)の各々についての詳細設定を行うためのその他の機能選択キー164が表示される。 The function selection key 162 is displayed at the left end of the copy setting screen 160. A plurality of function selection keys 162 are provided and are arranged side by side in the vertical direction. Each of the plurality of function selection keys 162 corresponds to a main operating condition or a main function of the copy job. Specifically, the copy setting screen 160 displays a function selection key 162 for making detailed settings for color setting, document orientation, paper selection, double-sided copying, magnification, copy density, and page combination. .. The copy setting screen 160 also displays other function selection keys 164 for making detailed settings for each of the functions (other functions) other than the main functions described above.

テンキー166は、数字キーであり、コピー設定画面160の中央に表示される部数設定領域178内に設けられる。テンキー166がタッチされると、タッチされた数字がテンキー166の上方のテンキー入力表示欄に表示される。つまり、部数が設定される。 The ten-key pad 166 is a numeric key and is provided in the copy number setting area 178 displayed in the center of the copy setting screen 160. When the ten keys 166 are touched, the touched numbers are displayed in the ten key input display field above the ten keys 166. That is, the number of copies is set.

白黒用のスタートキー(以下、「白黒スタートキー」という)168およびカラー用のスタートキー(以下、「カラースタートキー」という)170は、コピー設定画面160の右下のコーナ領域に表示されている。この白黒スタートキー168およびカラースタートキー170は、画像形成装置12に所定の動作を開始させるためのキーである。白黒スタートキー168がタッチされると、白黒コピーが開始される。また、カラースタートキー170がタッチ(選択)されると、カラー設定に応じてカラーコピーが開始される。 A monochrome start key (hereinafter, referred to as “monochrome start key”) 168 and a color start key (hereinafter, referred to as “color start key”) 170 are displayed in a lower right corner area of the copy setting screen 160. .. The monochrome start key 168 and the color start key 170 are keys for causing the image forming apparatus 12 to start a predetermined operation. When the monochrome start key 168 is touched, monochrome copying is started. When the color start key 170 is touched (selected), color copying is started according to the color setting.

なお、読取画像データから各種の設定が反映された白黒またはカラーの出力画像データを生成する処理、および、出力画像データに従う白黒またはカラーの画像形成処理は既に周知であり、本願発明の本質的な内容とは異なるため、これらの詳細な説明については省略することにする。 It should be noted that the process of generating black-and-white or color output image data in which various settings are reflected from the read image data, and the black-and-white or color image forming process according to the output image data are already well known and are essential to the present invention. Since the contents are different, detailed description thereof will be omitted.

リセットキー172は、カラースタートキー170の上方であり、コピー設定画面160の右端に表示される。リセットキー172は、画像形成装置12が実行中の所定の動作を中止または初期化させるためのキーである。たとえば、リセットキー172がタッチされると、実行中のジョブが中断または中止される。また、リセットキー172がタッチされると、コピー設定画面160で設定されたコピージョブの動作条件(各種の機能を含む)の設定が初期化され、デフォルトの状態にされる。 The reset key 172 is displayed above the color start key 170 and at the right end of the copy setting screen 160. The reset key 172 is a key for stopping or initializing a predetermined operation being executed by the image forming apparatus 12. For example, when the reset key 172 is touched, the job being executed is interrupted or stopped. Further, when the reset key 172 is touched, the setting of the operating conditions (including various functions) of the copy job set on the copy setting screen 160 is initialized and is set to the default state.

なお、上述のようにホーム画面100においてコピージョブが選択される場合を例に挙げて説明したが、ホーム画面100において、FAXジョブが選択される場合およびスキャンジョブが選択される場合も同様である。具体的には、FAXジョブが選択される場合およびスキャンジョブが選択される場合には、それらのジョブの動作条件を設定するための設定画面がディスプレイ134に表示され、ジョブの動作条件の設定ないしジョブの実行を行うことができる。 It should be noted that the case where the copy job is selected on the home screen 100 as described above has been described as an example, but the same applies when the FAX job is selected and the scan job is selected on the home screen 100. .. Specifically, when a FAX job is selected or a scan job is selected, a setting screen for setting the operating conditions of those jobs is displayed on the display 134 to set the operating conditions of the jobs or Can execute jobs.

従来の情報処理システムでは、画像形成装置を操作するためには、タッチパネルへのタッチ操作または操作ボタンの操作等を含む手動での入力操作が必須であった。すなわち、ジョブを実行する場合等に、全て手動で画像形成装置を操作する必要があった。このため、操作性については改善の余地がある。 In the conventional information processing system, in order to operate the image forming apparatus, a manual input operation including a touch operation on a touch panel or an operation button is required. That is, when executing a job, it is necessary to manually operate the image forming apparatus. Therefore, there is room for improvement in operability.

そこで、この第1実施例の情報処理システム10では、画像形成装置12を操作するにあたり、手動での入力操作の少なくとも一部を、音声入力端末200を介してユーザの音声によって行うことができるようした。すなわち、この情報処理システム10では、画像形成装置12を操作するにあたり、音声入力端末200を介して音声によるリモート操作(音声操作)を行うことができる。 Therefore, in the information processing system 10 according to the first embodiment, when operating the image forming apparatus 12, at least a part of the manual input operation can be performed by the voice of the user via the voice input terminal 200. did. That is, in this information processing system 10, when operating the image forming apparatus 12, it is possible to perform a voice remote operation (voice operation) via the voice input terminal 200.

具体的には、第1実施例の情報処理システム10では、予め登録される所定の単語(指示用の単語)を含む音声が音声入力端末200の音声入力部206に入力されると、指示用の単語に応じた音声による入力指示(音声指示)が画像形成装置12に入力される。そして、画像形成装置12は、音声指示を受け付けると、その音声指示に従って動作する。 Specifically, in the information processing system 10 of the first embodiment, when a voice including a predetermined word (word for instruction) registered in advance is input to the voice input unit 206 of the voice input terminal 200, A voice input instruction (voice instruction) corresponding to the word is input to the image forming apparatus 12. Then, upon receiving the voice instruction, the image forming apparatus 12 operates according to the voice instruction.

ただし、指示用の単語としては、手動での入力操作に対応する単語が登録される。たとえば、指示用の単語として用いられる単語は、“コピー”、“ファックス”および“スキャン”等である。これらの単語のそれぞれは、上述したホーム画面100に表示されるアイコン102のそれぞれに対応する。 However, as the instruction word, a word corresponding to a manual input operation is registered. For example, the words used as the instruction word are "copy", "fax", "scan", and the like. Each of these words corresponds to each of the icons 102 displayed on the home screen 100 described above.

たとえば、ディスプレイ134にコピー設定画面160以外の画面(たとえばホーム画面100)が表示されている場合またはディスプレイ134が非表示の場合に、“コピー”を含む音声が音声入力端末200の音声入力部206に入力されると、コピージョブが割り当てられたアイコン102がタッチされるのと同じ内容の音声指示が画像形成装置12に入力される。 For example, when a screen other than the copy setting screen 160 (for example, the home screen 100) is displayed on the display 134 or when the display 134 is not displayed, the sound including “copy” is output as the sound input unit 206 of the sound input terminal 200. Is input to the image forming apparatus 12, a voice instruction having the same content as when the icon 102 to which the copy job is assigned is touched is input.

したがって、ディスプレイ134には、図5に示すようなコピー設定画面160が表示される。ただし、ディスプレイ134にコピー設定画面160が表示されている場合に、“コピー”を含む音声が音声入力端末200の音声入力部206に入力されると、ディスプレイ134の表示は変化しない。すなわち、音声指示に応じて表示される操作画面が既にディスプレイ134に表示されている場合には、ディスプレイ134の表示は変化しない。画面を切り替える必要が無いからである。 Therefore, the display 134 displays the copy setting screen 160 as shown in FIG. However, when the voice including “copy” is input to the voice input unit 206 of the voice input terminal 200 when the copy setting screen 160 is displayed on the display 134, the display on the display 134 does not change. That is, when the operation screen displayed in response to the voice instruction is already displayed on the display 134, the display on the display 134 does not change. This is because there is no need to switch screens.

同様に、“ファックス”または“ファクス”を含む音声が音声入力端末200の音声入力部206に入力されると、FAXジョブが割り当てられたアイコン102がタッチされるのと同じ音声指示が画像形成装置12に入力され、“スキャン”を含む音声が音声入力端末200の音声入力部206に入力されると、スキャンジョブが割り当てられたアイコン102がタッチされるのと同じ音声指示が画像形成装置12に入力される。 Similarly, when a voice including “fax” or “fax” is input to the voice input unit 206 of the voice input terminal 200, the same voice instruction as when the icon 102 to which the fax job is assigned is touched is given to the image forming apparatus. 12 and a voice including “scan” is input to the voice input unit 206 of the voice input terminal 200, the same voice instruction as when the icon 102 to which the scan job is assigned is touched is input to the image forming apparatus 12. Is entered.

このため、音声入力端末200が画像形成装置12の近傍に設けられる場合には、ユーザは、画像形成装置12に近づきながら、音声入力端末200の音声入力部206に上述したような指示用の単語を含む音声を入力することによって、所望の設定画面をディスプレイ134に表示させることができる。このようにすれば、ユーザがディスプレイ134の前に到達したときには、既に所望の設定画面がディスプレイ134に表示されているので、便利である。 Therefore, when the voice input terminal 200 is provided in the vicinity of the image forming apparatus 12, the user approaches the image forming apparatus 12 and causes the voice input unit 206 of the voice input terminal 200 to input the above-mentioned instruction word. A desired setting screen can be displayed on the display 134 by inputting a voice including the. In this way, when the user arrives in front of the display 134, the desired setting screen is already displayed on the display 134, which is convenient.

なお、指示用の単語として用いられる単語が、ホーム画面100に表示されるアイコン102に対応する場合を例に挙げて説明したが、これに限定される必要は無い。たとえば、各ジョブの動作条件を設定するための画面に表示されるアイコンのそれぞれに対応する指示用の単語が登録されても良い。たとえば、指示用の単語として“両面コピー”、“プレビュー”、“白黒コピースタート”および“カラーコピースタート”等が登録されても良い。このようにすれば、音声操作によって、各ジョブを選択するだけでなく、ジョブの動作条件を設定したり、ジョブを実行したりすることもできる。 It should be noted that the case has been described as an example where the word used as the instruction word corresponds to the icon 102 displayed on the home screen 100, but the present invention is not limited to this. For example, an instruction word corresponding to each of the icons displayed on the screen for setting the operation condition of each job may be registered. For example, “double-sided copy”, “preview”, “monochrome copy start”, “color copy start”, and the like may be registered as the instruction words. By doing so, not only can each job be selected by voice operation, but the operating conditions of the job can be set and the job can be executed.

また、指示用の単語として操作ボタン136に対応する単語が登録されても良い。たとえば、指示用の単語として“ホーム画面”、“省電力”および“電源オン/電源オフ”等が登録されても良い。このようにすれば、操作ボタン136の操作に代えて、音声操作を行うことができる。 Further, a word corresponding to the operation button 136 may be registered as the instruction word. For example, “home screen”, “power saving”, “power on/power off” and the like may be registered as the instruction words. In this way, a voice operation can be performed instead of the operation button 136.

さらに、音声指示は、音声入力端末200から画像形成装置12に無線通信等で直接的に入力されても良いし、サーバ等の外部のコンピュータを介して、音声入力端末200から画像形成装置12に間接的に入力されても良い。 Further, the voice instruction may be directly input from the voice input terminal 200 to the image forming apparatus 12 by wireless communication or the like, or may be input from the voice input terminal 200 to the image forming apparatus 12 via an external computer such as a server. It may be indirectly input.

情報処理システム10の上記のような動作は、画像形成装置12のCPU122がRAM124に記憶された画像形成装置12用の情報処理プログラムを実行し、音声入力端末200のCPU202がRAM204に記憶された音声入力端末200用の情報処理プログラムを実行することによって実現される。具体的な処理については、後でフロー図を用いて説明する。 In the above-described operation of the information processing system 10, the CPU 122 of the image forming apparatus 12 executes the information processing program for the image forming apparatus 12 stored in the RAM 124, and the CPU 202 of the voice input terminal 200 outputs the voice stored in the RAM 204. It is realized by executing the information processing program for the input terminal 200. Specific processing will be described later using a flow chart.

図6は図2に示す画像形成装置12のRAM124のメモリマップ300の一例を示す図解図である。図6に示すように、RAM124は、プログラム記憶領域302およびデータ記憶領域304を含む。RAM124のプログラム記憶領域302には、上述したように、画像形成装置12用の情報処理プログラムが記憶される。この画像形成装置12用の情報処理プログラムは、通信プログラム302a、操作検出プログラム302b、表示プログラム302cおよび受信プログラム302dを含む。 FIG. 6 is an illustrative view showing an example of a memory map 300 of the RAM 124 of the image forming apparatus 12 shown in FIG. As shown in FIG. 6, the RAM 124 includes a program storage area 302 and a data storage area 304. As described above, the program storage area 302 of the RAM 124 stores the information processing program for the image forming apparatus 12. The information processing program for the image forming apparatus 12 includes a communication program 302a, an operation detection program 302b, a display program 302c, and a reception program 302d.

通信プログラム302aは、通信部142を制御して、外部のコンピュータとネットワークを介して有線でデータを通信(送受信)するためのプログラムである。また、通信プログラム302aは、通信部142を制御して、外部のコンピュータと無線でデータを送受信するためのプログラムでもある。 The communication program 302a is a program for controlling the communication unit 142 to communicate (transmit/receive) data in a wired manner with an external computer via a network. The communication program 302a is also a program for controlling the communication unit 142 to wirelessly transmit/receive data to/from an external computer.

操作検出プログラム302bは、画像形成装置12への手動での入力操作を検出するためのプログラムである。たとえば、操作検出プログラム302bは、タッチパネル132から出力されたタッチ座標データを取得して、ディスプレイ134に表示される各種の画面に含まれるソフトウェアキーが操作されたことを検出するためのプログラムである。また、操作検出プログラム302bは、操作ボタン136からの操作入力を検出するためのプログラムでもある。 The operation detection program 302b is a program for detecting a manual input operation to the image forming apparatus 12. For example, the operation detection program 302b is a program for acquiring the touch coordinate data output from the touch panel 132 and detecting that a software key included in various screens displayed on the display 134 has been operated. The operation detection program 302b is also a program for detecting an operation input from the operation button 136.

表示プログラム302cは、後述する画像生成データ304bを用いて、表示画像データ、すなわち、上記のホーム画面100およびコピー設定画面160などの画面データを生成し、ディスプレイ134に出力するためのプログラムである。 The display program 302c is a program for generating display image data, that is, screen data such as the home screen 100 and the copy setting screen 160 using the image generation data 304b described later, and outputting the screen data to the display 134.

受信プログラム302dは、音声入力端末200または外部のコンピュータから送信された音声指示データを受信するためのプログラムである。ただし、受信時には、通信プログラム302aが実行される。 The reception program 302d is a program for receiving voice instruction data transmitted from the voice input terminal 200 or an external computer. However, at the time of reception, the communication program 302a is executed.

なお、図示は省略するが、プログラム記憶領域302には、画像読取プログラムおよび画像形成プログラムなども記憶される。画像読取プログラムは、画像読取部140を制御して、原稿の画像を読み取り、読み取った画像に対応する画像信号(読取画像データ)を出力するためのプログラムである。画像形成プログラムは、画像形成部138を制御して、多色または単色の画像を用紙に印刷するためのプログラムである。また、プログラム記憶領域302には、画像形成装置12が備える各種の機能を選択および実行するためのプログラムなども記憶される。 Although illustration is omitted, the program storage area 302 also stores an image reading program, an image forming program, and the like. The image reading program is a program for controlling the image reading unit 140 to read an image of a document and outputting an image signal (read image data) corresponding to the read image. The image forming program is a program for controlling the image forming unit 138 to print a multicolor or monochromatic image on paper. Further, the program storage area 302 also stores programs for selecting and executing various functions of the image forming apparatus 12.

また、RAM124のデータ記憶領域304には、操作入力データ304a、画像生成データ304bおよび音声指示データ304cなどが記憶される。 Further, in the data storage area 304 of the RAM 124, operation input data 304a, image generation data 304b, voice instruction data 304c, etc. are stored.

操作入力データ304aは、操作検出プログラム302bに従って検出されたタッチ座標データまたは/および操作データである。検出されたタッチ座標データまたは/および操作データは、時系列に従ってデータ記憶領域304に記憶される。 The operation input data 304a is touch coordinate data or/and operation data detected according to the operation detection program 302b. The detected touch coordinate data and/or operation data is stored in the data storage area 304 in time series.

画像生成データ304bは、ディスプレイ134に表示する各種の画面に対応する表示画像データを生成するためのポリゴンデータまたはテクスチャデータ等のデータである。 The image generation data 304b is data such as polygon data or texture data for generating display image data corresponding to various screens displayed on the display 134.

音声指示データ304cは、音声入力端末200の音声入力部206に入力された音声指示についてのデータである。 The voice instruction data 304c is data regarding a voice instruction input to the voice input unit 206 of the voice input terminal 200.

なお、図示は省略するが、データ記憶領域304には、画像形成装置12用の情報処理プログラムの実行に必要な他のデータが記憶されたり、画像形成装置12用の情報処理プログラムの実行に必要なタイマ(カウンタ)やレジスタが設けられたりする。 Although illustration is omitted, in the data storage area 304, other data necessary for executing the information processing program for the image forming apparatus 12 is stored, or necessary for executing the information processing program for the image forming apparatus 12. There are various timers (counters) and registers.

図7は図3に示す音声入力端末200のRAM204のメモリマップ320の一例を示す図解図である。図7に示すように、RAM204は、プログラム記憶領域322およびデータ記憶領域324を含む。RAM204のプログラム記憶領域322には、上述したように、音声入力端末200用の情報処理プログラムが記憶される。この音声入力端末200用の情報処理プログラムは、通信プログラム322a、音声認識プログラム322b、判定プログラム322c、生成プログラム322dおよび送信プログラム322eを含む。 FIG. 7 is an illustrative view showing one example of a memory map 320 of the RAM 204 of the voice input terminal 200 shown in FIG. As shown in FIG. 7, the RAM 204 includes a program storage area 322 and a data storage area 324. The program storage area 322 of the RAM 204 stores the information processing program for the voice input terminal 200, as described above. The information processing program for the voice input terminal 200 includes a communication program 322a, a voice recognition program 322b, a determination program 322c, a generation program 322d, and a transmission program 322e.

通信プログラム322aは、通信部208を制御して、無線通信を使用して、画像形成装置12との間で直接的にデータを送受信したり、ネットワークを介して外部のコンピュータまたは画像形成装置12との間で間接的にデータを送受信したりするためのプログラムである。 The communication program 322a controls the communication unit 208 to directly transmit/receive data to/from the image forming apparatus 12 using wireless communication, or to/from an external computer or the image forming apparatus 12 via a network. It is a program for indirectly sending and receiving data between the two.

音声認識プログラム322bは、音声入力部206を通して入力される、ユーザが音声入力端末200に対して発話した音声についての音声データ324aに応じて、音声認識を行い、音声に対応する文字列についての文字列データ324cを生成するためのプログラムである。音声認識プログラム322bは、たとえばDPマッチングや隠れマルコフ法(Hidden Markov Model:HMM)により、音声の内容を認識するためのプログラムである。 The voice recognition program 322b performs voice recognition according to the voice data 324a regarding the voice uttered by the user to the voice input terminal 200, which is input through the voice input unit 206, and the characters regarding the character string corresponding to the voice are recognized. It is a program for generating the column data 324c. The voice recognition program 322b is a program for recognizing the voice content by DP matching or Hidden Markov Model (HMM), for example.

判定プログラム322cは、単語データ324dを参照して、文字列データ324cに対応する文字列に、指示用の単語が含まれているかどうかを判定するためのプログラムである。 The determination program 322c is a program for referring to the word data 324d and determining whether or not a character string corresponding to the character string data 324c includes an instruction word.

生成プログラム322dは、文字列データ324cに対応する文字列に、指示用の単語が含まれている場合に、指示用の単語に応じた音声指示(指示コマンド)についての音声指示データ324eを生成するためのプログラムである。 When the character string corresponding to the character string data 324c includes an instruction word, the generation program 322d generates voice instruction data 324e for a voice instruction (instruction command) corresponding to the instruction word. It is a program for.

送信プログラム322eは、音声指示データ324eを画像形成装置12に送信するためのプログラムである。ただし、送信時には、通信プログラム322aが実行される。 The transmission program 322e is a program for transmitting the voice instruction data 324e to the image forming apparatus 12. However, at the time of transmission, the communication program 322a is executed.

なお、図示は省略するが、プログラム記憶領域322には、音声入力端末200が備える各種の機能を選択および実行するためのプログラムなども記憶される。 Although illustration is omitted, the program storage area 322 also stores programs and the like for selecting and executing various functions of the voice input terminal 200.

また、RAM204のデータ記憶領域324には、音声データ324a、辞書データ324b、文字列データ324c、辞書データ324b、単語データ324dおよび音声指示データ324eなどが記憶される。 Further, in the data storage area 324 of the RAM 204, voice data 324a, dictionary data 324b, character string data 324c, dictionary data 324b, word data 324d, voice instruction data 324e and the like are stored.

音声データ324aは、音声入力部206から入力される音声データであり、一時的に記憶される。文字列データ324cは、音声認識プログラム322bに従って生成される、音声の内容に対応する文字列についてのデータである。辞書データ324bは、音声認識のために必要な辞書などのデータである。単語データ324dは、指示用の単語についてのデータである。音声指示データ324eは、指示用の単語に応じた入力指示についてのデータである。 The voice data 324a is voice data input from the voice input unit 206 and is temporarily stored. The character string data 324c is data about a character string corresponding to the content of the voice generated according to the voice recognition program 322b. The dictionary data 324b is data such as a dictionary necessary for voice recognition. The word data 324d is data regarding the instruction word. The voice instruction data 324e is data regarding an input instruction corresponding to the instruction word.

なお、図示は省略するが、データ記憶領域324には、音声入力端末200用の情報処理プログラムの実行に必要な他のデータが記憶されたり、音声入力端末200用の情報処理プログラムの実行に必要なタイマ(カウンタ)やレジスタが設けられたりする。 Although illustration is omitted, the data storage area 324 stores other data necessary for executing the information processing program for the voice input terminal 200, and is necessary for executing the information processing program for the voice input terminal 200. There are various timers (counters) and registers.

図8は、図2に示す画像形成装置12のCPU122で実行される遠隔操作処理の一例を示すフロー図である。この遠隔操作処理は、画像形成装置12の電源がオンされたときに開始される。 FIG. 8 is a flowchart showing an example of remote operation processing executed by the CPU 122 of the image forming apparatus 12 shown in FIG. The remote control process is started when the power of the image forming apparatus 12 is turned on.

図8に示すように、画像形成装置12のCPU122は、遠隔操作処理を開始すると、ステップS1で、音声指示を受信したかどうかを判断する。ステップS1で“NO”であれば、つまり、音声指示を受信しない場合は、同じステップS1に戻る。一方、ステップS1で“YES”であれば、つまり、音声指示を受信した場合は、ステップS3で、音声指示を受け付けて、ステップS5で、遠隔操作処理を終了するかどうかを判断する。ここでは、画像形成装置12の電源がオフされるかどうかを判断する。ステップS5で“NO”であれば、ステップS1に戻る。一方、ステップS5で“YES”であれば、遠隔操作処理を終了する。 As shown in FIG. 8, when starting the remote control process, the CPU 122 of the image forming apparatus 12 determines whether or not a voice instruction has been received in step S1. If "NO" in the step S1, that is, if the voice instruction is not received, the process returns to the same step S1. On the other hand, if “YES” in the step S1, that is, if a voice instruction is received, in a step S3, the voice instruction is accepted, and in a step S5, it is determined whether or not the remote operation processing is ended. Here, it is determined whether or not the image forming apparatus 12 is powered off. If "NO" in the step S5, the process returns to the step S1. On the other hand, if “YES” in the step S5, the remote operation process ends.

図9は、図3に示す音声入力端末200のCPU202で実行される遠隔操作処理の一例を示すフロー図である。この遠隔操作処理は、音声入力端末200の電源がオンされたときに開始される。 FIG. 9 is a flowchart showing an example of remote operation processing executed by the CPU 202 of the voice input terminal 200 shown in FIG. This remote control process is started when the power of the voice input terminal 200 is turned on.

図9に示すように、音声入力端末200のCPU202は、遠隔操作処理を開始すると、ステップS31で、音声入力部206に音声が入力されたかどうかを判断する。ステップS31で“NO”であれば、つまり、音声が入力されない場合は、同じステップS31に戻る。一方、ステップS31で“YES”であれば、つまり、音声が入力された場合は、ステップS33で、音声認識を行い、音声の内容に対応する文字列を生成し、ステップS35で、文字列に指示用の単語が含まれているかどうかを判断する。ステップS35で“NO”であれば、つまり、文字列に指示用の単語が含まれていない場合は、ステップS31に戻る。一方、ステップS35で“YES”であれば、つまり、文字列に指示用の単語が含まれている場合には、ステップS37で、指示用の単語に応じた音声指示を画像形成装置12に送信して、ステップS39で、遠隔操作処理を終了するかどうかを判断する。ここでは、音声入力端末200の電源がオフされるかどうかを判断する。ステップS39で“NO”であれば、ステップS31に戻る。一方、ステップS39で“YES”であれば、遠隔操作処理を終了する。 As shown in FIG. 9, when the remote operation process is started, the CPU 202 of the voice input terminal 200 determines whether or not a voice is input to the voice input unit 206 in step S31. If “NO” in the step S31, that is, if no voice is input, the process returns to the same step S31. On the other hand, if “YES” in the step S31, that is, if voice is input, voice recognition is performed in a step S33, a character string corresponding to the content of the voice is generated, and in a step S35, the character string is converted. Determine if the instruction word is included. If “NO” in the step S35, that is, if the character string does not include the instruction word, the process returns to the step S31. On the other hand, if “YES” in the step S35, that is, if the character string includes the instruction word, the voice instruction corresponding to the instruction word is transmitted to the image forming apparatus 12 in a step S37. Then, in step S39, it is determined whether or not the remote operation processing is to be ended. Here, it is determined whether the power of the voice input terminal 200 is turned off. If "NO" in the step S39, the process returns to the step S31. On the other hand, if “YES” in the step S39, the remote operation process ends.

この第1実施例によれば、画像形成装置12を操作するにあたり、手動の操作に代えて、音声入力端末200を介して音声操作を行うことができるので、操作性の向上を図ることができる。
[第2実施例]
第2実施例の情報処理システム10は、音声入力端末200を介して音声によるリモート操作を受け付けた場合の画像形成装置12の動作が一部異なる以外は第1実施例と同じであるため、第1実施例と異なる内容について説明し、重複した説明については省略することにする。
According to the first embodiment, when operating the image forming apparatus 12, a voice operation can be performed via the voice input terminal 200 instead of a manual operation, so that the operability can be improved. ..
[Second Embodiment]
The information processing system 10 of the second embodiment is the same as that of the first embodiment except that the operation of the image forming apparatus 12 when a remote operation by voice is accepted via the voice input terminal 200 is partially different. The contents different from the first embodiment will be described, and the duplicated description will be omitted.

図10は第2実施例の確認画面の一例を示す図解図である。この第2実施例の情報処理システム10では、画像形成装置12でユーザ認証が実行され、ログインが許可される操作者(登録ユーザ)が画像形成装置12を操作することがある。図10に示すように、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力されると、ディスプレイ134には、登録ユーザ用の確認画面(確認ウインドウ)190が表示される。 FIG. 10 is an illustrative view showing one example of the confirmation screen of the second embodiment. In the information processing system 10 of the second embodiment, the image forming apparatus 12 may perform user authentication, and an operator (registered user) who is permitted to log in may operate the image forming apparatus 12. As shown in FIG. 10, when the registered user logs in to the image forming apparatus 12 and a voice instruction is input to the image forming apparatus 12, a confirmation screen (confirmation window) 190 for the registered user is displayed on the display 134. It

確認画面190は、音声指示が画像形成装置12に入力されたときにディスプレイ134に表示される操作画面の前面に重ねて、ディスプレイ134の表示領域の中央部に表示される。すなわち、確認画面190は、ポップアップで表示される。たとえば、図10に示す例では、確認画面190は、コピー設定画面160の前面に重ねて表示される。 The confirmation screen 190 is displayed in the central portion of the display area of the display 134, being superimposed on the front surface of the operation screen displayed on the display 134 when the voice instruction is input to the image forming apparatus 12. That is, the confirmation screen 190 is displayed in a pop-up. For example, in the example shown in FIG. 10, the confirmation screen 190 is displayed so as to be superimposed on the front surface of the copy setting screen 160.

確認画面190は、音声指示の入力に伴う自動ログアウトの許可/不許可を決定するための小画面(ウインドウ)であり、確認画面190には、自動ログアウトの許可/不許可の決定を促すメッセージ(たとえば、“リモート操作を受け付けました。ログアウト要求があります。ログアウトしますか?”等のメッセージ)が表示される。また、確認画面190には、自動ログアウトを許可する機能が割り当てられた“はい”ボタン192および自動ログアウトを許可しない機能が割り当てられた“いいえ”ボタン194が表示される。 The confirmation screen 190 is a small screen (window) for determining permission/non-permission of automatic logout in response to the input of a voice instruction, and the confirmation screen 190 includes a message prompting the determination of permission/non-permission of automatic logout ( For example, a message such as “Remote operation has been accepted. There is a logout request. Are you sure you want to logout?” is displayed. Further, on the confirmation screen 190, a “Yes” button 192 to which a function permitting automatic logout is assigned and a “No” button 194 to which a function not permitting automatic logout are assigned are displayed.

なお、確認画面190は、“はい”ボタン192または“いいえ”ボタン194をタッチする以外の操作ができないようになっており、その他の操作はできないようになっている。 It should be noted that the confirmation screen 190 is configured so that operations other than touching the “Yes” button 192 or the “No” button 194 cannot be performed, and other operations cannot be performed.

“いいえ”ボタン194が選択された場合には、自動ログアウトは実行されずに、ログイン状態が維持され、確認画面190が非表示にされ、音声指示が画像形成装置12に入力されたときにディスプレイ134に表示されていた操作画面に戻る。また、“いいえ”ボタン194が選択された場合には、音声指示は無視される。したがって、登録ユーザは、ログインした状態のまま、画像形成装置12を操作することができる。 When the “No” button 194 is selected, the automatic logout is not executed, the login state is maintained, the confirmation screen 190 is hidden, and the voice instruction is displayed when it is input to the image forming apparatus 12. The screen returns to the operation screen displayed at 134. If the "No" button 194 is selected, the voice instruction is ignored. Therefore, the registered user can operate the image forming apparatus 12 while logged in.

一方、“はい”ボタン192が選択された場合には、自動ログアウトが実行され、登録ユーザが選択したジョブおよびジョブの動作条件等の設定が初期化され、音声指示に従って画像形成装置12が動作する。たとえば、音声指示に従って、ジョブが選択されたり、選択されたジョブについての動作条件が設定されたり、ジョブが実行されたりする。 On the other hand, when the “Yes” button 192 is selected, automatic logout is executed, the settings of the job selected by the registered user and the operating conditions of the job are initialized, and the image forming apparatus 12 operates according to the voice instruction. .. For example, a job is selected, an operating condition for the selected job is set, or the job is executed according to a voice instruction.

また、第2実施例では、上述したような動作を実現するために、画像形成装置12のRAM124に記憶された情報処理プログラムには、ユーザ認証を行うための認証プログラムおよび自動ログアウトを実行するための自動ログアウト用プログラム等が含まれる。 In addition, in the second embodiment, in order to realize the above-described operation, the information processing program stored in the RAM 124 of the image forming apparatus 12 includes the authentication program for performing user authentication and the automatic logout. Includes programs for automatic logout.

以下、フロー図を用いて、第2実施例における遠隔操作処理について説明するが、第1実施例で説明した遠隔操作処理と同じ処理については同じ参照符号を付し、重複した内容については、説明を省略するまたは簡単に説明することにする。 The remote operation process in the second embodiment will be described below with reference to the flowchart. However, the same processes as those in the remote operation process described in the first embodiment will be designated by the same reference numerals, and overlapping contents will be described. Will be omitted or simply described.

図11は第2実施例の画像形成装置12の遠隔操作処理の一例を示すフロー図である。図11に示すように、画像形成装置12のCPU122は、遠隔操作処理を開始すると、ステップS1で“YES”であれば、ステップS51で、他のユーザがログイン中かどうかを判断する。ステップS1で“NO”であれば、つまり、他のユーザがログイン中でないと判断した場合は、ステップS3に進む。 FIG. 11 is a flowchart showing an example of the remote control processing of the image forming apparatus 12 of the second embodiment. As shown in FIG. 11, when the remote operation process is started, the CPU 122 of the image forming apparatus 12 determines “YES” in step S1 and determines whether another user is logged in in step S51. If “NO” in the step S1, that is, if it is determined that another user is not logged in, the process proceeds to a step S3.

一方、ステップS1で“YES”であれば、つまり、他のユーザがログイン中であると判断した場合は、ステップS53で、音声指示の入力に伴う自動ログアウトの許可/不許可を決定するための確認画面190をディスプレイ134に表示して、ステップS55で、ログアウトするかどうか、すなわち自動ログアウトを許可するかどうかを判断する。ここでは、“はい”ボタン192がタッチされたかどうかを判断する。ステップS55で“NO”であれば、つまり、“いいえ”ボタン194がタッチされ、ログアウトしないと判断した場合は、ステップS1に戻る。このとき、確認画面190は非表示にされ、確認画面190が表示される直前の状態に戻る。 On the other hand, if “YES” in the step S1, that is, if it is determined that another user is logged in, in a step S53, the permission/non-permission of the automatic logout accompanying the input of the voice instruction is determined. A confirmation screen 190 is displayed on the display 134, and it is determined in step S55 whether or not to log out, that is, whether to allow automatic logout. Here, it is determined whether or not the “Yes” button 192 has been touched. If “NO” in the step S55, that is, if the “No” button 194 is touched and it is determined that the logout is not performed, the process returns to the step S1. At this time, the confirmation screen 190 is hidden and the state immediately before the confirmation screen 190 is displayed is restored.

一方、ステップS55で“YES”であれば、つまり、ログアウトすると判断した場合は、ステップS57で、ログアウトを実行し、ステップS3に進む。 On the other hand, if “YES” in the step S55, that is, if it is determined that the logout is performed, the logout is executed in a step S57, and the process proceeds to the step S3.

なお、ステップS3の処理およびステップS5の処理の内容については、第1実施例と同じであるので説明を省略する。また、音声入力端末200の遠隔操作処理の内容については、第1実施例と同じであるので説明を省略する。 Note that the contents of the processing of step S3 and the processing of step S5 are the same as those in the first embodiment, so description thereof will be omitted. Further, the content of the remote control process of the voice input terminal 200 is the same as that of the first embodiment, and therefore the description thereof is omitted.

この第2実施例によれば、第1実施例と同様に、操作性の向上を図ることができる。また、第2実施例によれば、音声指示を行うユーザが優先的に画像形成装置12を使用することができる。 According to the second embodiment, the operability can be improved as in the first embodiment. Further, according to the second embodiment, the user who gives a voice instruction can preferentially use the image forming apparatus 12.

なお、第2実施例では、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力されると、ディスプレイ134には、確認画面190が表示されるようにしたが、これに限定される必要は無い。たとえば、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力されると、強制的に自動ログアウトが実行されるようにしても良い。ただし、強制的に自動ログアウトが実行される場合は、ログアウト前の状態(表示されていた操作画面およびジョブの動作条件の設定等)を記憶しておき、音声操作終了後に元の状態に戻るようにしても良いまた、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力された場合であっても、その音声指示の内容が、操作中の登録ユーザの操作に影響を及ぼさない指示である場合には、ログイン状態を維持し、確認画面190を表示させなくても良い。 In the second embodiment, the confirmation screen 190 is displayed on the display 134 when the voice instruction is input to the image forming apparatus 12 while the registered user is logged in to the image forming apparatus 12. There is no need to be limited to. For example, when a registered user logs in to the image forming apparatus 12 and a voice instruction is input to the image forming apparatus 12, automatic logout may be forcibly executed. However, if automatic logout is forcibly executed, remember the state before logout (such as the displayed operation screen and job operation condition settings), and restore the original state after the voice operation ends. Alternatively, even if a voice instruction is input to the image forming apparatus 12 while the registered user is logged in to the image forming apparatus 12, the content of the voice instruction affects the operation of the registered user who is operating. If it is an instruction that does not extend, the login state may be maintained and the confirmation screen 190 may not be displayed.

また、登録ユーザは、音声操作によってユーザ認証をすることができるようにしても良い。たとえば、登録ユーザの声紋情報(登録声紋情報)を予め登録しておき、音声入力端末200の音声入力部206に入力された音声から声紋情報を取得し、取得した声紋情報と登録声紋情報とを照合して、一致した場合にそのユーザを登録ユーザとして認証することができる。 Further, the registered user may be able to perform user authentication by voice operation. For example, the voiceprint information (registered voiceprint information) of the registered user is registered in advance, the voiceprint information is acquired from the voice input to the voice input unit 206 of the voice input terminal 200, and the acquired voiceprint information and the registered voiceprint information are combined. It is possible to collate and to authenticate the user as a registered user when they match.

さらに、第2実施例では、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力される場合について説明したが、ログインに関係なく、操作者(通常ユーザ)が画像形成装置12を操作することがある。この場合、ディスプレイ134にホーム画面100以外の画面が表示されているときには、ディスプレイ134には、確認画面(通常ユーザ用の確認画面)が表示される。この通常ユーザ用の確認画面は、音声指示(リモート操作)を受け付けたこと、現在の状態(表示されていた操作画面およびジョブの動作条件の設定等)をリセットすること、音声指示をしたユーザ(リモートユーザ)に画像形成装置12の操作権を与えることを許可するか否かを問い合わせるための画面である。通常ユーザ用の確認画面には、現在の状態のリセット等を許可する機能が割り当てられたボタンと、現在の状態のリセット等を許可しない機能が割り当てられたボタンとが表示され、画像形成装置12を操作中のユーザは、現在の状態のリセット等の許可/不許可を選択することができる。ただし、通常ユーザの操作中に音声指示が画像形成装置12に入力される場合、通常ユーザ用の確認画面を表示させずに、強制的に自動ログアウトが実行されるようにしても良い。
[第3実施例]
第3実施例の情報処理システム10では、自動ログアウトの許可/不許可の判定方法が一部異なる以外は第2実施例と同じであるため、第2実施例と異なる内容について説明し、重複した説明については省略することにする。
Further, in the second embodiment, the case where the voice instruction is input to the image forming apparatus 12 while the registered user is logging in to the image forming apparatus 12 has been described. However, regardless of the login, the operator (normal user) forms the image. The device 12 may be operated. In this case, when a screen other than the home screen 100 is displayed on the display 134, a confirmation screen (confirmation screen for normal user) is displayed on the display 134. The confirmation screen for the normal user includes acceptance of a voice instruction (remote operation), resetting of the current state (setting of the operation screen and job operating conditions that have been displayed, etc.), and a user who issued a voice instruction ( It is a screen for inquiring whether or not to grant the operation right of the image forming apparatus 12 to the remote user). On the confirmation screen for the normal user, a button to which a function that permits resetting of the current state is assigned and a button to which a function that does not permit resetting of the current state are assigned are displayed, and the image forming apparatus 12 is displayed. The user who is operating can select permission/non-permission such as resetting the current state. However, when the voice instruction is input to the image forming apparatus 12 during the operation of the normal user, the automatic logout may be forcibly executed without displaying the confirmation screen for the normal user.
[Third Embodiment]
The information processing system 10 of the third embodiment is the same as the second embodiment except that the determination method of permission/non-permission of automatic logout is partially different. Therefore, the contents different from those of the second embodiment will be described and duplicated. The description will be omitted.

第3実施例では、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力されたときから、手動での入力操作が無い状態が所定時間(たとえば1分〜2分)継続した場合に、自動ログアウトが許可される。上述したように、ログイン中に音声指示が画像形成装置12に入力されると、確認画面190がディスプレイ134に表示される。ここで、確認画面190は、“はい”ボタン192または“いいえ”ボタン194をタッチする以外の操作ができないので、“はい”ボタン192または“いいえ”ボタン194がタッチされない状態が所定時間継続した場合に、自動ログアウトが許可される。 In the third embodiment, from the time when the voice instruction is input to the image forming apparatus 12 while the registered user is logged in to the image forming apparatus 12, a state in which there is no manual input operation is for a predetermined time (for example, 1 to 2 minutes). If continued, automatic logout is allowed. As described above, when a voice instruction is input to image forming apparatus 12 during login, confirmation screen 190 is displayed on display 134. Here, since the confirmation screen 190 cannot be operated except for touching the “Yes” button 192 or the “No” button 194, if the “Yes” button 192 or the “No” button 194 is not touched for a predetermined time. In addition, automatic logout is allowed.

また、第3実施例では、上述したような動作を実現するために、画像形成装置12のRAM124に記憶された情報処理プログラムには、ディスプレイ134に確認画面190が表示されたときから、または音声指示を受信したときから所定時間継続したかどうかを判定するためのプログラム等が含まれる。 Further, in the third embodiment, in order to realize the above-described operation, the information processing program stored in the RAM 124 of the image forming apparatus 12 has a confirmation screen 190 displayed on the display 134 or a voice. A program or the like for determining whether or not the instruction has continued for a predetermined time from the time of receiving the instruction is included.

以下、フロー図を用いて、第3実施例における遠隔操作処理について説明するが、第2実施例で説明した遠隔操作処理と同じ処理については同じ参照符号を付し、重複した内容については、説明を省略するまたは簡単に説明することにする。 The remote operation process in the third embodiment will be described below with reference to the flowchart. However, the same processes as those in the remote operation process described in the second embodiment will be designated by the same reference numerals, and overlapping contents will be described. Will be omitted or simply described.

図12は第3実施例の通信処理の一例を示すフロー図である。図12に示すように、画像形成装置12のCPU122は、遠隔操作処理を開始すると、ステップS53で、確認画面190をディスプレイ134に表示して、ステップS71で、タイマをスタートする。図示は省略したが、タイマ(カウンタ)はRAM124に設けられる。続いて、ステップS73で、手動での入力操作があるかどうかを判断する。たとえば、“はい”ボタン192または“いいえ”ボタン194がタッチされたかどうかを判断する。ステップS73で“YES”であれば、つまり、手動での入力操作があると判断した場合は、ステップS75で、タイマをリセットして、ステップS55に進む。一方、ステップS73で“NO”であれば、つまり、手動での入力操作が無いと判断した場合は、ステップS77で、所定時間が経過したかどうかを判断する。ステップS77で“NO”であれば、つまり、所定時間が経過していないと判断した場合は、ステップS73に戻る。一方、ステップS77で“YES”であれば、つまり、所定時間が経過したと判断した場合は、ステップS79で、タイマをリセットして、ステップS57に進む。 FIG. 12 is a flowchart showing an example of the communication process of the third embodiment. As shown in FIG. 12, when starting the remote control process, the CPU 122 of the image forming apparatus 12 displays the confirmation screen 190 on the display 134 in step S53, and starts the timer in step S71. Although not shown, the timer (counter) is provided in the RAM 124. Succeedingly, in a step S73, it is determined whether or not there is a manual input operation. For example, it is determined whether the “Yes” button 192 or the “No” button 194 has been touched. If “YES” in the step S73, that is, if it is determined that there is a manual input operation, the timer is reset in a step S75, and the process proceeds to the step S55. On the other hand, if “NO” in the step S73, that is, if it is determined that there is no manual input operation, it is determined whether or not a predetermined time has elapsed in a step S77. If “NO” in the step S77, that is, if it is determined that the predetermined time has not elapsed, the process returns to the step S73. On the other hand, if “YES” in the step S77, that is, if it is determined that the predetermined time has elapsed, the timer is reset in a step S79, and the process proceeds to a step S57.

なお、ステップS53までの処理およびステップS57以降の処理の内容については、第2実施例と同じであるので説明を省略する。 Note that the contents of the processing up to step S53 and the processing after step S57 are the same as those in the second embodiment, so description thereof will be omitted.

この第3実施例によれば、画像形成装置12にログインしていた登録ユーザが画像形成装置12の前から立ち去った場合であっても、手動での入力操作が無い状態が所定時間継続した場合に自動的にログアウトされるので、音声指示を行うユーザが画像形成装置12を使用することができる。
[第4実施例]
第4実施例の情報処理システム10では、自動ログアウトの許可/不許可の判定方法が一部異なる以外は第2実施例と同じであるため、第3実施例と異なる内容について説明し、重複した説明については省略することにする。
According to the third embodiment, even if the registered user who has logged in to the image forming apparatus 12 leaves from the front of the image forming apparatus 12, if there is no manual input operation for a predetermined time. Since the user is automatically logged out, the user who gives a voice instruction can use the image forming apparatus 12.
[Fourth Embodiment]
The information processing system 10 of the fourth example is the same as the second example except that the method of determining whether to permit/deny automatic logout is partially different. Therefore, the contents different from those of the third example will be described and duplicated. The description will be omitted.

第4実施例では、画像形成装置12は、画像形成装置12の周囲(前方)に存在する人(ユーザ)を検出するための人検出センサを備える。人検出センサとしては、たとえば距離センサ、焦電センサ、床センサ(圧力センサ)またはデジタルカメラ(イメージセンサ)を用いることができる。たとえば、距離センサとしては、赤外線センサ、超音波センサおよびレーザ距離センサ等が用いられる。人検出センサは、バス120を介してCPU122に接続される。CPU122は、人検出センサから出力される、距離データ、温度データまたは画像データ等のデータに応じて、画像形成装置12の前方の領域に、ユーザが存在するかどうかを判断する。 In the fourth embodiment, the image forming apparatus 12 includes a person detection sensor for detecting a person (user) existing around (front of) the image forming apparatus 12. As the person detection sensor, for example, a distance sensor, a pyroelectric sensor, a floor sensor (pressure sensor) or a digital camera (image sensor) can be used. For example, an infrared sensor, an ultrasonic sensor, a laser distance sensor, or the like is used as the distance sensor. The human detection sensor is connected to the CPU 122 via the bus 120. The CPU 122 determines whether or not the user is present in the area in front of the image forming apparatus 12 according to data such as distance data, temperature data, or image data output from the human detection sensor.

そして、第4実施例では、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力された後、手動での入力操作が無い状態(“はい”ボタン192または“いいえ”ボタン194がタッチされない状態)で、画像形成装置12の周囲から人が居なくなった場合に、自動ログアウトが実行される。 In the fourth embodiment, there is no manual input operation after the voice instruction is input to the image forming apparatus 12 while the registered user is logged in to the image forming apparatus 12 (“Yes” button 192 or “No”). In the state where the button 194 is not touched), when there is no person around the image forming apparatus 12, automatic logout is executed.

また、第4実施例では、上述したような動作を実現するために、画像形成装置12のRAM124に記憶された情報処理プログラムには、画像形成装置12の周囲に存在する人を検出するための人検出プログラム等が含まれる。 In addition, in the fourth embodiment, in order to realize the above-described operation, the information processing program stored in the RAM 124 of the image forming apparatus 12 is for detecting a person existing around the image forming apparatus 12. A person detection program and the like are included.

以下、フロー図を用いて、第4実施例における遠隔操作処理について説明するが、第2実施例で説明した遠隔操作処理と同じ処理については同じ参照符号を付し、重複した内容については、説明を省略するまたは簡単に説明することにする。 The remote operation process in the fourth embodiment will be described below with reference to the flowchart. However, the same processes as the remote operation process described in the second embodiment are designated by the same reference numerals, and the overlapping contents will be described. Will be omitted or simply described.

図13は第4実施例の通信処理の一例を示すフロー図である。図13に示すように、画像形成装置12のCPU122は、遠隔操作処理を開始すると、ステップS91で、手動での入力操作があるかどうかを判断する。ステップS91で“YES”であれば、つまり、手動での入力操作があると判断した場合は、ステップS55に進む。一方、ステップS91で“NO”であれば、つまり、手動での入力操作が無いと判断した場合は、ステップS93で、人間を検出したかどうかを判断する。ステップS93で“YES”であれば、つまり、人間を検出したと判断した場合は、ステップS53に戻る。一方、ステップS93で“NO”であれば、つまり、人間を検出しないと判断した場合は、ステップS57に進む。 FIG. 13 is a flow chart showing an example of communication processing of the fourth embodiment. As shown in FIG. 13, when starting the remote operation process, the CPU 122 of the image forming apparatus 12 determines whether or not there is a manual input operation in step S91. If “YES” in the step S91, that is, if it is determined that there is a manual input operation, the process proceeds to a step S55. On the other hand, if "NO" in the step S91, that is, if it is determined that there is no manual input operation, it is determined whether or not a human is detected in a step S93. If “YES” in the step S93, that is, if it is determined that a human is detected, the process returns to the step S53. On the other hand, if “NO” in the step S93, that is, if it is determined that no human is detected, the process proceeds to a step S57.

なお、ステップS53までの処理およびステップS57以降の処理の内容については、第3実施例と同じであるので説明を省略する。 Note that the contents of the processing up to step S53 and the processing after step S57 are the same as those in the third embodiment, so description thereof will be omitted.

この第4実施例によれば、画像形成装置12にログインしていた登録ユーザが画像形成装置12の前から立ち去った場合であっても、自動的にログアウトされるので、音声指示を行うユーザが画像形成装置12を使用することができる。 According to the fourth embodiment, even if the registered user who has logged in to the image forming apparatus 12 leaves from the front of the image forming apparatus 12, the registered user is automatically logged out. The image forming apparatus 12 can be used.

なお、第4実施例に示した態様は、第3実施例にも組み合わせて採用することが可能である。すなわち、登録ユーザが画像形成装置12にログイン中に音声指示が画像形成装置12に入力された後、手動での入力操作が無い状態で所定時間経過するか、または、画像形成装置12の周囲から人が居なくなった場合に、自動ログアウトが許可される。 The aspect shown in the fourth embodiment can also be adopted in combination with the third embodiment. That is, after a voice instruction is input to the image forming apparatus 12 while the registered user is logging in to the image forming apparatus 12, a predetermined time elapses without any manual input operation, or from around the image forming apparatus 12. Automatic logout is allowed when people are gone.

また、上述の実施例で挙げた数値、画面および具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。また、上述の実施例で示したフロー図の各ステップは、同じ結果が得られるのであれば、処理される順番は適宜変更することが可能である。 Further, the numerical values, screens, specific configurations, and the like mentioned in the above-mentioned embodiments are examples, and can be appropriately changed according to the actual product. Further, the steps of the flow charts shown in the above-described embodiments can be appropriately changed in processing order as long as the same result can be obtained.

10 …情報処理システム
12 …画像形成装置
132…タッチパネル
134…ディスプレイ
142…通信部
200…音声入力端末
206…音声入力部
208…通信部
10... Information processing system 12... Image forming device 132... Touch panel 134... Display 142... Communication unit 200... Voice input terminal 206... Voice input unit 208... Communication unit

Claims (13)

画像形成装置を含む情報処理システムであって、
ユーザが発する音声を取得する音声取得手段、
前記音声取得手段で取得された前記音声に、所定の単語が含まれているかどうかを判定する判定手段、
前記判定手段によって、前記音声に前記所定の単語が含まれていると判断された場合に、当該所定の単語に応じた指示情報を生成する生成手段、および
前記生成手段によって生成された前記指示情報に従って前記画像形成装置を制御する制御手段を含む、情報処理システム。
An information processing system including an image forming apparatus,
A voice acquisition means for acquiring the voice uttered by the user,
The voice acquired by the voice acquisition unit, the determination unit for determining whether a predetermined word is included,
When the determination unit determines that the predetermined word is included in the voice, a generation unit that generates instruction information corresponding to the predetermined word, and the instruction information generated by the generation unit An information processing system including control means for controlling the image forming apparatus according to the above.
前記画像形成装置を利用しようとする人のユーザ認証処理を行い、予め登録された人について当該画像形成装置へのログインを許可する認証手段、および、
前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記画像形成装置が前記指示情報を受け付けた場合に、ログアウト処理を行うログアウト手段をさらに含む、請求項1記載の情報処理システム。
An authentication unit that performs a user authentication process for a person who intends to use the image forming apparatus, and permits a previously registered person to log in to the image forming apparatus, and
The information processing according to claim 1, further comprising a logout unit that performs a logout process when the image forming apparatus receives the instruction information after a successful login in the user authentication process and before a logout. system.
前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記画像形成装置が前記指示情報を受け付けた場合に、ログアウト処理を行うかどうかをユーザに確認する確認手段をさらに含み、
前記ログアウト手段は、前記確認手段によってログアウト処理を行うことが確認された場合に、ログアウト処理を行う、請求項2記載の情報処理システム。
After the successful login in the user authentication process and before being logged out, when the image forming apparatus receives the instruction information, further includes a confirmation unit that confirms with the user whether or not to perform the logout process.
The information processing system according to claim 2, wherein the logout unit performs the logout process when the confirmation unit confirms that the logout process is to be performed.
前記ログアウト手段は、前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記画像形成装置が前記指示情報を受け付けてから前記画像形成装置が操作されない状態が所定時間継続した場合に、ログアウト処理を行う、請求項2または3記載の情報処理システム。 When the logout unit is in a state where the image forming apparatus is not operated for a predetermined time after the image forming apparatus accepts the instruction information after the login is successful in the user authentication process and before the logout is performed. The information processing system according to claim 2 or 3, wherein the logout process is performed. 前記画像形成装置の周囲の所定範囲に存在する人を検出する人検出手段をさらに備え、
前記ログアウト手段は、前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記人検出手段によって前記所定範囲に存在する人が検出されなくなった場合に、ログアウト処理を行う、請求項2から4までのいずれかに記載の情報処理システム。
Further comprising a person detecting means for detecting a person existing in a predetermined range around the image forming apparatus,
The logout unit performs a logout process when a person existing in the predetermined range is no longer detected by the person detection unit after the user has been successfully logged in in the user authentication process and before being logged out. The information processing system according to any one of Items 2 to 4.
ユーザが発する音声を取得して前記音声に応じた指示情報を送信する音声入力端末と通信可能な画像形成装置であって、
前記音声入力端末から送信される前記指示情報を受信する受信手段、
前記受信手段で受信した前記指示情報に従って前記画像形成装置を制御する制御手段を備える、画像形成装置。
An image forming apparatus capable of communicating with a voice input terminal, which acquires a voice uttered by a user and transmits instruction information according to the voice,
Receiving means for receiving the instruction information transmitted from the voice input terminal,
An image forming apparatus comprising: control means for controlling the image forming apparatus according to the instruction information received by the receiving means.
前記画像形成装置を利用しようとする人のユーザ認証処理を行い、予め登録された人について当該画像形成装置へのログインを許可する認証手段、および、
前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記指示情報を受信した場合に、ログアウト処理を行うログアウト手段をさらに備える、請求項6記載の画像形成装置。
An authentication unit that performs a user authentication process for a person who intends to use the image forming apparatus, and permits a previously registered person to log in to the image forming apparatus, and
The image forming apparatus according to claim 6, further comprising a logout unit that performs a logout process when the instruction information is received after a successful login in the user authentication process and before a logout.
前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記指示情報を受け付けた場合に、ログアウト処理を行うかどうかをユーザに確認する確認手段をさらに備え、
前記ログアウト手段は、前記確認手段によってログアウト処理を行うことが確認された場合に、ログアウト処理を行う、請求項7記載の画像形成装置。
After successfully logging in by the user authentication process and before being logged out, when the instruction information is received, a confirmation unit is further provided for confirming to the user whether or not to perform the logout process.
The image forming apparatus according to claim 7, wherein the logout unit performs the logout process when the confirmation unit confirms that the logout process is to be performed.
前記ログアウト手段は、前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記指示情報を受信してから前記画像形成装置が操作されない状態が所定時間継続した場合に、ログアウト処理を行う、請求項7または8記載の画像形成装置。 The logout means performs a logout process after a successful login in the user authentication process and before the logout, in a case where the image forming apparatus has not been operated for a predetermined time after receiving the instruction information. The image forming apparatus according to claim 7, wherein 前記画像形成装置の周囲の所定範囲に存在する人を検出する人検出手段をさらに備え、
前記ログアウト手段は、前記ユーザ認証処理でログインが成功した後であってログアウトされる前に、前記人検出手段によって前記所定範囲に存在する人が検出されなくなった場合に、ログアウト処理を行う、請求項7から9までのいずれかに記載の画像形成装置。
Further comprising a person detecting means for detecting a person existing in a predetermined range around the image forming apparatus,
The logout unit performs a logout process when a person existing in the predetermined range is no longer detected by the person detection unit after the user has been successfully logged in in the user authentication process and before being logged out. Item 10. The image forming apparatus according to any one of items 7 to 9.
ユーザが発する音声を取得して前記音声に応じた指示情報を送信する音声入力端末と通信可能な画像形成装置の制御プログラムであって、
前記画像形成装置のプロセッサに、
前記音声入力端末から送信される前記指示情報を受信する受信ステップと、
前記受信ステップで受信した前記指示情報に従って前記画像形成装置を制御する制御ステップとを実行させる、制御プログラム。
A control program for an image forming apparatus capable of communicating with a voice input terminal, which acquires a voice uttered by a user and transmits instruction information according to the voice,
In the processor of the image forming apparatus,
A receiving step of receiving the instruction information transmitted from the voice input terminal,
And a control step of controlling the image forming apparatus according to the instruction information received in the receiving step.
ユーザが発する音声を取得して前記音声に応じた指示情報を送信する音声入力端末と通信可能な画像形成装置の制御方法であって、
(a)前記音声入力端末から送信される前記指示情報を受信するステップと、
(b)前記ステップ(a)で受信した前記指示情報に従って前記画像形成装置を制御するステップとを含む、制御方法。
A method of controlling an image forming apparatus capable of communicating with a voice input terminal, which acquires a voice uttered by a user and transmits instruction information according to the voice,
(A) receiving the instruction information transmitted from the voice input terminal,
(B) controlling the image forming apparatus according to the instruction information received in step (a).
画像形成装置を含む情報処理システムのコンピュータによって実行される制御方法であって、
(a)ユーザが発する音声を取得するステップと、
(b)前記ステップ(a)で取得された前記音声に、所定の単語が含まれているかどうかを判定するステップと、
(c)前記ステップ(b)で前記音声に前記所定の単語が含まれていると判断された場合に、当該所定の単語に応じた指示情報を生成するステップと、
(d)前記ステップ(c)で生成された前記指示情報に従って前記画像形成装置を制御するステップとを含む、制御方法。
A control method executed by a computer of an information processing system including an image forming apparatus, comprising:
(A) a step of acquiring a voice uttered by a user,
(B) determining whether or not the voice acquired in step (a) includes a predetermined word,
(C) generating instruction information according to the predetermined word when it is determined in step (b) that the voice includes the predetermined word,
(D) controlling the image forming apparatus according to the instruction information generated in the step (c).
JP2018236275A 2018-12-18 2018-12-18 Image forming apparatus, information processing system, control program, and control method Pending JP2020098996A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018236275A JP2020098996A (en) 2018-12-18 2018-12-18 Image forming apparatus, information processing system, control program, and control method
JP2023004845A JP7466011B2 (en) 2018-12-18 2023-01-17 Image forming apparatus, information processing system and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018236275A JP2020098996A (en) 2018-12-18 2018-12-18 Image forming apparatus, information processing system, control program, and control method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023004845A Division JP7466011B2 (en) 2018-12-18 2023-01-17 Image forming apparatus, information processing system and control method

Publications (1)

Publication Number Publication Date
JP2020098996A true JP2020098996A (en) 2020-06-25

Family

ID=71106135

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018236275A Pending JP2020098996A (en) 2018-12-18 2018-12-18 Image forming apparatus, information processing system, control program, and control method
JP2023004845A Active JP7466011B2 (en) 2018-12-18 2023-01-17 Image forming apparatus, information processing system and control method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023004845A Active JP7466011B2 (en) 2018-12-18 2023-01-17 Image forming apparatus, information processing system and control method

Country Status (1)

Country Link
JP (2) JP2020098996A (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253544A (en) * 2008-04-03 2009-10-29 Oki Data Corp Image processing apparatus and image processing system
JP2013153301A (en) * 2012-01-25 2013-08-08 Konica Minolta Inc Image forming system, image forming device, terminal device, control program for image forming device, and control program for terminal device
JP2015213256A (en) * 2014-05-02 2015-11-26 キヤノン株式会社 Image forming apparatus, information processing method, and program
JP2016066280A (en) * 2014-09-25 2016-04-28 株式会社リコー Image processor, person detection method, and program
JP2017085419A (en) * 2015-10-29 2017-05-18 キヤノン株式会社 Information processing device, information terminal, control method therefor, printing system and program
JP2018129640A (en) * 2017-02-08 2018-08-16 キヤノン株式会社 Image formation device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5930945B2 (en) 2012-11-12 2016-06-08 キヤノンマーケティングジャパン株式会社 Image forming apparatus, portable terminal, information processing system, and method and program thereof
JP6497095B2 (en) 2015-02-03 2019-04-10 コニカミノルタ株式会社 Image forming apparatus and control program for image forming apparatus

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253544A (en) * 2008-04-03 2009-10-29 Oki Data Corp Image processing apparatus and image processing system
JP2013153301A (en) * 2012-01-25 2013-08-08 Konica Minolta Inc Image forming system, image forming device, terminal device, control program for image forming device, and control program for terminal device
JP2015213256A (en) * 2014-05-02 2015-11-26 キヤノン株式会社 Image forming apparatus, information processing method, and program
JP2016066280A (en) * 2014-09-25 2016-04-28 株式会社リコー Image processor, person detection method, and program
JP2017085419A (en) * 2015-10-29 2017-05-18 キヤノン株式会社 Information processing device, information terminal, control method therefor, printing system and program
JP2018129640A (en) * 2017-02-08 2018-08-16 キヤノン株式会社 Image formation device

Also Published As

Publication number Publication date
JP2023041719A (en) 2023-03-24
JP7466011B2 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
JP6171511B2 (en) Control device, image forming apparatus, portable terminal device, control method, and control program
JP2013180480A (en) Operation panel and information processing device
US8867079B2 (en) Method and apparatus for communicating user information using body area network
JP7482179B2 (en) Image forming apparatus and method for controlling the image forming apparatus
US10791230B2 (en) Image forming apparatus, instruction acceptance method, and computer readable program
JP6215043B2 (en) Information display system and electronic device
JP2020024600A (en) Image forming device, information processing system, and information processing method
US20120327441A1 (en) Scanners that display setting screens, image forming systems comprising such scanners, and methods for controlling such scanners
JP2023121760A (en) Portable terminal, control program, and control method
JP7466011B2 (en) Image forming apparatus, information processing system and control method
JP6264445B2 (en) Image forming apparatus
JP2017224092A (en) Information processing system and information processing method
JP5208608B2 (en) Operating device and image forming apparatus
US11778120B2 (en) Method, system, and image forming apparatus
JP2020069723A (en) Image forming device
JP2018186458A (en) Image forming apparatus, control program, and control method
JP2022128244A (en) Image forming apparatus, control method, and program
JP2021082857A (en) Input control device, image forming apparatus, and input control method
JP7415705B2 (en) Image forming apparatus, image forming method, image forming program, and image forming system
US9384426B2 (en) Image forming apparatus and image formation method that reflects setup information either of mobile terminal or operation panel
US11843730B2 (en) Information processing method that converts a telephone function code included in destination information to a fax transmission function code, and storage medium
JP7103074B2 (en) Image forming device and operation method
JP7474659B2 (en) Image forming apparatus, control program and control method
JP2018160819A (en) Information processing apparatus and program
JP6326161B2 (en) Printing apparatus, control method therefor, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221018