JP2010224890A - Operation screen control device, image forming apparatus, and computer program - Google Patents
Operation screen control device, image forming apparatus, and computer program Download PDFInfo
- Publication number
- JP2010224890A JP2010224890A JP2009071719A JP2009071719A JP2010224890A JP 2010224890 A JP2010224890 A JP 2010224890A JP 2009071719 A JP2009071719 A JP 2009071719A JP 2009071719 A JP2009071719 A JP 2009071719A JP 2010224890 A JP2010224890 A JP 2010224890A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- operation screen
- screen
- voice command
- dictionary table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Facsimiles In General (AREA)
Abstract
Description
本発明は、操作パネルの表示面に表示される操作画面を音声によって操作するための操作画面制御装置、画像形成装置、およびコンピュータプログラムに関する。 The present invention relates to an operation screen control device, an image forming apparatus, and a computer program for operating an operation screen displayed on a display surface of an operation panel by voice.
近年、画像形成装置の高性能化にともなって、画像形成装置の操作パネルに表示される操作画面（設定画面）の内容が多岐に渡るようになり、操作画面の数が増大している。また、操作画面についてのツリー構造の階層も深くなる傾向があり、ユーザにとっては自分の好きなページまたはよく使う操作画面を探すのが困難となってきている。 In recent years, as the performance of image forming apparatuses has improved, the contents of operation screens (setting screens) displayed on the operation panel of the image forming apparatus have become diversified, and the number of operation screens has increased. In addition, the hierarchy of the tree structure of the operation screen tends to be deep, and it is difficult for the user to search for a favorite page or a frequently used operation screen.
したがって、例えば、現に表示されている操作画面から系列の異なる別の操作画面へ遷移させたい場合に、遷移途中の多くの画面を表示させる必要があり、なかなか目的の操作画面に移ることができない。このように、目的の操作画面を表示させることがユーザにとって手間がかかり、そのための操作時間が増大している。 Therefore, for example, when it is desired to transition from the currently displayed operation screen to another operation screen of a different series, it is necessary to display many screens during the transition, and it is difficult to move to the target operation screen. As described above, displaying the target operation screen takes time and effort for the user, and the operation time for that is increased.
また、画像形成装置に音声認識機能を持たせることが提案されている。音声認識機能を持った画像形成装置においては、ユーザは音声によって操作画面における操作を行うことができる。例えば、ある操作画面を表示した状態で、その操作画面に表示されたキーを押すことに代えて、音声コマンドによってそのキーを押したと同じ操作を行うことができる。 Further, it has been proposed that the image forming apparatus has a voice recognition function. In an image forming apparatus having a voice recognition function, a user can perform an operation on an operation screen by voice. For example, in the state where a certain operation screen is displayed, instead of pressing a key displayed on the operation screen, the same operation can be performed as when the key is pressed by a voice command.
また、音声認識装置において、単語音声が機器の持つ特定のモードにかかわらず全てのモードで認識対象となることを示すクラスター情報を登録することが提案されている（特許文献１）。 In addition, it has been proposed to register cluster information indicating that word speech is a recognition target in all modes regardless of a specific mode of the device in the speech recognition device (Patent Document 1).
音声認識機能を持った画像形成装置では、音声によって操作画面における操作を行うことができるので、目的の操作画面に遷移するための音声コマンドをそれぞれの操作画面ごとに登録しておけば便利である。 In an image forming apparatus having a voice recognition function, operations on the operation screen can be performed by voice, so it is convenient to register a voice command for transition to the target operation screen for each operation screen. .
しかし、その場合には、ユーザは多数の音声コマンドを記憶しておかなければならず、音声コマンドを忘れてしまって操作できなくなることもある。 However, in that case, the user must memorize a large number of voice commands, and the user may forget the voice commands and cannot operate.
また、目的の操作画面に直接に遷移するためのキーをお気に入り画面として操作画面上に表示しておくことが考えられる。しかし、この場合に、画面のサイズには限りがあるので、お気に入り画面が多数あるような場合に、それらの全部を１つの操作画面に表示させることができないことがある。 In addition, it is conceivable to display a key for making a direct transition to the target operation screen on the operation screen as a favorite screen. However, in this case, since the screen size is limited, when there are many favorite screens, it may not be possible to display all of them on one operation screen.
また、上に述べた特許文献１に記載の音声認識装置では、そのようなクラスター情報を登録することによって、登録された単語音声を全てのモードで認識することはできても、どの画面からでも手間をかけることなく短時間でユーザの希望する操作画面に遷移することはできない。
Moreover, in the speech recognition apparatus described in
本発明は、このような問題点に鑑み、操作パネルの表示面に表示される操作画面を音声によって操作する際に、どの操作画面を表示した状態からでも、ユーザに手間をかけることなくかつ短時間で目的の操作画面に遷移できるようにすることを目的とする。 In view of such a problem, the present invention reduces the time and effort of the user from the state in which any operation screen is displayed when operating the operation screen displayed on the display surface of the operation panel by voice. The purpose is to enable transition to the target operation screen in time.
本発明の実施形態に係る操作画面制御装置は、ユーザに音声を入力させるための音声入力手段と、入力された音声を認識して音声コマンドを生成する音声認識部と、前記操作パネルの表示面に表示するために準備された複数の操作画面を記憶する操作画面記憶手段と、前記操作画面のそれぞれに対応して設けられ、音声コマンドと各音声コマンドによって遷移すべき操作画面へのリンク情報とを対応付けて登録する辞書テーブルと、ユーザの音声によって音声コマンドが生成されたときに、そのときに表示されている操作画面に対応した前記辞書テーブルを参照することにより、生成された音声コマンドに対応する操作画面に遷移させる画面切り替え手段と、特定の操作画面に遷移させるための音声コマンドを前記辞書テーブルに追加登録する旨の指令があったときに、追加登録する音声コマンドおよび前記特定の操作画面へのリンク情報を、対象となる全ての前記辞書テーブルに追加登録する一括登録手段と、を有する。 An operation screen control device according to an embodiment of the present invention includes a voice input unit that allows a user to input a voice, a voice recognition unit that recognizes the input voice and generates a voice command, and a display surface of the operation panel An operation screen storage means for storing a plurality of operation screens prepared for display on the screen, and a voice command and link information to the operation screen to be changed by each voice command, corresponding to each of the operation screens; When the voice command is generated by the user's voice and the dictionary table for registering in association with each other, the generated voice command is referred to by referring to the dictionary table corresponding to the operation screen displayed at that time. The screen switching means for transitioning to the corresponding operation screen and the voice command for transitioning to the specific operation screen are additionally registered in the dictionary table. When there is a command indicating that, having a bulk registration means for the link information to voice commands and the specific operation screen additionally registers, additionally registers all of the dictionary table in question.
好ましくは、前記辞書テーブルには、前記リンク情報として、その操作がなされたときに前記特定の操作画面に遷移するように設定されたキーについてのキー情報が登録されている。 Preferably, in the dictionary table, as the link information, key information about a key set so as to transition to the specific operation screen when the operation is performed is registered.
好ましくは、前記操作画面に表示されるキーについてのキー情報と、当該キーの操作がなされたときに遷移する遷移先の操作画面の操作画面情報とを対応付けて記憶する操作画面選択テーブルが設けられており、前記辞書テーブルには、前記リンク情報として、いずれかの前記操作画面に表示されるキーについてのキー情報が登録されており、前記画面切り替え手段は、前記辞書テーブルを参照することによって得られた前記キー情報を用い、前記操作画面選択テーブルを参照することにより、入力された音声コマンドに対応する操作画面に遷移させる。 Preferably, an operation screen selection table is provided that stores key information about keys displayed on the operation screen in association with operation screen information of a destination operation screen that transitions when the key is operated. In the dictionary table, key information about keys displayed on any of the operation screens is registered as the link information, and the screen switching means refers to the dictionary table. By using the obtained key information and referring to the operation screen selection table, a transition is made to an operation screen corresponding to the input voice command.
本発明によると、操作パネルの表示面に表示される操作画面を音声によって操作する際に、どの操作画面を表示した状態からでも、ユーザに手間をかけることなくかつ短時間で目的の操作画面に遷移できるようになる。 According to the present invention, when operating the operation screen displayed on the display surface of the operation panel by voice, the target operation screen can be quickly displayed without any effort from the user regardless of which operation screen is displayed. You can transition.
〔第１実施形態〕
図１に示すネットワークシステムＳＹＳは、本発明の一実施形態の画像形成装置１を含むネットワークシステムである。
[First Embodiment]
A network system SYS shown in FIG. 1 is a network system including an
図１に示すように、ネットワークシステムＳＹＳは、画像形成装置１、ファイルサーバ２ａ、端末装置３ａ、および通信回線ＮＴ１などによって構成される。
As shown in FIG. 1, the network system SYS includes an
画像形成装置１、ファイルサーバ２ａ、および端末装置３ａは、それぞれ、通信回線ＮＴ１を介して互いに接続されている。通信回線ＮＴ１として、ＬＡＮ、ＷＡＮ、イントラネット、または専用線などが用いられる。
The
ファイルサーバ２ａは、電子文書（電子データ）を管理するためのファイルサーバである。
The
端末装置３は、ネットワークシステムＳＹＳのユーザが用いる端末装置である。各ユーザは、この端末装置３を用いて、後で説明する画像形成装置１の「ＰＣプリント機能」を利用することができる。
The
ファックス端末４ａは、通信回線ＮＴ２を介して画像形成装置１または他のファックス端末との間でファクシミリによるデータの送受信を行う。なお、通信回線ＮＴ２として、公衆回線などが用いられる。
The
画像形成装置１は、コピー機能、ＰＣプリント機能、ファックス送信機能、電子メール送信機能、ＳＭＢ送信機能、ＦＴＰ送信機能、およびボックス（Ｂｏｘ）機能などの様々なアプリケーション機能を集約した画像形成装置である。複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれることもある。
The
本実施形態の画像形成装置１には、上記のコピー機能などの基本的な機能のほかに、音声実行機能が備えられている。音声実行機能は、音声認識処理（ＶＮ）を実行し、その音声認識処理の結果に基づいて所定の処理を実行する機能である。音声認識処理は、図１に示す画像形成装置１の操作パネル１０ｆに備えられているマイクＭＫから入力される音声を、記憶媒体に記憶されている認識辞書（グラマー）に基づいて認識するための処理である。
The
図２に示すように、画像形成装置１は、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、ハードディスク１０ｄ、制御用回路１０ｅ、操作パネル１０ｆ、スキャナ部１０ｇ、プリンタ部１０ｈ、ファックス部１０ｊ、およびネットワークインタフェース１０ｋなどによって構成される。
As shown in FIG. 2, the
スキャナ部１０ｇは、原稿の用紙（以下、単に「原稿」と記載する。）に描かれている写真、文字、絵、図表などの画像を光学的に読み取って電子データ化する装置である。原稿として、紙、紙以外の種々のシート、物などを用いることが可能である。
The
プリンタ部１０ｈは、スキャナ部１０ｇが読み取った画像データまたは他の装置から送信されてきた画像データを、イエロー、マゼンタ、シアン、およびブラックの４色のトナーを使用して用紙に印刷する。
The
ファックス部１０ｊは、スキャナ部１０ｇが読み取った画像データを、通信回線を介してファックス端末に送信しまたはファックス端末から送信されてくる画像データを受信する。
The
ネットワークインタフェース１０ｋは、ＮＩＣ（Network Interface Card）であって、ＬＡＮまたはインターネットなどを介して他の装置への接続を行い、電子データの送受信などを行う。
The
制御用回路１０ｅは、ハードディスク１０ｄ、操作パネル１０ｆ、スキャナ部１０ｇ、プリンタ部１０ｈ、ファックス部１０ｊ、およびネットワークインタフェース１０ｋなどの装置を制御する。
The
操作パネル１０ｆは、ユーザが画像形成装置１に指示を与えまたは画像形成装置１からユーザにメッセージを通知するために用いられる。
The
これら各部または各装置の一部が連携することによって、前述のアプリケーション機能が実現される。 The application functions described above are realized by cooperation of these units or a part of the devices.
「コピー機能」は、スキャナ部１０ｇによって原稿の画像を読み取り、それによって得た画像データをプリンタ部１０ｈによって用紙に印刷する機能である。
The “copy function” is a function of reading an image of a document by the
「ＰＣプリント機能」は、ネットワークインタフェース１０ｋによって通信回線を介して画像形成装置１と互いに接続されている端末装置（以下、単に「端末装置」と記載する）などから画像データなどを受信し、プリンタ部１０ｈによってその画像データなどを用紙に印刷する機能である。この機能は、「ネットワークプリンティング」と呼ばれることもある。
The “PC print function” receives image data and the like from a terminal device (hereinafter simply referred to as “terminal device”) connected to the
「ファックス送信機能」は、スキャナ部１０ｇで読み取った画像データなどをファックス部１０ｊからファックス端末などに送信する機能である。
The “fax transmission function” is a function for transmitting image data read by the
「ファックス受信機能」は、ファックス部１０ｊによってファックス端末などから画像データを受信し、プリンタ部１０ｈによってその画像データを用紙に印刷する機能である。
The “fax receiving function” is a function for receiving image data from a fax terminal or the like by the
「電子メール送信機能」は、スキャナ部１０ｇで読み取った画像データなどを電子メールに添付してネットワークインタフェース１０ｋから送信する機能である。
The “e-mail transmission function” is a function that attaches image data read by the
「ＳＭＢ送信機能」は、スキャナ部１０ｇで読み取った画像データなどを、ＳＭＢ（Server Message Block）に基づいて、ＩＰアドレスなどで指定される送信先に直接送信する機能である。
The “SMB transmission function” is a function for directly transmitting image data read by the
「ＦＴＰ送信機能」は、スキャナ部１０ｇで読み取った画像データなどをＦＴＰ（File Transfer Protocol）に基づいて送信する機能である。
The “FTP transmission function” is a function for transmitting image data read by the
「ボックス機能」は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる、パーソナルコンピュータにおけるフォルダまたはディレクトリなどに相当する記憶領域をハードディスク１０ｄに設けておき、ユーザがスキャナ部１０ｇを操作するなどして得た画像データなどを自分の記憶領域に保存できるようにする機能である。「ドキュメントサーバ機能」と呼ばれることもある。
In the “box function”, a storage area called a “box” or “personal box” for each user, which corresponds to a folder or directory in a personal computer, is provided in the
ＰＣプリント機能を利用する際に端末装置において予めボックスを指定しておくことによって、プリントを行いつつプリントする画像データをそのボックス内に保存させることができる。ボックスの指定は、例えば、端末装置にインストールされている画像形成装置１のドライバの機能を用いて行うことができる。
By specifying a box in advance in the terminal device when using the PC print function, image data to be printed can be stored in the box while printing. The box can be designated using, for example, a driver function of the
図３に示すように操作パネル１０ｆには、タッチパネルＴＰ、マイクＭＫ、操作部ＴＫ、および音声認識ボタンＫＢ、コピーボタンＭＢ、スキャンＦＡＸボタンＳＢ、およびＢＯＸボタンＸＢなどが設けられている。
As shown in FIG. 3, the
タッチパネルＴＰは、画像形成装置１からユーザに通知するメッセージまたは各種機能を利用するための画面（操作画面ＧＭ）などを表示する表示装置である。タッチパネルの機能によって入力装置としての役割も果たす。
The touch panel TP is a display device that displays a message notified to the user from the
マイク（マイクロフォン）ＭＫは、ユーザが音声（音声コマンド）を入力するための装置であり、入力された音声をアナログの音声データ（アナログ音声データＡＮＤＴ）に変換する。 The microphone (microphone) MK is a device for a user to input voice (voice command), and converts the input voice into analog voice data (analog voice data ANDT).
操作部ＴＫは、プリントの枚数またはファックス番号などを入力するためのボタン群を含む。 The operation unit TK includes a button group for inputting the number of prints or a fax number.
音声認識ボタンＫＢは、音声認識モード（音声認識を行うためのモード）への切替えを行うためのボタンである。このボタンが押されると、画像形成装置１は、音声認識処理を実行し、音声認識の結果に基づいて所定の処理を実行する。
The voice recognition button KB is a button for switching to a voice recognition mode (a mode for performing voice recognition). When this button is pressed, the
コピーボタンＭＢは、印刷モード（画像データなどを用紙に印刷するためのモード）への切り替えを行うためのボタンである。このボタンが押されると、コピーについての設定を行う画面（コピー設定画面）がタッチパネルＴＰに表示される。 The copy button MB is a button for switching to a print mode (a mode for printing image data or the like on paper). When this button is pressed, a screen for performing settings for copying (copy setting screen) is displayed on the touch panel TP.
スキャンＦＡＸボタンＳＢは、送信モード（画像データなどを他の装置に送信するためのモード）への切り替えを行うためのボタンである。このボタンが押されると、画像データなどの送信先の設定を行うための画面がタッチパネルＴＰに表示される。 The scan FAX button SB is a button for switching to a transmission mode (a mode for transmitting image data or the like to another apparatus). When this button is pressed, a screen for setting a transmission destination such as image data is displayed on the touch panel TP.
ＢＯＸボタンＸＢは、ボックスモード（ボックスへの画像データの保存またはボックスに保存されている画像データなどの参照を行うためのモード）への切り替えを行うためのボタンである。このボタンが押されると、画像データなどの保存先となるボックスまたは参照したいボックスの指定を行うための画面がタッチパネルＴＰに表示される。 The BOX button XB is a button for switching to a box mode (a mode for storing image data in a box or referring to image data stored in a box). When this button is pressed, a screen for designating a box as a storage destination of image data or the like or a box to be referred to is displayed on the touch panel TP.
図４には、画像形成装置１の構成が機能的に整理して示されている。
FIG. 4 shows the configuration of the
図４において、スキャナ部１０ｇで読み取られた画像データに対し、入力画像処理部２２において、色補正処理、解像度変換処理などの画像処理が必要に応じて実施され、その後にメモリ１０ｂに記憶される。画像データは、必要に応じてメモリ１０ｂから読み出され、出力画像処理部２３において、色変換処理、スクリーン制御処理、スムージング処理、濃度補正処理などが必要に応じて施され、プリンタ部１０ｈに送られる。プリンタ部１０ｈにおいて、用紙に印刷される。
In FIG. 4, the input
操作パネル１０ｆに設けられたマイクＭＫから入力されたユーザの音声は、音声入力部２４によって音声データに変換され、システムＩＦ２１を経てＣＰＵ１０ａに入力され、処理される。
The user's voice input from the microphone MK provided on the
ハードディスク１０ｄには、画像形成装置１の操作のための複数の操作画面ＧＭが予め格納されており、その中から、ユーザの操作に応じて、またユーザの音声の入力に応じて、必要な操作画面ＧＭが読み出され、操作パネル１０ｆのタッチパネルＴＰに表示される。
A plurality of operation screens GM for operating the
ＣＰＵ１０ａは、入力された音声に基づいて音声認識処理および操作画面制御を行う他、画像形成装置１の全体を制御する。
The
例えば、操作画面制御において、ユーザの音声によって音声コマンドが生成されたときに、そのときに表示されている操作画面に対応した辞書テーブルを参照することにより、生成された音声コマンドに対応する操作画面に遷移させる画面切り替え処理、および、特定の操作画面に遷移させるための音声コマンドを辞書テーブルに追加登録する旨の指令があったときに、追加登録する音声コマンドおよび特定の操作画面へのリンク情報を、対象となる全ての辞書テーブルに追加登録する一括登録処理、などを実行する。詳しくは後で述べる。 For example, in operation screen control, when a voice command is generated by a user's voice, an operation screen corresponding to the generated voice command is referred to by referring to a dictionary table corresponding to the operation screen displayed at that time When there is a command to additionally register in the dictionary table a screen switching process for transitioning to and a voice command for transitioning to a specific operation screen, the voice command to be additionally registered and link information to the specific operation screen Is registered in all the dictionary tables to be registered, and so on. Details will be described later.
これらの機能または処理を実現するためのコンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの記録媒体ＭＳ１および半導体メモリＭＳ２などの可搬型の記録媒体ＭＳ（図２参照）に記録しておき、それらからインストールすることが可能である。また、ネットワークを介してサーバからダウンロードすることも可能である。 Computer programs for realizing these functions or processes are recorded in a recording medium MS1 such as a CD-ROM or DVD-ROM and a portable recording medium MS such as a semiconductor memory MS2 (see FIG. 2). It is possible to install from. It is also possible to download from a server via a network.
これらの機能を実現するためのコンピュータプログラムおよびデータは、ハードディスク１ｇにインストールされ、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。なお、ＣＰＵ１０ａはコンピュータとして動作することが可能である。また、外部のコンピュータとＬＡＮなどを介して接続するようにしてもよい。また、画像形成装置１の一部または全部の機能をデジタルプロセッサまたはハードウェア回路によって実現するように構成してもよい。
Computer programs and data for realizing these functions are installed in the hard disk 1g, loaded into the
図５において、画像形成装置１には、音声認識処理を実行するための音声認識アプリケーション３１が設けられる。すなわち、音声入力装置（マイク）ＭＫから入力された音声は、音声データに変換された後、音声入力ドライバ３４により、ＯＳ（Operating System) ３３を経由して音声認識アプリケーション３１に入力される。
In FIG. 5, the
音声認識アプリケーション３１は、音声認識ライブラリ３２を管理し、ユーザの発した音声を認識して音声コマンド（文字列）を生成する。また、音声コマンドに対応した内部動作に変換する。
The
声紋判別部３５において、音声コマンドの波形などが解析され、声紋判別が行われる。声紋判別によって、声紋情報である音声ＩＤが生成される。音声ＩＤは、音声コマンドを発したユーザを特定するために用いられる。
The
登録のために生成された音声コマンドは、音声認識ライブラリ３２の辞書テーブルＴＢに追加登録される。また、音声コマンドが制御のために生成された場合には、生成された音声コマンドに基づいて、操作画面制御、その他の制御が行われる。システムＩＦ３６は、各種の設定情報の保存および読み出しなどを行う。
The voice command generated for registration is additionally registered in the dictionary table TB of the
以下において、操作画面制御部ＳＳの処理および動作について、図６〜図１８を参照して説明する。なお、ここでは、ユーザがよく使う画面（以下、「お気に入り画面」と記載することがある）を、「縮小画面ＧＭ３３」および「ページ集約画面ＧＭ３４」とした場合を例にあげて説明する。 Hereinafter, processing and operation of the operation screen control unit SS will be described with reference to FIGS. Here, an example will be described in which the screen frequently used by the user (hereinafter sometimes referred to as “favorite screen”) is “reduced screen GM33” and “page aggregation screen GM34”.
図６は画像形成装置１における操作画面制御部ＳＳの機能的な構成の例を示す図、図７は各画面に対応して辞書テーブルが設けられている例を示す図、図８は基本設定画面ＧＭ３０に対応した辞書テーブルＴＢ３０の例を示す図、図９は倍率画面ＧＭ３１に対応した辞書テーブルＴＢ３１の例を示す図、図１０は画面／ページ集約画面ＧＭ３２に対応した辞書テーブルＴＢ３２の例を示す図、図１１は操作画面選択テーブルＴＢ５０の例を示す図、図１２は縮小画面ＧＭ３３およびページ集約画面ＧＭ３４を含む操作画面の遷移状態の例を示す図、図１３はお気に入り画面についての新たなコマンド情報ＤＴが追加登録された辞書テーブルＴＢの例を示す図、図１４はお気に入り画面を登録する場合における画像形成装置１全体の処理の流れの例を説明するためのフローチャート、図１５は音声コマンドが入力された場合における画像形成装置１全体の処理の流れの例を説明するためのフローチャート、図１６は操作画面の階層が深くかつ複雑な状態の例を示す図、図１７は各操作画面での設定操作の状態を示す最上位の階層の操作画面の例を示す図、図１８は設定操作の途中の状態の操作画面をお気に入り画面と同様に登録する場合における画像形成装置１全体の処理の流れの例を説明するためのフローチャートである。
6 is a diagram illustrating an example of a functional configuration of the operation screen control unit SS in the
図６において、操作画面制御部ＳＳは、操作画面記憶部４０、音声認識ライブラリ４１、画面表示制御部４２、声紋判別部４３、コマンド認識部４４、一括登録部４５、総合制御部４６、および画像処理部４７などを有する。
In FIG. 6, the operation screen control unit SS includes an operation
なお、以下に述べる音声認識処理（ＶＤ）は、主に音声認識ライブラリ４１、声紋判別部４３、コマンド認識部４４、および音声入力部２４によって実行される。音声入力部２４も操作画面制御部ＳＳの機能的な構成の一つである。
Note that the voice recognition processing (VD) described below is mainly executed by the
図６において、操作画面記憶部４０は、ユーザが画像形成装置１に指示を与えまたは画像形成装置１からユーザにメッセージを通知するための操作画面ＧＭを記憶する。操作画面ＧＭのそれぞれには、他の操作画面ＧＭと識別するための画面番号が付されている。
In FIG. 6, the operation
音声認識ライブラリ４１は、辞書テーブルＴＢ（ＴＢ３０、３１、３２、…）を記憶し管理する。辞書テーブルＴＢは、図７に示すように、それぞれの操作画面ＧＭに対応付けて設けられる。
The
ここで、辞書テーブルＴＢについて詳細に説明する。図８〜図１０に、図７に示す基本設定画面ＧＭ３０、倍率画面ＧＭ３１、画面／ページ集約画面ＧＭ３２のそれぞれに対応した辞書テーブルＴＢ３０、ＴＢ３１、ＴＢ３２の例を示す。辞書テーブルＴＢ３０、ＴＢ３１、ＴＢ３２は、その構成は互いに同一であり、内容の一部が互いに異なる。 Here, the dictionary table TB will be described in detail. 8 to 10 show examples of dictionary tables TB30, TB31, and TB32 corresponding to the basic setting screen GM30, the magnification screen GM31, and the screen / page aggregation screen GM32 shown in FIG. The dictionary tables TB30, TB31, and TB32 have the same configuration, and part of the contents are different from each other.
つまり、辞書テーブルＴＢ３０には、図８に示すように、音声コマンドに関する情報であるコマンド情報ＤＴ３０が、記憶され管理されている。なお、辞書テーブルＴＢ３１、３２では、コマンド情報ＤＴ３１、３２がそれぞれ記憶され管理されている。 That is, in the dictionary table TB30, as shown in FIG. 8, command information DT30 that is information related to the voice command is stored and managed. In the dictionary tables TB31 and 32, command information DT31 and 32 are stored and managed, respectively.
コマンド情報ＤＴ３０には、入力された音声コマンドに応じて操作画面ＧＭを遷移させる場合における遷移先の操作画面に関するリンク情報（キー情報）ＫＷ、画面番号ＧＲＮに示される画面番号の画面に表示される操作キーの名称（操作キー名）または操作項目名を示す備考ＧＷ、および音声により入力される音声コマンドＳＷが、互いに対応付けて記録される。画面番号ＧＲＮには、その辞書テーブルＴＢと対応付けられている操作画面の画面番号が記録される。 The command information DT30 is displayed on the screen of the screen number indicated by the link information (key information) KW and the screen number GRN relating to the operation screen of the transition destination when the operation screen GM is transitioned according to the input voice command. An operation key name (operation key name) or a remark GW indicating an operation item name and a voice command SW input by voice are recorded in association with each other. In the screen number GRN, the screen number of the operation screen associated with the dictionary table TB is recorded.
つまり、音声コマンドＳＷとして、備考ＧＷに示される操作キー名と同じ語句またはその操作キー名に対してユーザが発声する言葉（語句）のゆらぎを考慮して変更が加えられた語句（コマンド語句）が、記録されている。１つのリンク情報ＫＷに対応して複数の音声コマンドＳＷを記録することが可能である。 That is, as the voice command SW, a phrase (command phrase) in which the same word or phrase as the operation key name indicated in the remarks GW or a change in consideration of fluctuation of a word (phrase) uttered by the user with respect to the operation key name is given. Is recorded. It is possible to record a plurality of voice commands SW corresponding to one link information KW.
また、リンク情報ＫＷとして、図７に示す基本設定画面ＧＭ３０に表示された操作キーのキー情報Ｙ２１〜Ｙ２７が記録されている。 In addition, key information Y21 to Y27 of operation keys displayed on the basic setting screen GM30 shown in FIG. 7 is recorded as the link information KW.
したがって、例えば、入力された音声コマンドが、辞書テーブルＴＢ３０に記録された音声コマンドＳＷのいずれかと一致する場合に、リンク情報ＫＷに示されるキー情報Ｙに対応付けられた画面番号の操作画面へ遷移するための処理が実行される。つまり、その音声コマンドＳＷに対応付けられた備考ＧＷに示される操作キー名の操作キーが押下されたものとして処理が実行される。 Therefore, for example, when the input voice command matches any one of the voice commands SW recorded in the dictionary table TB30, the screen transitions to the operation screen having the screen number associated with the key information Y indicated in the link information KW. The process for performing is performed. That is, the process is executed as if the operation key having the operation key name indicated in the remarks GW associated with the voice command SW is pressed.
図６に戻って、画面表示制御部４２は、音声が入力されたタイミングまたは操作パネル１０ｆに備えられたボタンが押されたタイミングで、所定の操作画面を操作パネル１０ｆに表示させるための処理を行う。また、画面表示制御部４２は、操作画面選択テーブルＴＢ５０を管理しており、総合制御部４６からの制御信号に基づいて操作画面選択テーブルＴＢ５０を参照することにより、現在表示されている操作画面を入力された音声コマンドに対応する操作画面に遷移させるための処理を行う。
Returning to FIG. 6, the screen
操作画面選択テーブルＴＢ５０には、遷移先画面情報ＤＴ５０が記憶され管理されている。遷移先画面情報ＤＴ５０は、図１１に示すように、リンク情報ＫＷと遷移先画面番号ＲＷとを対応付けて示すものである。リンク情報ＫＷとして、操作キーのキー情報Ｙが記録される。遷移先画面番号ＲＷは、キー情報Ｙで示されたキーが押されたときの遷移先の操作画面ＧＭの画面番号である。 The operation screen selection table TB50 stores and manages transition destination screen information DT50. As shown in FIG. 11, the transition destination screen information DT50 indicates the link information KW and the transition destination screen number RW in association with each other. Key information Y of operation keys is recorded as link information KW. The transition destination screen number RW is the screen number of the transition destination operation screen GM when the key indicated by the key information Y is pressed.
したがって、ユーザから音声が入力されると、コマンド認識部４４は、その音声を認識して音声コマンドＳＷを生成した後、辞書テーブルＴＢ３０を参照し、生成した音声コマンドＳＷに対応したキー情報Ｙを取得する。取得したキー情報Ｙは総合制御部４６に送られる。総合制御部４６は、そのキー情報Ｙを、制御信号ＳＮ１として画面表示制御部４２に送る。
Therefore, when a voice is input from the user, the
画面表示制御部４２は、キー情報Ｙに基づいて操作画面選択テーブルＴＢ５０を検索し、そのキー情報Ｙに対応する遷移先画面番号ＲＷを取得する。そして、取得した遷移先画面番号ＲＷの操作画面ＧＭをタッチパネルＴＰに表示する。
The screen
例えば、図１１の遷移先画面情報ＤＴ５０において、リンク情報ＫＷの１つであるキー情報Ｙ２４には、画面番号１０Ｇ０９０００が対応付けられている。画面表示制御部４２は、キー情報Ｙ２４を制御信号ＳＮ１として受け取ると、画面番号１０Ｇ０９０００の操作画面ＧＭである倍率画面ＧＭ３１を操作画面記憶部４０から抽出し、表示する。
For example, in the transition destination screen information DT50 of FIG. 11, the screen number 10G09000 is associated with the key information Y24 that is one of the link information KW. When receiving the key information Y24 as the control signal SN1, the screen
また、他の例として、画面表示制御部４２がキー情報Ｙ２５を制御信号ＳＮ１として受け取ると、画面番号１０Ｇ１２０００の画面／ページ集約画面ＧＭ３２を操作画面記憶部４０から抽出し、表示する。
As another example, when the screen
図６に戻って、声紋判別部４３は、ユーザの声紋を判別して声紋情報を生成する。つまり、声紋判別部４３は、音声コマンドを入力したユーザの声紋を判別するための処理を行う。例えば、ユーザが音声コマンドを発声したときの発声が開始されてから終了するまでの時間（発声時間）、音声の周波数スペクトル、および音声のボリュームなどを測定し解析することによって、音声コマンドを入力したユーザがいずれのユーザであるかを判別するための処理を行う。そして、音声コマンドを入力したユーザがいずれのユーザであるかを示す判別結果信号ＳＮ２を、コマンド認識部４４へ送る。
Returning to FIG. 6, the
コマンド認識部４４は、ユーザから音声が入力されたときに、その音声を認識して音声コマンドＳＷを生成する。そして、辞書テーブルＴＢ３０を参照し、生成した音声コマンドＳＷに対応したキー情報Ｙを取得する。辞書テーブルＴＢ３０を参照する際に、判別結果信号ＳＮ２をも用い、音声コマンドＳＷおよび声紋情報の両方が一致するキー情報Ｙを取得する。取得したキー情報Ｙは、認識結果信号ＳＮ３として総合制御部４６に送られる。総合制御部４６は、そのキー情報Ｙを、制御信号ＳＮ１として画面表示制御部４２に送る。
When a voice is input from the user, the
なお、コマンド認識部４４は、音声認識に際して、まず、音声入力部２４から取得した音声データＤＧＤＴを文字列（以下、「認識対象語句」と記載することがある）に変換し、辞書テーブルＴＢ３０に記録されている音声コマンドＳＷの中から、認識対象語句と一致するものを抽出する。そして、認識対象語句と一致する音声コマンドＳＷが抽出されると、その音声コマンドＳＷに対応付けられたリンク情報ＫＷを読み出す。
In the speech recognition, the
一括登録部４５は、特定の操作画面ＧＭに遷移させるための音声コマンドを辞書テーブルＴＢに追加登録する旨の指令があったときに、追加登録する音声コマンドおよび特定の操作画面ＧＭへのリンク情報ＫＷを、音声認識ライブラリ４１に記憶されている全ての辞書テーブルＴＢに追加登録するための処理（コマンド登録処理）を行う。
When there is a command to additionally register a voice command for making a transition to a specific operation screen GM in the dictionary table TB, the
次に、コマンド登録処理について、ユーザの操作手順とともに説明する。 Next, command registration processing will be described together with user operation procedures.
コマンド登録処理は、ユーザによるお気に入り画面登録操作によって開始される。 The command registration process is started by a favorite screen registration operation by the user.
ユーザは、まず、お気に入り画面を決定する。第１実施形態では、縮小画面ＧＭ３３およびページ集約画面ＧＭ３４がユーザのお気に入り画面である。縮小画面ＧＭ３３およびページ集約画面ＧＭ３４へ遷移するための例が図１２に示されている。 First, the user determines a favorite screen. In the first embodiment, the reduced screen GM33 and the page aggregation screen GM34 are user favorite screens. An example for transitioning to the reduced screen GM33 and the page aggregation screen GM34 is shown in FIG.
図１２において、例えば基本設定画面ＧＭ３０において、倍率キー（ボタン）ＢＴＮ１０が押下された場合、または音声により倍率キーＢＴＮ１０に対応する音声コマンドが入力された場合に、倍率画面ＧＭ３１に遷移する。そして、倍率画面ＧＭ３１において、縮小キーＢＴＮ１２が押下された場合、または音声により縮小キーＢＴＮ１２に対応する音声コマンドが入力された場合は、縮小画面ＧＭ３３に遷移する。 In FIG. 12, for example, when the magnification key (button) BTN10 is pressed on the basic setting screen GM30 or when a voice command corresponding to the magnification key BTN10 is input by voice, the screen changes to the magnification screen GM31. When the reduction key BTN12 is pressed on the magnification screen GM31 or when a voice command corresponding to the reduction key BTN12 is input by voice, the screen changes to the reduction screen GM33.
また、基本設定画面ＧＭ３０において、画面／ページ集約キーＢＴＮ１１が押下された場合、または音声により画面／ページ集約キーＢＴＮ１１に対応する音声コマンドが入力された場合は、画面／ページ集約画面ＧＭ３２に遷移する。そして、画面／ページ集約画面ＧＭ３２において、ページ集約キーＢＴＮ１３が押下された場合または音声によりページ集約キーＢＴＮ１３に対応する音声コマンドが入力された場合は、ページ集約画面ＧＭ３４に遷移する。 In addition, when the screen / page aggregation key BTN11 is pressed on the basic setting screen GM30 or when a voice command corresponding to the screen / page aggregation key BTN11 is input by voice, the screen / page aggregation screen GM32 is transitioned to. . When the page aggregation key BTN13 is pressed on the screen / page aggregation screen GM32 or when a voice command corresponding to the page aggregation key BTN13 is input by voice, the screen transitions to the page aggregation screen GM34.
お気に入り画面登録操作としては、２つの操作方法がある。１つは、お気に入り画面へ遷移するための操作キー（お気に入り画面の１つ前の操作画面に表示される操作キー）を指定し、指定した操作キーに任意の語句からなる音声コマンドを登録する方法である。 There are two operation methods for the favorite screen registration operation. One is a method of designating an operation key (an operation key displayed on the operation screen immediately before the favorite screen) for transitioning to the favorite screen, and registering a voice command composed of an arbitrary word / phrase in the designated operation key. It is.
この方法を採用する場合は、ユーザは、まず操作パネル１０ｆに設けられている音声認識ボタンＫＢを長く押す。これにより、画像形成装置１では、特定の操作画面に遷移させるための音声コマンドを辞書テーブルＴＢに追加登録する旨の指令があったと判断し、音声登録モードに移行する。
When adopting this method, the user first presses the voice recognition button KB provided on the
ユーザは、お気に入り画面へ遷移するための操作キーが表示された操作画面ＧＭを表示させるための操作を行う。例えば、お気に入り画面が「縮小画面ＧＭ３３」である場合は、その１つ前の画面である倍率画面ＧＭ３１を表示させる。そして、倍率画面ＧＭ３１において、縮小画面ＧＭ３３へ遷移するための操作キーつまり縮小キーＢＴＮ１２を押下して指定する。お気に入り画面が「ページ集約画面ＧＭ３４」である場合は、画面／ページ集約画面ＧＭ３２を表示させ、ページ集約画面ＧＭ３４に遷移するための操作キーつまりページ集約キーＢＴＮ１３を押下して指定する。 The user performs an operation for displaying the operation screen GM on which operation keys for transitioning to the favorite screen are displayed. For example, when the favorite screen is “reduced screen GM33”, the magnification screen GM31 which is the previous screen is displayed. Then, on the magnification screen GM31, an operation key for changing to the reduction screen GM33, that is, the reduction key BTN12 is pressed and designated. When the favorite screen is “page aggregation screen GM34”, the screen / page aggregation screen GM32 is displayed, and an operation key for transitioning to the page aggregation screen GM34, that is, the page aggregation key BTN13 is pressed and designated.
操作キーが指定されると、操作画面制御部ＳＳは、ユーザに対し、登録する音声コマンドを発声するためのメッセージ（発声メッセージ）を示す画面を表示する。または、画像形成装置１に備えられているスピーカー（図示せず）から予め登録されている音声ガイドを流して、ユーザに音声を発声するよう促す。
When the operation key is designated, the operation screen control unit SS displays a screen showing a message (voice message) for uttering a voice command to be registered to the user. Alternatively, a pre-registered voice guide is played from a speaker (not shown) provided in the
ユーザは、発声メッセージが示された画面が表示されまたは音声ガイドが流れると、音声認識ボタンＫＢを今度は軽く押して、音声を発声し入力する。 When the screen showing the utterance message is displayed or the voice guide is played, the user utters and inputs the voice by pressing the voice recognition button KB lightly.
音声が入力されると、声紋判別部４３は声紋情報を生成する。声紋情報は、例えば音声ＩＤ情報ＶＤとして一括登録部４５に送られる。
When voice is input, the
また、声紋判別部４３による処理にともなって、コマンド認識部４４では、入力された音声に対応する音声コマンドＳＷを生成する。生成した音声コマンドＳＷは、一括登録部４５に送られる。
In addition, with the processing by the
一括登録部４５では、音声コマンドＳＷおよび音声ＩＤ情報ＶＤを取得すると、音声認識ライブラリ４１に記憶されているすべての辞書テーブルＴＢに登録するための処理を実行する。このとき、音声コマンドＳＷおよび音声ＩＤ情報ＶＤの他、ユーザが指定した操作キーに対応するリンク情報ＫＷも登録される。
When the voice command SW and the voice ID information VD are acquired, the
リンク情報ＫＷについては、ユーザが指定した操作キーに対応付けられているリンク情報ＫＷを、例えば、その操作キーが表示されている操作画面に対応付けられている辞書テーブルＴＢから検索する。例えば、ユーザが縮小キーＢＴＮ１２を指定した場合は、縮小キーＢＴＮ１２が表示されている倍率画面ＧＭ３１に対応付けられている辞書テーブルＴＢ３１（図９参照）から、当該キーに対応付けられているリンク情報ＫＷである「Ｙ３３」を検索し抽出する（図７参照）。 For the link information KW, for example, the link information KW associated with the operation key designated by the user is searched from the dictionary table TB associated with the operation screen on which the operation key is displayed. For example, when the user designates the reduction key BTN12, the link information associated with the key from the dictionary table TB31 (see FIG. 9) associated with the magnification screen GM31 on which the reduction key BTN12 is displayed. The KW “Y33” is searched and extracted (see FIG. 7).
そして、音声コマンドＳＷ、音声ＩＤ情報ＶＤ、抽出したリンク情報ＫＷ、およびユーザが指定した操作キーの操作項目名を、お気に入り画面についての新たなコマンド情報ＤＴとして音声認識ライブラリ４１に記憶されているすべての辞書テーブルＴＢに追加登録する（図１３参照）。
The voice command SW, the voice ID information VD, the extracted link information KW, and the operation item name of the operation key designated by the user are all stored in the
お気に入り画面登録操作の２つ目の操作方法は、お気に入り画面として登録したい画面を表示させて操作する方法である。 The second operation method of the favorite screen registration operation is a method of displaying and operating a screen to be registered as a favorite screen.
この方法を採用する場合は、ユーザは、お気に入り画面として登録したい操作画面を表示させ、その操作画面の画面名称部分を押下する。例えば、縮小画面ＧＭ３３の場合は、図１２に示す縮小画面ＧＭ３３の画面名称部分ＭＳを押下する。 When this method is adopted, the user displays an operation screen to be registered as a favorite screen, and presses the screen name portion of the operation screen. For example, in the case of the reduced screen GM33, the screen name portion MS of the reduced screen GM33 shown in FIG. 12 is pressed.
すると、操作画面制御部ＳＳでは、画面名称部分ＭＳが押下された操作画面（お気に入り画面）の１つ前の操作画面を操作画面記憶部４０から検索する。そして、検索した操作画面に表示される操作キーの中からお気に入り画面に遷移するための操作キーを検索し、上述の１つ目の操作方法のように、ユーザによってお気に入り画面の１つ前の操作画面に表示される操作キーが指定された場合の処理と同様の処理を実行する。
Then, the operation screen control unit SS searches the operation
いずれの操作方法を採用するかは、ユーザが選択することができる。 The user can select which operation method to use.
図６に戻って、総合制御部４６は、画像処理部４７を制御するとともに、操作画面制御部ＳＳの全体をも制御する。また、総合制御部４６は、コマンド認識部４４から認識結果信号ＳＮ３を受け取ると、認識結果信号ＳＮ３が操作画面を遷移するための信号であるのかまたは画像形成装置１が備えている機能に関する設定を示す信号であるのかを判別する。その判別の結果に応じて、各部に制御信号を送る。認識結果信号ＳＮ３は、操作画面を遷移するための信号であるので、認識結果信号ＳＮ３を受け取ると、画面表示制御部４２に対して現在表示されている操作画面を遷移すべき旨および遷移先の操作画面のリンク情報ＫＷを示す制御信号ＳＮ１を送る。
Returning to FIG. 6, the
画像処理部４７は、総合制御部４６からの制御信号に応じて、スキャナ部１０ｇが読み取った画像データまたは他の装置から送信されてきた画像データなどに対し、種々の画像処理を施す。
The
次に、コマンド登録処理を実行する場合における画像形成装置１全体の処理について、図１４のフローチャートを参照して説明する。
Next, processing of the entire
ユーザは、操作パネル１０ｆに設けられている音声認識ボタンＫＢを長く押す（＃７１）。これにより、画像形成装置１では、お気に入り画面を登録するための処理（コマンド登録処理）が開始される（＃７２）。
The user long presses the voice recognition button KB provided on the
次に、ユーザは、操作キーを指定することによってお気に入り画面を登録するための処理を実行させるか、お気に入り画面を表示させて処理を実行させるかを選択する。操作キーを指定することによってお気に入り画面を登録するための処理を実行させる場合（＃７３で１が選択された場合）は、ユーザはお気に入り画面の１つ前の操作画面を表示させ、お気に入り画面に遷移するための操作キーを押下して指定する（＃７４）。 Next, the user selects whether to execute the process for registering the favorite screen by designating the operation key or to display the favorite screen and execute the process. When the process for registering the favorite screen is executed by specifying the operation key (when 1 is selected in # 73), the user displays the operation screen immediately before the favorite screen and displays the favorite screen on the favorite screen. An operation key for transition is pressed and designated (# 74).
お気に入り画面として登録したい画面を表示させて処理を実行させる場合（＃７３で２が選択された場合）は、ユーザは、お気に入り画面として登録したい操作画面を表示させ（＃８２）、その操作画面の画面名称部分ＭＳを押下する（＃８３）。 When displaying a screen to be registered as a favorite screen and executing the process (when 2 is selected in # 73), the user displays the operation screen to be registered as a favorite screen (# 82), and the operation screen is displayed. The screen name portion MS is pressed (# 83).
操作画面制御部ＳＳは、お気に入り画面の画面名称部分ＭＳが押下された場合は、お気に入り画面の１つ前の操作画面を操作画面記憶部４０から検索する。そして、検索した操作画面に表示される操作キーの中からお気に入り画面に遷移するための操作キーを抽出し、抽出した操作キーが指定されたものとして、処理を実行する。
When the screen name portion MS of the favorite screen is pressed, the operation screen control unit SS searches the operation
操作キーが指定されると、画像形成装置１は、発声メッセージを表示しまたは音声出力し、ユーザの発声を促す（＃７５）。
When the operation key is designated, the
ユーザは、音声認識ボタンＫＢを軽く押して（＃７６）、登録したい音声コマンドを発声し入力する（＃７７）。音声コマンドが入力されると、音声ＩＤが生成され保存される（＃７８）。また、音声認識によって音声コマンドＳＷが生成される（＃７９、＃８０）。そして、音声コマンドＳＷ、音声ＩＤ、リンク情報ＫＷ、および操作項目名を、お気に入り画面についての新たなコマンド情報ＤＴとして、すべての辞書テーブルＴＢに追加登録する（＃８１）。 The user lightly presses the voice recognition button KB (# 76), and utters and inputs a voice command to be registered (# 77). When a voice command is input, a voice ID is generated and saved (# 78). Also, a voice command SW is generated by voice recognition (# 79, # 80). The voice command SW, voice ID, link information KW, and operation item name are additionally registered in all dictionary tables TB as new command information DT for the favorite screen (# 81).
次に、コマンド認識処理における画像形成装置１全体の処理について、図１５のフローチャートを参照して説明する。
Next, processing of the entire
ユーザは、操作パネル１０ｆに設けられている音声認識ボタンＫＢを（軽く）押す（＃９１）。これにより、画像形成装置１では、コマンド認識処理を開始する指令があったと判断する（＃９２）。ユーザは、音声を入力する（＃９３）。
The user presses (lightly) the voice recognition button KB provided on the
画像形成装置１は、入力された音声に対する音声認識処理を実行し、音声コマンドＳＷを生成する（＃９４）。そして、生成された音声コマンドＳＷを、辞書テーブルＴＢに記憶されている音声コマンドＳＷと照合する（＃９６）。また、入力された音声に対して声紋情報を生成する（＃９５）。
The
辞書テーブルＴＢにおいて一致する音声コマンドＳＷが複数あった場合には（＃９７でＹｅｓ）、声紋情報を参照し、声紋情報が一致する音声コマンドＳＷを特定し、１つのリンク情報ＫＷを抽出する（＃９８）。そして、操作画面選択テーブルＴＢ５０を参照して、入力された音声に対応した操作画面ＧＭを抽出して表示する（＃９９）。なお、ステップ＃９９においては、入力された音声が辞書テーブルＴＢに音声コマンドＳＷとして記録されていなかった場合には、入力された音声に対応した処理を行う。
If there are a plurality of voice commands SW that match in the dictionary table TB (Yes in # 97), the voice command information is referred to, the voice command SW that matches the voice print information is specified, and one link information KW is extracted ( # 98). Then, the operation screen GM corresponding to the input voice is extracted and displayed with reference to the operation screen selection table TB50 (# 99). In
このように、第１実施形態では、お気に入り画面についてのコマンド情報ＤＴが音声認識ライブラリ４１に記憶されているすべての辞書テーブルＴＢに一括して追加登録されるので、ユーザは、どの操作画面からでもお気に入り画面を遷移させるための音声コマンドを発声することによって、お気に入り画面を表示させることができる。
As described above, in the first embodiment, the command information DT for the favorite screen is additionally registered in all dictionary tables TB stored in the
したがって、ユーザにとっては、画面操作の簡略化および迅速化を図ることができる。例えば、図１６に示すように操作画面の階層が深くかつ複雑になっている場合でも、お気に入り画面を容易に表示させることができる。 Therefore, it is possible for the user to simplify and speed up the screen operation. For example, the favorite screen can be easily displayed even when the operation screen has a deep and complex hierarchy as shown in FIG.
また、追加登録されるお気に入り画面についてのコマンド情報ＤＴには音声ＩＤも含まれるので、複数のユーザによって同一の音声コマンドが登録されていても、その音声コマンドを登録したユーザを区別することができる。
〔お気に入り画面登録操作の変形例〕
第１実施形態では、ユーザが設定操作を行う前の操作画面をお気に入り画面として登録する場合を例に説明したが、ユーザは設定操作の途中の状態の操作画面をお気に入り画面と同様に登録することもできる。
In addition, since the voice information is included in the command information DT for the additionally registered favorite screen, even if the same voice command is registered by a plurality of users, the user who has registered the voice command can be distinguished. .
[Modification of Favorite Screen Registration Operation]
In the first embodiment, the case where the operation screen before the user performs the setting operation is registered as a favorite screen has been described as an example. However, the user registers the operation screen in the middle of the setting operation in the same manner as the favorite screen. You can also.
例えば、図１２に示す縮小画面ＧＭ３３は、コピーの倍率を９３．０％とする設定を行った状態を示す。また、同図に示すページ集約画面ＧＭ３４は、印刷の出力形態をツーインワン（分割）とする設定を行った状態を示す。この状態で操作画面における設定操作を一時中断する場合に、ユーザは設定操作の途中の縮小画面ＧＭ３３またはページ集約画面ＧＮ３４について設定状態を保持しつつ、お気に入り画面のように登録するための操作を行う。これにより、いずれの操作画面からでも、設定操作の途中の操作画面を呼び出して続きの設定操作を再開することができる。また、ユーザが設定操作を再開する場合に、図１７に示すように、各操作画面での設定操作の状態を最上位の階層の操作画面（本実施形態では基本設定画面ＧＭ３０）に表示させることもできる。音声ガイドで報知してもよい。 For example, the reduced screen GM33 shown in FIG. 12 shows a state in which the copy magnification is set to 93.0%. Further, the page aggregation screen GM34 shown in the figure shows a state in which the print output form is set to two-in-one (division). When the setting operation on the operation screen is temporarily suspended in this state, the user performs an operation for registering like the favorite screen while holding the setting state for the reduced screen GM33 or the page aggregation screen GN34 in the middle of the setting operation. . Thereby, it is possible to call the operation screen in the middle of the setting operation from any operation screen and resume the subsequent setting operation. When the user resumes the setting operation, as shown in FIG. 17, the state of the setting operation on each operation screen is displayed on the operation screen of the highest hierarchy (the basic setting screen GM30 in this embodiment). You can also. You may alert | report with an audio guide.
次に、設定操作の途中の状態の操作画面（以下、「設定途中画面」と記載する）をお気に入り画面と同様に登録する場合における画像形成装置１全体の処理について、フローチャートを参照して説明する。
Next, processing of the entire
図１８は設定操作の途中の状態の操作画面をお気に入り画面と同様に登録する場合における画像形成装置１全体の処理の流れの例を説明するためのフローチャートである。
FIG. 18 is a flowchart for explaining an example of the processing flow of the entire
図１８において、ユーザは、各操作画面において所定の設定操作を行う（＃１１１）。このとき、設定操作を一時中断する場合に、操作パネル１０ｆに設けられている音声認識ボタンＫＢを長く押す（＃１１２）。ここで、ユーザは、設定状態を保持せずに、表示されている操作画面を第１実施形態で説明したようにお気に入り画面として登録する場合は（＃１１３で１が選択された場合）、操作キーを指定するかまたはお気に入り画面の画面名称部分ＭＳを押下するなどして、お気に入り画面登録操作を開始させる（＃１１４）。
In FIG. 18, the user performs a predetermined setting operation on each operation screen (# 111). At this time, when the setting operation is temporarily interrupted, the voice recognition button KB provided on the
現在表示されている設定途中画面の設定状態を保持させたい場合は（＃１１３で２が選択された場合）、ユーザは、設定途中画面の設定状態をメモリ１０ｂ（ハードディスク１０ｄ）などに保存するための操作を行う。すると、画像形成装置１は、設定途中画面についてお気に入り画面登録操作が開始されたものとして、上述の第１実施形態で説明したコマンド登録処理と同様の処理を実行する。この場合のコマンド登録処理は、お気に入り画面の画面名称部分ＭＳが押下された場合の処理と同一である。つまり、画像形成装置１は、設定途中画面の１つ前の操作画面を操作画面記憶部４０から検索する。そして、検索した操作画面に表示される操作キーの中から設定途中画面に遷移するための操作キーを検索し、検索した操作キーが押下され指定されたものとして、第１実施形態におけるコマンド登録処理と同様の処理（図１４の＃７５〜＃８０）を実行する（＃１１６〜＃１２０）。そして、コマンド語句情報ＳＴおよび抽出したリンク情報ＫＷを、お気に入り画面についての新たなコマンド情報ＤＴとして音声認識ライブラリ４１に記憶されているすべての辞書テーブルＴＢに追加登録する（＃１２１）。なお、コマンド語句情報ＳＴおよび抽出したリンク情報ＫＷ以外に音声ＩＤまたは操作キーの操作項目名なども登録するようにしてもよい。
〔第２実施形態〕
次に、第２実施形態について、図１９〜図２１を参照して説明する。なお、第２実施形態については、第１実施形態におけるネットワークシステムＳＹＳおよび画像形成装置１と異なる部分についてのみ説明する。また、図１９〜図２１において、第１実施形態と同一の構成要素には同一の符号を付してその詳細な説明を適宜省略する。
When the setting state of the currently displayed setting screen is to be retained (when 2 is selected in # 113), the user saves the setting state of the setting intermediate screen in the
[Second Embodiment]
Next, a second embodiment will be described with reference to FIGS. Note that in the second embodiment, only the parts different from the network system SYS and the
図１９は第２実施形態の画像形成装置１における操作画面制御部ＳＳＢの機能的な構成の例を示す図、図２０は専用辞書テーブルＴＢ６０の例を示す図、図２１は第２実施形態における画像形成装置１全体の処理の流れの例を説明するためのフローチャートである。
19 is a diagram illustrating an example of a functional configuration of the operation screen control unit SSB in the
第１実施形態では、お気に入り画面についての新たなコマンド情報ＤＴを、音声認識ライブラリ４１に記憶されている全ての辞書テーブルＴＢ（操作画面記憶部４０に記憶されているすべての操作画面ＧＭに対応付けて設けられている辞書テーブルＴＢ）に追加登録するようにしたが、それに代えて、操作画面ＧＭに対応付けて設けられている辞書テーブルＴＢとは別の専用辞書テーブルＴＢ６０（図１９参照）に、お気に入り画面についての新たなコマンド情報ＤＴを追加登録するようにしてもよい。 In the first embodiment, new command information DT for a favorite screen is associated with all dictionary tables TB stored in the speech recognition library 41 (all operation screens GM stored in the operation screen storage unit 40). The dictionary table TB) is additionally registered in place of the dictionary table TB60 (see FIG. 19), which is different from the dictionary table TB provided in association with the operation screen GM. The new command information DT for the favorite screen may be additionally registered.
図１９において、音声認識ライブラリ４１Ｂは、辞書テーブルＴＢ（ＴＢ３０、３１、３２、…）および専用辞書テーブルＴＢ６０を記憶し管理している。
In FIG. 19, the
登録部４５Ｂは、音声ＩＤ情報ＶＤ、音声コマンドＳＷ、およびリンク情報ＫＷを取得すると、それらをお気に入り画面についての新たなコマンド情報ＤＴ（コマンド情報ＤＴ６０）として、音声認識ライブラリ４１Ｂに記憶されている専用辞書テーブルＴＢ６０（図２０参照）に登録する。
When the
コマンド認識部４４Ｂは、基本的には第１実施形態のコマンド認識処理と同様の処理を実行する。第１実施形態のコマンド認識処理と異なる点は、コマンド認識処理を実行する際、まず、図２０に示す専用辞書テーブルＴＢ６０に記憶されているコマンド情報ＤＴ６０を参照して、入力された音声コマンドと一致する音声コマンドＳＷを検索する。そして、入力された音声コマンドと一致する音声コマンドＳＷが検索されなかった場合に、現在表示されている操作画面に対応付けられている辞書テーブルＴＢに記憶されているコマンド情報ＤＴを参照する。
The
専用辞書テーブルＴＢ６０にはお気に入り画面についての新たなコマンド情報ＤＴ（コマンド情報ＤＴ６０）しか登録されない。したがって、お気に入り画面へ遷移するための音声コマンドが入力された場合は、各操作画面についての辞書テーブルＴＢを参照するよりも短時間で入力された音声コマンドと一致する音声コマンドＳＷを検索することができ、コマンド認識処理をより早く完了させることができる。 Only new command information DT (command information DT60) for the favorite screen is registered in the dedicated dictionary table TB60. Therefore, when a voice command for transition to the favorite screen is input, it is possible to search for a voice command SW that matches the input voice command in a shorter time than referring to the dictionary table TB for each operation screen. The command recognition process can be completed earlier.
図２０は第２実施形態における画像形成装置１全体の処理の流れの例を説明するためのフローチャートである。
FIG. 20 is a flowchart for explaining an example of the processing flow of the entire
次に、第２実施形態における画像形成装置１全体の処理について、図２０のフローチャートを参照して説明する。
Next, processing of the entire
ステップ＃１３１〜１３４の処理は、第１実施形態の図１６のステップ＃９１〜９４と同じである。画像形成装置１は、入力された音声コマンドに対して音声認識処理を実行し、専用辞書テーブルＴＢ６０に記憶されているコマンド情報ＤＴ６０の音声コマンドＳＷと照合する（＃１３６）。
The processing of steps # 131 to 134 is the same as steps # 91 to 94 of FIG. 16 of the first embodiment. The
専用辞書テーブル６０から認識対象語句と一致する音声コマンドＳＷを検索することができなかった場合は、次に、現在表示されている操作画面ＧＭに対応する辞書テーブルＴＢを参照する。 If the voice command SW matching the recognition target word / phrase cannot be searched from the dedicated dictionary table 60, the dictionary table TB corresponding to the currently displayed operation screen GM is then referred to.
ステップ＃１３５、１３７〜１３９については、図１６のステップ＃９５、９７〜９９と同じである。
Steps # 135 and 137 to 139 are the same as
なお、第２の実施形態では、専門辞書テーブルＴＢ６０または辞書テーブルＴＢに登録されている音声コマンドＳＷのうち、入力された音声コマンドと一致する音声コマンドＳＷを音声認識処理の結果として採用する（＃１３８）。 In the second embodiment, among the voice commands SW registered in the specialized dictionary table TB60 or the dictionary table TB, a voice command SW that matches the input voice command is adopted as a result of the voice recognition process (#). 138).
上述の実施形態において、操作画面制御部ＳＳは本発明における「操作画面制御装置」に相当し、音声入力部２４は本発明における「音声入力手段」に相当する。音声認識ライブラリ４１、声紋判別部４３、およびコマンド認識部４４は、本発明の「音声認識部」に相当する。画面表示制御部４２は本発明における「画面切り替え手段」に相当し、一括登録部４５は本発明における「一括登録手段」に相当する。
In the above-described embodiment, the operation screen control unit SS corresponds to the “operation screen control device” in the present invention, and the
また、音声ＩＤ情報ＶＤは本発明における「声紋情報」に相当し、声紋判別部４３は本発明における「声紋判別部」に相当する。また、メモリ１０ｂ（ハードディスク１０ｄ）は本発明における記憶装置に相当する。
The voice ID information VD corresponds to “voice print information” in the present invention, and the voice
その他、操作画面制御部ＳＳ、画像形成装置１、およびネットワークシステムＳＹＳの構成、機能、各データが示す内容、テーブルの内容、処理の内容または順序などは、本発明の趣旨に沿って適宜変更することができる。
In addition, the configurations, functions, contents indicated by each data, table contents, processing contents or order of the operation screen control unit SS, the
１ 画像形成装置
２４ 音声入力部（音声入力手段、音声認識部）
４１、４１Ｂ 音声認識ライブラリ（音声認識部）
４２ 画面表示制御部（画面切り替え手段）
４３ 声紋判別部（音声認識部、声紋判別部）
４４、４４Ｂ コマンド認識部（音声認識部）
４５ 一括登録部（一括登録手段）
４５Ｂ 登録部
ＤＴ３０、３１、３２、６０ コマンド情報
ＫＷ リンク情報（キー情報）
Ｙ２１〜Ｙ２７ キー情報
ＳＳ，ＳＳＢ 操作画面制御部（操作画面制御装置）
ＳＷ 音声コマンド
ＴＢ３０、３１、３２ 辞書テーブル
ＴＢ５０ 操作画面選択テーブル
ＴＢ６０ 専用辞書テーブル
ＶＤ 音声ＩＤ情報（声紋情報）
1
41, 41B Voice recognition library (voice recognition unit)
42 Screen display control unit (screen switching means)
43 Voiceprint discrimination unit (voice recognition unit, voiceprint discrimination unit)
44, 44B Command recognition unit (voice recognition unit)
45 Batch registration section (Batch registration means)
45B Registration part DT30, 31, 32, 60 Command information
KW link information (key information)
Y21 to Y27 Key information SS, SSB Operation screen controller (operation screen controller)
SW voice command TB30, 31, 32 Dictionary table TB50 Operation screen selection table TB60 Dedicated dictionary table VD Voice ID information (voice print information)
Claims (10)
ユーザに音声を入力させるための音声入力手段と、
入力された音声を認識して音声コマンドを生成する音声認識部と、
前記操作パネルの表示面に表示するために準備された複数の操作画面を記憶する操作画面記憶手段と、
前記操作画面のそれぞれに対応して設けられ、音声コマンドと各音声コマンドによって遷移すべき操作画面へのリンク情報とを対応付けて登録する辞書テーブルと、
ユーザの音声によって音声コマンドが生成されたときに、そのときに表示されている操作画面に対応した前記辞書テーブルを参照することにより、生成された音声コマンドに対応する操作画面に遷移させる画面切り替え手段と、
特定の操作画面に遷移させるための音声コマンドを前記辞書テーブルに追加登録する旨の指令があったときに、追加登録する音声コマンドおよび前記特定の操作画面へのリンク情報を、対象となる全ての前記辞書テーブルに追加登録する一括登録手段と、
を有することを特徴とする操作画面制御装置。 An operation screen control device for operating the operation screen displayed on the display surface of the operation panel by voice,
Voice input means for allowing the user to input voice;
A speech recognition unit that recognizes input speech and generates speech commands;
Operation screen storage means for storing a plurality of operation screens prepared for display on the display surface of the operation panel;
A dictionary table that is provided corresponding to each of the operation screens, and registers and associates voice commands and link information to the operation screens to be changed by each voice command;
Screen switching means for transitioning to an operation screen corresponding to the generated voice command by referring to the dictionary table corresponding to the operation screen displayed at that time when the voice command is generated by the user's voice When,
When there is a command to additionally register a voice command for transition to a specific operation screen in the dictionary table, the voice command to be additionally registered and link information to the specific operation screen Batch registration means for additionally registering in the dictionary table;
An operation screen control device comprising:
請求項１記載の操作画面制御装置。 In the dictionary table, as the link information, key information about keys set so as to transition to the specific operation screen when the operation is performed is registered.
The operation screen control device according to claim 1.
前記辞書テーブルには、前記リンク情報として、いずれかの前記操作画面に表示されるキーについてのキー情報が登録されており、
前記画面切り替え手段は、前記辞書テーブルを参照することによって得られた前記キー情報を用い、前記操作画面選択テーブルを参照することにより、入力された音声コマンドに対応する操作画面に遷移させる、
請求項１記載の操作画面制御装置。 An operation screen selection table is provided that stores key information about keys displayed on the operation screen in association with operation screen information of a transition destination operation screen that is transitioned when the key is operated. ,
In the dictionary table, key information about keys displayed on any of the operation screens is registered as the link information,
The screen switching means uses the key information obtained by referring to the dictionary table, and transitions to an operation screen corresponding to the input voice command by referring to the operation screen selection table.
The operation screen control device according to claim 1.
請求項２または３記載の操作画面制御装置。 In the dictionary table, a plurality of voice commands can be registered corresponding to one link information.
The operation screen control device according to claim 2 or 3.
前記辞書テーブルには、前記音声コマンドとともに前記声紋情報が登録されており、
前記画面切り替え手段は、前記辞書テーブルに登録された音声コマンドおよび声紋情報が一致するリンク情報を抽出し、抽出されたリンク情報に基づいて前記操作画面を遷移させる、
請求項４記載の操作画面制御装置。 The voice recognition unit includes a voiceprint discrimination unit that discriminates a user's voiceprint and generates voiceprint information;
In the dictionary table, the voiceprint information is registered together with the voice command,
The screen switching means extracts link information that matches voice command and voiceprint information registered in the dictionary table, and transitions the operation screen based on the extracted link information.
The operation screen control device according to claim 4.
請求項１ないし５のいずれかに記載の操作画面制御装置。 The collective registration means additionally registers all the dictionary tables provided corresponding to the operation screen.
The operation screen control device according to claim 1.
請求項１ないし６のいずれかに記載の操作画面制御装置。 The batch registration means stores and holds the state at that time in a storage device when there is an instruction to interrupt the process in the process of additional registration.
The operation screen control device according to claim 1.
ユーザに音声を入力させるための音声入力手段と、
入力された音声を認識して音声コマンドを生成する音声認識部と、
前記操作パネルの表示面に表示するために準備された複数の操作画面を記憶する操作画面記憶手段と、
前記操作画面のそれぞれに対応して設けられ、音声コマンドと各音声コマンドによって遷移すべき操作画面へのリンク情報とを対応付けて登録する辞書テーブルと、
追加登録のためにユーザの音声によって生成された音声コマンドと各音声コマンドによって遷移すべき操作画面へのリンク情報とを対応付けて登録する専用辞書テーブルと、
ユーザの音声によって音声コマンドが生成されたときに、最初に前記専用辞書テーブルを参照することにより、また前記専用辞書テーブルに当該音声コマンドが登録されていない場合には前記音声コマンドが生成されたときに表示されている操作画面に対応した前記辞書テーブルを参照することにより、生成された音声コマンドに対応する操作画面に遷移させる画面切り替え手段と、
を有することを特徴とする操作画面制御装置。 An operation screen control device for operating the operation screen displayed on the display surface of the operation panel by voice,
Voice input means for allowing the user to input voice;
A speech recognition unit that recognizes input speech and generates speech commands;
Operation screen storage means for storing a plurality of operation screens prepared for display on the display surface of the operation panel;
A dictionary table that is provided corresponding to each of the operation screens, and registers and associates voice commands and link information to the operation screens to be changed by each voice command;
A dedicated dictionary table that registers and associates voice commands generated by the user's voice for additional registration and link information to the operation screen to be changed by each voice command;
When a voice command is generated by the user's voice, by referring to the dedicated dictionary table first, or when the voice command is generated if the voice command is not registered in the dedicated dictionary table Screen switching means for making a transition to the operation screen corresponding to the generated voice command by referring to the dictionary table corresponding to the operation screen displayed on
An operation screen control device comprising:
前記コンピュータにより実行されたときに、前記画像形成装置に、
ユーザに音声を入力させるための音声入力手段と、
入力された音声を認識して音声コマンドを生成する音声認識部と、
前記操作パネルの表示面に表示するために準備された複数の操作画面を記憶する操作画面記憶手段と、
前記操作画面のそれぞれに対応して設けられ、音声コマンドと各音声コマンドによって遷移すべき操作画面へのリンク情報とを対応付けて登録する辞書テーブルと、
ユーザの音声によって音声コマンドが生成されたときに、そのときに表示されている操作画面に対応した前記辞書テーブルを参照することにより、生成された音声コマンドに対応する操作画面に遷移させる画面切り替え手段と、
特定の操作画面に遷移させるための音声コマンドを前記辞書テーブルに追加登録する旨の指令があったときに、追加登録する音声コマンドおよび前記特定の操作画面へのリンク情報を、対象となる全ての前記辞書テーブルに追加登録する一括登録手段と、
を実現させることを特徴とするコンピュータプログラム。 A computer program for a computer provided in an image forming apparatus capable of operating an operation screen displayed on a display surface of an operation panel by voice,
When executed by the computer, the image forming apparatus
Voice input means for allowing the user to input voice;
A speech recognition unit that recognizes input speech and generates speech commands;
Operation screen storage means for storing a plurality of operation screens prepared for display on the display surface of the operation panel;
A dictionary table that is provided corresponding to each of the operation screens, and registers and associates voice commands and link information to the operation screens to be changed by each voice command;
Screen switching means for transitioning to an operation screen corresponding to the generated voice command by referring to the dictionary table corresponding to the operation screen displayed at that time when the voice command is generated by the user's voice When,
When there is a command to additionally register a voice command for transition to a specific operation screen in the dictionary table, the voice command to be additionally registered and link information to the specific operation screen Batch registration means for additionally registering in the dictionary table;
A computer program characterized by realizing the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009071719A JP5343652B2 (en) | 2009-03-24 | 2009-03-24 | Operation screen control apparatus, image forming apparatus, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009071719A JP5343652B2 (en) | 2009-03-24 | 2009-03-24 | Operation screen control apparatus, image forming apparatus, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010224890A true JP2010224890A (en) | 2010-10-07 |
| JP5343652B2 JP5343652B2 (en) | 2013-11-13 |
Family
ID=43042009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009071719A Active JP5343652B2 (en) | 2009-03-24 | 2009-03-24 | Operation screen control apparatus, image forming apparatus, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5343652B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016104562A (en) * | 2014-11-24 | 2016-06-09 | 京セラドキュメントソリューションズ株式会社 | Image forming device having user identification capability |
| JP2020069723A (en) * | 2018-10-31 | 2020-05-07 | シャープ株式会社 | Image forming device |
| JP2020087381A (en) * | 2018-11-30 | 2020-06-04 | 株式会社リコー | Information processing system, program, and information processing method |
| EP3696610A1 (en) * | 2019-02-14 | 2020-08-19 | Ricoh Company, Ltd. | Image forming apparatus, display control method, and carrier means |
| CN111698378A (en) * | 2019-03-15 | 2020-09-22 | 柯尼卡美能达株式会社 | Control device, image forming system, and recording medium |
| EP3764351A1 (en) | 2019-07-08 | 2021-01-13 | Konica Minolta, Inc. | Voice-operated system, controller, control program, and processing device |
| JP2021013099A (en) * | 2019-07-05 | 2021-02-04 | コニカミノルタ株式会社 | Image forming apparatus, control method for image forming apparatus, and control program for image forming apparatus |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000029585A (en) * | 1998-07-08 | 2000-01-28 | Canon Inc | Voice command recognizing image processor |
| JP2000231398A (en) * | 1999-01-18 | 2000-08-22 | Thomson Multimedia Sa | Device provided with voice and manual user interface and method for supporting voice command learning of this device |
| JP2003169171A (en) * | 2001-11-30 | 2003-06-13 | Canon Inc | Image forming device |
| JP2006005695A (en) * | 2004-06-18 | 2006-01-05 | Nec Corp | Portable terminal |
| JP2006129398A (en) * | 2004-11-01 | 2006-05-18 | Nec Corp | Portable terminal device and display data editing method for the portable terminal device |
| JP2008096541A (en) * | 2006-10-06 | 2008-04-24 | Canon Inc | Speech processing device and control method therefor |
| JP2008210056A (en) * | 2007-02-23 | 2008-09-11 | Matsushita Electric Works Ltd | Load control unit |
| JP2010049432A (en) * | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | Display screen control device and method thereof, and information processor |
-
2009
- 2009-03-24 JP JP2009071719A patent/JP5343652B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000029585A (en) * | 1998-07-08 | 2000-01-28 | Canon Inc | Voice command recognizing image processor |
| JP2000231398A (en) * | 1999-01-18 | 2000-08-22 | Thomson Multimedia Sa | Device provided with voice and manual user interface and method for supporting voice command learning of this device |
| JP2003169171A (en) * | 2001-11-30 | 2003-06-13 | Canon Inc | Image forming device |
| JP2006005695A (en) * | 2004-06-18 | 2006-01-05 | Nec Corp | Portable terminal |
| JP2006129398A (en) * | 2004-11-01 | 2006-05-18 | Nec Corp | Portable terminal device and display data editing method for the portable terminal device |
| JP2008096541A (en) * | 2006-10-06 | 2008-04-24 | Canon Inc | Speech processing device and control method therefor |
| JP2008210056A (en) * | 2007-02-23 | 2008-09-11 | Matsushita Electric Works Ltd | Load control unit |
| JP2010049432A (en) * | 2008-08-20 | 2010-03-04 | Konica Minolta Business Technologies Inc | Display screen control device and method thereof, and information processor |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016104562A (en) * | 2014-11-24 | 2016-06-09 | 京セラドキュメントソリューションズ株式会社 | Image forming device having user identification capability |
| JP2020069723A (en) * | 2018-10-31 | 2020-05-07 | シャープ株式会社 | Image forming device |
| JP7169847B2 (en) | 2018-10-31 | 2022-11-11 | シャープ株式会社 | image forming device |
| JP2020087381A (en) * | 2018-11-30 | 2020-06-04 | 株式会社リコー | Information processing system, program, and information processing method |
| EP3696610A1 (en) * | 2019-02-14 | 2020-08-19 | Ricoh Company, Ltd. | Image forming apparatus, display control method, and carrier means |
| CN111698378A (en) * | 2019-03-15 | 2020-09-22 | 柯尼卡美能达株式会社 | Control device, image forming system, and recording medium |
| CN111698378B (en) * | 2019-03-15 | 2022-08-16 | 柯尼卡美能达株式会社 | Control device, image forming system, and recording medium |
| JP2021013099A (en) * | 2019-07-05 | 2021-02-04 | コニカミノルタ株式会社 | Image forming apparatus, control method for image forming apparatus, and control program for image forming apparatus |
| JP7334510B2 (en) | 2019-07-05 | 2023-08-29 | コニカミノルタ株式会社 | IMAGE FORMING APPARATUS, IMAGE FORMING APPARATUS CONTROL METHOD, AND IMAGE FORMING APPARATUS CONTROL PROGRAM |
| EP3764351A1 (en) | 2019-07-08 | 2021-01-13 | Konica Minolta, Inc. | Voice-operated system, controller, control program, and processing device |
| US11823672B2 (en) | 2019-07-08 | 2023-11-21 | Konica Minolta, Inc. | Voice-operated system, controller, computer-readable recording medium, and processing device |
| JP7415350B2 (en) | 2019-07-08 | 2024-01-17 | コニカミノルタ株式会社 | Voice operation system, control device, and control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5343652B2 (en) | 2013-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5343652B2 (en) | Operation screen control apparatus, image forming apparatus, and computer program | |
| JP7367750B2 (en) | Image processing device, image processing device control method, and program | |
| JP5146429B2 (en) | Image processing apparatus, speech recognition processing apparatus, control method for speech recognition processing apparatus, and computer program | |
| JP2006330576A (en) | Apparatus operation system, speech recognition device, electronic apparatus, information processor, program, and recording medium | |
| EP3696610B1 (en) | Image forming apparatus, display control method, and carrier means | |
| JP7192220B2 (en) | Image processing device, information processing device and program | |
| US12015746B2 (en) | Image processing system, setting control method, image processing apparatus, and storage medium | |
| US11792338B2 (en) | Image processing system for controlling an image forming apparatus with a microphone | |
| JP2010147624A (en) | Communication device, search processing method and search processing program | |
| US11838459B2 (en) | Information processing system, information processing apparatus, and information processing method | |
| US11838460B2 (en) | Information processing system, information processing apparatus, and information processing method | |
| US11647129B2 (en) | Image forming system equipped with interactive agent function, method of controlling same, and storage medium | |
| JP7286321B2 (en) | Information processing system, information processing device, control method, program | |
| JP2020201911A (en) | Information processing system, information processor, and information processing method | |
| US11700338B2 (en) | Information processing system that receives audio operations on multifunction peripheral, as well as image processing apparatus and control method therefor | |
| JP2020134745A (en) | Information processing device and program | |
| JP7327939B2 (en) | Information processing system, information processing device, control method, program | |
| JP2000315097A (en) | Electronic equipment, its controlling method and recording medium | |
| JP7375427B2 (en) | Audio setting system, audio setting support program, and audio setting support device | |
| JP2008271047A (en) | Image reader | |
| JP2021009243A (en) | Image forming device and program for controlling it | |
| JP2006272788A (en) | Printer, backup method, program and storage medium | |
| JPH11195038A (en) | Method and device for image information processing, and storage medium | |
| JP2003302994A (en) | Electronic equipment provided with speech recognition function and its control method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121121 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20130417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5343652 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |