JP2024094317A - 対話型装置及びその制御方法、並びにプログラム - Google Patents
対話型装置及びその制御方法、並びにプログラム Download PDFInfo
- Publication number
- JP2024094317A JP2024094317A JP2024038772A JP2024038772A JP2024094317A JP 2024094317 A JP2024094317 A JP 2024094317A JP 2024038772 A JP2024038772 A JP 2024038772A JP 2024038772 A JP2024038772 A JP 2024038772A JP 2024094317 A JP2024094317 A JP 2024094317A
- Authority
- JP
- Japan
- Prior art keywords
- job
- message
- execution
- voice
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 43
- 230000002452 interceptive effect Effects 0.000 title claims description 17
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000008569 process Effects 0.000 claims description 32
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 115
- 238000003058 natural language processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 18
- 230000004044 response Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
- G06F3/1203—Improving or facilitating administration, e.g. print management
- G06F3/1204—Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
- G06F3/1254—Automatic configuration, e.g. by driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
- G06F3/1237—Print job management
- G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
- G06F3/1257—Configuration of print job parameters, e.g. using UI at the client by using pre-stored settings, e.g. job templates, presets, print styles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
- G06F3/1285—Remote printer device, e.g. being remote from client or server
- G06F3/1287—Remote printer device, e.g. being remote from client or server via internet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00395—Arrangements for reducing operator input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00403—Voice input means, e.g. voice commands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00482—Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
- G06F3/1203—Improving or facilitating administration, e.g. print management
- G06F3/1205—Improving or facilitating administration, e.g. print management resulting in increased flexibility in print job configuration, e.g. job settings, print requirements, job tickets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/12—Digital output to print unit, e.g. line printer, chain printer
- G06F3/1201—Dedicated interfaces to print systems
- G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
- G06F3/1285—Remote printer device, e.g. being remote from client or server
- G06F3/1288—Remote printer device, e.g. being remote from client or server in client-server-printer device configuration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】対話エージェント機能のユーザビリティを向上することができる音声対話装置を提供する。【解決手段】MFP1は、マイク・スピーカ205で受けた音声にプリセット名が含まれている場合、プリセット名に対応付けて予め登録された複数の種別の設定値に基づいてジョブを実行する。【選択図】図5
Description
本発明は、対話型装置及びその制御方法、並びにプログラムに関する。
対話エージェント機能を備える音声対話装置としてのMFPが知られている。MFPは、対話エージェント機能を用いて、ユーザが発した音声をジョブの設定指示やジョブの実行指示等として受け付ける(例えば、特許文献1参照)。これにより、ユーザは、MFPの操作部を操作することなく、指示の内容を発話するだけで、ジョブの設定指示やジョブの実行指示を容易に行うことができる。
しかしながら、従来では、複数の種別の設定値を設定する必要があるジョブの実行指示を対話エージェント機能によって行う場合、ジョブ毎にユーザが複数の種別の設定値を発する必要があり、ユーザビリティが低下するという問題が生じる。
本発明の目的は、対話エージェント機能のユーザビリティを向上することができる対話型装置及びその制御方法、並びにプログラムを提供することにある。
上記目的を達成するために、本発明の対話型装置は、入力された自然言語のメッセージをジョブの実行に関する指示として受け付ける対話型装置であって、入力された第1のメッセージが示す設定値に基づいて前記ジョブを実行するジョブ実行手段と、前記ジョブの実行を完了した後、入力された第2のメッセージが示す識別情報と当該ジョブの実行に使用した設定値とを対応付けて登録する登録手段と、前記ジョブの実行を完了した後、当該ジョブの実行に使用した設定値を登録することをユーザが選択した場合に、前記設定値を登録する際に使用する前記識別情報の候補名を出力する手段と、を備え、前記ジョブ実行手段は、入力された第3のメッセージに前記識別情報が含まれている場合、前記識別情報に対応付けて登録された前記設定値に基づいて前記ジョブを実行することを特徴とする。
本発明によれば、対話エージェント機能のユーザビリティを向上することができる。
以下、本発明の実施の形態について図面を参照しながら詳述する。なお、本実施の形態では、音声対話装置としてのMFPに本発明を適用した場合について説明するが、本発明はMFPに限られない。例えば、スマートスピーカー、スマートフォン、タブレット端末、及びPCといった対話エージェント機能を備える装置に本発明を適用してもよい。
図1は、本発明の実施の形態に係る音声対話装置としてのMFP101に搭載された対話エージェント機能を説明するための図である。MFP101は、画像形成処理を行う画像形成装置である。MFP101は、コピー機能、スキャン機能、及びFAX機能等の画像形成処理の実行を伴うジョブを実行するための複数の機能を備える。また、MFP101は、対話エージェント機能を備える。対話エージェント機能を利用することで、ユーザは、指示の内容を発話するだけでジョブの実行指示やジョブの設定指示を行うことができる。MFP101は、ユーザが発した音声を受けると、当該音声を自然言語で表現したユーザ操作リクエストを、自然言語処理サービス102に送信する。自然言語処理サービス102は、クラウド103を構成するモジュールである。自然言語処理サービス102は、MFP101からユーザ操作リクエストを受信すると、当該ユーザ操作リクエストに基づいて自然言語処理を行い、ユーザが発した音声に含まれる字句を解析する。また、自然言語処理サービス102は、解析結果を複合機管理サービス104に送信する。複合機管理サービス104も、自然言語処理サービスと同様に、クラウド103を構成するモジュールである。複合機管理サービス104は、自然言語処理サービス102から受信した解析結果に基づいて、MFP101が上記音声を識別可能な音声識別情報を生成し、当該音声識別情報をMFP101に送信する。MFP101は、受信した音声識別情報に基づいて、例えば、MFP101が受けた音声が示す設定値をジョブの実行に必要となる機能設定情報として設定する。
図2は、図1のMFP101のハードウェア構成を概略的に示すブロック図である。図2において、MFP101は、CPU201、ROM202、RAM203、eMMC204、マイク・スピーカ205、プリンタ206、スキャナ207、操作部208、及びネットワーク制御部209を備える。CPU201、ROM202、RAM203、eMMC204、マイク・スピーカ205、プリンタ206、スキャナ207、操作部208、及びネットワーク制御部209はバス210を介して互いに接続されている。
CPU201は、MFP101全体の動作を制御する。CPU201は、ROM202やeMMC204に記憶されたプログラムを読み出し、読取制御、印刷制御、及び送信制御等の各種制御を行う。RAM203は、CPU201がプログラムを実行する際にワークエリア等として使用される揮発性のメモリである。eMMC204は、画像データや各種プログラムを記憶する。マイク・スピーカ205は、ユーザが発した音声を受ける。また、マイク・スピーカ205は、ユーザから受けた音声に対する応答メッセージを音声出力する。
プリンタ206は、バス210を介して転送された画像データに基づいて印刷処理を行う。スキャナ207は、配置された原稿を読み取って画像データを生成する。操作部208は、表示部(不図示)やハードキー(不図示)等を備える。表示部は、ユーザが指で操作可能なタッチパネルとして動作する。ネットワーク制御部209は、LAN211と接続するためのNIC(Network Interface Card)(不図示)を備える。
図3は、図1のMFP101、自然言語処理サービス102、及び複合機管理サービス104によって実行される音声識別情報生成処理の手順を示すシーケンス図である。図3の処理は、マイク・スピーカ205で音声を受けた際に実行される。
図3において、MFP101は、マイク・スピーカ205で音声を受けると(ステップS301)、当該音声を自然言語で表現したユーザ操作リクエストを自然言語処理サービス102に送信する(ステップS302)。自然言語処理サービス102は、受信したユーザ操作リクエストに基づいて自然言語処理を実行し、マイク・スピーカ205で受けた音声に含まれる字句を解析する(ステップS303)。次いで、自然言語処理サービス102は、解析結果を複合機管理サービス104へ送信する(ステップS304)。複合機管理サービス104は、受信した解析結果に基づいて音声識別情報を生成し(ステップS305)、当該音声識別情報をMFP101へ送信する(ステップS306)。MFP101は、受信した音声識別情報からユーザの指示を特定し、特定した指示に対する応答メッセージをマイク・スピーカ205から音声出力する。このように、本実施の形態では、図3の処理により、MFP101は、マイク・スピーカ205で音声を受ける毎に受けた音声の音声識別情報を複合機管理サービス104から取得し、取得した音声識別情報に基づいてマイク・スピーカ205で受けた各音声の内容を把握することができる。以下では、図3の処理に関する動作の説明を省略し、MFP101は、マイク・スピーカ205で音声を受けた際に当該音声の音声識別情報を複合機管理サービス104から取得することとして説明する。
次に、対話エージェント機能を利用してジョブの実行指示を行う際のユーザ及びMFP101の対話について説明する。
図4において、MFP101は、例えば、音声入力動作を開始するための所定の音声入力キーワードを含む音声メッセージ401、及びコピー機能の利用を示す図4の音声メッセージ402をマイク・スピーカ205で受けると、コピージョブの機能設定情報の設定を促す音声メッセージ403をマイク・スピーカ205から出力する。以下では、コピージョブの機能設定情報をコピー設定情報とする。その後、コピー設定情報に関する音声メッセージ404~406をマイク・スピーカ205で受けると、MFP101は、音声メッセージ404~406に基づいてコピー設定情報として「4in1」、「カラー」、「両面」、「ステイプル」を設定する。MFP101は、設定した内容を示す音声メッセージ407をマイク・スピーカ205から出力する。また、MFP101は、設定したコピー設定情報でコピージョブを実行する。コピージョブの実行を完了すると、MFP101は、音声メッセージ408を出力して、当該コピージョブで使用した機能設定情報をプリセットとして保存するか否かをユーザに選択させる。ユーザから上記機能設定情報をプリセットとして保存することを示す音声メッセージ409をマイク・スピーカ205で受けると、MFP101は、プリセット名の設定を促す音声メッセージ410をマイク・スピーカ205から出力する。その後、ユーザからプリセット名を示す音声メッセージ411をマイク・スピーカ205で受けると、MFP101は、上記プリセット名を上記機能設定情報に対応付けて登録する。これにより、ユーザは、次回から上記プリセット名を発するだけで、当該プリセット名に対応付けられた機能設定情報をMFP101に設定することが可能となる。なお、登録された情報は、ROM202等に格納される。また、MFP101は、次回から上記機能設定情報を上記プリセット名で呼び出し可能である旨を示す音声メッセージ412をマイク・スピーカ205から出力する。このとき、MFP101は、上記機能設定情報の具体値である「4in1」、「カラー」、「両面」、「ステイプル」や、プリセット名である「チーム内打ち合わせ」をマイク・スピーカ205から出力する。
図5は、図1のMFP101によって実行されるジョブ実行処理の手順を示すフローチャートである。図5の処理は、CPU201がROM202やeMMC204に記憶されたプログラムを実行することによって行われる。図5の処理は、例えば、MFP101が起動した際に実行される。
図5において、まず、CPU201は、マイク・スピーカ205で音声を受けると、複合機管理サービス104から受信した上記音声の音声識別情報に基づいて上記音声に所定の音声入力キーワードが含まれているか否かを判別する(ステップS501)。上記音声に所定の音声入力キーワードが含まれていると(ステップS501でYES)、CPU201は、音声入力動作を開始する(ステップS502)。その後、CPU201は、マイク・スピーカ205で別の音声を受けると、受けた音声の音声識別情報に基づいてユーザに指定された機能を特定する(ステップS503)。例えば、図6の音声メッセージ601を受けた場合、CPU201は、音声メッセージ601の音声識別情報に基づいて、ユーザに指定された機能がコピー機能であることを特定する。次いで、CPU201は、特定した機能を利用するジョブの機能設定情報の設定を促す図6の音声メッセージ602をマイク・スピーカ205から出力する。その後、CPU201は、マイク・スピーカ205で別の音声を受けると、受けた音声に予め登録されたプリセット名が含まれているか否かを判別する(ステップS504)。
ステップS504の判別の結果、受けた音声に予め登録されたプリセット名が含まれているとき(例えば、図6の音声メッセージ603を参照。)、CPU201は、上記プリセット名に対応付けられた機能設定情報を設定する。機能設定情報は、例えば、音声メッセージ412に含まれるコピー設定情報のように、ジョブの実行に必要となる複数の種別の設定値を含む。次いで、CPU201は、設定した機能設定情報でジョブを実行する(ステップS505)。また、CPU201は、プリセット名に対応付けられた機能設定情報でジョブが実行された旨を示す音声メッセージ604を出力し、本処理を終了する。
ステップS504の判別の結果、受けた音声に予め登録されたプリセット名が含まれていないとき(例えば、図7の音声メッセージ701を参照。)、CPU201は上記音声に含まれる単語に類似するプリセット名の候補リストを出力する(ステップS506)。例えば、「打ち合わせ用4in1」、「打ち合わせ用2in1」がプリセット名として予め登録された状態で、マイク・スピーカ205で「打ち合わせ用」の単語を含む音声メッセージ701を受けた場合、CPU201は、プリセット名の候補リストとして「打ち合わせ用4in1」及び「打ち合わせ用2in1」を含む図7の音声メッセージ702をマイク・スピーカ205から出力する。その後、CPU201は、マイク・スピーカ205で別の音声を受けると、受けた音声の音声識別情報に基づいて候補リストの中から一つのプリセット名が選択されたか否かを判別する(ステップS507)。
ステップS507の判別の結果、候補リストの中から一つのプリセット名が選択されたとき、CPU201は、選択されたプリセット名に対応付けられた機能設定情報を設定し、ステップS505の処理を行う。
ステップS507の判別の結果、候補リストの中から一つのプリセット名が選択されないとき、CPU201は、プリセット名を使わずに機能設定情報を設定する。具体的に、CPU201は、図4に示すように、ジョブの実行に必要となる各設定値を対話で確認し、マイク・スピーカ205で受けた各音声が示す複数の種別の設定値を機能設定情報として設定する。CPU201は、設定した機能設定情報でジョブを実行する(ステップS508)。次いで、CPU201は、音声メッセージ408をマイク・スピーカ205から出力して、上記ジョブで使用した機能設定情報をプリセットとして保存するか否かをユーザに選択させる。その後、CPU201は、マイク・スピーカ205で別の音声を受けると、受けた音声の音声識別情報に基づいて上記ジョブで使用した機能設定情報をプリセットとして保存するか否かを判別する(ステップS509)。
ステップS509の判別の結果、上記ジョブで使用した機能設定情報をプリセットとして保存しないとき、CPU201は、本処理を終了する。ステップS509の判別の結果、上記ジョブで使用した機能設定情報をプリセットとして保存するとき、CPU201は、上記機能設定情報に対応付けるプリセット名を示す音声をマイク・スピーカ205で受けたか否かを判別する(ステップS510)。
ステップS510の判別の結果、上記機能設定情報に対応付けるプリセット名を示す音声をマイク・スピーカ205で受けたとき、CPU201は、受けた音声が示すプリセット名を上記機能設定情報に対応付けて登録する(ステップS511)。その後、CPU201は、本処理を終了する。
ステップS510の判別の結果、上記機能設定情報に対応付けるプリセット名を示す音声をマイク・スピーカ205で受けないとき、CPU201は、マイク・スピーカ205で最後に音声を受けてから予め設定された所定の時間を経過したか否かを判別する(ステップS512)。
ステップS512の判別の結果、マイク・スピーカ205で最後に音声を受けてから所定の時間を経過しないとき、CPU201は、ステップS510の処理に戻る。ステップS512の判別の結果、マイク・スピーカ205で最後に音声を受けてから所定の時間を経過したとき、CPU201は、本処理を終了する。
上述した実施の形態によれば、受けた音声にプリセット名が含まれている場合、プリセット名に対応付けて予め登録された複数の種別の設定値に基づいてジョブが実行される。すなわち、複数の種別の設定値を設定するジョブの実行指示を対話エージェント機能によって行う際に、ジョブ毎にユーザが複数の種別の設定値を発する必要がない。これにより、対話エージェント機能によるジョブの実行指示を行う際のユーザの手間を軽減することができ、もって、対話エージェント機能のユーザビリティを向上することができる。
また、上述した実施の形態では、ジョブの実行を完了した後、当該ジョブの実行に使用した複数の種別の設定値に対応付けるプリセット名を登録するか否かがユーザに選択される。これにより、プリセット名の登録に関し、ユーザの意図を反映させることができる。
さらに、上述した実施の形態では、プリセット名を登録する際に、当該プリセット名に対応付ける全ての設定値を含む音声メッセージ412がマイク・スピーカ205から出力される。これにより、プリセット名を登録する際に、当該プリセット名に対応付けられる設定値をユーザが把握することができる。
上述した実施の形態では、複数の種別の設定値は、画像形成処理の実行に必要となる設定値である。これにより、画像形成処理の実行を伴うジョブの実行指示を対話エージェント機能によって行う際のユーザの手間を軽減することができる。
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、プリセット名に対応付けられる機能設定情報は、コピー設定情報以外の機能設定情報、例えば、図8に示すコピー機能、ファックス機能、スキャンして送信機能、スキャンして保存機能、保存ファイルの利用機能、受信トレイ機能、セキュアプリント機能、及びプリント機能といったMFP101が備える機能を利用するジョブの機能設定情報であっても良い。例えば、ユーザからファックスジョブで使用した機能設定情報をプリセットとして保存することを示す図9の音声メッセージ901をマイク・スピーカ205で受け、その後、ユーザからプリセット名を示す音声メッセージ902をマイク・スピーカ205で受けると、MFP101は、メッセージ902が示すプリセット名を上記ファックスジョブで使用した機能設定情報に対応付けて登録する。
また、上述した実施の形態では、MFP101が事前通知機能を備えていても良い。事前通知機能は、ジョブの機能設定情報の設定を促すメッセージの応答としてユーザから受けた音声にプリセット名が含まれている場合、ジョブを実行する前に、上記プリセット名に対応付けて予め登録された複数の種別の設定値をマイク・スピーカ205から出力する機能である。この機能により、ユーザがMFP101に設定された機能設定情報をジョブの実行前に確認することができる。
さらに、上述した実施の形態では、事前通知機能によってマイク・スピーカ205から出力される設定値の種別数が所定の数より多い場合、MFP101は、マイク・スピーカ205から上記設定値を音声出力せずに、図10に示すように、上記設定値を操作部208に表示しても良い。また、この場合、マイク・スピーカ205から上記設定値を音声出力しつつ、上記設定値を操作部208に表示しても良い。このように上記設定値を操作部208に表示することで、プリセット名に機能設定情報として複数種の設定値が対応付けられても、ユーザが当該機能設定情報の内容を容易に把握することができる。
上述した実施の形態では、図11の管理テーブル1100によってプリセット名及び機能設定情報がユーザ毎に管理されても良い。管理テーブル1100は、MFP101及びクラウド103の少なくとも一方に格納される。管理テーブル1100では、各ユーザに対応付けしてプリセット名及び機能設定情報が登録されている。例えば、管理テーブル1100には、図11の「チーム内打ち合わせ」のように同一のプリセット名であっても、ユーザa,c毎に異なる内容の機能設定情報が登録されている。MFP101は、プリセット名を示すメッセージをマイク・スピーカ205で受けた場合、ユーザがMFP101にログインした際に使用したログイン情報又はユーザの声紋認証の認証結果に基づいてユーザを特定する。MFP101は、管理テーブル1100の中から、マイク・スピーカ205で受けたメッセージが示すプリセット名に対応付けられた機能設定情報であって上記特定したユーザに関する機能設定情報を特定し、特定した機能設定情報を用いてジョブを実行する。機能設定情報をユーザ毎に管理することで、対話エージェント機能のユーザビリティを更に向上することができる。
上述した実施の形態では、ジョブの実行に使用された機能設定情報がプリセットとして既に保存されている場合、MFP101は、図12のメッセージ1201をマイク・スピーカ205から出力して、上記機能設定情報に対応付けられたプリセット名を変更するか否かをユーザに選択させても良い。
また、上述した実施の形態では、上記事前通知機能のON/OFFをユーザに設定させても良い。ユーザが設定した事前通知機能のON/OFFの何れかを示す設定値は、ROM202等に格納される。事前通知機能をONに設定されたMFP101は、ジョブの機能設定情報の設定を促すメッセージの応答としてユーザから受けた音声にプリセット名が含まれている場合、ジョブを実行する前に、例えば、図13(a)のメッセージ1301をマイク・スピーカ205から出力する。メッセージ1301には、上記プリセット名に対応付けて登録された機能設定情報が含まれる。一方、事前通知機能をOFFに設定されたMFP101は、ジョブの機能設定情報の設定を促すメッセージの応答としてユーザから受けた音声にプリセット名が含まれている場合、例えば、図13(b)に示すように、当該プリセット名に対応付けて登録された機能設定情報をマイク・スピーカ205から出力することなく、ジョブを実行する。
図14は、図5のジョブ実行処理の変形例の手順を示すフローチャートである。図14の処理も、CPU201がROM202やeMMC204に記憶されたプログラムを実行することによって行われる。図14の処理も、例えば、MFP101が起動した際に実行される。
図14において、CPU201は、ステップS501~S504の処理を行う。ステップS504の判別の結果、受けた音声に予め登録されたプリセット名が含まれていないとき、CPU201は、ステップS506、S507の処理を行う。
ステップS507の判別の結果、候補リストの中から一つのプリセット名が選択されたとき、又はステップS504の判別の結果、受けた音声に予め登録されたプリセット名が含まれているとき、CPU201は、事前通知機能がON及びOFFの何れであるかを判別する(ステップS1401)。
ステップS1401の判別の結果、事前通知機能がONであるとき、CPU201は、受けた音声に含まれるプリセット名に対応付けて予め登録された機能設定情報を示すメッセージ、例えば、図13のメッセージ1301を通知する(ステップS1402)。ステップS1402の通知は、マイク・スピーカ205による音声出力及び操作部208へのメッセージ表示の少なくとも一方で行われる。次いで、CPU201は、マイク・スピーカ205で別の音声を受けると、受けた音声の音声識別情報に基づいて、上記機能設定情報の内容を変更するか否かを判別する(ステップS1403)。
ステップS1403の判別の結果、上記機能設定情報の内容を変更しないとき、又はステップS1401の判別の結果、事前通知機能がOFFであるとき、CPU201は、ステップS505以降の処理を行う。ステップS1403の判別の結果、上記機能設定情報の内容を変更するとき、又はステップS507の判別の結果、候補リストの中から一つのプリセット名が選択されないとき、CPU201は、ステップS508~S510の処理を行う。
ステップS510の判別の結果、上記機能設定情報に対応付けるプリセット名を示す音声をマイク・スピーカ205で受けたとき、CPU201は、受けた音声が示すプリセット名と同じプリセット名が登録されているか否かを判別する(ステップS1404)。
ステップS1404の判別の結果、受けた音声が示すプリセット名と同じプリセット名が登録されていないとき、CPU201は、ステップS511以降の処理を行う。ステップS1404の判別の結果、受けた音声が示すプリセット名と同じプリセット名が登録されているとき、CPU201は、例えば、図15のメッセージ1501をマイク・スピーカ205から出力して、プリセット名の登録情報を上書きするか否かをユーザに選択させる(ステップS1405)。プリセット名の登録情報の上書きは、管理テーブル1100において、上記プリセット名に関し、予め対応付けられた機能設定情報をステップS508で使用した機能設定情報に更新する処理である。
ステップS1405において、ユーザからプリセット名の登録情報を上書きすることを示すメッセージをマイク・スピーカ205で受けたとき、CPU201は、上記プリセット名の登録情報を上書きし(ステップS1406)、本処理を終了する。
ステップS1405において、ユーザからプリセット名の登録情報を上書きしないことを示すメッセージをマイク・スピーカ205で受けたとき、CPU201は、例えば、図15のメッセージ1502をマイク・スピーカ205から出力して、上記プリセット名の候補を通知する(ステップS1407)。ステップS1407では、CPU201は、受けた音声が示すプリセット名と登録済みのプリセット名との差分から特徴となる文字列を含むプリセット名の候補を生成し、当該プリセット名の候補を通知する。ステップS1407の通知は、マイク・スピーカ205による音声出力及び操作部208へのメッセージ表示の少なくとも一方で行われる。次いで、CPU201は、ステップS512の処理を行う。
上述した実施の形態では、ユーザが発した音声をMFP101のマイク・スピーカ205が受ける場合について説明したが、MFP101以外の他の装置、例えば、スマートスピーカーといったモバイル端末(不図示)によってユーザが発した音声を受けても良い。モバイル端末は、ユーザが発した音声を受けると、例えば、無線LANルータ212を介して上記ユーザ操作リクエストをMFP101に送信する。MFP101は、ステップS302の処理として、受信したユーザ操作リクエストを自然言語処理サービス102に転送する。自然言語処理サービス102は、受信したユーザ操作リクエストに基づいてステップS303、S304の処理を行い、複合機管理サービス104は、ステップS305、S306の処理を行って、音声識別情報をMFP101に送信する。
また、モバイル端末は、ユーザが発した音声を受けると、例えば、無線LANルータ212を介して上記ユーザ操作リクエストを自然言語処理サービス102へ送信する。自然言語処理サービス102は、受信したユーザ操作リクエストに基づいてステップS303、S304の処理を行い、複合機管理サービス104は、ステップS305、S306の処理を行って、音声識別情報をMFP101に送信する。
また、上述した実施の形態では、MFPが自然言語処理サービス102及び複合機管理サービス104の機能を備えていても良い。図16は、自然言語処理サービス102及び複合機管理サービス104の機能を備えるMFP1600の機能ブロック図である。
音声入力部1601は、ユーザが発した音声を受けると、当該音声に関するデータ(以下、「音声データ」という。)を音質調整部1602へ送信する。音質調整部1602は、音質が調整された音声データを自然言語処理部1603及び声紋判定部1607へ送信する。自然言語処理部1603は、音質が調整された音声データをテキストデータに変換し、当該テキストデータを字句解析部1604へ送信する。字句解析部1604は、受信したテキストデータを字句に変換し、当該字句をコマンド解析部1605へ送信する。コマンド解析部1605は、受信した字句を解析して、ユーザが発した音声が示す指示を特定する。コマンド解析部1605は、特定した指示を示すコマンドデータをコマンドDB1606に格納すると共に、当該コマンドデータを制御部1311へ送信する。声紋判定部1607は、音質が調整された音声データから声紋を判定し、判定した結果から特定したユーザに関する情報(以下、「ユーザ情報」という。)を生成し、当該ユーザ情報をユーザ識別部1608へ送信する。ユーザ識別部1608は、声紋判定部1607から取得したユーザ情報とユーザDB1609に予め登録されたユーザ登録情報とに基づいてユーザ認証を行う。ユーザ識別部1608は、ユーザ情報及びユーザ認証の結果を示すユーザ識別情報を制御部1311へ送信する。機器状態管理部1610は、MFP1600の機器状態情報を制御部1311へ送信する。制御部1611は、音声出力部1612へ応答命令を送信し、設定部1613へ使用する設定値に関する設定コマンドを送信し、出力部1615へ利用する機能を示す機能コマンドを送信する。設定部1613は、プリセットに関する情報をプリセットDB1614と送受信し、例えば、音声入力部1601が受けた音声が示すプリセット名に対応付けられた機能設定情報を出力部1615へ送信する。出力部1615は、機能コマンドが示す機能により、設定部1613から取得した機能設定情報を用いてジョブを実行する。例えば、出力部1615は、機能コマンドが示すFAX部1616により、設定部1613から取得した機能設定情報を用いてFAXデータを外部装置へ送信する。
本発明は、上述の実施の形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101 MFP
201 CPU
408、412 音声メッセージ
201 CPU
408、412 音声メッセージ
Claims (8)
- 入力された自然言語のメッセージをジョブの実行に関する指示として受け付ける対話型装置であって、
入力された第1のメッセージが示す設定値に基づいて前記ジョブを実行するジョブ実行手段と、
前記ジョブの実行を完了した後、入力された第2のメッセージが示す識別情報と当該ジョブの実行に使用した設定値とを対応付けて登録する登録手段と、
前記ジョブの実行を完了した後、当該ジョブの実行に使用した設定値を登録することをユーザが選択した場合に、前記設定値を登録する際に使用する前記識別情報の候補名を出力する手段と、を備え、
前記ジョブ実行手段は、入力された第3のメッセージに前記識別情報が含まれている場合、前記識別情報に対応付けて登録された前記設定値に基づいて前記ジョブを実行することを特徴とする対話型装置。 - 前記設定値は、1または複数の種別の設定値であることを特徴とする請求項1に記載の対話型装置。
- 画像形成処理を行う画像形成装置であることを特徴とする請求項1又は2に記載の対話型装置。
- 前記設定値は、前記画像形成処理の実行に必要となる設定値であることを特徴とする請求項3に記載の対話型装置。
- 入力された第3のメッセージに前記識別情報が含まれている場合、前記ジョブを実行する前に、前記識別情報に対応付けて登録された前記設定値を出力することを特徴とする請求項1乃至4のいずれか1項に記載の対話型装置。
- メッセージを出力する出力手段を有し、
前記設定値の出力は、前記出力手段によるメッセージ出力であることを特徴とする請求項5に記載の対話型装置。 - 入力された自然言語のメッセージをジョブの実行に関する指示として受け付ける対話型装置の制御方法であって、
入力された第1のメッセージが示す設定値に基づいて前記ジョブを実行するジョブ実行ステップと、
前記ジョブの実行を完了した後、入力された第2のメッセージが示す識別情報と当該ジョブの実行に使用した設定値とを対応付けて登録する登録ステップと、
前記ジョブの実行を完了した後、当該ジョブの実行に使用した設定値を登録することをユーザが選択した場合に、前記設定値を登録する際に使用する前記識別情報の候補名を出力するステップと、を有し、
前記ジョブ実行ステップは、入力された第3のメッセージに前記識別情報が含まれている場合、前記識別情報に対応付けて登録された前記設定値に基づいて前記ジョブを実行することを特徴とする対話型装置の制御方法。 - 入力された自然言語のメッセージをジョブの実行に関する指示として受け付ける対話型装置の制御方法をコンピュータに実行させるプログラムであって、
前記対話型装置の制御方法は、
入力された第1のメッセージが示す設定値に基づいて前記ジョブを実行するジョブ実行ステップと、
前記ジョブの実行を完了した後、入力された第2のメッセージが示す識別情報と当該ジョブの実行に使用した設定値とを対応付けて登録する登録ステップと、
前記ジョブの実行を完了した後、当該ジョブの実行に使用した設定値を登録することをユーザが選択した場合に、前記設定値を登録する際に使用する前記識別情報の候補名を出力するステップと、を有し、
前記ジョブ実行ステップは、入力された第3のメッセージに前記識別情報が含まれている場合、前記識別情報に対応付けて登録された前記設定値に基づいて前記ジョブを実行することを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018165379 | 2018-09-04 | ||
JP2018165379 | 2018-09-04 | ||
JP2019121813A JP7458716B2 (ja) | 2018-09-04 | 2019-06-28 | 音声対話装置及びその制御方法、並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019121813A Division JP7458716B2 (ja) | 2018-09-04 | 2019-06-28 | 音声対話装置及びその制御方法、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024094317A true JP2024094317A (ja) | 2024-07-09 |
Family
ID=69737931
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019121813A Active JP7458716B2 (ja) | 2018-09-04 | 2019-06-28 | 音声対話装置及びその制御方法、並びにプログラム |
JP2024038772A Pending JP2024094317A (ja) | 2018-09-04 | 2024-03-13 | 対話型装置及びその制御方法、並びにプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019121813A Active JP7458716B2 (ja) | 2018-09-04 | 2019-06-28 | 音声対話装置及びその制御方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11647129B2 (ja) |
JP (2) | JP7458716B2 (ja) |
KR (1) | KR102537797B1 (ja) |
CN (1) | CN115811576A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023034013A (ja) * | 2021-08-30 | 2023-03-13 | キヤノン株式会社 | 情報処理装置およびその制御方法、情報処理システム、プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2365145A (en) * | 2000-07-26 | 2002-02-13 | Canon Kk | Voice control of a machine |
GB2365189A (en) * | 2000-07-26 | 2002-02-13 | Canon Kk | Voice-controlled machine |
JP2003076538A (ja) * | 2001-08-30 | 2003-03-14 | Canon Inc | 印刷システムおける印刷制御方法 |
JP4343626B2 (ja) | 2003-09-02 | 2009-10-14 | キヤノン株式会社 | 画像通信制御方法、画像通信制御プログラム、および画像通信装置 |
JP2007102012A (ja) | 2005-10-06 | 2007-04-19 | Canon Inc | 画像形成装置 |
JP2007114297A (ja) | 2005-10-18 | 2007-05-10 | Canon Inc | 音声認識手段を持つ画像形成装置 |
JP2007201686A (ja) | 2006-01-25 | 2007-08-09 | Murata Mach Ltd | 画像読取装置 |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
JP4818166B2 (ja) | 2007-03-09 | 2011-11-16 | 株式会社リコー | 画像形成装置、画像形成システム、画像形成方法および画像形成プログラム |
JP2008257383A (ja) | 2007-04-03 | 2008-10-23 | Seiko Epson Corp | 印刷装置、印刷方法、およびコンピュータプログラム |
JP2010097454A (ja) * | 2008-10-17 | 2010-04-30 | Seiko Epson Corp | プリンタドライバ |
JP2010136335A (ja) * | 2008-11-05 | 2010-06-17 | Ricoh Co Ltd | 画像形成装置、制御方法およびプログラム |
JP5146429B2 (ja) | 2009-09-18 | 2013-02-20 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、音声認識処理装置、音声認識処理装置の制御方法、およびコンピュータプログラム |
JP5586932B2 (ja) * | 2009-12-11 | 2014-09-10 | キヤノン株式会社 | データ処理装置、画像形成装置、データ処理装置の制御方法、画像形成装置の制御方法、及びプログラム |
CN202798910U (zh) * | 2012-09-20 | 2013-03-13 | 艾塔斯科技(镇江)有限公司 | 可语音控制的扫描仪 |
US20150254024A1 (en) | 2014-03-06 | 2015-09-10 | Xerox Corporation | Using preset combination of page exception print settings to establish exception pages within documents |
JP6327930B2 (ja) | 2014-05-02 | 2018-05-23 | キヤノン株式会社 | 画像形成装置、情報処理方法及びプログラム |
JP6623865B2 (ja) * | 2016-03-14 | 2019-12-25 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
JP7091821B2 (ja) * | 2018-05-14 | 2022-06-28 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
US11140284B2 (en) * | 2018-09-04 | 2021-10-05 | Canon Kabushiki Kaisha | Image forming system equipped with interactive agent function, method of controlling same, and storage medium |
-
2019
- 2019-06-28 JP JP2019121813A patent/JP7458716B2/ja active Active
- 2019-08-27 KR KR1020190104951A patent/KR102537797B1/ko active IP Right Grant
- 2019-08-30 CN CN202211498819.6A patent/CN115811576A/zh active Pending
-
2021
- 2021-09-10 US US17/471,296 patent/US11647129B2/en active Active
-
2024
- 2024-03-13 JP JP2024038772A patent/JP2024094317A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102537797B1 (ko) | 2023-05-31 |
CN115811576A (zh) | 2023-03-17 |
KR20200027423A (ko) | 2020-03-12 |
US11647129B2 (en) | 2023-05-09 |
JP2020038348A (ja) | 2020-03-12 |
JP7458716B2 (ja) | 2024-04-01 |
US20210409561A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6900694B2 (ja) | 情報処理システム、端末装置、情報処理方法およびプログラム | |
US11140284B2 (en) | Image forming system equipped with interactive agent function, method of controlling same, and storage medium | |
JP7071098B2 (ja) | 音声制御システム、制御方法およびプログラム | |
US9648180B2 (en) | Information processing system performing operation based on tag information, information processing device, portable terminal and non-transitory computer readable recording medium | |
JP6704881B2 (ja) | システム | |
US11475892B2 (en) | Speech control system, speech control method, image processing apparatus, speech control apparatus, and storage medium | |
JP2024094317A (ja) | 対話型装置及びその制御方法、並びにプログラム | |
US10664205B2 (en) | Image processing apparatus transmitting registration request including incapability information indicating that any setting is incapable of being designated | |
US11256968B2 (en) | System, method for controlling the same, and method for controlling server | |
US20150116764A1 (en) | Output system, output method, and output apparatus | |
JP2019095835A (ja) | 音声制御システム、制御方法及びプログラム | |
JP2019096295A (ja) | 音声制御システム、制御方法及びプログラム | |
JP2009194577A (ja) | 画像形成装置、音声案内方法及び音声案内プログラム | |
US12015746B2 (en) | Image processing system, setting control method, image processing apparatus, and storage medium | |
US11626111B2 (en) | Information processing system, information processing method, and information processing apparatus | |
US11438469B2 (en) | Wireless terminal, management server and intention interpretation server | |
US11036441B1 (en) | System and method for creation and invocation of predefined print settings via speech input | |
US11825042B2 (en) | Peripheral device management system, peripheral device management method, and printing apparatus control system | |
US10887303B2 (en) | Information processing system, server, and method for generating association information | |
EP3882770A1 (en) | Information processing system, service providing system, and user creation method | |
JP2024014484A (ja) | データ処理装置、画像形成装置及びその制御方法、並びにプログラム | |
JP2020107353A (ja) | 情報処理装置、音声制御デバイス、印刷装置およびプログラム | |
JP2020010116A (ja) | 画像形成装置、ジョブ実行システムおよびジョブ実行方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240313 |