JP2021081875A - 情報処理システム、情報処理方法、情報処理装置及び出力装置 - Google Patents

Abstract

【課題】簡略化した指示を与えるだけで所望の出力を得ることができるようにする。【解決手段】出力対象を出力装置に出力させるための音声情報を取得する音声情報取得手段と、前記音声情報から前記出力対象及び前記出力装置のうち少なくとも一方を特定した出力要求を生成する際に、前記音声情報に関連する情報を補完する補完手段と、前記音声情報を補完して生成した出力要求を前記特定した出力装置に送信する出力要求送信手段と、前記送信された出力要求に含まれる出力対象を出力する出力手段と、を備える。【選択図】図１

Description

本発明は、情報処理システム、情報処理方法、情報処理装置及び出力装置に関する。

今日において、音声により機器操作を行うＡＩ（ＡＩ：Artificial Intelligence）音声アシスタントが知られている。また、音声によって操作可能なスマート家電も知られており、音声入力操作の分野は今後も更なる成長が見込まれている。

例えば、音声入力操作の一例として、音声入力によってコンテンツを印刷出力するシステムが開示されている（特許文献１参照）。

しかしながら、特許文献１に開示された発明においては、ＵＩ装置が提供するコンテンツを機器が印刷出力することはできるが、簡略化した指示を与えるだけで所望する印刷対象を指定して印刷出力することはできないという問題があった。

本発明は、上述の課題に鑑みてなされたものであり、簡略化した指示を与えるだけで所望の出力を得ることができるようにすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、出力対象を出力装置に出力させるための音声情報を取得する音声情報取得手段と、前記音声情報から前記出力対象及び前記出力装置のうち少なくとも一方を特定した出力要求を生成する際に、前記音声情報に関連する情報を補完する補完手段と、前記音声情報を補完して生成した出力要求を特定した前記出力装置に送信する出力要求送信手段と、前記送信された出力要求に含まれる出力対象を出力する出力手段と、を備える。

本発明の実施の形態によれば、簡略化した指示を与えるだけで所望の出力を得ることが可能になる。

図１は、第１の実施の形態に係る入力操作システムの構成の一例を示す図である。 図２は、スマートスピーカのハードウェア構成の一例を示す図である。 図３は、情報認識サーバ装置のハードウェア構成の一例を示す図である。 図４は、ＡＩアシスタントサーバ装置のハードウェア構成の一例を示す図である。 図５は、各種テーブルデータの一例である。 図６は、クライアントＰＣのハードウェア構成の一例を示す図である。 図７は、ＭＦＰのハードウェア構成の一例を示す図である。 図８は、入力操作システムを構成する各装置の機能ブロックの一例を示す図である。 図９は、第１の実施の形態における処理の流れの一例を示すシーケンス図である。 図１０は、第１の実施の形態におけるクライアントＰＣの表示画面の一例を示す図である。 図１１は、第１の実施の形態における送信ファイルの特定処理の一例を示すフローチャートである。 図１２は、ファイル又はページを特定する一例を示す画面図である。 図１３は、第２の実施の形態に係る入力操作システムの構成の一例を示す図である。 図１４は、第２の実施の形態における処理の流れの一例を示すシーケンス図である。

以下、情報処理システム、情報処理方法、情報処理装置及び出力装置の適用例となる入力操作システムの説明をする。

〔システムの概略〕
図１は、第１の実施の形態に係る入力操作システムの構成の一例を示す図である。図１に示すように、第１の実施の形態の入力操作システム１は、スマートスピーカ２、情報認識サーバ装置３、ＡＩアシスタントサーバ装置４、クライアントＰＣ６及び１以上の複合機７（ＭＦＰ：Multifunction Peripheral。以下、単にＭＦＰ７とも呼ぶ）を、例えばＬＡＮ（Local Area Network）等のネットワーク８を介して相互に接続することで形成されている。

ここで、入力操作システム１は、情報処理システムの一例である。また、スマートスピーカ２は、音声入力によって、例えば、音楽や動画などの各種コンテンツ、天気、ニュース等を視聴することを可能にする人工知能を搭載した機器である。また、スマートスピーカ２は、照明や家電等の各種機器を遠隔操作する機能も備える。情報認識サーバ装置３は、スマートスピーカ２で得られた音声情報を受信し、テキストデータに変換する機能を備える。ＡＩアシスタントサーバ装置４は、情報認識サーバ装置３と連携してスマートスピーカ２から得られた音声情報を処理する機能を備える。クラウドサービス装置５は、情報認識サーバ装置３及びＡＩアシスタントサーバ装置４を一つに纏めてネットワーク８を介して相互に接続し、ＭＦＰ７に対する印刷実行命令等を生成して送信する。クライアントＰＣ６は、クラウドサービス装置５で生成された印刷実行命令等を受信し、ＭＦＰ７に対して所定の処理を実行する。

なお、スマートスピーカ２は情報入力装置の一例、クラウドサービス装置５を構成する情報認識サーバ装置３及びＡＩアシスタントサーバ装置４のうちの少なくとも一つ又はその両方は、サーバ装置の一例、クライアントＰＣ６は情報処理装置の一例、及びＭＦＰ７は出力装置の一例である。但し、上述したネットワーク８は有線ＬＡＮ、無線ＬＡＮのいずれで構成されてもよい。なお、スマートスピーカ２は、例えば、対話型の音声入力操作に対応したＡＩアシスタント機能を持つスピーカを指し、内蔵されているマイク等で音声等を認識し、情報の検索や連携家電の操作等を行う機器をいう。また、スマートスピーカ２は、入力操作システム１において１以上備えられていてもよい。

スマートスピーカ２は、例えば、ユーザ（使用者ともいう）の発話による音声入力操作を受け付ける。また、スマートスピーカ２は、音声入力操作によって得られる情報に基づいて、ＭＦＰ７に対する印刷処理や印刷実行命令等（以下、所定の処理ともいう）を実行する入力操作システム１における情報入力装置として機能する。さらに、スマートスピーカ２は、受け付けた音声入力操作に基づく音声データ（以下、音声情報ともいう）を含むデータ（以下、単に音声情報等ともいう）を、ネットワーク８を介して情報認識サーバ装置３（又はクラウドサービス装置５）に送信する。さらに、スマートスピーカ２は、受け付けた音声入力操作から得られる音声情報を補完するために、ユーザにフィードバックするためのマイク機能、カメラ機能等を有してもよい。本発明の実施の形態では、上述した音声情報からＭＦＰ７に対して印刷実行命令が送信される場合について説明する。

情報認識サーバ装置３は、スマートスピーカ２から送信された音声情報等をテキストデータに変換する。なお、情報認識サーバ装置３は、第１サーバ装置に相当する。

ＡＩアシスタントサーバ装置４は、ネットワーク８を介して情報認識サーバ装置３と相互に接続されることで、上述したクラウドサービス装置５を構成する。

但し、クラウドサービス装置５の機能の一部又は全部を、スマートスピーカ２又はクライアントＰＣ６が有していてもよい。クラウドサービス装置５の機能の全部をスマートスピーカ２又はクライアントＰＣ６が有している場合、入力操作システム１にクラウドサービス装置５は含まれていなくてもよい。このような場合、スマートスピーカ２はクラウドサービス装置５を介さずにクライアントＰＣ６と通信してもよく、入力操作システム１は、スマートスピーカ２、クライアントＰＣ６及びＭＦＰ７を纏めた入力応答システム９を構築してもよい。また、クライアントＰＣ６は、例えば１又は複数のサーバから構成される印刷管理サーバ等でもよい。

上述したように、クラウドサービス装置５は、情報認識サーバ装置３とＡＩアシスタントサーバ装置４を含む場合について説明したが、情報認識サーバ装置３の機能の一部又は全部をＡＩアシスタントサーバ装置４が有していてもよいし、ＡＩアシスタントサーバ装置４の機能の一部又は全部を情報認識サーバ装置３が有していてもよい。つまり、情報認識サーバ装置３とＡＩアシスタントサーバ装置４が互いの機能を補完し合う構成でもよい。また、クラウドサービス装置５は一つのサーバによって構成されていてもよいし、３以上のサーバによって構成されていてもよい。

また、ＡＩアシスタントサーバ装置４は、管理データベース４０１（以下、管理ＤＢ４０１という）及び紐づけ用データベース４０２（以下、紐づけ用ＤＢ４０２という）を備えている。管理ＤＢ４０１及び紐づけ用ＤＢ４０２は、例えば、クラウドサービス装置５がネットワーク８上に備えるＨＤＤ等の記憶部を用いることができる。このほか、管理ＤＢ４０１及び紐づけ用ＤＢ４０２のうち、一方又は両方を、ネットワーク８を介してクラウドサービス装置５でアクセス可能な別のサーバ装置に記憶してもよい。

管理ＤＢ４０１には、例えば、テキストデータ、画像データ及び音声データ等、ＡＩアシスタントサーバ装置４が提供するコンテンツ（データ）が記憶されている。

なお、管理ＤＢ４０１で管理される情報は、例えば、ネットワーク８を介して接続されるクライアントＰＣ又はクラウドサービス装置５によって新規追加又は変更することができる。図１では、管理ＤＢ４０１とクライアントＰＣ６は別体として図示しているが、同一のサーバとして構成してもよい。この場合、後述する管理プログラムは、管理ＤＢ４０１に対してクライアントＰＣ６又はＭＦＰ７等に対する印刷実行命令を送信することによって、管理ＤＢ４０１が管理する各種情報を取得してもよい。

一方、紐づけ用ＤＢ４０２には、例えば、各スマートスピーカ２を特定するための情報入力装置のデバイスＩＤと、各スマートスピーカ２に関連付けられたＭＦＰ７を含む出力装置（ＭＦＰ＿＃１、ＭＦＰ＿＃２、等）の機器ＩＤとが関連付けられて記憶されている。この紐づけ用ＤＢ４０２の詳細については、後述する。

ＡＩアシスタントサーバ装置４は、情報認識サーバ装置３によって変換されたユーザの意図に基づいてＭＦＰ７が解釈可能な命令（ＭＦＰ７に対する印刷実行命令等）に変換する。ＡＩアシスタントサーバ装置４は、変換した印刷実行命令等を、ネットワーク８を介してクライアントＰＣ６に送信する。ここで、印刷実行命令は、例えば、ユーザがスマートスピーカ２を介して音声入力操作により与えたＭＦＰ７に対する印刷指示に基づいて生成されるものである。なお、ＡＩアシスタントサーバ装置４は、第２サーバ装置に相当する。なお、印刷指示は、出力要求の一例である。

本実施の形態では、管理ＤＢ４０１及び紐づけ用ＤＢ４０２は、ＡＩアシスタントサーバ装置４に含まれることを例示しているが、それぞれＡＩアシスタントサーバ装置４と別に設けられてもよいし、いずれか一方がＡＩアシスタントサーバ装置４に含まれ、他方がＡＩアシスタントサーバ装置４と別に設けられてもよい。

クライアントＰＣ６は、例えば、ＡＩアシスタントサーバ装置４から送信されたＭＦＰ７に対する印刷実行命令、印刷実行命令等を対象のＭＦＰ７に対して送信する。なお、ＡＩアシスタントサーバ装置４（又はクラウドサービス装置５）とクライアントＰＣ６との通信は、上述したネットワーク８を介して接続される。

さらに、クライアントＰＣ６は、例えば、ＭＦＰ７における音声、画像（静止画像、動画像）を含むコンテンツの出力を管理する。したがって、クライアントＰＣ６は、ＭＦＰ７にどのようなユーザがどのような時間にファイルの印刷指示、コンテンツの出力指示等をしているかを示す管理情報を含む情報を記憶、管理する。なお、クライアントＰＣ６が記憶、管理する管理情報は、ネットワーク８を介して接続されるクライアントＰＣ等から閲覧できてもよい。さらに、管理情報は、クライアントＰＣ又はクラウドサービス装置５によって新規追加、変更等がされてもよい。本実施の形態では、出力装置として主にＭＦＰ７を例に説明する。

本実施の形態では、上述したように、情報認識サーバ装置３及びＡＩアシスタントサーバ装置４の二つのサーバ装置を一つに纏めたクラウドサービス装置５として説明する。但し、情報認識サーバ装置３、ＡＩアシスタントサーバ装置４のそれぞれは、さらに複数のサーバ装置に分けて実現されてもよい。

〔ハードウェア構成〕
＜スマートスピーカのハードウェア構成＞
図２は、スマートスピーカのハードウェア構成の一例を示す図である。情報入力装置の一例であるスマートスピーカ２は、図２に示すようにＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、インターフェイス部（Ｉ／Ｆ部）２４及び通信部２５を含むハードウェア資源を、内部バス２６を介して相互に接続される。

ＣＰＵ２１は、スマートスピーカ２全体を統括制御する制御デバイスである。

ＲＡＭ２２は、例えば、ＲＯＭ２３等に記憶された各種プログラムがダウンロードされ、ＣＰＵ２１によって各種処理が実行されるワークエリアとしての機能を有する。

ＲＯＭ２３には、操作音声処理プログラム等を含む操作指示処理プログラム、及びその他の各種プログラムを構成するデータが記憶されている。ＣＰＵ２１は、これらの処理プログラムを実行することで、ＭＦＰ７に対する音声入力操作による処理を可能とする。また、ＣＰＵ２１は、クラウドサービス装置５から取得したデータのタッチパネル２７への表示制御、スピーカ部２８を介したフィードバックのための音声出力制御、画像出力制御等を実行する。

Ｉ／Ｆ部２４には、タッチパネル２７、スピーカ部２８、マイクロホン部２９及び撮像部（カメラ部）３０が接続される。

通信部２５は、ユーザによる音声入力操作によって得られた情報を、ネットワーク８を介して情報認識サーバ装置３に送信する。また、通信部２５は、ネットワーク８を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。

内部バス２６は、ＣＰＵ２１、ＲＡＭ２２、ＲＯＭ２３、Ｉ／Ｆ部２４及び通信部２５を接続する汎用バスである。この内部バス２６は、スマートスピーカ等の汎用機器で一般的に用いられるバスであればその種類は問わない。

タッチパネル２７は、例えば、液晶表示部（ＬＣＤ：Liquid Crystal Display）とタッチセンサとが一体的に形成されたものである。タッチパネル２７は、液晶表示部上に配置されたタッチキー等に対してユーザがタッチ動作等を行うことによって、所望の動作が指定される。

スピーカ部２８は、ユーザに対して、不足する情報の入力等を促すための音声による音声フィードバックを行う。

マイクロホン部２９は、例えば、ＭＦＰ７に対して音声入力操作によって印刷操作するために、ユーザによって与えられた音声情報等を取得する。取得された音声情報等は、通信部２５を介して情報認識サーバ装置３に送信され、情報認識サーバ装置３でテキストデータに変換される。

撮像部（カメラ部）３０は、スマートスピーカ２を使用するユーザ及びその他の画像等を撮影する。撮影された画像等は、動画像データ若しくは静止画像データ（以下、単に画像データと呼ぶ）として通信部２５を介して情報認識サーバ装置３に送信される。

＜情報認識サーバ装置のハードウェア構成＞
図３は、情報認識サーバ装置のハードウェア構成の一例を示す図である。
情報認識サーバ装置３は、図３に示すように、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、ＨＤＤ（Hard Disk Drive）３４、インターフェイス部（Ｉ／Ｆ部）３５及び通信部３６を含むハードウェア資源を、内部バス３７を介して相互に接続される。また、Ｉ／Ｆ部３５には、表示部３８及び操作部３９が接続される。

ＨＤＤ３４には、以下の操作音声変換プログラムを構成するデータが記憶されている。なお、操作音声変換プログラムは、例えば、スマートスピーカ２から受信した音声情報等をテキストデータに変換する。続いて、変換したテキストデータを予め定義された辞書情報と一致するか否かを判断する。辞書情報と一致するか否かの判断において、各プログラムは、辞書情報と一致した場合にはテキストデータをユーザの意図を示すインテント（Ｉｎｔｅｎｔ）及び所定の処理の実行条件などの変数を示すパラメータに変換する。その後、操作音声変換プログラムは、ユーザの意図を示すインテント及び所定の処理の実行条件などの変数を示すパラメータを、ＡＩアシスタントサーバ装置４に送信する。

ＣＰＵ３１は、操作音声変換プログラム等を含む各種プログラムを実行する。つまり、情報認識サーバ装置３は、音声データを受信して、音声を解析する装置として機能する。なお、操作音声変換プログラムは、一つのサーバ装置で実行されてもよいし、それぞれ異なるサーバ装置で実行されてもよい。さらに、複数のサーバ装置の連携によって、これらのプログラムが実行されてもよい。

ＲＡＭ３２は、例えば、ＲＯＭ３３等の記憶部に記憶された各種プログラムがダウンロードされ、ＣＰＵ３１によって各種処理が実行されるワークエリアとしての機能を有する。

ＲＯＭ３３には、ＨＤＤ３４に記憶された各種プログラム以外のその他のプログラムを構成するデータが記憶されている。ＣＰＵ３１は、ＲＯＭ３３に記憶された各種プログラムを実行することで、スマートスピーカ２及びＡＩアシスタントサーバ装置４との間の制御を行ってもよい。

Ｉ／Ｆ部３５には、表示部３８及び操作部３９が接続される。

通信部３６は、ユーザからの音声入力操作によって得られた音声情報をスマートスピーカ２から受信する。また、通信部３６は、ネットワーク８を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。

内部バス３７は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、ＨＤＤ３４、Ｉ／Ｆ部３５及び通信部３６を接続する汎用バスである。この内部バス３７は、情報認識サーバ装置３がサーバ装置としての機能が実現できるものであれば、その種類は問わない。

表示部３８は、例えば、液晶表示部（ＬＣＤ：Liquid Crystal Display）で構成され、例えば、情報認識サーバ装置３の各種状態を表示する。

操作部３９は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者（ユーザ）は、操作部３９を用いて所望の動作の実行命令を行う場合、操作部３９に表示された操作ボタン（ソフトウェアキー）等を接触操作することで、所望の動作を指定する。

また、操作音声処理プログラム等を含む操作指示処理プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、情報認識サーバ装置３のＲＯＭ等の記憶部に予め組み込んで提供してもよい。

＜ＡＩアシスタントサーバ装置のハードウェア構成＞
図４は、ＡＩアシスタントサーバ装置のハードウェア構成の一例を示す図である。ＡＩアシスタントサーバ装置４は、図４に示すように、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、ＨＤＤ４４、インターフェイス部（Ｉ／Ｆ部）４５及び通信部４６を含むハードウェア資源を、内部バス４７を介して相互に接続している。Ｉ／Ｆ部４５には、表示部４８及び操作部４９が接続されている。

ＨＤＤ４４のＡＩ記憶部４０には、ユーザが音声入力により指示する印刷実行命令を解釈するための辞書情報が記憶されている。この辞書情報には、後述するエンティティ（Ｅｎｔｉｔｙ）情報、アクション（Ａｃｔｉｏｎ）情報及びインテント情報が含まれる。また、ＨＤＤ４４には、以下に示すユーザ管理テーブル４０２ａ及び装置管理テーブル４０２ｂがそれぞれ記憶されている。これらのテーブルは、予め所定の設定値が与えられているが、適宜追加や変更等が行われてもよい。以下に、ユーザ管理テーブル４０２ａ及び装置管理テーブル４０２ｂの概要を説明する。

（各種テーブルデータ）
図５は、各種テーブルデータの一例である。ＡＩアシスタントサーバ装置４のＨＤＤ４４等の記憶部には、図５に示すユーザ管理テーブル４０２ａ及び装置管理テーブル４０２ｂによって構成された紐づけ用ＤＢ４０２が構築されている。これらのテーブルデータのうち、ユーザ管理テーブル４０２ａでは、情報入力装置のデバイスＩＤ毎に、ユーザ名及びユーザＩＤが関連付けられて管理される。また、装置管理テーブル４０２ｂでは、情報入力装置名毎に、情報入力装置のデバイスＩＤ、情報処理装置名、情報処理装置の装置ＩＤ、情報処理装置の接続情報、出力装置名、出力装置の装置ＩＤ及び出力装置の接続情報がそれぞれ関連付けられて管理される。

これらのうち、情報入力装置のデバイスＩＤは、情報入力装置の一例であるスマートスピーカ２を識別するためのデバイス識別情報の一例である。つまり、デバイスＩＤは、情報入力装置を識別する装置識別情報の一例である。また、情報入力装置のデバイスＩＤに代えて又は加えて、情報入力装置の装置名を示す情報入力装置名を管理してもよい。

出力装置名は、ユーザが使用するスマートスピーカ２によって印刷や印刷実行命令が実行される出力装置の装置名である。この出力装置名には、上述したＭＦＰ７の他に、後述するプロジェクタ、電子黒板、テレビ会議・Ｗｅｂ会議システム及びデジタルサイネージ等が与えられる。情報処理装置名は、ユーザが使用するクライアントＰＣの装置名である。

出力装置の装置ＩＤは、上述した出力装置を識別するための装置識別情報の一例である。また、情報処理装置の装置ＩＤは、クライアントＰＣを識別するための情報である。また、ＨＤＤ４４等の記憶部には、クライアントＰＣ６毎に上述した情報処理装置の接続情報が記憶され、ＭＦＰ７毎に出力装置の接続情報が割り振られている。ここで、それぞれの接続情報は該装置と通信接続するために必要な情報であり、例えばアドレス情報である。

なお、装置管理テーブル４０２ｂは、未登録の新たな使用者のユーザＩＤ及びその使用者が使用する情報入力装置のデバイスＩＤ並びにその使用者が指定した出力装置の装置ＩＤをそれぞれ関連付けて、新たに追加登録されるようにしてもよい。

ＣＰＵ４１は、情報認識サーバ装置３で生成（変換）された解釈結果をＭＦＰ７に対する印刷実行命令等のデータに変換してネットワーク８を介してクライアントＰＣ６に送信する。なお、ユーザから指示された意図は、例えば、ＭＦＰ７への印刷指示及び各種命令の指示、プロジェクタの起動、電子黒板の起動、テレビ会議・Ｗｅｂ会議システム及びデジタルサイネージ等の起動及び等を含む。このようにして、スマートスピーカ２を介して入力された音声情報等により、クライアントＰＣ６を操作することができる。

ＲＡＭ４２は、例えば、ＨＤＤ４４等の記憶部に記憶された各種プログラムがダウンロードされ、ＣＰＵ４１によって各種処理が実行されるワークエリアとしての機能を有する。

ＲＯＭ４３には、例えば、ＨＤＤ４４に記憶されたプログラム以外の各種プログラムを構成するデータが記憶されている。

またＡＩアシスタントサーバ装置４は、ＨＤＤ４４に管理ＤＢ４０１及び紐づけ用ＤＢ４０２を備えている。管理ＤＢ４０１には、例えば、ＡＩアシスタントサーバ装置４がクラウドサービス装置５として提供するコンテンツを示すテキストデータ、画像データ及び音声データ等が記憶されている。また、紐づけ用ＤＢ４０２には、例えば、スマートスピーカ２が複数用いられることを想定して、以下の情報が記憶されている。その情報とは、例えば、各スマートスピーカ２を特定する各デバイスＩＤと、各スマートスピーカ２への音声入力操作によって印刷処理等が実行されるＭＦＰ７の装置ＩＤとが関連付けられた情報である。すなわち、紐づけ用ＤＢ４０２には、各スマートスピーカ２に対する音声入力操作により使用可能なＭＦＰ７を特定できるように、各スマートスピーカ２のデバイスＩＤとクライアントＰＣ６の機器ＩＤとが関連付けられて記憶されている。

なお、管理ＤＢ４０１及び紐づけ用ＤＢ４０２としては、クラウドサービス装置５がネットワーク８上に有するＨＤＤ等の記憶部を用いることができる。この他、管理ＤＢ４０１及び紐づけ用ＤＢ４０２のうち、一方又は両方を、ネットワーク８を介してクラウドサービス装置５でアクセス可能な別のサーバ装置に記憶してもよい。

Ｉ／Ｆ部４５には、表示部４８及び操作部４９が接続される。

通信部４６は、情報認識サーバ装置３及びクライアントＰＣ６に対するデータの送受信を、ネットワーク８を介して行う。また、通信部４６は、ネットワーク８を介して他の装置と通信を行う際、有線、無線いずれの通信形態でも通信を行うことが可能である。

内部バス４７は、ＣＰＵ４１、ＲＡＭ４２、ＲＯＭ４３、ＨＤＤ４４、Ｉ／Ｆ部４５及び通信部４６を接続する汎用バスである。この内部バス４７は、ＡＩアシスタントサーバ装置４がサーバ装置の機能が実現できるものであれば、その種類は問わない。

表示部４８は、例えば、液晶表示部（ＬＣＤ：Liquid Crystal Display）で構成され、例えば、ＡＩアシスタントサーバ装置４の各種状態を表示する。

操作部４９は、例えば、液晶表示部とタッチセンサとが一体的に形成された、いわゆるタッチパネルである。操作者（ユーザ）は、操作部３９を用いて所望の動作の実行命令を行う場合、操作部４９に表示された操作ボタン（ソフトウェアキー）等を接触操作することで、所望の動作を指定する。

＜クラウドサービス装置のハードウェア構成＞
クラウドサービス装置５は、上述したように、例えば、情報認識サーバ装置３及びＡＩアシスタントサーバ装置４を纏めたもので、スマートスピーカ２及びクライアントＰＣ６とそれぞれネットワーク８を介して接続される。クラウドサービス装置５を構成するハードウェア構成は、情報認識サーバ装置３及びＡＩアシスタントサーバ装置４で説明したとおりである。

＜クライアントＰＣのハードウェア構成＞
図６は、クライアントＰＣのハードウェア構成の一例を示す図である。クライアントＰＣ６は、図６に示すように、ＣＰＵ６１、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、インターフェイス部（Ｉ／Ｆ部）６５及び通信部６６を含むハードウェア資源を、内部バス６７を介して相互に接続している。また、Ｉ／Ｆ部６５には、表示部６８及び操作部６９が接続されている。

ＣＰＵ６１は、クライアントＰＣ６全体を統括制御する制御デバイスである。

ＲＡＭ６２は、例えば、ＲＯＭ２３等に記憶された各種プログラムがダウンロードされ、ＣＰＵ６１によって各種処理が実行されるワークエリアとしての機能を有する。

ＲＯＭ６３には、例えば、クライアントＰＣ６自身を制御するプログラムを構成するデータが記憶されている。ＣＰＵ２１は、このクライアントＰＣ６自信を制御するプログラムを実行することで、例えば、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）との通信制御等を実行する。

ＨＤＤ６４は、命令実行プログラムを構成するデータが記憶されている。ＣＰＵ６１は、この命令実行プログラムをＲＡＭ６２に展開して実行することで、例えば、出力装置の一例であるＭＦＰ７の印刷処理等を行う。なお、命令実行プログラムは、本実施の形態では、第１のプログラムに相当する。

Ｉ／Ｆ部６５には、表示部６８及び操作部６９が接続される。

通信部６６は、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）からの印刷実行命令等を受信する。また、印刷実行命令等を、ＭＦＰ７に対してネットワーク８を介して送信する。

内部バス６７は、ＣＰＵ６１、ＲＡＭ６２、ＲＯＭ６３、ＨＤＤ６４、Ｉ／Ｆ部６５及び通信部６６を接続する汎用バスである。この内部バス６７は、クライアントＰＣ６が命令実行プログラム等を実行することができるものであれば、その種類は問わない。

＜ＭＦＰのハードウェア構成＞
図７は、ＭＦＰのハードウェア構成の一例を示す図である。ＭＦＰ７は、コントローラ７００、近距離無線通信回路７２０、エンジン制御部７３０、操作パネル７４０、ネットワークＩ／Ｆ７５０を備えている。

これらのうち、コントローラ７００は、例えば、操作パネル７４０からの入力等を制御する。また、コントローラ７００は、ＭＦＰ７の全体制御を行う制御部であるＣＰＵ７０１、システムメモリ（ＭＥＭ−Ｐ）７０２、ノースブリッジ（ＮＢ）７０３、サウスブリッジ（ＳＢ）７０４、ＡＳＩＣ（Application Specific Integrated Circuit）７０６、記憶部であるローカルメモリ（ＭＥＭ−Ｃ）７０７、ＨＤＤコントローラ７０８及び記憶部であるＨＤＤ７０９を有する。さらに、ＮＢ７０３とＡＳＩＣ７０６との間は、ＡＧＰ（Accelerated Graphics Port）バス７２１で接続される。

ＮＢ７０３は、ＣＰＵ７０１と、ＭＥＭ−Ｐ７０２、ＳＢ７０４及びＡＳＩＣ７０６とを接続するためのブリッジ回路である。ＮＢ７０３は、ＭＥＭ−Ｐ７０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ（Peripheral Component Interconnect）マスタ及びＡＧＰターゲットとを有する。

ＭＥＭ−Ｐ７０２は、コントローラ７００の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ７０２ａ、プログラムやデータの展開及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ７０２ｂを備える。なお、ＲＡＭ７０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルで、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

ＳＢ７０４は、ＮＢ７０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジ回路である。

ＡＳＩＣ７０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ（Integrated Circuit）である。その役割は、ＡＧＰバス７２１、ＰＣＩバス７２２、ＨＤＤコントローラ７０８及びＭＥＭ−Ｃ７０７をそれぞれ接続するブリッジ回路である。また、ＡＳＩＣ７０６は、ＰＣＩターゲット及びＡＧＰマスタ、ＡＳＩＣ７０６に接続される他のデバイスの動作やタイミングを調停するアービタ（ＡＲＢ）、ＭＥＭ−Ｃ７０７を制御するメモリコントローラ、ＤＭＡ制御を司るＤＭＡＣ（Direct Memory Access Controller）、スキャナ部７３１及びプリンタ部７３２との間でＰＣＩバス７２２を介したデータ転送を行うＰＣＩユニットを有する。

なお、ＡＳＩＣ７０６には、ＵＳＢ（Universal Serial Bus）のインターフェイスや、ＩＥＥＥ１３９４（Institute of Electrical and Electronics Engineers 1394）のインターフェイスを接続するようにしてもよい。

ＭＥＭ−Ｃ７０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。

ＨＤＤ７０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤＤコントローラ７０８は、ＣＰＵ７０１の制御にしたがってＨＤＤ７０９に対するデータの読出し又は書込みを制御する。

ＡＧＰバス７２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインターフェイスである。ＡＧＰバス７２１は、ＭＥＭ−Ｐ７０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

近距離無線通信回路７２０は、近距離無線通信を行うための回路であり、近距離無線通信回路用アンテナ７２０ａを備える。近距離無線通信回路７２０は、例えば、ＮＦＣ（Near Field Communication）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信回路である。

エンジン制御部７３０は、スキャナ部７３１及びプリンタ部７３２によって構成される。スキャナ部７３１及びプリンタ部７３２には、誤差拡散やガンマ変換などの画像処理部分が含まれる。

操作部１１の一部である操作パネル７４０は、ＭＦＰ７に搭載又は接続可能であり、パネル表示部７４０ａ及びパネル操作部７４０ｂを含む。本実施形態では、一例としてＭＦＰ７に接続可能な状態を示している。パネル表示部７４０ａは、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等を備える。また、パネル操作部７４０ｂは、濃度の設定条件などの画像形成に関する各種条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等を備える。

ネットワークＩ／Ｆ７５０は、通信ネットワークを利用してデータ通信をするためのインターフェイスである。近距離無線通信回路７２０及びネットワークＩ／Ｆ７５０は、ＰＣＩバス７２２を介して、ＡＳＩＣ７０６に電気的に接続される。

なお、ＭＦＰ７は、パネル表示部７４０ａに表示される又はパネル操作部７４０ｂが備えるアプリケーション切替キーにより、ドキュメントボックス機能、コピー機能、プリンタ機能及びファクシミリ機能を切り替えて選択することが可能となる。つまり、ＭＦＰ７は、ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリ機能の選択時にはファクシミリモードとなる。

〔機能構成〕
＜入力操作システムの機能構成＞
図８は、入力操作システムを構成する各装置の機能ブロックの一例を示す図である。入力操作システム１は、図１に示したように、スマートスピーカ２、情報認識サーバ装置３、ＡＩアシスタントサーバ装置４、クラウドサービス装置５（情報認識サーバ装置３及びＡＩアシスタントサーバ装置４を纏めたもの）、クライアントＰＣ６及びＭＦＰ７がそれぞれネットワーク８を介して接続されている。

＜スマートスピーカの機能構成＞
スマートスピーカ２は、クラウドサービス装置５を構成する情報認識サーバ装置３及びＡＩアシスタントサーバ装置４との間で、例えば音声データ、画像データ及びテキストデータ等のデータ通信を行う。

図２に示したスマートスピーカ２のＣＰＵ２１は、ＲＯＭ２３等の記憶部に記憶された操作指示処理プログラムとしての操作音声処理プログラム等をＲＡＭ２２に展開して実行することで、例えば、通信制御部２５１、取得部２５２、フィードバック部２５３、記憶・読出処理部２５４（以下、通信制御部２５１〜記憶・読出処理部２５４とも記載する）として機能又は機能する手段を構成する。

次に、スマートスピーカ２の各機能構成について説明する。通信制御部２５１は、ネットワーク８を介してスマートスピーカ２と情報認識サーバ装置３又はクラウドサービス装置５との間の通信を制御し、各種データ又は情報の送受信を行う。その際、通信制御部２５１は、スマートスピーカ２の通信部２５を制御して各種データ又は情報の送受信を行う。通信制御部２５１は、次に説明する取得部２５２が取得した当該スマートスピーカ２に対してユーザが行った所定の操作及び指示等に基づく情報を情報認識サーバ装置３（又はクラウドサービス装置５）に送信する。また、通信制御部２５１は、フィードバックのために、クラウドサービス装置５からテキストデータ、画像データ、音声データ等を取得する。さらに、通信制御部２５１は、ユーザが行った所定の操作及び指示等に係る情報を情報認識サーバ装置３（又はクラウドサービス装置５）に送信する際に、スマートスピーカ２を特定するデバイスＩＤもあわせて送信する。

上述したように、通信制御部２５１は、スマートスピーカ２がＬＡＮ等のネットワーク８を介して接続される他の装置との通信を制御する。この通信を行う際の通信方式は、例えば、一般的にＬＡＮで使用されるＥｔｈｅｒｎｅｔ（登録商標）等の通信プロトコルが用いられる。この通信制御部については、後述する情報認識サーバ装置３、ＡＩアシスタントサーバ装置４、クラウドサービス装置５、クライアントＰＣ６及びＭＦＰ７が有する各通信制御部についても同様の機能を有する。

取得部２５２は、音声情報取得手段の一例である。取得部２５２は、マイクロホン部２９を介して集音されたユーザの音声入力操作に伴う指示音声を取得する。また、取得部２５２は、ユーザによるタップ操作又は物理スイッチの押下などの機械操作を含む指示操作を取得してもよい。つまり、取得部２５２は、指示音声及び指示操作を含む指示を表す情報のうち少なくとも一つを取得する。ここで、上述した指示を表す情報は、指示情報に相当する。なお、ユーザの指示音声には、例えば、出力装置の一例であるＭＦＰ７等に印刷を実行させるための印刷実行命令や各種処理を実行させるための処理実行命令を生成するための情報が含まれる。

取得部２５２は、上述した操作指示処理プログラムを実行することで、ユーザによって与えられた音声情報等を取得して情報認識サーバ装置３（又はクラウドサービス装置５）に送信する。さらに取得部２５２は、フィードバック部２５３と協働して、クラウドサービス装置５から取得したデータ（音声データ、画像データ及びテキストデータ等）を、タッチパネル２７に表示するか、又はスピーカ部２８を介して音声出力してユーザに通知する。なお、タッチパネル２７は、スマートスピーカ２と一体で構成されていてもよいし、別々に構成されていてもよい。スマートスピーカ２と別々に構成される場合、タッチパネル２７は、スマートスピーカ２と行う無線通信等に必要な無線通信インターフェイスを備えておけばよい。

フィードバック部２５３は、ユーザによって与えられた音声情報等に基づいてＭＦＰ７での印刷や所定の処理を行う場合、必要に応じてスマートスピーカ２がユーザに対して応答するように機能する。このフィードバック部２５３によって、本実施の形態は対話型システムを実現している。また、この対話型システムにおける音声入力操作を実現するため、フィードバック部２５３は、例えば、ユーザの指示音声や指示画像に対して不足するデータを補うために音声のフィードバックを行う。さらに、フィードバック部２５３は、タッチパネル２７の画面への表示により、フィードバック対象のテキスト、音声又は画像をユーザに提供してもよい。なお、フィードバック部２５３による対話型動作及びフィードバックの詳細については、後述する。

記憶・読出処理部２５４は、例えば、ＲＯＭ２３に各種データを記憶したり、ＲＯＭ２３に記憶された操作指示処理プログラム等の各種データを読み出したりする処理を行う。

なお、本実施の形態では、通信制御部２５１〜記憶・読出処理部２５４は、ソフトウェアで実現されてもよい。また、通信制御部２５１〜記憶・読出処理部２５４は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。さらに、通信制御部２５１〜記憶・読出処理部２５４は、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現されてもよい。

＜情報認識サーバ装置の機能構成＞
情報認識サーバ装置３は、スマートスピーカ２から受信した音声情報等を解析し、テキストデータへ変換する。また、テキストデータと事前登録されている辞書情報とに基づいてユーザの意図を解釈し、解釈結果をＡＩアシスタントサーバ装置４に送信する。

情報認識サーバ装置３のＣＰＵ３１は、スマートスピーカ２を介してユーザによって与えられた音声情報等に応じて、ＨＤＤ３４等の記憶部に記憶された操作音声変換プログラム等をＲＡＭ３２に展開して実行する。これらのプログラムのうちのいずれかが実行されることにより、ＣＰＵ３１は、例えば、通信制御部３５１、取得部３５２、テキスト変換部３５３、解釈部３５４、出力部３５５、提供部３５６及び記憶・読出処理部３５７（以下、通信制御部３５１〜記憶・読出処理部３５７とも記載する）として機能又は機能する手段を構成する。

次に、情報認識サーバ装置３の各機能構成について説明する。通信制御部３５１は、ネットワーク８を介してスマートスピーカ２又はＡＩアシスタントサーバ装置４との間の通信を制御し、各種データ又は情報の送受信を行う。具体的には、通信制御部３５１は、ユーザによって与えられた音声データの受信及び情報入力装置２に対するテキストデータの送信等を行うように、情報認識サーバ装置３の通信部３６を制御する。

取得部３５２は、情報入力装置２から送信される所定の操作及び指示等に基づく情報を取得する。また、取得部３５２は、スマートスピーカ２のタッチパネル、ボタン又はスイッチ等のユーザ操作に基づく情報を取得してもよい。

テキスト変換部３５３は、音声認識手段及び画像認識手段の一例であり、ユーザによって与えられた音声データをテキストデータに変換する。

解釈部３５４は、テキストデータに基づいて、ユーザからの指示を解釈する。具体的には、解釈部３５４は、音声アシスタントプログラムから提供された辞書情報に基づいて、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断する。そして、辞書情報と一致している場合には、解釈部３５４は、ユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータに変換する。解釈部３５４は、インテント及びパラメータを管理プログラムに対して送信する。このとき、解釈部３５４は、音声データを取得したデバイスを特定するためのスマートスピーカ２のデバイスＩＤも共に、ＡＩアシスタントサーバ装置４に送信する。

出力部３５５は、スマートスピーカ２に対するテキストデータ、音声データ、画像データなどのデータの送信等を行うように、通信部３６を制御する。

さらに、ＣＰＵ３１は、ＨＤＤ３４等の記憶部に記憶された音声アシスタントプログラムを実行することで、提供部３５６として機能する。

提供部３５６は、テキストデータに基づいて、ユーザからの操作指示を解釈してもよい。具体的には、提供部３５６は、操作音声変換プログラムからテキストデータを取得し、テキストデータに含まれる単語などが辞書情報と一致しているか否かを判断して、辞書情報と一致している場合にはテキストデータをインテントとパラメータに変換する。その後、提供部３５６は、インテント及びパラメータを操作音声変換プログラムに対して提供する。

記憶・読出処理部３５７は、例えば、ＲＯＭ３３に記憶された操作音声変換プログラム等の各種プログラムを構成するデータの読出し処理を行う。

なお、本実施の形態では、通信制御部３５１〜記憶・読出処理部３５７は、ソフトウェアで実現されてもよい。また、通信制御部３５１〜記憶・読出処理部３５７は、他のプログラムに処理の一部を実行させ、又は他のプログラムを用いて間接的に処理を実行させてもよい。例えば、操作音声変換プログラムの解釈部３５４の機能の一部又は全てを音声アシスタントプログラムに実行させてもよい。さらに、操作画像変換プログラムの解釈部３５４の機能の一部又は全てを画像アシスタントプログラムに実行させてもよい。これらの場合、例えば、テキストデータに含まれる単語などが辞書情報と一致しているか否かの判断、及び辞書情報と一致している場合にユーザの意図を示すインテントと所定の処理の実行条件などの変数を示すパラメータへの変換は、音声アシスタントアプリ、画像アシスタントアプリ等に実行させてもよい。さらに、解釈部３５４は、インテント及びパラメータを音声アシスタントプログラム等から取得するものとしてもよい。さらに、通信制御部３５１〜記憶・読出処理部３５７のうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

また、上述した例では、提供部３５６をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよいこと等は、上述の他のプログラムと同様である。

＜ＡＩアシスタントサーバ装置の機能構成＞
ＡＩアシスタントサーバ装置４は、例えば、情報認識サーバ装置３で実行された操作音声変換プログラムによって得られたインテント、パラメータ及びスマートスピーカ２のデバイスＩＤ等を取得して、後述する各機能の処理を行う。

また、ＡＩアシスタントサーバ装置４は、情報認識サーバ装置３から受信した解釈結果を、クライアントＰＣ６で解釈可能な形式であるＭＦＰ７に対する印刷実行命令等のデータに変換する。その後、ＡＩアシスタントサーバ装置４は、変換した印刷実行命令等のデータをクライアントＰＣ６又はＭＦＰ７に送信する。ＭＦＰ７では、クライアントＰＣ６から送信される印刷実行命令等にしたがって所定の処理が実行される。なお、ＡＩアシスタントサーバ装置４は、クライアントＰＣ６に印刷実行命令を送信する以外に、例えば、ＭＦＰ７を管理する他のサーバ装置が存在すれば、ＭＦＰ７で実行される処理の実行命令等を他のサーバ装置に送信してもよい。

ＡＩアシスタントサーバ装置４のＣＰＵ４１は、ネットワーク８を介して情報認識サーバ装置３のＨＤＤ３４等の記憶部に記憶された管理プログラムを取得し、ＲＡＭ４２に展開して実行する。ＣＰＵ４１は、この管理プログラムを実行することで、例えば、通信制御部４５１、取得部４５２、解釈結果変換部４５３、補完部４５４、実行指示部４５５、実行判定部４５６、機器情報取得部４５７、通知部４５８、管理部４５９、検索部４６０及び記憶・読出処理部４６１（以下、通信制御部４５１〜記憶・読出処理部４６１とも記載する）として機能又は機能する手段を構成する。

次に、ＡＩアシスタントサーバ装置４の各機能構成について説明する。通信制御部４５１は、ユーザの情報入力装置２に対する解釈結果の送信、及びユーザによって与えられた音声データ等に係るテキストデータの受信等を行うように通信部４６を制御する。

取得部４５２は、は、情報認識サーバ装置３から送信されるインテント、パラメータ及びスマートスピーカ２（情報入力装置）のデバイスＩＤ等を取得する。

解釈結果変換部４５３は、操作音声変換プログラム等で変換されたインテント及びパラメータなどの解釈結果を、クライアントＰＣ６又はＭＦＰ７が解釈可能な印刷実行命令令等に変換する。この解釈結果変換部４５３は、ＡＩアシスタントサーバ装置４（又はクラウドサービス装置５）で実行される管理プログラムの機能の一つである。また、クライアントＰＣ６又はＭＦＰ７が解釈可能な印刷実行命令は、ＭＦＰ７に対する処理を実行するための情報（処理情報）の一例である。

補完部４５４は、解釈結果変換部４５３によって変換される実行命令等に対して、ユーザ管理テーブル４０２ａ及び装置管理テーブル４０２ｂを参照して、出力装置の一例であるＭＦＰ７における処理に必要な情報を補完する機能を有する。この処理に必要な情報とは、例えば、ＭＦＰ７に対する印刷実行命令等への変換に必要な情報である。

実行指示部４５５は、解釈結果変換部４５３で変換された印刷実行命令等を、ＭＦＰ７を管理するクライアントＰＣ６に送信して、命令の実行を指示する。つまり、実行指示部４５５は、ユーザが使用したスマートスピーカ２を特定するデバイスＩＤに関連付けられているＭＦＰ７を紐づけ用ＤＢ４０２から検索し、ＭＦＰ７を管理するクライアントＰＣ６に対して、インテント及びパラメータと共に印刷実行命令等を送信する。つまり、実行指示部４５５は、デバイスＩＤと関連付けられたクライアントＰＣ６を紐づけ用ＤＢ４０２から特定することができる。

機器情報取得部４５７は、例えば、クライアントＰＣ６とＭＦＰ７との通信接続が確立されているか否かを示す接続状態、ＭＦＰ７の電源のオン／オフ等に係る電力使用状態、ＭＦＰ７への電力供給状態（通常モード、省エネモード等）の機器情報を取得する。なお、機器情報取得部４５５は、ＭＦＰ７から取得した機器情報を、ＭＦＰ７を特定する装置ＩＤ等と関連付けてＨＤＤ４４等の記憶部に記憶して管理する。この機器情報の記憶先は、紐づけ用ＤＢ４０２を構築する後述する装置管理テーブル４０２ｂでもよい。さらに、機器情報取得部４５７は、装置管理テーブル４０２ｂを参照して、ＭＦＰ７で実行される印刷実行命令の生成に関連する情報を補完する機能も有する。

実行判定部４５６は、取得した機器情報で示されるＭＦＰ７の状態と、ユーザから指定された印刷指示や所定の処理内容とを比較することで、ユーザから指定された印刷指示や印刷実行命令をＭＦＰ７で実行可能か否かを判断する。ユーザから指定された印刷指示や所定の処理内容は、例えば、ユーザから指示された時間帯に当該ＭＦＰ７が使用可能か否かの判断処理、当該ＭＦＰ７の電源状態の変更処理及び当該ＭＦＰ７に対する印刷実行処理等である。また、ユーザから指定された印刷指示や印刷実行命令が実行可能と判断した場合、実行判定部４５６は、解釈結果変換部４５３に対して、ＭＦＰ７を管理するクライアントＰＣ６に出力要求の一例である印刷実行命令を送信するよう判定する。一方、実行不可能と判断した場合、実行判定部４５６は、操作音声変換プログラム等を介してスマートスピーカ２に対してエラーメッセージ等のレスポンス情報をフィードバックする。なお、本実施の形態において、実行判定部４５６は、解釈結果変換部４５３から送信される印刷実行命令等を、クライアントＰＣ６を介さずにネットワーク８を介して直接ＭＦＰ７等に送信するように処理をしてもよい。このような例については、第２の実施の形態で詳述する。

通知部４５８は、ユーザによる印刷指示や印刷実行命令への応答としてテキストデータ、音声データ及び画像データ等を操作音声変換プログラム等に通知する。また、ＭＦＰ７に対する印刷指示や所定の処理の実行のための処理命令又は所定の処理の実行条件を示すパラメータが不足している場合には、通知部４５７は、操作音声変換プログラム等を介してスマートスピーカ２に対してフィードバックを行う。つまり、通知部４５７は、ユーザに対して不足しているパラメータの入力を促す。ここで、通知部４５７は、不足しているパラメータを確認するために必要な情報として、所定のパラメータ情報をスマートスピーカ２に送信してもよいし、パラメータの指定を促すために必要な情報としてテキストデータ、音声データ及び画像データ等をスマートスピーカ２に送信してもよい。上述した処理によって、ユーザは、どんな情報が不足しているかをスマートスピーカ２から発生される音声等によって確認することができる。

管理部４５９は、クライアントＰＣ６、スマートスピーカ２又はクラウドサービス装置５に接続されたクライアントデバイスに対して入力された情報に基づいて、スマートスピーカ２のデバイスＩＤとクライアントＰＣ６において管理されるＭＦＰ７の装置ＩＤとを関連付けて、紐づけ用ＤＢ４０２に登録する。紐づけ用ＤＢ４０２では、スマートスピーカ２のデバイスＩＤとＭＦＰ７の装置ＩＤ等を関連付けた情報及びＭＦＰ７の装置ＩＤとクライアントＰＣ６の装置ＩＤを関連付けた情報が、装置管理テーブル４０２ｂとして記憶され、管理される。また、紐づけ用ＤＢ４０２には、スマートスピーカ１のデバイスＩＤとクライアントＰＣ６の装置ＩＤを関連付けた情報が管理されていてもよい。

検索部４６０は、デバイスＩＤやユーザＩＤ（使用者ＩＤ）に基づいてＭＦＰ７を検索し、特定する。

記憶・読出処理部４６１は、ＡＩアシスタントサーバ装置４のＨＤＤ４４等の記憶部に記憶された各種データの読み出し、ＨＤＤ４４等の記憶部への各種データの書き込み等の各処理を行う。

なお、本実施の形態では、通信制御部４５１〜記憶・読出処理部４６１をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。また、通信制御部４５１〜記憶・読出処理部４６１が実現する機能は、情報認識サーバ装置３のＨＤＤ３４等の記憶部に記憶された他のプログラムに処理の一部を実行させる、又は他のプログラムを用いて間接的に処理を実行させてもよい。

（クラウドサービス装置による解釈動作の詳細）
ここで、クラウドサービス装置５による解釈動作の詳細について説明する。クラウドサービス装置５は、上述したように情報認識サーバ装置３及びＡＩアシスタントサーバ装置４を一つに纏めた装置であり、一つのサーバ装置としても機能するものである。クラウドサービス装置５を構成するＡＩアシスタントサーバ装置４のＨＤＤ４４等の記憶部には、さらに辞書情報が記憶されている。操作音声変換プログラムは、この辞書情報に基づいてインテント及びパラメータを生成する。より具体的には、操作音声変換プログラムは、ユーザの発話によって得られた音声情報（音声データ）から変換されたテキストデータに含まれる単語などが辞書情報と一致するか否かを判断し、一致する場合は辞書情報に定義されているインテント及びパラメータを含む解釈結果を生成する。

上述した辞書情報は、インテント及びパラメータを生成することができるものであればどのような形態であってもよい。一例として、辞書情報は、エンティティ情報、インテント情報及び関連付け情報を含んで構成される。エンティティ情報は、ＭＦＰ７が所定の処理を実行するためのパラメータと自然言語を関連付ける情報である。また、一つのパラメータには、複数の類義語が登録可能である。インテント情報は、上述したように所定の処理の種類を示す情報である。関連付け情報は、ユーザが発話した発話フレーズ（自然言語）とエンティティ情報及び発話フレーズとインテント情報を、それぞれ関連付ける情報である。この関連付け情報により、ＡＩアシスタントサーバ装置４（又はクラウドサービス装置５）は、パラメータの発話順序又はニュアンスが多少変わっても、正しい解釈が可能となる。また、関連付け情報は、入力された内容に基づいてレスポンスのテキスト（解釈結果）を生成してもよい。なお、辞書情報には、上述したＡＩアシスタントサービス情報と一部機能を共通にする。

エンティティ情報には、パラメータ及び類義語が関連付けられて記憶されている。パラメータと共に、類義語を登録することで、例えば、ＭＦＰ＿＃１を用いてファイル等を印刷する場合に、「これ出力して」と発話しても、「これ印刷して」と発話しても、同様の処理を行うパラメータとして設定することができる。

（対話型動作）
本実施の形態の入力操作システム１では、ユーザによって与えられた音声情報等に基づいてシステムが応答する対話型システムによる対話型動作を実現している。この対話型動作は、上述したように、スマートスピーカ２のフィードバック部２５３によって実行される動作の一つである。また、入力操作システム１は、対話等に必要な定型文を応答する以外に、ＭＦＰ７における印刷に関する特有の応答として、「入力不足フィードバック」及び「入力確認フィードバック」の、２種類の応答をする。これによって、入力操作システム１は、対話によるＭＦＰ７における印刷処理を可能とする対話型の出力装置操作システムを実現している。

「入力不足フィードバック」は、ＭＦＰ７における印刷を実行するために必要な情報が揃っていない場合にスマートスピーカ２から出力される応答である。さらに、「入力不足フィードバック」は、ユーザによる音声情報等の入力内容を聞き取れなかった場合、又は、音声入力操作による入力内容に必要な項目（以下、必須パラメータという）が不足している場合にスマートスピーカ２から出力される。換言すれば、必須パラメータ以外の項目（以下、パラメータともいう）については、ユーザから指示されていない場合であっても入力不足フィードバックを行う必要はない。さらに「入力不足フィードバック」では、パラメータ以外にも、ＭＦＰ７における印刷において必要な機能を確認する処理が含まれていてもよい。

対話型動作では、フィードバック部２５３は、クラウドサービス装置５が通信接続中の出力装置の種類に応じて、ユーザに確認する機能及びパラメータを変更してもよい。この場合、ＡＩアシスタントサーバ装置４の機器情報取得部４５７が、出力装置との通信が確立した後の所定のタイミングで出力装置の種類及び機能を示す情報を取得する。その後、機器情報取得部４５７は、取得した情報に基づいて、フィードバック部２５３がユーザに確認する機能及びパラメータを決定してもよい。

例えば、出力装置の種類が複合機（ＭＦＰ７）である場合、フィードバック部２５３は、ＭＦＰ７の印刷に必要な項目（使用者名、使用日時、等）をユーザに確認できる。更に、フィードバック部２５３は、ＭＦＰ７で使用される備品リソース等の情報をユーザに確認してもよい。また、機器情報取得部４５７は、ユーザから指定された設定条件に応じて必須パラメータを変更してもよい。例えば、ユーザが指定した印刷条件が袋綴じ印刷の場合は、機器情報取得部４５７は、袋綴じ印刷に必要な具体的な条件（例えば、右開きか左開きか、など）を必須パラメータとして設定してもよい。

「入力確認フィードバック」は、ＭＦＰ７の印刷を実行するために必要な情報が揃った場合に出力される応答である。つまり、「入力確認フィードバック」は、全ての必須パラメータについて指示された場合に行われる。また、「入力確認フィードバック」は、現在の設定値で印刷処理を実行するか、又は、設定値を変更するかの選択をユーザに促すために行われる。なお、「入力確認フィードバック」が行われることによって、現在の設定値で印刷処理を実行するか否かを確認するために、ユーザにより指示された全てのパラメータ（必須パラメータか必須パラメータ以外のパラメータかに関わらず）を、ユーザに確認することができる。

（ＡＩアシスタントサーバ装置からフィードバックされる情報の例）
上述の説明では、スマートスピーカ２のフィードバック部２５３はレスポンス情報に含まれるテキストデータ及び音声データを出力することとして説明した。しかし、フィードバック部２５３は、スマートスピーカ２のＲＯＭ２３等の記憶部に記憶されたテキストデータに基づいて、レスポンス情報に対応するテキストデータを形成し、フィードバック出力（音声出力及びテキスト出力）を行ってもよい。なお、具体的なフィードバックの内容は後述する。

＜クライアントＰＣの機能構成＞
クライアントＰＣ６は、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）と連携して、ＭＦＰ７及びＭＦＰ７で使用される後処理装置等に対する印刷の実行、所定の処理の実行等を行う。但し、後処理装置は、クライアントＰＣ６が処理する必須の対象でなくてもよい。

クライアントＰＣ６のＣＰＵ６１は、ＨＤＤ６４等の記憶部に記憶された命令実行プログラムをＲＡＭ６２に展開して実行することで、例えば、通信制御部６５１、命令受信部６５２、検索部６５３、印刷要求送信部６５４、通知部６５５、表示制御部６５６及び記憶・読出処理部６５７（以下、通信制御部６５１〜記憶・読出処理部６５７とも記載する）として機能又は機能する手段を構成する。

次に、クライアントＰＣ６の各機能構成について説明する。通信制御部６５１は、ＡＩアシスタントサーバ装置４の通信制御部４５１及びＭＦＰ７とネットワーク８を介して通信を行う。但し、スマートスピーカ２の通信制御部２５１や、ネットワーク８を介して接続される他のクライアントＰＣと直接通信を行ってもよい。

命令受信部６５２は、ＭＦＰ７に対する印刷実行命令、印刷取消要求及び印刷状況等を問い合わせるための印刷状況確認命令を含む各種命令をＡＩアシスタントサーバ装置４の実行指示部４５５から取得し、検索部６５３又は印刷要求送信部６５４に転送する。すなわち、命令受信部６５２は、例えば、出力要求受信手段としての機能を担う。なお、命令受信部６５２は、出力装置がＭＦＰ７以外の各種装置であった場合でも、それらの装置が実行可能な固有の命令を受信することが可能である。

検索部６５３は、命令受信部６５２が印刷実行命令を受信した場合、印刷実行命令に含まれる条件（出力装置名、出力装置の装置ＩＤ、出力装置の設置場所、ユーザ名及びユーザＩＤ、等）に基づいて、ＨＤＤ６４等の記憶部に記憶された各種情報の検索を行い、印刷実行命令の実行対象となるファイルを特定し、ＭＦＰ７（出力装置）に対して印刷要求又は所定の処理要求を生成する。

印刷要求送信部６５４は、ＭＦＰ７に対して所定の印刷要求を送信する。このとき、印刷要求送信部６５４は、出力対象送信手段の一例として機能する。また、印刷要求送信部６５４は、例えば、命令受信部６５２が印刷実行命令を受信した場合、印刷実行命令に含まれる条件（出力装置名、出力装置の装置ＩＤ、出力装置の設置場所、ユーザ名及びユーザＩＤ、等）に基づいて、ＨＤＤ６４等の記憶部に記憶された印刷状況を更新する。一方、ＭＦＰ７が何らかの原因で印刷ができない場合は、ＭＦＰ７からのステータス信号等を受信して、印刷要求送信部６５４は、エラーを通知することができる。その際、エラー通知は、クラウドサービス装置５を介して又はクライアントＰＣ６から直接スマートスピーカ２に送信される。また、エラー通知の受信に伴い、印刷取消要求を取得した場合は、印刷要求送信部６５４は、条件に一致するＭＦＰ７の印刷処理を記憶部から削除する。上述したように、印刷要求送信部６５４は、スマートスピーカ２に対してユーザが与えた音声入力操作により生成されたＭＦＰ７に対する印刷実行命令や所定の処理命令等で特定された出力対象及びその出力対象に係る各種設定情報を送信する出力対象送信手段の機能を担う。

通知部６５５は、所定の条件に基づいて、ＭＦＰ７又はスマートスピーカ２への通知を行うか否かを判断する。さらに通知部６５５は、例えば、ＭＦＰ７に対する印刷実行時刻又は印刷実行時刻の所定時間前になった場合に、ＭＦＰ７に対して種々の通知を行う。出力装置がＭＦＰ以外の装置の場合は、通知される内容は、例えば、それらの各デバイスの起動又はログイン等に関する情報である。なお、通知部６５５は、ユーザからの印刷指示を受け付けた時点でＭＦＰ７に通知を行ってもよい。この場合、ＭＦＰ７は、印刷開始時刻になったら上述のいずれかの処理を実行してもよい。さらに、ＭＦＰ７に送信される通知内容は、印刷要求に含まれていてもよいし、予めクライアントＰＣ６に設定されていてもよい。また、例えば、印刷内容の重複があった場合、又は印刷開始時刻の所定時間前（例えば、１０分前）に印刷済みのＭＦＰ７に故障等が発生した場合は、通知部６５５は、通信制御部６５１を介してスマートスピーカ２にメール、画像配信等で印刷内容の重複や故障等に関する通知を行ってもよい。

表示制御部６５６は、クライアントＰＣ６上でユーザにより操作されるＷｅｂ画面、各アプリケーションの編集画面、テキストファイル、写真、動画等をクライアントＰＣ６の表示部であるディスプレイ６０や、クライアントＰＣ６と接続可能な表示装置に表示制御する。なお、クライアントＰＣ６のディスプレイ６０は、出力対象を表示する表示装置の機能を担う。

記憶・読出処理部６５７は、ＨＤＤ６４等の記憶部を制御して、各種データの読出し、書込みを行う。

なお、本実施の形態では、通信制御部６５１〜記憶・読出処理部６５７をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

次に、紐づけ用ＤＢ４０２の具体例について図５を用いて説明する。図５は、情報処理システムの一例である入力操作システム１で用いられる紐づけ用ＤＢ４０２で管理されるデータテーブルの一例である。例えば、デバイスＩＤとして「ｕｄ１００１」を有するスマートスピーカ２から印刷指示された出力装置の名称は、「ＭＦＰ＿＃１」であり、「ＭＦＰ＿＃１」の装置ＩＤは、「ｄ０００１」である。以下、詳細な説明は省略するが、図５に示した紐づけ用ＤＢ４０２の装置管理テーブル４０２ｂは、情報入力装置のデバイスＩＤとＭＦＰ７に係る装置ＩＤとが関連付けられている。すなわち、紐づけ用ＤＢ４０２には、各スマートスピーカ２とＭＦＰ７を特定できるように、各スマートスピーカ２のデバイスＩＤとＭＦＰ７の装置ＩＤとがそれぞれ関連付けられて記憶されている。なお、図５に示したそれぞれのＩＤの種類や値は一例であり、上述した内容に限らない。

＜ＭＦＰの機能構成＞
図８において、出力装置の一例であるＭＦＰ７のＣＰＵ７０１は、クライアントＰＣ６から送信された印刷実行命令に基づいて、ＨＤＤ７０９等の記憶手段に記憶された印刷実行プログラムをＲＡＭ７０２ｂに展開して実行する。ＣＰＵ７０１は、この印刷実行命令を実行することで、例えば、通信制御部７５１、印刷要求受信部７５２、検索部７５３、印刷実行部７５４、通知部７５５及び記憶・読出処理部７５６として機能又は機能する手段を構成する。

次に、ＭＦＰ７の各機能構成について説明する。通信制御部７５１は、クライアントＰＣ６の通信制御部６５１とネットワーク８を介して通信を行う。但し、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）と直接通信を行ってもよい。

印刷要求受信部７５２は、ＭＦＰ７で実行される印刷実行命令等の所定の印刷要求を、クライアントＰＣ６又はクラウドサービス装置５（又はＡＩアシスタントサーバ装置４）から受信する。つまり、印刷要求受信部７５２は、ＭＦＰ７で出力される出力対象のファイルやデータをクライアントＰＣ６から受信する受信手段の機能を担う。

検索部７５３は、印刷要求受信部７５２が印刷要求又は印刷実行命令を受信した場合、印刷要求又は印刷実行命令に含まれる条件（出力装置名、出力装置の装置ＩＤ、出力装置の設置場所、ユーザ名及びユーザＩＤ、等）に基づいて、ＨＤＤ６４等の記憶部に記憶された各種情報の検索を行い、印刷実行命令の実行対象となるファイルを特定し、クライアントＰＣ６に対して印刷要求又は所定の処理要求を生成する。

印刷実行部７５４は、印刷要求受信部７５２で受信した印刷要求に基づいて、ＭＦＰ７において印刷処理を実行する。また、印刷実行部７５４は、例えば、印刷要求受信部７５２が印刷要求を受信した場合、印刷要求に含まれる出力装置名、装置ＩＤ、出力装置の設置場所、ユーザ名及びユーザＩＤ、等に基づいて、ＨＤＤ７０９等の記憶部に記憶された印刷状況を更新する。一方、ＭＦＰ７が何らかの原因で印刷ができない場合は、ＭＦＰ７からのステータス信号等を受信して、外部にエラーを通知してもよい。その際、エラー通知は、クライアントＰＣ６を介して又はＭＦＰ７から直接スマートスピーカ２に送信される。また、エラー通知の受信に伴い、印刷取消要求を取得した場合は、印刷実行部７５４は、条件に一致するＭＦＰ７の印刷処理を記憶部から削除する。

上述したように、印刷実行部７５４は、スマートスピーカ２に対してユーザが行う音声入力操作によって与えられた、ＭＦＰ７に対する印刷指示や所定の処理の指示等の内容に基づく所定の出力形式で印刷される印刷処理等を実行する出力手段の機能を担う。なお、ＭＦＰ７における印刷処理は、例えば、電子写真方式を利用した画像形成装置で実行される印刷処理であってもよい。本実施の形態では、印刷実行部７５４はＭＦＰ７における印刷処理を例に説明したが、実行される処理が印刷処理に限らない出力装置の場合は、情報処理装置から受信したそれぞれのファイルやデータを出力要求に含まれる所定の出力形式で表示するなどの出力処理が可能である。

通知部７５５は、ＭＦＰ７の状態をクライアントＰＣ６又はスマートスピーカ２に通知する。通知される内容は、例えば、当該装置の印刷動作及びその他の動作に係る情報、並びに当該装置の起動又はログイン等に関する情報である。なお、通知部７５５は、ユーザからの印刷指示を受け付けた時点で、上述した各種情報をクライアントＰＣ６に通知してもよい。一方で通知部７５５は、受信した印刷要求に含まれる印刷開始時刻になったら上述した各種情報をクライアントＰＣ６に通知してもよい。また、印刷要求に含まれる印刷内容に重複があった場合、又は印刷開始時刻の所定時間前（例えば、１０分前）に当該装置に故障等が発生した場合は、通知部７５５は、通信制御部７５１を介してスマートスピーカ２及びクライアントＰＣ６のうちの少なくとも一方に対して、メール、画像配信等で印刷内容の重複や故障等に関する通知を行ってもよい。

記憶・読出処理部７５６は、ＨＤＤ７０９等の記憶部を制御して、各種データの読出し、書込みを行う。

なお、本実施の形態では、通信制御部７５１〜記憶・読出処理部７５６をソフトウェアで実現することとしたが、これらのうち、一部又は全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。

＜入力操作システム１の処理の概要＞
本実施の形態に係る入力操作システム１は、ユーザがスマートスピーカ２に対して行う音声入力操作によって、ＭＦＰ７等の各種出力装置における印刷や所定の処理の命令等を実行する。つまり、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）によって生成された印刷実行命令がクライアントＰＣ６に送信されると、クライアントＰＣ６は、受信した印刷実行命令中の特定情報に基づいて、ＭＦＰ７で実行される印刷処理に必要なデータを特定する。その後、クライアントＰＣ６は、特定したデータに基づいてＭＦＰ７に対して印刷要求を送信し、ＭＦＰ７にて所定の印刷が実行される概要となっている。上述した概要について、以下に詳述する。

なお、本実施の形態では、クライアントＰＣ６が、クラウドサービス装置５から、ユーザにより与えられた音声情報等によって生成された印刷実行命令を受信して、ＭＦＰ７を制御する形態について説明する。さらに、クライアントＰＣ６が、クラウドサービス装置５から送信された印刷実行命令をＭＦＰ７が受信し、受信した印刷実行命令に基づいてクライアントＰＣ６に対してファイル要求を送信してクライアントＰＣ６から特定されたファイルを再度受信してＭＦＰ７自身を制御する形態について説明する。

＜第１の実施の形態＞
図９は、第１の実施の形態における処理の流れの一例を示すシーケンス図である。
図９に示すシーケンス図にしたがい、ユーザがスマートスピーカ２からＭＦＰ７に対する印刷要求を送信する場合について説明する。具体的には、第１の実施の形態では、ユーザの発話によってＭＦＰ＿＃１を用いて所定のファイル等を印刷する場合を例示する。以下にシーケンス図における各処理を示す。

本実施の形態における入力操作システム１では、ユーザが利用するクライアントＰＣ６のとなりにスマートスピーカ２が配置されている状態を一例として説明する。図１０は、第１の実施の形態におけるクライアントＰＣ６のディスプレイ６０に表示される表示画面の一例を示す図である。図１０では、クライアントＰＣ６のディスプレイ６０には、文書作成ソフトウェア（例えば、Ｗｏｒｄ（登録商標））形式のファイル「ドキュメントＡ.ｄｏｃ」が編集中の状態で表示されている。さらに、同ディスプレイ６０には、表計算ソフトウェア（例えば、Ｅｘｃｅｌ（登録商標））形式のファイル「リストＢ．ｘｌｓｘ」も表示されている。但し、本実施の形態では、「ドキュメントＡ．ｄｏｃ」を表示する画面が、クライアントＰＣ６のディスプレイ６０におけるアクティブウィンドウとなっている。この状態において、ユーザがスマートスピーカ２に向かって「これ印刷して」と発話すると、スマートスピーカ２の取得部２５２は、ユーザから発話された「これ印刷して」という音声入力操作に基づいて、例えば、図３に示したマイクロホン部２９を使用して音声データ（音声情報）を取得する（ステップＳ１０１）。

但し、ここでは、クライアントＰＣ６のディスプレイ６０に表示されるファイルの印刷指示であれば発話内容はこれに限定されない。例えば、所定の表示装置やファイルの格納先などを特定する情報（以下、特定情報ともいう）を発話してもよい。

さらに、本実施の形態における音声入力操作の内容は、例えば、ユーザからの指示内容には、ＭＦＰ７における印刷処理に加えて、ＭＦＰ７の後行程の処理を実行するフィニッシャー等の処理を含む内容でもよい。つまり、発話の内容として、例えば、「これを印刷した後にステープル処理をして」のように、同時に複数の処理を実行させる指示内容が含まれていてもよい。

続いて、スマートスピーカ２のＲＯＭ２３等の記憶部に記憶された操作指示処理プログラムが実行されることによって機能する通信制御部２５１は、音声データを取得した場合は、操作指示処理プログラムに含まれる操作音声処理プログラムによって音声データを情報認識サーバ装置３に送信する。このとき、通信制御部２５１は、当該スマートスピーカ２を特定するためのデバイスＩＤもあわせて情報認識サーバ装置３に送信する（ステップＳ１０２）。

なお、デバイスＩＤは、ユーザに関連付けられたスマートスピーカ２を特定する情報の一例である。例えば、デバイスＩＤに代えて又は加えて、スマートスピーカ２の位置情報や、スマートスピーカ２を使用するユーザを特定するユーザＩＤ、ユーザ名又はユーザの所属する組織等の個人情報を送信してもよい。

続いて、情報認識サーバ装置３の取得部３５２は、通信制御部３５１を介して、デバイスＩＤとあわせてスマートスピーカ２から送信された音声データ等を取得し、テキスト化する（ステップＳ１０３）。このとき、情報認識サーバ装置３は、操作音声変換プログラム等を実行する。但し、情報認識サーバ装置３が操作音声変換プログラム等を実行するタイミングは、上述した限りではなく、どのタイミングで実行してもよい。

なお、上述した取得部３５２は、スマートスピーカ２に備えられた音声情報等を得るための取得部２５２の機能を兼ね備えてもよい。その場合、取得部３５２は、例えば、マイクロホン部２９を介して集音されたユーザの指示音声を、スマートスピーカ２のデバイスＩＤ及び使用者のユーザＩＤとあわせて取得する機能を有する。つまり、上述したステップＳ１０１及びステップＳ１０２の機能を兼用する。このような取得部３５２は、スマートスピーカ２の取得部２５２と同様に、音声情報取得手段の一例として機能してもよい。つまり、情報認識サーバ装置３は、音声情報取得手段を備えるサーバ装置の一例として機能してもよい。

この後、情報認識サーバ装置３のテキスト変換部３５３は、取得したデータが音声データの場合は操作音声変換プログラムにより音声データをテキスト化する。一方、情報認識サーバ装置３のテキスト変換部３５３は、受信したデータが画像データの場合は操作画像変換プログラムにより画像データをテキスト化する。このテキスト化の処理は例えば、「これ印刷して」という内容を示す音声入力操作に基づく情報をテキストデータに変換する処理である。

続いて、操作音声変換プログラムは、ＡＩアシスタントサーバ装置４で実行される音声アシスタントプログラムに対して、辞書情報要求を通信制御部３５１を介してＡＩアシスタントサーバ装置４に送信する（ステップＳ１０４）。

ＡＩアシスタントサーバ装置４の取得部４５２は、情報認識サーバ装置３から、辞書情報要求を通信制御部４５１を介して取得する。テキスト化された音声データ等を取得したＡＩアシスタントサーバ装置４は、取得した辞書情報要求に応じて辞書情報を情報認識サーバ装置３で実行される操作音声変換プログラムに提供する（ステップＳ１０５）。

なお、ＡＩアシスタントサーバ装置４は、音声アシスタントプログラムを実行する際に、情報認識サーバ装置３のＨＤＤ３４等の記憶部に記憶された上述の音声アシスタントプログラムを、ネットワーク８を介してダウンロードして実行してもよい。

続いて、情報認識サーバ装置３で操作音声変換プログラムが実行されることにより、解釈部３５４は、テキスト化された音声データ等を解釈して、インテントとパラメータを生成する（ステップＳ１０６）。

ステップＳ１０６の処理の具体例としては、解釈部３５４は、音声アシスタントプログラムから取得した辞書情報に基づいて、テキストデータに含まれる単語等が辞書情報と一致しているか否かを判断する。つまり、テキスト解釈を行う。テキストデータに含まれる単語等が辞書情報と一致している場合、解釈部３５４は、ユーザから指示された操作を示すインテント及び各種処理の実行条件等の変数を示すパラメータに変換する。なお上述した解釈部３５４の処理については、提供部３５６が行ってもよい。

変換されるインテントとパラメータは、例えば、「インテント：ＰＲＩＮＴ ＥＸＥＣＵＴＥ」（表１の「Ａｃｔｉｏｎ」に相当）、「パラメータ：ＴＨＩＳ」である。本実施の形態では、インテントは、印刷要求をＭＦＰ６に対して送信することをクライアントＰＣ６に対して指示する情報である。また、パラメータは、クライアントＰＣ６がＭＦＰ７に対して送信するファイルを示す情報である。但し、これに限定されず、パラメータ中にクライアントＰＣ６がＭＦＰ７に対して送信する印刷要求の印刷設定（部数やカラー／モノクロなど）の情報を含めてもよい。また、パラメータ中にクライアントＰＣ６がＭＦＰ７に対して送信するファイルを特定するための情報を含めてもよい。例えば、ステップＳ１０１でユーザが印刷対象であるファイルを特定するための特定情報を発話していた場合、その特定情報をパラメータに含めることができる。

なお、後述するようにクラウドサービス装置５によって印刷対象が特定される場合には、パラメータはファイル名やファイルの保存場所を示すネットワークアドレスなどファイルに係る情報となる。

より具体的には、解釈部３５４は、ＭＦＰ７において印刷が実行されるインテントに係る情報として「インテント：ＰＲＩＮＴ ＥＸＥＣＵＴＥ」を生成し、ＭＦＰ７において実行される印刷処理のパラメータに係る情報として例えば、「出力装置名：ＭＦＰ＿＃１」を生成する。このように、解釈部３５４は、テキストデータに基づいて、例えば、ユーザから指定された印刷の依頼、所定の処理の種別（インテント）及び所定の処理に関連する内容（パラメータ）を示す解釈結果を生成する。なお、ここではパラメータにＭＦＰ７を特定するための情報として出力装置名を用いる場合について説明したが、クライアントＰＣ６でＭＦＰ７を特定できる情報であればこれに限定されない。例えば、ＭＦＰ７を特定するための情報として、ＭＦＰ７のアドレス情報であっても良い。また、クライアントＰＣ６にてデフォルトで設定されているＭＦＰ７を用いて印刷を行う場合は、ＭＦＰ７を特定するための情報をパラメータに含めなくてもよい。

続いて、解釈部３５４は、生成したインテント、パラメータ及びスマートスピーカ２（情報入力装置）のデバイスＩＤをクラウドサービス装置５（又はＡＩアシスタントサーバ装置４）で実行される管理プログラムに送信する（ステップＳ１０７）。

（情報の補完及び問合せ処理）
次に、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）で実行される情報の補完及び問合せの処理の一例を説明する。

まず、ＡＩアシスタントサーバ装置４の解釈結果変換部４５３は、取得部４５２で取得されたインテント、パラメータ及びスマートスピーカ２のデバイスＩＤ等に基づいて、ＭＦＰ７に対する印刷実行命令を示すデータに変換する。このとき、インテントには印刷することを表す「ＰＲＩＮＴ ＥＸＥＣＵＴＥ」が与えられ、パラメータには出力装置名を表す「ＭＦＰ＿＃１」等が与えられる。なお、解釈結果変換部４５３は、変換手段に相当する。以下、出力装置としてＭＦＰ＿＃１を例に説明するが、装置管理テーブル４０２ｂに例示したような出力装置であれば、その種類は問わない。さらに、パラメータについて、ユーザ管理テーブル４０２ａ及び装置管理テーブル４０２ｂに例示したような内容（ジョブ命令、特定情報、実行プログラム等）であれば、その種類は問わない。

解釈結果変換部４５３によるデータ変換に伴い、検索部４６０は、スマートスピーカ２のデバイスＩＤ又は使用者のユーザＩＤに基づいて、印刷対象であるＭＦＰ＿＃１を特定する。

さらに、補完部４５４は、ユーザによって与えられた音声情報に対して、紐づけ用ＤＢ４０２に記憶された装置管理テーブル４０２ｂを参照して、ＭＦＰ＿＃１で実行される印刷実行命令の生成に関連する情報を補完する。しかし、この装置管理テーブル４０２ｂを参照してもなお印刷実行命令に係る必須パラメータの生成に必要な情報を補完できない場合は、補完部４５４は、スマートスピーカ２を介してユーザにフィードバックを行い、必須パラメータの生成に必要な情報の入力（取得）をユーザに促すよう制御してもよい。この補完に係る処理は補完部４５４が行い、補完部４５４は、補完手段に相当する。

このとき、管理部４５９は、紐づけ用ＤＢ４０２に対して、デバイスＩＤ又はユーザＩＤとＭＦＰ＿＃１とを含めて予め関連付けて登録することができる。なお、ユーザＩＤを特定する方法として、例えば、以下の方法がある。スマートスピーカ２をあるユーザが使用する場合、そのスマートスピーカ２に向けて自分の名前をマイクロホン部２９に向けて発話する。この発話による名前の入力を受けて、スマートスピーカ２の取得部２５２は、記憶・読出処理部２５４と連携して、ＲＯＭ２３等の記憶部に記憶、管理されているユーザＩＤ一覧テーブルを照合する。その後、取得部２５２は、音声からテキスト化された名前と記憶部に記憶、管理されているユーザＩＤを照合して、発話をした使用者のユーザＩＤを特定する。なお、名前の入力に代えてユーザのメールアドレス等を発話するようにしてもよい。さらに、スマートスピーカ２の撮像部（カメラ部）３０を使用して使用者の顔写真等を撮影し、その撮影画像とユーザＩＤとを照合するようにしてもよい。

また、新たなユーザＩＤ及びデバイスＩＤの組合せでＭＦＰ＿＃１における印刷等に関する情報が与えられたときは、管理部４５９は、ＡＩアシスタントサーバ装置４のＨＤＤ４４等の記憶部に記憶、管理されたＭＦＰ＿＃１装置管理テーブル４０２ｂにそれらの情報を追加することで、ＭＦＰ＿＃１の装置管理テーブル４０２ｂを更新してもよい。

次に、機器情報取得部４５７は、取得したインテントとパラメータに基づいてＭＦＰ＿＃１の印刷に必要な必須パラメータが充足しているか否かを判断する。この必須パラメータとは、例えば、受信したパラメータのうち出力対象及び出力対象を出力する出力装置を特定するための情報である。そこで、必須パラメータには、例えば、出力対象を出力する使用者の使用者名、出力日時、印刷処理における枚数やカラー／モノクロ設定等の任意のパラメータ（条件）など任意の条件が含まれる。

さらに、この必須パラメータは、上述したＭＦＰ＿＃１に関する装置管理テーブル４０２ｂとして、例えば、ＡＩアシスタントサーバ装置４のＨＤＤ４４等の記憶部に予め記憶させておき、適宜設定することもできる。さらに、この必須パラメータは、ユーザや出力装置の組合せ等にしたがって適宜必須パラメータと通常のパラメータを入れ替えることも可能である。つまり、ある条件では必須パラメータとして定義されたものでも、別の条件では通常のパラメータとして管理してもよい。

上述した説明より、機器情報取得部４５７は、以下の特徴を有する。つまり、機器情報取得部４５７は、出力装置を特定する場合に用いる必須パラメータを紐づけ用ＤＢ４０２に記憶された装置管理テーブル４０２ｂを参照して、出力対象（ファイル、画面データ、等）や出力装置（ＭＦＰ＿＃１、等）を特定するための必須パラメータの生成に関連する情報を補完する。ここで示した必須パラメータの生成に関連する情報、換言すれば音声情報に関連する情報の一例として、ファイルに関するものであれば、例えば、「この」、「現在編集中の」、「最新アップデート後の」等の修飾語が挙げられる。しかし、パラメータの生成に関連する情報や装置管理テーブル４０２ｂを参照してもなお必須パラメータの生成に必要な情報を補完できない場合は、機器情報取得部４５７は、スマートスピーカ２を介してユーザにフィードバックを行い、必須パラメータの生成に必要な情報の入力をユーザに促すよう制御してもよい。

実行判定部４５６は、情報の補完処理に基づいて、必須パラメータの充足判断を行う。その際、実行判定部４５６は、補完処理によって補完された内容でもなお必須パラメータが充足していないと判断した場合は、通知部４５７を介してユーザに必須パラメータを問い合わせる。この問合せは、クラウドサービス装置５からスマートスピーカ２に対して問合せのための情報が送信され、音声等をユーザに提供することで行われる。

なお、実行判定部４５６は、必須パラメータが充足していない場合は、必須パラメータが充足するまでパラメータを指定するようにスマートスピーカ２を介してユーザに問合せを継続する。このとき実行される情報の補完及び必須パラメータの問合せ処理について、解釈結果変換部４５３及び実行判定部４５６が互いに協働して、ユーザから与えられる音声情報に関連する情報を補完するための取得制御部４６２として機能してもよい。

このとき、必須パラメータは、ステップＳ１０２でスマートスピーカ２から取得したデバイスＩＤ又はユーザＩＤに基づいて変更されてもよい。また、必須パラメータには、ＭＦＰ＿＃１の使用者が含まれていてもよい。但し、ユーザが音声入力操作によってＭＦＰ＿＃１の使用者（使用者のユーザＩＤ等）を設定しなかった場合、実行判定部４５６は、ステップＳ１０２でスマートスピーカ２から取得したデバイスＩＤ又はユーザＩＤによって使用者を特定できるか否かを判断する。例えば、スマートスピーカ２は、一人のユーザによって占有される場合があり得る。そこで、実行判定部４５６は、スマートスピーカ２（情報入力装置）のデバイスＩＤや使用者のユーザＩＤに関連付けられたユーザが紐づけ用ＤＢ４０２に登録されているかを判断する。つまり、実行判定部４５６は、デバイスＩＤやユーザＩＤに基づいてユーザを検索し、ユーザを特定する。

ここで、実行判定部４５６は、ユーザを特定できた場合には当該ユーザをＭＦＰ＿＃１の使用者としてパラメータに設定することができる。一方、ユーザを特定できなかった場合には、実行判定部４５６は、スマートスピーカ２を介して使用者を設定するようにユーザへ問い合わせてもよい。つまり、所定の処理要求（印刷指示）を示すデータを生成するために、実行判定部４５６は、通知部４５７及び通信制御部４５１を介してスマートスピーカ２と通信し、ユーザに対して補完情報の入力を依頼してもよい。

なお、パラメータにはＭＦＰ＿＃１の使用者に係る情報が含まれていてもよい。但し、ユーザが音声入力操作によって使用者に係る情報、すなわち、ユーザ名やユーザＩＤ等を設定しなかった場合、実行判定部４５６は、ステップＳ１０２でスマートスピーカから取得した、デバイスＩＤ又はユーザＩＤによってＭＦＰ＿＃１を特定できるか否かを判断する。

この判断に基づいて、検索部４６０は、印刷に用いられるＭＦＰ＿＃１を検索し、特定する。ここで、ＭＦＰ＿＃１を特定できた場合には、検索部４６０は、当該ＭＦＰ＿＃１を印刷に用いられる出力装置としてパラメータに設定する。一方、ＭＦＰ＿＃１を特定できなかった場合には、検索部４６０は、通知部４５７と協働してスマートスピーカ２を介してＭＦＰ＿＃１を設定するようにユーザへ問い合わせてもよい。

なお、ユーザが音声入力操作によってＭＦＰ＿＃１を設定した場合であっても、設定したＭＦＰ＿＃１と同一の名称を含む出力装置が複数存在する場合がある。そこで、実行判定部４５６は、音声入力操作によって設定されたＭＦＰ＿＃１の名称に加えて、デバイスＩＤ又はユーザＩＤによってＭＦＰ＿＃１を特定できるか否かを判断してもよい。つまり、実行判定部４５６は、デバイスＩＤやユーザＩＤに関連付けられたＭＦＰ＿＃１が紐づけ用ＤＢ４０２に登録されているかを判断する。これに続いて検索部４６０は、音声入力操作によって設定されたＭＦＰ＿＃１の名称に加えて、デバイスＩＤやユーザＩＤに基づいてＭＦＰ＿＃１を検索し、検索した結果から目的のＭＦＰ＿＃１を特定する。

ここで、検索部４６０によってＭＦＰ＿＃１が特定された場合は、検索部４５９は、当該ＭＦＰ＿＃１を印刷に用いられる出力装置としてパラメータに設定する。一方、ＭＦＰ＿＃１が特定されなかった場合は、検索部４６０は、通知部４５７と協働してスマートスピーカ２を介してＭＦＰ＿＃１の詳細を設定するようにユーザへ問い合わせてもよい（ステップＳ１０８）。なお、上記ではＡＩアシスタントサーバ装置４にて印刷を実行させるＭＦＰ７を特定する場合について説明したが、ＭＦＰ７の特定はクライアントＰＣ６が行ってもよく、この場合は、ＡＩアシスタントサーバ装置４におけるＭＦＰ７を特定する処理を省略してもよい。

ここで、本実施の形態で使用されるテーブルデータとしてのＡｃｔｉｏｎ（アクション）及びＰａｒａｍｅｔｅｒ（パラメータ）について、表１に示した具体例を用いて説明する。なお、ＡＩアシスタントサーバ装置４の解釈結果変換部４５３は、情報認識サーバ装置３で解釈された解釈結果に基づいてＭＦＰ＿＃１における印刷のための印刷実行命令を示すデータに変換するために、例えば、以下に詳述する表１に示された情報をＡＩアシスタントサーバ装置４のＨＤＤ４４等の記憶部に記憶し、参照できる構成としてもよい。

ＡＩアシスタントサーバ装置４は、ＨＤＤ等の記憶部に、表１に示す出力装置に対する印刷実行命令を含むテーブルデータを記憶する。なお、ＡＩアシスタントサーバ装置４の解釈結果変換部４５３は、情報認識サーバ装置３で得られた解釈結果を印刷実行命令に変換するために、表１に相当する情報をクライアントＰＣ６のＨＤＤ６４等の記憶部に記憶し、参照できる構成としてもよい。

表１の例の場合、例えば、「ＰＲＩＮＴ ＥＸＥＣＵＴＥ」、「ＥＭＡＩＬ ＥＸＥＣＵＴＥ」、及び「ＳＴＯＲＥ ＥＸＥＣＵＴＥ」等が、アクション又はインテントの一例として示されている。また、「ＴＨＩＳ」、「ＣＵＲＲＥＮＴ」及び「ＣＬＯＵＤ」等が、パラメータの一例として示されている。なお、パラメータとしてはＭＦＰ７への印刷実行命令等に対する設定値として指定可能な全てのパラメータが含まれる。

本実施の形態では、例えば、解釈結果変換部４５３は、「ＰＲＩＮＴ ＥＸＥＣＵＴＥ」の解釈結果を、ＭＦＰ＿＃１に対する「印刷の実行」を示す命令に変換処理する。同様に、解釈結果変換部４５３は、「ＥＭＡＩＬ ＥＸＥＣＵＴＥ」の解釈結果を、ＭＦＰ＿＃１に対する「ｅｍａｉｌの送信」を示す命令に変換処理する。同様に、解釈結果変換部４５３は、「ＳＴＯＲＥ ＥＸＥＣＵＴＥ」の解釈結果を、ＭＦＰ＿＃１に対する「ストレージサービスへの保存」を示す命令に変換処理する。

すなわち、ＡＩアシスタントサーバ装置４の解釈結果変換部４５３は、解釈結果のアクション又はインテントに含まれる情報で、ＭＦＰ＿＃１に対する印刷実行命令の種類を判断し、パラメータに含まれる値を印刷実行命令に対する設定値と判断して、解釈結果を印刷実行命令に変換処理する。なお、表１に示した※の部分、すなわちパラメータの値は、所定の処理命令の設定値として指定可能なものは全て含まれる可能性がある。

なお、ＡＩアシスタントサーバ装置４は、ＨＤＤ４４等の記憶部に表１とは異なる所定の処理の実行命令を含むテーブルデータを記憶し、そのテーブルデータを用いて、解釈結果変換部４５３で解釈した解釈結果をスマートスピーカ２にフィードバックしてもよい。

解釈結果変換部４５３は、ステップＳ１０８で補完した情報から、例えば、ＭＦＰ＿＃１における印刷に必要な印刷実行命令（ジョブ命令）を生成して、通信制御部４５１を介してクライアントＰＣ６に送信する（ステップＳ１０９）。このときの印刷実行命令（ジョブ命令）は、第一の出力要求の一例である。なお、実行指示部４５４は、印刷対象のファイルがＡＩアシスタントサーバ装置４にて特定できた場合にはＭＦＰ７へ印刷実行指示を送信する。一方、実行指示部４５４は、ＡＩアシスタントサーバ装置４では特定できなかった場合にのみクライアントＰＣ６へ印刷実行指示を送信してもよい。つまり、ユーザの発話中にファイル名が含まれ、検索部４６０がそのファイル名と同一名のファイルを特定できた場合には、実行指示部４５４はクライアントＰＣ６を介さずに直接ＭＦＰ７へ印刷実行指示を送信する。一方、ユーザが「これ印刷して」と指示した場合など、つまり、発話内容から生成されるパラメータが「ＴＨＩＳ」のような場合は、ＡＩアシスタントサーバ装置４では印刷対象のファイルを特定できないため、実行指示部４５４は、クライアントＰＣ６へ印刷実行命令を送信する。

なお、ステップＳ１０９の処理は、例えば、図１のシステム構成図に示した（１）の処理に相当する。また、このとき、解釈結果変換部４５３は、例えば、クライアントＰＣ６に対する出力要求送信手段として機能する。この場合、例えば、ユーザが発話等によって指示した「これ印刷して」、「これをここに印刷して」、「これをあのプリンタに印刷して」等の指示内容に相当する印刷実行命令が、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）からクライアントＰＣ６に送信される。

（送信ファイル及び出力装置の特定）
続いて、クライアントＰＣ６にインストールされた命令実行プログラム（第１のプログラム）が実行されることにより機能する検索部６５３は、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）から取得した印刷実行命令に基づいて、送信するファイル及び送信先の出力装置を特定する。

例えば、印刷実行命令ファイルを指定する情報の一例である「ＴＨＩＳ」が含まれている場合、検索部６５３は、「ＴＨＩＳ」という言葉の意味に関連付けられた対象として、クライアントＰＣ６のディスプレイ６０に表示されたアクティブウィンドウ中のファイルやデータをＭＦＰ７に送信するファイルとして特定する。つまり、検索部６５３は、クライアントＰＣ６にて複数のプログラムが起動している場合、ユーザーからの対象となっているウィンドウに対応するプログラムに基づいて印刷対象を決定する。また、検索部６５３は、例えば、Ｗｅｂブラウザや文書作成ソフトウェアなどの第２のプログラムに対して、現在表示中の画像、ページ、ファイル等を出力対象（印刷対象）、ディスプレイ６０のスクリーンショットとして特定してもよい。

さらに、検索部６５３は、例えば、ユーザが発話した「これ印刷して」という音声情報に対して、装置管理テーブル４０２ａで記憶、管理されている情報、並びに発話したユーザのユーザＩＤに基づいて、ＭＦＰ＿＃１を出力対象が出力される出力装置として特定してもよい。同様に、ユーザの発話等による指示内容が、「これをあのプリンタで印刷して」など、出力装置となるプリンタに対して『あの』という指定が含まれている場合も、検索部６５３は、装置管理テーブル４０２ｂで記憶、管理されている情報、並びに発話したユーザのユーザＩＤに基づいて、対応するＭＦＰ＿＃１等を出力対象が出力される出力装置として特定してもよい。より具体的には、検索部６５３は、クラウドサービス装置５から取得した印刷実行命令にＭＦＰを特定するための情報が含まれていない場合に、印刷対象を出力するＭＦＰ７を決定する。ここで、検索６５３は、クライアントＰＣ６にてデフォルトで設定されているＭＦＰ７を出力先のＭＦＰとして決定することができる。つまり、第３のプログラムの一つであるプリンタドライバ又は、ＯＳの設定として、通常使うプリンタとして予め定められたＭＦＰ７を出力先のＭＦＰとして決定する。このように、検索６５３にてＭＦＰ７を特定する場合は、ＡＩアシスタントサーバ装置４におけるＭＦＰ７を特定する処理を省略することができる。

検索部６５３によって送信ファイル及び出力装置が特定された後、印刷要求送信部６５４は、ＭＦＰ７の印刷を司るプリンタドライバなどの第３のプログラムを介してＭＦＰ＿＃１に特定された印刷対象を送信するように構成する。なお、第１〜３のプログラムのいれかは、同一のプログラムであってもよい。

但し、送信ファイル及び出力装置の特定方法は上述した例に限定されない。例えば、検索部６５３は、クライアントＰＣ６内の更新中のファイル又は更新日時が最新のファイルをＭＦＰ＿＃１に送信するファイルとして特定してもよい。また、印刷実行命令に「ＴＨＩＳ」以外の特定情報が含まれていた場合は、検索部６５３は、その特定情報に基づいてＭＦＰ＿＃１に送信するファイルを特定してもよい。例えば、特定情報にファイル名が含まれていた場合は、検索部６５３は、第１のプログラムがクライアントＰＣ６内のＨＤＤ６４からファイルを検索することでファイルを特定してもよい。さらに、特定情報に第２のプログラムを指定する情報が含まれていた場合には、検索部６５３は、クライアントＰＣ６に表示されたウィンドウがアクティブウィンドウであるか否かに関わらず、Ｗｅｂブラウザや文書作成ソフトウェアなどの第２のプログラムによって表示されているページ、ファイル等を特定してもよい。

さらに、検索部６５３は、特定した出力装置を状況に応じてＭＦＰ＿＃１ではなくＭＦＰ＿＃２に変更してもよい。この「状況」とは、例えば、出力装置の稼働状況や設置状況等である。つまり、ＭＦＰ＿＃１は稼働中であるが、ＭＦＰ＿＃２は省エネ状態やエラー状態である場合は、検索部６５３は、直ちに印刷処理が可能なＭＦＰ＿＃１を選択する。また、出力対象となるファイルに対して大量印刷の指示がされ、且つＭＦＰ＿＃１よりもＭＦＰ＿＃２のほうが印刷を指示したユーザの近くに設置されていて双方が印刷可能な場合は、検索部６５３は、ユーザによる出力ファイルの運搬を考慮してユーザと出力装置との距離が近いＭＦＰ＿＃２を出力装置として特定するようにしてもよい。さらに、よりセキュアな情報処理システムの運用を目的として、検索部６５３は、発話指示等を行うユーザのユーザＩＤを参照することで、そのユーザが所属する部署に設置されたＭＦＰを出力装置として特定するようにしてもよい。つまり、検索部６５３は、ユーザ毎、出力するファイル毎等で出力先の出力装置を特定するように処理をしてもよい（ステップＳ１１０）。つまり、クライアントＰＣ６は、予め使用可能なＭＦＰ７に関する情報を記憶、管理する。例えば、クライアントＰＣ６は、ＭＦＰ７と通信することで又はユーザからの音声入力操作を受け付けることで、ＭＦＰ７のアドレス情報、位置情報、稼働状況を示す状態情報、機能や性能又はオプションの有無を示す機能情報を取得し、記憶することができる。

このように、検索部６５３は、印刷実行命令を受信後に送信ファイル及び出力装置を特定する。つまり、本実施の形態では、上述した印刷実行命令の特定において、ＡＩアシスタントサーバ装置４の解釈結果変換部４５３でも送信ファイル及び出力装置を特定するが、特に、出力装置の特定に関しては、検索部６５３は、出力装置の稼働状況や設置状況等に応じて、解釈結果変換部４５３で決定された出力装置を適宜変更してもよい。

上述したステップＳ１１０で実行される送信ファイル及び出力装置の特定について、図１０及び図１１を用いて詳述する。図１０は、第１の実施の形態におけるクライアントＰＣの表示画面の一例を示す図である。また、図１１は、第１の実施の形態における送信ファイルの特定処理の一例を示すフローチャートである。

図１１のフローチャートでは、ＡＩアシスタントサーバ装置４の解釈結果変換部４５３及び通信制御部４５１から、クライアントＰＣ６に対して送信されたジョブ命令に対する処理について説明する。まず、クライアントＰＣ６の命令受信部６５２は、ジョブ命令（印刷実行命令）をＡＩアシスタントサーバ装置４から受信する（ステップＳ１０００）。

次に、命令受信部６５２から印刷実行命令を転送された検索部６５３は、ＡＩアシスタントサーバ装置４から取得したジョブ命令（印刷実行命令）に基づいて印刷対象の特定が必要であるか否かを判断する（ステップＳ１００１）。

検索部６５３は、印刷対象の特定が必要であると判断した場合（ステップＳ１００１でＹｅｓ）、検索部６５３は、例えば、受信した印刷実行命令に含まれる特定情報が印刷対象を間接的に指定しているか否かを判断する（ステップＳ１００２）。なお、『間接的に指定』というのは、例えば、特定情報の中に『これ』、『それ』、『あれ』等の指示代名詞を含む文言が含まれている場合を示す。

このステップＳ１００２での判断では、「これ印刷して」という印刷命令をＡＩアシスタントサーバ装置４から受信すると、検索部６５３が、「これ印刷して」という印刷命令中の『これ』という文言の意味を解析する。その際、検索部６５３は、受信した印刷実行命令に含まれる情報からユーザ管理テーブル４０２ａ及び装置管理テーブル４０２ｂを参照して、スマートスピーカ２を使用するユーザのユーザＩＤ：ｕ００１０とそのユーザにより使用されるスマートスピーカ２のデバイスＩＤ：ｕｄ１００１等から、『これ』（印刷実行命令が英語であれば『ＴＨＩＳ』）が何かを検索する。

つまり、特定情報が印刷対象を間接的に指定している場合（ステップＳ１００２でＹｅｓ）、図５の装置管理テーブル４０２ｂより、検索部６５３は、『これ』が、ユーザＩＤ：ｕ００１０とそのユーザにより使用されるスマートスピーカ２のデバイスＩＤ：ｕｄ１００１及び情報処理装置の装置ＩＤ：ｉ００１に関連付けられた情報処理装置であるクライアントＰＣ６（ＰＣ１）のアクティブウィンドウ上で編集されている文書作成ソフトウェアの形式のファイル「ドキュメントＡ.ｄｏｃ」であることを特定する（ステップＳ１００３）。

なお、アクティブウィンドウは、例えば図１０に示されたような状態を示すものであり、文書作成ソフトウェアの形式のファイル「ドキュメントＡ.ｄｏｃ」がアクティブウィンドウとして表示されている。

一方、検索部６５３は、ステップＳ１００１の判断で印刷対象の特定が必要でないと判断した場合（ステップＳ１００１でＮｏ）、検索部６５３は、このフローを抜ける。

一方、受信した印刷実行命が「これ印刷して」以外の内容であった場合、すなわち、印刷実行命令に『これ』（『ＴＨＩＳ』）のような指示代名詞が含まれていない場合（ステップＳ１００２でＮｏ）、検索部６５３は、以下の処理を実行する。例えば、検索部６５３は、ステップＳ１００３と同様の方法で印刷実行命令に含まれる特定情報がクライアントＰＣ６で更新（編集）中のファイル又は最新のファイルであるかを判断する（ステップＳ１００４）。

次に、印刷実行命令に含まれる特定情報がクライアントＰＣ６で更新中のファイル又は最新のファイルである場合（ステップＳ１００４でＹｅｓ）、検索部６５３は、更新中のファイル又は最新のファイル又はデータを特定する（ステップＳ１００５）。

一方、印刷実行命令に含まれる特定情報がクライアントＰＣ６で更新中のファイル又は最新のファイルでない場合（ステップＳ１００４でＮｏ）、検索部６５３は、特定情報の中にファイル名が含まれるか否かを判断する（ステップＳ１００６）。

印刷実行命令が、例えば、「ファイルＡを印刷して」のように、特定情報の中にファイル名が含まれる場合（ステップＳ１００６でＹｅｓ）、検索部６５３は、クライアントＰＣ６のＨＤＤ６４からファイルを検索してデータを特定する（ステップＳ１００７）。

一方、特定情報の中にファイル名が含まれない場合（ステップＳ１００６でＮｏ）、検索部６５３は、特定情報の中にＷｅｂブラウザや文書作成プログラムなどの第２のプログラムが含まれるか否かを判断する（ステップＳ１００８）。

特定情報の中に第２のプログラムが含まれる場合（ステップＳ１００８でＹｅｓ）、検索部６５３は、第２のプログラムにより表示されたファイル、ページ等のデータを特定する（ステップＳ１００９）。

一方、特定情報の中に第２のプログラムが含まれない場合（ステップＳ１００８でＮｏ）、検索部６５３は、ジョブ命令（印刷実行命令）の内容にしたがい、ファイル、ページ等のデータを特定する（ステップＳ１０１０）。

なお、図１１に示したフローチャートは一例であって、検索部６５３により実行される処理は上述した例に限らない。例えば、本実施の形態に係る情報入力システム１の置かれた環境やシステムの用途等に応じて、上述したフローチャートの内容を適宜変えてＭＦＰ７に送信するファイルを特定するようにしてもよい。

ここで図９のシーケンス図に戻る。上述したように、クライアントＰＣ６の検索部６５３は、印刷実行命令に基づいてＭＦＰ７で印刷されるファイルを特定する（ステップＳ１１０）。つまり、検索部６５３は、ユーザによって発話された音声情報に含まれる特定のパラメータ（特定の情報の一例）から印刷対象のファイル（出力対象の一例）及び出力先となるＭＦＰ＿＃１（出力装置の一例）のうち少なくとも一方を特定して印刷実行命令（出力要求の一例）を生成する出力特定手段の機能を担う。具体的には、検索部６５３は、印刷実行命令に含まれる印刷対象のファイルのうち、ディスプレイ６０のアクティブウィンドウに表示されたページやファイル等の出力対象、Ｗｅｂアプリのプログラムで実行されるファイル及びプリンタドライバで実行される印刷ファイルのうちのいずれかを特定する。さらに、印刷実行命令に含まれる印刷対象のファイルが出力されるＭＦＰ７を特定する。

続いて、クライアントＰＣ６の印刷要求送信部６５４は、ＭＦＰ＿＃１に対して通信制御部６５１を介して印刷要求の送信を行う（ステップＳ１１１）。このとき、印刷要求送信部６５４は、例えば、第一の出力対象送信手段の機能を担う。

ここで、クライアントＰＣ６の印刷要求送信部６５４は、印刷要求の送信先であるＭＦＰ＿＃１を、クライアントＰＣ６が所有する第３のプログラムの一つであるプリンタドライバ又はＯＳによって予め登録することもできる。なお、クライアントＰＣ６の表示制御部６５６は、ＭＦＰ＿＃１に特定したファイルを送信する前に、クライアントＰＣ６のディスプレイ６０上に、特定したファイル及びＭＦＰ＿＃１に印刷要求を送信することを示す画面を表示してもよい。この場合、ユーザの許可を受け付けたことを条件に、印刷要求送信部６５４は、特定された印刷対象であるファイル等をＭＦＰ＿＃１に送信してもよい。

なお、図１２は、ファイル又はページを特定する一例を示す画面図である。図１２において、複数ページからなるファイルを特定した場合には、表示制御部６５６は、クライアントＰＣ６のディスプレイ６０に、例えば、「Ｆｉｌｅ ＸＸのページ一覧」として、図１２（ａ）に示したページのプレビュー画像の一覧を選択可能に表示してもよい。ユーザは、ディスプレイ６０に表示された複数ページのプレビュー画像のうち、所望の画像を選択することで、印刷対象となる画像を選択することができる。図１２（ａ）の場合、印刷対象としてユーザによって指定されたページ番号は、Ｐａｇｅ０５〜Ｐａｇｅ１０までの６ページである。

さらに、複数のファイルを取得した場合には、表示制御部６５６は、クライアントＰＣ６のディスプレイ６０に、例えば、「ファイル一覧」として、図１２（ｂ）に示したファイルの一覧をユーザインターフェイス（ＵＩ）として選択可能に表示してもよい。ユーザは、ディスプレイ６０に表示された複数のファイルのうち、所望のファイルを選択することで、印刷対象となるファイルを選択することができる。図１２（ｂ）の場合、印刷対象としてユーザによって指定されたファイルは、Ｆｉｌｅ３である。上述した実施の形態では、表示制御部６５６は、印刷対象としたページやファイルをグレーアウト表示して、どのページやファイルが印刷対象として選ばれたかを一目で判別可能にしている。つまり、表示制御部６５６は、特定された出力対象を他の出力対象と判別可能に表示する機能を有する。なお、表示制御部６５６は、表示制御手段に相当する。

このようなＵＩを提供して表示することによって、表示されたページ及びファイルのうち、印刷したいページ及びファイルをユーザが選択できるようにシステムが構築されてもよい。

なお、ステップＳ１１１の処理は、例えば、図１のシステム構成図に示した（２）の処理に相当する。さらに、クライアントＰＣ６とＭＦＰ７が有線ケーブル等で接続されているような場合は、ステップＳ１１１の処理は、図１のシステム構成図に示した（３）の経路で実行されてもよい。通信制御部６５１は、検索部６５３が特定したＭＦＰに対して、検索部６５３が特定したファイルを、ＡＩアシスタントサーバ装置４から取得した印刷実行命令で指定される条件で印刷するように、指示することができる。

続いて、クライアントＰＣ６から印刷対象として特定されたＭＦＰ＿＃１（ＭＦＰ７）は、クライアントＰＣ６の印刷要求送信部６５４等から送信された印刷対象の印刷を行う（ステップＳ１１２）。

ここで、ＭＦＰ＿＃１は、ＭＦＰ＿＃１が有する操作部に、取得したファイル、印刷条件及び印刷を実行することを示す画面等を表示してもよい。このときに、印刷条件の変更を受け付けてもよいし、ユーザの許可を受け付けたことを条件に印刷を実行してもよい。

なお、ＭＦＰ＿＃１は、クライアントＰＣ６から送信された印刷実行命令にしたがって、装置の電源やネットワーク設定を起動し、所定のファイルの印刷やファイルの送信等を開始、実行するようにしてもよい。また、ＭＦＰ＿＃１において他の処理の実行が必要な場合は、スマートスピーカ２は、ＭＦＰ＿＃１の使用者に対して、後工程の処理を実行するフィニッシャー等に対する指示内容を発話等によって与えるようにフィードバックをしてもよい。

さらに、クライアントＰＣ６の印刷要求送信部６５４は、ＭＦＰ＿＃１を用いて印刷するようにスマートスピーカ２に対して指示をしたユーザに対して、通知部６５５を介して、印刷処理が完了したことを示す印刷完了通知等を通知するようにしてもよい。この場合、ＡＩアシスタントサーバ装置４がクライアントＰＣに対して送信する印刷実行命令には、スマートスピーカ２を特定するための情報として、例えばアドレス情報を含むことができる。これにより、通知部６５５はアドレス情報に基づいて印刷処理の結果を送信することができる。なお、クライアントＰＣ６がＩアシスタントサーバ装置４から取得した印刷実行命令に含まれるスマートスピーカ２のアドレス情報をＭＦＰ７に送信することで、ＭＦＰ７の通知部７５５は、送信されたアドレス情報に基づいて印刷処理の結果を送信してもよい。

上述した実施の形態では、クライアントＰＣ６がＭＦＰ＿＃１に対して印刷要求を送信する場合について説明したが、これに限定されない。つまり、クライアントＰＣ６でファイルを特定した後、クライアントＰＣ６はこのファイルをクラウドサービス装置５で実行される管理プログラムに送信し、管理プログラムがＭＦＰ＿＃１に対して印刷要求と共にこのファイルを送信してもよい。この場合、クライアントＰＣ６の命令実行プログラムが、特定したファイルを管理プログラムに送信してもよい。また、管理プログラムは、クライアントＰＣ６からファイルを取得した場合、装置ＩＤに関連付けられたＭＦＰ＿＃１等に対してジョブ命令（印刷実行命令）を送信してもよい。このジョブ命令には、ファイルデータ又はファイルの保存場所を示すアドレス情報等が含まれてもよい。さらにＭＦＰ＿＃１は、管理プログラムから取得したジョブ命令に基づいて印刷を実行してもよい。

なお、本実施の形態において、入力操作システム１は、例えば、過去のＭＦＰ＿＃１の印刷履歴及び使用履歴、並びに図５の紐づけ用ＤＢ４０２を構築する各管理テーブルの情報から、ユーザの発話等に伴う音声情報等について、機械学習を利用して、ＭＦＰ＿＃１の印刷に加えて関連する処理も自動的に実行するような構成を備えていてもよい。

（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の入力操作システム１は、スマートスピーカ２に、プラットフォームアプリケーションプログラムとなる操作音声処理プログラム等を含むプログラムをインストールし、このプラットフォームアプリケーションプログラムによるクラウドサービス装置５との通信を行う。ユーザがスマートスピーカ２に設けられているマイクロホン部２９や撮像部３０に向かって音声入力操作を行うと、クラウドサービス装置５は、ユーザの発話内容等を解析し、ユーザによって与えられた印刷指示や所定の処理の実行指示が行われるようにＭＦＰ７等の出力装置を操作する。

このような構成により、ＭＦＰ７における印刷や所定の処理を実行させるために必要な操作をユーザが発話する必要最低限の音声入力操作によって実現することができる。つまり、簡略化した指示を与えるだけで所望の出力を得ることが可能になる。これによって、タッチパネル２７等のＧＵＩ（Graphical User Interface）による操作を不要とすることができる。このため、操作に慣れているユーザであっても、さらに迅速かつ簡単な入力操作を可能とすることができる。また、対話等による操作サポートによって、例えば、複雑なネットワーク設定、高度な処理の設定又は新規アプリの導入等が不要となる。その結果、高齢者又は機械操作に不慣れなユーザ等であっても、ユーザが希望する操作を迅速かつ簡単に実行可能とすることができ、利便性が向上する。

また、ユーザが発話等によって与えた内容から得られたテキストデータに基づいてユーザの意図を解析するため、ユーザの発話等に基づいた処理内容をクラウドサービス装置５（又はＡＩアシスタントサーバ装置４）側で判断して処理することも可能となる。

＜第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態との相違点を主に説明する。したがって、特に言及されない点については、第１の実施の形態と同様でもよいため、詳細な説明を省略する。

第２の実施の形態では、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）で生成した印刷実行命令をクライアントＰＣ６に送信する構成に代えて、一度ＭＦＰ７に印刷実行命令を送信する。つまり、第２の実施の形態では、入力操作システム１において、上述した紐づけ用ＤＢ４０２に相当するデータベースを、ＭＦＰ７（出力装置）側に設ける。つまり、このデータベースには、スマートスピーカ２から送信されたスマートスピーカ２を特定するデバイスＩＤ又はユーザを特定する識別情報（例えば、ユーザＩＤ）、そのユーザが使用するクライアントＰＣ６（情報処理装置）を特定する識別情報（例えば、装置ＩＤ）及びアドレス情報等が関連付けて記憶、管理される。このような構成をとることは、サーバ装置５側の記憶手段の構築の負荷を軽減する狙いでもある。さらに、クラウドサービス装置５から取得したクライアントＰＣ６を特定するための情報に基づいて、ＭＦＰ７からクライアントＰＣ６に対してファイルを要求する点も、第１の実施の形態と相違する点である。

以下、上述した相違に係る具体的な処理を、シーケンス図及びフローチャートを用いて説明する。

図１３は、第２の実施の形態に係る入力操作システムの構成の一例を示す図である。なお、各装置のハードウェア構成及び機能構成については、印刷実行命令の送受信経路が第１の実施の形態と一部異なる以外は、上述した図１と同様であるため、詳細な説明を省略する。

図１４は、第２の実施の形態における処理の流れの一例を示すシーケンス図である。第２の実施の形態では、スマートスピーカ２を用いたユーザによる発話等に基づいて生成された印刷実行命令を、クラウドサービス装置５（又はＡＩアシスタントサーバ装置４）から一旦ＭＦＰ７に送信してその後の処理を実行する場合を例示する。但し、第２の実施の形態も、上述した第１の実施の形態と同様のシステム構成及び各装置におけるハードウェア構成並びに第１の実施の形態と同様の各機能構成により実現することが可能である。

図１４のシーケンス図において、ステップＳ２０１〜Ｓ２０５までは、第１の実施の形態のステップＳ１０１〜Ｓ１０５と同様のため、詳細な説明を省略する。

次に、情報認識サーバ装置３で操作音声変換プログラム等が実行されることにより、解釈部３５４は、テキストの解釈を行う（ステップＳ２０６）。

具体的には、解釈部３５４は、テキスト化された音声データ等を解釈して、インテントとパラメータを生成する。解釈部３５４は、音声アシスタントプログラムから取得した辞書情報に基づいて、テキストデータに含まれる単語等が辞書情報と一致しているか否かを判断する。テキストデータに含まれる単語等が辞書情報と一致している場合、解釈部３５４は、ユーザから指示された操作を示すインテント及び各種処理の実行条件等の変数を示すパラメータに変換する。なお上述した解釈部３５４の処理については、提供部３５６が行ってもよい。

ここで、本実施の形態において、インテントは、ＭＦＰ７に対する印刷要求を示す情報である。パラメータは、印刷対象を指定する情報で、例えば、ＭＦＰ７の種類や名称等のＭＦＰ７を特定する情報、印刷日時、ＭＦＰ７を使用する使用者に関する情報を含む。なお、ユーザが複数のＭＦＰを使用した印刷を指示する場合、出力装置を特定する情報も複数含まれてよい。さらに、インテント又はパラメータ中にＭＦＰ７に対して印刷対象となるファイルの検索を要求する情報を含めてもよい。例えば、ステップＳ２０１でユーザが所定の特定情報を発話していた場合、その特定情報をパラメータに含めることができる。なお、後述するように、クラウドサービス装置５によって印刷対象が特定される場合には、パラメータには、印刷対象となるファイルのファイル名やファイルの保存場所を示すアドレス情報などが与えられる。

このように、解釈部３５４は、テキストデータに基づいて、例えば、ユーザから指定された印刷の依頼、所定の処理の種別（インテント）及び所定の処理に関連する内容（パラメータ）を示す解釈結果を生成する（ステップＳ２０６）。

続いて、解釈部３５４は、生成したインテント、パラメータ及びスマートスピーカ２のデバイスＩＤをクラウドサービス装置５（又はＡＩアシスタントサーバ装置４）で実行される管理プログラムに送信する（ステップＳ２０７）。

続くステップＳ２０８で実行される情報の補完、問合せ及び所定の処理の実行命令（本実施の形態では印刷実行命令）への変換処理については、第１の実施の形態と同様のため、詳細な説明を省略する。

解釈結果変換部４５３は、第１の実施の形態と同様に、インテントとパラメータに基づいて変換した「これ印刷して」の内容に相当する印刷実行命令を生成して、通信制御部４５１を介してＭＦＰ＿＃１（ＭＦＰ７）に送信する（ステップＳ２０９）。また、このとき、解釈結果変換部４５３は、例えば、ＭＦＰ７に対する出力要求送信手段として機能する。さらに、このときの印刷実行命令（ジョブ命令）は、第二の出力要求の一例である。

なお、解釈結果変換部４５３は、デバイスＩＤ又はユーザＩＤなどのクライアントＰＣ６を特定するために必要な情報を、送信した印刷実行命令に含めて又は別途、ＭＦＰ７に送信する。さらに、解釈結果変換部４５３は、ＭＦＰ７に記憶された図５に示した装置管理テーブル４０２ｂを参照して、デバイスＩＤ等からクライアントＰＣ６を特定する。そこで、解釈結果変換部４５３は、インテント又はパラメータに基づいて生成されるクライアントＰＣ６を特定するための情報をＭＦＰ７に送信するか否かを判断する。例えば、印刷実行命令に含まれるパラメータが「ＴＨＩＳ」であることを条件に、クライアントＰＣ６を特定するための情報をＭＦＰ７に送信することを決定することができる。但し、これに限定されず、例えばステップＳ２０１でのユーザによる発話が「ＰＣのファイルを印刷して」のようにファイルの保存場所を特定するための情報である「ＰＣ」が含まれている場合には、解釈結果変換部４５３は、クライアントＰＣ６を特定するための情報をＭＦＰ７に送信するように決定してもよい。

（印刷対象及び出力装置の特定）
続いて、ＭＦＰ７の検索部７５３は、解釈結果変換部４５３から取得した印刷実行命令に基づいて印刷対象及び出力装置の特定が必要であるか否かを判断する。例えば、印刷対象が「ＴＨＩＳ」のように、ファイルを一意に特定できない情報であることを条件に、検索部７５３は印刷対象及び出力装置の特定を行う。

また、検索部７５３は、特定情報を受信したことを条件に印刷対象及び出力装置の特定を行ってもよい。さらに、印刷実行命令にファイル名やファイルの保存場所のアドレス情報などのファイルに係る情報が含まれている場合は、検索部７５３はファイルを一意に特定することができる。そのため、検索部７５３は、以下のステップＳ２１１の処理を省略することができる。さらに、印刷実行命令に印刷対象のファイルデータが含まれている場合にも、検索部７５３は、以下のステップＳ２１１を省略することができる（ステップＳ２１０）。また、検索部７５３は、印刷実行命令に含まれるスマートスピーカ２のデバイスＩＤ又はユーザＩＤに基づいて、クライアントＰＣ６を特定する。なお、本実施の形態におけるステップＳ２１０の処理の詳細については、第１の実施の形態で説明した考え方及び図１１のフローチャートと同様のため、詳細な説明を省略する。

次に、検索部７５３は、クラウドサービス装置５から取得したクライアントＰＣ６を特定するための情報に基づいて、そのクライアントＰＣ６に対してファイルを要求する（ステップＳ２１１）。つまり、検索部７５３は、出力対象となるファイルやデータを出力するための出力要求（印刷実行命令等）に基づいて、出力対象となるファイルやデータとその出力先となる出力装置を特定し、クライアントＰＣ６（情報処理装置）に対して必要なデータの取得を要求する出力対象要求手段の一例となり得る。一方で、クライアントＰＣ６の命令受信部６５２は、ステップＳ２１１でＭＦＰ７から送信された印刷対象のファイル出力要求を受信する出力対象要求受信手段としての機能を担うこともできる。

ここで、クライアントＰＣ６側の処理は、第１の実施の形態のステップＳ１１０と同様である（但し、第１のプログラムは、ＭＦＰ７からファイル要求を取得し、そのファイル要求に基づいて、第２のプログラム又は第３のプログラムにファイルを要求する）。なお、特定したファイルをＭＦＰ７に送信するプログラムは、第１、第２及び第３のプログラムのいずれでもよい。但し、クライアントＰＣ６は、ファイル要求の送信元のＭＦＰ７に対してファイルを返信する。このため、検索部６５３は、ＭＦＰ７を特定する処理を省略することができる。

続いて、印刷要求受信部７５２は、クライアントＰＣ６から印刷対象のファイルを取得する（ステップＳ２１２）。このとき、クライアントＰＣ６の印刷要求送信部６５４は、例えば、第二の出力対象送信手段の機能を担う。ここでの処理は、例えば、印刷要求受信部７５２は、クライアントＰＣ６のディスプレイ６０上で編集中又は編集したファイルを印刷対象として取得することができる。

続いて、印刷要求受信部７５２は、ステップＳ２１２で取得した印刷対象のファイルをＭＦＰ７の操作部等のディスプレイ６０上に表示する（ステップＳ２１３）。ステップＳ２１２で複数ページからなるファイルを取得した場合には、印刷要求受信部７５２はページのプレビュー画像又は一覧を表示してもよいし、複数のファイルを取得した場合にはファイルの一覧を表示してもよい。ユーザは、表示されたページ及びファイルのうち、印刷したいページ及びファイルを選択することができる。

続いて、印刷実行部７５４は、ステップＳ２１１で選択されたページ又はファイルを印刷する（ステップＳ２１４）。

以上説明した実施の形態では、クライアントＰＣ６は、デバイスや各種ＭＦＰ７の印刷状況をクラウドサービス装置５（又はＡＩアシスタントサーバ装置４）経由でスマートスピーカ２に送信する場合について説明したが、これに限定されない。例えば、クライアントＰＣ６は、上述したデバイスや各種ＭＦＰ７の印刷状況をスマートスピーカ２へ直接送信してもよい。この場合、印刷実行命令には、スマートスピーカ２へ印刷状況を通知する要求と、スマートスピーカ２のアドレス情報などスマートスピーカ２へアクセスするために必要な情報を含めることができる。また、印刷状況の通知先は、スマートスピーカ２に限定されない。例えば、クライアントＰＣや他の情報入力装置へ直接又はクラウドサービス装置５（又はＡＩアシスタントを介して印刷状況を通知してもよい。

（第２の実施の形態の効果）
以上の説明から明らかなように、第２の実施の形態の入力操作システム１は、スマートスピーカ２に、プラットフォームアプリケーションプログラムとなる操作音声処理プログラム等を含むプログラムをインストールし、このプラットフォームアプリケーションプログラムによるクラウドサービス装置５との通信を行う。ユーザがスマートスピーカ２に設けられているマイクロホン部２９や撮像部３０に向かって音声入力操作を行うと、クラウドサービス装置５がユーザの発話内容等を解析し、ユーザによって与えられたＭＦＰ７への印刷指示等をＭＦＰ７に送信する。これに続いて、ＭＦＰ７はクライアントＰＣ６に対して送信するファイルを特定し、特定したファイルを要求する。ファイルを要求されたクライアントＰＣ６は、印刷対象のファイルをＭＦＰ７に送信し、ＭＦＰ７等は印刷を実行する。

このような構成により、ＭＦＰで印刷命令を受信し、印刷を実行させるために必要な操作を、ユーザが発話する必要最低限の音声入力操作によって実現することができる。つまり、簡略化した指示を与えるだけで所望の出力を得ることが可能になる。これによって、タッチパネル２７等のＧＵＩ（Graphical User Interface）による操作を不要とすることができる。このため、操作に慣れているユーザであっても、さらに迅速かつ簡単な入力操作を可能とすることができる。また、対話等による操作サポートによって、例えば、複雑なネットワーク設定、高度な処理の設定又は新規アプリの導入等が不要となる。その結果、高齢者又は機械操作に不慣れなユーザ等であっても、ユーザが希望する操作を迅速かつ簡単に実行可能とすることができ、利便性が向上する。

また、ユーザが発話等によって与えた内容から得られたテキストデータに基づいてユーザの意図を解析するため、ユーザの発話等に基づいた処理内容をクラウドサービス装置５（又はＡＩアシスタントサーバ装置４）側で判断して処理することも可能となる。

上述した実施の形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

なお、情報入力装置は、マイク機能、撮像機能、スピーカ機能、表示機能、操作機能及び通信機能等を備えた装置であれば、スマートスピーカに限られない。情報入力装置は、例えば、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣまたはデスクトップＰＣ等であってもよい。

また、情報処理装置は、サーバ装置及び出力装置等と通信可能である。なお、情報処理装置は、例えば、出力装置と通信を行う機能を備えた装置であれば、クライアントＰＣに限られない。

同様に、出力装置は、上述したＭＦＰ以外に、ネットワークを介して通信可能で、情報処理装置上の画面や画像イメージなどの各種コンテンツを送受信可能な装置であればその種類を問わない。例えば、出力装置は、プロジェクタ、電子黒板（ＩＷＢ：Interactive White Board）、テレビ会議・Ｗｅｂ会議システム（ＵＣＳ：Unified Communication System）及びデジタルサイネージ等の電子機器であってもよい。このとき、ＭＦＰ７は、クライアントＰＣ６によって制御される一方で、クライアントＰＣ６を介さずに、例えば、クラウドサービス装置５から送信される実行命令等を直接受信して処理を行うものでもよい。

最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置換え、変更を行うことも可能である。例えば、上述の第１の実施の形態の説明では、情報認識サーバ装置３がユーザにより与えられた発話等に対応するテキストデータを生成し、生成したテキストデータに基づいて、ＡＩアシスタントサーバ装置４がユーザの意図している操作を解釈した。しかし、情報入力装置２側に、このような音声認識機能及び解釈機能を設け、スマートスピーカ２で、ユーザの発話から意図する操作を解釈してもよい。これにより、情報認識サーバ装置３及びＡＩアシスタントサーバ装置４を不要とすることができ、システム構成を簡素化することができる。

このような各実施の形態及び各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 入力操作システム（情報処理システムの一例）
５ クラウドサービス装置（サーバ装置の一例）
６ クライアントＰＣ（情報処理装置の一例）
７ ＭＦＰ（出力装置の一例）
２５２ 取得部（音声情報取得手段の一例）
４５３ 解釈結果変換部（出力要求送信手段の一例）
４５４ 補完部（補完手段の一例）
６５２ 命令受信部（出力要求受信手段、出力対象要求受信手段の一例）
６５３ 検索部（出力特定手段の一例）
６５４ 印刷要求送信部（出力対象送信手段、第一の出力対象送信手段、第二の出力対象送信手段の一例）
６５６ 表示制御部（表示制御手段の一例）
７５２ 印刷要求受信部（受信手段の一例）
７５３ 検索部（出力対象要求手段の一例）
７５４ 印刷実行部（出力手段の一例）

特開２０１９−４０４６８号公報

Claims (10)

1. 出力対象を出力装置に出力させるための音声情報を取得する音声情報取得手段と、
   前記音声情報から前記出力対象及び前記出力装置のうち少なくとも一方を特定した出力要求を生成する際に、前記音声情報に関連する情報を補完する補完手段と、
   前記音声情報を補完して生成した出力要求を特定した前記出力装置に送信する出力要求送信手段と、
   前記送信された出力要求に含まれる出力対象を出力する出力手段と、
   を備えることを特徴とする情報処理システム。
2. 前記出力対象を表示装置に表示する表示制御手段と、
   前記音声情報と前記表示装置に表示された少なくとも一つの出力対象から、前記出力対象及び前記出力対象を出力させる出力装置のうち少なくとも一方を特定する出力特定手段を更に備え、
   前記出力特定手段は、
   前記出力要求に含まれる出力対象のうち、前記表示装置のアクティブウィンドウに表示された出力対象、Ｗｅｂアプリのプログラムで実行される出力対象及びプリンタドライバで実行される出力対象のうちのいずれかの出力対象、並びに当該出力対象が出力される出力装置を特定する、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記補完手段は、
   前記音声情報を補完する場合、前記音声情報を補完するための情報の取得を促す、
   ことを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記音声情報取得手段は、音声入力操作及び機械操作を含む指示操作に基づく情報を取得可能なサーバ装置である、
   ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理システム。
5. 前記表示制御手段は、前記表示装置に表示された少なくとも一つの出力対象のうち、前記出力装置に送信される出力対象を他の出力対象と判別可能に表示する、
   ことを特徴とする請求項２に記載の情報処理システム。
6. サーバ装置と、情報処理装置及び出力装置と、を備える情報処理システムであって、
   前記サーバ装置は、
   出力対象を出力装置に出力させるための音声情報を取得する音声情報取得手段と、
   前記音声情報から前記出力対象及び前記出力装置のうち少なくとも一方を特定した出力要求を生成する際に、前記音声情報に関連する情報を補完する補完手段と、
   前記音声情報を補完して生成した出力要求を前記情報処理装置又は前記出力装置に送信する出力要求送信手段と、を備え、
   前記情報処理装置は、
   前記出力要求に基づいて特定された出力対象を当該出力対象が出力される出力装置に送信する出力対象送信手段を備え、
   前記出力装置は、
   前記情報処理装置から送信された前記出力対象を出力する出力手段を備える、
   ことを特徴とする情報処理システム。
7. サーバ装置と、情報処理装置及び出力装置と、を備える情報処理システムであって、
   前記サーバ装置は、
   出力対象を出力装置に出力させるための音声情報を取得する音声情報取得手段と、
   前記音声情報から前記出力対象及び前記出力装置のうち少なくとも一方を特定した出力要求を生成する際に、前記音声情報に関連する情報を補完する補完手段と、
   前記音声情報を補完して生成した出力要求を前記情報処理装置又は前記出力装置に送信する出力要求送信手段と、を備え、
   前記出力装置は、
   前記サーバ装置から受信した出力要求に基づいて、前記出力対象及び前記出力対象の出力先となる出力装置を特定し、前記情報処理装置に対してデータの取得を要求する出力対象要求手段と、
   前記出力対象を前記情報処理装置から受信する受信手段と、
   前記情報処理装置から受信した前記出力要求に含まれる設定に基づいて、前記出力対象を当該出力装置に出力する出力手段と、を備え、
   前記情報処理装置は、
   前記出力要求に基づいて特定された出力対象を当該出力対象が出力される出力装置に送信する出力対象送信手段を備える
   ことを特徴とする情報処理システム。
8. サーバ装置と、情報処理装置及び出力装置と、を備える情報処理システムが実行する情報処理方法であって、
   出力対象を出力装置に出力させるための音声情報を取得する取得ステップと、
   前記音声情報から前記出力対象及び前記出力装置のうち少なくとも一方を特定した出力要求を生成する際に、前記音声情報に関連する情報を補完する補完ステップと、
   前記音声情報を補完して生成した出力要求を前記出力装置に送信する送信ステップと、
   を含むことを特徴とする情報処理方法。
9. 出力対象を出力装置に出力させるための音声情報を補完して生成した第一の出力要求を受信する出力要求受信手段と、
   出力対象を出力装置に出力させるための音声情報を補完して生成した第二の出力要求を受信した出力装置から、前記第二の出力要求に含まれる出力対象及び前記出力対象の出力先となる出力装置のうち少なくとも一方を特定するための要求を受信する出力対象要求受信手段と、
   前記受信した第一の出力要求に基づいて特定された出力対象を当該出力対象が出力される出力装置に送信する第一の出力対象送信手段と、
   サーバ装置から受信した出力要求に基づいて、前記出力対象及び前記出力対象の出力先となる出力装置を特定し、前記出力装置に対してデータの取得を要求する出力対象要求手段と、
   前記受信した第二の出力要求に基づいて特定された出力対象を当該出力対象が出力される出力装置に送信する第二の出力対象送信手段と、
   を備えることを特徴とする情報処理装置。
10. 出力対象を出力するための出力要求に基づいて、前記出力対象及び前記出力対象の出力先となる出力装置を特定し、情報処理装置に対してデータの取得を要求する出力対象要求手段と、
    前記出力対象を前記情報処理装置から受信する受信手段と、
    前記情報処理装置から受信した前記出力要求に含まれる設定に基づいて、前記出力対象を当該出力装置に出力する出力手段と、
    を備えることを特徴とする出力装置。

Images