JP7127443B2 - メッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラム - Google Patents

Description

本発明は、メッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムに関し、特にカスタマイズされた操作画面について遣り取りされるメッセージを理解し易くなるように変換する技術に関する。

近年、電子写真方式の画像形成装置は多機能化が進んでおり、さまざまな機能を備えた複合機（MFP: Multi-Function Peripheral）が広く普及している。このため複合機を操作するための操作パネルの表示内容もまた複雑になってきているが、その一方で、複合機のユーザーは必ずしもすべての機能を満遍なく利用している訳でなく、一部の機能しか利用しないことが多い。また、オフィス等で複合機を利用する場合にはコスト管理などの目的から、利用することができる機能を制限したい場合がある。

このような理由から、複合機の操作画面をカスタマイズさせる技術が提案されてる（例えば、特許文献１を参照）。このような従来技術によれば、ユーザーの利用を制限したい機能については操作パネルに表示しないようにすることができる。従って、多数のユーザーが複合機を共用する場合であっても、機能ごとの利用の可否を全ユーザーに周知徹底しなくても、確実にコスト管理などを実行することができる。

特開２０１６－４５７８８号公報 特開２００９－１１００５０号公報

しかしながら、複合機の操作画面がカスタマイズされていると、カスタマイズされていないデフォルトの操作画面を想定して作成されたマニュアルを参照しても、複合機の操作の仕方を理解することができなくなる恐れがある。また、複合機の機能ごとの利用頻度がユーザーによって異なっていることも多いため、利用頻度が低い機能を利用する際に、操作のし方がすぐには分からない場合もあり得る。

このような場合に、複合機のカスタマー・サービスを利用して操作方法を問い合わせることができればユーザーの利便性を向上させることができる。しかしながら、操作画面がカスタマイズされた結果、操作画面上のボタン等の配置や機能その他の名称が変更されている場合には、問い合わせを受けたカスタマー・エンジニア（CE）は操作画面のカスタイマイズ後の表示状態を知ることができないために、ユーザーからの問い合わせの内容を理解することが難しくなる場合がある。

また、ＣＥがデフォルトの操作画面の表示状態に基づいて操作方法を説明しても、ユーザーにとってＣＥの説明内容を理解することが難しい場合には、カスタマイズ後の操作画面を用いて所望の操作を実行することができない恐れがある。

本発明は、上述のような問題に鑑みて為されたものであって、カスタマイズされた操作画面について遣り取りされるメッセージを理解し易くなるように変換することができるメッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムを提供することを目的とする。

上記目的を達成するため、本発明に係るメッセージ変換システムは、***作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換システムであって、デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に***作装置本体に対して行うこととなる動作制御の識別情報を取得する第１の取得手段と、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記***作装置に対して行うこととなる動作制御の識別情報を前記***作装置から取得する第２の取得手段と、前記***作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成手段と、カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換手段と、を備えることを特徴とする。

この場合において、前記動作制御の識別情報は、前記操作パネルに前記操作画面を表示するためのソースコードにおいて、当該動作制御の実行を前記***作装置に要求するためのＡＰＩライブラリ関数を指定する情報であってもよい。

また、前記操作画面を表示するためのスクリプトは、ＨＴＭＬおよびＪａｖａｓｃｒｉｐｔ（登録商標）を用いて記述されており、前記第１、第２の取得手段は、ｉｎｐｕｔタグ内のｖａｌｕｅ属性で指定された文字列または当該ｉｎｐｕｔタグの直前に記載された文字列を操作メニューの名称として特定し、前記ｉｎｐｕｔタグのｏｎｃｌｉｃｋ属性で指定されたＪａｖａｓｃｒｉｐｔ（登録商標）関数を前記動作制御の識別情報として特定してもよい。

或いは、前記操作画面を表示するためのスクリプトは、ＨＴＭＬおよびＪａｖａｓｃｒｉｐｔ（登録商標）を用いて記述されており、前記第１、第２の取得手段は、ｉｎｐｕｔタグ内のｖａｌｕｅ属性で指定された文字列または当該ｉｎｐｕｔタグの直前に記載された文字列を操作メニューの名称として特定し、前記ｉｎｐｕｔタグのｏｎｃｌｉｃｋ属性で指定されたＪａｖａｓｃｒｉｐｔ（登録商標）関数内で用いられているＡＰＩライブラリ関数を前記動作制御の識別情報として特定してもよい。

また、前記置換手段は、音声入力によって前記メッセージを受け付けてもよい。

また、前記置換手段は、画面入力された操作指示から前記メッセージを生成してもよい。

また、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の位置情報を前記***作装置から取得する第３の取得手段と、デフォルト画面についてのメッセージをカスタマイズ後の操作画面についてのメッセージに変換する場合に、前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対して当該操作項目の位置情報を追加する追加手段と、を備えるのが望ましい。

また、前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対応する当該操作項目の位置情報が示す位置の表示内容を、前記***作装置に強調表示させる強調表示手段を備えると好適である。

また、前記置換手段による置き換え後のメッセージを、前記***作装置に音声出力させる音声出力手段と、を備えてもよい。

また、前記置換手段による置き換え後のメッセージを、前記***作装置の操作画面にテキスト表示させるテキスト表示手段を備えてもよい。

また、***作装置の操作パネルに表示した操作画面に関するメッセージを変換するメッセージ変換システムであって、操作画面に表示される操作項目ごとに、当該操作項目の名称および位置情報を取得する取得手段と、メッセージを受け付ける受付手段と、受け付けたメッセージが前記操作項目の名称を含む場合には、当該操作項目の位置情報を特定し、当該位置情報を含むメッセージに変換する変換手段と、を備えてもよい。

また、前記受付手段は、音声入力によって前記メッセージを受け付けてもよい。

また、前記変換後のメッセージを音声出力する音声出力手段を備えてもよい。

また、前記変換後のメッセージを、前記***作装置の操作画面上にテキスト表示するテキスト表示手段を備えてもよい。

また、前記変換手段が特定した前記位置情報が示す位置を、前記***作装置の操作画面に表示してもよい。

また、前記***作装置は、画像形成装置であってもよい。

また、本発明に係るメッセージ変換方法は、***作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法であって、デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に***作装置本体に対して行うこととなる動作制御の識別情報を取得する第１の取得ステップと、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記***作装置に対して行うこととなる動作制御の識別情報を前記***作装置から取得する第２の取得ステップと、前記***作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、を含むことを特徴とする。

また、本発明に係るメッセージ変換プログラムは、***作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法をコンピューターに実行させるメッセージ変換プログラムであって、デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に***作装置本体に対して行うこととなる動作制御の識別情報を取得する第１の取得ステップと、カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記***作装置に対して行うこととなる動作制御の識別情報を前記***作装置から取得する第２の取得ステップと、前記***作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、をコンピューターに実行させることを特徴とする。

このようにすれば、メッセージ中のカスタマイズ画面の操作項目の名称をデフォルト画面の操作項目の名称に置き換えるので、ＣＥは、カスタマイズ画面を知らなくても、ユーザーからの問い合わせメッセージの内容を理解することができる。また、メッセージ中のデフォルト画面の操作項目の名称をカスタマイズ画面の操作項目の名称に置き換えるので、デフォルト画面を用いた操作指示をメッセージ送信すれば、カスタマイズ画面を用いた操作指示をユーザーに伝えることができる。

本発明の実施の形態に係るメッセージ変換システム１のシステム構成を示す図である。 メッセージ変換システム１の典型的な動作を説明するシーケンス図である。 複合機１１０の主要な構成を示す外観斜視図である。 制御部３００の主要な構成を示すブロック図である。 問い合わせの送信に関する制御部３００の主要な動作を示すフローチャートである。 仲介サーバー１００の主要な構成を示すブロック図である。 仲介サーバー１００の主要な動作を示すフローチャートである。 仲介サーバー１００による対比表作成処理を説明するフローチャートである。 ＰＣ１２０の主要な構成を示すブロック図である。 ＰＣ１２０の主要な動作を示すフローチャートである。 メッセージ変換システム１の動作例を示すシーケンス図である。 （ａ）はカスタマイズ画面の一例として簡単コピー画面を示す図であり、（ｂ）は簡単コピー画面に関連する詳細設定を行わせる簡単コピー／詳しく画面を例示する図である。 簡単コピー画面のソースコードの一部を例示する図である。 簡単コピー画面および簡単コピー／詳しく画面の画面名称、ＵＩ名称、ＵＩ位置およびＡＰＩライブラリ関数を一覧するＵＩ名称一覧表を示す図である。 （ａ）はデフォルト画面の一例としてコピー操作画面を示す図であり、（ｂ）はコピー操作画面に関連する詳細設定を行わせるコピー／詳細画面を例示する図である。 コピー操作画面およびコピー／詳細画面の画面名称、ＵＩ名称およびＡＰＩライブラリ関数を一覧するＵＩ名称一覧表を示す図である。 対比表を例示する図である。 メッセージ変換システム１の別の動作例を示すシーケンス図である。 本発明の変形例に係る複合機１１０の主要な動作を示すフローチャートである。 本発明の変形例に係る複合機１１０が実行するＵＩ名称一覧表作成処理を説明するフローチャートである。 （ａ）は強調表示を行った操作画面を例示する図であり、（ｂ）は応答テキストを表示した操作画面を例示する図である。

以下、本発明に係るメッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムの実施の形態について、図面を参照しながら説明する。
［１］メッセージ変換システムの構成
まず、本実施の形態に係るメッセージ変換システムのシステム構成について説明する。

図１に示すように、本実施の形態に係るメッセージ変換システム１は、オフィス１１２に設置された複合機（MFP: Multi-Function Peripheral）１１０、インターネット１３０に接続された仲介サーバー１００およびサービス・センター１２２に設置されたパーソナル・コンピューター（PC）１２０を備えており、複合機１１０およびＰＣ１２０もまたインターネット１３０に接続されている。

複合機１１０は、操作パネル１１１を備えている。操作パネル１１１は、液晶ディスプレイ（LDC: Liquid Crystal Display）とタッチパッドとからなるタッチパネルを備えており、ユーザーに対して情報を提示したり、ユーザーから指示入力を受け付けたりする。操作パネル１１１の液晶ディスプレイに表示される操作画面は、ユーザーがカスタマイズすることができる。

操作パネル１１１は、タッチパネルの他、ハードキー、マイクロおよびスピーカーを備えており、マイクロを用いてユーザーから音声指示を受け付けたり、スピーカーを用いてユーザーに対する音声出力を行ったりすることができる。また、ハードキーのうちの１つは音声ガイドキーになっている。ユーザーが当該音声ガイドキーを押下すると、サービス・センター１２２から音声によるカスタマー・サービスを受けることができる。

サービス・センター１２２のＰＣ１２０にはヘッドセット１２１が接続されている。ヘッドセット１２１はスピーカーとマイクとを備えており、サービス・センター１２２のカスタマー・エンジニア（CE）はヘッドセット１２１を装着することによって、複合機１１０のユーザーに音声によるカスタマー・サービスを提供することができる。
［２］メッセージ変換手順
次に、メッセージ変換システム１のメッセージ変換手順について説明する。

図２に示すように、複合機１１０は、音声ガイドキーが押下され、ユーザーから音声による問い合わせを受け付けると、当該問い合わせの音声データを仲介サーバー１００へ送信する。複合機１１０の操作パネル１１１の液晶ディスプレイに表示される操作画面は、ユーザーによってカスタマイズされており、当該音声による問い合わせは、カスタマイズ後の操作画面（以下、「カスタマイズ画面」という。）に表示される名称（カスタマー名称）を含んでいる可能性がある。

問い合わせを受けた仲介サーバー１００は、複合機１１０に対して、操作パネル１１１の液晶ディスプレイに操作画面を表示するためのソースコードを要求する。本実施の形態においては、当該ソースコードはＨＴＭＬ（HyperText Markup Language）で記述されているが、他の言語で記述されていてもよい。仲介サーバー１００からの要求に対して、複合機１１０はユーザーがカスタマイズした操作画面のソースコードを仲介サーバー１００に送信する。

仲介サーバー１００は、複合機１１０からソースコードを受け付けると、当該ソースコードの内容を精査して、ユーザー・インターフェイス（UI）毎に、デフォルトの操作画面（以下、「デフォルト画面」という。）における名称（以下、「デフォルト名称」という。）と、カスタマイズ画面における名称（以下、「カスタイマイズ名称」という。）と、を対比する対比表を作成する。

次いで、仲介サーバー１００は、複合機１１０から受けた問い合わせ中のＵＩ名称を、対比表で当該ＵＩ名称に対応するデフォルト画面のＵＩ名称に置き換えて、置換後の問い合わせ音声データをＰＣ１２０へ送信する。置換後の問い合わせ音声データを受け付けると、ＰＣ１２０はヘッドセット１２１のスピーカーを用いて当該音声を再生出力し、サービス・センター１２２のＣＥに聴かせる。

当該再生出力に先立って、ＰＣ１２０は、問い合わせ音声データを受信した旨を画面表示や音声出力によってＣＥに報知し、当該報知を受けたＣＥが問い合わせ音声の再生を指示してもよい。

その後、ＰＣ１２０は、音声入力によって、ＣＥからの応答を受け付けると、当該応答音声データを仲介サーバー１００へ送信する。ＣＥは、ユーザー側のカスタマイズ画面のＵＩ名称を知り得ないので、応答音声においてはデフォルト画面のＵＩ名称が使用される。

応答音声データを受信すると、仲介サーバー１００は、対応表を参照して、応答音声で使用されているデフォルト画面のＵＩ名称をカスタマイズ画面のＵＩ名称に置き換える。仲介サーバー１００は、更に、カスタマイズ画面のＵＩ名称に当該ＵＩの表示位置情報を追加して、置換および追加後の応答音声データを複合機１１０へ送信する。

複合機１１０は、応答音声データを受信すると、操作パネル１１１のスピーカーを用いて当該応答音声を再生出力する。

このようにすれば、ユーザーからの問い合わせに対して、複合機１１０の操作画面がカスタマイズされていても、当該カスタマイズ画面を用いてユーザー操作を行うための操作指示を生成して、ユーザーに報知することができる。
［３］複合機１１０の構成と動作
次に、複合機１１０の構成と動作について説明する。
（３－１）複合機１１０の構成
図３に示すように、複合機１１０は、画像形成部３０１、給紙部３０２、画像読み取り部３０３、操作パネル１１１および後処理部３０６等を備えており、画像形成処理、複写処理、ファクシミリ送受信処理などの処理を実行する。画像形成部３０１には、制御部３００、作像部および定着部（いずれも不図示）が搭載されており、制御部３００はインターネット１３０およびファクシミリ回線（不図示）に接続されている。

操作パネル１１１は、液晶ディスプレイ（LCD: Liquid Crystal Display）とタッチパッドを有するタッチパネル３１１、スピーカー３１２、マイク３１３および音声ガイドキー３１４を備えており、複合機１１０のユーザーに対する情報提示や、ユーザーによるタッチ入力およびキー入力の受け付け、警報音の鳴動によるユーザーの注意喚起などを行う。

複合機１１０のユーザーが操作パネル１１１を操作することによって複合機１１０に画像形成処理を指示したり、制御部３００にて他の装置から印刷ジョブを受け付けたりした場合、画像形成部３０１は、作像部にてモノクロ又はカラーのトナー像を形成する。

当該トナー像の形成と並行して、給紙部３０２が記録シートを供給すると、画像形成部３０１は当該記録シートにトナー像を転写した後、定着部にてトナー像を記録シートに熱定着する。両面印刷を行う場合には、記録シートを再給紙経路へ搬送し、表裏を反転させて、記録シートの裏面にトナー像を転写し、熱定着する。トナー像の熱定着を完了した記録シートは、後処理を行わない場合には、胴内空間に設けられた排紙トレイ３０５へ排出される。

後処理を行う場合には、画像形成部３０１は記録シートを後処理装置３０６へ排出する。後処理装置３０６は、折り、パンチ、綴じ、断裁、挿入、ステープル、スタック等の後処理を記録シートに施した後、後処理装置３０６の側面から突出するように設けられた排紙トレイ３０７へ排出する。排紙トレイ３０７は複数のトレイからなっている。

原稿の読み取り処理や複写処理、ファクシミリ送信処理などを実行する際には、画像読み取り部３０３がカラー原稿またはモノクロ原稿を読み取って画像データを生成する。画像読み取り部３０３は、プラテンセット方式に従ってプラテンガラス上に載置された原稿を読み取ってもよいし、シートスルー方式に従って自動原稿搬送装置（ADF: Automatic Document Feeder）で原稿を搬送しながら、原稿の片面または両面を読み取ってもよい。

複写処理の場合は、読み取った画像データを用いて画像形成部３０１が画像形成を実行する。ファクシミリ送信処理の場合は、読み取った画像データを送信先のファクシミリ装置とネゴシエーションした解像度でファクシミリ送信する。制御部３００はファクシミリ回線を経由してファクシミリ・データを受信することもできる。

なお、給紙部３０２は、複数の給紙トレイを備えており、ユーザーが指定した給紙トレイ、またはユーザーが給紙トレイを指定しなかった場合には優先指定されている給紙トレイから記録シートを供給する。
（３－２）制御部３００の構成
次に、制御部３００の構成と動作について説明する。

図４に示すように、制御部３００は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３等を備えており、複合機１１０に電源が投入されると、ＣＰＵ４０１はＲＯＭ４０２からブートプログラムを読み出して、ＲＡＭ４０３を作業用記憶領域として起動する。その後、ＣＰＵ４０１はＨＤＤ（Hard Disk Drive）４０４からＯＳや制御プログラムを読み出して実行する。

ＮＩＣ（Network Interface Card）４０５は、ＣＰＵ４０１がインターネット１３０を経由して仲介サーバー１００にアクセスするための通信処理を実行する。ＦＡＸインターフェイス４０６は、ファクシミリ回線を経由したファクシミリ・データの送受信を実行する。

画像形成処理を実行する際には、ＣＰＵ４０１は、作像部４１１を制御してモノクロまたはカラーのトナー像を形成し、定着部４１２を温度制御しながら記録シートにトナー像を熱定着する。また、ＣＰＵ４０１は、給紙部５０２を制御してユーザーが指定した記録シートを給紙させる。

ＣＰＵ４０１は、操作パネル５０４を用いて、ユーザーに情報を表示したり、ユーザーからの指示入力を受け付けたりする。更に、ＣＰＵ４０１は、後処理部５０６を制御して、折り、パンチ、綴じ、断裁、挿入、ステープル、スタック等の後処理を記録シートに施して、排紙トレイ５０７上に排出する。
（３－３）制御部３００の動作
図５に示すように、制御部３００は、音声ガイドキー３１４が押下されたら（Ｓ５０１：ＹＥＳ）、ユーザーからマイク３１３にて問い合わせの音声入力を受け付けて（Ｓ５０２）、受け付けた問い合わせの音声データを、インターネット１３０を経由して仲介サーバー１００へ送信する（Ｓ５０３）。複合機１１０のユーザーは、カスタマイズ画面に表示されたＵＩ名称を使用して当該問い合わせを行うことができる。

その後、仲介サーバー１００からソースコードの要求を受け付けると（Ｓ５０４：ＹＥＳ）、当該処理要求に応じてカスタマイズしたソースコードを仲介サーバー１００へ送信する（Ｓ５０５）。このとき、ソースコードと併せて、複合機１１０の機種を識別するための識別情報を仲介サーバーへ送信する。

更に、仲介サーバー１００から応答の音声データを受信したら（Ｓ５０６：ＹＥＳ）、当該応答をスピーカー３１２にて応答を音声出力する（Ｓ５０７）。当該応答にはカスタマイズ画面に表示されたＵＩ名称が使用されているので、複合機１１０のユーザーがカスタマイズ画面を用いて操作を行う際に便利である。
［４］仲介サーバー１００の構成と動作
次に、仲介サーバー１００の構成と動作について説明する。
（４－１）仲介サーバー１００の構成
次に、仲介サーバー１００の構成と動作について説明する。

図６に示すように、仲介サーバー１００は、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３等を備えており、電源が投入されると、ＣＰＵ６０１はＲＯＭ６０２からブートプログラムを読み出して、ＲＡＭ６０３を作業用記憶領域として起動する。その後、ＣＰＵ６０１はＨＤＤ（Hard Disk Drive）６０４からＯＳや制御プログラムを読み出して実行する。

ＮＩＣ（Network Interface Card）６０５は、ＣＰＵ６０１がインターネット１３０を経由して複合機１１０およびＰＣ１２０にアクセスするための通信処理を実行する。ＨＤＤ６０４は複合機１１０の機種ごとに、デフォルト画面の名称および当該デフォルト画面に表示されるＵＩ名称にｏｎｃｌｉｃｋ要素またはＡＰＩライブラリ関数を対応付けた一覧表を予め記憶している。
（４－２）仲介サーバー１００の動作
図７に示すように、仲介サーバー１００は、複合機１１０から問い合わせ音声データを受信したら（Ｓ７０１：ＹＥＳ）、当該問い合わせ音声に含まれたＵＩ名称をカスタマイズ画面のＵＩ名称からデフォルト画面のＵＩ名称に置換するために、複合機１１０の操作パネル１１１にカスタマイズ画面を表示するためのソースコードを要求する（Ｓ７０２）。当該ソースコードは、本実施の形態においてはＨＴＭＬで記述されているが、他の言語で記述されていてもよい。

複合機１１０からソースコードを受信すると（Ｓ７０３：ＹＥＳ）、仲介サーバー１００は、当該ソースコードを後述のように解析して対比表を作成する対比表作成処理を実行する（Ｓ７０４）。また、仲介サーバー１００は、音声認識技術を用いて、問い合わせの音声データ（問い合わせメッセージ）をテキストデータに変換し（Ｓ７０５）、当該テキストデータを単語ごとに分節して、名詞を抽出する。

そして、抽出した名詞が、カスタマイズ画面のＵＩ名称または画面名称として対比表に記載されているか確認して、記載されている場合には名詞を当該カスタマイズ画面のＵＩ名称または画面名称に対応するデフォルト画面のＵＩ名称または画面名称に置き換える（Ｓ７０６）。仲介サーバー１００は、置換後のテキストデータ（置換後の問い合わせメッセージ）から音声データを合成して、ＰＣ１２０へ送信する（Ｓ７０７）。

ＰＣ１２０から応答の音声データを受信すると（Ｓ７０８：ＹＥＳ）、仲介サーバー１００は、音声認識技術を用いて、応答の音声データ（応答メッセージ）をテキストデータに変換する（Ｓ７０９）。そして、上記と同様に対比表を用いて、当該テキストデータに含まれているデフォルト画面のＵＩ名称および画面名称をカスタマイズ画面のＵＩ名称および画面名称に置き換えるとともに、ＵＩ名称に当該ＵＩの位置を追加する（Ｓ７１０）。

例えば、応答テキストデータが「コピーのステープル」であって、対比表において、画面名称は「コピー」に「簡単コピー」が対応し、ＵＩ名称は「ステープル」に「ホッチキス」が対応し、「ホッチキス」に対応するＵＩ位置が「右の２番目」である場合には、「簡単コピーの右の２番目のホッチキス」のようにＵＩ名称および画面名称を置換し、ＵＩ位置を追加する。

仲介サーバー１００は、音声合成技術を用いて、最後に、置換および追加後のテキストデータ（置換および追加後の応答メッセージ）から音声データを合成し、合成した音声データを複合機１１０へ送信する（Ｓ７１１）。
（４－３）対比表作成処理
仲介サーバー１００が実行する対比表作成処理について説明する。

対比表作成処理においては、図８に示すように、仲介サーバー１００は、ソースコードを参照して、画面名称を取得する（Ｓ８０１）。本実施の形態においては、ソースコード中の＜ｔｉｔｌｅ＞タグを用いて画面名称が指定されており、当該＜ｔｉｔｌｅ＞タグを検出することによって画面名称を特定する。次に、操作画面上の上下方向におけるＵＩ位置を表す作業用変数Ｒｏｗの値を０に初期化する（Ｓ８０２）。

そして、ソースコードを先頭から順に探索して、＜ｄｉｖ＞タグを取得する（Ｓ８０３）。取得した＜ｄｉｖ＞タグがｔａｂｌｅ属性である場合には（Ｓ８０４：ＹＥＳ）、ステップＳ８０３へ進む。取得した＜ｄｉｖ＞タグの属性がｒｏｗである場合には、言い換えると＜ｄｉｖ＞タグのｃｌａｓｓが「ｒｏｗ」ならば（Ｓ８０５：ＹＥＳ）、テーブル内で格子状に配列されたＵＩ位置の新しい行が開始されたと判断して、作業用変数Ｒｏｗの値を１だけ増加させるとともに、左右方向におけるＵＩ位置を表す作業用変数Ｃｏｌｕｍｎの値を０にし（Ｓ８１２）、ステップＳ８０３へ進む。

取得した＜ｄｉｖ＞タグが＜ｉｎｐｕｔ＞タグを含んでいない場合は（Ｓ８０６：ＮＯ）、＜ｄｉｖ＞タグに含まれている文字列をＵＩ名称として取得する（Ｓ８１３）。一方、取得した＜ｄｉｖ＞タグが＜ｉｎｐｕｔ＞タグを含んでいたら（Ｓ８０６：ＹＥＳ）、ｏｎｃｌｉｃｋ要素を取得する（Ｓ８０７）。なお、ソースコードの冒頭で、ｊａｖａｓｃｒｉｐｔ（登録商標）を用いてｏｎｃｌｉｃｋ要素が定義されている場合には、ｏｎｃｌｉｃｋ要素に代えて、ｏｎｃｌｉｃｋ要素の当該定義の中に記載されているＡＰＩライブラリ関数の名称を取得してもよい。

その後、作業用変数Ｃｏｌｕｍｎの値を１だけ増加させ（Ｓ８０８）、デフォルト画面に関する一覧表を参照して、ステップＳ８０８で取得したｏｎｃｌｉｃｋ要素またはＡＰＩライブラリ関数の名称に対応するデフォルト画面のＵＩ名称と画面名称とを取得する（Ｓ８０９）。そして、カスタマイズ画面のＵＩ名称、画面名称、ｏｎｃｌｉｃｋ要素およびＵＩの表示位置情報（作業用変数Ｒｏｗ、Ｃｏｌｕｍｎの値）と、デフォルト画面のＵＩ名称および画面名称とを対比表に記録する（Ｓ８１０）。

更に、ソースコードを参照して、ＥＯＦ（End of File）ならば（Ｓ８１１：ＹＥＳ）、対比表作成処理を終了する。ＥＯＦでなければ（Ｓ８１１：ＮＯ）、ステップＳ８０３へ進む。
［５］ＰＣ１２０の構成と動作
次に、ＰＣ１２０の構成と動作について説明する。
（５－１）ＰＣ１２０の構成
次に、ＰＣ１２０の構成と動作について説明する。

図９に示すように、ＰＣ１２０は、ＣＰＵ（Central Processing Unit）９０１、ＲＯＭ（Read Only Memory）９０２、ＲＡＭ（Random Access Memory）９０３等を備えており、電源が投入されると、ＣＰＵ９０１はＲＯＭ９０２からブートプログラムを読み出して、ＲＡＭ９０３を作業用記憶領域として起動する。その後、ＣＰＵ９０１はＨＤＤ（Hard Disk Drive）９０４からＯＳや制御プログラムを読み出して実行する。

ＮＩＣ（Network Interface Card）９０５は、ＣＰＵ９０１がインターネット１３０を経由して仲介サーバー１００にアクセスするための通信処理を実行する。液晶ディスプレイ９０６はＣＥに問い合わせの入着を報知するなど、情報を提示するキーボード９０７およびマウス９０８はＣＥがＰＣ１２０に情報を入力したり処理を指示したりするために用いられる。

ヘッドセット１２１は、マイク９０１とスピーカー９１１を備えており、スピーカー９１１を用いて問い合わせを音声出力したり、マイク９０１を用いて応答を音声入力したりするのに用いられる。
（５－２）ＰＣ１２０の動作
図１０に示すように、ＰＣ１２０は、仲介サーバー１００から問い合わせ音声データを受信したら（Ｓ１００１：ＹＥＳ）、液晶ディスプレイ９０６にて画面表示をしたり、スピーカー９１１から呼び出し音を出力したりして、問い合わせの入着を報知する（Ｓ１００２）。これに対して、ＣＥがＰＣ１２０に問い合わせ音声の再生を指示すると（Ｓ１００３：ＹＥＳ）、ＰＣ１２０はスピーカー９１１を用いて問い合わせ音声を再生する（Ｓ１００４）。

その後、ＰＣ１２０は、ＣＥから応答の音声入力を受け付けると（Ｓ１００５：ＹＥＳ）、当該応答の音声データを仲介サーバー１００へ送信する（Ｓ１００６）。
［６］動作例
次に、例を挙げて本実施の形態に係るメッセージ変換システム１の動作を説明する。
（６－１）動作の概要
本動作例は、図１１に示すように、まず、複合機１１０のユーザーが音声ガイドキー３１４を押下して、「ホッチキスのとめ方を教えて」との問い合わせを音声入力すると、複合機１１０は当該音声データを仲介サーバー１００に送信する。

仲介サーバー１００は、当該音声データにカスタマイズ画面のＵＩ名称や画面名称が含まれていたら、デフォルト画面のＵＩ名称や画面名称に置き換える。本動作例では、カスタマイズ画面におけるＵＩ名称である「ホッチキス」がデフォルト画面のＵＩ名称である「ステープル」に置き換えられる。この置換によって、問い合わせ音声が「ホッチキスのとめ方を教えて」から「ステープルのとめ方を教えて」に変更される。仲介サーバー１００は、置換後の問い合わせ音声データをサービス・センター１２２のＰＣ１２０へ送信する。

サービス・センター１２２のＰＣ１２０は、受信した問い合わせ音声を再生して、ＣＥに聴かせた後、当該ＣＥから応答の音声入力を受け付ける。本動作例では、応答の音声は「ステープルを有効にして下さい」というものである。ＰＣ１２０は、応答の音声を受け付けると、当該音声データを仲介サーバー１００へ送信する。

仲介サーバー１００は、ＰＣ１２０から応答の音声データを受信すると、当該音声データに含まれているデフォルト画面のＵＩ名称や画面名称をカスタマイズ画面のＵＩ名称や画面名称に置き換えるとともに、カスタマイズ画面のＵＩ名称に当該ＵＩの表示位置情報を追加する。これによって、「ステープルを有効にして下さい」が「簡単コピー画面の右の２番目のホッチキスを有効にして下さい」に変更される。仲介サーバー１００は、置換及び追加後の応答の音声データを複合機１１０へ送信する。
（６－２）カスタマイズ画面
本動作例に係るカスタマイズ画面は、図１２（ａ）に示すように、コピー操作を行うための操作画面であって、画面名称は「簡単コピー」である。「簡単コピー」画面の１行目第１列のＵＩ１２０１のＵＩ名称は「色」であり、第２列のＵＩ１２０２のＵＩ名称は「Ｎｕｐ」である。第２行第１列のＵＩ１２０３のＵＩ名称は「部数」であり、第２列のＵＩ１２０４のＵＩ名称は「ホッチキス」であって、各項目について設定を行うことができる。

第３列の左側部分には「詳しく」ボタンが設けられており、「詳しく」ボタンがタッチされると、「簡単コピー／詳しく」画面が表示される。また、右側部分には「開始」ボタンが設けられており、「開始」ボタンがタッチされると、複合機１１０がコピー動作を開始する。

「簡単コピー／詳しく」画面は、図１２（ｂ）に示すように、「簡単コピー」画面に関する詳細設定を行うための画面である。「簡単コピー／詳しく」画面には、「原稿種別」、「原稿サイズ」、「枠消し」、「印刷サイズ」、「白紙除去」、「パンチ」、「メディア」、「綴じ方向」などのＵＩ名称が表示されており、各項目について設定を行うことができる。

また、「簡単コピー／詳しく」画面の右下には「ｃａｎｃｅｌ」ボタンおよび「ＯＫ」ボタンが配置されている。「ｃａｎｃｅｌ」ボタンがタッチされると、「簡単コピー／詳しく」画面を表示させてから当該操作画面の各項目について行った設定が無効にされ、「簡単コピー」画面へ復帰する。一方、「ＯＫ」ボタンがタッチされると、「簡単コピー／詳しく」画面を表示させてから当該操作画面の各項目について行った設定が有効にされ、「簡単コピー」画面へ復帰する。

カスタマイズ画面「簡単コピー」を表示するためのソースコードは、図１３に示すように、＜ｔｉｔｌｅ＞タグを用いて画面名称１３０１である「簡単コピー」が記述されている。続いて、＜ｈｅａｄ＞タグ内の更に＜ｓｃｒｉｐｔ＞タグ内にｊａｖａｓｃｒｉｐｔ（登録商標）を用いてＯｎＢｕｔｔｏｎ１Ｃｌｉｃｋ（）などのｏｎｃｌｉｃｋ関数が定義されている。図示は省略するが、この定義には複合機１１０のＡＰＩライブラリ関数が使用される。

更に、下方には、＜ｄｉｖ＞タグ１３０４を用いて、罫線を伴わない表である旨が宣言され、更に、＜ｄｉｖ＞タグ１３０５を用いて、ＵＩが１行に配置される旨が宣言された後、１つ目のＵＩのＵＩ名称１３０６である「色」が記載されている。同様に、ＵＩ名称１３０７、１３０９および１３１０は「Ｎｕｐ」、「部数」および「ホッチキス」である。

なお、ＵＩ名称１３０７、１３０９の間で＜ｄｉｖ＞タグ１３０８によって、新たな行が宣言されているので、ＵＩ名称１３０６、１３０７と、ＵＩ名称１３０９、１３１０とは異なる行に配置される。

ＵＩ名称１３１０の「ホッチキス」に対応する＜ｉｎｐｕｔ＞タグはｏｎｃｌｉｃｋ要素１３１１として、ＯｎＢｕｔｔｏｎ４Ｃｌｉｃｋ（）が記載されている。また、上方の＜ｓｃｒｉｐｔ＞タグ内では当該ＯｎＢｕｔｔｏｎ４Ｃｌｉｃｋ（）の内容が定義されており、当該定義を参照することによって、ＵＩ名称１３１０に対応するＡＰＩライブラリ関数を特定することができる。

ソースコードの末尾はＥＯＦ１３１２になっている。

図１４は、図１３に例示した「簡単コピー」画面のソースコードおよび「簡単コピー／詳しく」画面のソースコード（図示省略）に基づいて作成したＵＩ一覧表である。ＵＩ一覧表では、ＡＰＩ毎に、当該ＡＰＩに対応する画面名称、ＵＩ名称およびＵＩ位置が記録される。例えば、「簡単コピー」画面の「右の２番目」に表示され、ＵＩ名称が「ホッチキス」のＵＩは「ＡＰＩ＿Ｓｔａｐｌｅ」というＡＰＩライブラリ関数に対応付けて記録されている。

なお、ＡＰＩ欄に代えてｏｎｃｌｉｃｋ要素欄を設けてｏｎｃｌｉｃｋ要素の名称を記録してもよい。この場合、例えば、ＵＩ名称「ホッチキス」に対応するＡＰＩライブラリ関数「ＡＰＩ＿Ｓｔａｐｌｅ」に代えて、ｏｎｃｌｉｃｋ要素の名称「ＯｎＢｕｔｔｏｎ４Ｃｌｉｃｋ」が記録される。
（６－３）デフォルト画面
デフォルト画面の一例として、ＡＰＩライブラリ関数「ＡＰＩ＿Ｓｔａｐｌｅ」に対応するＵＩ名称「ステープル」が表示される「コピー」画面を図１５（ａ）に示す。「コピー」画面には、「原稿サイズ」、「Ｎｕｐ」、「用紙サイズ」、「ステープル」、「カラー」、「パンチ」、「部数」、「綴じ方向」等のＵＩ名称が表示されており、各項目について設定を行うことができる。また、「コピー」画面の左下部分には「コピー」画面に関する詳細設定を行うデフォルト画面である「コピー／詳細」画面を表示するための「詳細」ボタンが設けられている。また、「開始」ボタンは複合機１１０にコピーを開始させるためのボタンである。

図１５（ｂ）に示すように、「コピー／詳細」画面には「原稿種別」、「枠消し」、「白紙除去」、「メディア」等のＵＩ名称が表示されており、各項目について設定を行うことができる。「ｃａｎｃｅｌ」ボタンは、「簡単コピー／詳しく」画面を表示させてから当該操作画面の各項目について行った設定が無効にされ、「簡単コピー」画面へ復帰するボタンである。「ＯＫ」ボタンは、「簡単コピー／詳しく」画面を表示させてから当該操作画面の各項目について行った設定が有効にされ、「簡単コピー」画面へ復帰するボタンである。

図１６は、デフォルト画面「コピー」、「コピー／詳細」に関するＵＩ一覧表である。図１６のＵＩ一覧表では、例えば、ＡＰＩライブラリ関数「ＡＰＩ＿Ｓｔａｐｌｅ」に対応するＵＩ名称として「ステープル」、画面名称として「コピー」が記録されている。
（６－４）対比表
対比表は、図１７に示すように、デフォルト画面のＵＩとカスタマイズ画面のＵＩとをＡＰＩライブラリ関数をキーとして対応付ける表である。「デフォルト画面」欄は、「画面名称」、「ＵＩ名称」の２つの欄からなっており、「カスタマイズ画面」欄は、「画面名称」、「ＵＩ名称」に加えて「ＵＩ位置」の３つの欄からなっており、いずれの欄にも「ＡＰＩライブラリ関数」欄に記載されたＡＰＩライブラリ関数に対応する画面名称、ＵＩ名称およびＵＩ位置が記録される。

例えば、「ＡＰＩライブラリ関数」欄が「ＡＰＩ＿Ｓｔａｐｌｅ」である場合には、「デフォルト画面」欄の「画面名称」欄は「コピー」、「ＵＩ名称」は「ステープル」である。また、「カスタマイズ画面」欄の「画面名称」欄は「簡単コピー」であり、「ＵＩ名称」欄は「ホッチキス」であり、「ＵＩ位置」欄は「右の２番目」である。

このような対比表を用いれば、例えば、置換前の問い合わせテキストが「ホッチキス」ならば、「カスタマイズ画面」欄の「ＵＩ名称」欄の「ホッチキス」に対応する「デフォルト画面」欄の「ＵＩ名称」欄を参照して、問い合わせテキスト中の「ホッチキス」を「ステープル」に置き換えることができる。

逆に、置換前の応答テキストが「ステープル」ならば、「デフォルト画面」欄の「ＵＩ名称」欄の「ステープル」に対応する「カスタマイズ画面」欄の「ＵＩ名称」欄を参照して、応答テキスト中の「ステープル」を「ホッチキス」に置き換えることができる。
（６－５）別の動作例
図１８は、本実施の形態に係るメッセージ変換システム１の別の動作例を示すシーケンス図である。

図１８に示すように、複合機１１０のユーザーが、音声ガイドキー３１４を押下して、「バインダーに綴じれるように穴をあけてほしい。印刷されないページは消して。」との問い合わせ音声を、マイク３１３を用いて入力すると、当該問い合わせ音声を受信した仲介サーバー１００は、複合機１１０からソースコードを取得して対比表を作成し、問い合わせ音声の置換を試みる。しかしながら、当該問い合わせ音声にはＵＩ名称が含まれていないので、仲介サーバー１００は、問い合わせ音声をそのままサービス・センター１２２のＰＣ１２０へ送信する。

なお、この場合において、複合機１１０から受信した問い合わせ音声を一旦、テキストデータに変換した後、当該テキストデータから音声データを合成してＰＣ１２０へ送信してもよいし、置換すべきＵＩ名称が含まれていないので、複合機１１０から受信した問い合わせ音声をそのままＰＣ１２０へ送信してもよい。

この問い合わせに対して、サービス・センター１２２のＣＥが「用紙サイズはＡ４で縦の原稿でよいですか？」と応答すると、当該応答の音声データを受信した仲介サーバー１００は、対比表を参照して、ＵＩ名称の置換を試みるが、当該応答音声にはＵＩ名称が含まれていないので、仲介サーバー１００は、応答音声をそのまま複合機１１０へ送信する。

複合機１１０は、応答音声データを受信して、再生出力すると、複合機１１０のユーザーは、「はい」と音声入力するので、これを問い合わせ音声として仲介サーバー１００へ送信する。子の問い合わせ音声もまた置換すべきＵＩ名称が含まれていないので、仲介サーバー１００は当該問い合わせ音声データをＰＣ１２０へ送信する。

この場合において、複合機１１０のユーザーから１回目の問い合わせ音声と２回目の問い合わせ音声とが、仲介サーバー１００が受信した時間間隔が所定の時間間隔以下である等、互いに関連すると判断される場合には、仲介サーバー１００は、２回目の問い合わせ音声を受信しても、複合機１１０へのソースコードの要求を省略し、１回目の問い合わせ音声を受信した際に作成した対比表を継続して使用してもよい。

このようにすれば、同じソースコードを用いて同じ対比表を作成するという無駄な処理を省くことができるので、仲介サーバー１００および複合機１１０の処理負荷を低減することができる。また、複合機１１０のユーザーが問い合わせてからサービス・センター１２２のＣＥが応答するまでの応答時間を短縮することができるので、複合機１１０のユーザーにとっての利便性を向上させることができる。

サービス・センター１２２のＣＥは、複合機１１０のユーザーから「はい」との問い合わせ音声を受信すると、「用紙をＡ４縦に、綴じ方向を長辺綴じに、白紙除去を有効に、ステープルを長辺２点綴じに、パンチを２穴に設定して下さい。」との応答を音声入力して、当該応答音声データを仲介サーバー１００へ送信する。

当該応答音声データを受信した仲介サーバー１００は、対比表を参照して、「デフォルト画面」欄の「ＵＩ名称」欄に記載されている「ステープル」および「白紙除去」を「カスタマイズ画面」欄の「ＵＩ名称」欄の「ホッチキス」および「白紙削除」に置き換える。一方、「綴じ方向」および「パンチ」は、「デフォルト画面」欄の「ＵＩ名称」欄と「カスタマイズ画面」欄の「ＵＩ名称」欄とで同じであるため置き換えない、若しくは置き換えても変化しない。

当該置き換え後に、「カスタマイズ画面」欄の「ＵＩ名称」欄に記載されている「綴じ方向」に「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー／詳しく」と、「ＵＩ位置」欄の「右の４番目」との語を追加して、「簡単コピー／詳しく画面の右の４番目の綴じ方向」とする。

「カスタマイズ画面」欄の「ＵＩ名称」欄に記載されている「白紙除去」については、「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー／詳しく」と、「ＵＩ位置」欄の「左の３番目」との語を追加して、「簡単コピー／詳しく画面の左の３番目の白紙削除」とする。

「カスタマイズ画面」欄の「ＵＩ名称」欄に記載されている「ホッチキス」については、「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー」と、「ＵＩ位置」欄の「右の２番目」との語を追加して、「簡単コピー／詳しく画面の右の２番目のホッチキス」とする。

「カスタマイズ画面」欄の「ＵＩ名称」欄に記載されている「パンチ」については、「カスタマイズ画面」欄の「画面名称」欄の「簡単コピー／詳しく」と、「ＵＩ位置」欄の「右の３番目」との語を追加して、「簡単コピー／詳しく画面の右の３番目のパンチ」とする。

このように置換および追加した応答音声データを、仲介サーバー１００は、複合機１１０へ送信する。応答音声データを受信した複合機１１０は、当該応答音声を再生出力する。

以上のように、問い合わせ音声や応答音声は必ずしもＵＩ名称を含んでいるとは限らないが、本実施の形態に係るメッセージ変換システム１によれば、問い合わせ音声や応答音声がＵＩ名称を含んでいない場合であっても、複合機１１０のユーザーとサービス・センター１２２のＣＥとの会話を阻害することなく、円滑に進行させることができる。
［７］変形例
以上、本発明を実施の形態に基づいて説明してきたが、本発明が上述の実施の形態に限定されないのは勿論であり、以下のような変形例を実施することができる。
（７－１）上記の実施の形態においては、複合機１１０のユーザーからの問い合わせに対してサービス・センター１２２のＣＥが応答する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて、次のようにしてもよい。

例えば、複合機１１０のユーザーの問い合わせに対して、複合機１１０自体が応答してもよい。図１９に示すように、複合機１１０は、予めＵＩ名称の一覧表を作成し（Ｓ１９０１）、音声ガイドキー３１４が押下されたら（Ｓ１９０２：ＹＥＳ）、複合機１１０はガイド音声を出力して（Ｓ１９０３）、ユーザーから問い合わせの音声入力を受け付ける（Ｓ１９０４）。ガイド音声は、例えば、「知りたい操作名を教えて下さい。」である。

次に、複合機１１０は、受け付けた問い合わせ音声をテキストデータに変換し（Ｓ１９０５）、得られたテキストデータからＵＩ名称を取得する（Ｓ１９０６）。例えば、「ホッチキス」という問い合わせ音声を受け付けた場合には、当該問い合わせ音声をテキストデータに変換して、当該テキストデータを分節し、ＵＩ名称一覧表に該当する語が含まれているか確認する（Ｓ１９０７）。ＵＩ名称一覧表は、例えば、図１４に例示したような表である。

ＵＩ名称一覧表に該当する語が含まれていなければ（Ｓ１９０８：ＮＯ）、該当するＵＩ名称が無い旨を音声出力によって通知する（Ｓ１９１３）。当該音声出力は、例えば、「お問い合わせの操作名はサポートされておりません。」というものである。

ＵＩ名称一覧表に該当する語が含まれている場合には（Ｓ１９０８：ＹＥＳ）、当該ＵＩ名称に対応する画面名称とＵＩ位置を取得して（Ｓ１９０９）、応答テキストを作成する（Ｓ１９１０）。例えば、ＵＩ名称が「ホッチキス」で、画面名称が「簡単コピー」、ＵＩ位置が「右の２番目」である場合には、「簡単コピー画面の右の２番目のホッチキスを設定して下さい」という応答テキストが作成される。

その後、複合機１１０は、当該応答テキストから音声データを音声合成して（Ｓ１９１１）、得られた音声データをスピーカー３１２から音声出力して（Ｓ１９１２）、ステップＳ１９０２へ進み、次の問い合わせを待つ。

なお、ステップＳ１９０１のＵＩ名称一覧表作成処理においては、図２０に示すように、複合機１１０は、図１３に例示したようなソースコード毎に、画面名称を取得し（Ｓ２００１）、作業用変数Ｒｏｗ、Ｃｏｌｕｍｎの値をともに０に初期化し、＜ｄｉｖ＞タグを取得し（Ｓ２００３）、＜ｄｉｖ＞タグがｔａｂｌｅ属性である場合には（Ｓ２００４：ＹＥＳ）、ステップＳ２００３へ戻って、次の＜ｄｉｖ＞タグを取得する。

＜ｄｉｖ＞タグがｔａｂｌｅ属性でない場合であって（Ｓ２００４：ＮＯ）、かつｒｏｗ属性である場合には（Ｓ２００５：ＹＥＳ）、作業用変数Ｒｏｗの値を１だけ増加させるとともに、作業用変数Ｃｏｌｕｍｎの値を０にして（Ｓ２０１１）、次の＜ｄｉｖ＞タグを取得する（Ｓ２００３）。＜ｄｉｖ＞タグがｒｏｗ属性でない場合であって、かつ＜ｉｎｐｕｔ＞タグを含んでいない場合には（Ｓ２００６：ＮＯ）、＜ｄｉｖ＞タグ内の文字列をＵＩ名称として取得し（Ｓ２０１２）、次の＜ｄｉｖ＞タグを取得する（Ｓ２００３）。

＜ｄｉｖ＞タグが＜ｉｎｐｕｔ＞タグを含んでいる場合には（Ｓ２００６：ＹＥＳ）、ＡＰＩライブラリ関数としてｏｎｃｌｉｃｋ要素を取得する（Ｓ２００７）。このｏｎｃｌｉｃｋ要素は、ソースコード冒頭の＜ｈｅａｄ＞タグ部分に記述されたｊａｖａｓｃｒｉｐｔ（登録商標）を参照して、ＡＰＩライブラリ関数に置き換えてもよい。更に、作業用変数Ｃｏｌｕｍｎの値を１だけ増加させる（Ｓ２００８）。

このようにして取得したＵＩ名称、画面名称、ＡＰＩライブラリ関数および作業用変数ＲｏｗおよびＣｏｌｕｍｎの値から定まるＵＩ位置をＵＩ名称一覧表に記録する（Ｓ２００９）する。その後、ＥＯＦでなければ（Ｓ２０１０：ＮＯ）、ステップＳ２００３へ進んで、上記の処理を繰り返す。また、ＥＯＦであれば（Ｓ２０１０：ＹＥＳ）、当該ソースコードに関するＵＩ名称一覧表の作成処理を終了する。

このようにすれば、簡易な内容の問い合わせであれば、サービス・センター１２２のＣＥに連絡を取らなくても、複合機１１０が迅速に応答することができるので、ユーザーの利便性を向上させることができる。なお、複合機１１０が応答することができない場合には、上記の実施の形態のように、仲介サーバー１００を経由して、サービス・センター１２２のＣＥに問い合わせ音声を送信してもよい。
（７－２）上記の実施の形態においては、仲介サーバー１００が問い合わせ音声の送信元の複合機１１０に対してカスタマイズ画面のソースコードを要求する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、上記変形例において説明したように、複合機１１０が予めＵＩ名称一覧表を作成しておき、仲介サーバー１００は、カスタマイズ画面のソースコードに代えてＵＩ名称一覧表を複合機１１０に要求してもよい。このようにすれば、カスタマイズ画面のソースコードからＵＩ名称、画面名称、ＡＰＩライブラリ関数およびＵＩ位置を取得する処理が仲介サーバー１００に集中することによって、仲介サーバー１００の処理負荷が増大するのを回避することができる。

従って、複合機１１０がユーザーの問い合わせ音声を送信してから、サービス・センター１２２のＣＥによる応答音声を複合機１１０が受信するまでの応答時間を短縮することができるので、ユーザーの利便性を向上させることができる。

更に、複合機１１０がデフォルト画面のソースコードを保持している場合には、複合機１１０が予め対比表を作成しておき、問い合わせ音声を受信した仲介サーバー１００が複合機１１０に対して対比表を要求してもよい。このようにすれば、対比表を作成するための処理負荷を仲介サーバー１００が負担する必要が無いので、更にメッセージ変換システム１の応答性能を向上させることができる。

また、複合機１１０は操作画面がカスタマイズされると直ちにカスタマイズ画面のソースコードを仲介サーバー１００に登録し、当該登録を受けた仲介サーバー１００は、問い合わせ音声の受信に先立って、予め対比表を作成しておいてもよい。このようにしても、問い合わせ音声を受信してから対比表を作成する場合と比較して、メッセージ変換システム１の応答性能を向上させることができる。
（７－３）上記の実施の形態においては、仲介サーバー１００、複合機１１０およびＰＣ１２０が問い合わせ音声データや応答音声データを送受信する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに代えて次のようにしてもよい。

例えば、複合機１１０は、音声認識処理によって問い合わせ音声データから問い合わせテキストデータを生成して仲介サーバー１００に送信し、仲介サーバーは、問い合わせテキストデータに対するＵＩ名称等の置換処理のみを行って、当該処理後の問い合わせテキストデータをＰＣ１２０へ送信し、ＰＣ１２０が、音声合成処理によって当該問い合わせテキストデータ（問い合わせメッセージ）から問い合わせ音声データを合成して、再生出力してもよい。

同様に、ＰＣ１２０は、音声認識処理によって応答音声データから応答テキストデータを生成して仲介サーバー１００に送信し、仲介サーバーは、応答テキストデータ（応答メッセージ）に対するＵＩ名称等の置換およびＵＩ位置等の追加処理のみを行って、当該処理後の応答テキストデータを複合機１１０へ送信し、複合機１１０が、音声合成処理によって当該応答テキストデータから応答音声データを合成して、再生出力してもよい。

このようにすれば、音声認識処理および音声合成処理の負荷が仲介サーバーに集中するのを回避することができるので、メッセージ変換システム１の応答性能を向上させることができる。また、仲介サーバー１００、複合機１１０およびＰＣ１２０が音声データを送受信するための通信処理に要する負荷や、音声データを伝送するために要するネットワーク負荷を低減することができる。
（７－４）上記実施の形態においては、複合機１１０が応答音声を再生出力することによってユーザー操作を指示する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、これに加えて、ユーザーが操作を希望するＵＩを音声出力するのに加えて、強調表示してもよい。

例えば、ユーザーがホッチキスの設定を行いたい場合には、図２１に示すように、操作画面２１０１上で、ホッチキスのＵＩ名称等を反転表示２１０２することによって強調してもよい。また、強調枠を表示したり、表示色を変更したり、或いは点滅表示する等してもよい。このようにすれば、操作すべきＵＩが更に分かり易くなるので、ユーザーの利便性を向上させることができる。

また、操作画面２１０１上に応答テキスト２１０３を表示してもよい。このようにすれば、複合機１１０のユーザーが応答音声を聞き漏らした場合や、応答音声が聞き取り辛い場合でも、ユーザーに操作方法をより確実に伝達することができる。
（７－５）上記実施の形態においては、サービス・センター１２２のＣＥからの応答音声が再生出力されてから、複合機１１０のユーザーが次の問い合わせを行う場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、サービス・センター１２２のＣＥからの応答音声が再生出力するのを待つことなく、複合機１１０のユーザーは次の問い合わせを音声入力してもよい。このように、本発明によれば、通常の電話に近い自然な形で問い合わせを行うことができる。
（７－６）上記実施の形態においては、応答の音声入力を受け付けることによって応答のテキストデータを生成する場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、音声入力に代えて、デフォルト画面に対する画面入力を受け付けることによって応答のテキストデータを生成してもよい。

例えば、サービス・センター１２２のＣＥがデフォルト画面であるコピー画面のステープルにマウス９０８のマウスカーソルを合わせてクリック操作をしたら、ＵＩ名称として「ステープル」を取得し、当該ＵＩ名称「ステープル」に対応するＡＰＩライブラリ関数「ＡＰＩ＿Ｓｔａｐｌｅ」を特定することによって、応答のテキストデータを生成してもよい。このようにして生成した応答のテキストデータを、ＰＣ１２０は仲介サーバー１００へ送信する。

このようにして、応答のテキストデータを生成しても同様の効果を得ることができる。

なお、問い合わせのテキストデータに関しては、複合機１１０のユーザーが問い合わせを行うのは、そもそも画面操作方法が分からないためであることから、画面入力によって問い合わせのテキストデータを生成することはできない。従って、複合機１１０に対する画面入力によって、問い合わせのテキストデータを生成するＧＵＩ（Graphical User Interface）を設ける必要はない。
（７－７）上記実施の形態においては、オフィス１１２に複合機１１０が設置されている場合を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、複合機１１０に代えてプリンター装置やスキャナー装置、複写装置やファクシミリ装置といった単機能機を設置してもよい。また、操作画面を表示してユーザー操作を受け付ける情報処理装置であれば、単機能機以外の情報処理装置であってもよい。複合機１１０に代えて情報処理装置を設置した場合であっても、本発明を適用すれば同様の効果を得ることができる。
（７－８）上記実施の形態においては、メッセージ変換システム１を例にとって説明したが、本発明がこれに限定されないのは言うまでもなく、本発明は、当該メッセージ変換システム１が実行するメッセージ変換方法であってもよい。また、当該メッセージ変換方法をコンピューターに実行させるメッセージ変換プログラムであってもよい。いずれの場合も本発明の効果は同じである。
（７－９）上述した各装置は、マイクロプロセッサーとメモリとを備えているという意味においてコンピューターシステムである。メモリは、コンピュータープログラムを記憶しており、マイクロプロセッサーは、コンピュータープログラムに従って動作する。

ここで、コンピュータープログラムは、所定の機能を達成するために、コンピューターに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

また、コンピュータープログラムは、コンピューター読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、光ディスク、半導体メモリなどに記録されているとしてもよい。

また、コンピュータープログラムを、無線又は有線の電気通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するとしてもよい。

本発明に係るメッセージ変換システム、メッセージ変換方法およびメッセージ変換プログラムは、カスタマイズされた操作画面についてやり取りされるメッセージを理解し易くなるように変換する技術として有用である。

１………メッセージ変換システム
１００…仲介サーバー
１１０…複合機
１１１…操作パネル
１２０…パーソナル・コンピューター
１２１…ヘッドセット
１２２…サービス・センター
１３０…インターネット

Claims (18)

1. ***作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換システムであって、
   デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に***作装置本体に対して行うこととなる動作制御の識別情報を取得する第１の取得手段と、
   カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記***作装置に対して行うこととなる動作制御の識別情報を前記***作装置から取得する第２の取得手段と、
   前記***作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成手段と、
   カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、
   この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換手段と、を備える
   ことを特徴とするメッセージ変換システム。
2. 前記動作制御の識別情報は、前記操作パネルに前記操作画面を表示するためのソースコードにおいて、当該動作制御の実行を前記***作装置に要求するためのＡＰＩライブラリ関数を指定する情報である
   ことを特徴とする請求項１に記載のメッセージ変換システム。
3. 前記操作画面を表示するためのスクリプトは、ＨＴＭＬおよびＪａｖａｓｃｒｉｐｔを用いて記述されており、
   前記第１、第２の取得手段は、ｉｎｐｕｔタグ内のｖａｌｕｅ属性で指定された文字列または当該ｉｎｐｕｔタグの直前に記載された文字列を操作メニューの名称として特定し、前記ｉｎｐｕｔタグのｏｎｃｌｉｃｋ属性で指定されたＪａｖａｓｃｒｉｐｔ関数を前記動作制御の識別情報として特定する
   ことを特徴とする請求項２に記載のメッセージ変換システム。
4. 前記操作画面を表示するためのスクリプトは、ＨＴＭＬおよびＪａｖａｓｃｒｉｐｔを用いて記述されており、
   前記第１、第２の取得手段は、ｉｎｐｕｔタグ内のｖａｌｕｅ属性で指定された文字列または当該ｉｎｐｕｔタグの直前に記載された文字列を操作メニューの名称として特定し、前記ｉｎｐｕｔタグのｏｎｃｌｉｃｋ属性で指定されたＪａｖａｓｃｒｉｐｔ関数内で用いられているＡＰＩライブラリ関数を前記動作制御の識別情報として特定する
   ことを特徴とする請求項２に記載のメッセージ変換システム。
5. 前記置換手段は、音声入力によって前記メッセージを受け付ける
   ことを特徴とする請求項１または４に記載のメッセージ変換システム。
6. 前記置換手段は、画面入力された操作指示から前記メッセージを生成する
   ことを特徴とする請求項１または４に記載のメッセージ変換システム。
7. カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の位置情報を前記***作装置から取得する第３の取得手段と、
   デフォルト画面についてのメッセージをカスタマイズ後の操作画面についてのメッセージに変換する場合に、前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対して当該操作項目の位置情報を追加する追加手段と、を備える
   ことを特徴とする請求項１から６のいずれかに記載のメッセージ変換システム。
8. 前記置換手段による置き換え後のメッセージにおいて、カスタマイズ後の操作画面の操作項目の名称に対応する当該操作項目の位置情報が示す位置の表示内容を、前記***作装置に強調表示させる強調表示手段を備える
   ことを特徴とする請求項７に記載のメッセージ変換システム。
9. 前記置換手段による置き換え後のメッセージを、前記***作装置に音声出力させる音声出力手段と、を備える
   ことを特徴とする請求項１から８のいずれかに記載のメッセージ変換システム。
10. 前記置換手段による置き換え後のメッセージを、前記***作装置の操作画面にテキスト表示させるテキスト表示手段を備える
    ことを特徴とする請求項１から９のいずれかに記載のメッセージ変換システム。
11. ***作装置の操作パネルに表示した操作画面に関するメッセージを変換するメッセージ変換システムであって、
    操作画面に表示される操作項目ごとに、当該操作項目の名称および位置情報を取得する取得手段と、
    メッセージを受け付ける受付手段と、
    受け付けたメッセージが前記操作項目の名称を含む場合には、当該操作項目の位置情報を特定し、当該位置情報を含むメッセージに変換する変換手段と、を備える
    ことを特徴とするメッセージ変換システム。
12. 前記受付手段は、音声入力によって前記メッセージを受け付ける
    ことを特徴とする請求項１１に記載のメッセージ変換システム。
13. 前記変換後のメッセージを音声出力する音声出力手段を備える
    ことを特徴とする請求項１１または１２に記載のメッセージ変換システム。
14. 前記変換後のメッセージを、前記***作装置の操作画面上にテキスト表示するテキスト表示手段を備える
    ことを特徴とする請求項１１から１３のいずれかに記載のメッセージ変換システム。
15. 前記変換手段が特定した前記位置情報が示す位置を、前記***作装置の操作画面に表示する
    ことを特徴とする請求項１１から１４のいずれかに記載のメッセージ変換システム。
16. 前記***作装置は、画像形成装置である
    ことを特徴とする請求項１から１５のいずれかに記載のメッセージ変換システム。
17. ***作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法であって、
    デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に***作装置本体に対して行うこととなる動作制御の識別情報を取得する第１の取得ステップと、
    カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記***作装置に対して行うこととなる動作制御の識別情報を前記***作装置から取得する第２の取得ステップと、
    前記***作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、
    カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、
    この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、を含む
    ことを特徴とするメッセージ変換方法。
18. ***作装置の操作パネルに表示した操作画面が利用者によりカスタマイズ自在であり、カスタマイズ後の操作画面とカスタマイズされる前のデフォルト画面とのうちの一方の操作画面に関するメッセージを他方の操作画面に関するメッセージに変換するメッセージ変換方法をコンピューターに実行させるメッセージ変換プログラムであって、
    デフォルト画面上に存在する操作項目ごとに、当該操作項目の名称およびその操作項目が操作された場合に***作装置本体に対して行うこととなる動作制御の識別情報を取得する第１の取得ステップと、
    カスタマイズ後の操作画面に存在する操作項目ごとに、当該項目の名称およびその操作項目が操作された場合に前記***作装置に対して行うこととなる動作制御の識別情報を前記***作装置から取得する第２の取得ステップと、
    前記***作装置本体に対する動作制御の識別情報ごとに、デフォルト画面上での操作項目の名称と、カスタマイズ後の操作画面上での操作項目の名称とを対応付けた対比表を作成する作成ステップと、
    カスタマイズ後の操作画面とデフォルト画面とのうちの一方の操作画面についてのメッセージに含まれている操作項目の名称に対応する動作制御の識別情報を特定し、
    この特定した識別情報に対応する他方の操作画面の操作項目の名称を、前記対比表を参照して求め、前記メッセージ中に含まれている一方の操作画面の操作項目の名称を、他方の操作画面の操作項目の名称に置き換える置換ステップと、をコンピューターに実行させることを特徴とするメッセージ変換プログラム。

Images