JP6060807B2 - 操作支援システム、電子機器、表示方法、および制御プログラム - Google Patents

Description

この発明は操作支援システム、電子機器、表示方法、および制御プログラムに関し、特に、電子機器の操作パネルに対する操作を遠隔で支援することのできる操作支援システム、電子機器、表示方法、および制御プログラムに関する。

操作パネルを有する電子機器の一例として、プリンターやコピー機やこれら機能の複合機であるＭＦＰ（Multi-Functional Peripheral）などの画像形成装置が挙げられる。電子機器の一例である画像形成装置の高機能化に伴って、操作パネルに対する操作が難しくなっている。

たとえば特開２０１０−２７７４７４号公報（以下、特許文献１）や特開２０１０−２１０７５２号公報（以下、特許文献２）は、操作に戸惑うユーザーのために、動画を用いてヘルプ画像を提供することを提案している。特に、特許文献２は、サポートセンター側で予め準備しておいた支援用画像をユーザーの操作に応じてＭＦＰに表示させることを提案している。

しかしながら、事前に動画映像を画像形成装置やサポートセンターのコンピューターに用意しておいて操作の際にその動画を再生するものとすると、様々な場面に対応可能なように多数の動画を予め用意しておく必要があり、現実的ではない。

一方、ヘルプデスクに用意された制御装置であるコンピューターで遠隔操作用のアプリケーションを起動して、ネットワークを介して画像形成装置のパネル操作を行なう、いわゆるリモートパネルと呼ばれる技術が知られている。上記アプリケーションは画像形成装置を遠隔で操作することを可能とするものであって、たとえば特開２００６−１４０８９８号公報（以下、特許文献３）は、上記アプリケーションを利用して遠隔でユーザーの画像形成装置に対する操作を支援することを提案している。

そこで、上記の技術を採用して、遠隔からの操作支援の際に、ヘルプデスクのコンピューター側でパネル操作に基づいて操作の様子を示す動画映像（支援画像）を作成し、画像形成装置に送信して画像形成装置で再生させることが考えられる。

特開２０１０−２７７４７４号公報 特開２０１０−２１０７５２号公報 特開２００６−１４０８９８号公報

しかしながら、遠隔の装置のパネル操作に基づいて支援画像を生成すると、そのパネル操作を行なったオペレーターに固有の操作が支援画像に反映されることになる。たとえば、そのオペレーターのパネル操作に、均一の速度でスライドさせない、とか、特有の軌跡をたどる、などの、特異な癖がある場合、画像形成装置に表示される支援画像に、その特異な癖が反映されることになる。また、オペレーターの手のサイズや利き手などの身体的な特徴によっても、同様に、パネル操作がオペレーターに固有のものとなることがある。そのため、そのような支援画像を表示しても、一般的な操作支援、あるいは適切な操作支援とはなり難い場合がある、という問題がある。

本発明はこのような問題に鑑みてなされたものであって、遠隔の装置で行なわれた操作を分かりやすく電子機器側で提示することができる操作支援システム、電子機器、表示方法、および制御プログラムを提供することを目的としている。

上記目的を達成するために、本発明のある局面に従うと、操作支援システムは操作パネルを有する電子機器の操作を支援するための操作支援システムであって、電子機器と、操作パネルを有して電子機器と通信可能な制御装置とを備える。制御装置の操作パネルでの操作位置に基づいて操作画面を生成するための第１の生成手段と、操作画面に基づいて支援用の画像を生成するための第２の生成手段と、支援用の画像を電子機器の操作パネルに表示するための表示手段とを含む。第２の生成手段は、制御装置の操作パネルでの連続した操作における第１の操作位置に基づいて生成された第１の操作画面から、上記操作において第１の操作位置から移動した第２の操作位置に基づいて生成された第２の操作画面までの間の操作画面を、第１の操作位置から第２の操作位置までの操作時間に応じて補間するための補間手段を有し、表示手段は、上記操作のうちの第１の操作位置から第２の操作位置までの操作の支援用の画像として、補間された操作画面を間に挟んだ第１の操作画面から第２の操作画面までの操作画面群を連続して電子機器の操作パネルに表示する。

好ましくは、補間手段は、第１の操作画面と第２の操作画面との差分を操作時間で除して得られる画像を用いて補間する。

好ましくは、電子機器および制御装置いずれの操作パネルもマルチタッチ操作可能なタッチパネルである。

より好ましくは、上記操作は、操作パネルへのタッチ状態を保持したまま少なくとも１点のタッチ位置が連続して変化する操作であって、第１の操作位置は操作パネルに最初のタッチが検出された操作の開始時の操作位置であり、第２の操作位置は操作パネルへのタッチ位置のうちの少なくとも１点のタッチ状態が解除された、または、操作パネルへのすべてのタッチ位置が所定時間変化しない操作の終了時の操作位置である。

好ましくは、第２の生成手段は、操作画面群に表わされた操作と予め記憶している操作との間に所定以上の異なりがある場合に、操作画面群を補正するための補正手段をさらに有する。

好ましくは、第２の生成手段は、操作画面群に、操作指示用の画像を付加して支援用の画像を生成するための付加手段をさらに有する。

より好ましくは、操作指示用の画像は透過性を有する画像である。
好ましくは、付加手段は、予め記憶している、指示する向きのそれぞれ異なる操作指示用の画像の候補の中から、制御装置の操作パネルでの操作の開始時の操作位置および制御装置の操作パネルでの操作の終了時の操作位置に基づいて選択して付加する。

本発明の他の局面に従うと、電子機器は操作パネルを有する電子機器であって、制御装置と通信することで、制御装置の操作パネルでの操作位置を示す情報を取得するための位置入力手段と、操作位置に基づいて操作画面を生成するための第１の生成手段と、操作画面に基づいて支援用の画像を生成するための第２の生成手段と、支援用の画像を操作パネルに表示するための表示手段とを備える。第２の生成手段は、第１の生成手段が制御装置の操作パネルでの連続した操作における第１の操作位置に基づいて生成した第１の操作画面から、上記操作において第１の操作位置から移動した第２の操作位置に基づいて生成した第２の操作画面までの間の操作画面を、第１の操作位置から第２の操作位置までの操作時間に応じて補間するための補間手段を含み、表示手段は、操作のうちの第１の操作位置から第２の操作位置までの操作の支援用の画像として、補間された操作画面を間に挟んだ第１の操作画面から第２の操作画面までの操作画面群を連続して電子機器の操作パネルに表示する。

好ましくは、第１の生成手段は、制御装置から操作の開始時の操作位置を示す情報を取得した後、操作の終了時の操作位置を示す情報を取得するまでの間、操作パネルに対する操作に基づく操作画面の生成を行なわない。

本発明のさらに他の局面に従うと、表示方法は、操作パネルを有する電子機器での、操作を支援するための支援用の画像の表示方法であって、制御装置の操作パネルでの連続した操作における第１の操作位置と上記操作において第１の操作位置から移動した第２の操作位置とのそれぞれに基づいて第１の操作画面および第２の操作画面を生成するステップと、第１の操作画面から第２の操作画面までの間の操作画面を、第１の操作位置から第２の操作位置までの操作時間に応じて補間するステップと、操作のうちの第１の操作位置から第２の操作位置までの操作の支援用の画像として、補間された操作画面を間に挟んだ第１の操作画面から第２の操作画面までの操作画面群を連続して電子機器の操作パネルで表示するステップとを備える。

本発明のさらに他の局面に従うと、制御プログラムは、操作パネルを有する電子機器に、操作を支援するための支援用の画像を表示する処理を実行させるプログラムであって、該プログラムは、制御装置の操作パネルでの連続した操作における第１の操作位置と上記操作において第１の操作位置から移動した第２の操作位置とのそれぞれに基づいて第１の操作画面および第２の操作画面を生成するステップと、第１の操作画面から第２の操作画面までの間の操作画面を、第１の操作位置から第２の操作位置までの操作時間に応じて補間するステップと、操作のうちの第１の操作位置から第２の操作位置までの操作の支援用の画像として、補間された操作画面を間に挟んだ第１の操作画面から第２の操作画面までの操作画面群を連続して電子機器の操作パネルで表示するステップとを電子機器に実行させる。

この発明によると、電子機器で、遠隔の装置で行なわれた操作を分かりやすく提示することができる。

実施の形態にかかる操作支援システムの構成の具体例を示す概略図である。 操作支援システムに含まれるＭＦＰ（Multi-Functional Peripheral）の装置構成の具体例を示すブロック図である。 操作支援システムに含まれる端末装置の装置構成の具体例を示すブロック図である。 操作画面に対するゼスチャー操作の一例を表わした図である。 操作支援システムでの動作の流れの概要を表わした図である。 ゼスチャー操作の検出について説明するための図である。 ゼスチャー操作の検出について説明するための図である。 第１の操作画面と第２の操作画面との間を補間する操作画面を生成する処理を説明するための図である。 指示用の画像を付加する方法を説明するための図である。 指示用の画像が付加された支援用の画像の具体例を表わした図である。 ＭＦＰの機能構成の具体例を示すブロック図である。 端末装置での動作の流れを表わしたフローチャートである。 ＭＦＰでの動作の流れを表わしたフローチャートである。 図１３のステップＳ２１１での支援用の画像を生成する処理の流れの具体例を表わしたフローチャートである。

以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。

＜システム構成＞
図１は、本実施の形態にかかる操作支援システム（以下、システム）の構成の具体例を示す概略図である。図１を参照して、本システムは、操作の支援対象の電子機器の一例である画像形成装置（たとえば、ＭＦＰ（Multi-Functional Peripheral）１００）と、操作を支援する制御装置の一例である端末装置３００とを含む。ＭＦＰ１００と端末装置３００とは、インターネットや専用の通信回線などであるネットワーク５００を介して電気的に接続される。

支援対象の電子機器は画像形成装置に限定されず、操作パネルを有する電子機器であれば他の電子機器であってもよい。また、制御装置も端末装置３００に限定されず、操作パネルを有する電子機器であれば他の機器であってもよい。

＜装置構成＞
図２は、ＭＦＰ１００の装置構成の具体例を示すブロック図である。ＭＦＰ１００は、図２に示されるような、通常のＭＦＰであってよい。すなわち、図２を参照して、ＭＦＰ１００は、装置全体を制御するためのＣＰＵ（Central Processing Unit）１０と、メモリーであるＲＯＭ（Read Only Memory）１１、ＲＡＭ（Random Access Memory）１２、およびＨＤ（Hard Disk）１３と、スキャナー１４と、プリンター１５と、操作パネル１６と、ネットワーク５００を介した通信を制御するためのネットワークコントローラー１７とを含む。操作パネル１６はタッチパネルを含む。好ましくは、操作パネル１６は、マルチタッチ操作可能なタッチパネルを含む。

図３は、端末装置３００の装置構成の具体例を示すブロック図である。端末装置３００は、図３に示されるような、通常のＰＣ（Personal Computer）で実現されてよい。すなわち、図３を参照して、端末装置３００は、装置全体を制御するためのＣＰＵ３０と、メモリーであるＲＯＭ３１およびＲＡＭ３２と、操作パネル３３と、ネットワーク５００を介した通信を制御するためのネットワークコントローラー３４とを含む。操作パネル３３もまたタッチパネルを含む。好ましくは、操作パネル３３は、マルチタッチ操作可能なタッチパネルを含む。

＜動作概要＞
本システムでは、いわゆるリモートパネルと呼ばれる、端末装置３００からＭＦＰ１００の遠隔操作を行なう。たとえば、端末装置３００をＭＦＰ１００のサポートセンター側の装置として、ＭＦＰ１００の操作支援を遠隔で行なうために用いることができる。すなわち、端末装置３００の操作パネル３３に対して行なわれた操作をＭＦＰ１００の操作パネル１６に表示することで、ＭＦＰ１００のユーザーに操作方法を教える、といった使い方ができる。

リモートパネル時、図１を参照して、ＭＦＰ１００は端末装置３００に対して、操作画面を表わす画像情報を送信する。端末装置３００は、その画像情報に基づいて上記操作画面を表示する。端末装置３００はＭＦＰ１００に対して、その操作画面に対する操作内容（タッチ位置）を表わす操作情報を送信する。ＭＦＰ１００は、その操作情報および操作画面に基づいて操作内容を特定し、その操作内容に従って操作画面を更新する。そして、ＭＦＰ１００は、更新後の操作画面を表わす画像情報を端末装置３００に対して送信する。以降、この処理を双方が繰り返すことで、端末装置３００でのＭＦＰ１００の遠隔操作が実現される。

ＭＦＰ１００の操作には、操作パネル１６に対するタッチ状態を維持したまま連続した操作であるゼスチャー操作が含まれる。図４は、操作画面に対するゼスチャー操作の一例を表わした図である。図４を参照して、一例として、明るさを調整するための操作画面に含まれるスライドバーを指等でタッチした状態のまま移動させる、などの操作が該当する。このゼスチャー操作に伴ってスライドバーの位置が変化する。そして、スライドバーの位置に従って、画面の明るさが変化する。

また、ゼスチャー操作の他の例として、マルチタッチ可能なタッチパネルである操作パネル１６に対する、同時になされた複数位置へのタッチのうちの少なくとも１つ位置のタッチ状態を維持したままその位置を移動させるゼスチャー操作が挙げられる。具体的には、ピンチイン、ピンチアウト、複数指でのスワイプ、などが該当する。

ゼスチャー操作の場合も、通常の（タッチ位置が移動しない）操作と同様に、タッチ位置が操作情報として連続して端末装置３００からＭＦＰ１００に送信されることで、ＭＦＰ１００で該ゼスチャー操作が特定されることになる。

このゼスチャー操作を支援する場合、端末装置３００の操作パネル３３に対するオペレーターのタッチ位置の軌跡がＭＦＰ１００に送信されることになる。端末装置３００が上記のようにＭＦＰ１００の操作支援に用いられる場合、ＭＦＰ１００は、端末装置３００からの操作情報に基づいて操作画面を連続的に変化させて表示する。図４の例の場合には、ＭＦＰ１００は端末装置３００からの操作情報に基づいてスライドバーの位置が徐々に変化すると共に、その位置に応じて明るさが徐々に変化する（徐々に明るくなる、または、徐々に暗くなる）操作画面を生成し、その操作画面群を連続的に表示する。これにより、ＭＦＰ１００のユーザーは操作パネル１６の表示を見てどのような操作が行なわれたかを知ることができる。好ましくは、ＭＦＰ１００は、指や矢印などの操作の状況を模式的に表わした画像を操作指示用の画像として操作画面に付加して（重ねて）表示する。これにより、ＭＦＰ１００のユーザーは、操作の方法を視覚的に理解し易くなる。なお、以降の説明において、ＭＦＰ１００の操作パネル１６にユーザーの操作を支援するための表示される、上記の操作画面群を含む端末装置３００でのゼスチャー操作に基づく画像を、「支援用の画像」とも称する。

図５は、本システムでの動作の流れの概要を表わした図である。図５を参照して、リモートパネル時に、端末装置３００の操作パネル３３に対してゼスチャー操作が開始されたことを検出すると、端末装置３００は、ゼスチャー操作の開始位置を第１座標として、第１座標を表わす操作情報をＭＦＰ１００に対して送信する（ステップＳ１）。図４の例の場合には、端末装置３００の操作パネル３３に表示された明るさ調整用の操作画面において、最初のスライドバーの位置が第１座標に相当する。

ＭＦＰ１００は、開始位置を表わす操作情報を端末装置３００から受信すると、操作画面とその操作情報とから操作画面を更新し、第１の操作画面を生成する（ステップＳ２）。ＭＦＰ１００は、第１の操作画面を操作パネル１６に表示してもよいし、先の操作画面の表示を該ゼスチャー操作の終了まで維持してもよい。

端末装置３００は、該ゼスチャー操作の終了を検出すると、終了位置を第２座標として、第２座標を表わす操作情報をＭＦＰ１００に対して送信する（ステップＳ３）。このとき、端末装置３００は、該ゼスチャー操作の操作時間、つまり、開始から終了までの所要時間も、ＭＦＰ１００に対して送信する。

ＭＦＰ１００は、終了位置および操作時間を表わす操作情報を端末装置３００から受信すると、操作画面とその操作情報とから操作画面を更新し、第２の操作画面を生成する（ステップＳ４）。図４の例の場合には、端末装置３００の操作パネル３３に表示された明るさ調整用の操作画面において、スライドバーの移動が終了した位置が第２座標に相当する。そして、スライドバーの移動後の位置に応じた明るさになった操作画面が第２の操作画面に相当する。

図６および図７は、ゼスチャー操作の検出について説明するための図であって、それぞれ、（Ａ）の状態から（Ｂ）の状態となるようなゼスチャー操作がなされたことを表わしている。図６および図７を参照して、端末装置３００は、（Ａ）に表わされたように操作パネル３３がタッチされたことを検出し、さらに、そのタッチ位置、または複数の位置が同時にタッチされた場合にはそのうちの少なくとも１点がタッチ状態を維持したまま移動したことを検出すると、ゼスチャー操作が開始したと判断する。

図６の（Ｂ）は、操作パネルにタッチしたままの指が徐々に移動し、その動きが一定時間停止した状態を表わしている。端末装置３００は、タッチ位置がタッチ状態を維持したまま移動し、その移動が予め規定した一定時間停止したことを検出すると、該ゼスチャー操作が終了したと判断する。そして、端末装置３００は、その位置を第２座標としてＭＦＰ１００に対して送信する。

図７の（Ｂ）は、上記の指が操作パネルから離れた状態を表わしている。端末装置３００は、第２の例として、上記のタッチ状態が解消したことを検出すると、該ゼスチャー操作が終了したと判断する。そして、端末装置３００は、その位置を第２座標としてＭＦＰ１００に対して送信する。

ＭＦＰ１００は、上記ステップＳ２で生成した第１の操作画面と上記ステップＳ４で生成した第２の操作画面とから、支援用の画像を生成する（ステップＳ５）。ステップＳ５の処理には、図８に表わされた、第１の操作画面と第２の操作画面との間を補間する操作画面を生成する処理が含まれる。すなわち、図８は、第１の操作画面と第２の操作画面との間を補間する操作画面を生成する処理を説明するための図である。図８を参照して、ＭＦＰ１００は、第１の操作画面から第２の操作画面まで操作時間に対して均等に変化した場合の、該操作時間内の所定のタイミングにおける操作画面を生成する。つまり、ＭＦＰ１００は、一例として、第１の操作画面と第２の操作画面との差分を操作時間で除して単位時間あたりの操作画面の変化量を得、その変化量に補間するフレーム間隔（操作画面の時間間隔）を乗じることで補間画面を生成することができる。図４の例の場合、ＭＦＰ１００は、ゼスチャー操作開始時の明るさである操作画面（第１の操作画面）と、ゼスチャー操作終了時の明るさである操作画面（第２の操作画面）とから、その間の明るさの操作画面を生成する。

ＭＦＰ１００は、上記ステップＳ５で生成した支援用の画像を操作パネル１６に表示した後（ステップＳ６）、ゼスチャー操作終了時の操作位置に応じた操作画面、つまり、第２の操作画面を表示する（ステップＳ７）。すなわち、ＭＦＰ１００は、ステップＳ６では、第１の操作画面および第２の操作画面の間に補間した操作画面を挟んで、一連の操作画面群を順に、支援用の画像として生成する。図４の例の場合には、ＭＦＰ１００は、ゼスチャー操作開始時の明るさである操作画面（第１の操作画面）から徐々に明るさが変化する操作画面に切り替え、ゼスチャー操作終了時の明るさである操作画面（第２の操作画面）まで表示する。このように表示されることで、ユーザーは、端末装置３００のオペレーターのパネル操作の特異な癖や身体的な特徴などの影響を排したゼスチャー操作を操作パネル１６で確認することができる。そのため、ユーザーは適切なゼスチャー操作を知ることができる。

好ましくは、ＭＦＰ１００は、上記の操作画面群に操作方法を指示するための指示用の画像を付加して支援用の画像を生成する。指示用の画像は、たとえば、指や矢印などの画像が該当し、ゼスチャー操作によってタッチされている位置やその変化を表わすために用いられる画像を指す。

図９は、指示用の画像を付加する方法を説明するための図である。図９を参照して、ＭＦＰ１００は、予め、操作パネル１６のタッチ位置の属する領域に対応した、指示する向きのそれぞれ異なる指示用の画像の候補となる画像群を記憶しておく。ＭＦＰ１００は、上記ステップＳ５で、第１座標の属する領域に対応した方向を指示する画像と、第２座標の属する領域に対応した方向を指示する画像とを、端末装置３００から受信した操作情報に基づいて候補となる画像群から選択する。そして、ＭＦＰ１００は、選択した画像を、それぞれ、第１座標および第２座標に配置してゼスチャー操作の開始位置と終了位置とを指示する画像とすると共に、その２つの画像の間を、操作画面と同様にして補間する。ＭＦＰ１００は、上記ステップＳ５で、補間することで得られた指示用の画像（画像群）を操作画面群にそれぞれ付加することで、指示用の画像が付加された支援用の画像を生成することができる。図１０は、指示用の画像が付加された支援用の画像の具体例を表わした図である。図１０は、端末装置３００で２本の指をタッチさせたまま押し広げるゼスチャー操作がなされた場合の支援用の画像を表わしている。この場合、ＭＦＰ１００の操作パネル１６では、支援用の画像として、指でタッチする位置がＰ１→Ｐ２→Ｐ３と変化する指示用の画像が、操作位置Ｐ１，Ｐ２，Ｐ３に応じた操作画面にそれぞれ付加されて、順に表示される。上記した、明るさ調整用の操作画面においてツールバーを移動させるゼスチャー操作の場合、図４（Ａ）に表わされたように、ツールバーの移動と共に、ツールバーにタッチしている指の画像が連続して表示される。図４（Ａ）のように、指と矢印との両方が表示されてもよい。好ましくは、図４（Ａ）に表わされたように、指示用の画像の下に配置された操作画面が透けて見えるよう、付加される指示用の画像は透過性を有する（半透明の）画像とする。このように指示用の画像が付加されて表示されることで、ユーザーは、よりゼスチャー操作を理解し易くなる。

さらに好ましくは、ＭＦＰ１００は、端末装置３００のオペレーターによるゼスチャー操作を補正した支援用の画像を生成する。一例として、ＭＦＰ１００は、予めゼスチャー操作ごとのモデルとするパターンを記憶しておく。ＭＦＰ１００は、端末装置３００からの操作情報に基づいて上記のように生成された操作画面群とモデルとを比較する。そして、これらの間に所定以上の異なりがある場合に、ＭＦＰ１００は、操作画面群を補正する。

たとえば、オペレーターが左利きであった場合、２本の指を押し広げるゼスチャー操作であるピンチ操作では、右から左に指の間隔が開く操作となる場合がある。この操作位置に基づく操作画面群では、操作位置がオペレーターのピンチ操作に従って、右から左にその間隔が開くことが表わされる。ＭＦＰ１００は、ピンチ操作のモデルとして、予め右利きのピンチ操作として左から右に操作位置の間隔が開くパターンを記憶しておく。そして、生成した操作画面群における操作位置と上記パターンで表わされる操作位置とを順に比較し、その差分（操作位置どうしの乖離）が予め記憶しているしきい値以上であった場合、ＭＦＰ１００は、生成した操作画面群を補正する。

また、他の例として、オペレーターの手のサイズが通常のサイズよりも大きかった場合、ピンチ操作で押し広げる指の間隔が通常の間隔より大きくなる場合がある。ＭＦＰ１００は、ピンチ操作のモデルとして、予め通常の間隔まで操作位置が変化するパターンを記憶しておく。そして、生成した操作画面群における操作位置と上記パターンで表わされる操作位置とを順に比較し、その差分（操作位置どうしの乖離）が予め記憶しているしきい値以上であった場合、ＭＦＰ１００は、生成した操作画面群を補正する。

上記の補正は、たとえば、端末装置３００からの操作情報で得られるゼスチャー操作の操作位置を、左右反転させる処理であってよい。または、その中心位置を固定し、操作位置を該ゼスチャー操作のモデルとして記憶しているパターンに置き換える処理とすることができる。

なお、この説明では、ゼスチャー操作の開始位置と終了位置とが端末装置３００からＭＦ１００に対して操作情報で通知されるものとしている。しかしながら、通知される操作位置はこの位置に限定されない。すなわち、開始位置と終了位置との間の少なくとも２つの操作位置が通知されればよい。たとえば、開始位置と終了位置との間のゼスチャー操作途中の操作位置がさらに通知されてもよい。ＭＦＰ１００は、通知された操作位置に基づいて操作画面を生成し、２つの操作画面の間を補間することで、２つの操作位置の間のゼスチャー操作の支援用の画像を生成し、表示する。

＜機能構成＞
図１１は、ＭＦＰ１００で上記動作を行なうための機能構成の具体例を示すブロック図である。図１１に表わされた各機能は、ＭＦＰ１００のＣＰＵ１０がＲＯＭ１１に記憶されたプログラムを読み出してＲＡＭ１２上で実行することによって、主に、ＣＰＵ１０で実現される。しかしながら、少なくとも一部の機能は、図２に表わされたハードウェア構成や、その他の図示されていない電気回路などのハードウェア構成によって実現されてもよい。

図１１を参照して、ＣＰＵ１０は、ネットワークコントローラー１７を介して端末装置３００から送信された操作情報の入力を受け付けることで操作位置の入力を受け付けるための位置入力部１０１と、端末装置３００での操作位置に基づいて操作画面を生成するための操作画面生成部１０２と、ネットワークコントローラー１７を介して端末装置３００から送信された操作情報の入力を受け付けることで操作位置間の操作時間の入力を受け付けるための操作時間入力部１０３と、支援用の画像を生成するための支援画像生成部１０４と、支援用の画像を操作パネル１６に表示する処理を行なうための表示部１０８とを含む。支援画像生成部１０４は、第１の操作画面から第２の操作画面までの間の操作画面を、第１座標から第２座標までの操作時間に応じて補間するための補間部１０５を含む。

好ましくは、ＨＤ１３などのメモリーは、上記した操作の指示用の画像の候補となる画像を記憶するための記憶領域である操作指示用画像候補記憶部１３１を含む。そして、支援画像生成部１０４は、さらに、第１座標および第２座標に基づいて指示用の画像を選択し、補間された操作画面を間に挟んだ第１の操作画面から第２の操作画面までの操作画面群にそれぞれ付加するための付加部１０６を含む。

さらに好ましくは、支援画像生成部１０４は、ゼスチャー操作ごとのモデルとするパターを予め記憶しておき、第１座標および第２座標から特定されるゼスチャー操作とモデルとを比較することで操作位置を補正するための補正部１０７を含む。

＜動作フロー＞
図１２は、端末装置３００での動作の流れを表わしたフローチャートである。図１２のフローチャートに表わされた動作は、端末装置３００のＣＰＵ３０がＲＯＭ３１に記憶されているプログラムをＲＡＭ３２上に読み出して実行することで実現される。

図１２を参照して、ＣＰＵ３０は、上記したような方法で操作パネル３３に対してゼスチャー操作がなされたことを検出すると（ステップＳ１０１でＹＥＳ）、たとえば開始位置である第１座標を特定し（ステップＳ１０３）、操作情報としてその座標を表わす情報をＭＦＰ１００に対して送信する（ステップＳ１０５）。また、ＣＰＵ３０は、第１座標から第２座標までの操作時間を計時するためのタイマーをスタートさせる（ステップＳ１０７）。

ＣＰＵ３０は該ゼスチャー操作を監視して、上記したような方法で、たとえばゼスチャー操作の終了である、第２座標へ到達したことを検出すると（ステップＳ１０９でＹＥＳ）、たとえば終了位置である第２座標を特定し（ステップＳ１１１）、操作情報としてその座標を表わす情報をＭＦＰ１００に対して送信する（ステップＳ１１３）。また、ＣＰＵ３０は、上記ステップＳ１０７で開始したタイマーでの計時を終了し（ステップＳ１１５）、操作時間である計時された時間をＭＦＰ１００に対して送信する（ステップＳ１１７）。

ＣＰＵ３０は、以上を終了すると動作を最初に戻して、次のゼスチャー操作を監視する。

図１３は、ＭＦＰ１００での動作の流れを表わしたフローチャートである。図１３のフローチャートに表わされた動作は、ＭＦＰ１００のＣＰＵ１０がＲＯＭ１１に記憶されたプログラムをＲＡＭ１２上に読み出して実行し、図１１の各機能を発揮することによって実現される。

図１３を参照して、ＣＰＵ１０は、端末装置３００からゼスチャー操作による操作位置を表わす操作情報を受信し（ステップＳ２０１でＹＥＳ）、すでに第１座標を表わした操作情報を受信している、端末装置３００でリモートにてゼスチャー操作中ではない場合には（ステップＳ２０３でＮＯ）、受信した操作位置を第１座標として、第１の操作画面を生成する。そして、第１の操作画面を操作パネル１６に表示する（ステップＳ２０５）。ＣＰＵ１０は、上記の操作情報を受信すると、現在のステータスを、端末装置３００でリモートにてゼスチャー操作中（リモート操作中）であるとのステータスに切り替える（ステップＳ２０７）。

なお、ＣＰＵ１０は、現在のステータスが上記のリモート操作中である場合、操作パネル１６からの操作信号を受け付けてもその操作信号に従う処理を行なうことなく、すなわち、操作画面を更新することなく、端末装置３００からの次の操作情報の受信を待機する。このとき、ＣＰＵ１０は、操作パネル１６に「リモート操作中」などを表示するようにしてもよい。

また、ＣＰＵ１０は、ステータスがリモート操作中に切り替わってから予め規定した時間、端末装置３００から操作情報を受信しない場合には、リモート操作が中断したものとしてステータスをリモート操作中から復帰させて、操作パネル１６からの操作信号に従って処理を行なうようにしてもよい。または、ＣＰＵ１０は、特定の操作（たとえば操作パネル１６に設けたボタンへのタッチ、等）を受け付けることで、ステータスをリモート操作中から復帰させてもよい。すなわち、ＣＰＵ１０は、ユーザー操作に従って端末装置３００からのリモート操作を終了するようにしてもよい。

ＣＰＵ１０は、上記の操作情報を受信したときにステータスがリモート操作中であった場合には（ステップＳ２０３でＹＥＳ）、受信した操作位置を第２座標として、第２の操作画面を生成する（ステップＳ２０９）。さらに、ＣＰＵ１０は、第１の操作画面および第２の操作画面を用いて支援用の画像を生成する処理を実行する（ステップＳ２１１）。そして、ＣＰＵ１０は、支援用の画像を操作パネル１６に表示し（ステップＳ２１３）、その表示が終了すると、第２の操作画面を表示する（ステップＳ２１５）。

ＣＰＵ１０は、以上を終了すると動作を最初に戻して、端末装置３００からの操作情報の受信を待機する。

図１４は、上記ステップＳ２１１での支援用の画像を生成する処理の流れの具体例を表わしたフローチャートである。図１４を参照して、支援用の画像を生成する処理は、第１の操作画面と第２の操作画面とを補間するための補間処理（＃２）を含む。より好ましくは、支援用の画像を生成する処理は、オペレーターによるゼスチャー操作の操作位置を補正する補正処理（＃１）と、生成された操作画面群に対して指示用の画像を付加する付加処理（＃３）とを含む。

詳しくは、図１４を参照して、ＣＰＵ３０は、補正処理（＃１）の一例として、第１座標および第２座標から、オペレーターによるゼスチャー操作を特定する（ステップＳ３０１）。そして、ＣＰＵ３０は、そのゼスチャー操作について予めモデルとして記憶しているパターンと、端末装置３００での操作位置とを比較する（ステップＳ３０３）。その間の異なり（操作位置の乖離）が、予め記憶しているしきい値よりも大きい場合（ステップＳ３０５でＹＥＳ）、ＣＰＵ３０は、上記モデルに基づいて第１座標および第２座標を補正する（ステップＳ３０７）。上記の異なりがしきい値よりも小さい場合には（ステップＳ３０５でＮＯ）、ＣＰＵ３０は上記ステップＳ３０７をスキップする。

ＣＰＵ３０は、補間処理（＃２）の一例として、第１座標および第２座標、または、上記ステップＳ３０７で補正された第１座標および第２座標から生成された第１操作画面および第２操作画面の間の差分を算出し（ステップＳ３０９）、その差分を操作時間で除して単位時間あたりの操作画面の変化量を得る（ステップＳ３１１）。そして、ＣＰＵ３０は、単位時間あたりの変化量に補間するフレーム間隔（操作画面の時間間隔）を乗じることでフレーム間隔時間ごとの画面を生成して第１の操作画面と第２の操作画面との間に補間することで、操作画面群を生成する（ステップＳ３１３）。

ＣＰＵ３０は、付加処理（＃３）の一例として、第１座標および第２座標それぞれに応じた指示用の画像を、候補画像の中から選択する（ステップＳ３１５）。ＣＰＵ３０は、選択した２つの指示用の画像の間を上記の補間処理と同様にして補間し（ステップＳ３１７）、生成した操作画面群に付加する（ステップＳ３１９）。

＜実施の形態の効果＞
ＭＦＰ１００は、上記のように支援用の画像を生成し、表示する。これにより、ＭＦＰ１００の操作パネル１６には、第１の操作画面から第２の操作画面までの操作時間に対して均等に変化する操作画面群が順に連続して表示される。つまり、第１の操作画面から第２の操作画面まで、端末装置３００のオペレーターのゼスチャー操作に基づく操作画面の変化が、均等にアニメーション状で表示される。この表示により、ＭＦＰ１００のユーザーは、端末装置３００のオペレーターによるゼスチャー操作を、オペレーターのパネル操作の特異な癖や身体的な特徴などの影響を受けることなく、操作パネル１６上で確認することができる。

＜他の例＞
電子機器の一例としてのＭＦＰ１００のＣＰＵ１０に上記の支援用の画像を生成し、表示する動作を実行させるためのプログラムを提供することもできる。このようなプログラムは、コンピューターに付属するフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピューター読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピューターに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。

なお、本発明にかかるプログラムは、コンピューターのオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。その場合、プログラム自体には上記モジュールが含まれずＯＳと協働して処理が実行される。このようなモジュールを含まないプログラムも、本発明にかかるプログラムに含まれ得る。

また、本発明にかかるプログラムは他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には上記他のプログラムに含まれるモジュールが含まれず、他のプログラムと協働して処理が実行される。このような他のプログラムに組込まれたプログラムも、本発明にかかるプログラムに含まれ得る。

提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０，３０ ＣＰＵ、１１，３１ ＲＯＭ、１２，３２ ＲＡＭ、１３ ＨＤ、１４ スキャナー、１５ プリンター、１６，３３ 操作パネル、１７，３４ ネットワークコントローラー、１００ ＭＦＰ、１０１ 位置入力部、１０２ 操作画面生成部、１０３ 操作時間入力部、１０４ 支援画像生成部、１０５ 補間部、１０６ 付加部、１０７ 補正部、１０８ 表示部、１３１ 操作指示用画像候補記憶部、３００ 端末装置、５００ ネットワーク。

Claims (12)

1. 操作パネルを有する電子機器の操作を支援するための操作支援システムであって、
   前記電子機器と、
   操作パネルを有し、前記電子機器と通信可能な制御装置とを備え、
   前記制御装置の操作パネルでの操作位置に基づいて操作画面を生成するための第１の生成手段と、
   前記操作画面に基づいて支援用の画像を生成するための第２の生成手段と、
   前記支援用の画像を前記電子機器の操作パネルに表示するための表示手段とを含み、
   前記第２の生成手段は、前記制御装置の操作パネルでの連続した操作における第１の操作位置に基づいて生成された第１の操作画面から、前記操作において前記第１の操作位置から移動した第２の操作位置に基づいて生成された第２の操作画面までの間の操作画面を、前記第１の操作位置から前記第２の操作位置までの操作時間に応じて補間するための補間手段を有し、
   前記表示手段は、前記操作のうちの前記第１の操作位置から前記第２の操作位置までの操作の支援用の画像として、前記補間された操作画面を間に挟んだ前記第１の操作画面から前記第２の操作画面までの操作画面群を連続して前記電子機器の操作パネルに表示する、操作支援システム。
2. 前記補間手段は、前記第１の操作画面と前記第２の操作画面との差分を前記操作時間で除して得られる画像を用いて補間する、請求項１に記載の操作支援システム。
3. 前記電子機器および前記制御装置いずれの操作パネルもマルチタッチ操作可能なタッチパネルである、請求項１または２に記載の操作支援システム。
4. 前記操作は、前記操作パネルへのタッチ状態を保持したまま少なくとも１点のタッチ位置が連続して変化する操作であって、
   前記第１の操作位置は前記操作パネルに最初のタッチが検出された前記操作の開始時の操作位置であり、前記第２の操作位置は前記操作パネルへのタッチ位置のうちの少なくとも１点のタッチ状態が解除された、または、前記操作パネルへのすべてのタッチ位置が所定時間変化しない前記操作の終了時の操作位置である、請求項３に記載の操作支援システム。
5. 前記第２の生成手段は、前記操作画面群に表わされた操作と予め記憶している操作との間に所定以上の異なりがある場合に、前記操作画面群を補正するための補正手段をさらに有する、請求項１〜４のいずれかに記載の操作支援システム。
6. 前記第２の生成手段は、前記操作画面群に、操作指示用の画像を付加して前記支援用の画像を生成するための付加手段をさらに有する、請求項１〜５のいずれかに記載の操作支援システム。
7. 前記操作指示用の画像は透過性を有する画像である、請求項６に記載の操作支援システム。
8. 前記付加手段は、予め記憶している、指示する向きのそれぞれ異なる前記操作指示用の画像の候補の中から、前記制御装置の操作パネルでの前記操作の開始時の操作位置および前記制御装置の操作パネルでの前記操作の終了時の操作位置に基づいて選択して付加する、請求項６または７に記載の操作支援システム。
9. 操作パネルを有する電子機器であって、
   制御装置と通信することで、前記制御装置の操作パネルでの操作位置を示す情報を取得するための位置入力手段と、
   前記操作位置に基づいて操作画面を生成するための第１の生成手段と、
   前記操作画面に基づいて支援用の画像を生成するための第２の生成手段と、
   前記支援用の画像を前記操作パネルに表示するための表示手段とを備え、
   前記第２の生成手段は、前記第１の生成手段が前記制御装置の操作パネルでの連続した操作における第１の操作位置に基づいて生成した第１の操作画面から、前記操作において前記第１の操作位置から移動した第２の操作位置に基づいて生成した第２の操作画面までの間の操作画面を、前記第１の操作位置から前記第２の操作位置までの操作時間に応じて補間するための補間手段を含み、
   前記表示手段は、前記操作のうちの前記第１の操作位置から前記第２の操作位置までの操作の支援用の画像として、前記補間された操作画面を間に挟んだ前記第１の操作画面から前記第２の操作画面までの操作画面群を連続して前記電子機器の操作パネルに表示する、電子機器。
10. 前記第１の生成手段は、前記制御装置から前記操作の開始時の操作位置を示す情報を取得した後、前記操作の終了時の操作位置を示す情報を取得するまでの間、前記操作パネルに対する操作に基づく操作画面の生成を行なわない、請求項９に記載の電子機器。
11. 操作パネルを有する電子機器での、操作を支援するための支援用の画像の表示方法であって、
    制御装置の操作パネルでの連続した操作における第１の操作位置と前記操作において前記第１の操作位置から移動した第２の操作位置とのそれぞれに基づいて第１の操作画面および第２の操作画面を生成するステップと、
    前記第１の操作画面から前記第２の操作画面までの間の操作画面を、前記第１の操作位置から前記第２の操作位置までの操作時間に応じて補間するステップと、
    前記操作のうちの前記第１の操作位置から前記第２の操作位置までの操作の支援用の画像として、前記補間された操作画面を間に挟んだ前記第１の操作画面から前記第２の操作画面までの操作画面群を連続して前記電子機器の操作パネルで表示するステップとを備える、表示方法。
12. 操作パネルを有する電子機器に、操作を支援するための支援用の画像を表示する処理を実行させるプログラムであって、前記プログラムは、
    制御装置の操作パネルでの連続した操作における第１の操作位置と前記操作において前記第１の操作位置から移動した第２の操作位置とのそれぞれに基づいて第１の操作画面および第２の操作画面を生成するステップと、
    前記第１の操作画面から前記第２の操作画面までの間の操作画面を、前記第１の操作位置から前記第２の操作位置までの操作時間に応じて補間するステップと、
    前記操作のうちの前記第１の操作位置から前記第２の操作位置までの操作の支援用の画像として、前記補間された操作画面を間に挟んだ前記第１の操作画面から前記第２の操作画面までの操作画面群を連続して前記電子機器の操作パネルで表示するステップとを前記電子機器に実行させる、制御プログラム。

Images