JP6981215B2 - 複合機、画面表示方法、およびコンピュータプログラム - Google Patents

Description

本発明は、画像形成装置およびサーバなど２つのシステムそれぞれの画面を同時に表示する技術に関する。

コピー、スキャン、ファックス、およびボックスなどの様々な機能を備えた画像形成装置が普及している。このような画像形成装置は「ＭＦＰ（Multi Function Peripherals）」と呼ばれることがある。

また、近年、画像形成装置を物理的なサーバ（いわゆるサーバ機またはサーバユニット）と一体的に構成する技術が提案されている。これにより、画像形成装置の機能の拡張性を従来よりも容易に向上させることができる。以下、画像形成装置とサーバとを一体化した装置を「複合機」と記載する。

画像形成装置が表示する画面とサーバが表示する画面とは、異なる。複合機に設けられている表示用のタッチパネルディスプレイが１つしかない場合、画像形成装置の画面とサーバの画面とを切り替えて表示することがある。

以下の特許文献には、異なるハードウェアそれぞれを切り替えて画面を生成して表示する技術が開示されている。

特許文献１に記載の情報処理装置は、第１及び第２のグラフィックスチップと、検知手段と、表示手段とを有する。第１のグラフィックスチップは第１の描画処理能力を有する。第２のグラフィックスチップは第２の描画処理能力を有する。検知手段は第１のグラフィックスチップの実行から第２のグラフィックスチップの実行に切り替えるための要求を検知する。表示手段は検知手段により第１のグラフィックスチップの実行から第２のグラフィックスチップの実行に切り替えるための要求が検知されたとき、アプリケーションの終了を誘導する第１の画面を表示する。第１の画面の表示により、グラフィックスチップの切り替えを安全かつ容易に行うようユーザを誘導することができる。

特開２０１０−２０５９６号公報

画像形成装置およびサーバのそれぞれが画面を生成し、両者のうちの一方が他方に画面を送信し、他方が、一方から送信されてきた画面と生成した画面とを並べることによって合成してタッチパネルディスプレイに表示する。これによって、両者の画面を同時に表示することができる。

しかし、両者の画面を同時に表示すると、画面の切り替わりに遅延が生じることがあった。上述の特許文献１に記載の情報処理装置は、複数の画面を同時に表示するものではなく、この問題を解決できない。

本発明は、このような問題点に鑑み、画像形成装置およびサーバなどの２つのシステムそれぞれの画面を同時に表示する複合機において、画面の切り替わりに遅延が生じることを従来よりも抑えることを、目的とする。

本発明の一形態に係る複合機は、第１のシステムおよび第２のシステムを有する複合機であって、前記第１のシステムに、当該第１のシステムの画面である第１の画面を前記第２のシステムへ送信する、第１の送信手段、が設けられ、前記第２のシステムに、当該第２のシステムの画面である第２の画面を前記第１のシステムへ送信する、第２の送信手段、が設けられ、前記第１のシステムに、さらに、前記第１の画面を更新させる必要が生じた場合に、当該第１の画面と前記第２のシステムから送信されてきた前記第２の画面とを、当該第１の画面を更新させた状態で並べてディスプレイに表示させる、第１の表示制御手段と、前記第２のシステムに、さらに、前記第２の画面を更新させる必要が生じた場合に、当該第２の画面と前記第１のシステムから送信されてきた前記第１の画面とを、当該第２の画面を更新させた状態で並べて前記ディスプレイに表示させる、第２の表示制御手段と、が設けられる。

本発明の他の一形態に係る複合機は、第１のシステムおよび第２のシステムを有する複合機であって、前記第１のシステムに、当該第１のシステムの画面である第１の画面を前記第２のシステムへ送信する、第１の送信手段、が設けられ、前記第２のシステムに、当該第２のシステムの画面である第２の画面を前記第１のシステムへ送信する、第２の送信手段、が設けられ、前記第１のシステムに、さらに、当該第１のシステムに対する第１の操作がなされた場合に、前記第１の画面と前記第２のシステムから送信されてきた前記第２の画面とを並べてディスプレイに表示させる、第１の表示制御手段と、前記第２のシステムに、さらに、当該第２のシステムに対する第２の操作がなされた場合に、前記第２の画面と前記第１のシステムから送信されてきた前記第１の画面とを並べて前記ディスプレイに表示させる、第２の表示制御手段と、が設けられる。

本発明によると、画像形成装置およびサーバなどの２つのシステムそれぞれの画面を同時に表示する複合機において、画面の切り替わりに遅延が生じることを従来よりも抑えることができる。

複合機の全体の例を示す図である。 複合機のハードウェア構成の例を示す図である。 ＭＦＰユニットのハードウェア構成の例を示す図である。 ＭＦＰユニットの機能的構成の例を示す図である。 サーバユニットのハードウェア構成の例を示す図である。 サーバユニットの機能的構成の例を示す図である。 配置データの例を示す図である。 操作画面の例を示す図である。 配置データの例を示す図である。 操作画面の例を示す図である。 複合操作画面の例を示す図である。 複合操作画面の例を示す図である。 ＭＦＰユニットの全体的な処理の流れの例を示すフローチャートである。 ＭＦＰユニットの全体的な処理の流れの例を示すフローチャートである。 ＭＦＰユニットの機能的構成の他の例を示す図である。 サーバユニットの機能的構成の他の例を示す図である。 操作画面の例を示す図である。 ＭＦＰユニットの全体的な処理の流れの例を示すフローチャートである。 ＭＦＰユニットの全体的な処理の流れの例を示すフローチャートである。 ＭＦＰユニットの全体的な処理の流れの例を示すフローチャートである。 ＭＦＰユニットの全体的な処理の流れの例を示すフローチャートである。

〔第１の実施形態〕
図１は、複合機１の全体の例を示す図である。図２は、複合機１のハードウェア構成の例を示す図である。図３は、ＭＦＰユニット２のハードウェア構成の例を示す図である。図４は、ＭＦＰユニット２の機能的構成の例を示す図である。図５は、サーバユニット３のハードウェア構成の例を示す図である。図６は、サーバユニット３の機能的構成の例を示す図である。

図１に示す複合機１は、様々な機能を集約した装置である。複合機１は、図１および図２に示すように、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびセレクタ５などによって構成される。

サーバユニット３は、ＭＦＰユニット２の筐体に収納されている。タッチパネルディスプレイ４は、タッチ面および表示面がやや水平になるようにスキャンユニット２０ｇの正面に配置されている。

ＭＦＰユニット２は、一般に「ＭＦＰ（Multi Function Peripherals）」などと呼ばれる画像形成装置に相当する装置であって、コピー、ＰＣプリント、ファックス、スキャン、およびボックスなどの機能を有する。

ＰＣプリント機能は、複合機１の外部の装置またはサーバユニット３から受信した画像データに基づいて画像を用紙に印刷する機能である。

ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像データなどを保存し管理するための機能である。ボックスは、パーソナルコンピュータにおける「フォルダ」または「ディレクトリ」に相当する。

サーバユニット３は、サーバ機またはパーソナルコンピュータに相当する装置であって、ウェブサーバまたはＦＴＰ（File Transfer Protocol）サーバなどの機能を有する。サーバユニット３として、組込みコンピュータ（例えば、組込みＬｉｎｕｘ（登録商標）または組込みＷｉｎｄｏｗｓ（登録商標）など）が用いられる。組込みコンピュータは、「組込みコンピュータシステム」または「ビルトインサーバ」などと呼ばれることもある。

タッチパネルディスプレイ４は、ＭＦＰユニット２およびサーバユニット３によって共用される。そして、複合機１を直接操作するユーザを対象に、ＭＦＰユニット２の画面およびサーバユニット３の画面を表示する。また、タッチパネルのタッチ面のタッチされた位置の座標を示すデータ（以下、「座標データ６Ａ」と記載する。）をセレクタ５へ送信する。

セレクタ５は、ＭＦＰユニット２またはサーバユニット３から受信した、画面を表示するための映像信号を、タッチパネルディスプレイ４へ送信する。また、タッチパネルディスプレイ４から受信した座標データ６Ａを、ＭＦＰユニット２またはサーバユニット３へ送信する。

ＭＦＰユニット２およびサーバユニット３それぞれの機能によって基本的なサービスがユーザへ提供される。さらに、これらの機能を組み合わせることによって、応用的なサービスがユーザへ提供される。

ＭＦＰユニット２は、図３に示すように、ＣＰＵ（Central Processing Unit）２０ａ、ＲＡＭ（Random Access Memory）２０ｂ、ＲＯＭ（Read Only Memory）２０ｃ、補助記憶装置２０ｄ、第１のＮＩＣ（Network Interface Card）２０ｅ、第２のＮＩＣ２０ｆ、スキャンユニット２０ｇ、プリントユニット２０ｈ、フィニッシャ２０ｉ、ビデオボード２０ｊ、および入力インタフェース２０ｋなどによって構成される。

第１のＮＩＣ２０ｅは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルで外部の装置との通信を行う。

第２のＮＩＣ２０ｆは、サーバユニット３の第２のＮＩＣ３０ｆ（図５参照）とツイストペアケーブルによって繋がれており、ＴＣＰ／ＩＰなどのプロトコルでサーバユニット３と通信する。

スキャンユニット２０ｇは、プラテンガラスの上にセットされたシートに記されている画像を読み取って画像データを生成する。

プリントユニット２０ｈは、スキャンユニット２０ｇによって読み取られた画像のほか、第１のＮＩＣ２０ｅによって複合機１の外部の装置から受信しまたは第２のＮＩＣ２０ｆによってサーバユニット３から受信した画像データに示される画像を用紙に印刷する。

フィニッシャ２０ｉは、プリントユニット２０ｈによって得られた印刷物に対して、必要に応じて後処理を施す。後処理は、ステープルで綴じる処理、パンチ穴を開ける処理、または折り曲げる処理などである。

ビデオボード２０ｊは、画面データを映像信号に変換して、セレクタ５へ送信する。「グラフィックボード」、「ＬＣＤ（liquid crystal display）コントローラ」または「ビデオカード」などと呼ばれることもある。

ビデオボード２０ｊおよび第１の入力端子５０ａのインタフェースとして、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）またはＤ−ＳＵＢ（D-Subminiature）などが用いられる。後述するビデオボード３０ｇ、第２の入力端子５０ｂ、および第３の出力端子５０ｆのインタフェースも同じである。

第２のＮＩＣ２０ｆのインタフェースとして、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．３などが用いられる。後述する第２のＮＩＣ３０ｆも同じである。

入力インタフェース２０ｋは、セレクタ５の第１の出力端子５０ｄとケーブルで繋がれており、座標データ６Ａをタッチパネルディスプレイ４から受信する。

入力インタフェース２０ｋおよび第１の出力端子５０ｄのインタフェースとして、ＩＥＥＥ１３９４またはＵＳＢ（Universal Serial Bus）などが用いられる。後述する入力インタフェース３０ｈ、第２の出力端子５０ｅ、および第３の入力端子５０ｃも同じである。

ＲＯＭ２０ｃまたは補助記憶装置２０ｄには、上述のコピーなどの各機能を実現するためのプログラムが記憶されている。補助記憶装置２０ｄとして、ハードディスクドライブまたはＳＳＤ（Solid State Drive）などが用いられる。

さらに、ＲＯＭ２０ｃまたは補助記憶装置２０ｄには、画面出力プログラム２０Ｐ（図４参照）が記憶されている。画面出力プログラム２０Ｐは、ＭＦＰユニット２の画面の画面データをサーバユニット３へ送信し、または、サーバユニット３の画面とＭＦＰユニット２の画面とを合成し、合成した画面の画面データをビデオボード２０ｊへ出力するためのプログラムである。

これらのプログラムは、必要に応じてＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。

サーバユニット３は、図５に示すように、ＣＰＵ３０ａ、ＲＡＭ３０ｂ、ＲＯＭ３０ｃ、補助記憶装置３０ｄ、第１のＮＩＣ３０ｅ、第２のＮＩＣ３０ｆ、ビデオボード３０ｇ、入力インタフェース３０ｈなどによって構成される。

第１のＮＩＣ３０ｅは、ＴＣＰ／ＩＰなどのプロトコルで複合機１の外部の装置と通信する。

第２のＮＩＣ３０ｆは、ＭＦＰユニット２の第２のＮＩＣ２０ｆ（図３参照）とツイストペアケーブルによって繋がれており、ＴＣＰ／ＩＰなどのプロトコルでＭＦＰユニット２と通信する。

ビデオボード３０ｇは、画面データを映像信号に変換して、セレクタ５へ送信する。入力インタフェース３０ｈは、セレクタ５の第２の出力端子５０ｅとケーブルで繋がれており、座標データ６Ａをセレクタ５から受信する。

ＲＯＭ３０ｃまたは補助記憶装置３０ｄには、アプリケーションをダウンロードする機能およびインストールする機能などを実現するためのプログラムが記憶されている。補助記憶装置３０ｄとして、ハードディスクドライブまたはＳＳＤなどが用いられる。

さらに、ＲＯＭ３０ｃまたは補助記憶装置３０ｄには、画面出力プログラム３０Ｐ（図６参照）が記憶されている。画面出力プログラム３０Ｐは、サーバユニット３の画面の画面データをＭＦＰユニット２へ送信し、または、サーバユニット３の画面とＭＦＰユニット２の画面とを合成し、合成した画面の画面データをビデオボード３０ｇへ出力するためのプログラムである。

これらのプログラムは、必要に応じてＲＡＭ３０ｂにロードされ、ＣＰＵ３０ａによって実行される。

タッチパネルディスプレイ４は、図２に示すように、ディスプレイモジュール４Ａおよびタッチパネルモジュール４Ｂなどによって構成される。

ディスプレイモジュール４Ａは、セレクタ５から送信された映像信号に基づいて画面を表示する。ディスプレイモジュール４Ａとして、有機ＥＬ（Electro Luminescence）ディスプレイまたは液晶ディスプレイなどのフラットパネルディスプレイが用いられる。

タッチパネルモジュール４Ｂは、そのタッチ面がタッチされたことを検知するごとに、座標データ６Ａをセレクタ５へ送信する。

セレクタ５は、図２に示すように、第１の入力端子５０ａ、第２の入力端子５０ｂ、第３の入力端子５０ｃ、第１の出力端子５０ｄ、第２の出力端子５０ｅ、第３の出力端子５０ｆ、およびコントローラ５０ｇなどによって構成される。

第１の入力端子５０ａは、ＭＦＰユニット２のビデオボード２０ｊにケーブルによって繋がれており、ビデオボード２０ｊから映像信号が入力される。第２の入力端子５０ｂは、サーバユニット３のビデオボード３０ｇにケーブルによって繋がれており、ビデオボード３０ｇから映像信号が入力される。第３の入力端子５０ｃは、タッチパネルモジュール４Ｂにケーブルによって繋がれており、タッチパネルモジュール４Ｂから座標データ６Ａが入力される。

第１の出力端子５０ｄは、ＭＦＰユニット２の入力インタフェース２０ｋにケーブルによって繋がれており、座標データ６ＡをＭＦＰユニット２へ出力する。第２の出力端子５０ｅは、サーバユニット３の入力インタフェース３０ｈにケーブルによって繋がれており、座標データ６Ａをサーバユニット３へ出力する。第３の出力端子５０ｆは、ＭＦＰユニット２またはサーバユニット３から送信された映像信号をディスプレイモジュール４Ａへ出力する。

コントローラ５０ｇは、第１の入力端子５０ａまたは第２の入力端子５０ｂに入力された映像信号をディスプレイモジュール４Ａへ送信する。

また、コントローラ５０ｇは、第３の入力端子５０ｃから座標データ６Ａが入力されると、座標データ６Ａを第１の出力端子５０ｄまたは第２の出力端子５０ｅから出力する処理を、以下のように行う。

コントローラ５０ｇは、タッチパネルモジュール４Ｂから座標データ６Ａが送信され第３の入力端子５０ｃから入力されると、映像信号が第１の入力端子５０ａおよび第２の入力端子５０ｂのいずれから入力されているのかを判別する。第１の入力端子５０ａから入力されている場合、座標データ６Ａを第１の出力端子５０ｄから出力する。第２の入力端子５０ｂから入力されている場合、第２の出力端子５０ｅから出力する。

画面出力プログラム２０Ｐによると、配置データ記憶部２０１ないし判別部２０６がＭＦＰユニット２に実現され、画面出力プログラム３０Ｐによると、配置データ記憶部３０１ないし判別部３０６がサーバユニット３に実現される。

図７は、配置データ６Ｃの例を示す図である。図８は、操作画面５Ｂ１の例を示す図である。図９は、配置データ６Ｅの例を示す図である。図１０は、操作画面５Ｂ２の例を示す図である。図１１は、複合操作画面５Ｂ３の例を示す図である。図１２は、複合操作画面５Ｂ４の例を示す図である。

以下、第１の実施形態における複合機１の動作を、図４ないし図１２を参照しながら説明する。

ユーザは、複合機１の電源をオンにする。すると、ＭＦＰユニット２およびサーバユニット３のそれぞれが独立して必要なプログラム（オペレーティングシステムおよびファームウェアなど）を順次、起動する。

すると、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびセレクタ５において、以下のような処理が行われる。

ＭＦＰユニット２の配置データ記憶部２０１（図４参照）には、配置データ６Ｃが、ＭＦＰユニット２の機能の実行の指示をユーザから受け付けるためのアイコンごとに、図７に示すように記憶されている。

配置データ６Ｃは、「アイコン名」、「機能」、および「位置」を示す。さらに、アイコンを表示するための画像データが含まれている。画像データとして、ＧＩＦ（Graphics Interchange Format）またはＰＩＮＧ（Portable Network Graphics）などのフォーマットのファイルが用いられる。

「アイコン名」はアイコンの名称であり、アイコンを識別するものである。「機能」は、例えば、ユーザがアイコンをタップすることでユーザからの指示が受け付けられた際に、実行される機能である。

「位置」は、ＭＦＰユニット２を操作するための操作画面５Ｂ１におけるアイコンの位置である。すなわち、「位置」は、操作画面５Ｂ１の全体の領域をＸＹの座標系で表したときの、アイコンを囲う外枠の４つの頂点の座標（Ｘ座標およびＹ座標）のそれぞれを示す。４つの頂点の座標によって、アイコンのサイズも表わされている。

なお、アイコンを囲う外枠（具体的には、図７の配置データ６Ｃそれぞれの「画像」における、アイコンを囲う矩形状の枠）およびその中に含まれる座標を、「アイコンの座標」と記載する。

また、配置データ記憶部２０１には、タッチパネルモジュール４Ｂの表示面の全体の領域（以下、「全体領域」と記載する。）における、操作画面５Ｂ１などのＭＦＰユニット２によって生成される画面の位置およびサイズ、ならびに、サーバユニット３を操作するための後述する操作画面５Ｂ２などのサーバユニット３によって生成される画面の位置およびサイズを示す全体配置データ６Ｄも、記憶されている。

本例では、操作画面５Ｂ１の位置が、全体領域を横方向（Ｘ軸方向）に等分したときの左半分の領域であること、および、操作画面５Ｂ１のサイズがその領域のサイズに等しいことが、全体配置データ６Ｄに示される。さらに、操作画面５Ｂ２の位置が、全体領域を横方向に等分したときの右半分の領域であること、および、操作画面５Ｂ２のサイズがその領域のサイズに等しいことが、全体配置データ６Ｄに示される。

ＭＦＰユニット２の生成部２０２は、配置データ記憶部２０１に記憶されている配置データ６Ｃおよび全体配置データ６Ｄに基づいて、図８に示すような操作画面５Ｂ１を生成する。

サーバユニット３の配置データ記憶部３０１（図６参照）には、配置データ６Ｅが、サーバユニット３の機能の実行の指示をユーザから受け付けるためのアイコンごとに、図９に示すように記憶されている。

配置データ６Ｅは、上述の配置データ６Ｃと同様に、「アイコン名」および「機能」を示す。さらに、アイコンを表示するための画像データが含まれている。

「位置」は、サーバユニット３を操作するための操作画面５Ｂ２におけるアイコンの位置およびサイズである。すなわち、「位置」は、操作画面５Ｂ２の全体の領域をＸＹの座標系で表したときの、アイコンの４つの頂点の座標（Ｘ座標およびＹ座標）のそれぞれを示す。

また、配置データ記憶部３０１には、上述の配置データ記憶部２０１と同様に、全体配置データ６Ｄも記憶されている。

サーバユニット３の生成部３０２は、配置データ記憶部３０１に記憶されている配置データ６Ｅおよび全体配置データ６Ｄに基づいて、図１０に示すような操作画面５Ｂ２を生成する。

ＭＦＰユニット２のユニット出力部２０３（図４参照）は、生成部２０２が生成した操作画面５Ｂ１の画面データ６Ｂ１をサーバユニット３へ送信する。画面データ６Ｂ１は、操作画面５Ｂ１のビットマップデータまたはそれを圧縮したデータである。

または、サーバユニット３のユニット出力部３０３（図６参照）は、生成部３０２が生成した操作画面５Ｂ２の画面データ６Ｂ２をＭＦＰユニット２へ送信する。画面データ６Ｂ２は、操作画面５Ｂ２のビットマップデータまたはそれを圧縮したデータである。

ユニット出力部２０３およびユニット出力部３０３のうちのいずれか一方だけが、この処理を行う。両者のうちのいずれが行うかは、後述するように切り換わる。どちらが最初に行うのかは、画面出力プログラム２０Ｐまたは画面出力プログラム３０Ｐに予め設定しておけばよい。

本例では、最初は、ユニット出力部２０３が、画面データ６Ｂ１をサーバユニット３へ送信する。

合成部３０４は、画面データ６Ｂ１を受信すると、配置データ記憶部３０１に記憶されている全体配置データ６Ｄに示される位置に従って、画面データ６Ｂ１に示される操作画面５Ｂ１および生成部３０２によって生成された操作画面５Ｂ２を並べて合成することによって、複合操作画面５Ｂ３を生成する。

本例では、合成部３０４は、操作画面５Ｂ１が全体領域の左半分の領域に配置されるように、また、操作画面５Ｂ２が全体領域の右半分の領域に配置されるように、操作画面５Ｂ１および操作画面５Ｂ２を並べる。両画面を合成することで、図１１に示すような複合操作画面５Ｂ３を生成する。なお、Ｘｍｉｄは、全体領域の水平方向の長さの値の半分であり、Ｘｍａｘ／２、である。

セレクタ出力部３０５は、複合操作画面５Ｂ３の画面データをディスプレイモジュール４Ａ用の映像信号６Ｂ３に変換しセレクタ５へ送信する処理を、ビデオボード３０ｇに実行させる。

セレクタ５のコントローラ５０ｇ（図２参照）は、映像信号６Ｂ３が第２の入力端子５０ｂから入力されると、映像信号６Ｂ３を第３の出力端子５０ｆからディスプレイモジュール４Ａへ出力する。すなわち、映像信号６Ｂ３をサーバユニット３からディスプレイモジュール４Ａへ中継する。

ディスプレイモジュール４Ａは、映像信号６Ｂ３を受信すると、複合操作画面５Ｂ３を表示する。

その後、ユーザは、ＭＦＰユニット２またはサーバユニット３の機能を実行させようとして、タッチパネルディスプレイ４に表示されている複合操作画面５Ｂ３の、その機能に対応するアイコンをタップする。本例では、ＭＦＰユニット２のボックス機能を実行させようとして、複合操作画面５Ｂ３の左半分（つまり操作画面５Ｂ１の部分）に配置されているアイコンのうち、ボックスのアイコンをタップする。

すると、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびセレクタ５において、以下のような処理が行われる。

タッチパネルモジュール４Ｂ（図２参照）は、ユーザがタップした位置を示すデータを座標データ６Ａとして生成し、セレクタ５へ送信する。

セレクタ５のコントローラ５０ｇは、座標データ６Ａが第３の入力端子５０ｃに入力されるとつまり座標データ６Ａをタッチパネルモジュール４Ｂから受信すると、映像信号６Ｂ３が第１の入力端子５０ａおよび第２の入力端子５０ｂのいずれから入力されているのかを判別する。判別した結果に応じて、座標データ６Ａを第１の出力端子５０ｄまたは第２の出力端子５０ｅから出力する。すなわち、座標データ６ＡをＭＦＰユニット２またはサーバユニット３へ送信する。

本例では、コントローラ５０ｇは、映像信号６Ｂ３が第２の入力端子５０ｂから入力されていると、判別する。そこで、座標データ６Ａを、第２の出力端子５０ｅから出力する、つまりサーバユニット３へ送信する。

サーバユニット３の判別部３０６（図６参照）は、座標データ６Ａを受信すると、配置データ記憶部３０１に記憶されている全体配置データ６Ｄに基づいて、座標データ６Ａに示される座標が操作画面５Ｂ２のいずれかの位置の座標であるか、または操作画面５Ｂ１のいずれかの位置の座標であるかを判別する。

本例では、判別部３０６は、座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標であると判別する。

座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標であると判別された場合、ユニット出力部３０３は、最も直近に生成した操作画面５Ｂ２の画面データ６Ｂ２をＭＦＰユニット２へ送信する。このとき、座標データ６Ａも併せて送信する。なお、座標データ６Ａが連続的に複数、タッチパネルモジュール４Ｂから送信されてきた場合は、これらの座標データ６ＡをすべてＭＦＰユニット２へ送信する。

ＭＦＰユニット２が座標データ６Ａおよび画面データ６Ｂ２を受信すると、生成部２０２（図４参照）は、配置データ記憶部２０１に記憶されている配置データ６Ｃの中から、座標データ６Ａに示される座標がアイコンの座標に含まれる配置データ６Ｃを特定し、その配置データ６Ｃのアイコンがタップされた直後に表示すべき操作画面５Ｃ１（例えば、そのアイコンに対応付けられた機能の設定を行うための画面）を生成する。

合成部２０４は、生成された操作画面５Ｃ１および受信された画面データ６Ｂ２に示される操作画面５Ｂ２を並べて合成することによって、複合操作画面５Ｂ４を生成する。このとき、配置データ記憶部２０１に記憶されている全体配置データ６Ｄに示される位置に従って、操作画面５Ｂ２を配置する。また、全体配置データ６Ｄに示される操作画面５Ｂ１の位置を操作画面５Ｃ１の位置として、操作画面５Ｃ１を配置する。

本例では、合成部２０４は、操作画面５Ｃ１が全体領域の左半分の領域に配置されるように、また、操作画面５Ｂ２が全体領域の右半分の領域に配置されるように、操作画面５Ｃ１および操作画面５Ｂ２を並べる。両画面を合成することで、図１２に示すような複合操作画面５Ｂ４を生成する。

セレクタ出力部２０５は、複合操作画面５Ｂ４の画面データをディスプレイモジュール４Ａ用の映像信号６Ｂ４に変換しセレクタ５へ送信する処理を、ビデオボード２０ｊに実行させる。

セレクタ５のコントローラ５０ｇは、映像信号６Ｂ４をサーバユニット３からディスプレイモジュール４Ａへ中継する。ディスプレイモジュール４Ａは、受信した複合操作画面５Ｂ４を表示する。

なお、サーバユニット３の判別部３０６によって座標データ６Ａに示される座標が操作画面５Ｂ２のいずれかの位置の座標であると判別された場合、ＭＦＰユニット２およびサーバユニット３において、以下のような処理が行われる。

生成部３０２は、配置データ記憶部３０１に記憶されている配置データ６Ｅの中から、座標データ６Ａに示される座標がアイコンの座標に含まれる配置データ６Ｅを特定する。このとき、座標データ６Ａに示される座標のうちのＸ座標の値からＸｍｉｄの値を引いたものを、座標データ６Ａに示されるＸ座標として用いる。

生成部３０２は、特定した配置データ６Ｅのアイコンがタップされた直後に表示すべき操作画面５Ｃ２を生成する。最も直近に生成された操作画面５Ｂ１をＭＦＰユニット２へ要求する。

ＭＦＰユニット２のユニット出力部２０３（図４参照）は、最も直近に生成した操作画面５Ｂ１の画面データ６Ｂ１をサーバユニット３へ送信する。

サーバユニット３の合成部３０４は、画面データ６Ｂ１を受信すると、上述の複合操作画面５Ｂ３を生成するのと同様に、複合操作画面５Ｂ４を生成する。ただし、操作画面５Ｂ２の代わりに操作画面５Ｃ２を合成する。

セレクタ出力部３０５は、複合操作画面５Ｂ４の画面データを映像信号６Ｂ４に変換しセレクタ５へ送信する処理を、ビデオボード３０ｇに実行させる。

上述と同様に、セレクタ５のコントローラ５０ｇ（図２参照）は、映像信号６Ｂ４をサーバユニット３から受信すると、ディスプレイモジュール４Ａへ中継する。ディスプレイモジュール４Ａは、映像信号６Ｂ４を受信すると、複合操作画面５Ｂ４を表示する。

図１３および図１４は、ＭＦＰユニット２の全体的な処理の流れの例を示すフローチャートである。

次に、第１の実施形態におけるＭＦＰユニット２、サーバユニット３それぞれの全体的な処理の流れを、図１３および図１４のフローチャートを参照しながら説明する。

ＭＦＰユニット２およびサーバユニット３は、画面出力プログラム２０Ｐおよび画面出力プログラム３０Ｐそれぞれに基づいて、図１３および図１４に示す処理を実行する。

ユーザが複合機１の電源をオンにすると、ＭＦＰユニット２およびサーバユニット３のそれぞれが独立して起動する。

ＭＦＰユニット２は、画面出力プログラム２０Ｐを起動すると、操作画面５Ｂ１を生成する（図１３の＃６０１）。サーバユニット３へ操作画面５Ｂ１を送信するように設定されている場合（＃６０２でＹｅｓ）、操作画面５Ｂ１をサーバユニット３へ送信する（＃６０３）。

サーバユニット３へ操作画面５Ｂ１を送信するように設定されていない場合（＃６０２でＮｏ）、ＭＦＰユニット２は、操作画面５Ｂ２をサーバユニット３から受信する（＃６０４）。生成した操作画面５Ｂ１および受信した操作画面５Ｂ２を左右に並べて合成することで複合操作画面５Ｂ３を生成し（＃６０５）、セレクタ５へ送信する（＃６０６）。

ＭＦＰユニット２は、座標データ６Ａをセレクタ５から受信すると（図１４の＃６１１でＹｅｓ）、座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標であるか、または操作画面５Ｂ２のいずれかの位置の座標であるかを判別する（＃６１２）。

ＭＦＰユニット２は、座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標であると判別した場合（＃６１３でＹｅｓ）、座標データ６Ａに基づいてユーザにタップされたアイコンの配置データ６Ｃを特定して、そのアイコンがタップされた直後の操作画面５Ｃ１を生成する（＃６１４）。サーバユニット３が最も直近に生成した操作画面５Ｂ２を、サーバユニットへ要求して受信する（＃６１５）。

ＭＦＰユニット２は、生成した操作画面５Ｃ１および受信した操作画面５Ｂ２を合成することで複合操作画面５Ｂ４を生成し（＃６１６）、セレクタ５へ送信する（＃６１７）。

ＭＦＰユニット２は、座標データ６Ａに示される座標が操作画面５Ｂ２のいずれかの位置の座標であると判別した場合（＃６１３でＮｏ）、座標データ６Ａおよび最も直近に生成した操作画面５Ｂ１をサーバユニット３へ送信する（＃６１８）。

ＭＦＰユニット２は、座標データ６Ａをセレクタ５から受信することなく（＃６１１でＮｏ）、座標データ６Ａおよびサーバユニット３が最も直近に生成した操作画面５Ｂ２をサーバユニット３から受信した場合に（＃６２０でＹｅｓ）、ユーザにタップされたアイコンの配置データ６Ｃを座標データ６Ａに基づいて特定して、そのアイコンがタップされた直後の操作画面５Ｃ１を生成する（＃６２１）。生成した操作画面５Ｃ１および受信した操作画面５Ｂ２を合成することで複合操作画面５Ｂ４を生成し（＃６２２）、セレクタ５へ送信する（＃６２３）。

ＭＦＰユニット２は、座標データ６Ａをセレクタ５から受信することなく（＃６１１でＮｏ）、かつ、座標データ６Ａおよびサーバユニット３が最も直近に生成した操作画面５Ｂ２をサーバユニット３から受信することなく（＃６２０でＮｏ）、サーバユニット３からの要求を受信した場合に（＃６２４でＹｅｓ）、その要求に応じて最も直近に生成した操作画面５Ｂ１をサーバユニット３へ送信する（＃６２５）。

上述の処理は、ＭＦＰユニット２のオペレーティングシステムが終了するまで継続される（＃６１９でＮｏ）。

なお、サーバユニット３は、画面出力プログラム３０Ｐを起動すると、上述のＭＦＰユニット２における処理と同様の処理を行う。

すなわち、サーバユニット３は、操作画面５Ｂ２を生成する（＃６０１）。そして、操作画面５Ｂ２をＭＦＰユニット２へ送信し、または、複合操作画面５Ｂ３を生成してセレクタ５へ送信する（＃６０２〜＃６０６）。

また、サーバユニット３は、座標データ６Ａをセレクタ５から受信した場合は、複合操作画面５Ｂ３を生成してセレクタ５へ送信し、または、座標データ６Ａおよび操作画面５Ｂ２をＭＦＰユニット２へ送信する（＃６１１〜＃６１８）。座標データ６Ａをセレクタ５から受信することなく座標データ６Ａおよび操作画面５Ｂ１をＭＦＰユニット２から受信した場合は、操作画面５Ｂ１および複合操作画面５Ｂ３を生成して、生成した複合操作画面５Ｂ３をセレクタ５へ送信する（＃６２０〜＃６２３）。座標データ６Ａをセレクタ５およびＭＦＰユニット２から受信することなく、ＭＦＰユニット２からの要求を受信した場合に、その要求に応じて操作画面５Ｂ１をＭＦＰユニット２へ送信する（＃６２０、＃６２４、＃６２５）。

第１の実施形態によると、ＭＦＰユニット２の操作画面５Ｂ１およびサーバユニット３の操作画面５Ｂ２を並べて表示しているときにおいて、操作画面５Ｂ１または操作画面５Ｂ２の切替えの際に生じる遅延を従来よりも抑えることができる。

〔第２の実施形態〕
図１５は、ＭＦＰユニット２の機能的構成の他の例を示す図である。図１６は、サーバユニット３の機能的構成の他の例を示す図である。図１７は、操作画面５Ｂ７の例を示す図である。

第２の実施形態によると、映像信号の出力元がＭＦＰユニット２からサーバユニット３に変わりまたはサーバユニット３からＭＦＰユニット２に変わった際の、画面の切り替わりに遅延が発生することを第１の実施形態よりも抑えることができる。以下、この仕組みについて説明する。第１の実施形態と重複する点は、説明を省略する。

なお、第２の実施形態においては、ユーザがアイコンをタップするとアイコンに対応付けられた機能が実行され、ロングタップするとアイコンが選択された状態で表示されるとする。

複合機１のハードウェア構成は、第１の実施形態と同様であり、前に図１ないし図３、および図５に示したとおりである。各ハードウェアの機能も、第１の実施形態と同様である。

ただし、ＭＦＰユニット２のＲＯＭ２０ｃまたは補助記憶装置２０ｄには、画面出力プログラム２０Ｐ（図４参照）の代わりに、画面出力プログラム２１Ｐ（図１５参照）が記憶されている。画面出力プログラム２１Ｐは、差分データ６Ｆ１を生成して所定の時間間隔でサーバユニット３へ送信し、または、ＭＦＰユニット２の画面とサーバユニット３の画面とを合成し、合成した画面の画面データをビデオボード２０ｊへ出力するためのプログラムである。

また、サーバユニット３のＲＯＭ３０ｃまたは補助記憶装置３０ｄには、画面出力プログラム３０Ｐ（図６参照）の代わりに、画面出力プログラム３１Ｐ（図１６参照）が記憶されている。画面出力プログラム３１Ｐは、差分データ６Ｆ２を生成して所定の時間間隔でＭＦＰユニット２へ送信し、または、サーバユニット３の画面とＭＦＰユニット２の画面とを合成し、合成した画面の画面データをビデオボード３０ｇへ出力するためのプログラムである。

画面出力プログラム２１Ｐによると、図１５に示す配置データ記憶部２１１ないし画面記憶部２２１がＭＦＰユニット２に実現される。画面出力プログラム３１Ｐによると、図１６に示す配置データ記憶部３１１ないし画面記憶部３２１がサーバユニット３に実現される。

ユーザが複合機１の電源をオンにすると、ＭＦＰユニット２およびサーバユニット３のそれぞれは、必要なプログラムを順次、起動する。

すると、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびセレクタ５において、以下のような処理が行われる。

ＭＦＰユニット２の配置データ記憶部２１１（図１５参照）には、第１の実施形態の配置データ記憶部２０１（図４参照）と同様に、配置データ６Ｃおよび全体配置データ６Ｄが記憶されている。また、サーバユニット３の配置データ記憶部３１１（図１６参照）には、第１の実施形態の配置データ記憶部３０１（図６参照）と同様に、配置データ６Ｅおよび全体配置データ６Ｄが記憶されている。

ＭＦＰユニット２の生成部２１２は、第１の実施形態の生成部２０２と同様に、配置データ記憶部２１１に記憶されている配置データ６Ｃおよび全体配置データ６Ｄに基づいて、操作画面５Ｂ１を生成する。

ユニット出力部２１３は、生成された操作画面５Ｂ１の画面データ６Ｂ１をサーバユニット３へ送信する。

サーバユニット３の生成部３１２は、第１の実施形態の生成部３０２と同様に、配置データ記憶部３１１に記憶されている配置データ６Ｅおよび全体配置データ６Ｄに基づいて、操作画面５Ｂ２を生成する。

ユニット出力部３１３は、生成された操作画面５Ｂ２の画面データ６Ｂ２をＭＦＰユニット２へ送信する。

なお、第１の実施形態では、ユニット出力部２０３およびユニット出力部３０３のうち、複合操作画面５Ｂ３を生成しない方のユニットに属するユニット出力部だけが、画面データを送信した。しかし、第２の実施形態では、ユニット出力部２１３およびユニット出力部３１３ともに、画面データを送信する。

ＭＦＰユニット２の合成部２１４は、画面データ６Ｂ２を受信すると、第１の実施形態の合成部３０４と同様に、操作画面５Ｂ１および操作画面５Ｂ２を並べて合成することによって、図１１に示したような複合操作画面５Ｂ３を生成する。操作画面５Ｂ２は、画面データとして画面記憶部２２１に記憶される。

サーバユニット３の合成部３１４は、画面データ６Ｂ１を受信すると、第１の実施形態の合成部３０４と同様に、操作画面５Ｂ２および操作画面５Ｂ１を並べて合成することによって、複合操作画面５Ｂ３を生成する。操作画面５Ｂ１は、画面データとして画面記憶部３２１に記憶される。

ＭＦＰユニット２のセレクタ出力部２１５は、生成された複合操作画面５Ｂ３の画面データをディスプレイモジュール４Ａ用の映像信号６Ｂ３に変換しセレクタ５へ送信する処理を、ビデオボード２０ｊに実行させる。または、サーバユニット３のセレクタ出力部３１５は、生成された複合操作画面５Ｂ３の画面データをディスプレイモジュール４Ａ用の映像信号６Ｂ３に変換しセレクタ５へ送信する処理を、ビデオボード３０ｇに実行させる。

セレクタ出力部２１５およびセレクタ出力部３１５のいずれか一方だけが、この処理を行う。両者のうちのいずれが行うかは、後述するように切り換わる。どちらが最初に行うのかは、画面出力プログラム２１Ｐまたは画面出力プログラム３１Ｐに予め設定しておけばよい。

本例では、最初は、サーバユニット３のセレクタ出力部３１５が、画面データを映像信号６Ｂ３に変換しセレクタ５へ送信する。

第１の実施形態と同様に、セレクタ５のコントローラ５０ｇ（図２参照）は、映像信号６Ｂ３をサーバユニット３からディスプレイモジュール４Ａへ中継する。ディスプレイモジュール４Ａは、受信した複合操作画面５Ｂ３を表示する。

ユーザは、複合操作画面５Ｂ３（図１１参照）のあるアイコンを選択するために、そのアイコンをロングタップする。本例では、複合操作画面５Ｂ３の操作画面５Ｂ２のアイコンのうち、ＰＣプリントのアイコンをロングタップする。

すると、ＭＦＰユニット２、サーバユニット３、タッチパネルディスプレイ４、およびセレクタ５において、以下のような処理が行われる。

タッチパネルモジュール４Ｂ（図２参照）は、第１の実施形態と同様に、ユーザがタップした位置を示すデータを座標データ６Ａとして生成し、セレクタ５へ送信する。

セレクタ５のコントローラ５０ｇは、上述と同様に、座標データ６Ａをタッチパネルモジュール４Ｂから受信すると、映像信号６Ｂ３が第２の入力端子５０ｂから入力されていることを判別し、座標データ６Ａをサーバユニット３へ送信する。

サーバユニット３の判別部３１６（図１６参照）は、第１の実施形態と同様に、座標データ６Ａを受信すると、配置データ記憶部３１１に記憶されている全体配置データ６Ｄに基づいて、座標データ６Ａに示される座標が操作画面５Ｂ２のいずれかの位置の座標であると判別する。

そして、判別部３１６は、配置データ記憶部３１１に記憶されている配置データ６Ｅの中から、座標データ６Ａに示される座標がアイコンの座標に含まれる配置データ６Ｅを特定する。このとき、座標データ６Ａに示される座標のうちのＸ座標の値からＸｍｉｄの値を引いたものを、座標データ６Ａに示されるＸ座標として用いる。本例では、配置データ６Ｅ１を特定する。

そして、判別部３１６は、特定した配置データ６Ｅのアイコンに対応付けられた機能を実行することをユーザが指示したのか、または、アイコンを単に選択された状態にすることをユーザが指示したのかを、以下のように判別する。

判別部３１６は、１つ目の座標データ６Ａの後に受信した座標データ６Ａに基づいて、ユーザのそのアイコンに対するジェスチャ、つまりユーザがそのアイコンをタップしたのかまたはロングタップしたのかを、判別する。ユーザがタップしたと判別した場合に、アイコンに対応付けられた機能を実行することをユーザが指示したと判別する。ロングタップしたと判別した場合に、アイコンを選択された状態にすることをユーザが指示したと判別する。

生成部３１２は、あるアイコンを選択された状態にすることをユーザが指示したと判別された場合、そのアイコンが選択された状態になるように操作画面５Ｂ２を更新する。例えば、図１７に示すように、そのアイコンに対して網掛けを施す。以下、更新された操作画面５Ｂ２を「操作画面５Ｂ７」と記載する。

合成部３１４は、操作画面５Ｂ１を画面記憶部３２１から読み出して、第１の実施形態の合成部３０４と同様に、操作画面５Ｂ１および生成された操作画面５Ｂ７を並べて合成することによって、複合操作画面５Ｂ８を生成する。

セレクタ出力部３１５は、生成された複合操作画面５Ｂ８の画面データを映像信号６Ｂ８に変換しセレクタ５へ送信する処理を、ビデオボード３０ｇに実行させる。

第１の実施形態と同様に、セレクタ５のコントローラ５０ｇ（図２参照）は、映像信号６Ｂ８をサーバユニット３から受信すると、ディスプレイモジュール４Ａへ中継する。ディスプレイモジュール４Ａは、映像信号６Ｂ８を受信すると、複合操作画面５Ｂ８を表示する。

上述の通り、ユニット出力部３１３は、生成部３１２によって操作画面５Ｂ２の画像データ６Ｂ２が生成されると、画像データ６Ｂ２をＭＦＰユニット２へ送信した。

しかし、ある画面の一部分を更新することによって新たな画面を生成した場合は、新たな画面全体の画像データを送信するのではなく、その変更した一部分の画像データおよびその一部分の位置を示すデータを、差分データとして送信する。例えば、操作画面５Ｂ７は、操作画面５Ｂ２の中のあるアイコンに網掛けを施すことによって生成されたので、そのアイコンの更新後の画像データおよびそのアイコンの位置（配置データ６Ｅ１に示される位置）を示すデータを、差分データ６Ｆ２として送信する。後述するユニット出力部２１３も同様である。

ただし、画面が連続的に変化する場合は、そうでない場合よりも多くの差分データが生じる。これらをすべてＭＦＰユニット２へ送信すると、負荷が増大する。そこで、ユニット出力部３１３は、差分データ６Ｆ２を所定の時間間隔（例えば、２秒の間隔）でＭＦＰユニット２へ送信してもよい。画面が連続的に変化しない場合も、差分データ６Ｆ２を所定の時間間隔でＭＦＰユニット２へ送信してもよい。後述するユニット出力部２１３も同様である。

ＭＦＰユニット２の生成部２１２および合成部２１４（図１５参照）は、差分データ６Ｆ２が送信されてくるごとに、以下のような処理を行う。

生成部２１２は、上述と同様に、操作画面５Ｂ１を生成する。なお、直近に生成した操作画面５Ｂ１と差異がない場合は、生成しなくてもよい。

合成部２１４は、画面記憶部２２１に記憶されている操作画面５Ｂ２を読み出す。差分データ６Ｆ２に含まれる画像データが示す処理後アイコンを、操作画面５Ｂ２における、差分データ６Ｆ２に示される位置に合成する。最新の操作画面５Ｂ１および処理後アイコンが合成された操作画面５Ｂ２つまり操作画面５Ｂ７を、第１の実施形態の合成部２０４と同様に並べて合成することによって、複合操作画面５Ｂ８を生成する。

なお、サーバユニット３がセレクタ５へ映像信号を出力している際にユーザが複合操作画面５Ｂ３の操作画面５Ｂ１のアイコンのいずれかをロングタップした場合、以下のような処理が行われる。

タッチパネルモジュール４Ｂ（図２参照）は、上述と同様に、ユーザがタップした位置を示すデータを座標データ６Ａとして生成し、セレクタ５へ送信する。

セレクタ５のコントローラ５０ｇは、上述と同様に、座標データ６Ａをタッチパネルモジュール４Ｂから受信すると、映像信号６Ｂ３が第２の入力端子５０ｂから入力されていることを判別し、座標データ６Ａをサーバユニット３へ送信する。

サーバユニット３の判別部３１６（図１６参照）は、上述と同様に、座標データ６Ａを受信すると、配置データ記憶部３１１に記憶されている全体配置データ６Ｄに基づいて、座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標に該当すると判別する。ユニット出力部３１３は、座標データ６ＡをＭＦＰユニット２へ送信する。

ＭＦＰユニット２の判別部２１６（図１５参照）は、座標データ６Ａが送信されてくると、配置データ記憶部２１１に記憶されている配置データ６Ｃの中から、座標データ６Ａに示される座標がアイコンの座標に含まれる配置データ６Ｃを特定する。

生成部２１２は、上述の生成部３１２と同様に、操作画面５Ｂ１の中のそのアイコンを更新することによって、処理後アイコンを含む操作画面５Ｂ６を生成する。

合成部２１４は、操作画面５Ｂ２を画面記憶部２１１から読み出して、操作画面５Ｂ２および生成された操作画面５Ｂ６を、第１の実施形態の合成部２０４と同様に並べて合成することで、複合操作画面５Ｂ８を生成する。

セレクタ出力部２１５は、複合操作画面５Ｂ８の画面データを映像信号６Ｂ８に変換しセレクタ５へ送信する処理を、ビデオボード２０ｊに実行させる。

第１の実施形態と同様に、セレクタ５のコントローラ５０ｇ（図２参照）は、映像信号６Ｂ８をサーバユニット３から受信すると、ディスプレイモジュール４Ａへ中継する。ディスプレイモジュール４Ａは、映像信号６Ｂ８を受信すると、複合操作画面５Ｂ８を表示する。

また、ユニット出力部２１３は、処理後アイコンの画像データと特定された配置データ６Ｃに示される位置を示すデータとを、差分データ６Ｆ１として、所定の時間間隔（例えば、２秒の間隔）でサーバユニット３へ送信する。

サーバユニット３の生成部３１２および合成部３１４（図１６参照）は、差分データ６Ｆ１が送信されるごとに、以下のような処理を行う。

生成部３１２は、上述と同様に、操作画面５Ｂ２を生成する。なお、直近に生成した操作画面５Ｂ２と差異がない場合は、生成しなくてもよい。

合成部３１４は、画面記憶部３２１に記憶されている操作画面５Ｂ１を読み出す。差分データ６Ｆ１に含まれる画像データが示す処理後アイコンを、操作画面５Ｂ１における、差分データ６Ｆ１に示される位置に合成する。最新の操作画面５Ｂ２および処理後アイコンが合成された操作画面５Ｂ６を、第１の実施形態の合成部３０４と同様に並べて合成することで、複合操作画面５Ｂ８を生成する。

図１８ないし図２１は、ＭＦＰユニット２の全体的な処理の流れの例を示すフローチャートである。

次に、本実施形態におけるＭＦＰユニット２、サーバユニット３それぞれの全体的な処理の流れを、図１８ないし図２１のフローチャートを参照しながら説明する。

ＭＦＰユニット２およびサーバユニット３は、画面出力プログラム２１Ｐに基づいて、図１８ないし図２１に示す処理を実行する。

ユーザが複合機１の電源をオンにすると、ＭＦＰユニット２およびサーバユニット３それぞれの画面出力プログラム２１Ｐおよび画面出力プログラム３１Ｐが独立して起動する。

ＭＦＰユニット２は、画面出力プログラム２１Ｐを起動すると、操作画面５Ｂ１を生成し（図１８の＃７０１）、サーバユニット３へ操作画面５Ｂ１を送信する（＃７０２）。操作画面５Ｂ２をサーバユニット３から受信し、記憶する（＃７０３）。生成した操作画面５Ｂ１および受信した操作画面５Ｂ２を左右に並べて合成することで、複合操作画面５Ｂ３を生成する（＃７０４）。セレクタ５へ複合操作画面５Ｂ３を送信するように設定されている場合（＃７０５でＹｅｓ）、複合操作画面５Ｂ３をセレクタ５へ送信する（＃７０６）。

ＭＦＰユニット２は、座標データ６Ａをセレクタ５から受信すると（図１９の＃７１１でＹｅｓ）、座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標であるか、または操作画面５Ｂ２のいずれかの位置の座標であるかを判別する（＃７１２）。

ＭＦＰユニット２は、座標データ６Ａに示される座標が操作画面５Ｂ１のいずれかの位置の座標であると判別した場合（＃７１３でＹｅｓ）、ユーザのジェスチャを判別する（＃７１４）。

ＭＦＰユニット２は、ユーザのジェスチャがロングタップであると判別した場合（＃７１５でＹｅｓ）、ユーザにタップされたアイコンの配置データ６Ｃを座標データ６Ａに基づいて特定して、その配置データ６Ｃに含まれる画像データを用いて処理後アイコンを生成し（＃７１６）、その処理後アイコンを用いて操作画面５Ｂ６を生成する（＃７１７）。ユーザのジェスチャがタップであると判別した場合（＃７１５でＮｏ）、ユーザにタップされたアイコンの配置データ６Ｃを座標データ６Ａに基づいて特定して、そのアイコンがタップされた直後の操作画面５Ｃ１を生成する（＃７１７）。

ＭＦＰユニット２は、記憶されている操作画面５Ｂ２を読み出し（＃７１８）、生成した操作画面（つまり操作画面５Ｂ１または操作画面５Ｃ１）と読み出した操作画面５Ｂ２とを合成することで、複合操作画面（つまり複合操作画面５Ｂ４または複合操作画面５Ｂ８）を生成する（＃７１９）。生成した複合操作画面を、セレクタ５へ送信する（＃７２０）。

ＭＦＰユニット２は、座標データ６Ａに示される座標が操作画面５Ｂ２のいずれかの位置の座標であると判別した場合（＃７１３でＮｏ）、座標データ６Ａをサーバユニット３へ送信する（＃７２１）。

ＭＦＰユニット２は、座標データ６Ａをセレクタ５からではなく、サーバユニット３から受信した場合（＃７１１でＮｏ、図２０の＃７３１でＹｅｓ）、ユーザのジェスチャを判別する（＃７３２）。

ＭＦＰユニット２は、ユーザのジェスチャがロングタップであると判別した場合（＃７３３でＹｅｓ）、ユーザにタップされたアイコンの配置データ６Ｃを座標データ６Ａに基づいて特定して、その配置データ６Ｃに含まれる画像データを用いて処理後アイコンを生成し（＃７３４）、その処理後アイコンを用いて操作画面５Ｂ６を生成する（＃７３５）。ユーザのジェスチャがタップであると判別した場合（＃７３３でＮｏ）、ユーザにタップされたアイコンの配置データ６Ｃを座標データ６Ａに基づいて特定して、そのアイコンがタップされた直後の操作画面５Ｃ１を生成する（＃７３５）。

ＭＦＰユニット２は、記憶されている操作画面５Ｂ２を読み出し（＃７３６）、生成した操作画面と読み出した操作画面５Ｂ２とを合成することで、複合操作画面を生成する（＃７３７）。生成した複合操作画面を、セレクタ５へ送信する（＃７３８）。

ＭＦＰユニット２は、ＭＦＰユニット２の最新の画面を更新した場合（図２１の＃７４１でＹｅｓ）、所定の時間が経過するごとにつまり所定の時間間隔で（＃７４２でＹｅｓ）、差分データ６Ｆ１をサーバユニット３へ送信する（＃７４３）。

上述の処理は、ＭＦＰユニット２のオペレーティングシステムが終了するまで適宜、実行される（＃７４４でＮｏ）。

なお、サーバユニット３は、画面出力プログラム３１Ｐを起動すると、上述のＭＦＰユニット２のステップ＃７０１〜＃７４４の処理と同様の処理を行う。

すなわち、サーバユニット３は、操作画面５Ｂ２を生成し、ＭＦＰユニット２へ送信する（＃７０１〜＃７０２）。複合操作画面５Ｂ３を生成し、設定に応じてセレクタ５へ送信する（＃７０３〜＃７０６）。

また、サーバユニット３は、座標データ６Ａをセレクタ５から受信した場合は、操作画面および複合操作画面を生成してその複合操作画面をセレクタ５へ送信し、または、座標データ６ＡをＭＦＰユニット２へ送信する（＃７１１〜＃７２１）。座標データ６Ａをセレクタ５からではなくＭＦＰユニット２から受信した場合は、操作画面および複合操作画面を生成して、生成した複合操作画面をセレクタ５へ送信する（＃７３１〜＃７３８）。

また、サーバユニット３は、サーバユニット３の最新の画面を更新した場合、所定の時間間隔で差分データ６Ｆ２をＭＦＰユニット２へ送信する（＃７４１〜＃７４３）。

第２の実施形態によると、映像信号の出力元がＭＦＰユニット２からサーバユニット３に変わりまたはサーバユニット３からＭＦＰユニット２に変わった際の、画面の切り替わりに遅延が発生することを第１の実施形態よりも抑えることができる。

〔その他の実施形態〕
第１の実施形態では、サーバユニット３は、操作画面５Ｂ２がタッチされたときに、最も直近に生成された操作画面５Ｂ１をＭＦＰユニット２へ要求した。しかし、予めＭＦＰユニット２から操作画面５Ｂ１を受信し、その操作画面５Ｂ１を記憶しておいてもよい。そして、操作画面５Ｂ２がタッチされたときに、記憶している操作画面５Ｂ１を読み出してもよい。

また、ＭＦＰユニット２も、最も直近に生成された操作画面５Ｂ２をサーバユニット３から予め受信し、その操作画面５Ｂ２を記憶しておいてもよい。そして、コントローラ５０ｇから座標データ６Ａを受信している場合に、操作画面５Ｂ１がタッチされたときに、記憶している操作画面５Ｂ２を読み出してもよい。

第２の実施形態では、ＭＦＰユニット２は所定の時間間隔で差分データ６Ｆ１をサーバユニット３へ送信し、サーバユニット３は所定の時間間隔で差分データ６Ｆ２をＭＦＰユニット２へ送信した。しかし、ＭＦＰユニット２およびサーバユニット３の少なくとも一方が省電力の状態である場合は、差分データ６Ｆ１および差分データ６Ｆ２を所定の時間間隔ではなく特定のイベントが発生したときに送信するようにしてもよい。

例えば、ＭＦＰユニット２は、省電力の状態であるときに操作画面５Ｂ１などＭＦＰユニット２の画面がタッチされるなどして操作画面５Ｂ１を更新する必要が生じた場合に、差分データ６Ｆ１を生成してサーバユニット３へ送信してもよい。同様に、サーバユニット３は、省電力の状態であるときに操作画面５Ｂ２などサーバユニット３の画面を更新する必要が生じた場合に、差分データ６Ｆ２を生成してＭＦＰユニット２へ送信してもよい。

第１の実施形態および第２の実施形態では、最初にサーバユニット３が、複合操作画面５Ｂ３の画面データをディスプレイモジュール４Ａ用の映像信号６Ｂ３に変換しセレクタ５へ送信する処理を、ビデオボード３０ｇに実行させた。しかし、最初にＭＦＰユニット２がその処理をビデオボード２０ｊに実行させてもよい。

第１の実施形態および第２の実施形態では、ユーザによるタッチパネルディスプレイ４に対するタッチに応じて、ＭＦＰユニット２またはサーバユニット３が適宜、複合操作画面を生成した。しかし、タッチパネルディスプレイ４に対するタッチ以外のイベントが発生したときにも、ＭＦＰユニット２またはサーバユニット３が新たな複合操作画面を生成してもよい。

例えば、ＭＦＰユニット２で紙詰まりもしくはトナー切れなどのエラーまたはファックスの受信などの特定のイベントが発生した場合は、ＭＦＰユニット２は、サーバユニット３へ操作画面５Ｂ２を必要に応じて要求し、サーバユニット３は要求に応じて操作画面５Ｂ２を生成してＭＦＰユニット２へ送信する。ＭＦＰユニット２は、サーバユニット３から操作画面５Ｂ２を受信すると、そのイベントが発生した旨のメッセージを含む操作画面を生成し、生成した操作画面および受信した操作画面５Ｂ２を合成することで、新たな複合操作画面を生成する。既に操作画面５Ｂ２を受信している場合は、その操作画面５Ｂ２を用いればよい。操作画面５Ｂ２は、差分データに基づいて更新されていることもある。この場合は、更新された操作画面５Ｂ２を用いればよい。サーバユニット３で特定のイベントが発生した場合も同様に、サーバユニット３が新たな複合操作画面を生成すればよい。

第２の実施形態では、ＭＦＰユニット２が差分データ６Ｆ１をサーバユニット３へ送信する時間間隔と、サーバユニット３が差分データ６Ｆ２をＭＦＰユニット２へ送信する時間間隔と、が同じであった。しかし、異なる時間間隔で差分データ６Ｆ１、６Ｆ２を送信してもよい。つまり、ＭＦＰユニット２およびサーバユニット３それぞれに、異なる時間間隔が設定されていてもよい。この場合は、ＭＦＰユニット２およびサーバユニット３それぞれが、設定されている時間間隔を予め通知し合うようにしてもよい。そして、ＭＦＰユニット２およびサーバユニット３は、他方から通知された時間間隔で処理後アイコンの合成を試みればよい。

または、設定されている時間間隔が異なる場合は、時間間隔の短い方が、時間間隔の長い方に合わせて、差分データを送信してもよい。

例えば、ＭＦＰユニット２が差分データ６Ｆ１を送信する時間間隔が５秒であり、サーバユニット３が差分データ６Ｆ２を送信する時間間隔が１秒であった場合、サーバユニット３は時間間隔を１秒から５秒にして差分データ６Ｆ２を送信すればよい。

ＭＦＰユニット２およびサーバユニット３それぞれの時間間隔は、ＭＦＰユニット２およびサーバユニット３それぞれの画像の描画の能力に応じて決定し、設定すればよい。ＭＦＰユニット２およびサーバユニット３それぞれの時間間隔を、例えば、ビデオボード２０ｊおよびビデオボード３０ｇそれぞれのフレームレートまたはリフレッシュレートが高いほど短い時間に決定すればよい。例えば、フレームレートが、Ｎ／秒、である場合は、時間間隔を、Ｋ／Ｎ、に決定すればよい。なお、「Ｋ」は、定数である。

第１の実施形態または第２の実施形態において、画面データが入力される入力端子を第１の入力端子５０ａから第２の入力端子５０ｂ（またはこの逆）に切り替えるときに、ＭＦＰユニット２およびサーバユニット３のうちの切り替える前に映像信号を出力しているほうのユニットが、ディスプレイモジュール４Ａのバックライトを消灯させてもよい。これにより、入力端子が切り替わることによって発生する画面のちらつきを低減することができる。

その他、複合機１、ＭＦＰユニット２、およびサーバユニット３の全体または各部の構成、処理の内容、処理の順序、データの構成、画面の構成などは、本発明の趣旨に沿って適宜変更することができる。

２ ＭＦＰユニット（第１のシステム）
３ サーバユニット（第２のシステム）
５Ｂ１ 操作画面（第１の画面）
５Ｂ２ 操作画面（第２の画面）
６Ｆ１ 差分データ（第１の部分画像）
６Ｆ２ 差分データ（第２の部分画像）
２０３ ユニット出力部（第１の送信手段、第１の部分画像送信手段）
２０４ 合成部（第１の表示制御手段）
２０５ セレクタ出力部（第１の表示制御手段）
２１３ ユニット出力部（第１の送信手段、第１の部分画像送信手段）
２１４ 合成部（第１の表示制御手段）
２１５ セレクタ出力部（第１の表示制御手段）
３０３ ユニット出力部（第２の送信手段、第２の部分画像送信手段）
３０４ 合成部（第２の表示制御手段）
３０５ セレクタ出力部（第２の表示制御手段）
３１３ ユニット出力部（第２の送信手段、第２の部分画像送信手段）
３１４ 合成部（第２の表示制御手段）
３１５ セレクタ出力部（第２の表示制御手段）

Claims (13)

1. 第１のシステムおよび第２のシステムを有する複合機であって、
   前記第１のシステムに、
   当該第１のシステムの画面である第１の画面を前記第２のシステムへ送信する、第１の送信手段、
   が設けられ、
   前記第２のシステムに、
   当該第２のシステムの画面である第２の画面を前記第１のシステムへ送信する、第２の送信手段、
   が設けられ、
   前記第１のシステムに、さらに、
   前記第１の画面を更新させる必要が生じた場合に、当該第１の画面と前記第２のシステムから送信されてきた前記第２の画面とを、当該第１の画面を更新させた状態で並べてディスプレイに表示させる、第１の表示制御手段と、
   前記第２のシステムに、さらに、
   前記第２の画面を更新させる必要が生じた場合に、当該第２の画面と前記第１のシステムから送信されてきた前記第１の画面とを、当該第２の画面を更新させた状態で並べて前記ディスプレイに表示させる、第２の表示制御手段と、
   が設けられる、
   ことを特徴とする複合機。
2. 前記第１の表示制御手段は、前記第１のシステムにおいて第１の特定のイベントが発生し、当該第１の特定のイベントを知らせるための第１の通知画面を新たに表示させる必要が生じた場合に、前記第２の画面と並べて当該第１の通知画面を前記第１の画面として表示させ、
   前記第２の表示制御手段は、前記第２のシステムにおいて第２の特定のイベントが発生し、当該第２の特定のイベントを知らせるための第２の通知画面を新たに表示させる必要が生じた場合に、前記第１の画面と並べて当該第２の通知画面を前記第２の画面として表示させる、
   請求項１に記載の複合機。
3. 第１のシステムおよび第２のシステムを有する複合機であって、
   前記第１のシステムに、
   当該第１のシステムの画面である第１の画面を前記第２のシステムへ送信する、第１の送信手段、
   が設けられ、
   前記第２のシステムに、
   当該第２のシステムの画面である第２の画面を前記第１のシステムへ送信する、第２の送信手段、
   が設けられ、
   前記第１のシステムに、さらに、
   当該第１のシステムに対する第１の操作がなされた場合に、前記第１の画面と前記第２のシステムから送信されてきた前記第２の画面とを並べてディスプレイに表示させる、第１の表示制御手段と、
   前記第２のシステムに、さらに、
   当該第２のシステムに対する第２の操作がなされた場合に、前記第２の画面と前記第１のシステムから送信されてきた前記第１の画面とを並べて前記ディスプレイに表示させる、第２の表示制御手段と、
   が設けられる、
   ことを特徴とする複合機。
4. 前記第１の表示制御手段は、さらに、前記第１のシステムにおいて第１の特定のイベントが発生し、当該第１の特定のイベントを知らせるための第１の通知画面を新たに表示させる必要が生じた場合は、前記第２の画面と並べて当該第１の通知画面を前記第１の画面として表示させ、
   前記第２の表示制御手段は、さらに、前記第２のシステムにおいて第２の特定のイベントが発生し、当該第２の特定のイベントを知らせるための第２の通知画面を新たに表示させる必要が生じた場合は、前記第１の画面と並べて当該第２の通知画面を前記第２の画面として表示させる、
   請求項３に記載の複合機。
5. 前記第１のシステムに、
   前記第１の画面の一部分が更新される場合に、当該更新後の一部分である第１の部分画像を前記第２のシステムへ送信する、第１の部分画像送信手段、が設けられ、
   前記第２のシステムに、
   前記第２の画面が更新される場合に、当該更新後の一部分である第２の部分画像を前記第１のシステムへ送信する、第２の部分画像送信手段、が設けられ、
   前記第１の表示制御手段は、前記第１の画面と前記第２の画面とを、前記第２のシステムから送信されてきた前記第２の部分画像を用いることによって当該第２の画面を更新させた状態で表示させ、
   前記第２の表示制御手段は、前記第２の画面と前記第１の画面とを、前記第１のシステムから送信されてきた前記第１の部分画像を用いることによって当該第１の画面を更新させた状態で表示させる、
   請求項１ないし請求項４のいずれかに記載の複合機。
6. 前記第１の部分画像送信手段は、所定の時間ごとに前記第１の部分画像を前記第２のシステムへ送信し、
   前記第２の部分画像送信手段は、前記所定の時間ごとに前記第２の部分画像を前記第１のシステムへ送信する、
   請求項５に記載の複合機。
7. 前記所定の時間は、前記第１の部分画像送信手段が前記第１の部分画像を送信するタイミングとして予め設定された第１の時間間隔および前記第２の部分画像送信手段が前記第２の部分画像を送信するタイミングとして予め設定された第２の時間間隔のうちの長い方である、
   請求項６に記載の複合機。
8. 前記第１の部分画像送信手段は、当該複合機が省電力状態ではない場合に、前記所定の時間ごとに前記第１の部分画像を前記第２のシステムへ送信し、
   前記第２の部分画像送信手段は、当該複合機が省電力状態ではない場合に、前記所定の時間ごとに前記第２の部分画像を前記第１のシステムへ送信する、
   請求項６または請求項７に記載の複合機。
9. 前記ディスプレイにバックライトが設けられ、
   前記第１の表示制御手段に代わって前記第２の表示制御手段が前記第１の画面および前記第２の画面を表示させ、または、当該第２の表示制御手段に代わって当該第１の表示制御手段が当該第１の画面および当該第２の画面を表示させる際に、前記バックライトが消灯されるように前記ディスプレイを制御する制御手段、を有する、
   請求項１ないし請求項８のいずれかに記載の複合機。
10. 第１のシステムの画面である第１の画面および第２のシステムの画面である第２の画面を表示する画面表示方法であって、
    前記第１のシステムに、
    前記第１の画面を前記第２のシステムへ送信させ、
    前記第２のシステムに、
    前記第２の画面を前記第１のシステムへ送信させ、
    前記第１のシステムに、さらに、
    前記第１の画面を更新させる必要が生じた場合に、当該第１の画面と前記第２のシステムから送信されてきた前記第２の画面とを、当該第１の画面を更新させた状態で並べてディスプレイに表示させ、
    前記第２のシステムに、さらに、
    前記第２の画面を更新させる必要が生じた場合に、当該第２の画面と前記第１のシステムから送信されてきた前記第１の画面とを、当該第２の画面を更新させた状態で並べて前記ディスプレイに表示させる、
    ことを特徴とする画面表示方法。
11. 第１のシステムの画面である第１の画面および第２のシステムの画面である第２の画面を表示する画面表示方法であって、
    前記第１のシステムに、
    前記第１の画面を前記第２のシステムへ送信させ、
    前記第２のシステムに、
    前記第２の画面を前記第１のシステムへ送信させ、
    前記第１のシステムに、さらに、
    当該第１のシステムに対する第１の操作がなされた場合に、前記第１の画面と前記第２のシステムから送信されてきた前記第２の画面とを並べてディスプレイに表示させ、
    前記第２のシステムに、さらに、
    当該第２のシステムに対する第２の操作がなされた場合に、前記第２の画面と前記第１のシステムから送信されてきた前記第１の画面とを並べて前記ディスプレイに表示させる、
    ことを特徴とする画面表示方法。
12. ディスプレイを第２のコンピュータと共用する第１のコンピュータに用いられるコンピュータプログラムであって、
    前記第１のコンピュータに、
    当該第１のコンピュータの画面である第１の画面を更新させる必要が生じた場合に、当該第１の画面と前記第２のコンピュータから送信されてきた当該第２のコンピュータの画面である第２の画面とを、当該第１の画面を更新させた状態で並べて前記ディスプレイに表示させる処理を実行させ、
    前記第２のコンピュータが前記第２の画面を更新させる必要が生じた場合に当該第２のコンピュータが当該第２の画面と前記第１の画面とを当該第２の画面を更新させた状態で並べて前記ディスプレイに表示させることができるように、当該第１の画面を当該第２のコンピュータへ送信する処理を実行させる、
    ことを特徴とするコンピュータプログラム。
13. ディスプレイを第２のコンピュータと共用する第１のコンピュータに用いられるコンピュータプログラムであって、
    前記第１のコンピュータに、
    当該第１のコンピュータに対する第１の操作がなされた場合に、当該第１のコンピュータの画面である第１の画面と前記第２のコンピュータから送信されてきた当該第２のコンピュータの画面である第２の画面とを、当該第１の画面を更新させた状態で並べて前記ディスプレイに表示させる処理を実行させ、
    前記第２のコンピュータに対する第２の操作がなされた場合に当該第２のコンピュータが前記第２の画面と前記第１の画面とを当該第２の画面を更新させた状態で並べて前記ディスプレイに表示させることができるように、当該第１の画面を当該第２のコンピュータへ送信する処理を実行させる、
    ことを特徴とするコンピュータプログラム。

Images