JP6330349B2 - 表示制御装置、表示システム、操作表示装置、プログラム - Google Patents

Description

本発明は、並置された２台の操作表示装置を連携させる表示制御装置および表示システム、操作表示装置、プログラムに関する。

複合機などの画像形成装置が備える操作表示装置（操作パネル）とユーザが所有する携帯端末などの操作表示装置が並置されて通信可能になった場合に、これらの操作表示装置を連携動作させ、関連する２つの画面、たとえば、操作画面とプレビュー画面、を同時に表示することで利便性を高めた画像形成装置がある。（特許文献１参照）。

この画像形成装置では、並置された操作表示装置のうちのいずれに操作画面を表示するかを、それら並置された操作表示装置の表示能力のスペック（画素数や表示部のサイズ）を比較し、表示能力のスペックが高い方に決定する。そして、操作画面を表示している操作表示装置において所定の操作釦が押下されると、その押下された操作釦に対応する画面（たとえば、プレビュー画面）を、他方の操作表示装置に表示するようになっている。

特開２０１３−１１０４７０号公報

特許文献１に開示された装置では、並置された操作表示装置を連携動作させる場合に、どちらの装置に操作画面を表示し、どちらの装置に操作に対応する画面を表示するかが、それら並置された操作表示装置の表示能力のスペックに従って決定される。

しかしながら、固定的に変化しないスペックに基づいて上記の決定を行うと不都合な場合がある。たとえば、バッテリーで駆動される操作表示装置のバッテリー残量が少ない場合、この操作表示装置には、表示に要する電力消費量の少ない方の画面を表示することが望ましい。また、マルチタスクで動作可能な操作表示装置においては、他のタスクによってＣＰＵやメモリなどのリソースが多く使用され、連携動作に使用可能なリソースが少なく制限されることもある。このようにリソースが少なくなった操作表示装置には、表示に要するリソースや処理負担の少ない方の画面を表示させることが望ましい。

しかし、どの画面をどちらの操作表示装置に表示するかをこれらの操作表示装置の固定的なスペックに基づいて決定すると、それらの操作表示装置の現在の装置状態から見ると、望ましくない表示結果になる場合が生じる。

本発明は、上記の問題を解決しようとするものであり、並置された２台の操作表示装置を連携させる際の表示の役割分担を、それらの装置の状況に応じて動的に変更することのできる表示制御装置および表示システム、操作表示装置、プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。

［１］操作部と表示部をそれぞれ備えた第１、第２の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
前記第１の操作表示装置と前記第２の操作表示装置の、動作中に変動する所定の装置状態に関する情報を取得する変動情報取得部と、
前記連携状態の前記第１の操作表示装置と前記第２の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って前記第１の操作表示装置と前記第２の操作表示装置の画面の表示を制御する制御部と、
を有し、
前記所定の装置状態は、使用可能な電力の制限に係る装置状態であり、
前記制御部は、前記第１の操作表示装置と前記第２の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要する電力消費量が多い方の画面を、使用可能な電力が制限された操作表示装置に表示しないように前記役割分担を決定する
ことを特徴とする表示制御装置。

上記発明および下記［９］に記載の発明では、並置された第１の操作表示装置と第２の操作表示装置の画面の表示に関する役割分担を、動作中に変動する所定の装置状態に基づいて決定する。役割分担の内容は、どの画面をどの操作表示装置にどのように表示するかといったものである。所定の装置状態は、たとえば、省電力モードやバッテリー残量などの電力状態とする。また、表示に要する電力消費量が多い方の画面が、使用可能な電力の制限された操作表示装置に表示されないように役割分担が決定される。使用可能な電力の制限された操作表示装置は、省電力モード中やバッテリー駆動状態でバッテリー残量が少ない状態の操作表示装置などである。
［２］操作部と表示部をそれぞれ備えた第１、第２の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
前記第１の操作表示装置と前記第２の操作表示装置の、リソースの使用状況に係る装置状態に関する情報を取得する変動情報取得部と、
前記連携状態の前記第１の操作表示装置と前記第２の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って前記第１の操作表示装置と前記第２の操作表示装置の画面の表示を制御する制御部と、
を有し、
前記制御部は、前記第１の操作表示装置と前記第２の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要するリソースの使用量が多い方の画面を、リソースの空きの少ない方の操作表示装置に表示しないように前記役割分担を決定する
ことを特徴とする表示制御装置。
［３］前記リソースはＣＰＵ又はメモリであり、
前記リソースがＣＰＵである場合、前記リソースの使用状況はＣＰＵの処理負荷の大小を含み、
前記リソースがメモリである場合、前記リソースの使用状況は使用可能な空きメモリ容量を含む
ことを特徴とする［２］に記載の表示制御装置。

［４］前記新たな画面は前記第１の操作表示装置と前記第２の操作表示装置のいずれかで所定の操作を受けて表示される画面であり、前記元画面は前記所定の操作を受けた操作表示装置に表示されていた画面である
ことを特徴とする［１］乃至［３］のいずれか一つに記載の表示制御装置。

上記発明および下記［１２］に記載の発明では、元画面（操作画面）と操作に基づいて新たに表示される画面との表示に関する役割分担が決定される。

［５］前記新たな画面は、プレビュー画像を表示する画面である
ことを特徴とする［１］乃至［４］のいずれか一つに記載の表示制御装置。

［６］前記新たな画面は、動画を表示する画面である
ことを特徴とする［１］乃至［５］のいずれか一つに記載の表示制御装置。

［７］前記制御部は、前記役割分担を決定した後に前記装置状態が変化した場合に、変化後の前記装置状態に基づいて前記役割分担を再決定し、該再決定した役割分担に従って前記制御を行う
ことを特徴とする［１］乃至［６］のいずれか１つに記載の表示制御装置。

上記発明および下記［１５］に記載の発明では、装置状態が変化した場合、その変化後の装置状態に基づいて、画面の表示に係る役割分担が見直される。

［８］操作部と表示部をそれぞれ備えた第１、第２の操作表示装置と、
［１］乃至［７］のいずれか１項に記載の表示制御装置と、
を有する
ことを特徴とする表示システム。

［９］操作部と表示部を備えた操作表示装置であって、
自操作表示装置と他の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
自操作表示装置と前記他の操作表示装置の、動作中に変動する所定の装置状態に関する情報を取得する変動情報取得部と、
前記連携状態の自操作表示装置と前記他の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って自操作表示装置と前記他の操作表示装置の画面の表示を制御する制御部と、
を有し、
前記所定の装置状態は、使用可能な電力の制限に係る装置状態であり、
前記制御部は、自操作表示装置と前記他の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要する電力消費量が多い方の画面を、使用可能な電力が制限された操作表示装置に表示しないように前記役割分担を決定する
ことを特徴とする操作表示装置。
［１０］操作部と表示部を備えた操作表示装置であって、
自操作表示装置と他の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
自操作表示装置と前記他の操作表示装置の、リソースの使用状況に係る装置状態に関する情報を取得する変動情報取得部と、
前記連携状態の自操作表示装置と前記他の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って自操作表示装置と前記他の操作表示装置の画面の表示を制御する制御部と、
を有し、
前記制御部は、自操作表示装置と前記他の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要するリソースの使用量が多い方の画面を、リソースの空きの少ない方の操作表示装置に表示しないように前記役割分担を決定する
ことを特徴とする操作表示装置。
［１１］前記リソースはＣＰＵ又はメモリであり、
前記リソースがＣＰＵである場合、前記リソースの使用状況はＣＰＵの処理負荷の大小を含み、
前記リソースがメモリである場合、前記リソースの使用状況は使用可能な空きメモリ容量を含む
ことを特徴とする［１０］に記載の操作表示装置。

［１２］前記新たな画面は自操作表示装置と前記他の操作表示装置のいずれかで所定の操作を受けて表示される画面であり、前記元画面は前記所定の操作を受けた操作表示装置に表示されていた画面である
ことを特徴とする［９］乃至［１１］のいずれか一つに記載の操作表示装置。

［１３］前記新たな画面は、画像のプレビュー画面である
ことを特徴とする［９］乃至［１２］のいずれか一つに記載の操作表示装置。

［１４］前記新たな画面は、動画を表示する画面である
ことを特徴とする［９］乃至［１３］のいずれか一つに記載の操作表示装置。

［１５］前記制御部は、前記役割分担を決定した後に前記装置状態が変化した場合に、変化後の前記装置状態に基づいて前記役割分担を再決定し、該再決定した役割分担に従って前記制御を行う
ことを特徴とする［９］乃至［１４］のいずれか１つに記載の操作表示装置。

［１６］情報処理装置を、
［１］乃至［７］のいずれか１つに記載の表示制御装置として機能させるプログラム。

［１７］操作部と表示部を備えた情報処理装置を、
［９］乃至［１５］のいずれか１つに記載の操作表示装置として機能させるプログラム。

本発明に係る表示制御装置、表示システム、プログラム、操作表示装置によれば、並置された２台の操作表示装置を連携させる際の表示の役割分担を、それらの装置の状態に応じて動的に変更することができる。

本発明の実施の形態に係る表示システムの一例を示す図である。 画像形成装置の電気的な概略構成を示すブロック図である。 携帯端末の概略構成を示すブロック図である。 連携状態に入った後の表示制御を示す流れ図である。 画像形成装置が省電力モード中に携帯端末と連携状態になった場合の表示画面を示す図である。 画像形成装置が通常電力モード中に携帯端末と連携状態になった場合の表示画面を示す図である。 操作パネルが省電力モードのために、携帯端末でのプレビュー表示釦の操作に応じてプレビュー画面が携帯端末にその元画面に重ねて表示された例を示す図である。 操作パネルが省電力モードのために、携帯端末でのプレビュー表示釦の操作に応じてプレビュー画面のみが携帯端末に表示された例を示す図である。 操作パネルが省電力モードに移行した結果、役割分担が再決定された場合の表示例を示す図である。 操作を受けた場合に、役割分担を決定して画面を表示する処理（図４のステップＳ１０５）の詳細を示す流れ図である。 新たな画面（プレビュー画面）と元画面（コピー設定画面）を携帯端末に並べて表示した例を示す図である。 装置状態が変化した場合に役割分担を再決定して画面を表示する処理（図４のステップＳ１０７）の詳細を示す流れ図である。 プレビュー画面の表示場所が切り替わる例を示す図である。 プレビュー画面の表示場所が切り替わる他の例を示す図である。

以下、図面に基づき本発明の実施の形態を説明する。

図１は、本発明の実施の形態に係る操作表示装置を操作パネル３０として備えた画像形成装置１０と、画像形成装置１０の操作パネル３０に並置されて使用される携帯端末４０を含む表示システム３の一例を示している。

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピージョブ、読み取った原稿の画像データをファイルにして保存したり外部端末へネットワークを通じて送信したりするスキャンジョブ、端末装置からネットワークを通じて受信した印刷データに係る画像を記録紙上に形成して印刷出力するプリントジョブ、ファクシミリ手順に従って画像データを送受信するＦＡＸジョブなど、複数種類のジョブを実行する機能を備えた、所謂、複合機である。

携帯端末４０は、携帯電話、タブレット端末、スマートフォンなどの表示端末である。

画像形成装置１０は、自装置の操作パネル３０と携帯端末４０が並置されて通信可能な連携状態にあるとき、操作パネル３０と携帯端末４０の一方または双方の表示部を使用して操作画面やプレビュー画面などの画面を表示することができる。なお、操作パネル３０や携帯端末４０などを総じて、操作表示装置と呼ぶものとする。

画像形成装置１０は、操作パネル３０と携帯端末４０の、動作中に変動する所定の装置状態に関する情報を取得し、この情報に基づいて、連携状態の操作パネル３０と携帯端末４０での画面の表示に関する役割分担を決定し、該決定した役割分担に従って操作パネル３０と携帯端末４０における画面の表示を制御する。

具体的には、画像形成装置１０は、
・操作パネル３０と携帯端末４０の双方を使用するか否か、
・双方を使用する場合は、どの画面をどちらに表示させるか、
・一方のみを使用する場合は、どちらの一方の装置にどの画面をどのように表示させるか、
といった役割分担を決定して表示を制御する。

たとえば、装置状態に関する情報として、操作パネル３０と携帯端末４０の使用可能な電力の制限に関する情報、具体的には、省電力モード中か否かや、バッテリー残量が閾値以上か否か等の情報を取得し、双方の装置において使用可能な電力が制限されていない場合は、操作パネル３０と携帯端末４０の双方の表示部を使用するように画面表示の役割分担を行い、一方が電力消費を制限すべき状態（省電力モード中あるいはバッテリー残量が閾値以下の状態など）にあるときは、他方の表示部のみを使用するように画面表示の役割分担を行う。

このほか、動作中に変動する装置状態には、上記の使用可能な電力のほか、画像形成装置１０や操作パネル３０、携帯端末４０における処理負荷の大小、使用可能な空きメモリ容量など、リソースの使用状況（表示に費やせるリソースの残量など）も含まれる。

さらに、上記役割分担は、装置状況のほか、表示すべき画面の種類や内容などを加味し、総合的な判断によって決定される。

図２は、画像形成装置１０の電気的な概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御する制御部としてのＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、不揮発メモリ１４、ハードディスク装置１５、自動原稿搬送部（ＡＤＦ：Auto Document Feeder）１６、ネットワーク通信部１７、画像読取部１８、画像処理部１９、プリンタ部２１、ファクシミリ通信部２２、認証部２３、操作パネル３０などが接続されている。

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０（操作パネル３０を含む）の各機能が実現される。

ここでは、操作パネル３０についてもＣＰＵ１１が制御するが、操作パネル３０の制御を操作パネル３０専用に設けた別途のＣＰＵで行うように構成されてもよい。

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。

ハードディスク装置１５は大容量不揮発の記憶装置であり、印刷データ、表示用の画面のデータのほか各種のプログラムやデータが記憶される。

ネットワーク通信部１７は、ＬＡＮ（Local Area Network）などのネットワークに接続された外部端末、サーバなどと通信する機能を果たす。

画像読取部１８は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１８は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。

自動原稿搬送部１６は、原稿台にセットされた原稿をその最上のものから１枚ずつ順に繰り出して搬送し、画像読取部１８の読み取り位置を通過させて所定の排紙位置へ排紙する機能を果たす。画像読取部１８は、プラテンガラス上に載置された原稿を読み取る機能と、自動原稿搬送部１６によって搬送される原稿を順次読み取る機能を備えている。

画像処理部１９は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。

プリンタ部２１は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。

ファクシミリ通信部２２は、ファクシミリ機能を備えた外部装置と電話回線を通じて画像データを送受信する機能を果たす。

認証部２３は、画像形成装置１０を使用するユーザを認証する。認証方法は、パスワード、指紋、静脈など任意でよい。

操作パネル３０は、表示部３１と、操作部３２と、近接無線通信部３３と、接続検出部３４を備え、各種の操作画面、設定画面等を表示する機能、ユーザからジョブの投入など各種の操作を受け付ける機能を果たす。

表示部３１は液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）とそのドライバなどで構成される。操作部３２は、スタート釦やテンキーなどの各種ハードキーと、表示部３１の表示面上に設けられたタッチパネル３２ａを備えている。タッチパネル３２ａは、表示部３１の表示面がタッチペンや指などで接触操作された座標位置を検出する。操作部３２は、タッチパネル３２ａを通じて選択操作、フリック操作やドラッグ操作などを受け付ける。タッチパネル３２ａの検知方式は、静電容量、アナログ/デジタル抵抗膜、赤外線、超音波、電磁誘導等、任意でよい。

近接無線通信部３３は、操作パネル３０の近傍に配置された携帯端末４０と無線通信する機能を果たす。近接無線通信部３３の通信可能距離は５０ｃｍ程度で十分である。通信方式には各種の近距離無線通信方式を採用することができる。

接続検出部３４は、操作パネル３０に対して携帯端末４０が所定の場所に並置されたことを検出する。たとえば、操作パネル３０の側部に携帯端末４０を保持するためのドックを設ける場合、接続検出部３４は、このドックに携帯端末４０が装着されたことを検出する。

図３は、携帯端末４０の概略構成を示すブロック図である。携帯端末４０は、当該携帯端末４０の動作を統括制御するＣＰＵ４１を有している。ＣＰＵ４１にはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、認証部４５と、操作部４６と、表示部４７と、ネットワーク通信部４８と、近接無線通信部４９とが接続されている。

ＲＯＭ４２および不揮発メモリ４４には、各種プログラムやデータが格納され、これらのプログラムに従ってＣＰＵ４１が各種の処理を実行することで携帯端末４０の各機能が実現される。ＲＡＭ４３はＣＰＵ４１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリや表示データを一時記憶するメモリとして使用される。

不揮発メモリ４４は、電源がオフになっても記憶内容が保持されるメモリである。不揮発メモリ４４には、文書や画像ファイル、各種の設定内容、ユーザ情報、端末情報（ネットワークアドレスなど）、アプリケーションプログラム、操作パネル３０からの指示に基づいて画面を表示する機能を実行するためのプログラムなどが記憶される。

認証部４５は、当該携帯端末４０を使用するユーザを認証する。

表示部４７は、液晶ディスプレイなどで構成される。

操作部４６は、表示部４７の表示面上の全面に設けられ、指やペンなどによってタッチされた位置を検出するタッチパネル４６ａと、少数のハードキー（操作スイッチ）を備える。

ネットワーク通信部４８は、無線通信によりネットワークと接続して各種の外部装置と通信する機能を果たす。近接無線通信部４９は、近傍の操作パネル３０の近接無線通信部３３と無線通信する機能を果たす。通信可能距離、通信方式等は操作パネル３０の近接無線通信部３３と同一である。

図４は、連携状態に入った後の表示制御を示す流れ図である。ここでは、この制御を画像形成装置１０のＣＰＵ１１が行うものとする。連携状態とは、操作パネル３０と携帯端末４０が並置されて通信可能な状態となって連携動作する状態である。

連携状態に入る基点は、
操作パネル３０と携帯端末４０が無線通信可能状態になったことを検出した時点、操作パネル３０の接続検出部３４が携帯端末４０の装着を検知した時点、操作パネル３０の所定のセンサにて携帯端末４０の近接を検出し、かつ携帯端末４０と通信可能になったことを検知した時点、等とすることができる。近接無線通信部３３や接続検出部３４の状態により画像形成装置１０のＣＰＵ１１が連携状態となったことを検出する。

連携状態に入ると、画像形成装置１０のＣＰＵ１１は変動情報取得部としての動作を行う。すなわち、自装置の装置状態を示す装置状態情報を取得すると共に、操作パネル３０の近接無線通信部３３を用いて携帯端末４０と通信し、携帯端末４０の装置状態情報を取得する（ステップＳ１０１）。

次に、画像形成装置１０のＣＰＵ１１は、取得したこれらの装置状態情報に基づいて、画面の表示に関する操作パネル３０と携帯端末４０の役割分担を決定し、その決定に従って操作パネル３０および携帯端末４０に表示対象の画面を表示させる制御部として動作する（ステップＳ１０２）。

たとえば、図５に示すように、画像形成装置１０が通常電力モードより消費電力を少なく抑えた省電力モードで動作中（同図（ａ））に、操作パネル３０の横に携帯端末４０が並置されて連携状態になった場合（同図（ｂ））は、操作パネル３０は省電力モードを維持して画面を表示せず、携帯端末４０のみに画面を表示するように役割分担を決定し、コピー設定画面６０などの画面を携帯端末４０に表示させる。

また、たとえば、図６に示すように、画像形成装置１０が通常電力モードで動作中（同図（ａ））に、操作パネル３０の横に携帯端末４０が並置されて連携状態になった場合（同図（ｂ））は、操作パネル３０に表示されている画面はそのまま維持して表示し、操作パネル３０に表示されている画面に関連する新たな画面を携帯端末４０に表示するように役割分担を決定し、操作パネル３０と携帯端末４０にそれらの画面を表示させる。

図６では、操作パネル３０にコピー設定（１）の画面が表示され、これに並置された携帯端末４０にはコピー設定（２）の画面が表示されている。

なお、携帯端末４０に表示させる画面の画面データは画像形成装置１０が作成し、携帯端末４０に対して近距離無線通信を用いて送信する。また、携帯端末４０で受けた操作内容は、携帯端末４０から近距離無線通信を使用して画像形成装置１０に送信され、画像形成装置１０はこれを受信して携帯端末４０が受けた操作内容を認識するようになっている。

図４に戻って説明を続ける。その後、画面を表示しているいずれかの操作表示装置にてユーザから操作を受けたか否か（ステップＳ１０３）および各操作表示装置の装置状態が変化したか否か（ステップＳ１０６）を監視する。

ユーザから操作を受けた場合は（ステップＳ１０３；Ｙｅｓ）、その操作に対応する新たな画面を作成する（ステップＳ１０４）。そして、この新たな画面をどのような役割分担で表示させるかを、現在の装置状態や画面の内容に応じて決定し、この決定に従って画面を表示させる（ステップＳ１０５）。

たとえば、図７（ａ）に示すように、操作パネル３０は省電力モードのため、画面の表示を行わず、携帯端末４０のみにコピー設定画面６０を表示している状態で、該コピー設定画面６０内のプレビュー表示釦６１が操作されたものとする。この場合、新たな画面として、コピー対象の画像をプレビュー表示するためのプレビュー画面が作成される。そして、操作パネル３０は省電力モードなのでこのまま非表示の状態を維持し、新たな画面（プレビュー画面６２）を、元画面（コピー設定画面６０）に重ねて表示するように役割分担して表示を行わせる（図７（ｂ））。

図７（ｂ）では、携帯端末４０に表示されていた元画面（コピー設定画面６０）に重ねて新たな画面（プレビュー画面６２）を表示したが、図７（ａ）の状態でプレビュー表示釦６１が操作された場合に、図８に示すように、元画面は表示せず、新たな画面（プレビュー画面６２）のみを携帯端末４０に表示するようにしてもよい。

動作中に、装置状態が変化した場合は（図４、ステップＳ１０６；Ｙｅｓ）、変化後の装置状態に応じた役割分担を決定し、それに従って画面を表示させる（ステップＳ１０７）。

たとえば、操作パネル３０と携帯端末４０にそれぞれ画面を表示している状態で、操作パネル３０が省電力モードに移行した場合、操作パネル３０には画面を表示せず、携帯端末４０には、元々、携帯端末４０に表示されていた画面と、省電力モードに移行する前に操作パネル３０に表示されていた画面の双方を表示する、というように役割分担を決め直し、これに従って画面を表示させる。

図９の例では、操作パネル３０にプレビュー画面６２が、携帯端末４０にコピー設定画面６０がそれぞれ表示されている状態（同図（ａ））で、操作パネル３０が省電力モードに移行した結果、役割分担が再決定され、同図（ｂ）に示すように、操作パネル３０は非表示、携帯端末４０にはコピー設定画面に重ねてプレビュー画面６２が表示されている。

また、携帯端末４０の状態変化としては、プレビュー画面６２の表示中にバッテリー残量が閾値を下回った場合、携帯端末４０にて別のアプリケーション（メール、電話、テキスト参照、端末内情報参照などのアプリケーション）を一時的に開いた場合等がある。このような状態変化が生じても連携状態での表示を継続する場合には、適宜、画面の表示位置の切り替えを行う。

状態変化が逆方向（表示可能となる方向）に生じた場合にも、役割分担の再決定が行われる。

図１０は、操作を受けた場合に、役割分担を決定して画面を表示する処理（図４のステップＳ１０５）の詳細を示している。この処理は、たとえば、画像形成装置１０のＣＰＵ１１が行う。まず、操作を受けた方でない操作表示装置の装置状態を調べる（ステップＳ２０１）。この装置状態から、操作を受けた方でない操作表示装置が通常の表示が可能な状態（通常表示可能）か否かを判断する（ステップＳ２０２）。たとえば、通常電力モードやバッテリー残量が閾値以上ある場合は通常表示可能であると判断し、省電力モード中やバッテリー残量が閾値未満の場合は通常表示可能でないと判断する。通常表示可能か否かは、各装置のＣＰＵやメモリなどのリソースの空き状況などに基づいて、あるいは加味して判断してもよい。

操作を受けた方でない操作表示装置が通常表示可能であれば（ステップＳ２０２；Ｙｅｓ）、新たな画面を、操作を受けた方でない操作表示装置に表示させ、操作を受けた方の操作表示装置には元の画面をそのまま表示させる（ステップＳ２０３）。

操作を受けた方でない操作表示装置が通常表示可能でなければ（ステップＳ２０２；Ｎｏ）、新たな画面を、操作を受けた方の操作表示装置に表示させる（ステップＳ２０４）。このとき、操作を受けた方の操作表示装置への画面の表示方法としては、図８のように、新たな画面のみを表示させる単独表示と、新たな画面と元画面の双方を表示する追加表示がある。

追加表示においては、図７（ｂ）のように元画面に重ねて新たな画面を表示させる態様と、図１１に示すように新たな画面（プレビュー画面６２）と元画面（コピー設定画面６０）を並べて表示させる、といった態様がある。いずれの表示方法、表示態様を使用するかは、たとえば、予め選択され設定される。

図１２は、装置状態が変化した場合に役割分担を再決定して画面を表示する処理（図４のステップＳ１０７）の詳細を示している。いずれかの操作表示装置の装置状態の変化により、通常表示可能な状態から通常表示不可の状態へ変化した場合は（ステップＳ３０１；Ｙｅｓ）、通常表示不可となった方の操作表示装置に表示されていた画面を他方の操作表示装置に、単独表示または追加表示して（ステップＳ３０２）、本処理を終了する（エンド）。

単独表示では、通常表示不可となった方の操作表示装置に表示されていた画面のみを他方の操作表示装置に表示する。追加表示では、通常表示不可となった方の操作表示装置に表示されていた画面を、他方の操作表示装置に表示されていた画面に重ねて、あるいは他方の操作表示装置に表示されていた画面に並置して表示する。

図９（ｂ）の例は、通常表示不可となった方の操作表示装置に表示されていた画面を、他方の操作表示装置に表示されていた画面に重ねて表示した場合に該当する。

通常表示不可の状態から通常表示可能状態へ変化した場合は（ステップＳ３０１；Ｎｏ）、重ねて表示していた画面あるいは表示を省略していた画面があるか否かを調べ（ステップＳ３０３）、そのような画面があれば（ステップＳ３０３；Ｙｅｓ）、その画面を通常表示可能状態に変化した操作表示装置に表示して（ステップＳ３０４）、本処理を終了する（エンド）。そのような画面が無ければ（ステップＳ３０３；Ｎｏ）、本処理を終了する。

次に、操作を受けて作成される新たな画面を、操作を受けた方の操作表示装置に表示し、元画面を、操作を受けた方でない操作表示装置に表示させる場合（表示の入れ替え）について説明する。

図１３（ａ）は、操作を受ける前の状態であり、操作パネル３０は省電力モード中で非表示、携帯端末４０はコピー設定画面６０を表示している。ただし、操作パネル３０は省電力中であってもバックライトがＯＮ、あるいは輝度を落としてＯＮされており、表示可能な状態にあるものとする。

同図（ａ）の状態で、携帯端末４０にてプレビュー表示釦６１が操作されると、同図（ｂ）に示すように、携帯端末４０に表示されていた元画面（コピー設定画面６０）が操作パネル３０に表示され、新たな画面（プレビュー画面６２）が携帯端末４０に表示される。

なお、仮に操作パネル３０が通常表示可能な状態であれば、プレビュー画面６２は、操作を受けていない方の操作表示装置である操作パネル３０に表示される。

操作パネル３０のバックライトの輝度が落としてある場合、操作パネル３０に表示された画面は携帯端末４０に表示された画面より視認性が低くなる。そこで、図１３の例では、操作によって新たに表示される画面は、新規な画面なので、視認性の高い方の操作表示装置に表示し、元画面は今まで表示されておりその内容をユーザは認識しているので、視認性の低い方の操作表示装置に表示している。なお、元画面と新たな画面のどちらが鮮明に見る必要のある画面であるかを判定し、鮮明に表示すべき画面を携帯端末４０に表示し、他方の画面を操作パネル３０に表示するといった基準で表示の役割分担を決定してもよい。

図１４（ａ）は、操作パネル３０にコピー設定画面（１）が、携帯端末４０にコピー設定画面（２）が表示されている。この状態で、コピー設定画面（１）のプレビュー表示釦６１が操作されると、新たな画面としてプレビュー画面６２が作成される。そして、操作パネル３０と携帯端末４０の現時点での装置状態を考慮して、どちらがプレビュー画面６２の表示に適しているかを判断し、プレビュー画面６２の表示に適している方にプレビュー画面６２を表示し、他方にコピー設定画面（１）を表示する。

図１４（ｂ）に示す例は、プレビュー画面６２の表示に操作パネル３０が適していると判断された場合であり、操作パネル３０にプレビュー画面６２が、携帯端末４０にコピー設定画面（１）が表示されている。

上記の判断は、たとえば、画面の表示に使用可能な電力の制限に係る装置状態に基づいて行われる。画像形成装置１０は、新たな画面と元画面のうち、表示に要する電力消費量が多い方の画面を、使用可能な電力が制限された方の操作表示装置に表示しないように、表示の役割分担を決定する。

たとえば、操作パネル３０が通常電力モードで動作し、携帯端末４０のバッテリー残量が少なくなっているという装置状態においては、携帯端末４０での電力使用量を制限すべきである。そこで、新たな画面と元画面のうち、表示に要する電力消費量が多い方の画面を操作パネル３０に表示し、他方の画面を携帯端末４０に表示するように表示の役割分担を決定する。

図１４（ｂ）の例では、プレビュー画面６２は、コピー設定画面のような操作画面より表示に要する電力消費量が多いので、プレビュー画面６２は操作パネル３０に表示され、コピー設定画面（１）はバッテリー残量が少なくなった携帯端末４０に表示されている。

なお、どちらの画面をどちらの操作表示装置に表示することが適切かを判断する基準となる装置状態は、使用可能な電力の制限に限定されない。たとえば、一方の操作表示装置においてＣＰＵやメモリなどのリソースの空きが少ない場合は、表示に使用するリソースの使用量が多い方の画面を、リソースの空きの少ない方の操作表示装置に表示しないようにする。さらに、解像度、色再現性など表示能力を加味して判断してもよい。

また、以下のような表示モードのいずれかを選択して設定しておき、連携状態になった場合に、その設定されている表示モードに従って役割分担を決定するようにしてもよい。

（１）外部端末電力状態優先モード
画像形成装置１０は、自装置の操作パネル３０に並置された携帯端末４０などの外部端末の電力状態を優先的に考慮して表示の役割分担を決定する。すなわち、プレビュー画面６２や動画アニメーションなど電力消費量が操作画面などに比べて大きい画面の表示は、外部端末のバッテリー残量が閾値以下の場合や外部端末が省電力モードで動作しているときは、画像形成装置１０側の操作パネル３０に表示し、機能項目やメニュー項目を表示する操作画面等は他方の外部端末に表示する。

（２）操作パネル省電力モード
画像形成装置１０は、自装置の電力状態を優先的に考慮して表示の役割分担を決定する。プレビュー画面６２や動画アニメーションなど電力消費量が操作画面などに比べて大きい画面の表示は、画像形成装置１０（操作パネル３０）が省電力モードのときは携帯端末４０などの外部端末に表示し、機能項目やメニュー項目を表示する操作画面等は操作パネル３０に表示する。また、画像形成装置１０（操作パネル３０）が省電力モードのときは、機能項目やメニュー項目を表示する操作画面等は外部端末に表示し、操作パネル３０は省電力モードにて画面表示を消す。

以上のように、本実施の形態では、画像形成装置１０の操作パネル３０に携帯端末４０が並置され通信可能となって連携する場合の表示の役割分担を、それら並置された操作表示装置の現在の装置状態（電力事情、リソースの空き状況など）に基づいて、あるいは現在の装置状態と表示する画面の内容とに基づいて決定するので、並置された操作表示装置の現在の装置状態に応じた適切な役割分担にて画面を表示させることができる。

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。

実施の形態では、画像形成装置１０に固定された操作パネル３０と携帯端末４０が並置されて連携する場合を例に説明したが、操作パネル３０は画像形成装置１０から取り外し可能であってもよいし、個別のリモート操作パネルであってもよい。また２台の携帯端末４０、あるいは操作パネル３０とリモート操作パネルが並置され通信可能となって連携する場合にも本発明は適用される。

本発明は、操作パネル３０（操作表示装置）を画像形成装置１０と別体に構成し、操作パネル３０にＣＰＵ等の制御部を設け、実施の形態で画像形成装置１０のＣＰＵ１１が行っていた表示の役割分担に関する制御を操作パネル３０が行うようにしてもよい。

実施の形態では画像形成装置１０のＣＰＵ１１が、連携中の画面表示に関する役割分担を決定して表示を制御する例を示したが、該制御を行う装置は、別途の表示制御装置、たとえば、通信で操作パネル３０や携帯端末４０と接続された表示制御サーバなどでもよい。また本発明は、並置される２台の操作表示装置と上記の表示制御装置とを含む表示システムとされてもよい。また、本発明は、操作部と表示部を備えた情報処理装置を、本実施の形態でしめした操作表示装置として機能させるプログラム、あるいは情報処理装置を上記の表示制御装置として機能させるプログラムとしてもよい。

３…表示システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…自動原稿搬送部
１６ａ…タッチパネル
１７…ネットワーク通信部
１８…画像読取部
１９…画像処理部
２１…プリンタ部
２２…ファクシミリ通信部
２３…認証部
３０…操作パネル
３１…表示部
３２…操作部
３２ａ…タッチパネル
３３…近接無線通信部
３４…接続検出部
４０…携帯端末
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…認証部
４６…操作部
４６ａ…タッチパネル
４７…表示部
４８…ネットワーク通信部
４９…近接無線通信部
６０…コピー設定画面
６１…プレビュー表示釦
６２…プレビュー画面

Claims (17)

1. 操作部と表示部をそれぞれ備えた第１、第２の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
   前記第１の操作表示装置と前記第２の操作表示装置の、動作中に変動する所定の装置状態に関する情報を取得する変動情報取得部と、
   前記連携状態の前記第１の操作表示装置と前記第２の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って前記第１の操作表示装置と前記第２の操作表示装置の画面の表示を制御する制御部と、
   を有し、
   前記所定の装置状態は、使用可能な電力の制限に係る装置状態であり、
   前記制御部は、前記第１の操作表示装置と前記第２の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要する電力消費量が多い方の画面を、使用可能な電力が制限された操作表示装置に表示しないように前記役割分担を決定する
   ことを特徴とする表示制御装置。
2. 操作部と表示部をそれぞれ備えた第１、第２の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
   前記第１の操作表示装置と前記第２の操作表示装置の、リソースの使用状況に係る装置状態に関する情報を取得する変動情報取得部と、
   前記連携状態の前記第１の操作表示装置と前記第２の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って前記第１の操作表示装置と前記第２の操作表示装置の画面の表示を制御する制御部と、
   を有し、
   前記制御部は、前記第１の操作表示装置と前記第２の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要するリソースの使用量が多い方の画面を、リソースの空きの少ない方の操作表示装置に表示しないように前記役割分担を決定する
   ことを特徴とする表示制御装置。
3. 前記リソースはＣＰＵ又はメモリであり、
   前記リソースがＣＰＵである場合、前記リソースの使用状況はＣＰＵの処理負荷の大小を含み、
   前記リソースがメモリである場合、前記リソースの使用状況は使用可能な空きメモリ容量を含む
   ことを特徴とする請求項２に記載の表示制御装置。
4. 前記新たな画面は前記第１の操作表示装置と前記第２の操作表示装置のいずれかで所定の操作を受けて表示される画面であり、前記元画面は前記所定の操作を受けた操作表示装置に表示されていた画面である
   ことを特徴とする請求項１乃至３のいずれか一つに記載の表示制御装置。
5. 前記新たな画面は、プレビュー画像を表示する画面である
   ことを特徴とする請求項１乃至４のいずれか一つに記載の表示制御装置。
6. 前記新たな画面は、動画を表示する画面である
   ことを特徴とする請求項１乃至５のいずれか一つに記載の表示制御装置。
7. 前記制御部は、前記役割分担を決定した後に前記装置状態が変化した場合に、変化後の前記装置状態に基づいて前記役割分担を再決定し、該再決定した役割分担に従って前記制御を行う
   ことを特徴とする請求項１乃至６のいずれか１つに記載の表示制御装置。
8. 操作部と表示部をそれぞれ備えた第１、第２の操作表示装置と、
   請求項１乃至７のいずれか１項に記載の表示制御装置と、
   を有する
   ことを特徴とする表示システム。
9. 操作部と表示部を備えた操作表示装置であって、
   自操作表示装置と他の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
   自操作表示装置と前記他の操作表示装置の、動作中に変動する所定の装置状態に関する情報を取得する変動情報取得部と、
   前記連携状態の自操作表示装置と前記他の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って自操作表示装置と前記他の操作表示装置の画面の表示を制御する制御部と、
   を有し、
   前記所定の装置状態は、使用可能な電力の制限に係る装置状態であり、
   前記制御部は、自操作表示装置と前記他の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要する電力消費量が多い方の画面を、使用可能な電力が制限された操作表示装置に表示しないように前記役割分担を決定する
   ことを特徴とする操作表示装置。
10. 操作部と表示部を備えた操作表示装置であって、
    自操作表示装置と他の操作表示装置が並置されて通信可能な連携状態になったことを検出する検出部と、
    自操作表示装置と前記他の操作表示装置の、リソースの使用状況に係る装置状態に関する情報を取得する変動情報取得部と、
    前記連携状態の自操作表示装置と前記他の操作表示装置の画面の表示に関する役割分担を、前記変動情報取得部で取得した前記情報に基づいて決定し、該決定した役割分担に従って自操作表示装置と前記他の操作表示装置の画面の表示を制御する制御部と、
    を有し、
    前記制御部は、自操作表示装置と前記他の操作表示装置のいずれかで新たな画面を表示する際に、前記新たな画面と元画面のうち、表示に要するリソースの使用量が多い方の画面を、リソースの空きの少ない方の操作表示装置に表示しないように前記役割分担を決定する
    ことを特徴とする操作表示装置。
11. 前記リソースはＣＰＵ又はメモリであり、
    前記リソースがＣＰＵである場合、前記リソースの使用状況はＣＰＵの処理負荷の大小を含み、
    前記リソースがメモリである場合、前記リソースの使用状況は使用可能な空きメモリ容量を含む
    ことを特徴とする請求項１０に記載の操作表示装置。
12. 前記新たな画面は自操作表示装置と前記他の操作表示装置のいずれかで所定の操作を受けて表示される画面であり、前記元画面は前記所定の操作を受けた操作表示装置に表示されていた画面である
    ことを特徴とする請求項９乃至１１のいずれか一つに記載の操作表示装置。
13. 前記新たな画面は、画像のプレビュー画面である
    ことを特徴とする請求項９乃至１２のいずれか一つに記載の操作表示装置。
14. 前記新たな画面は、動画を表示する画面である
    ことを特徴とする請求項９乃至１３のいずれか一つに記載の操作表示装置。
15. 前記制御部は、前記役割分担を決定した後に前記装置状態が変化した場合に、変化後の前記装置状態に基づいて前記役割分担を再決定し、該再決定した役割分担に従って前記制御を行う
    ことを特徴とする請求項９乃至１４のいずれか１つに記載の操作表示装置。
16. 情報処理装置を、
    請求項１乃至７のいずれか１つに記載の表示制御装置として機能させるプログラム。
17. 操作部と表示部を備えた情報処理装置を、
    請求項９乃至１５のいずれか１つに記載の操作表示装置として機能させるプログラム。

Images