JP6127800B2

JP6127800B2 - 画像処理システム、リモート画面の表示制御方法、携帯端末装置及びリモート画面の表示制御プログラム

Info

Publication number: JP6127800B2
Application number: JP2013153115A
Authority: JP
Inventors: 洋彰杉本; 洋一来正; 本杉　敏久; 敏久本杉; 美絵川端; 征平市山
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2013-07-23
Filing date: 2013-07-23
Publication date: 2017-05-17
Anticipated expiration: 2033-07-23
Also published as: JP2015023563A

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、該画像処理装置を遠隔操作可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理システム、該システムで実施されるリモート画面の表示制御方法、携帯端末装置及びリモート画面の表示制御プログラムに関する。

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。

そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。このシステムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。

ところで、画像処理装置には、操作パネルに表示される操作画面上の操作ボタンだけでなく、例えばスタートキー、ストップキー、リセットキー等の機械的なハードウェアキーが備えられているのが一般的である。

そこで、このようなハードウェアキーも携帯端末装置の画面上に対応するソフトウェアキーとして表示することが提案されている。

具体的には、画像処理装置は、ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する。一方、携帯端末装置は、リモート画面として表示された画像処理装置の操作画面上に重なった状態で、前記キー表示用データに基づきソフトウェアキーを操作画面の端部において引き出しキーにより出没可能に表示させる。

このようなソフトウェアキーは、常時は引き出しキーのみが表示され、ユーザーがソフトウェアキーを使用したい場合は、引き出しキーをドラッグ操作により移動させてソフトウェアキーを画面上に引き出したのち、所望のソフトウェアキーを押下する。

また、引き出したソフトウェアキーが不要の場合は、引き出しキーをドラッグ操作により移動させてソフトウェアキーを画面外に押し込み隠蔽する。

このように、引き出しキーに対する操作によりハードウェアキーに対応するソフトウェアキーを携帯端末装置の画面に出没させることで、必要な場合にのみソフトウェアキーを使用することができる。

なお、特許文献１には、操作パネルで枠消し設定しようとしたときに、テンキー表示がなされ、そのときにテンキー画面の下に枠消し設定値があると仮定しても何が設定されたかが確認できないため、テンキー画面が下の枠消し設定値と重ならないように、予めテンキー表示領域を設定しておく技術が開示されている。

特開２０１２−２０４９９３号公報

ところが、前述したように、画像処理装置のハードウェアキーに対応するソフトウェアキーを、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示させる場合、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなってしまうという問題がある。

このため、ユーザーが引き出しキーの下にある操作ボタンを操作したい場合や表示情報を確認したい、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーの例えばスタートキーを押下する、といった手間のかかる操作が必要となり、操作性が良くなかった。

これを解決するために、マルチウィンドウ表示された画面上で上側に重なっているウィンドウを移動させることで下側のウィンドウを見えるようにする技術を適用することも考えられるが、この場合は、引き出しキーを移動させると引き出しキーと一体表示されたソフトウェアキーも一体で移動させることになり、処理が複雑になるという問題がある。

また、特許文献１に記載された技術を参照し、ハードウェアキーに対応するソフトウェアキーを分解して、操作画面毎に異なる位置にソフトウェアキーを配置することも考えられるが、この場合は画面毎にソフトウェアキーの位置が変わることになり、ユーザーはどこにソフトウェアキーが存在しているのかを把握するのに時間がかかるという問題がある。

この発明は、このような実情に鑑みてなされたものであり、携帯端末装置にリモート画面として画像処理装置の操作画面が表示され、画像処理装置のハードウェアキーに対応するソフトウェアキーが、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示される場合、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタン等が見えなくなっていても、複雑な処理や画面毎のソフトウェアキーの配置位置の変更を必要とすることなく、簡単な操作で引き出しキーで隠された操作ボタンや表示情報を視認可能にできる操作性の良い画像処理システム、及びリモート画面の表示制御方法を提供し、さらには携帯端末装置及びリモート画面の表示制御プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示可能な表示手段と、自装置を操作するための１個または複数個のハードウェアキーと、前記操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、前記ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信手段と、表示手段と、前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、を備え、前記携帯端末装置の移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする画像処理連携システム。
（２）前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、前記携帯端末装置の表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる前項１に記載の画像処理連携システム。
（３）前記携帯端末装置は、前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段を備え、前記携帯端末装置の表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる前項２に記載の画像処理連携システム。
（４）前記携帯端末装置は、移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、前記画像処理装置は、前記携帯端末装置から前記引き出しキーの画面上の位置を通知されたときは、前記引き出しキーと重ならない位置に前記操作ボタン及び／または表示情報を移動させた操作画面表示用データを再作成し、前記送信手段を介して再作成された操作画面表示用データを携帯端末装置に送信し、前記携帯端末装置の表示制御手段は、前記再作成された操作画面表示用データに基づいて、操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる前項１に記載の画像処理連携システム。
（５）画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムで実施される画像処理連携方法であって、前記画像処理装置は、自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、自装置を操作するための１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信ステップを実施し、前記携帯端末装置は、前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信ステップと、前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、を実施し、前記携帯端末装置の移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とするリモート画面の表示制御方法。
（６）表示手段と、画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信手段と、前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、を備え、前記移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする携帯端末装置。
（７）前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、前記表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる前項６に記載の携帯端末装置。
（８）前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段をさらに備え、前記表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる前項７に記載の携帯端末装置。
（９）移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、前記受信手段は、前記位置通知手段により前記引き出しキーの画面上の位置を通知された画像処理装置から、該画像処理装置により再作成された、前記引き出しキーと重ならない位置に前記操作ボタンを移動させた操作画面表示用データを受信し、前記表示制御手段は、前記受信した再作成された操作画面表示用データに基づいて、前記操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる前項６に記載の携帯端末装置。
（１０）画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信ステップと、前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、を携帯端末装置のコンピュータに実行させ、前記移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは分離して移動させる処理を、前記コンピュータに実行させるためのリモート画面の表示制御プログラム。

前項（１）に記載の発明によれば、携帯端末装置の表示手段には、リモート画面として画像処理装置の操作画面が表示され、画像処理装置のハードウェアキーに対応するソフトウェアキーが、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示される。また、携帯端末装置には、表示手段に表示された前記引き出しキーに対するソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段が備えられ、引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、携帯端末装置は引き出しキーのみをソフトウェアキーとは独立して移動させる。

このため、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンが見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したり表示情報を確認したのち、そのままソフトウェアキーを操作することができる。

つまり、引き出しキーと重なっている操作ボタンや表示情報を見えるようにするため、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。しかも、ソフトウェアキーと独立して引き出しキーを移動させるから、ソフトウェアキーと引き出しキーを一体で移動させる処理は不要となる。さらに、複数のソフトウェアキーを分解して、操作画面毎に異なる位置にソフトウェアキーを配置する必要もないから、ユーザーはどこにソフトウェアキーが存在しているのかを把握するのに時間がかかるという問題もない。

前項（２）に記載の発明によれば、ハードウェアキーに対応するソフトウェアキーは引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、引き出しキーはこれら複数個のソフトウェアキーの並び方向に沿って移動可能であるから、ユーザーはソフトウェアキーの並び方向に沿って引き出しキーを移動操作すればよい。しかも、ソフトウェアキーの引き出し方向及び押し込み方向においては、引き出しキーは分離することなくソフトウェアキーと一体性を確保できるから、ソフトウェアキーの引き出し操作及び押し込み操作に影響を与えることはない。

前項（３）に記載の発明によれば、引き出しキーが操作画面の一端部まで移動したことが検知されたときは、引き出しキーは操作画面の他端部に自動的に移動するから、ユーザーは、引き出しキーを操作画面の一端部まで移動させた後、その位置で引き出しキーの下に隠れている操作ボタンや表示情報を確認したい場合に、引き出しキーを再度移動させる操作は不要となる。

前項（４）に記載の発明によれば、画像処理装置側で操作画面上の操作ボタンを、引き出しキーと重ならない位置に移動させて、操作画面表示用データを再作成するから、引き出しキーにより操作ボタンや表示情報が隠れて見えなくなる状態を確実に回避できる。

前項（５）に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンと重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したのち、そのままソフトウェアキーを操作することができる。このため、引き出しキーと重なっている操作ボタンを見えるようにするため、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。

前項（６）に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したのち、そのままソフトウェアキーを操作することができ、操作性の良い携帯端末装置となる。

前項（７）に記載の発明によれば、ユーザーはソフトウェアキーの並び方向に沿って引き出しキーを移動操作することで、引き出しキーの下に隠れている操作ボタンを表示できる。

前項（８）に記載の発明によれば、ユーザーは、引き出しキーを操作画面の一端部まで移動させた後、その位置で引き出しキーの下に隠れている操作ボタンや表示情報を確認したい場合に、引き出しキーを再度移動させる操作は不要となる。

前項（９）に記載の発明によれば、画像処理装置側で操作画面上の操作ボタンや表示情報を、引き出しキーと重ならない位置に移動させて、操作画面表示用データを再作成するから、引き出しキーにより操作ボタンが隠れて見えなくなる状態をより確実に回避できる。

前項（１０）に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができる処理を、携帯端末装置のコンピュータに実行させることができる。

この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。画像処理装置の操作パネルの正面図である。携帯端末装置の表示部に、画像処理装置で作成された画像処理装置の操作画面がリモート画面として表示されている状態を示す図であり、（Ａ）は引き出しキーを押し込んだ状態の、（Ｂ）は引き出しキーを引き出した状態の図である。図６（Ｂ）の引き出しキーの表示部分の拡大図である。ユーザーが引き出しキーをソフトウェアキーとは独立して移動できることを説明するための携帯端末装置の表示部の画面図である。引き出しキーをソフトキーの並び方向に移動させる際の携帯端末装置の動作を示すフローチャートである。図９のフローチャートにおけるステップＳ０６の処理のサブルーチンを示すフローチャートである。この発明の他の実施形態を示すもので、携帯端末装置の表示部にリモート画面が表示されている状態を示す図である。図１１の実施形態における携帯端末装置の動作を示すフローチャートである。図１２のフローチャートにおけるステップＳ１７の処理のサブルーチンを示すフローチャートである。この発明のさらに他の実施形態を示すもので、携帯端末装置の表示部にリモート画面が表示されている状態を示す図である。図１４の実施形態における携帯端末装置の動作を示すフローチャートである。

以下、この発明の実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る携帯端末装置が用いられた画像処理システムの構成図である。

この画像処理システムは、画像処理装置１と携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとして説明する。

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、自装置の操作画面を携帯端末２に表示させるための操作画面表示用データを携帯端末２に送信したり、携帯端末２側で行われたユーザー操作に応じて、ジョブを実行したり次に表示させる操作画面表示用データ等を携帯端末２に送信する。

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルも保存されている。

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、図５に示すように、機械的なハードウェアキー（以下、外キーともいう）を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。なお、外キーとして、この実施形態では、スタートキー１２１、ストップキー１２２、リセットキー１２３、認証画面に移行させるためのＩＤキー１２４、デフォルト画面に移行させるためのホームキー１２５、省電力モードに移行させるための副電源キー１２６、テンキー１２７等が備えられている。なお、外キーはこれらに限定されることはなく、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キー等を備えていても良い。

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された操作画面表示用データ、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられ、タッチ入力操作が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面をスクロール（ページ送りやページ戻し）をするためのフリック操作、画像の変倍（拡大または縮小）や回転等を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。

前記ファイル処理部２０８ａ、２０８ｂは、ファイルの編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される操作画面と同じ操作画面を再生するための操作画面表示用データをＭＦＰ１から受信し、前記操作画面をリモート画面として表示部２０４に表示したり、リモート画面に表示された操作ボタン等をユーザーが押下したときに、画面上の操作位置の座標を検出して操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。

さらに、この実施形態では、ＭＦＰ１の操作パネル部１０７のキー部１０７ａに設けられた前述した外キーのうちの一部を携帯端末２からリモート操作可能とするために、外キーをソフトウェアキー（以下、単にソフトキーともいう）として携帯端末２の表示部２０４ａに表示させるためのソフトキー表示用データが操作画面表示用データと共にＭＦＰ１から送信されるものとなされている。この際に、図６に示すように、携帯端末２に表示される操作画面Ｄ１の下端部にソフトキー４０２を引き出して表示し、あるいは押し込んで画面から消失させてソフトキー４０２を出没させる引き出しキー４００の表示用データもソフトキー表示用データと共に携帯端末２に送信される。携帯端末２は、ＭＦＰ１からの操作画面表示用データ、ソフトキー表示用データ及び引き出しキー表示用データに基づいて、操作画面Ｄ１をリモート画面として表示部２０４ａに表示すると共に、操作画面Ｄ１上に重なった状態で、ソフトキー４０２を引き出しキー４００により操作画面Ｄ１の下端部において出没可能に表示するようになっている。

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行い、携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた操作画面表示用データ、ソフトキー表示用データあるいは引き出しキー表示用データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ２２４等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。

表示画像生成アプリ２２２は、携帯端末２の表示部２０４に表示されるＭＦＰ１の操作画面上に、引き出しキー４００の引き出し操作または押し込み操作に基づいて、ソフトキー４０２を出現させ、あるいは画面から隠れるように出没させる画像を生成し、表示部２０４に表示させる。また、引き出しキーに対して、引き出し操作または押し込み操作以外の移動操作がなされたときは、引き出しキーのみをソフトウェアキーとは独立して移動させた画面を生成し、表示部２０４に表示させる。この処理については後述する。

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された操作画面表示用データを用いて、ＭＦＰ１の操作画面をリモート画面として作成し表示部２０４に表示させるものである。

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。

ユーザーが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ＭＦＰ１からのデータの受信及び受信したデータの処理、ユーザーの操作情報や携帯端末２側の操作画面表示用データの取得等を行うことができ、必要に応じて取得したデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。

ユーザーが携帯端末２の表示部２０４に表示された連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、操作画面表示用データの取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。なお、ＭＦＰ１の表示部１０５ａにおける画面表示は行われなくても良い。

次に、図１に示した画像処理連携システムの動作を説明する。

今、携帯端末２の表示部２０４ａに、図６（Ａ）に示すように、ＭＦＰ１で作成されたＭＦＰ１の操作画面Ｄ１がリモート画面として表示されている。この操作画面Ｄ１の下部領域には、１個またはこの例のように複数個の操作ボタン３００が左右方向に並んで表示されている。

さらに、画面の下端中央部には、長方形状の引き出しキー４００が操作画面Ｄ１の面上に重ねられた状態で表示されている。この引き出しキー４００は、ＭＦＰ１の外キーに対応するソフトキー４０２を、操作画面Ｄ１上に出没させるためのものである。

つまり、図６（Ｂ）に示すように、引き出しキー４００の下端縁に一体に連なる形態で、操作画面Ｄ１の左右方向の長さとほぼ同じ長さの帯状のソフトキー表示エリア４０１が一体的に表示されている。そして、ユーザーが画面上で引き出しキー４００にタッチして、図６（Ａ）の矢印Ａで示す上方引き出し方向にドラッグすると、前記引き出しキー４００により図（Ｂ）に示すようにソフトキー表示エリア４０１が操作画面Ｄ１の下端部領域に引き出されて出現し、視認可能となる。逆に、ソフトキー表示エリア４０１が出現している状態で、引き出しキー４００をタッチして図６（Ｂ）の矢印Ｂで示す下方押し込み方向にドラッグすることにより、ソフトキー表示エリア４０１が下方に移動して画面Ｄ１から消失した状態となる。

前記ソフトキー表示エリア４０１には、１個またはこの例のように複数個のソフトキー４０２が配置され表示されている。従って、ユーザーが引き出しキー４００をタッチして上方にドラッグしまたは下方にドラッグすることにより、ソフトキー表示エリア４０１に表示されたソフトキー４０２を、画面Ｄ１の下端領域に出没させることができる。そして、ソフトキー４０２を画面上に出現させた状態で、ユーザーはソフトキー４０２を操作することが可能となっている。

この例では、各ソフトキー４０２は、外キーであるスタートキー１２１、ストップキー１２２、リセットキー１２３、ＩＤキー１２４、ホームキー１２５、副電源キー１２６にそれぞれ対応して設けられている。

なお、ソフトキー表示用データ及び引き出しキー表示用データをＭＦＰ１から一旦取得した後は、このデータを用いて携帯端末２でソフトキー４０２の引き出しや押し込みの画像データを作成し、操作画面Ｄ１に重ねて表示する。

ところで、引き出しキー４００によりソフトキー４０２を引き出した状態にすると、図７に引き出しキー４００の表示部分を拡大して示すように、操作画面Ｄ１に表示されている操作ボタン３００のうち、引き出しキー４００と重なって隠れてしまう操作ボタン３０１が発生する。操作ボタン３０１が隠れると、この操作ボタン３０１を操作したいユーザーは、一旦引き出しキー４００を押し込む操作を行った上で、操作ボタン３０１を押下し、その後に再度引き出しキー４００を操作してソフトキー群を画面上に引き出し、ソフトキー４０２のうちの例えばスタートキーを押下するといった手間のかかる操作が必要となる。

そこで、この実施形態では、図８の矢印Ｃ１及びＣ２で示すように、ユーザーが引き出しキー４００をタッチして画面左右方向にドラッグすることで、引き出しキー４００のみをソフトキー４０２（ソフトキー表示領域４０１）とは独立して、ソフトキー４０２の並び方向に沿って、最大で画面端部の同図に鎖線で示す位置まで、自在に移動させることができるようになっている。

このような引き出しキー４００の移動を可能とすることにより、ユーザーは引き出しキー４００を押し込んでソフトキー４０２を画面から消去させる必要がなく、引き出しキー４００を左右方向に移動させるのみの操作で、引き出しキー４００と重なって隠れた操作ボタン３０１を確認して操作することができる。しかも、ソフトキー４０２はそのままの位置に保持されるから、必要に応じて、操作ボタン３００の操作に続いてソフトキー４０２を操作することができる。

操作ボタン３００やソフトキー４０２が操作されると、携帯端末２から操作された座標を示す情報がＭＦＰ１に送信され、ＭＦＰ１は座標情報を解析して、操作に対応する次画面を作成したり、ジョブを実行する。

なお、引き出しキー４００をソフトキー４０２（ソフトウェアキー表示領域４０１）と分離して移動配置させることも可能である。しかし、この場合は、引き出しキー４００がソフトキー４０２と分離して表示されることになり、ユーザーが引き出しキー４００を操作ボタン３００と勘違いする恐れがあるため、引き出しキー４００はソフトキー４０２（ソフトキー表示領域４０１）と分離することなく、図８に示すように、ソフトキー表示領域４０１の上縁部に添ってソフトキー４０２の並び方向にのみ移動可能として、引き出しキー４００とソフトキー４０２との表示上の一体性を保持するのが望ましい。

図９は、引き出しキー４００をソフトキー４０２の並び方向に移動させる際の携帯端末２の動作を示すフローチャートである。このフローチャート及び図９以降に示すフローチャートに示される動作は、携帯端末２のＣＰＵ２０１が連携アプリ等に従って動作することにより実行される。

ステップＳ０１では、ＭＦＰ１により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップＳ０２では、受信したデータを表示部２０４ａに表示する。

ステップＳ０３では、引き出しキー４００の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合（ステップＳ０３でＹＥＳ）、ステップＳ０４で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップＳ０５に進む。操作がなされなかった場合（ステップＳ０３でＮＯ）、そのままステップＳ０５に進む。

ステップＳ０５では、引き出しキー４００に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると（ステップＳ０５でＹＥＳ）、ステップＳ０６で、操作座標に合わせて引き出しキー４００をソフトキー４０２と分離することなく左右方向（ソフトキー４０２の並び方向）のいずれかに移動させて表示した後、ステップＳ０７に進む。移動操作がなされない場合（ステップＳ０５でＮＯ）、そのままステップＳ０７に進む。

ステップＳ０７では、操作ボタン３００またはソフトキー４０２の操作がなされたかどうかを判断し、操作がなされると（ステップＳ０７でＹＥＳ）、ステップＳ０８で、操作座標をＭＦＰ１に送信する。ＭＦＰ１は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末２に送信し、あるいは操作に対応する処理を実行する。ステップＳ０７で操作がなされなければ（ステップＳ０７でＮＯ）、ステップＳ０３に戻る。

図１０は、図９のフローチャートにおけるステップＳ０６の操作座標に合わせて引き出しキーを移動して表示する処理のサブルーチンを示すフローチャートである。

ステップＳ０６１では、操作座標とソフトキー４０２群と引き出しキー４００の位置を比較し、ステップＳ０６２では、ソフトキー４０２群から引き出しキー４００が離間しないように引き出しキー４００を移動させた後、リターンする。

このように、この実施形態では、携帯端末２の表示部２０４ａには、リモート画面としてＭＦＰ１の操作画面Ｄ１が表示され、ＭＦＰ１の外キーに対応するソフトキー４０２が、引き出しキー４００の引き出し操作及び押し込み操作により操作画面Ｄ１の端部に出没可能に表示される。また、携帯端末２は、表示部２０４ａに表示された前記引き出しキー４００に対する左右方向の移動操作を検知すると、引き出しキー４００のみをソフトキー４０２とは独立して移動させる。

このため、ソフトキー４０２群を引き出した状態で、引き出しキー４００が操作画面Ｄ１の操作ボタン３０１と重なって操作ボタン３０１が見えなくなっていても、ユーザーは引き出しキー４００をソフトキー４０２群の引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタン３０１を見えるように表示させることができ、この操作ボタンを操作することができる。

つまり、引き出しキー４００と重なっている操作ボタン３０１を見えるようにするため、一旦引き出しキー４００を押し込む操作を行った上で、操作ボタン３０１を押下し、その後に再度引き出しキー４００を操作してソフトキー４０２を画面上に引き出し、ソフトキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。しかも、ソフトキー４００と独立して引き出しキー４０２を移動させるから、ソフトキー４０２と引き出しキー４００を一体で移動させる処理は不要となる。さらに、複数のソフトキー４０２を分解して、操作画面毎に異なる位置にソフトキーを配置する必要もないから、ユーザーはどこにソフトキー４０２が存在しているのかを把握するのに時間がかかるという問題もない。

図１１は、この発明の他の実施形態を示すもので、携帯端末２の表示部２０４ａにリモート画面が表示されている状態を示す図である。

この実施形態では、引き出しキー４００を左右方向のいずれか一方に移動させ、移動方向において引き出しキー４００の端部が表示画面の一端部に移動したことを携帯端末２が検知したときは、引き出しキー４００を画面の他端部に自動的に移動させるものである。

即ち、図１１において、ユーザーが引き出しキー４００を例えば矢印Ｃ１方向（図面左方向）に移動させた場合、引き出しキー４００の左端部が表示画面の左端部に達したときは、図１１に矢印Ｃ３で示すように、引き出しキー４００を画面の右端部に自動的に移動させる。

これにより、ユーザーは、引き出しキー４００を画面の一端部まで移動させた後、その位置で引き出しキー４００の下に隠れている操作ボタンを確認したい場合に、引き出しキー４００を再度移動させる操作は不要となる。

図１２は、図１１の実施形態における携帯端末２の動作を示すフローチャートである。

ステップＳ１１では、ＭＦＰ１により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップＳ１２では、受信したデータを表示部２０４ａに表示する。

ステップＳ１３では、引き出しキー４００の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合（ステップＳ１３でＹＥＳ）、ステップＳ１４で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップＳ１５に進む。操作がなされなかった場合（ステップＳ１３でＮＯ）、そのままステップＳ１５に進む。

ステップＳ１５では、引き出しキー４００に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると（ステップＳ１５でＹＥＳ）、ステップＳ１６で、操作座標に合わせて引き出しキー４００をソフトキー４０２と分離することなく左右方向（ソフトキー４０２の並び方向）のいずれかに移動させて表示した後、ステップＳ１７に進む。

ステップＳ１７では、引き出しキー４００の表示位置を算出し、画面の端であれば反対側の端に移動して表示する処理を実行したのち、ステップＳ１８に進む。ステップＳ１５において、移動操作がなされない場合（ステップＳ１５でＮＯ）、そのままステップＳ１８に進む。

ステップＳ１８では、操作ボタン３００またはソフトキー４０２の操作がなされたかどうかを判断し、操作がなされると（ステップＳ１８でＹＥＳ）、ステップＳ１９で、操作座標をＭＦＰ１に送信する。ＭＦＰ１は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末２に送信し、あるいは操作に対応する処理を実行する。ステップＳ１８で操作がなされなければ（ステップＳ１８でＮＯ）、ステップＳ１３に戻る。

図１３は、図１２のフローチャートにおけるステップＳ１７の引き出しキー４００の表示位置を算出し、画面の端であれば反対側の端に移動して表示する処理のサブルーチンを示すフローチャートである。

ステップＳ１７１では、引き出しキー４００の端の座標と画面端の座標を比較した後、ステップＳ１７２では、引き出しキー４００の端と画面端が同位置になったら、画面の反対側の端へ引き出しキー４００を移動して表示した後、リターンする。

図１４は、この発明のさらに他の実施形態を示すもので、携帯端末２の表示部２０４ａにリモート画面が表示されている状態を示す図である。

引き出しキー４００を移動させると、移動先において、操作画面に表示された操作ボタン３００が引き出しキー４００によって隠れてしまう。

そこで、この実施形態では、隠れた操作ボタンを隠れない位置に移動させた画面データをＭＦＰ１が再作成して、携帯端末装置２に送信することにより、携帯端末２に表示されたリモート画面において、引き出しキー４００により操作ボタンが隠されることなく表示されるようにする。

具体的には、図１４に示すように、引き出しキー４００を左方向のいずれかに移動させたときに、操作画面Ｄ１の操作ボタン３００のうち１個または複数の操作ボタン３０２が引き出しキー４００によって隠れてしまう。

そこで、携帯端末２は移動後の引き出しキー４００の位置（座標）を検知して座標データをＭＦＰ１に送信する。ＭＦＰ１は自身が保有する画面データと携帯端末２からの座標情報に基づいて、引き出しキー４００によって隠される操作ボタン３０２を特定し、この操作ボタン３０２が図１４に示すように、操作画面の表示可能な空き領域に表示されるように画面表示用データを再作成し、携帯端末２に送信する。

携帯端末２は、このデータを受信して再作成された操作画面Ｄ１を表示する。

図１５は、図１４の実施形態における携帯端末２の動作を示すフローチャートである。

ステップＳ２１では、ＭＦＰ１により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップＳ２２では、受信したデータを表示部２０４ａに表示する。

ステップＳ２３では、引き出しキー４００の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合（ステップＳ２３でＹＥＳ）、ステップＳ２４で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップＳ２５に進む。操作がなされなかった場合（ステップＳ２３でＮＯ）、そのままステップＳ２５に進む。

ステップＳ２５では、引き出しキー４００に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると（ステップＳ２５でＹＥＳ）、ステップＳ２６で、操作座標に合わせて引き出しキー４００をソフトキー４０２と分離することなく左右方向（ソフトキー４０２の並び方向）のいずれかに移動させて表示した後、ステップＳ２７に進む。

ステップＳ２７では、引き出しキー４００の表示位置を示す座標データをＭＦＰ１に送信したのち、ステップＳ２１に戻って、ＭＦＰ１から再生成された操作画面表示用データが送信されるのを待つ。

ＭＦＰ１では、自身が保有する画面データと携帯端末２からの座標情報に基づいて、引き出しキー４００によって隠される操作ボタン３０２を特定し、この操作ボタン３０２が操作画面の表示可能な空き領域に表示されるように画面表示用データを再作成し、携帯端末２に送信する。

携帯端末２は、再生成された操作画面表示用データを受信すると、この受信データを画面に表示する。表示された画面では、引き出しキー４００によって隠されていた操作ボタン３０２が、視認可能な位置に表示されている。

ステップＳ２５で、移動操作がなされない場合（ステップＳ２５でＮＯ）、ステップＳ２８では、操作ボタン３００またはソフトキー４０２の操作がなされたかどうかを判断し、操作がなされると（ステップＳ２８でＹＥＳ）、ステップＳ２９で、操作座標をＭＦＰ１に送信する。ＭＦＰ１は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末２に送信し、あるいは操作に対応する処理を実行する。ステップＳ２８で操作がなされなければ（ステップＳ２８でＮＯ）、ステップＳ２３に戻る。

このように、この実施形態では、ＭＦＰ１側で操作画面上の操作ボタン３０２を、引き出しキー４００と重ならない位置に移動させて、操作画面表示用データを再作成するから、移動した引き出しキー４００により移動先で操作ボタンが隠れて見えなくなる状態を確実に回避できる。

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。

例えば、引き出しキー４００により操作画面の操作ボタン３００が隠れる場合を説明したが、操作ボタンでなく、情報として表示される表示体が隠れる場合、あるいはこの表示体と操作ボタン３００の両方が隠れる場合に、引き出しキー４００を移動させる構成であっても良い。

１画像処理装置
２携帯端末装置
１０１ＣＰＵ
１０２ＲＯＭ
１０７ｂ表示部
２０１ＣＰＵ
２０２ＲＡＭ
２０３記憶部
２０４ａ表示部
２０４ｂ操作部
２０９連携部

Claims

画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムであって、
前記画像処理装置は、
自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示可能な表示手段と、
自装置を操作するための１個または複数個のハードウェアキーと、
前記操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、前記ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信手段と、
表示手段と、
前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、
を備え、
前記携帯端末装置の移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする画像処理連携システム。
前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、
前記携帯端末装置の表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる請求項１に記載の画像処理連携システム。
前記携帯端末装置は、前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段を備え、
前記携帯端末装置の表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる請求項２に記載の画像処理連携システム。
前記携帯端末装置は、移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、
前記画像処理装置は、前記携帯端末装置から前記引き出しキーの画面上の位置を通知されたときは、前記引き出しキーと重ならない位置に前記操作ボタン及び／または表示情報を移動させた操作画面表示用データを再作成し、前記送信手段を介して再作成された操作画面表示用データを携帯端末装置に送信し、
前記携帯端末装置の表示制御手段は、前記再作成された操作画面表示用データに基づいて、操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる請求項１に記載の画像処理連携システム。
画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムで実施される画像処理連携方法であって、
前記画像処理装置は、
自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、自装置を操作するための１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信ステップを実施し、
前記携帯端末装置は、
前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信ステップと、
前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、
を実施し、
前記携帯端末装置の移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とするリモート画面の表示制御方法。
表示手段と、
画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信手段と、
前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、
を備え、
前記移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする携帯端末装置。
前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、
前記表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる請求項６に記載の携帯端末装置。
前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段をさらに備え、
前記表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる請求項７に記載の携帯端末装置。
移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、
前記受信手段は、前記位置通知手段により前記引き出しキーの画面上の位置を通知された画像処理装置から、該画像処理装置により再作成された、前記引き出しキーと重ならない位置に前記操作ボタンを移動させた操作画面表示用データを受信し、
前記表示制御手段は、前記受信した再作成された操作画面表示用データに基づいて、前記操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる請求項６に記載の携帯端末装置。
画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信ステップと、
前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、
を携帯端末装置のコンピュータに実行させ、
前記移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは分離して移動させる処理を、前記コンピュータに実行させるためのリモート画面の表示制御プログラム。