JP6127800B2

JP6127800B2 - Image processing system, remote screen display control method, portable terminal device, and remote screen display control program

Info

Publication number: JP6127800B2
Application number: JP2013153115A
Authority: JP
Inventors: 洋彰杉本; 洋一来正; 本杉　敏久; 敏久本杉; 美絵川端; 征平市山
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2013-07-23
Filing date: 2013-07-23
Publication date: 2017-05-17
Anticipated expiration: 2033-07-23
Also published as: JP2015023563A

Description

この発明は、多機能デジタル複合機であるＭＦＰ（Multi Function Peripherals）等の画像処理装置と、該画像処理装置を遠隔操作可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理システム、該システムで実施されるリモート画面の表示制御方法、携帯端末装置及びリモート画面の表示制御プログラムに関する。 The present invention relates to an image processing system including an image processing device such as an MFP (Multi Function Peripherals) which is a multifunction digital multifunction peripheral, and a mobile terminal device such as a smartphone or a tablet terminal capable of remotely operating the image processing device, The present invention relates to a remote screen display control method, a portable terminal device, and a remote screen display control program implemented in the system.

近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記ＭＦＰ等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。 In recent years, portable terminal devices such as smartphones and tablet terminals can store digitized documents, and can browse and edit documents regardless of time and place. In addition, a file edited by the portable terminal device can be transmitted to an image processing apparatus such as the MFP, and the image processing apparatus can execute processing such as printing or saving. Furthermore, a file composed of image data of a document read by the scanner unit of the image processing apparatus can be transmitted to the mobile terminal device, and can be edited by the mobile terminal device.

しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。 However, it is necessary to operate the mobile terminal device and the image processing device separately, and there is a problem that the operation becomes complicated.

そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。このシステムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。 Therefore, recently, an operation screen on the image processing apparatus side for using the functions of the image processing apparatus is displayed as a remote screen on the display unit of the mobile terminal device, so that the image processing device can be operated cooperatively from the mobile terminal device. A cooperation system between an image processing device and a portable terminal device has been proposed. In this system, the remote screen on the image processing device side displayed on the display unit of the mobile terminal device is displayed based on the screen data transmitted from the image processing device.

つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。 That is, information indicating that an operation has been performed is transmitted from the mobile terminal device to the image processing device, and the image processing device creates the next screen data based on this information, and transmits this screen data to the mobile terminal device. The mobile terminal device updates and displays the remote screen based on the screen data.

ところで、画像処理装置には、操作パネルに表示される操作画面上の操作ボタンだけでなく、例えばスタートキー、ストップキー、リセットキー等の機械的なハードウェアキーが備えられているのが一般的である。 By the way, an image processing apparatus is generally provided with not only operation buttons on an operation screen displayed on an operation panel but also mechanical hardware keys such as a start key, a stop key, and a reset key. It is.

そこで、このようなハードウェアキーも携帯端末装置の画面上に対応するソフトウェアキーとして表示することが提案されている。 Therefore, it has been proposed to display such a hardware key as a corresponding software key on the screen of the mobile terminal device.

具体的には、画像処理装置は、ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する。一方、携帯端末装置は、リモート画面として表示された画像処理装置の操作画面上に重なった状態で、前記キー表示用データに基づきソフトウェアキーを操作画面の端部において引き出しキーにより出没可能に表示させる。 Specifically, the image processing apparatus displays a software key corresponding to a hardware key and a key display for causing the portable terminal device to display a drawer key that appears and disappears at the end of the operation screen by pulling or pushing the software key. Data is transmitted to the mobile terminal device. On the other hand, the mobile terminal device displays a software key at the end of the operation screen so that it can appear and disappear at the end of the operation screen based on the key display data in a state where it overlaps the operation screen of the image processing device displayed as a remote screen. .

このようなソフトウェアキーは、常時は引き出しキーのみが表示され、ユーザーがソフトウェアキーを使用したい場合は、引き出しキーをドラッグ操作により移動させてソフトウェアキーを画面上に引き出したのち、所望のソフトウェアキーを押下する。 For such software keys, only the drawer key is displayed at all times. If the user wants to use the software key, move the drawer key by dragging and pull out the software key on the screen. Press.

また、引き出したソフトウェアキーが不要の場合は、引き出しキーをドラッグ操作により移動させてソフトウェアキーを画面外に押し込み隠蔽する。 If the software key that is pulled out is unnecessary, the drawer key is moved by a drag operation to push the software key out of the screen and conceal it.

このように、引き出しキーに対する操作によりハードウェアキーに対応するソフトウェアキーを携帯端末装置の画面に出没させることで、必要な場合にのみソフトウェアキーを使用することができる。 In this way, by causing the software key corresponding to the hardware key to appear on the screen of the mobile terminal device by operating the drawer key, the software key can be used only when necessary.

なお、特許文献１には、操作パネルで枠消し設定しようとしたときに、テンキー表示がなされ、そのときにテンキー画面の下に枠消し設定値があると仮定しても何が設定されたかが確認できないため、テンキー画面が下の枠消し設定値と重ならないように、予めテンキー表示領域を設定しておく技術が開示されている。 In Patent Document 1, a numeric keypad is displayed when attempting to set a frame erase on the operation panel, and it is confirmed what is set even if there is a frame erase setting value at the bottom of the numeric keypad screen at that time. Since this is not possible, a technique is disclosed in which a numeric keypad display area is set in advance so that the numeric keypad screen does not overlap with the lower frame erase setting value.

特開２０１２−２０４９９３号公報JP 2012-204993 A

ところが、前述したように、画像処理装置のハードウェアキーに対応するソフトウェアキーを、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示させる場合、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなってしまうという問題がある。 However, as described above, when the software key corresponding to the hardware key of the image processing apparatus is displayed so as to be able to appear at the end of the operation screen by the pull-out operation and the push-in operation of the pull-out key, the software key is pulled out. There is a problem in that the operation buttons and display information become invisible because the drawer keys overlap with the operation buttons and display information on the operation screen displayed below.

このため、ユーザーが引き出しキーの下にある操作ボタンを操作したい場合や表示情報を確認したい、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーの例えばスタートキーを押下する、といった手間のかかる操作が必要となり、操作性が良くなかった。 For this reason, if the user wants to operate the operation button under the drawer key or wants to check the display information, after pressing the drawer key once, press the operation button or check the display information, and then The user has to operate the drawer key again to pull out the software key on the screen and press the start key of the software key, for example, and the operation is not good.

これを解決するために、マルチウィンドウ表示された画面上で上側に重なっているウィンドウを移動させることで下側のウィンドウを見えるようにする技術を適用することも考えられるが、この場合は、引き出しキーを移動させると引き出しキーと一体表示されたソフトウェアキーも一体で移動させることになり、処理が複雑になるという問題がある。 In order to solve this, it is possible to apply a technology that makes the lower window visible by moving the upper window on the multi-window display screen. When the key is moved, the software key integrally displayed with the drawer key is also moved together, and there is a problem that the processing becomes complicated.

また、特許文献１に記載された技術を参照し、ハードウェアキーに対応するソフトウェアキーを分解して、操作画面毎に異なる位置にソフトウェアキーを配置することも考えられるが、この場合は画面毎にソフトウェアキーの位置が変わることになり、ユーザーはどこにソフトウェアキーが存在しているのかを把握するのに時間がかかるという問題がある。 In addition, referring to the technique described in Patent Document 1, it may be possible to disassemble the software key corresponding to the hardware key and arrange the software key at a different position for each operation screen. Therefore, the position of the software key is changed, and there is a problem that it takes time for the user to grasp where the software key exists.

この発明は、このような実情に鑑みてなされたものであり、携帯端末装置にリモート画面として画像処理装置の操作画面が表示され、画像処理装置のハードウェアキーに対応するソフトウェアキーが、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示される場合、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタン等が見えなくなっていても、複雑な処理や画面毎のソフトウェアキーの配置位置の変更を必要とすることなく、簡単な操作で引き出しキーで隠された操作ボタンや表示情報を視認可能にできる操作性の良い画像処理システム、及びリモート画面の表示制御方法を提供し、さらには携帯端末装置及びリモート画面の表示制御プログラムを提供することを課題とする。 The present invention has been made in view of such circumstances, and the operation screen of the image processing device is displayed as a remote screen on the portable terminal device, and the software key corresponding to the hardware key of the image processing device is a drawer key. If the software key is pulled out and the drawer key overlaps with the operation button or display information on the operation screen displayed below, when the software key is pulled out Even if the operation buttons are not visible, the operation buttons and display information hidden by the drawer keys can be viewed with a simple operation without requiring complicated processing or changing the position of the software key for each screen. Provided are an image processing system with good operability and a remote screen display control method, and a portable terminal device and a remote Providing a surface display control program and an object.

上記課題は、以下の手段によって解決される。
（１）画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示可能な表示手段と、自装置を操作するための１個または複数個のハードウェアキーと、前記操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、前記ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信手段と、表示手段と、前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、を備え、前記携帯端末装置の移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする画像処理連携システム。
（２）前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、前記携帯端末装置の表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる前項１に記載の画像処理連携システム。
（３）前記携帯端末装置は、前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段を備え、前記携帯端末装置の表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる前項２に記載の画像処理連携システム。
（４）前記携帯端末装置は、移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、前記画像処理装置は、前記携帯端末装置から前記引き出しキーの画面上の位置を通知されたときは、前記引き出しキーと重ならない位置に前記操作ボタン及び／または表示情報を移動させた操作画面表示用データを再作成し、前記送信手段を介して再作成された操作画面表示用データを携帯端末装置に送信し、前記携帯端末装置の表示制御手段は、前記再作成された操作画面表示用データに基づいて、操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる前項１に記載の画像処理連携システム。
（５）画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムで実施される画像処理連携方法であって、前記画像処理装置は、自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、自装置を操作するための１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信ステップを実施し、前記携帯端末装置は、前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信ステップと、前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、を実施し、前記携帯端末装置の移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とするリモート画面の表示制御方法。
（６）表示手段と、画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信手段と、前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、を備え、前記移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする携帯端末装置。
（７）前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、前記表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる前項６に記載の携帯端末装置。
（８）前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段をさらに備え、前記表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる前項７に記載の携帯端末装置。
（９）移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、前記受信手段は、前記位置通知手段により前記引き出しキーの画面上の位置を通知された画像処理装置から、該画像処理装置により再作成された、前記引き出しキーと重ならない位置に前記操作ボタンを移動させた操作画面表示用データを受信し、前記表示制御手段は、前記受信した再作成された操作画面表示用データに基づいて、前記操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる前項６に記載の携帯端末装置。
（１０）画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信ステップと、前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、を携帯端末装置のコンピュータに実行させ、前記移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは分離して移動させる処理を、前記コンピュータに実行させるためのリモート画面の表示制御プログラム。
The above problem is solved by the following means.
(1) An image processing cooperation system comprising an image processing device and a portable terminal device capable of remotely operating the image processing device, wherein the image processing device is one or more for operating the device itself. Display means capable of displaying an operation screen having operation buttons and / or display information, one or a plurality of hardware keys for operating the device itself, and for displaying the operation screen on the portable terminal device The operation screen display data is transmitted to the portable terminal device, and a software key corresponding to the hardware key and a drawer key that is made to appear and disappear at the end of the operation screen by pulling or pushing the software key are displayed on the portable terminal device. Transmitting means for transmitting key display data to the portable terminal device, the portable terminal device including the image processing Receiving means for receiving operation screen display data and key display data from a display; display means; and displaying the operation screen of the image processing apparatus as a remote screen based on the operation screen display data received by the receiving means And displaying the software key on the display means so as to be able to appear and disappear by the drawer key at the end of the operation screen based on the received key display data while being displayed on the operation screen. Control means, and movement operation detection means for detecting movement operations other than the drawing direction and pushing direction of the software key with respect to the drawing key displayed on the display means, and the movement operation detection means of the portable terminal device The software key is pulled out and pushed in with respect to the drawer key. When the move operation is detected in the portable terminal device display control unit of the image processing cooperative system characterized by moving only the drawer key said software key independently.
(2) A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction, and the display control means of the portable terminal device displays the plurality of pull-out keys. The image processing cooperation system according to item 1, wherein the system is moved along the arrangement direction of the software keys.
(3) The mobile terminal device includes movement detection means for detecting that the drawer key has moved to one end of the operation screen along the arrangement direction of the plurality of software keys, and the display control means of the mobile terminal device The image processing cooperation system according to item 2, wherein when the movement detecting unit detects that the drawer key has moved to one end of the operation screen, the drawer key is moved to the other end of the operation screen. .
(4) The portable terminal device detects the position of the drawer key on the screen after movement, and the position of the drawer key on the screen detected by the position detection unit in the image processing apparatus. Position notification means for notifying, and when the image processing apparatus is notified of the position of the drawer key on the screen from the portable terminal apparatus, the operation button and / or a position that does not overlap the drawer key. Alternatively, the operation screen display data in which the display information is moved is re-created, and the operation screen display data re-created via the transmission unit is transmitted to the mobile terminal device, and the display control unit of the mobile terminal device includes: Based on the re-created operation screen display data, an operation screen moved to a position where the operation button and / or display information does not overlap the drawer key is displayed on the display means. Image processing cooperation system according to item 1 to.
(5) An image processing cooperation method implemented in an image processing cooperation system including an image processing device and a portable terminal device capable of remotely operating the image processing device, wherein the image processing device operates its own device. For transmitting operation screen display data for displaying an operation screen having one or a plurality of operation buttons and / or display information for display on the mobile terminal device to the mobile terminal device, and for operating the device itself Key display data for displaying on the portable terminal device a software key corresponding to one or a plurality of hardware keys and a drawer key that is drawn out or pushed in at the end of the operation screen. A transmission step of transmitting to the portable terminal device is performed, and the portable terminal device receives operation screen display data from the image processing device. And a reception step for receiving the key display data, and the operation screen of the image processing apparatus is displayed on the display means as a remote screen based on the operation screen display data received in the reception step and overlapped on the operation screen A display control step for displaying the software key on the display means by the drawer key at the end of the operation screen based on the received key display data, and the drawer displayed on the display means A moving operation detecting step for detecting a moving operation other than the drawing direction and the pushing direction of the software key with respect to the key, and in the moving operation detecting step of the mobile terminal device, the drawing direction of the software key with respect to the drawing key and Move operation other than the push direction is detected The case, in the display control step of said mobile terminal device, display control method only the drawer key remote screen, characterized in that moving independently of the software key.
(6) Image processing apparatus displays operation screen display data for displaying on the display means an operation screen having one or a plurality of operation buttons and / or display information for operating the image processing apparatus. The software key corresponding to one or a plurality of hardware keys provided in the image processing apparatus, and a drawer key that is drawn out or pushed in at the end of the operation screen by pulling or pushing the software key is displayed on the display. Receiving means for receiving key display data to be displayed on the means from the image processing apparatus, and displaying the operation screen of the image processing apparatus on the display means as a remote screen based on the operation screen display data received by the receiving means. And based on the received key display data in a state where it overlaps the operation screen. Display control means for displaying the software key on the display means so as to be able to appear and disappear at the end of the operation screen by the drawer key, and the software key with respect to the drawer key displayed on the display means other than the drawing direction and pushing direction Moving operation detecting means for detecting a moving operation, and when the moving operation detecting means detects a moving operation other than the drawing direction and pushing direction of the software key with respect to the drawer key, the display control means A portable terminal device, wherein only the drawer key is moved independently of the software key.
(7) A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction, and the display control means displays the pull-out keys on the plurality of software keys. 7. The mobile terminal device according to item 6, which is moved along the arrangement direction.
(8) It further comprises movement detection means for detecting that the drawer key has moved to one end portion of the operation screen along the arrangement direction of the plurality of software keys, and the display control means uses the movement detection means to remove the drawer key. 8. The portable terminal device according to item 7, wherein when the key is detected to have moved to one end of the operation screen, the drawer key is moved to the other end of the operation screen .
(9) position detecting means for detecting the position of the drawer key on the screen after movement; and position notifying means for notifying the image processing apparatus of the position of the drawer key on the screen detected by the position detecting means; The receiving means is provided at a position that is re-created by the image processing apparatus from the image processing apparatus notified of the position of the drawer key on the screen by the position notification means and does not overlap the drawer key. The operation screen display data obtained by moving the operation button is received, and the display control unit is configured to extract the operation button and / or display information as a pull-out key based on the received re-created operation screen display data. 7. The portable terminal device according to item 6 above, wherein an operation screen moved to a position that does not overlap is displayed on the display means.
(10) One or more operation buttons for operating the image processing apparatus and / or operation screen display data for displaying on the display means an operation screen having display information is received from the image processing apparatus; To display a software key corresponding to one or a plurality of hardware keys provided in the image processing apparatus and a drawer key that is drawn out or pushed in at an end portion of the operation screen by pulling out or pushing the software key on the display means. Receiving the key display data from the image processing device, displaying the operation screen of the image processing device as a remote screen on the display means based on the operation screen display data received in the receiving step, and the operation Based on the received key display data, the software is superimposed on the screen. A display control step for displaying the software key on the display means so as to be able to appear and disappear by the drawer key at the end of the operation screen, and the software key with respect to the drawer key displayed on the display means. A moving operation detecting step for detecting a moving operation is executed by a computer of the mobile terminal device, and a moving operation other than the drawing direction and pushing direction of the software key with respect to the pulling key is detected in the moving operation detecting step. A display control program for a remote screen for causing the computer to execute a process of moving only the drawer key separately from the software key in the display control step.

前項（１）に記載の発明によれば、携帯端末装置の表示手段には、リモート画面として画像処理装置の操作画面が表示され、画像処理装置のハードウェアキーに対応するソフトウェアキーが、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示される。また、携帯端末装置には、表示手段に表示された前記引き出しキーに対するソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段が備えられ、引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、携帯端末装置は引き出しキーのみをソフトウェアキーとは独立して移動させる。 According to the invention described in item (1), the display unit of the portable terminal device displays the operation screen of the image processing device as a remote screen, and the software key corresponding to the hardware key of the image processing device is the drawer key. Is displayed so as to be able to appear and disappear at the end of the operation screen. Further, the mobile terminal device is provided with a movement operation detecting means for detecting a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawing key displayed on the display means, and the drawing direction of the software key with respect to the drawing key. When a movement operation other than the pushing direction is detected, the portable terminal device moves only the drawer key independently of the software key.

このため、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンが見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したり表示情報を確認したのち、そのままソフトウェアキーを操作することができる。 Therefore, even when the software key is pulled out and the drawer key overlaps with the operation button and display information on the operation screen displayed below it, the user cannot pull out the software key. By moving in a direction other than the direction and push-in direction, it is possible to display the hidden operation buttons and display information so that they can be seen. Can be operated.

つまり、引き出しキーと重なっている操作ボタンや表示情報を見えるようにするため、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。しかも、ソフトウェアキーと独立して引き出しキーを移動させるから、ソフトウェアキーと引き出しキーを一体で移動させる処理は不要となる。さらに、複数のソフトウェアキーを分解して、操作画面毎に異なる位置にソフトウェアキーを配置する必要もないから、ユーザーはどこにソフトウェアキーが存在しているのかを把握するのに時間がかかるという問題もない。 In other words, in order to make the operation button and display information that overlaps the drawer key visible, after pressing the drawer key once, press the operation button or check the display information, and then press the drawer key again. A time-consuming operation such as operating to pull out the software key on the screen and pressing the software key becomes unnecessary, and the operability is improved. In addition, since the drawer key is moved independently of the software key, the process of moving the software key and the drawer key together becomes unnecessary. In addition, since it is not necessary to disassemble multiple software keys and place the software keys at different positions for each operation screen, the user may take a long time to figure out where the software keys exist. Absent.

前項（２）に記載の発明によれば、ハードウェアキーに対応するソフトウェアキーは引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、引き出しキーはこれら複数個のソフトウェアキーの並び方向に沿って移動可能であるから、ユーザーはソフトウェアキーの並び方向に沿って引き出しキーを移動操作すればよい。しかも、ソフトウェアキーの引き出し方向及び押し込み方向においては、引き出しキーは分離することなくソフトウェアキーと一体性を確保できるから、ソフトウェアキーの引き出し操作及び押し込み操作に影響を与えることはない。
According to the invention described in (2) above, a plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction, and the pull-out key is an arrangement of the plurality of software keys. Since the user can move along the direction, the user only has to move the drawer key along the arrangement direction of the software keys. In addition, in the drawing direction and the pushing direction of the software key, since the drawing key can be secured with the software key without being separated, the drawing operation and the pushing operation of the software key are not affected.

前項（３）に記載の発明によれば、引き出しキーが操作画面の一端部まで移動したことが検知されたときは、引き出しキーは操作画面の他端部に自動的に移動するから、ユーザーは、引き出しキーを操作画面の一端部まで移動させた後、その位置で引き出しキーの下に隠れている操作ボタンや表示情報を確認したい場合に、引き出しキーを再度移動させる操作は不要となる。
According to the invention as described in the preceding paragraph (3), when the drawer key moves to one end portion of the operation screen is detected, since the drawer key automatically moves to the other end portion of the operation screen, the user After moving the drawer key to one end of the operation screen, if it is desired to confirm the operation button or display information hidden under the drawer key at that position, the operation of moving the drawer key again becomes unnecessary.

前項（４）に記載の発明によれば、画像処理装置側で操作画面上の操作ボタンを、引き出しキーと重ならない位置に移動させて、操作画面表示用データを再作成するから、引き出しキーにより操作ボタンや表示情報が隠れて見えなくなる状態を確実に回避できる。 According to the invention described in the above item (4), the operation button on the operation screen is moved to a position not overlapping with the drawer key on the image processing apparatus side, and the operation screen display data is re-created. It is possible to reliably avoid a state where the operation buttons and display information are hidden and cannot be seen.

前項（５）に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンと重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したのち、そのままソフトウェアキーを操作することができる。このため、引き出しキーと重なっている操作ボタンを見えるようにするため、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。 According to the invention described in (5) above, even when the software key is pulled out and the drawer key overlaps with the operation button on the operation screen displayed below, The user can display the hidden operation buttons and display information so that they can be seen by moving the drawer key in directions other than the direction of pulling out and pushing in the software key. Software keys can be operated. For this reason, in order to make the operation button overlapped with the drawer key visible, after pressing the drawer key once, press the operation button or check the display information, and then operate the drawer key again. Thus, a time-consuming operation such as drawing the software key on the screen and pressing the software key becomes unnecessary, and the operability is improved.

前項（６）に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したのち、そのままソフトウェアキーを操作することができ、操作性の良い携帯端末装置となる。 According to the invention described in item (6) above, in the state where the software key is pulled out, the operation key and the display information are not visible because the drawer key overlaps with the operation button and the display information on the operation screen displayed below. However, the user can display the hidden operation buttons and display information so that they can be seen by moving the drawer key in a direction other than the direction of pulling out and pushing in the software key. After that, the software key can be operated as it is, and the mobile terminal device has good operability.

前項（７）に記載の発明によれば、ユーザーはソフトウェアキーの並び方向に沿って引き出しキーを移動操作することで、引き出しキーの下に隠れている操作ボタンを表示できる。 According to the invention described in item (7), the user can display the operation buttons hidden under the drawer keys by moving the drawer keys along the arrangement direction of the software keys.

前項（８）に記載の発明によれば、ユーザーは、引き出しキーを操作画面の一端部まで移動させた後、その位置で引き出しキーの下に隠れている操作ボタンや表示情報を確認したい場合に、引き出しキーを再度移動させる操作は不要となる。 According to the invention described in (8) above, when the user wants to confirm the operation button or display information hidden under the drawer key at that position after moving the drawer key to one end of the operation screen. The operation of moving the drawer key again becomes unnecessary.

前項（９）に記載の発明によれば、画像処理装置側で操作画面上の操作ボタンや表示情報を、引き出しキーと重ならない位置に移動させて、操作画面表示用データを再作成するから、引き出しキーにより操作ボタンが隠れて見えなくなる状態をより確実に回避できる。 According to the invention described in the preceding item (9), the operation button and display information on the operation screen are moved to a position not overlapping with the drawer key on the image processing device side, and the operation screen display data is re-created. A state in which the operation button is hidden by the drawer key and cannot be seen can be more reliably avoided.

前項（１０）に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができる処理を、携帯端末装置のコンピュータに実行させることができる。 According to the invention described in the above item (10), in the state where the software key is pulled out, the operation key and the display information are not visible because the drawer key overlaps with the operation button and the display information on the operation screen displayed therebelow. However, the user can move the drawer key in a direction other than the direction in which the software key is pulled out and pushed in, so that the hidden operation buttons and display information can be displayed in a visible manner. It can be executed by a computer.

この発明の一実施形態に係る携帯端末装置が用いられた画像処理連携システムの構成図である。1 is a configuration diagram of an image processing cooperation system in which a mobile terminal device according to an embodiment of the present invention is used. 画像処理装置及び携帯端末装置の電気的な構成を示すブロック図である。It is a block diagram which shows the electrical structure of an image processing apparatus and a portable terminal device. 画像処理装置及び携帯端末装置のファームウェア構成を示すブロック図である。It is a block diagram which shows the firmware structure of an image processing apparatus and a portable terminal device. 画像処理装置及び携帯端末装置の各ソフトウェアの関係を示す図である。It is a figure which shows the relationship between each software of an image processing apparatus and a portable terminal device. 画像処理装置の操作パネルの正面図である。It is a front view of the operation panel of an image processing apparatus. 携帯端末装置の表示部に、画像処理装置で作成された画像処理装置の操作画面がリモート画面として表示されている状態を示す図であり、（Ａ）は引き出しキーを押し込んだ状態の、（Ｂ）は引き出しキーを引き出した状態の図である。It is a figure which shows the state in which the operation screen of the image processing apparatus produced with the image processing apparatus is displayed on the display part of a portable terminal device as a remote screen, (A) is the state which pushed the drawer key, (B ) Is a view of the state in which the drawer key is pulled out. 図６（Ｂ）の引き出しキーの表示部分の拡大図である。It is an enlarged view of the display part of the drawer key of FIG. 6 (B). ユーザーが引き出しキーをソフトウェアキーとは独立して移動できることを説明するための携帯端末装置の表示部の画面図である。It is a screen figure of the display part of a portable terminal device for explaining that a user can move a drawer key independently of a software key. 引き出しキーをソフトキーの並び方向に移動させる際の携帯端末装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the portable terminal device at the time of moving a drawer key to the arrangement direction of a soft key. 図９のフローチャートにおけるステップＳ０６の処理のサブルーチンを示すフローチャートである。FIG. 10 is a flowchart showing a subroutine of processing of step S06 in the flowchart of FIG. 9. この発明の他の実施形態を示すもので、携帯端末装置の表示部にリモート画面が表示されている状態を示す図である。The other embodiment of this invention is shown and it is a figure which shows the state in which the remote screen is displayed on the display part of a portable terminal device. 図１１の実施形態における携帯端末装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the portable terminal device in embodiment of FIG. 図１２のフローチャートにおけるステップＳ１７の処理のサブルーチンを示すフローチャートである。It is a flowchart which shows the subroutine of the process of step S17 in the flowchart of FIG. この発明のさらに他の実施形態を示すもので、携帯端末装置の表示部にリモート画面が表示されている状態を示す図である。FIG. 24 is a view showing still another embodiment of the present invention and showing a state in which a remote screen is displayed on a display unit of a mobile terminal device. 図１４の実施形態における携帯端末装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the portable terminal device in embodiment of FIG.

以下、この発明の実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.

図１は、この発明の一実施形態に係る携帯端末装置が用いられた画像処理システムの構成図である。 FIG. 1 is a configuration diagram of an image processing system in which a mobile terminal device according to an embodiment of the present invention is used.

この画像処理システムは、画像処理装置１と携帯端末装置２等を備え、これらの画像処理装置１と携帯端末装置２は、無線ＬＡＮルータ３、ネットワーク４を介して相互に接続可能となされている。なお、画像処理装置１と携帯端末装置２は、ＵＳＢインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとして説明する。 The image processing system includes an image processing device 1 and a mobile terminal device 2, and the image processing device 1 and the mobile terminal device 2 can be connected to each other via a wireless LAN router 3 and a network 4. . Note that the image processing apparatus 1 and the portable terminal apparatus 2 can be connected to each other by a USB interface or the like, but in this embodiment, description will be made assuming that they are connected to each other by wireless communication.

この実施形態では、画像処理装置１としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のＭＦＰが用いられている。以下、画像処理装置をＭＦＰとも記す。また、携帯端末装置を携帯端末とも記す。 In this embodiment, the above-described MFP having a copy function, a print function, a scan function, a facsimile function and the like is used as the image processing apparatus 1. Hereinafter, the image processing apparatus is also referred to as an MFP. The mobile terminal device is also referred to as a mobile terminal.

図２は、前記ＭＦＰ１と携帯端末２の電気的な構成を示すブロック図である。 FIG. 2 is a block diagram showing an electrical configuration of the MFP 1 and the portable terminal 2.

ＭＦＰ１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３，スキャナ部１０４、プリント部１０５、記憶部１０６、操作パネル部１０７、ＷＩＦＩ（Wireless Fidelity）モジュール１０９、ＬＡＮ（Local Area Network）コントローラ１１０、ＵＳＢインターフェース（ＵＳＢＩ／Ｆ）１１１等を備えている。 The MFP 1 includes a CPU 101, ROM 102, RAM 103, scanner unit 104, print unit 105, storage unit 106, operation panel unit 107, WIFI (Wireless Fidelity) module 109, LAN (Local Area Network) controller 110, USB interface (USB I / F). 111 etc. are provided.

前記ＣＰＵ１０１は、ＲＯＭ１０２等に記憶された動作プログラムに従って動作することにより、ＭＦＰ１の全体を統括的に制御するものである。例えば、ＭＦＰ１の各種機能を使用可能に制御するほか、この実施形態では、携帯端末２からの要求に基づいて、自装置の操作画面を携帯端末２に表示させるための操作画面表示用データを携帯端末２に送信したり、携帯端末２側で行われたユーザー操作に応じて、ジョブを実行したり次に表示させる操作画面表示用データ等を携帯端末２に送信する。 The CPU 101 performs overall control of the entire MFP 1 by operating according to an operation program stored in the ROM 102 or the like. For example, in addition to controlling various functions of the MFP 1, in this embodiment, on the basis of a request from the mobile terminal 2, operation screen display data for displaying the operation screen of the own device on the mobile terminal 2 is carried. In response to a user operation performed on the terminal 2 or on the mobile terminal 2 side, operation screen display data to be executed or displayed next is transmitted to the mobile terminal 2.

前記ＲＯＭ１０２は、ＣＰＵ１０１の動作プログラム等を記憶するメモリであり、ＲＡＭ１０３はＣＰＵ１０１が動作プログラムに従って動作するときの作業領域を提供するメモリである。 The ROM 102 is a memory that stores an operation program of the CPU 101, and the RAM 103 is a memory that provides a work area when the CPU 101 operates according to the operation program.

前記スキャナ部１０４は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。 The scanner unit 104 reads an image of a document set on a platen glass (not shown) or a document set on an automatic document feeder (not shown) and outputs image data as electronic data.

前記プリント部１０５は、スキャナ部１０４により読み取られた原稿の画像データや、携帯端末２等から送信されたプリントデータを、用紙に印刷するものである。 The print unit 105 prints image data of a document read by the scanner unit 104 or print data transmitted from the portable terminal 2 or the like on a sheet.

前記記憶部１０６は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部１０７に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがＣＰＵ１０１によって記憶部１０６から呼び出され、操作パネル部１０７に表示されたり、携帯端末２に送信される。また、スキャナ部１０４で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルも保存されている。 The storage unit 106 stores various data, applications, and the like, and uses a hard disk device or the like. In particular, in this embodiment, display data for various operation screens displayed on the operation panel unit 107 is stored, and display data for operation screens corresponding to user operations is called from the storage unit 106 by the CPU 101. Displayed on the operation panel unit 107 or transmitted to the portable terminal 2. A plurality of files such as a document file composed of image data read by the scanner unit 104 and a document file transmitted from an external apparatus are also stored.

操作パネル部１０７は、ＭＦＰ１を操作したりユーザーにメッセージ等を表示するものであり、図５に示すように、機械的なハードウェアキー（以下、外キーともいう）を有するキー部１０７ａと、液晶等のタッチパネルからなる表示部１０７ｂを備えている。なお、外キーとして、この実施形態では、スタートキー１２１、ストップキー１２２、リセットキー１２３、認証画面に移行させるためのＩＤキー１２４、デフォルト画面に移行させるためのホームキー１２５、省電力モードに移行させるための副電源キー１２６、テンキー１２７等が備えられている。なお、外キーはこれらに限定されることはなく、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キー等を備えていても良い。 The operation panel unit 107 operates the MFP 1 and displays a message or the like to the user. As shown in FIG. 5, a key unit 107a having a mechanical hardware key (hereinafter also referred to as an external key), A display unit 107b including a touch panel such as a liquid crystal is provided. In this embodiment, the external key is a start key 121, a stop key 122, a reset key 123, an ID key 124 for shifting to an authentication screen, a home key 125 for shifting to a default screen, and a shift to a power saving mode. A sub power key 126, a numeric key 127, and the like are provided. The outer keys are not limited to these, and may include a preview key, a guide key, an enlarged display key, a utility key, a job mode switching key, and the like.

前記ＷＩＦＩモジュール１０９は、携帯端末２と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ１１０は、パーソナルコンピュータや他のＭＦＰ等の外部装置との間の通信を制御するものである。 The WIFI module 109 is an interface for wireless connection with the portable terminal 2, and the LAN controller 110 controls communication with an external device such as a personal computer or another MFP.

前記ＵＳＢインターフェース１１１は携帯端末２と有線接続するためのインターフェースである。 The USB interface 111 is an interface for wired connection with the portable terminal 2.

一方、携帯端末２には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末２は、ＣＰＵ２０１、ＲＡＭ２０２、記憶部２０３、表示部２０４ａ、操作部２０４ｂ、ＷＩＦＩモジュール２０５、ＬＡＮコントローラ２０６、ＵＳＢインターフェース２０７、ファイル処理部２０８ａ、２０８ｂ、連携部２０９等を備えている。 On the other hand, a smart phone, a tablet terminal, electronic paper, etc. are used for the portable terminal 2. FIG. The portable terminal 2 includes a CPU 201, a RAM 202, a storage unit 203, a display unit 204a, an operation unit 204b, a WIFI module 205, a LAN controller 206, a USB interface 207, file processing units 208a and 208b, a cooperation unit 209, and the like.

前記ＣＰＵ２０１は、携帯端末２の全体を統括的に制御するものであり、基本ソフトウェアであるＯＳ（Operating System）や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。 The CPU 201 controls the entire mobile terminal 2 in an integrated manner, and operates according to an OS (Operating System) that is basic software, a cooperative application, or a general-purpose application described later.

前記ＲＡＭ２０２は、ＣＰＵ２０１が動作プログラムに従って動作するときの作業領域となるメモリである。 The RAM 202 is a memory serving as a work area when the CPU 201 operates according to an operation program.

前記記憶部２０３は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、ＭＦＰ１から送信された操作画面表示用データ、基本ＯＳ、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。 The storage unit 203 stores various data, applications, and the like, and a hard disk device or the like is used. In this embodiment, programs such as operation screen display data, basic OS, cooperative application, and general-purpose application transmitted from the MFP 1 are stored. In the following description, an application is also simply referred to as an application.

前記表示部２０４ａは液晶等のデバイスからなり、操作部２０４ｂは表示部２０４ａに設けられ、タッチ入力操作が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面をスクロール（ページ送りやページ戻し）をするためのフリック操作、画像の変倍（拡大または縮小）や回転等を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。 The display unit 204a is a device such as a liquid crystal, and the operation unit 204b is a touch panel provided on the display unit 204a and capable of touch input operation. The touch operation is usually performed by a gesture operation that defines the operation content according to the number of touched fingers and the movement of the fingers. As an example of the gesture operation, a flick operation for scrolling (page advance or page back), a pinch-in operation for instructing image scaling (enlargement or reduction), rotation, etc., a pinch-out operation, etc. can be exemplified. .

前記ＷＩＦＩモジュール２０５は、携帯端末２をＭＦＰ１と無線接続するためのインターフェースであり、前記ＬＡＮコントローラ２０６は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記ＵＳＢインターフェース２０７は、携帯端末装置２をＭＦＰ１と有線接続するためのインターフェースである。 The WIFI module 205 is an interface for wirelessly connecting the mobile terminal 2 to the MFP 1, and the LAN controller 206 controls communication with an external device such as a user terminal. The USB interface 207 is an interface for connecting the portable terminal device 2 to the MFP 1 by wire.

前記ファイル処理部２０８ａ、２０８ｂは、ファイルの編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部２０８ａ、２０８ｂをいずれもファイル処理部２０８と記す。 The file processing units 208a and 208b perform processing such as file editing, transfer, or mail delivery. Hereinafter, both the file processing units 208a and 208b are referred to as a file processing unit 208.

前記連携部２０９は、ＭＦＰ１と携帯端末２の間の機能連携を円滑に行うために、ＭＦＰ１の機能を使用できるようにするためのものである。具体的には、ＭＦＰ１のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにＭＦＰ１の操作パネル部１０７に表示される操作画面と同じ操作画面を再生するための操作画面表示用データをＭＦＰ１から受信し、前記操作画面をリモート画面として表示部２０４に表示したり、リモート画面に表示された操作ボタン等をユーザーが押下したときに、画面上の操作位置の座標を検出して操作情報としてＭＦＰ１に送信する。ＭＦＰ１は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。 The cooperation unit 209 is for enabling the functions of the MFP 1 to be used in order to smoothly perform the function cooperation between the MFP 1 and the portable terminal 2. Specifically, operation screen display data for reproducing the same operation screen as the operation screen displayed on operation panel unit 107 of MFP 1 in order to use the copy function, print function, scan function, facsimile function, etc. of MFP 1 Is received from the MFP 1 and the operation screen is displayed on the display unit 204 as a remote screen or when the user presses an operation button or the like displayed on the remote screen, the coordinates of the operation position on the screen are detected and operated. Information is sent to the MFP 1. The MFP 1 analyzes the coordinates of the operation position, identifies the user's operation instruction, and executes an operation according to the operation instruction.

さらに、この実施形態では、ＭＦＰ１の操作パネル部１０７のキー部１０７ａに設けられた前述した外キーのうちの一部を携帯端末２からリモート操作可能とするために、外キーをソフトウェアキー（以下、単にソフトキーともいう）として携帯端末２の表示部２０４ａに表示させるためのソフトキー表示用データが操作画面表示用データと共にＭＦＰ１から送信されるものとなされている。この際に、図６に示すように、携帯端末２に表示される操作画面Ｄ１の下端部にソフトキー４０２を引き出して表示し、あるいは押し込んで画面から消失させてソフトキー４０２を出没させる引き出しキー４００の表示用データもソフトキー表示用データと共に携帯端末２に送信される。携帯端末２は、ＭＦＰ１からの操作画面表示用データ、ソフトキー表示用データ及び引き出しキー表示用データに基づいて、操作画面Ｄ１をリモート画面として表示部２０４ａに表示すると共に、操作画面Ｄ１上に重なった状態で、ソフトキー４０２を引き出しキー４００により操作画面Ｄ１の下端部において出没可能に表示するようになっている。 Furthermore, in this embodiment, in order to enable some of the above-described external keys provided on the key unit 107a of the operation panel unit 107 of the MFP 1 to be remotely operated from the mobile terminal 2, the external key is a software key (hereinafter referred to as a software key). The software key display data to be displayed on the display unit 204a of the portable terminal 2 is transmitted from the MFP 1 together with the operation screen display data. At this time, as shown in FIG. 6, a soft key 402 is pulled out and displayed on the lower end portion of the operation screen D1 displayed on the portable terminal 2, or is pulled out to disappear from the screen and the soft key 402 appears and disappears. The display data 400 is also transmitted to the portable terminal 2 together with the soft key display data. The portable terminal 2 displays the operation screen D1 as a remote screen on the display unit 204a based on the operation screen display data, soft key display data, and drawer key display data from the MFP 1, and overlaps the operation screen D1. In this state, the soft key 402 is displayed on the lower end portion of the operation screen D1 by the pull-out key 400 so as to appear and disappear.

前記ファイル処理部２０８は、ＣＰＵ２０１が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部２０８を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。 The function of the file processing unit 208 is realized by the CPU 201 executing a general-purpose application. In other words, the general-purpose application is software for realizing the file processing unit 208 that processes various files. For example, a file editing application, an application having a function of distributing a file by e-mail, and a function of storing a file on the web Various kinds of applications such as an application that the user has can be used.

また、前記連携部２０９は、ＣＰＵ２０１が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはＭＦＰ１と携帯端末２とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。 The cooperation unit 209 realizes these functions when the CPU 201 executes the cooperation application described above. That is, the cooperation application is software for achieving smooth function cooperation between the MFP 1 and the mobile terminal 2. In addition, file transfer and download can be performed between the cooperative app and the general-purpose app.

図３は、ＭＦＰ１と携帯端末２のファームウェア構成を示すブロック図である。 FIG. 3 is a block diagram illustrating firmware configurations of the MFP 1 and the portable terminal 2.

ＭＦＰ１は、アプリ層に、操作パネル（アプリ）１２１やオープンＡＰＩ（Open Application Program Interface）１２２等を備え、共通ＡＰＩ層に、共通ＡＰＩ（Common API）１２５やパネル表示画像生成部１２６等を備え、ハードウェア依存層に、パネル画面生成部１２３、パネル制御部１２４、携帯端末用制御部１２７等を備えている。 The MFP 1 includes an operation panel (application) 121 and an open API (Open Application Program Interface) 122 in the application layer, and includes a common API (Common API) 125 and a panel display image generation unit 126 in the common API layer. The hardware-dependent layer includes a panel screen generation unit 123, a panel control unit 124, a portable terminal control unit 127, and the like.

さらに、カーネル層に、パネル入力制御部１２９、パネルＬＣＤ制御部１３０、ＪＰＥＧコーダドライバ１３１等を備え、デバイス層に、操作パネル部１０７、ＵＳＢインターフェース部１１１、ＪＰＥＧ圧縮部１３３、ＷＩＦＩモジュール１０９等を備えている。 In addition, the kernel layer includes a panel input control unit 129, a panel LCD control unit 130, a JPEG coder driver 131, and the like, and a device layer includes an operation panel unit 107, a USB interface unit 111, a JPEG compression unit 133, a WIFI module 109, and the like. I have.

パネル画面生成部１２３は、携帯端末２から連携操作が行われた場合に、操作パネル部１０７に表示されるＭＦＰ１側の画面データを作成する。 Panel screen generation unit 123 generates screen data on the MFP 1 side displayed on operation panel unit 107 when a cooperative operation is performed from portable terminal 2.

パネル制御部１２４は操作パネル部１０７との通信状態の制御等を行い、携帯端末用制御部１２７は、携帯端末２との連携処理時に、携帯端末２と通信を行うためのインターフェース等を制御する。 The panel control unit 124 controls the communication state with the operation panel unit 107 and the like, and the portable terminal control unit 127 controls an interface and the like for communicating with the portable terminal 2 during the cooperation process with the portable terminal 2. .

パネル入力制御部１２９は、操作パネル部１０７の操作入力に関する制御を行い、パネルＬＣＤ制御部１３０は、操作パネル部１０７の表示部１０７ｂの表示制御を行う。ＪＰＥＧ圧縮部１３３は、ＪＰＥＧコーダドライバ１３１を介して携帯端末用制御部１２７から送信されてきた操作画面表示用データ、ソフトキー表示用データあるいは引き出しキー表示用データ等をＪＰＥＧ圧縮するものであり、圧縮されたデータはＵＳＢインターフェース１１１やＷＩＦＩモジュール１０９を介して、携帯端末２に送信される。 The panel input control unit 129 performs control related to operation input of the operation panel unit 107, and the panel LCD control unit 130 performs display control of the display unit 107 b of the operation panel unit 107. The JPEG compression unit 133 JPEG-compresses operation screen display data, soft key display data, drawer key display data, and the like transmitted from the mobile terminal control unit 127 via the JPEG coder driver 131. The compressed data is transmitted to the mobile terminal 2 via the USB interface 111 and the WIFI module 109.

一方、携帯端末２は、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３、ブラウザ２２４等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー２２５、２２６等を備えたプラットフォーム層と、各種のライブラリ２２７及びカーネル２２８を備えたＯＳ層と、ハードウェア２２９によって構成されている。 On the other hand, the mobile terminal 2 includes an application layer including various applications such as an image display application 221, a display image generation application 222, a JPEG expansion application 223, and a browser 224, a platform layer including various managers 225, 226, and the like. An OS layer including various libraries 227 and a kernel 228 and hardware 229 are included.

前記ＪＰＥＧ展開アプリ２２３は、ＭＦＰ１から送信されてきた圧縮データを伸張するものである。 The JPEG decompression application 223 decompresses the compressed data transmitted from the MFP 1.

表示画像生成アプリ２２２は、携帯端末２の表示部２０４に表示されるＭＦＰ１の操作画面上に、引き出しキー４００の引き出し操作または押し込み操作に基づいて、ソフトキー４０２を出現させ、あるいは画面から隠れるように出没させる画像を生成し、表示部２０４に表示させる。また、引き出しキーに対して、引き出し操作または押し込み操作以外の移動操作がなされたときは、引き出しキーのみをソフトウェアキーとは独立して移動させた画面を生成し、表示部２０４に表示させる。この処理については後述する。 The display image generation application 222 causes the soft key 402 to appear on the operation screen of the MFP 1 displayed on the display unit 204 of the portable terminal 2 or to hide the soft key 402 based on the pull-out operation or push-in operation of the pull-out key 400. An image to appear and disappear is generated and displayed on the display unit 204. When a movement operation other than the drawer operation or push-in operation is performed on the drawer key, a screen in which only the drawer key is moved independently of the software key is generated and displayed on the display unit 204. This process will be described later.

前記画像表示アプリ２２１は、ＭＦＰ１から送信されＪＰＥＧ展開アプリ２２３で伸張された操作画面表示用データを用いて、ＭＦＰ１の操作画面をリモート画面として作成し表示部２０４に表示させるものである。 The image display application 221 uses the operation screen display data transmitted from the MFP 1 and expanded by the JPEG expansion application 223 to create an operation screen of the MFP 1 as a remote screen and display it on the display unit 204.

なお、この実施形態では、画像表示アプリ２２１、表示画像生成アプリ２２２、ＪＰＥＧ展開アプリ２２３は、連携アプリで実現される機能の一部として構成されている。 In this embodiment, the image display application 221, the display image generation application 222, and the JPEG expansion application 223 are configured as a part of functions realized by the cooperation application.

次に、ＭＦＰ１と携帯端末２を連携操作する場合の処理について説明する。 Next, processing when the MFP 1 and the portable terminal 2 are operated in cooperation will be described.

ユーザーが携帯端末２をＭＦＰ１にネットワーク経由にて無線接続し、携帯端末２とＭＦＰ１を連携して操作しようとしている。携帯端末２とＭＦＰ１の連携操作は、ユーザーが携帯端末２にインストールされている連携アプリを起動することにより、開始される。 A user wirelessly connects the portable terminal 2 to the MFP 1 via a network and tries to operate the portable terminal 2 and the MFP 1 in cooperation. The cooperation operation between the portable terminal 2 and the MFP 1 is started when the user starts a cooperation application installed in the portable terminal 2.

図４は、ＭＦＰ１及び携帯端末２の各ソフトウェアの関係を示すものであり、左側にＭＦＰ１側のソフトウェアを、右側に携帯端末２のソフトウェアをそれぞれ示す。 FIG. 4 shows the relationship between the software of the MFP 1 and the portable terminal 2. The left side shows the software on the MFP 1 side and the right side shows the software on the portable terminal 2.

携帯端末２の連携アプリは、携帯端末２のＯＳと汎用のソフトウェアであるアプリソフトの中間に位置しており、ＭＦＰ１からのデータの受信及び受信したデータの処理、ユーザーの操作情報や携帯端末２側の操作画面表示用データの取得等を行うことができ、必要に応じて取得したデータをＭＦＰ１へ送信することができる。つまり、携帯端末２の連携ソフトは、アプリの呼び出し等の携帯端末２側でのユーザー操作受付処理、ＭＦＰ１の操作画面表示用データの受信・表示処理（携帯端末側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のＭＦＰ１との通信等が挙げられる。 The cooperative application of the mobile terminal 2 is located between the OS of the mobile terminal 2 and the application software that is general-purpose software, and receives data from the MFP 1, processes the received data, user operation information, and the mobile terminal 2. Side operation screen display data can be acquired, and the acquired data can be transmitted to the MFP 1 as necessary. In other words, the cooperation software of the mobile terminal 2 includes user operation reception processing on the mobile terminal 2 side such as calling of an application, operation screen display data reception / display processing of the MFP 1 (mobile terminal side operation screen processing), and cooperation operation related Execute processing etc. The linked operation related processing includes communication with the MFP 1 of operation information indicating the contents of the operation.

一方、ＭＦＰ１の連携アプリは、ＭＦＰ１側のＯＳやＭＦＰ１用のアプリソフトが全て自社設計／自社カスタマイズであって必要な情報をすべて得られる場合は、ＯＳ−アプリソフト間に位置しなくても良く、ＯＳやアプリソフトと独立でありながら、ＯＳやアプリソフトと通信することにより、必要な情報を入手してもよい。ＭＦＰ１の連携アプリは、アプリの呼び出し等のＭＦＰ１側のユーザー操作受付処理、携帯端末２へのＭＦＰ側画面データの送信処理（ＭＦＰ側操作画面処理）、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末２からの操作情報等の受信・実行処理等が挙げられる。 On the other hand, when the OS on the MFP 1 and the application software for the MFP 1 are all in-house designed / customized and all necessary information can be obtained, the cooperative application of the MFP 1 may not be located between the OS and the application software. Necessary information may be obtained by communicating with the OS and application software while being independent of the OS and application software. The cooperative application of the MFP 1 executes user operation reception processing on the MFP 1 side such as calling of an application, transmission processing of MFP side screen data to the portable terminal 2 (MFP side operation screen processing), cooperative operation related processing, and the like. As the cooperative operation-related processing, reception / execution processing of operation information from the portable terminal 2 and the like can be cited.

ユーザーが携帯端末２の表示部２０４に表示された連携操作アイコンを選択し、ＭＦＰ連携を指示すると、携帯端末２の連携ソフトは、登録されているＭＦＰ１への通信を行い、ＭＦＰ１の連携ソフトを呼び出し、操作画面表示用データの取得を要求する。それにより、連携操作モードが開始され、ＭＦＰ１の表示部１０５ａと携帯端末２の表示部２０４に、ＭＦＰ側の操作画面が表示される。なお、ＭＦＰ１の表示部１０５ａにおける画面表示は行われなくても良い。 When the user selects the cooperation operation icon displayed on the display unit 204 of the mobile terminal 2 and instructs MFP cooperation, the cooperation software of the mobile terminal 2 communicates with the registered MFP 1, and the cooperation software of the MFP 1 is executed. Call and request acquisition of operation screen display data. Thereby, the cooperative operation mode is started, and the operation screen on the MFP side is displayed on the display unit 105a of the MFP 1 and the display unit 204 of the portable terminal 2. Note that the screen display on the display unit 105a of the MFP 1 may not be performed.

次に、図１に示した画像処理連携システムの動作を説明する。 Next, the operation of the image processing cooperation system shown in FIG. 1 will be described.

今、携帯端末２の表示部２０４ａに、図６（Ａ）に示すように、ＭＦＰ１で作成されたＭＦＰ１の操作画面Ｄ１がリモート画面として表示されている。この操作画面Ｄ１の下部領域には、１個またはこの例のように複数個の操作ボタン３００が左右方向に並んで表示されている。 Now, as shown in FIG. 6A, the operation screen D1 of the MFP 1 created by the MFP 1 is displayed on the display unit 204a of the portable terminal 2 as a remote screen. In the lower area of the operation screen D1, one or a plurality of operation buttons 300 are displayed side by side in the left-right direction as in this example.

さらに、画面の下端中央部には、長方形状の引き出しキー４００が操作画面Ｄ１の面上に重ねられた状態で表示されている。この引き出しキー４００は、ＭＦＰ１の外キーに対応するソフトキー４０２を、操作画面Ｄ１上に出没させるためのものである。 Further, a rectangular drawer key 400 is displayed in the center of the lower end of the screen so as to be superimposed on the surface of the operation screen D1. The drawer key 400 is used to make the soft key 402 corresponding to the external key of the MFP 1 appear and disappear on the operation screen D1.

つまり、図６（Ｂ）に示すように、引き出しキー４００の下端縁に一体に連なる形態で、操作画面Ｄ１の左右方向の長さとほぼ同じ長さの帯状のソフトキー表示エリア４０１が一体的に表示されている。そして、ユーザーが画面上で引き出しキー４００にタッチして、図６（Ａ）の矢印Ａで示す上方引き出し方向にドラッグすると、前記引き出しキー４００により図（Ｂ）に示すようにソフトキー表示エリア４０１が操作画面Ｄ１の下端部領域に引き出されて出現し、視認可能となる。逆に、ソフトキー表示エリア４０１が出現している状態で、引き出しキー４００をタッチして図６（Ｂ）の矢印Ｂで示す下方押し込み方向にドラッグすることにより、ソフトキー表示エリア４０１が下方に移動して画面Ｄ１から消失した状態となる。 That is, as shown in FIG. 6B, a strip-shaped soft key display area 401 having a length substantially the same as the length in the left-right direction of the operation screen D1 is integrally formed in a form integrally connected to the lower end edge of the drawer key 400. It is displayed. When the user touches the drawer key 400 on the screen and drags it in the upward drawer direction indicated by the arrow A in FIG. 6A, the drawer key 400 causes the soft key display area 401 to be displayed as shown in FIG. Appears in the lower end area of the operation screen D1 and becomes visible. On the contrary, when the soft key display area 401 appears, the drawer key 400 is touched and dragged in the downward pushing direction indicated by the arrow B in FIG. 6B, so that the soft key display area 401 is moved downward. It moves and disappears from the screen D1.

前記ソフトキー表示エリア４０１には、１個またはこの例のように複数個のソフトキー４０２が配置され表示されている。従って、ユーザーが引き出しキー４００をタッチして上方にドラッグしまたは下方にドラッグすることにより、ソフトキー表示エリア４０１に表示されたソフトキー４０２を、画面Ｄ１の下端領域に出没させることができる。そして、ソフトキー４０２を画面上に出現させた状態で、ユーザーはソフトキー４０２を操作することが可能となっている。 In the soft key display area 401, one or a plurality of soft keys 402 are arranged and displayed as in this example. Therefore, when the user touches the drawer key 400 and drags it upward or downward, the soft key 402 displayed in the soft key display area 401 can appear and disappear in the lower end area of the screen D1. The user can operate the soft key 402 with the soft key 402 appearing on the screen.

この例では、各ソフトキー４０２は、外キーであるスタートキー１２１、ストップキー１２２、リセットキー１２３、ＩＤキー１２４、ホームキー１２５、副電源キー１２６にそれぞれ対応して設けられている。 In this example, each soft key 402 is provided corresponding to a start key 121, a stop key 122, a reset key 123, an ID key 124, a home key 125, and a sub power key 126, which are external keys.

なお、ソフトキー表示用データ及び引き出しキー表示用データをＭＦＰ１から一旦取得した後は、このデータを用いて携帯端末２でソフトキー４０２の引き出しや押し込みの画像データを作成し、操作画面Ｄ１に重ねて表示する。 Note that after the soft key display data and the drawer key display data are once acquired from the MFP 1, image data for the drawer and push-in of the soft key 402 is created on the portable terminal 2 using this data and is superimposed on the operation screen D1. To display.

ところで、引き出しキー４００によりソフトキー４０２を引き出した状態にすると、図７に引き出しキー４００の表示部分を拡大して示すように、操作画面Ｄ１に表示されている操作ボタン３００のうち、引き出しキー４００と重なって隠れてしまう操作ボタン３０１が発生する。操作ボタン３０１が隠れると、この操作ボタン３０１を操作したいユーザーは、一旦引き出しキー４００を押し込む操作を行った上で、操作ボタン３０１を押下し、その後に再度引き出しキー４００を操作してソフトキー群を画面上に引き出し、ソフトキー４０２のうちの例えばスタートキーを押下するといった手間のかかる操作が必要となる。 By the way, when the soft key 402 is pulled out by the drawer key 400, the drawer key 400 of the operation buttons 300 displayed on the operation screen D1 is shown in an enlarged view of the display part of the drawer key 400 in FIG. An operation button 301 that overlaps and hides is generated. When the operation button 301 is hidden, a user who wants to operate the operation button 301 performs an operation of pressing the drawer key 400 once, presses the operation button 301, and then operates the drawer key 400 again to operate the soft key group. It is necessary to perform a time-consuming operation such as pulling the key on the screen and pressing the start key of the soft keys 402, for example.

そこで、この実施形態では、図８の矢印Ｃ１及びＣ２で示すように、ユーザーが引き出しキー４００をタッチして画面左右方向にドラッグすることで、引き出しキー４００のみをソフトキー４０２（ソフトキー表示領域４０１）とは独立して、ソフトキー４０２の並び方向に沿って、最大で画面端部の同図に鎖線で示す位置まで、自在に移動させることができるようになっている。 Therefore, in this embodiment, as indicated by arrows C1 and C2 in FIG. 8, when the user touches the drawer key 400 and drags it in the horizontal direction on the screen, only the drawer key 400 is displayed as a soft key 402 (soft key display area). Independent of (401), it can be freely moved along the arrangement direction of the soft keys 402 up to a position indicated by a chain line in the figure at the end of the screen.

このような引き出しキー４００の移動を可能とすることにより、ユーザーは引き出しキー４００を押し込んでソフトキー４０２を画面から消去させる必要がなく、引き出しキー４００を左右方向に移動させるのみの操作で、引き出しキー４００と重なって隠れた操作ボタン３０１を確認して操作することができる。しかも、ソフトキー４０２はそのままの位置に保持されるから、必要に応じて、操作ボタン３００の操作に続いてソフトキー４０２を操作することができる。 By enabling the movement of the drawer key 400 as described above, the user does not need to press the drawer key 400 to erase the soft key 402 from the screen, and the drawer key 400 can be moved only by moving the drawer key 400 left and right. The operation button 301 hidden by overlapping the key 400 can be confirmed and operated. In addition, since the soft key 402 is held in the same position, the soft key 402 can be operated following the operation of the operation button 300 as necessary.

操作ボタン３００やソフトキー４０２が操作されると、携帯端末２から操作された座標を示す情報がＭＦＰ１に送信され、ＭＦＰ１は座標情報を解析して、操作に対応する次画面を作成したり、ジョブを実行する。 When the operation button 300 or the soft key 402 is operated, information indicating the coordinates operated from the portable terminal 2 is transmitted to the MFP 1, and the MFP 1 analyzes the coordinate information to create a next screen corresponding to the operation, Run the job.

なお、引き出しキー４００をソフトキー４０２（ソフトウェアキー表示領域４０１）と分離して移動配置させることも可能である。しかし、この場合は、引き出しキー４００がソフトキー４０２と分離して表示されることになり、ユーザーが引き出しキー４００を操作ボタン３００と勘違いする恐れがあるため、引き出しキー４００はソフトキー４０２（ソフトキー表示領域４０１）と分離することなく、図８に示すように、ソフトキー表示領域４０１の上縁部に添ってソフトキー４０２の並び方向にのみ移動可能として、引き出しキー４００とソフトキー４０２との表示上の一体性を保持するのが望ましい。 The drawer key 400 can be moved and arranged separately from the soft key 402 (software key display area 401). However, in this case, the drawer key 400 is displayed separately from the soft key 402, and the user may misunderstand the drawer key 400 as the operation button 300. As shown in FIG. 8, without being separated from the key display area 401), the drawer key 400 and the soft key 402 can be moved only in the arrangement direction of the soft keys 402 along the upper edge of the soft key display area 401. It is desirable to maintain the integrity of the display.

図９は、引き出しキー４００をソフトキー４０２の並び方向に移動させる際の携帯端末２の動作を示すフローチャートである。このフローチャート及び図９以降に示すフローチャートに示される動作は、携帯端末２のＣＰＵ２０１が連携アプリ等に従って動作することにより実行される。 FIG. 9 is a flowchart showing the operation of the portable terminal 2 when the drawer key 400 is moved in the direction in which the soft keys 402 are arranged. The operations shown in this flowchart and the flowcharts shown in FIG. 9 and subsequent figures are executed by the CPU 201 of the mobile terminal 2 operating according to the cooperation application or the like.

ステップＳ０１では、ＭＦＰ１により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップＳ０２では、受信したデータを表示部２０４ａに表示する。 In step S01, screen display data and key display data created and transmitted by the MFP 1 are received, and in step S02, the received data is displayed on the display unit 204a.

ステップＳ０３では、引き出しキー４００の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合（ステップＳ０３でＹＥＳ）、ステップＳ０４で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップＳ０５に進む。操作がなされなかった場合（ステップＳ０３でＮＯ）、そのままステップＳ０５に進む。 In step S03, it is determined whether the drawer key 400 has been pulled out or pushed. When the operation is performed (YES in step S03), in step S04, a screen on which the soft key group is pulled out or pushed is displayed, and then the process proceeds to step S05. If no operation has been performed (NO in step S03), the process proceeds directly to step S05.

ステップＳ０５では、引き出しキー４００に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると（ステップＳ０５でＹＥＳ）、ステップＳ０６で、操作座標に合わせて引き出しキー４００をソフトキー４０２と分離することなく左右方向（ソフトキー４０２の並び方向）のいずれかに移動させて表示した後、ステップＳ０７に進む。移動操作がなされない場合（ステップＳ０５でＮＯ）、そのままステップＳ０７に進む。 In step S05, it is determined whether or not the left / right movement operation has been performed on the drawer key 400. When a move operation is performed (YES in step S05), in step S06, the drawer key 400 is moved in either the left-right direction (the arrangement direction of the soft keys 402) without being separated from the soft keys 402 in accordance with the operation coordinates. Is displayed, the process proceeds to step S07. When the moving operation is not performed (NO in step S05), the process proceeds to step S07 as it is.

ステップＳ０７では、操作ボタン３００またはソフトキー４０２の操作がなされたかどうかを判断し、操作がなされると（ステップＳ０７でＹＥＳ）、ステップＳ０８で、操作座標をＭＦＰ１に送信する。ＭＦＰ１は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末２に送信し、あるいは操作に対応する処理を実行する。ステップＳ０７で操作がなされなければ（ステップＳ０７でＮＯ）、ステップＳ０３に戻る。 In step S07, it is determined whether or not the operation button 300 or the soft key 402 has been operated. When the operation is performed (YES in step S07), the operation coordinates are transmitted to the MFP 1 in step S08. The MFP 1 analyzes the received operation coordinates, creates next screen data corresponding to the operation and transmits it to the portable terminal 2, or executes processing corresponding to the operation. If no operation is performed in step S07 (NO in step S07), the process returns to step S03.

図１０は、図９のフローチャートにおけるステップＳ０６の操作座標に合わせて引き出しキーを移動して表示する処理のサブルーチンを示すフローチャートである。 FIG. 10 is a flowchart showing a subroutine of processing for moving and displaying the drawer key in accordance with the operation coordinates in step S06 in the flowchart of FIG.

ステップＳ０６１では、操作座標とソフトキー４０２群と引き出しキー４００の位置を比較し、ステップＳ０６２では、ソフトキー４０２群から引き出しキー４００が離間しないように引き出しキー４００を移動させた後、リターンする。 In step S061, the operation coordinates are compared with the positions of the soft key 402 group and the drawer key 400. In step S062, the drawer key 400 is moved so that the drawer key 400 is not separated from the soft key 402 group, and then the process returns.

このように、この実施形態では、携帯端末２の表示部２０４ａには、リモート画面としてＭＦＰ１の操作画面Ｄ１が表示され、ＭＦＰ１の外キーに対応するソフトキー４０２が、引き出しキー４００の引き出し操作及び押し込み操作により操作画面Ｄ１の端部に出没可能に表示される。また、携帯端末２は、表示部２０４ａに表示された前記引き出しキー４００に対する左右方向の移動操作を検知すると、引き出しキー４００のみをソフトキー４０２とは独立して移動させる。 As described above, in this embodiment, the operation screen D1 of the MFP 1 is displayed as a remote screen on the display unit 204a of the portable terminal 2, and the soft key 402 corresponding to the external key of the MFP 1 is used to perform the drawer operation of the drawer key 400. It is displayed at the end of the operation screen D1 so as to be able to appear and disappear by the pushing operation. Further, when the mobile terminal 2 detects a movement operation in the left-right direction with respect to the drawer key 400 displayed on the display unit 204 a, the portable terminal 2 moves only the drawer key 400 independently of the soft key 402.

このため、ソフトキー４０２群を引き出した状態で、引き出しキー４００が操作画面Ｄ１の操作ボタン３０１と重なって操作ボタン３０１が見えなくなっていても、ユーザーは引き出しキー４００をソフトキー４０２群の引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタン３０１を見えるように表示させることができ、この操作ボタンを操作することができる。 Therefore, even when the drawer key 400 overlaps with the operation button 301 on the operation screen D1 and the operation button 301 is not visible in the state where the group of soft keys 402 is pulled out, the user pulls the drawer key 400 in the pull-out direction of the software key 402 group. Further, by operating the movement in a direction other than the pushing direction, the hidden operation button 301 can be displayed so as to be visible, and the operation button can be operated.

つまり、引き出しキー４００と重なっている操作ボタン３０１を見えるようにするため、一旦引き出しキー４００を押し込む操作を行った上で、操作ボタン３０１を押下し、その後に再度引き出しキー４００を操作してソフトキー４０２を画面上に引き出し、ソフトキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。しかも、ソフトキー４００と独立して引き出しキー４０２を移動させるから、ソフトキー４０２と引き出しキー４００を一体で移動させる処理は不要となる。さらに、複数のソフトキー４０２を分解して、操作画面毎に異なる位置にソフトキーを配置する必要もないから、ユーザーはどこにソフトキー４０２が存在しているのかを把握するのに時間がかかるという問題もない。 That is, in order to make the operation button 301 that overlaps the drawer key 400 visible, the user presses the drawer key 400 once, presses the operation button 301, and then operates the drawer key 400 again to perform the software operation. A time-consuming operation such as drawing the key 402 on the screen and pressing the soft key is unnecessary, and the operability is improved. In addition, since the drawer key 402 is moved independently of the soft key 400, the process of moving the soft key 402 and the drawer key 400 together becomes unnecessary. Furthermore, since it is not necessary to disassemble the plurality of soft keys 402 and arrange the soft keys at different positions for each operation screen, it takes time for the user to grasp where the soft keys 402 exist. There is no problem.

図１１は、この発明の他の実施形態を示すもので、携帯端末２の表示部２０４ａにリモート画面が表示されている状態を示す図である。 FIG. 11 shows another embodiment of the present invention, and is a diagram showing a state in which a remote screen is displayed on the display unit 204a of the mobile terminal 2. As shown in FIG.

この実施形態では、引き出しキー４００を左右方向のいずれか一方に移動させ、移動方向において引き出しキー４００の端部が表示画面の一端部に移動したことを携帯端末２が検知したときは、引き出しキー４００を画面の他端部に自動的に移動させるものである。 In this embodiment, when the mobile terminal 2 detects that the drawer key 400 is moved in either the left or right direction and the end of the drawer key 400 is moved to one end of the display screen in the movement direction, the drawer key 400 400 is automatically moved to the other end of the screen.

即ち、図１１において、ユーザーが引き出しキー４００を例えば矢印Ｃ１方向（図面左方向）に移動させた場合、引き出しキー４００の左端部が表示画面の左端部に達したときは、図１１に矢印Ｃ３で示すように、引き出しキー４００を画面の右端部に自動的に移動させる。 That is, in FIG. 11, when the user moves the drawer key 400 in the direction of the arrow C1 (left direction in the drawing), when the left end of the drawer key 400 reaches the left end of the display screen, the arrow C3 in FIG. As shown, the drawer key 400 is automatically moved to the right end of the screen.

これにより、ユーザーは、引き出しキー４００を画面の一端部まで移動させた後、その位置で引き出しキー４００の下に隠れている操作ボタンを確認したい場合に、引き出しキー４００を再度移動させる操作は不要となる。 Thereby, when the user wants to confirm the operation button hidden under the drawer key 400 at that position after moving the drawer key 400 to one end of the screen, the user does not need to move the drawer key 400 again. It becomes.

図１２は、図１１の実施形態における携帯端末２の動作を示すフローチャートである。 FIG. 12 is a flowchart showing the operation of the mobile terminal 2 in the embodiment of FIG.

ステップＳ１１では、ＭＦＰ１により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップＳ１２では、受信したデータを表示部２０４ａに表示する。 In step S11, screen display data and key display data created and transmitted by the MFP 1 are received. In step S12, the received data is displayed on the display unit 204a.

ステップＳ１３では、引き出しキー４００の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合（ステップＳ１３でＹＥＳ）、ステップＳ１４で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップＳ１５に進む。操作がなされなかった場合（ステップＳ１３でＮＯ）、そのままステップＳ１５に進む。 In step S13, it is determined whether or not the drawer key 400 has been pulled out or pushed. When the operation is performed (YES in step S13), in step S14, a screen on which the soft key group is pulled out or pushed is displayed, and then the process proceeds to step S15. If no operation has been performed (NO in step S13), the process proceeds directly to step S15.

ステップＳ１５では、引き出しキー４００に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると（ステップＳ１５でＹＥＳ）、ステップＳ１６で、操作座標に合わせて引き出しキー４００をソフトキー４０２と分離することなく左右方向（ソフトキー４０２の並び方向）のいずれかに移動させて表示した後、ステップＳ１７に進む。 In step S15, it is determined whether or not a movement operation in the left-right direction has been performed on the drawer key 400. When a moving operation is performed (YES in step S15), in step S16, the drawer key 400 is moved in either the left or right direction (the arrangement direction of the soft keys 402) without being separated from the soft keys 402 in accordance with the operation coordinates. Are displayed, the process proceeds to step S17.

ステップＳ１７では、引き出しキー４００の表示位置を算出し、画面の端であれば反対側の端に移動して表示する処理を実行したのち、ステップＳ１８に進む。ステップＳ１５において、移動操作がなされない場合（ステップＳ１５でＮＯ）、そのままステップＳ１８に進む。 In step S17, the display position of the drawer key 400 is calculated, and if it is the end of the screen, the display is moved to the opposite end and displayed, and then the process proceeds to step S18. In step S15, when the moving operation is not performed (NO in step S15), the process proceeds to step S18 as it is.

ステップＳ１８では、操作ボタン３００またはソフトキー４０２の操作がなされたかどうかを判断し、操作がなされると（ステップＳ１８でＹＥＳ）、ステップＳ１９で、操作座標をＭＦＰ１に送信する。ＭＦＰ１は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末２に送信し、あるいは操作に対応する処理を実行する。ステップＳ１８で操作がなされなければ（ステップＳ１８でＮＯ）、ステップＳ１３に戻る。 In step S18, it is determined whether or not the operation button 300 or the soft key 402 has been operated. If the operation has been performed (YES in step S18), the operation coordinates are transmitted to the MFP 1 in step S19. The MFP 1 analyzes the received operation coordinates, creates next screen data corresponding to the operation and transmits it to the portable terminal 2, or executes processing corresponding to the operation. If no operation is performed in step S18 (NO in step S18), the process returns to step S13.

図１３は、図１２のフローチャートにおけるステップＳ１７の引き出しキー４００の表示位置を算出し、画面の端であれば反対側の端に移動して表示する処理のサブルーチンを示すフローチャートである。 FIG. 13 is a flowchart showing a subroutine of processing for calculating the display position of the drawer key 400 in step S17 in the flowchart of FIG. 12 and moving to the opposite end if it is the end of the screen.

ステップＳ１７１では、引き出しキー４００の端の座標と画面端の座標を比較した後、ステップＳ１７２では、引き出しキー４００の端と画面端が同位置になったら、画面の反対側の端へ引き出しキー４００を移動して表示した後、リターンする。 In step S171, the coordinates of the edge of the drawer key 400 and the coordinates of the screen edge are compared, and in step S172, when the edge of the drawer key 400 and the screen edge are in the same position, the drawer key 400 is moved to the opposite side of the screen. After moving and displaying, return.

図１４は、この発明のさらに他の実施形態を示すもので、携帯端末２の表示部２０４ａにリモート画面が表示されている状態を示す図である。 FIG. 14 shows still another embodiment of the present invention, and shows a state where a remote screen is displayed on the display unit 204a of the portable terminal 2. As shown in FIG.

引き出しキー４００を移動させると、移動先において、操作画面に表示された操作ボタン３００が引き出しキー４００によって隠れてしまう。 When the drawer key 400 is moved, the operation button 300 displayed on the operation screen is hidden by the drawer key 400 at the destination.

そこで、この実施形態では、隠れた操作ボタンを隠れない位置に移動させた画面データをＭＦＰ１が再作成して、携帯端末装置２に送信することにより、携帯端末２に表示されたリモート画面において、引き出しキー４００により操作ボタンが隠されることなく表示されるようにする。 Therefore, in this embodiment, the MFP 1 re-creates the screen data in which the hidden operation button is moved to a non-hidden position and transmits it to the mobile terminal device 2, so that in the remote screen displayed on the mobile terminal 2, The operation button is displayed by the drawer key 400 without being hidden.

具体的には、図１４に示すように、引き出しキー４００を左方向のいずれかに移動させたときに、操作画面Ｄ１の操作ボタン３００のうち１個または複数の操作ボタン３０２が引き出しキー４００によって隠れてしまう。 Specifically, as illustrated in FIG. 14, when the drawer key 400 is moved in the left direction, one or a plurality of operation buttons 302 among the operation buttons 300 on the operation screen D <b> 1 are moved by the drawer key 400. It will be hidden.

そこで、携帯端末２は移動後の引き出しキー４００の位置（座標）を検知して座標データをＭＦＰ１に送信する。ＭＦＰ１は自身が保有する画面データと携帯端末２からの座標情報に基づいて、引き出しキー４００によって隠される操作ボタン３０２を特定し、この操作ボタン３０２が図１４に示すように、操作画面の表示可能な空き領域に表示されるように画面表示用データを再作成し、携帯端末２に送信する。 Therefore, the portable terminal 2 detects the position (coordinates) of the drawer key 400 after movement and transmits coordinate data to the MFP 1. The MFP 1 specifies the operation button 302 hidden by the drawer key 400 based on the screen data held by itself and the coordinate information from the portable terminal 2, and the operation button 302 can display the operation screen as shown in FIG. The screen display data is recreated so as to be displayed in a free space and transmitted to the mobile terminal 2.

携帯端末２は、このデータを受信して再作成された操作画面Ｄ１を表示する。 The mobile terminal 2 displays the operation screen D1 regenerated by receiving this data.

図１５は、図１４の実施形態における携帯端末２の動作を示すフローチャートである。 FIG. 15 is a flowchart showing the operation of the mobile terminal 2 in the embodiment of FIG.

ステップＳ２１では、ＭＦＰ１により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップＳ２２では、受信したデータを表示部２０４ａに表示する。 In step S21, screen display data and key display data created and transmitted by the MFP 1 are received. In step S22, the received data is displayed on the display unit 204a.

ステップＳ２３では、引き出しキー４００の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合（ステップＳ２３でＹＥＳ）、ステップＳ２４で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップＳ２５に進む。操作がなされなかった場合（ステップＳ２３でＮＯ）、そのままステップＳ２５に進む。 In step S23, it is determined whether or not the drawer key 400 has been pulled out or pushed. If an operation has been performed (YES in step S23), in step S24, a screen on which the soft key group has been pulled out or pressed is displayed, and then the process proceeds to step S25. If no operation has been performed (NO in step S23), the process proceeds directly to step S25.

ステップＳ２５では、引き出しキー４００に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると（ステップＳ２５でＹＥＳ）、ステップＳ２６で、操作座標に合わせて引き出しキー４００をソフトキー４０２と分離することなく左右方向（ソフトキー４０２の並び方向）のいずれかに移動させて表示した後、ステップＳ２７に進む。 In step S25, it is determined whether or not a movement operation in the left-right direction has been performed on the drawer key 400. When a moving operation is performed (YES in step S25), in step S26, the drawer key 400 is moved in one of the left and right directions (the arrangement direction of the soft keys 402) in accordance with the operation coordinates without being separated from the soft keys 402. Are displayed, the process proceeds to step S27.

ステップＳ２７では、引き出しキー４００の表示位置を示す座標データをＭＦＰ１に送信したのち、ステップＳ２１に戻って、ＭＦＰ１から再生成された操作画面表示用データが送信されるのを待つ。 In step S27, coordinate data indicating the display position of the drawer key 400 is transmitted to the MFP 1, and then the process returns to step S21 to wait for the operation screen display data regenerated from the MFP 1 to be transmitted.

ＭＦＰ１では、自身が保有する画面データと携帯端末２からの座標情報に基づいて、引き出しキー４００によって隠される操作ボタン３０２を特定し、この操作ボタン３０２が操作画面の表示可能な空き領域に表示されるように画面表示用データを再作成し、携帯端末２に送信する。 The MFP 1 specifies the operation button 302 hidden by the drawer key 400 based on the screen data held by itself and the coordinate information from the portable terminal 2, and this operation button 302 is displayed in a displayable empty area of the operation screen. The screen display data is recreated so as to be transmitted to the mobile terminal 2.

携帯端末２は、再生成された操作画面表示用データを受信すると、この受信データを画面に表示する。表示された画面では、引き出しキー４００によって隠されていた操作ボタン３０２が、視認可能な位置に表示されている。 When the mobile terminal 2 receives the regenerated operation screen display data, the mobile terminal 2 displays the received data on the screen. On the displayed screen, the operation button 302 hidden by the drawer key 400 is displayed at a visible position.

ステップＳ２５で、移動操作がなされない場合（ステップＳ２５でＮＯ）、ステップＳ２８では、操作ボタン３００またはソフトキー４０２の操作がなされたかどうかを判断し、操作がなされると（ステップＳ２８でＹＥＳ）、ステップＳ２９で、操作座標をＭＦＰ１に送信する。ＭＦＰ１は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末２に送信し、あるいは操作に対応する処理を実行する。ステップＳ２８で操作がなされなければ（ステップＳ２８でＮＯ）、ステップＳ２３に戻る。 If no movement operation is performed in step S25 (NO in step S25), it is determined in step S28 whether or not the operation button 300 or the soft key 402 has been operated. If the operation is performed (YES in step S28), In step S29, the operation coordinates are transmitted to the MFP 1. The MFP 1 analyzes the received operation coordinates, creates next screen data corresponding to the operation and transmits it to the portable terminal 2, or executes processing corresponding to the operation. If no operation is performed in step S28 (NO in step S28), the process returns to step S23.

このように、この実施形態では、ＭＦＰ１側で操作画面上の操作ボタン３０２を、引き出しキー４００と重ならない位置に移動させて、操作画面表示用データを再作成するから、移動した引き出しキー４００により移動先で操作ボタンが隠れて見えなくなる状態を確実に回避できる。 As described above, in this embodiment, the operation button 302 on the operation screen is moved to a position not overlapping with the drawer key 400 on the MFP 1 side, and the operation screen display data is re-created. It is possible to reliably avoid the situation where the operation button is hidden and hidden at the destination.

以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.

例えば、引き出しキー４００により操作画面の操作ボタン３００が隠れる場合を説明したが、操作ボタンでなく、情報として表示される表示体が隠れる場合、あるいはこの表示体と操作ボタン３００の両方が隠れる場合に、引き出しキー４００を移動させる構成であっても良い。 For example, the case where the operation button 300 on the operation screen is hidden by the drawer key 400 has been described. However, when the display body displayed as information is hidden instead of the operation button, or when both the display body and the operation button 300 are hidden. The drawer key 400 may be moved.

１画像処理装置
２携帯端末装置
１０１ＣＰＵ
１０２ＲＯＭ
１０７ｂ表示部
２０１ＣＰＵ
２０２ＲＡＭ
２０３記憶部
２０４ａ表示部
２０４ｂ操作部
２０９連携部 DESCRIPTION OF SYMBOLS 1 Image processing apparatus 2 Portable terminal device 101 CPU
102 ROM
107b Display unit 201 CPU
202 RAM
203 Storage Unit 204a Display Unit 204b Operation Unit 209 Cooperation Unit

Claims

画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムであって、
前記画像処理装置は、
自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示可能な表示手段と、
自装置を操作するための１個または複数個のハードウェアキーと、
前記操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、前記ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信手段と、
表示手段と、
前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、
を備え、
前記携帯端末装置の移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする画像処理連携システム。 An image processing cooperation system comprising an image processing device and a portable terminal device capable of remotely operating the image processing device,
The image processing apparatus includes:
Display means capable of displaying an operation screen having one or a plurality of operation buttons and / or display information for operating the device;
One or more hardware keys for operating the device;
The operation screen display data for displaying the operation screen on the mobile terminal device is transmitted to the mobile terminal device, and the software key corresponding to the hardware key and the end of the operation screen are pulled out or pushed in. Transmitting means for transmitting, to the mobile terminal device, key display data for causing the mobile terminal device to display a drawer key that appears and disappears in the unit;
With
The portable terminal device
Receiving means for receiving operation screen display data and key display data from the image processing device;
Display means;
Based on the operation screen display data received by the receiving means, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and is displayed on the received key display data in a state of being overlapped on the operation screen. Display control means for displaying the software key on the display means so as to be able to appear and disappear at the end of the operation screen based on the drawer key;
A movement operation detecting means for detecting a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawing key displayed on the display means;
With
When the movement operation detecting means of the portable terminal device detects a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawer key, the display control means of the portable terminal device uses only the drawer key. An image processing cooperation system which is moved independently of the software key.

前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、
前記携帯端末装置の表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる請求項１に記載の画像処理連携システム。 A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction ,
The image processing cooperation system according to claim 1, wherein the display control unit of the portable terminal device moves the drawer key along an arrangement direction of the plurality of software keys.

前記携帯端末装置は、前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段を備え、
前記携帯端末装置の表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる請求項２に記載の画像処理連携システム。 The mobile terminal device includes movement detection means for detecting that the drawer key has moved to one end portion of the operation screen along the arrangement direction of the plurality of software keys,
The display control unit of the portable terminal device, when the drawer key by said movement detection means is moved to one end of the operation screen is detected, wherein for moving the drawer key to the other end of the operation screen Item 3. The image processing cooperation system according to Item 2.

前記携帯端末装置は、移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、
前記画像処理装置は、前記携帯端末装置から前記引き出しキーの画面上の位置を通知されたときは、前記引き出しキーと重ならない位置に前記操作ボタン及び／または表示情報を移動させた操作画面表示用データを再作成し、前記送信手段を介して再作成された操作画面表示用データを携帯端末装置に送信し、
前記携帯端末装置の表示制御手段は、前記再作成された操作画面表示用データに基づいて、操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる請求項１に記載の画像処理連携システム。 The portable terminal device detects a position of the drawer key on the screen after movement, and a position for notifying the image processing apparatus of the position of the drawer key on the screen detected by the position detector. And a notification means,
When the image processing apparatus is notified of the position of the drawer key on the screen from the portable terminal apparatus, the image processing apparatus displays the operation button and / or display information moved to a position that does not overlap the drawer key. Recreate the data, send the operation screen display data recreated via the transmission means to the mobile terminal device,
The display control means of the portable terminal device causes the display means to display an operation screen moved to a position where the operation button and / or display information does not overlap with the drawer key based on the re-created operation screen display data. The image processing cooperation system according to claim 1.

画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムで実施される画像処理連携方法であって、
前記画像処理装置は、
自装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、自装置を操作するための１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信ステップを実施し、
前記携帯端末装置は、
前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信ステップと、
前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、
を実施し、
前記携帯端末装置の移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とするリモート画面の表示制御方法。 An image processing cooperation method implemented in an image processing cooperation system including an image processing device and a portable terminal device capable of remotely operating the image processing device,
The image processing apparatus includes:
Transmitting operation screen display data for displaying an operation screen having one or a plurality of operation buttons and / or display information for operating the device to the mobile terminal device to the mobile terminal device; A software key corresponding to one or a plurality of hardware keys for operating the device, and a drawer key for pulling out or pushing in the end of the operation screen by pulling or pushing the software key. A transmission step of transmitting the key display data to the mobile terminal device is performed,
The portable terminal device
A receiving step of receiving operation screen display data and key display data from the image processing device;
Based on the operation screen display data received in the reception step, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and in a state of being superimposed on the operation screen, based on the received key display data. A display control step of displaying the software key on the display means so as to be able to appear and disappear by the drawer key at an end of the operation screen;
A movement operation detection step of detecting a movement operation other than the drawing direction and pushing direction of the software key with respect to the drawing key displayed on the display means;
Carried out
In the movement operation detecting step of the portable terminal device, when a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawer key is detected, in the display control step of the portable terminal device, only the drawer key is A display control method for a remote screen, which is moved independently of the software key.

表示手段と、
画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を前記表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信手段と、
前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、
を備え、
前記移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする携帯端末装置。 Display means;
One or more operation buttons for operating the image processing apparatus and / or operation screen display data for displaying on the display means an operation screen having display information is received from the image processing apparatus, and image processing is performed. A key for displaying on the display means a software key corresponding to one or a plurality of hardware keys provided in the apparatus and a drawer key which is drawn out or pushed in at the end of the operation screen by pulling out or pushing the software key. Receiving means for receiving display data from the image processing device;
Based on the operation screen display data received by the receiving means, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and is displayed on the received key display data in a state of being overlapped on the operation screen. Display control means for displaying the software key on the display means so as to be able to appear and disappear at the end of the operation screen based on the drawer key;
A movement operation detecting means for detecting a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawing key displayed on the display means;
With
When the movement operation detecting means detects a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawer key, the display control means sets only the drawer key independently of the software key. A portable terminal device that is moved.

前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、
前記表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる請求項６に記載の携帯端末装置。 A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction ,
The mobile terminal device according to claim 6, wherein the display control unit moves the drawer key along an arrangement direction of the plurality of software keys.

前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段をさらに備え、
前記表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる請求項７に記載の携帯端末装置。 A movement detecting means for detecting that the drawer key has moved to one end of the operation screen along the arrangement direction of the plurality of software keys;
8. The display control unit according to claim 7, wherein when the movement detecting unit detects that the drawer key has moved to one end of the operation screen , the display control unit moves the drawer key to the other end of the operation screen. Mobile terminal device.

移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、
前記受信手段は、前記位置通知手段により前記引き出しキーの画面上の位置を通知された画像処理装置から、該画像処理装置により再作成された、前記引き出しキーと重ならない位置に前記操作ボタンを移動させた操作画面表示用データを受信し、
前記表示制御手段は、前記受信した再作成された操作画面表示用データに基づいて、前記操作ボタン及び／または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる請求項６に記載の携帯端末装置。 Position detecting means for detecting the position of the drawer key on the screen after movement; and position notification means for notifying the image processing apparatus of the position of the drawer key on the screen detected by the position detecting means. Prepared,
The receiving means moves the operation button from the image processing apparatus notified of the position of the drawer key on the screen by the position notification means to a position that is recreated by the image processing apparatus and does not overlap the drawer key. Received the operation screen display data,
The display control means causes the display means to display an operation screen that has been moved to a position where the operation button and / or display information does not overlap with a drawer key based on the received re-created operation screen display data. Item 7. The mobile terminal device according to Item 6.

画像処理装置を操作するための１個または複数個の操作ボタン及び／または表示情報を有する操作画面を表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた１個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信ステップと、
前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、
を携帯端末装置のコンピュータに実行させ、
前記移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは分離して移動させる処理を、前記コンピュータに実行させるためのリモート画面の表示制御プログラム。 One or more operation buttons for operating the image processing apparatus and / or operation screen display data for displaying on the display means an operation screen having display information is received from the image processing apparatus, and the image processing apparatus Key display for displaying on the display means a software key corresponding to one or a plurality of hardware keys provided in the display and a drawer key that is drawn out or pushed in at the end of the operation screen by pulling out or pushing the software key Receiving the data for use from the image processing device;
Based on the operation screen display data received in the receiving step, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and the received key display data is overlapped on the operation screen. A display control step of displaying the software key on the display means so as to be able to appear and disappear by the drawer key at the end of the operation screen,
A movement operation detection step of detecting a movement operation other than the drawing direction and pushing direction of the software key with respect to the drawing key displayed on the display means;
Is executed by the computer of the mobile terminal device,
In the movement operation detecting step, when a movement operation other than the drawing direction and pushing direction of the software key with respect to the drawer key is detected, only the drawer key is separated from the software key in the display control step. A remote screen display control program for causing the computer to execute a process of moving.