JP6127800B2 - Image processing system, remote screen display control method, portable terminal device, and remote screen display control program - Google Patents
Image processing system, remote screen display control method, portable terminal device, and remote screen display control program Download PDFInfo
- Publication number
- JP6127800B2 JP6127800B2 JP2013153115A JP2013153115A JP6127800B2 JP 6127800 B2 JP6127800 B2 JP 6127800B2 JP 2013153115 A JP2013153115 A JP 2013153115A JP 2013153115 A JP2013153115 A JP 2013153115A JP 6127800 B2 JP6127800 B2 JP 6127800B2
- Authority
- JP
- Japan
- Prior art keywords
- key
- display
- image processing
- drawer
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000001514 detection method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Accessory Devices And Overall Control Thereof (AREA)
- Control Or Security For Electrophotography (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Description
この発明は、多機能デジタル複合機であるMFP(Multi Function Peripherals)等の画像処理装置と、該画像処理装置を遠隔操作可能なスマートフォン、タブレット端末等の携帯端末装置とを備えた画像処理システム、該システムで実施されるリモート画面の表示制御方法、携帯端末装置及びリモート画面の表示制御プログラムに関する。 The present invention relates to an image processing system including an image processing device such as an MFP (Multi Function Peripherals) which is a multifunction digital multifunction peripheral, and a mobile terminal device such as a smartphone or a tablet terminal capable of remotely operating the image processing device, The present invention relates to a remote screen display control method, a portable terminal device, and a remote screen display control program implemented in the system.
近年、スマートフォン、タブレット端末等の携帯端末装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり編集したりできる。また、携帯端末装置で編集等したファイルを前記MFP等の画像処理装置に送信し、画像処理装置で印刷または保存等の処理を実行させることができる。さらに、画像処理装置のスキャナ部で読み取った原稿の画像データ等からなるファイルを携帯端末装置に送信し、携帯端末装置で編集等を行うこともできる。 In recent years, portable terminal devices such as smartphones and tablet terminals can store digitized documents, and can browse and edit documents regardless of time and place. In addition, a file edited by the portable terminal device can be transmitted to an image processing apparatus such as the MFP, and the image processing apparatus can execute processing such as printing or saving. Furthermore, a file composed of image data of a document read by the scanner unit of the image processing apparatus can be transmitted to the mobile terminal device, and can be edited by the mobile terminal device.
しかし、携帯端末装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。 However, it is necessary to operate the mobile terminal device and the image processing device separately, and there is a problem that the operation becomes complicated.
そこで、最近、画像処理装置の機能を使用するための画像処理装置側の操作画面を、携帯端末装置の表示部にリモート画面として表示し、携帯端末装置から画像処理装置を連携操作できるようにした、画像処理装置と携帯端末装置との連携システムが提案されている。このシステムでは、携帯端末装置の表示部に表示される画像処理装置側のリモート画面は、画像処理装置から送信される画面データに基づいて表示される。 Therefore, recently, an operation screen on the image processing apparatus side for using the functions of the image processing apparatus is displayed as a remote screen on the display unit of the mobile terminal device, so that the image processing device can be operated cooperatively from the mobile terminal device. A cooperation system between an image processing device and a portable terminal device has been proposed. In this system, the remote screen on the image processing device side displayed on the display unit of the mobile terminal device is displayed based on the screen data transmitted from the image processing device.
つまり、操作が行われたことを示す情報が携帯端末装置から画像処理装置に送信され、画像処理装置はこの情報に基づいて次の画面データを作成し、この画面データを携帯端末装置に送信し、携帯端末装置はこの画面データに基づいてリモート画面を更新表示する。 That is, information indicating that an operation has been performed is transmitted from the mobile terminal device to the image processing device, and the image processing device creates the next screen data based on this information, and transmits this screen data to the mobile terminal device. The mobile terminal device updates and displays the remote screen based on the screen data.
ところで、画像処理装置には、操作パネルに表示される操作画面上の操作ボタンだけでなく、例えばスタートキー、ストップキー、リセットキー等の機械的なハードウェアキーが備えられているのが一般的である。 By the way, an image processing apparatus is generally provided with not only operation buttons on an operation screen displayed on an operation panel but also mechanical hardware keys such as a start key, a stop key, and a reset key. It is.
そこで、このようなハードウェアキーも携帯端末装置の画面上に対応するソフトウェアキーとして表示することが提案されている。 Therefore, it has been proposed to display such a hardware key as a corresponding software key on the screen of the mobile terminal device.
具体的には、画像処理装置は、ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する。一方、携帯端末装置は、リモート画面として表示された画像処理装置の操作画面上に重なった状態で、前記キー表示用データに基づきソフトウェアキーを操作画面の端部において引き出しキーにより出没可能に表示させる。 Specifically, the image processing apparatus displays a software key corresponding to a hardware key and a key display for causing the portable terminal device to display a drawer key that appears and disappears at the end of the operation screen by pulling or pushing the software key. Data is transmitted to the mobile terminal device. On the other hand, the mobile terminal device displays a software key at the end of the operation screen so that it can appear and disappear at the end of the operation screen based on the key display data in a state where it overlaps the operation screen of the image processing device displayed as a remote screen. .
このようなソフトウェアキーは、常時は引き出しキーのみが表示され、ユーザーがソフトウェアキーを使用したい場合は、引き出しキーをドラッグ操作により移動させてソフトウェアキーを画面上に引き出したのち、所望のソフトウェアキーを押下する。 For such software keys, only the drawer key is displayed at all times. If the user wants to use the software key, move the drawer key by dragging and pull out the software key on the screen. Press.
また、引き出したソフトウェアキーが不要の場合は、引き出しキーをドラッグ操作により移動させてソフトウェアキーを画面外に押し込み隠蔽する。 If the software key that is pulled out is unnecessary, the drawer key is moved by a drag operation to push the software key out of the screen and conceal it.
このように、引き出しキーに対する操作によりハードウェアキーに対応するソフトウェアキーを携帯端末装置の画面に出没させることで、必要な場合にのみソフトウェアキーを使用することができる。 In this way, by causing the software key corresponding to the hardware key to appear on the screen of the mobile terminal device by operating the drawer key, the software key can be used only when necessary.
なお、特許文献1には、操作パネルで枠消し設定しようとしたときに、テンキー表示がなされ、そのときにテンキー画面の下に枠消し設定値があると仮定しても何が設定されたかが確認できないため、テンキー画面が下の枠消し設定値と重ならないように、予めテンキー表示領域を設定しておく技術が開示されている。
In
ところが、前述したように、画像処理装置のハードウェアキーに対応するソフトウェアキーを、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示させる場合、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなってしまうという問題がある。 However, as described above, when the software key corresponding to the hardware key of the image processing apparatus is displayed so as to be able to appear at the end of the operation screen by the pull-out operation and the push-in operation of the pull-out key, the software key is pulled out. There is a problem in that the operation buttons and display information become invisible because the drawer keys overlap with the operation buttons and display information on the operation screen displayed below.
このため、ユーザーが引き出しキーの下にある操作ボタンを操作したい場合や表示情報を確認したい、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーの例えばスタートキーを押下する、といった手間のかかる操作が必要となり、操作性が良くなかった。 For this reason, if the user wants to operate the operation button under the drawer key or wants to check the display information, after pressing the drawer key once, press the operation button or check the display information, and then The user has to operate the drawer key again to pull out the software key on the screen and press the start key of the software key, for example, and the operation is not good.
これを解決するために、マルチウィンドウ表示された画面上で上側に重なっているウィンドウを移動させることで下側のウィンドウを見えるようにする技術を適用することも考えられるが、この場合は、引き出しキーを移動させると引き出しキーと一体表示されたソフトウェアキーも一体で移動させることになり、処理が複雑になるという問題がある。 In order to solve this, it is possible to apply a technology that makes the lower window visible by moving the upper window on the multi-window display screen. When the key is moved, the software key integrally displayed with the drawer key is also moved together, and there is a problem that the processing becomes complicated.
また、特許文献1に記載された技術を参照し、ハードウェアキーに対応するソフトウェアキーを分解して、操作画面毎に異なる位置にソフトウェアキーを配置することも考えられるが、この場合は画面毎にソフトウェアキーの位置が変わることになり、ユーザーはどこにソフトウェアキーが存在しているのかを把握するのに時間がかかるという問題がある。
In addition, referring to the technique described in
この発明は、このような実情に鑑みてなされたものであり、携帯端末装置にリモート画面として画像処理装置の操作画面が表示され、画像処理装置のハードウェアキーに対応するソフトウェアキーが、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示される場合、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタン等が見えなくなっていても、複雑な処理や画面毎のソフトウェアキーの配置位置の変更を必要とすることなく、簡単な操作で引き出しキーで隠された操作ボタンや表示情報を視認可能にできる操作性の良い画像処理システム、及びリモート画面の表示制御方法を提供し、さらには携帯端末装置及びリモート画面の表示制御プログラムを提供することを課題とする。 The present invention has been made in view of such circumstances, and the operation screen of the image processing device is displayed as a remote screen on the portable terminal device, and the software key corresponding to the hardware key of the image processing device is a drawer key. If the software key is pulled out and the drawer key overlaps with the operation button or display information on the operation screen displayed below, when the software key is pulled out Even if the operation buttons are not visible, the operation buttons and display information hidden by the drawer keys can be viewed with a simple operation without requiring complicated processing or changing the position of the software key for each screen. Provided are an image processing system with good operability and a remote screen display control method, and a portable terminal device and a remote Providing a surface display control program and an object.
上記課題は、以下の手段によって解決される。
(1)画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムであって、前記画像処理装置は、自装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を表示可能な表示手段と、自装置を操作するための1個または複数個のハードウェアキーと、前記操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、前記ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信手段と、を備え、前記携帯端末装置は、前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信手段と、表示手段と、前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、を備え、前記携帯端末装置の移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする画像処理連携システム。
(2)前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、前記携帯端末装置の表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる前項1に記載の画像処理連携システム。
(3)前記携帯端末装置は、前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段を備え、前記携帯端末装置の表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる前項2に記載の画像処理連携システム。
(4)前記携帯端末装置は、移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、前記画像処理装置は、前記携帯端末装置から前記引き出しキーの画面上の位置を通知されたときは、前記引き出しキーと重ならない位置に前記操作ボタン及び/または表示情報を移動させた操作画面表示用データを再作成し、前記送信手段を介して再作成された操作画面表示用データを携帯端末装置に送信し、前記携帯端末装置の表示制御手段は、前記再作成された操作画面表示用データに基づいて、操作ボタン及び/または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる前項1に記載の画像処理連携システム。
(5)画像処理装置と該画像処理装置を遠隔操作可能な携帯端末装置とを備えた画像処理連携システムで実施される画像処理連携方法であって、前記画像処理装置は、自装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、自装置を操作するための1個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信ステップを実施し、前記携帯端末装置は、前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信ステップと、前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、を実施し、前記携帯端末装置の移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とするリモート画面の表示制御方法。
(6)表示手段と、画像処理装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を前記表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた1個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信手段と、前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、を備え、前記移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする携帯端末装置。
(7)前記ハードウェアキーに対応するソフトウェアキーは、前記引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、前記表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる前項6に記載の携帯端末装置。
(8)前記引き出しキーが複数個のソフトウェアキーの並び方向に沿って操作画面の一端部まで移動したことを検知する移動検知手段をさらに備え、前記表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる前項7に記載の携帯端末装置。
(9)移動後の前記引き出しキーの画面上の位置を検知する位置検知手段と、前記位置検知手段により検知された前記引き出しキーの画面上の位置を前記画像処理装置に通知する位置通知手段と、をさらに備え、前記受信手段は、前記位置通知手段により前記引き出しキーの画面上の位置を通知された画像処理装置から、該画像処理装置により再作成された、前記引き出しキーと重ならない位置に前記操作ボタンを移動させた操作画面表示用データを受信し、前記表示制御手段は、前記受信した再作成された操作画面表示用データに基づいて、前記操作ボタン及び/または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる前項6に記載の携帯端末装置。
(10)画像処理装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた1個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信ステップと、前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、を携帯端末装置のコンピュータに実行させ、前記移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは分離して移動させる処理を、前記コンピュータに実行させるためのリモート画面の表示制御プログラム。
The above problem is solved by the following means.
(1) An image processing cooperation system comprising an image processing device and a portable terminal device capable of remotely operating the image processing device, wherein the image processing device is one or more for operating the device itself. Display means capable of displaying an operation screen having operation buttons and / or display information, one or a plurality of hardware keys for operating the device itself, and for displaying the operation screen on the portable terminal device The operation screen display data is transmitted to the portable terminal device, and a software key corresponding to the hardware key and a drawer key that is made to appear and disappear at the end of the operation screen by pulling or pushing the software key are displayed on the portable terminal device. Transmitting means for transmitting key display data to the portable terminal device, the portable terminal device including the image processing Receiving means for receiving operation screen display data and key display data from a display; display means; and displaying the operation screen of the image processing apparatus as a remote screen based on the operation screen display data received by the receiving means And displaying the software key on the display means so as to be able to appear and disappear by the drawer key at the end of the operation screen based on the received key display data while being displayed on the operation screen. Control means, and movement operation detection means for detecting movement operations other than the drawing direction and pushing direction of the software key with respect to the drawing key displayed on the display means, and the movement operation detection means of the portable terminal device The software key is pulled out and pushed in with respect to the drawer key. When the move operation is detected in the portable terminal device display control unit of the image processing cooperative system characterized by moving only the drawer key said software key independently.
(2) A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction, and the display control means of the portable terminal device displays the plurality of pull-out keys. The image processing cooperation system according to
(3) The mobile terminal device includes movement detection means for detecting that the drawer key has moved to one end of the operation screen along the arrangement direction of the plurality of software keys, and the display control means of the mobile terminal device The image processing cooperation system according to
(4) The portable terminal device detects the position of the drawer key on the screen after movement, and the position of the drawer key on the screen detected by the position detection unit in the image processing apparatus. Position notification means for notifying, and when the image processing apparatus is notified of the position of the drawer key on the screen from the portable terminal apparatus, the operation button and / or a position that does not overlap the drawer key. Alternatively, the operation screen display data in which the display information is moved is re-created, and the operation screen display data re-created via the transmission unit is transmitted to the mobile terminal device, and the display control unit of the mobile terminal device includes: Based on the re-created operation screen display data, an operation screen moved to a position where the operation button and / or display information does not overlap the drawer key is displayed on the display means. Image processing cooperation system according to
(5) An image processing cooperation method implemented in an image processing cooperation system including an image processing device and a portable terminal device capable of remotely operating the image processing device, wherein the image processing device operates its own device. For transmitting operation screen display data for displaying an operation screen having one or a plurality of operation buttons and / or display information for display on the mobile terminal device to the mobile terminal device, and for operating the device itself Key display data for displaying on the portable terminal device a software key corresponding to one or a plurality of hardware keys and a drawer key that is drawn out or pushed in at the end of the operation screen. A transmission step of transmitting to the portable terminal device is performed, and the portable terminal device receives operation screen display data from the image processing device. And a reception step for receiving the key display data, and the operation screen of the image processing apparatus is displayed on the display means as a remote screen based on the operation screen display data received in the reception step and overlapped on the operation screen A display control step for displaying the software key on the display means by the drawer key at the end of the operation screen based on the received key display data, and the drawer displayed on the display means A moving operation detecting step for detecting a moving operation other than the drawing direction and the pushing direction of the software key with respect to the key, and in the moving operation detecting step of the mobile terminal device, the drawing direction of the software key with respect to the drawing key and Move operation other than the push direction is detected The case, in the display control step of said mobile terminal device, display control method only the drawer key remote screen, characterized in that moving independently of the software key.
(6) Image processing apparatus displays operation screen display data for displaying on the display means an operation screen having one or a plurality of operation buttons and / or display information for operating the image processing apparatus. The software key corresponding to one or a plurality of hardware keys provided in the image processing apparatus, and a drawer key that is drawn out or pushed in at the end of the operation screen by pulling or pushing the software key is displayed on the display. Receiving means for receiving key display data to be displayed on the means from the image processing apparatus, and displaying the operation screen of the image processing apparatus on the display means as a remote screen based on the operation screen display data received by the receiving means. And based on the received key display data in a state where it overlaps the operation screen. Display control means for displaying the software key on the display means so as to be able to appear and disappear at the end of the operation screen by the drawer key, and the software key with respect to the drawer key displayed on the display means other than the drawing direction and pushing direction Moving operation detecting means for detecting a moving operation, and when the moving operation detecting means detects a moving operation other than the drawing direction and pushing direction of the software key with respect to the drawer key, the display control means A portable terminal device, wherein only the drawer key is moved independently of the software key.
(7) A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction, and the display control means displays the pull-out keys on the plurality of software keys. 7. The mobile terminal device according to item 6, which is moved along the arrangement direction.
(8) It further comprises movement detection means for detecting that the drawer key has moved to one end portion of the operation screen along the arrangement direction of the plurality of software keys, and the display control means uses the movement detection means to remove the drawer key. 8. The portable terminal device according to item 7, wherein when the key is detected to have moved to one end of the operation screen, the drawer key is moved to the other end of the operation screen .
(9) position detecting means for detecting the position of the drawer key on the screen after movement; and position notifying means for notifying the image processing apparatus of the position of the drawer key on the screen detected by the position detecting means; The receiving means is provided at a position that is re-created by the image processing apparatus from the image processing apparatus notified of the position of the drawer key on the screen by the position notification means and does not overlap the drawer key. The operation screen display data obtained by moving the operation button is received, and the display control unit is configured to extract the operation button and / or display information as a pull-out key based on the received re-created operation screen display data. 7. The portable terminal device according to item 6 above, wherein an operation screen moved to a position that does not overlap is displayed on the display means.
(10) One or more operation buttons for operating the image processing apparatus and / or operation screen display data for displaying on the display means an operation screen having display information is received from the image processing apparatus; To display a software key corresponding to one or a plurality of hardware keys provided in the image processing apparatus and a drawer key that is drawn out or pushed in at an end portion of the operation screen by pulling out or pushing the software key on the display means. Receiving the key display data from the image processing device, displaying the operation screen of the image processing device as a remote screen on the display means based on the operation screen display data received in the receiving step, and the operation Based on the received key display data, the software is superimposed on the screen. A display control step for displaying the software key on the display means so as to be able to appear and disappear by the drawer key at the end of the operation screen, and the software key with respect to the drawer key displayed on the display means. A moving operation detecting step for detecting a moving operation is executed by a computer of the mobile terminal device, and a moving operation other than the drawing direction and pushing direction of the software key with respect to the pulling key is detected in the moving operation detecting step. A display control program for a remote screen for causing the computer to execute a process of moving only the drawer key separately from the software key in the display control step.
前項(1)に記載の発明によれば、携帯端末装置の表示手段には、リモート画面として画像処理装置の操作画面が表示され、画像処理装置のハードウェアキーに対応するソフトウェアキーが、引き出しキーの引き出し操作及び押し込み操作により操作画面の端部に出没可能に表示される。また、携帯端末装置には、表示手段に表示された前記引き出しキーに対するソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段が備えられ、引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、携帯端末装置は引き出しキーのみをソフトウェアキーとは独立して移動させる。 According to the invention described in item (1), the display unit of the portable terminal device displays the operation screen of the image processing device as a remote screen, and the software key corresponding to the hardware key of the image processing device is the drawer key. Is displayed so as to be able to appear and disappear at the end of the operation screen. Further, the mobile terminal device is provided with a movement operation detecting means for detecting a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawing key displayed on the display means, and the drawing direction of the software key with respect to the drawing key. When a movement operation other than the pushing direction is detected, the portable terminal device moves only the drawer key independently of the software key.
このため、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンが見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したり表示情報を確認したのち、そのままソフトウェアキーを操作することができる。 Therefore, even when the software key is pulled out and the drawer key overlaps with the operation button and display information on the operation screen displayed below it, the user cannot pull out the software key. By moving in a direction other than the direction and push-in direction, it is possible to display the hidden operation buttons and display information so that they can be seen. Can be operated.
つまり、引き出しキーと重なっている操作ボタンや表示情報を見えるようにするため、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。しかも、ソフトウェアキーと独立して引き出しキーを移動させるから、ソフトウェアキーと引き出しキーを一体で移動させる処理は不要となる。さらに、複数のソフトウェアキーを分解して、操作画面毎に異なる位置にソフトウェアキーを配置する必要もないから、ユーザーはどこにソフトウェアキーが存在しているのかを把握するのに時間がかかるという問題もない。 In other words, in order to make the operation button and display information that overlaps the drawer key visible, after pressing the drawer key once, press the operation button or check the display information, and then press the drawer key again. A time-consuming operation such as operating to pull out the software key on the screen and pressing the software key becomes unnecessary, and the operability is improved. In addition, since the drawer key is moved independently of the software key, the process of moving the software key and the drawer key together becomes unnecessary. In addition, since it is not necessary to disassemble multiple software keys and place the software keys at different positions for each operation screen, the user may take a long time to figure out where the software keys exist. Absent.
前項(2)に記載の発明によれば、ハードウェアキーに対応するソフトウェアキーは引き出し方向及び押し込み方向と異なる方向に沿って複数個並んで表示され、引き出しキーはこれら複数個のソフトウェアキーの並び方向に沿って移動可能であるから、ユーザーはソフトウェアキーの並び方向に沿って引き出しキーを移動操作すればよい。しかも、ソフトウェアキーの引き出し方向及び押し込み方向においては、引き出しキーは分離することなくソフトウェアキーと一体性を確保できるから、ソフトウェアキーの引き出し操作及び押し込み操作に影響を与えることはない。
According to the invention described in (2) above, a plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction, and the pull-out key is an arrangement of the plurality of software keys. Since the user can move along the direction, the user only has to move the drawer key along the arrangement direction of the software keys. In addition, in the drawing direction and the pushing direction of the software key, since the drawing key can be secured with the software key without being separated, the drawing operation and the pushing operation of the software key are not affected.
前項(3)に記載の発明によれば、引き出しキーが操作画面の一端部まで移動したことが検知されたときは、引き出しキーは操作画面の他端部に自動的に移動するから、ユーザーは、引き出しキーを操作画面の一端部まで移動させた後、その位置で引き出しキーの下に隠れている操作ボタンや表示情報を確認したい場合に、引き出しキーを再度移動させる操作は不要となる。
According to the invention as described in the preceding paragraph (3), when the drawer key moves to one end portion of the operation screen is detected, since the drawer key automatically moves to the other end portion of the operation screen, the user After moving the drawer key to one end of the operation screen, if it is desired to confirm the operation button or display information hidden under the drawer key at that position, the operation of moving the drawer key again becomes unnecessary.
前項(4)に記載の発明によれば、画像処理装置側で操作画面上の操作ボタンを、引き出しキーと重ならない位置に移動させて、操作画面表示用データを再作成するから、引き出しキーにより操作ボタンや表示情報が隠れて見えなくなる状態を確実に回避できる。 According to the invention described in the above item (4), the operation button on the operation screen is moved to a position not overlapping with the drawer key on the image processing apparatus side, and the operation screen display data is re-created. It is possible to reliably avoid a state where the operation buttons and display information are hidden and cannot be seen.
前項(5)に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンと重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したのち、そのままソフトウェアキーを操作することができる。このため、引き出しキーと重なっている操作ボタンを見えるようにするため、一旦引き出しキーを押し込む操作を行った上で、操作ボタンを押下しまたは表示情報を確認し、その後に再度引き出しキーを操作してソフトウェアキーを画面上に引き出し、ソフトウェアキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。 According to the invention described in (5) above, even when the software key is pulled out and the drawer key overlaps with the operation button on the operation screen displayed below, The user can display the hidden operation buttons and display information so that they can be seen by moving the drawer key in directions other than the direction of pulling out and pushing in the software key. Software keys can be operated. For this reason, in order to make the operation button overlapped with the drawer key visible, after pressing the drawer key once, press the operation button or check the display information, and then operate the drawer key again. Thus, a time-consuming operation such as drawing the software key on the screen and pressing the software key becomes unnecessary, and the operability is improved.
前項(6)に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができ、この操作ボタンを操作したのち、そのままソフトウェアキーを操作することができ、操作性の良い携帯端末装置となる。 According to the invention described in item (6) above, in the state where the software key is pulled out, the operation key and the display information are not visible because the drawer key overlaps with the operation button and the display information on the operation screen displayed below. However, the user can display the hidden operation buttons and display information so that they can be seen by moving the drawer key in a direction other than the direction of pulling out and pushing in the software key. After that, the software key can be operated as it is, and the mobile terminal device has good operability.
前項(7)に記載の発明によれば、ユーザーはソフトウェアキーの並び方向に沿って引き出しキーを移動操作することで、引き出しキーの下に隠れている操作ボタンを表示できる。 According to the invention described in item (7), the user can display the operation buttons hidden under the drawer keys by moving the drawer keys along the arrangement direction of the software keys.
前項(8)に記載の発明によれば、ユーザーは、引き出しキーを操作画面の一端部まで移動させた後、その位置で引き出しキーの下に隠れている操作ボタンや表示情報を確認したい場合に、引き出しキーを再度移動させる操作は不要となる。 According to the invention described in (8) above, when the user wants to confirm the operation button or display information hidden under the drawer key at that position after moving the drawer key to one end of the operation screen. The operation of moving the drawer key again becomes unnecessary.
前項(9)に記載の発明によれば、画像処理装置側で操作画面上の操作ボタンや表示情報を、引き出しキーと重ならない位置に移動させて、操作画面表示用データを再作成するから、引き出しキーにより操作ボタンが隠れて見えなくなる状態をより確実に回避できる。 According to the invention described in the preceding item (9), the operation button and display information on the operation screen are moved to a position not overlapping with the drawer key on the image processing device side, and the operation screen display data is re-created. A state in which the operation button is hidden by the drawer key and cannot be seen can be more reliably avoided.
前項(10)に記載の発明によれば、ソフトウェアキーを引き出した状態で、引き出しキーがその下に表示されている操作画面の操作ボタンや表示情報と重なって操作ボタンや表示情報が見えなくなっていても、ユーザーは引き出しキーをソフトウェアキーの引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタンや表示情報を見えるように表示させることができる処理を、携帯端末装置のコンピュータに実行させることができる。 According to the invention described in the above item (10), in the state where the software key is pulled out, the operation key and the display information are not visible because the drawer key overlaps with the operation button and the display information on the operation screen displayed therebelow. However, the user can move the drawer key in a direction other than the direction in which the software key is pulled out and pushed in, so that the hidden operation buttons and display information can be displayed in a visible manner. It can be executed by a computer.
以下、この発明の実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は、この発明の一実施形態に係る携帯端末装置が用いられた画像処理システムの構成図である。 FIG. 1 is a configuration diagram of an image processing system in which a mobile terminal device according to an embodiment of the present invention is used.
この画像処理システムは、画像処理装置1と携帯端末装置2等を備え、これらの画像処理装置1と携帯端末装置2は、無線LANルータ3、ネットワーク4を介して相互に接続可能となされている。なお、画像処理装置1と携帯端末装置2は、USBインターフェース等により有線接続も可能であるが、この実施形態では、無線通信により相互に接続されるものとして説明する。
The image processing system includes an
この実施形態では、画像処理装置1としてコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を備えた前述のMFPが用いられている。以下、画像処理装置をMFPとも記す。また、携帯端末装置を携帯端末とも記す。
In this embodiment, the above-described MFP having a copy function, a print function, a scan function, a facsimile function and the like is used as the
図2は、前記MFP1と携帯端末2の電気的な構成を示すブロック図である。
FIG. 2 is a block diagram showing an electrical configuration of the
MFP1は、CPU101、ROM102、RAM103,スキャナ部104、プリント部105、記憶部106、操作パネル部107、WIFI(Wireless Fidelity)モジュール109、LAN(Local Area Network)コントローラ110、USBインターフェース(USBI/F)111等を備えている。
The
前記CPU101は、ROM102等に記憶された動作プログラムに従って動作することにより、MFP1の全体を統括的に制御するものである。例えば、MFP1の各種機能を使用可能に制御するほか、この実施形態では、携帯端末2からの要求に基づいて、自装置の操作画面を携帯端末2に表示させるための操作画面表示用データを携帯端末2に送信したり、携帯端末2側で行われたユーザー操作に応じて、ジョブを実行したり次に表示させる操作画面表示用データ等を携帯端末2に送信する。
The
前記ROM102は、CPU101の動作プログラム等を記憶するメモリであり、RAM103はCPU101が動作プログラムに従って動作するときの作業領域を提供するメモリである。
The
前記スキャナ部104は、図示しないプラテンガラス上にセットされた原稿や、同じく図示しない自動原稿搬送装置にセットされた原稿の画像を読み取って、電子データである画像データを出力するものである。
The
前記プリント部105は、スキャナ部104により読み取られた原稿の画像データや、携帯端末2等から送信されたプリントデータを、用紙に印刷するものである。
The
前記記憶部106は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。特に、この実施形態では、操作パネル部107に表示される各種の操作画面の表示用データが記憶されており、ユーザーの操作に応じた操作画面の表示用データがCPU101によって記憶部106から呼び出され、操作パネル部107に表示されたり、携帯端末2に送信される。また、スキャナ部104で読み取られた画像データからなる文書ファイルや、外部装置から送信された文書ファイル等の複数のファイルも保存されている。
The
操作パネル部107は、MFP1を操作したりユーザーにメッセージ等を表示するものであり、図5に示すように、機械的なハードウェアキー(以下、外キーともいう)を有するキー部107aと、液晶等のタッチパネルからなる表示部107bを備えている。なお、外キーとして、この実施形態では、スタートキー121、ストップキー122、リセットキー123、認証画面に移行させるためのIDキー124、デフォルト画面に移行させるためのホームキー125、省電力モードに移行させるための副電源キー126、テンキー127等が備えられている。なお、外キーはこれらに限定されることはなく、プレビューキー、ガイドキー、拡大表示キー、ユーティリティーキー、ジョブモード切替キー等を備えていても良い。
The
前記WIFIモジュール109は、携帯端末2と無線接続するためのインターフェースであり、前記LANコントローラ110は、パーソナルコンピュータや他のMFP等の外部装置との間の通信を制御するものである。
The
前記USBインターフェース111は携帯端末2と有線接続するためのインターフェースである。
The
一方、携帯端末2には、スマートフォン、タブレット端末、電子ペーパー等が用いられる。携帯端末2は、CPU201、RAM202、記憶部203、表示部204a、操作部204b、WIFIモジュール205、LANコントローラ206、USBインターフェース207、ファイル処理部208a、208b、連携部209等を備えている。
On the other hand, a smart phone, a tablet terminal, electronic paper, etc. are used for the
前記CPU201は、携帯端末2の全体を統括的に制御するものであり、基本ソフトウェアであるOS(Operating System)や、後述する連携アプリケーションあるいは汎用アプリケーションに従って動作する。
The
前記RAM202は、CPU201が動作プログラムに従って動作するときの作業領域となるメモリである。
The
前記記憶部203は、各種のデータやアプリケーション等を記憶するものであり、ハードディスク装置などが用いられている。この実施形態では、MFP1から送信された操作画面表示用データ、基本OS、連携アプリケーション、汎用アプリケーション等のプログラムを記憶している。なお、以下の説明ではアプリケーションを単にアプリともいう。
The
前記表示部204aは液晶等のデバイスからなり、操作部204bは表示部204aに設けられ、タッチ入力操作が可能なタッチパネルからなる。タッチ操作は通常、タッチした指の数や指の移動に応じて操作内容を規定するジェスチャー操作によって行われる。ジェスチャー操作の一例として、画面をスクロール(ページ送りやページ戻し)をするためのフリック操作、画像の変倍(拡大または縮小)や回転等を指示するためのピンチイン操作、ピンチアウト操作などを例示できる。
The
前記WIFIモジュール205は、携帯端末2をMFP1と無線接続するためのインターフェースであり、前記LANコントローラ206は、ユーザー端末等の外部装置との間の通信を制御するものである。また、前記USBインターフェース207は、携帯端末装置2をMFP1と有線接続するためのインターフェースである。
The
前記ファイル処理部208a、208bは、ファイルの編集、転送あるいはメール配信等の処理を実施する。以下、ファイル処理部208a、208bをいずれもファイル処理部208と記す。
The
前記連携部209は、MFP1と携帯端末2の間の機能連携を円滑に行うために、MFP1の機能を使用できるようにするためのものである。具体的には、MFP1のコピー機能、プリント機能、スキャン機能、ファクシミリ機能等を使用するためにMFP1の操作パネル部107に表示される操作画面と同じ操作画面を再生するための操作画面表示用データをMFP1から受信し、前記操作画面をリモート画面として表示部204に表示したり、リモート画面に表示された操作ボタン等をユーザーが押下したときに、画面上の操作位置の座標を検出して操作情報としてMFP1に送信する。MFP1は前記操作位置の座標を解析することにより、ユーザーの操作指示を特定し、操作指示に応じた動作を実行する。
The
さらに、この実施形態では、MFP1の操作パネル部107のキー部107aに設けられた前述した外キーのうちの一部を携帯端末2からリモート操作可能とするために、外キーをソフトウェアキー(以下、単にソフトキーともいう)として携帯端末2の表示部204aに表示させるためのソフトキー表示用データが操作画面表示用データと共にMFP1から送信されるものとなされている。この際に、図6に示すように、携帯端末2に表示される操作画面D1の下端部にソフトキー402を引き出して表示し、あるいは押し込んで画面から消失させてソフトキー402を出没させる引き出しキー400の表示用データもソフトキー表示用データと共に携帯端末2に送信される。携帯端末2は、MFP1からの操作画面表示用データ、ソフトキー表示用データ及び引き出しキー表示用データに基づいて、操作画面D1をリモート画面として表示部204aに表示すると共に、操作画面D1上に重なった状態で、ソフトキー402を引き出しキー400により操作画面D1の下端部において出没可能に表示するようになっている。
Furthermore, in this embodiment, in order to enable some of the above-described external keys provided on the
前記ファイル処理部208は、CPU201が汎用アプリを実行することによりその機能が実現される。つまり、汎用アプリは各種ファイルを処理するファイル処理部208を実現するためのソフトウェアであり、例えばファイル編集用アプリ、ファイルを電子メールで配信する機能を有するアプリ、ウェブ上にファイルをストレージする機能を有するアプリ等、各種のアプリを用いることができる。
The function of the
また、前記連携部209は、CPU201が前述した連携アプリを実行することによりそれらの機能が実現される。つまり、連携アプリはMFP1と携帯端末2とのスムーズな機能連携を図るためのソフトウェアである。また、連携アプリと汎用アプリとの間で、ファイルの転送やダウンロードを行うことができる。
The
図3は、MFP1と携帯端末2のファームウェア構成を示すブロック図である。
FIG. 3 is a block diagram illustrating firmware configurations of the
MFP1は、アプリ層に、操作パネル(アプリ)121やオープンAPI(Open Application Program Interface)122等を備え、共通API層に、共通API(Common API)125やパネル表示画像生成部126等を備え、ハードウェア依存層に、パネル画面生成部123、パネル制御部124、携帯端末用制御部127等を備えている。
The
さらに、カーネル層に、パネル入力制御部129、パネルLCD制御部130、JPEGコーダドライバ131等を備え、デバイス層に、操作パネル部107、USBインターフェース部111、JPEG圧縮部133、WIFIモジュール109等を備えている。
In addition, the kernel layer includes a panel
パネル画面生成部123は、携帯端末2から連携操作が行われた場合に、操作パネル部107に表示されるMFP1側の画面データを作成する。
Panel
パネル制御部124は操作パネル部107との通信状態の制御等を行い、携帯端末用制御部127は、携帯端末2との連携処理時に、携帯端末2と通信を行うためのインターフェース等を制御する。
The
パネル入力制御部129は、操作パネル部107の操作入力に関する制御を行い、パネルLCD制御部130は、操作パネル部107の表示部107bの表示制御を行う。JPEG圧縮部133は、JPEGコーダドライバ131を介して携帯端末用制御部127から送信されてきた操作画面表示用データ、ソフトキー表示用データあるいは引き出しキー表示用データ等をJPEG圧縮するものであり、圧縮されたデータはUSBインターフェース111やWIFIモジュール109を介して、携帯端末2に送信される。
The panel
一方、携帯端末2は、画像表示アプリ221、表示画像生成アプリ222、JPEG展開アプリ223、ブラウザ224等の各種アプリケーションを備えたアプリケーション層と、各種のマネージャー225、226等を備えたプラットフォーム層と、各種のライブラリ227及びカーネル228を備えたOS層と、ハードウェア229によって構成されている。
On the other hand, the
前記JPEG展開アプリ223は、MFP1から送信されてきた圧縮データを伸張するものである。
The
表示画像生成アプリ222は、携帯端末2の表示部204に表示されるMFP1の操作画面上に、引き出しキー400の引き出し操作または押し込み操作に基づいて、ソフトキー402を出現させ、あるいは画面から隠れるように出没させる画像を生成し、表示部204に表示させる。また、引き出しキーに対して、引き出し操作または押し込み操作以外の移動操作がなされたときは、引き出しキーのみをソフトウェアキーとは独立して移動させた画面を生成し、表示部204に表示させる。この処理については後述する。
The display
前記画像表示アプリ221は、MFP1から送信されJPEG展開アプリ223で伸張された操作画面表示用データを用いて、MFP1の操作画面をリモート画面として作成し表示部204に表示させるものである。
The
なお、この実施形態では、画像表示アプリ221、表示画像生成アプリ222、JPEG展開アプリ223は、連携アプリで実現される機能の一部として構成されている。
In this embodiment, the
次に、MFP1と携帯端末2を連携操作する場合の処理について説明する。
Next, processing when the
ユーザーが携帯端末2をMFP1にネットワーク経由にて無線接続し、携帯端末2とMFP1を連携して操作しようとしている。携帯端末2とMFP1の連携操作は、ユーザーが携帯端末2にインストールされている連携アプリを起動することにより、開始される。
A user wirelessly connects the
図4は、MFP1及び携帯端末2の各ソフトウェアの関係を示すものであり、左側にMFP1側のソフトウェアを、右側に携帯端末2のソフトウェアをそれぞれ示す。
FIG. 4 shows the relationship between the software of the
携帯端末2の連携アプリは、携帯端末2のOSと汎用のソフトウェアであるアプリソフトの中間に位置しており、MFP1からのデータの受信及び受信したデータの処理、ユーザーの操作情報や携帯端末2側の操作画面表示用データの取得等を行うことができ、必要に応じて取得したデータをMFP1へ送信することができる。つまり、携帯端末2の連携ソフトは、アプリの呼び出し等の携帯端末2側でのユーザー操作受付処理、MFP1の操作画面表示用データの受信・表示処理(携帯端末側操作画面処理)、連携操作関連処理等を実行する。連携操作関連処理としては、操作の内容を示す操作情報のMFP1との通信等が挙げられる。
The cooperative application of the
一方、MFP1の連携アプリは、MFP1側のOSやMFP1用のアプリソフトが全て自社設計/自社カスタマイズであって必要な情報をすべて得られる場合は、OS−アプリソフト間に位置しなくても良く、OSやアプリソフトと独立でありながら、OSやアプリソフトと通信することにより、必要な情報を入手してもよい。MFP1の連携アプリは、アプリの呼び出し等のMFP1側のユーザー操作受付処理、携帯端末2へのMFP側画面データの送信処理(MFP側操作画面処理)、連携操作関連処理等を実行する。連携操作関連処理としては、携帯端末2からの操作情報等の受信・実行処理等が挙げられる。
On the other hand, when the OS on the
ユーザーが携帯端末2の表示部204に表示された連携操作アイコンを選択し、MFP連携を指示すると、携帯端末2の連携ソフトは、登録されているMFP1への通信を行い、MFP1の連携ソフトを呼び出し、操作画面表示用データの取得を要求する。それにより、連携操作モードが開始され、MFP1の表示部105aと携帯端末2の表示部204に、MFP側の操作画面が表示される。なお、MFP1の表示部105aにおける画面表示は行われなくても良い。
When the user selects the cooperation operation icon displayed on the display unit 204 of the
次に、図1に示した画像処理連携システムの動作を説明する。 Next, the operation of the image processing cooperation system shown in FIG. 1 will be described.
今、携帯端末2の表示部204aに、図6(A)に示すように、MFP1で作成されたMFP1の操作画面D1がリモート画面として表示されている。この操作画面D1の下部領域には、1個またはこの例のように複数個の操作ボタン300が左右方向に並んで表示されている。
Now, as shown in FIG. 6A, the operation screen D1 of the
さらに、画面の下端中央部には、長方形状の引き出しキー400が操作画面D1の面上に重ねられた状態で表示されている。この引き出しキー400は、MFP1の外キーに対応するソフトキー402を、操作画面D1上に出没させるためのものである。
Further, a
つまり、図6(B)に示すように、引き出しキー400の下端縁に一体に連なる形態で、操作画面D1の左右方向の長さとほぼ同じ長さの帯状のソフトキー表示エリア401が一体的に表示されている。そして、ユーザーが画面上で引き出しキー400にタッチして、図6(A)の矢印Aで示す上方引き出し方向にドラッグすると、前記引き出しキー400により図(B)に示すようにソフトキー表示エリア401が操作画面D1の下端部領域に引き出されて出現し、視認可能となる。逆に、ソフトキー表示エリア401が出現している状態で、引き出しキー400をタッチして図6(B)の矢印Bで示す下方押し込み方向にドラッグすることにより、ソフトキー表示エリア401が下方に移動して画面D1から消失した状態となる。
That is, as shown in FIG. 6B, a strip-shaped soft
前記ソフトキー表示エリア401には、1個またはこの例のように複数個のソフトキー402が配置され表示されている。従って、ユーザーが引き出しキー400をタッチして上方にドラッグしまたは下方にドラッグすることにより、ソフトキー表示エリア401に表示されたソフトキー402を、画面D1の下端領域に出没させることができる。そして、ソフトキー402を画面上に出現させた状態で、ユーザーはソフトキー402を操作することが可能となっている。
In the soft
この例では、各ソフトキー402は、外キーであるスタートキー121、ストップキー122、リセットキー123、IDキー124、ホームキー125、副電源キー126にそれぞれ対応して設けられている。
In this example, each
なお、ソフトキー表示用データ及び引き出しキー表示用データをMFP1から一旦取得した後は、このデータを用いて携帯端末2でソフトキー402の引き出しや押し込みの画像データを作成し、操作画面D1に重ねて表示する。
Note that after the soft key display data and the drawer key display data are once acquired from the
ところで、引き出しキー400によりソフトキー402を引き出した状態にすると、図7に引き出しキー400の表示部分を拡大して示すように、操作画面D1に表示されている操作ボタン300のうち、引き出しキー400と重なって隠れてしまう操作ボタン301が発生する。操作ボタン301が隠れると、この操作ボタン301を操作したいユーザーは、一旦引き出しキー400を押し込む操作を行った上で、操作ボタン301を押下し、その後に再度引き出しキー400を操作してソフトキー群を画面上に引き出し、ソフトキー402のうちの例えばスタートキーを押下するといった手間のかかる操作が必要となる。
By the way, when the
そこで、この実施形態では、図8の矢印C1及びC2で示すように、ユーザーが引き出しキー400をタッチして画面左右方向にドラッグすることで、引き出しキー400のみをソフトキー402(ソフトキー表示領域401)とは独立して、ソフトキー402の並び方向に沿って、最大で画面端部の同図に鎖線で示す位置まで、自在に移動させることができるようになっている。
Therefore, in this embodiment, as indicated by arrows C1 and C2 in FIG. 8, when the user touches the
このような引き出しキー400の移動を可能とすることにより、ユーザーは引き出しキー400を押し込んでソフトキー402を画面から消去させる必要がなく、引き出しキー400を左右方向に移動させるのみの操作で、引き出しキー400と重なって隠れた操作ボタン301を確認して操作することができる。しかも、ソフトキー402はそのままの位置に保持されるから、必要に応じて、操作ボタン300の操作に続いてソフトキー402を操作することができる。
By enabling the movement of the
操作ボタン300やソフトキー402が操作されると、携帯端末2から操作された座標を示す情報がMFP1に送信され、MFP1は座標情報を解析して、操作に対応する次画面を作成したり、ジョブを実行する。
When the
なお、引き出しキー400をソフトキー402(ソフトウェアキー表示領域401)と分離して移動配置させることも可能である。しかし、この場合は、引き出しキー400がソフトキー402と分離して表示されることになり、ユーザーが引き出しキー400を操作ボタン300と勘違いする恐れがあるため、引き出しキー400はソフトキー402(ソフトキー表示領域401)と分離することなく、図8に示すように、ソフトキー表示領域401の上縁部に添ってソフトキー402の並び方向にのみ移動可能として、引き出しキー400とソフトキー402との表示上の一体性を保持するのが望ましい。
The
図9は、引き出しキー400をソフトキー402の並び方向に移動させる際の携帯端末2の動作を示すフローチャートである。このフローチャート及び図9以降に示すフローチャートに示される動作は、携帯端末2のCPU201が連携アプリ等に従って動作することにより実行される。
FIG. 9 is a flowchart showing the operation of the
ステップS01では、MFP1により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップS02では、受信したデータを表示部204aに表示する。
In step S01, screen display data and key display data created and transmitted by the
ステップS03では、引き出しキー400の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合(ステップS03でYES)、ステップS04で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップS05に進む。操作がなされなかった場合(ステップS03でNO)、そのままステップS05に進む。
In step S03, it is determined whether the
ステップS05では、引き出しキー400に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると(ステップS05でYES)、ステップS06で、操作座標に合わせて引き出しキー400をソフトキー402と分離することなく左右方向(ソフトキー402の並び方向)のいずれかに移動させて表示した後、ステップS07に進む。移動操作がなされない場合(ステップS05でNO)、そのままステップS07に進む。
In step S05, it is determined whether or not the left / right movement operation has been performed on the
ステップS07では、操作ボタン300またはソフトキー402の操作がなされたかどうかを判断し、操作がなされると(ステップS07でYES)、ステップS08で、操作座標をMFP1に送信する。MFP1は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末2に送信し、あるいは操作に対応する処理を実行する。ステップS07で操作がなされなければ(ステップS07でNO)、ステップS03に戻る。
In step S07, it is determined whether or not the
図10は、図9のフローチャートにおけるステップS06の操作座標に合わせて引き出しキーを移動して表示する処理のサブルーチンを示すフローチャートである。 FIG. 10 is a flowchart showing a subroutine of processing for moving and displaying the drawer key in accordance with the operation coordinates in step S06 in the flowchart of FIG.
ステップS061では、操作座標とソフトキー402群と引き出しキー400の位置を比較し、ステップS062では、ソフトキー402群から引き出しキー400が離間しないように引き出しキー400を移動させた後、リターンする。
In step S061, the operation coordinates are compared with the positions of the
このように、この実施形態では、携帯端末2の表示部204aには、リモート画面としてMFP1の操作画面D1が表示され、MFP1の外キーに対応するソフトキー402が、引き出しキー400の引き出し操作及び押し込み操作により操作画面D1の端部に出没可能に表示される。また、携帯端末2は、表示部204aに表示された前記引き出しキー400に対する左右方向の移動操作を検知すると、引き出しキー400のみをソフトキー402とは独立して移動させる。
As described above, in this embodiment, the operation screen D1 of the
このため、ソフトキー402群を引き出した状態で、引き出しキー400が操作画面D1の操作ボタン301と重なって操作ボタン301が見えなくなっていても、ユーザーは引き出しキー400をソフトキー402群の引き出し方向及び押し込み方向以外の方向に移動操作することで、隠れていた操作ボタン301を見えるように表示させることができ、この操作ボタンを操作することができる。
Therefore, even when the
つまり、引き出しキー400と重なっている操作ボタン301を見えるようにするため、一旦引き出しキー400を押し込む操作を行った上で、操作ボタン301を押下し、その後に再度引き出しキー400を操作してソフトキー402を画面上に引き出し、ソフトキーを押下する、といった手間のかかる操作は不要となり、操作性が良くなる。しかも、ソフトキー400と独立して引き出しキー402を移動させるから、ソフトキー402と引き出しキー400を一体で移動させる処理は不要となる。さらに、複数のソフトキー402を分解して、操作画面毎に異なる位置にソフトキーを配置する必要もないから、ユーザーはどこにソフトキー402が存在しているのかを把握するのに時間がかかるという問題もない。
That is, in order to make the
図11は、この発明の他の実施形態を示すもので、携帯端末2の表示部204aにリモート画面が表示されている状態を示す図である。
FIG. 11 shows another embodiment of the present invention, and is a diagram showing a state in which a remote screen is displayed on the
この実施形態では、引き出しキー400を左右方向のいずれか一方に移動させ、移動方向において引き出しキー400の端部が表示画面の一端部に移動したことを携帯端末2が検知したときは、引き出しキー400を画面の他端部に自動的に移動させるものである。
In this embodiment, when the
即ち、図11において、ユーザーが引き出しキー400を例えば矢印C1方向(図面左方向)に移動させた場合、引き出しキー400の左端部が表示画面の左端部に達したときは、図11に矢印C3で示すように、引き出しキー400を画面の右端部に自動的に移動させる。
That is, in FIG. 11, when the user moves the
これにより、ユーザーは、引き出しキー400を画面の一端部まで移動させた後、その位置で引き出しキー400の下に隠れている操作ボタンを確認したい場合に、引き出しキー400を再度移動させる操作は不要となる。
Thereby, when the user wants to confirm the operation button hidden under the
図12は、図11の実施形態における携帯端末2の動作を示すフローチャートである。
FIG. 12 is a flowchart showing the operation of the
ステップS11では、MFP1により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップS12では、受信したデータを表示部204aに表示する。
In step S11, screen display data and key display data created and transmitted by the
ステップS13では、引き出しキー400の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合(ステップS13でYES)、ステップS14で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップS15に進む。操作がなされなかった場合(ステップS13でNO)、そのままステップS15に進む。
In step S13, it is determined whether or not the
ステップS15では、引き出しキー400に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると(ステップS15でYES)、ステップS16で、操作座標に合わせて引き出しキー400をソフトキー402と分離することなく左右方向(ソフトキー402の並び方向)のいずれかに移動させて表示した後、ステップS17に進む。
In step S15, it is determined whether or not a movement operation in the left-right direction has been performed on the
ステップS17では、引き出しキー400の表示位置を算出し、画面の端であれば反対側の端に移動して表示する処理を実行したのち、ステップS18に進む。ステップS15において、移動操作がなされない場合(ステップS15でNO)、そのままステップS18に進む。
In step S17, the display position of the
ステップS18では、操作ボタン300またはソフトキー402の操作がなされたかどうかを判断し、操作がなされると(ステップS18でYES)、ステップS19で、操作座標をMFP1に送信する。MFP1は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末2に送信し、あるいは操作に対応する処理を実行する。ステップS18で操作がなされなければ(ステップS18でNO)、ステップS13に戻る。
In step S18, it is determined whether or not the
図13は、図12のフローチャートにおけるステップS17の引き出しキー400の表示位置を算出し、画面の端であれば反対側の端に移動して表示する処理のサブルーチンを示すフローチャートである。
FIG. 13 is a flowchart showing a subroutine of processing for calculating the display position of the
ステップS171では、引き出しキー400の端の座標と画面端の座標を比較した後、ステップS172では、引き出しキー400の端と画面端が同位置になったら、画面の反対側の端へ引き出しキー400を移動して表示した後、リターンする。
In step S171, the coordinates of the edge of the
図14は、この発明のさらに他の実施形態を示すもので、携帯端末2の表示部204aにリモート画面が表示されている状態を示す図である。
FIG. 14 shows still another embodiment of the present invention, and shows a state where a remote screen is displayed on the
引き出しキー400を移動させると、移動先において、操作画面に表示された操作ボタン300が引き出しキー400によって隠れてしまう。
When the
そこで、この実施形態では、隠れた操作ボタンを隠れない位置に移動させた画面データをMFP1が再作成して、携帯端末装置2に送信することにより、携帯端末2に表示されたリモート画面において、引き出しキー400により操作ボタンが隠されることなく表示されるようにする。
Therefore, in this embodiment, the
具体的には、図14に示すように、引き出しキー400を左方向のいずれかに移動させたときに、操作画面D1の操作ボタン300のうち1個または複数の操作ボタン302が引き出しキー400によって隠れてしまう。
Specifically, as illustrated in FIG. 14, when the
そこで、携帯端末2は移動後の引き出しキー400の位置(座標)を検知して座標データをMFP1に送信する。MFP1は自身が保有する画面データと携帯端末2からの座標情報に基づいて、引き出しキー400によって隠される操作ボタン302を特定し、この操作ボタン302が図14に示すように、操作画面の表示可能な空き領域に表示されるように画面表示用データを再作成し、携帯端末2に送信する。
Therefore, the
携帯端末2は、このデータを受信して再作成された操作画面D1を表示する。
The
図15は、図14の実施形態における携帯端末2の動作を示すフローチャートである。
FIG. 15 is a flowchart showing the operation of the
ステップS21では、MFP1により作成され送信された画面表示用データやキー表示用データ等を受信し、ステップS22では、受信したデータを表示部204aに表示する。
In step S21, screen display data and key display data created and transmitted by the
ステップS23では、引き出しキー400の引き出し操作または押し込み操作がなされたかどうかを判断する。操作がなされた場合(ステップS23でYES)、ステップS24で、ソフトキー群を引き出しまたは押し込んだ画面を表示したのち、ステップS25に進む。操作がなされなかった場合(ステップS23でNO)、そのままステップS25に進む。
In step S23, it is determined whether or not the
ステップS25では、引き出しキー400に対して左右方向への移動操作がなされたかどうかを判断する。移動操作がなされると(ステップS25でYES)、ステップS26で、操作座標に合わせて引き出しキー400をソフトキー402と分離することなく左右方向(ソフトキー402の並び方向)のいずれかに移動させて表示した後、ステップS27に進む。
In step S25, it is determined whether or not a movement operation in the left-right direction has been performed on the
ステップS27では、引き出しキー400の表示位置を示す座標データをMFP1に送信したのち、ステップS21に戻って、MFP1から再生成された操作画面表示用データが送信されるのを待つ。
In step S27, coordinate data indicating the display position of the
MFP1では、自身が保有する画面データと携帯端末2からの座標情報に基づいて、引き出しキー400によって隠される操作ボタン302を特定し、この操作ボタン302が操作画面の表示可能な空き領域に表示されるように画面表示用データを再作成し、携帯端末2に送信する。
The
携帯端末2は、再生成された操作画面表示用データを受信すると、この受信データを画面に表示する。表示された画面では、引き出しキー400によって隠されていた操作ボタン302が、視認可能な位置に表示されている。
When the
ステップS25で、移動操作がなされない場合(ステップS25でNO)、ステップS28では、操作ボタン300またはソフトキー402の操作がなされたかどうかを判断し、操作がなされると(ステップS28でYES)、ステップS29で、操作座標をMFP1に送信する。MFP1は受信した操作座標を解析して、操作に対応する次画面データを作成して携帯端末2に送信し、あるいは操作に対応する処理を実行する。ステップS28で操作がなされなければ(ステップS28でNO)、ステップS23に戻る。
If no movement operation is performed in step S25 (NO in step S25), it is determined in step S28 whether or not the
このように、この実施形態では、MFP1側で操作画面上の操作ボタン302を、引き出しキー400と重ならない位置に移動させて、操作画面表示用データを再作成するから、移動した引き出しキー400により移動先で操作ボタンが隠れて見えなくなる状態を確実に回避できる。
As described above, in this embodiment, the
以上、本発明の一実施形態を説明したが、本発明は上記実施形態に限定されることはない。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.
例えば、引き出しキー400により操作画面の操作ボタン300が隠れる場合を説明したが、操作ボタンでなく、情報として表示される表示体が隠れる場合、あるいはこの表示体と操作ボタン300の両方が隠れる場合に、引き出しキー400を移動させる構成であっても良い。
For example, the case where the
1 画像処理装置
2 携帯端末装置
101 CPU
102 ROM
107b 表示部
201 CPU
202 RAM
203 記憶部
204a 表示部
204b 操作部
209 連携部
DESCRIPTION OF
102 ROM
202 RAM
203
Claims (10)
前記画像処理装置は、
自装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を表示可能な表示手段と、
自装置を操作するための1個または複数個のハードウェアキーと、
前記操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、前記ハードウェアキーに対応するソフトウェアキーと該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信手段と、
を備え、
前記携帯端末装置は、
前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信手段と、
表示手段と、
前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、
を備え、
前記携帯端末装置の移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする画像処理連携システム。 An image processing cooperation system comprising an image processing device and a portable terminal device capable of remotely operating the image processing device,
The image processing apparatus includes:
Display means capable of displaying an operation screen having one or a plurality of operation buttons and / or display information for operating the device;
One or more hardware keys for operating the device;
The operation screen display data for displaying the operation screen on the mobile terminal device is transmitted to the mobile terminal device, and the software key corresponding to the hardware key and the end of the operation screen are pulled out or pushed in. Transmitting means for transmitting, to the mobile terminal device, key display data for causing the mobile terminal device to display a drawer key that appears and disappears in the unit;
With
The portable terminal device
Receiving means for receiving operation screen display data and key display data from the image processing device;
Display means;
Based on the operation screen display data received by the receiving means, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and is displayed on the received key display data in a state of being overlapped on the operation screen. Display control means for displaying the software key on the display means so as to be able to appear and disappear at the end of the operation screen based on the drawer key;
A movement operation detecting means for detecting a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawing key displayed on the display means;
With
When the movement operation detecting means of the portable terminal device detects a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawer key, the display control means of the portable terminal device uses only the drawer key. An image processing cooperation system which is moved independently of the software key.
前記携帯端末装置の表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる請求項1に記載の画像処理連携システム。 A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction ,
The image processing cooperation system according to claim 1, wherein the display control unit of the portable terminal device moves the drawer key along an arrangement direction of the plurality of software keys.
前記携帯端末装置の表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる請求項2に記載の画像処理連携システム。 The mobile terminal device includes movement detection means for detecting that the drawer key has moved to one end portion of the operation screen along the arrangement direction of the plurality of software keys,
The display control unit of the portable terminal device, when the drawer key by said movement detection means is moved to one end of the operation screen is detected, wherein for moving the drawer key to the other end of the operation screen Item 3. The image processing cooperation system according to Item 2.
前記画像処理装置は、前記携帯端末装置から前記引き出しキーの画面上の位置を通知されたときは、前記引き出しキーと重ならない位置に前記操作ボタン及び/または表示情報を移動させた操作画面表示用データを再作成し、前記送信手段を介して再作成された操作画面表示用データを携帯端末装置に送信し、
前記携帯端末装置の表示制御手段は、前記再作成された操作画面表示用データに基づいて、操作ボタン及び/または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる請求項1に記載の画像処理連携システム。 The portable terminal device detects a position of the drawer key on the screen after movement, and a position for notifying the image processing apparatus of the position of the drawer key on the screen detected by the position detector. And a notification means,
When the image processing apparatus is notified of the position of the drawer key on the screen from the portable terminal apparatus, the image processing apparatus displays the operation button and / or display information moved to a position that does not overlap the drawer key. Recreate the data, send the operation screen display data recreated via the transmission means to the mobile terminal device,
The display control means of the portable terminal device causes the display means to display an operation screen moved to a position where the operation button and / or display information does not overlap with the drawer key based on the re-created operation screen display data. The image processing cooperation system according to claim 1.
前記画像処理装置は、
自装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を前記携帯端末装置に表示させるための操作画面表示用データを携帯端末装置に送信すると共に、自装置を操作するための1個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記携帯端末装置に表示させるためのキー表示用データを携帯端末装置に送信する送信ステップを実施し、
前記携帯端末装置は、
前記画像処理装置からの操作画面表示用データ及びキー表示用データを受信する受信ステップと、
前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、
を実施し、
前記携帯端末装置の移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記携帯端末装置の表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とするリモート画面の表示制御方法。 An image processing cooperation method implemented in an image processing cooperation system including an image processing device and a portable terminal device capable of remotely operating the image processing device,
The image processing apparatus includes:
Transmitting operation screen display data for displaying an operation screen having one or a plurality of operation buttons and / or display information for operating the device to the mobile terminal device to the mobile terminal device; A software key corresponding to one or a plurality of hardware keys for operating the device, and a drawer key for pulling out or pushing in the end of the operation screen by pulling or pushing the software key. A transmission step of transmitting the key display data to the mobile terminal device is performed,
The portable terminal device
A receiving step of receiving operation screen display data and key display data from the image processing device;
Based on the operation screen display data received in the reception step, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and in a state of being superimposed on the operation screen, based on the received key display data. A display control step of displaying the software key on the display means so as to be able to appear and disappear by the drawer key at an end of the operation screen;
A movement operation detection step of detecting a movement operation other than the drawing direction and pushing direction of the software key with respect to the drawing key displayed on the display means;
Carried out
In the movement operation detecting step of the portable terminal device, when a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawer key is detected, in the display control step of the portable terminal device, only the drawer key is A display control method for a remote screen, which is moved independently of the software key.
画像処理装置を操作するための1個または複数個の操作ボタン及び/または表示情報を有する操作画面を前記表示手段に表示させるための操作画面表示用データを画像処理装置から受信すると共に、画像処理装置に備えられた1個または複数個のハードウェアキーに対応するソフトウェアキーと、該ソフトウェアキーを引き出しあるいは押し込むことにより操作画面の端部において出没させる引き出しキーを前記表示手段に表示させるためのキー表示用データを画像処理装置から受信する受信手段と、
前記受信手段により受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御手段と、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知手段と、
を備え、
前記移動操作検知手段により、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御手段は、前記引き出しキーのみを前記ソフトウェアキーとは独立して移動させることを特徴とする携帯端末装置。 Display means;
One or more operation buttons for operating the image processing apparatus and / or operation screen display data for displaying on the display means an operation screen having display information is received from the image processing apparatus, and image processing is performed. A key for displaying on the display means a software key corresponding to one or a plurality of hardware keys provided in the apparatus and a drawer key which is drawn out or pushed in at the end of the operation screen by pulling out or pushing the software key. Receiving means for receiving display data from the image processing device;
Based on the operation screen display data received by the receiving means, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and is displayed on the received key display data in a state of being overlapped on the operation screen. Display control means for displaying the software key on the display means so as to be able to appear and disappear at the end of the operation screen based on the drawer key;
A movement operation detecting means for detecting a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawing key displayed on the display means;
With
When the movement operation detecting means detects a movement operation other than the drawing direction and the pushing direction of the software key with respect to the drawer key, the display control means sets only the drawer key independently of the software key. A portable terminal device that is moved.
前記表示制御手段は、前記引き出しキーをこれら複数個のソフトウェアキーの並び方向に沿って移動させる請求項6に記載の携帯端末装置。 A plurality of software keys corresponding to the hardware keys are displayed side by side along a direction different from the pull-out direction and the push-in direction ,
The mobile terminal device according to claim 6, wherein the display control unit moves the drawer key along an arrangement direction of the plurality of software keys.
前記表示制御手段は、前記移動検知手段により引き出しキーが前記操作画面の一端部まで移動したことが検知されたときは、前記引き出しキーを前記操作画面の他端部に移動させる請求項7に記載の携帯端末装置。 A movement detecting means for detecting that the drawer key has moved to one end of the operation screen along the arrangement direction of the plurality of software keys;
8. The display control unit according to claim 7, wherein when the movement detecting unit detects that the drawer key has moved to one end of the operation screen , the display control unit moves the drawer key to the other end of the operation screen. Mobile terminal device.
前記受信手段は、前記位置通知手段により前記引き出しキーの画面上の位置を通知された画像処理装置から、該画像処理装置により再作成された、前記引き出しキーと重ならない位置に前記操作ボタンを移動させた操作画面表示用データを受信し、
前記表示制御手段は、前記受信した再作成された操作画面表示用データに基づいて、前記操作ボタン及び/または表示情報が引き出しキーと重ならない位置に移動した操作画面を前記表示手段に表示させる請求項6に記載の携帯端末装置。 Position detecting means for detecting the position of the drawer key on the screen after movement; and position notification means for notifying the image processing apparatus of the position of the drawer key on the screen detected by the position detecting means. Prepared,
The receiving means moves the operation button from the image processing apparatus notified of the position of the drawer key on the screen by the position notification means to a position that is recreated by the image processing apparatus and does not overlap the drawer key. Received the operation screen display data,
The display control means causes the display means to display an operation screen that has been moved to a position where the operation button and / or display information does not overlap with a drawer key based on the received re-created operation screen display data. Item 7. The mobile terminal device according to Item 6.
前記受信ステップにおいて受信した操作画面表示用データに基づいて画像処理装置の操作画面をリモート画面として前記表示手段に表示すると共に、前記操作画面上に重なった状態で、前記受信したキー表示用データに基づき前記ソフトウェアキーを前記操作画面の端部において前記引き出しキーにより出没可能に前記表示手段に表示する表示制御ステップと、
前記表示手段に表示された前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作を検知する移動操作検知ステップと、
を携帯端末装置のコンピュータに実行させ、
前記移動操作検知ステップにおいて、前記引き出しキーに対する前記ソフトウェアキーの引き出し方向及び押し込み方向以外の移動操作が検知されたときは、前記表示制御ステップでは、前記引き出しキーのみを前記ソフトウェアキーとは分離して移動させる処理を、前記コンピュータに実行させるためのリモート画面の表示制御プログラム。 One or more operation buttons for operating the image processing apparatus and / or operation screen display data for displaying on the display means an operation screen having display information is received from the image processing apparatus, and the image processing apparatus Key display for displaying on the display means a software key corresponding to one or a plurality of hardware keys provided in the display and a drawer key that is drawn out or pushed in at the end of the operation screen by pulling out or pushing the software key Receiving the data for use from the image processing device;
Based on the operation screen display data received in the receiving step, the operation screen of the image processing apparatus is displayed on the display means as a remote screen, and the received key display data is overlapped on the operation screen. A display control step of displaying the software key on the display means so as to be able to appear and disappear by the drawer key at the end of the operation screen,
A movement operation detection step of detecting a movement operation other than the drawing direction and pushing direction of the software key with respect to the drawing key displayed on the display means;
Is executed by the computer of the mobile terminal device,
In the movement operation detecting step, when a movement operation other than the drawing direction and pushing direction of the software key with respect to the drawer key is detected, only the drawer key is separated from the software key in the display control step. A remote screen display control program for causing the computer to execute a process of moving.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013153115A JP6127800B2 (en) | 2013-07-23 | 2013-07-23 | Image processing system, remote screen display control method, portable terminal device, and remote screen display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013153115A JP6127800B2 (en) | 2013-07-23 | 2013-07-23 | Image processing system, remote screen display control method, portable terminal device, and remote screen display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015023563A JP2015023563A (en) | 2015-02-02 |
JP6127800B2 true JP6127800B2 (en) | 2017-05-17 |
Family
ID=52487630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013153115A Expired - Fee Related JP6127800B2 (en) | 2013-07-23 | 2013-07-23 | Image processing system, remote screen display control method, portable terminal device, and remote screen display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6127800B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6187546B2 (en) * | 2015-06-22 | 2017-08-30 | コニカミノルタ株式会社 | Operation display system, operation display device, and operation display program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1893529B (en) * | 2005-06-27 | 2012-10-31 | 柯尼卡美能达商用科技株式会社 | Image forming device |
JP5735841B2 (en) * | 2011-04-05 | 2015-06-17 | キヤノン株式会社 | Printing apparatus, control method thereof, and program |
JP5821591B2 (en) * | 2011-12-07 | 2015-11-24 | コニカミノルタ株式会社 | Image forming system, operation device, and program |
-
2013
- 2013-07-23 JP JP2013153115A patent/JP6127800B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015023563A (en) | 2015-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5720661B2 (en) | Mobile terminal device, image processing cooperation system, screen data display method and display program | |
JP5765366B2 (en) | Image processing device, portable terminal device, remote screen data creation program and display control program | |
US10341518B2 (en) | Operation input system, electronic device and mobile terminal | |
JP5776725B2 (en) | Image processing cooperation system, portable terminal device, image processing cooperation method, and image processing cooperation program | |
JP6003939B2 (en) | Image processing linkage system and linkage method, portable terminal device, and image processing linkage program | |
JP6331780B2 (en) | Portable terminal device, print setting method, and print setting program | |
JP5696721B2 (en) | Display processing apparatus, image forming apparatus, remote screen display processing system, and display processing method | |
JP6035985B2 (en) | Image processing apparatus, control program for image processing apparatus, and image processing system | |
JP2014078097A (en) | Image processing apparatus, program, and operation event determination method | |
US8982397B2 (en) | Image processing device, non-transitory computer readable recording medium and operational event determining method | |
JP6418258B2 (en) | Image processing apparatus and remote screen control program | |
JP6252028B2 (en) | Image processing system, image processing apparatus, and remote screen display control program | |
JP5692541B2 (en) | Image processing linkage system, linkage method, portable terminal device, and linkage program | |
JP5853999B2 (en) | Image forming system, image forming apparatus, remote control device, and program | |
JP5907002B2 (en) | Image processing cooperation system, image processing device, and portable terminal device | |
JP6089702B2 (en) | Image processing apparatus, screen data generation method, and program | |
JP6127800B2 (en) | Image processing system, remote screen display control method, portable terminal device, and remote screen display control program | |
JP6191470B2 (en) | Image processing system, image processing apparatus, and portable terminal device | |
US10785376B2 (en) | Image processing apparatus for sending user interface data | |
JP6607117B2 (en) | Information processing apparatus and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6127800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |