JP2017228872A - Portable terminal, system and program for remote operation of image formation device - Google Patents
Portable terminal, system and program for remote operation of image formation device Download PDFInfo
- Publication number
- JP2017228872A JP2017228872A JP2016122366A JP2016122366A JP2017228872A JP 2017228872 A JP2017228872 A JP 2017228872A JP 2016122366 A JP2016122366 A JP 2016122366A JP 2016122366 A JP2016122366 A JP 2016122366A JP 2017228872 A JP2017228872 A JP 2017228872A
- Authority
- JP
- Japan
- Prior art keywords
- operation screen
- mfp
- command
- standard model
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title abstract description 3
- 230000005477 standard model Effects 0.000 claims abstract description 114
- 238000006243 chemical reaction Methods 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims description 38
- 230000004044 response Effects 0.000 claims description 33
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 87
- 238000000034 method Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 14
- 238000012546 transfer Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 238000010438 heat treatment Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 230000005684 electric field Effects 0.000 description 2
- 238000004080 punching Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
- Accessory Devices And Overall Control Thereof (AREA)
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は画像形成装置の遠隔操作に関し、特に操作画面の表示制御に関する。 The present invention relates to remote operation of an image forming apparatus, and more particularly to display control of an operation screen.
近年、画像形成装置の操作画面が複雑化している。画像形成装置の多機能化と高機能化との進展に伴い、画像形成時に設定されるべき条件(以下、印刷条件という。)が多岐にわたると共に、各条件の選択肢が増えたことによる。操作画面では特に、グラフィックスユーザーインタフェース(GUI)部品のレイアウトと形態、および表示される用語が機種ごとに異なる。したがって、ユーザーは、使い慣れた機種以外の操作に戸惑うことが多い。 In recent years, operation screens of image forming apparatuses have become complicated. This is because the conditions to be set at the time of image formation (hereinafter referred to as “printing conditions”) are diversified and the choices of the respective conditions are increased with the progress of multi-function and high-function of image forming apparatuses. In particular, on the operation screen, the layout and form of graphics user interface (GUI) parts and the displayed terms differ depending on the model. Therefore, the user is often confused by operations other than the familiar model.
操作画面の複雑さに抗して画像形成装置の操作性を向上させるための工夫としてはたとえば、その装置の操作マニュアルをユーザーの携帯端末に表示させる技術(特許文献1、2参照。)と、その装置を他の電子機器で遠隔操作する技術(特許文献3−9参照。)とが知られている。前者の技術は、スマートフォン、タブレット等の携帯端末を画像形成装置と連携させて、画像形成装置に対するユーザーの操作に応じてその操作に関するマニュアルの記載を携帯端末に自動的に表示させ、または、携帯端末に表示されたマニュアルのページからユーザーが選択した項目に合わせて画像形成装置を自動的に動作させる。これにより、マニュアルの記載を目で追いながらの操作から受けるユーザーの負担感が軽減される。後者の技術は、画像形成装置の操作画面を、パソコン(PC)、携帯端末等の外部の電子機器にエミュレートさせる。このエミュレーション用のプログラム(以下、「操作画面プログラム」という。)には、様々なプラットフォームへの移植の簡単さが要求される。これにより、操作画面プログラムの機種依存性が低減し、操作画面の形態と仕様とが異なる機種間で共通化されることが図られている。 As a device for improving the operability of the image forming apparatus against the complexity of the operation screen, for example, a technique for displaying an operation manual of the apparatus on a user's portable terminal (see Patent Documents 1 and 2). A technique for remotely operating the apparatus with other electronic devices (see Patent Documents 3-9) is known. In the former technique, a mobile terminal such as a smartphone or a tablet is linked with an image forming apparatus, and a description of a manual regarding the operation is automatically displayed on the mobile terminal according to a user operation on the image forming apparatus, or The image forming apparatus is automatically operated according to the item selected by the user from the manual page displayed on the terminal. This reduces the user's burden of receiving operations while following the manual. The latter technique emulates an operation screen of the image forming apparatus to an external electronic device such as a personal computer (PC) or a portable terminal. The emulation program (hereinafter referred to as “operation screen program”) is required to be easily portable to various platforms. As a result, the dependence of the operation screen program on the model is reduced, and the operation screen is designed to be shared among models having different forms and specifications.
上記の工夫が加えられたとしても画像形成装置の操作画面は、その装置を使い慣れていないユーザーにとって扱いやすいものとは言い難い。実際、画像形成装置の機能の多さと高さとからその操作画面そのものを、不慣れなユーザーにも一目で把握可能な程度まで簡単化することは容易でない。また、マニュアルの表示と画像形成装置の動作との間の対応が自動化されても、別画面に表示されたマニュアルの記載を目で追いながら操作画面を扱うことは、ユーザーにとってやはり煩雑である。さらに、異機種間での操作画面プログラムの共通化は急速には進まない。異機種間では機能の種類と質との組み合わせが千差万別であり、それらの機能を実現するためのソフトウェア、ハードウェアの動作に必要なプラットフォームも異なる。これらの違いを超えて、仕様が共通するように操作画面プログラムを機種ごとに移植し直すのは、その負担が過大である。特に、異なるメーカー間では一般に画像形成装置の機能またはプラットフォームの詳細は非開示であるので、それらの違いを埋めようがない。したがって、操作画面プログラムの共通化は実現困難である。 Even if the above-described device is added, it is difficult to say that the operation screen of the image forming apparatus is easy to handle for a user who is not familiar with the apparatus. Actually, it is not easy to simplify the operation screen itself to the extent that even an unfamiliar user can grasp at a glance due to the large number of functions and height of the image forming apparatus. Further, even if the correspondence between the manual display and the operation of the image forming apparatus is automated, it is still complicated for the user to handle the operation screen while following the description of the manual displayed on another screen. Furthermore, the sharing of operation screen programs between different models does not progress rapidly. Different models have different combinations of function types and qualities, and the software and hardware platforms required to implement these functions are also different. Beyond these differences, the burden of re-porting the operation screen program for each model so that the specifications are common is excessive. In particular, since details of functions or platforms of image forming apparatuses are generally not disclosed between different manufacturers, there is no way to fill in those differences. Therefore, it is difficult to realize common operation screen programs.
本発明の目的は上記の課題を解決することであり、特に、画像形成装置の操作画面をエミュレートする際に操作画面の扱い方を、その装置に不慣れなユーザーにも容易に理解されるように支援することが可能な携帯端末を提供することにある。 An object of the present invention is to solve the above-described problem. In particular, when emulating an operation screen of an image forming apparatus, how to handle the operation screen can be easily understood by a user unfamiliar with the apparatus. It is to provide a portable terminal capable of supporting the above.
本発明の1つの観点における携帯端末は、画像形成装置の遠隔操作に供される携帯端末であり、操作対象の画像形成装置と通信する通信部と、GUI画面を表示する表示部と、その表示部の画面上に配置されたタッチパネルを含み、そのタッチパネルを通して、表示部が表示しているGUI画面に対するユーザー操作を検知する操作部と、操作対象の機種とは異なる標準機種の操作画面プログラムに従い、標準機種の操作画面を表示部に表示させると共に、その操作画面に対するユーザー操作を操作部に検知させ、そのユーザー操作に応じてコマンドを生成し、そのコマンドを通信部に操作対象へ送信させるコマンド生成部とを備えている。コマンドはパラメーターとして、標準機種の操作画面においてユーザー操作が検知された座標に対応する操作対象の操作画面内の座標を含む。 A portable terminal according to one aspect of the present invention is a portable terminal that is used for remote operation of an image forming apparatus, a communication unit that communicates with an image forming apparatus to be operated, a display unit that displays a GUI screen, and a display thereof In accordance with the operation screen program of the standard model different from the operation target model and the operation unit that detects the user operation on the GUI screen displayed on the display unit through the touch panel Command display that displays the operation screen of the standard model on the display unit, causes the operation unit to detect a user operation on the operation screen, generates a command according to the user operation, and sends the command to the operation target in the communication unit Department. The command includes, as parameters, coordinates in the operation screen to be operated corresponding to the coordinates at which the user operation is detected on the operation screen of the standard model.
コマンド生成部は、コマンドに組み込むべき操作画面内の座標を、操作対象と標準機種との間におけるコマンドの変換表に基づいて決定してもよい。この変換表は、操作対象と標準機種との間で、各画像形成装置の同等な機能が割り当てられた操作画面内の座標の対応関係を規定してもよい。この変換表は、操作対象と標準機種との間におけるコマンドの送信プロトコルの違いを更に規定してもよい。通信部は外部サーバーと通信可能であってもよく、コマンド生成部は通信部に変換表を外部サーバーから取得させてもよい。 The command generation unit may determine the coordinates in the operation screen to be incorporated in the command based on a command conversion table between the operation target and the standard model. This conversion table may define the correspondence of coordinates in the operation screen to which the equivalent functions of each image forming apparatus are assigned between the operation target and the standard model. This conversion table may further define the difference in command transmission protocol between the operation target and the standard model. The communication unit may be able to communicate with an external server, and the command generation unit may cause the communication unit to acquire a conversion table from the external server.
コマンド生成部は、操作対象からの操作画面の受信と操作対象へのコマンドの送信とをリモートパネル形式で行ってもよい。コマンド生成部は表示部に、標準機種の操作画面の含むGUI部品のうち、操作対象の操作画面の含むGUI部品のいずれにも対応しないものを無効化してもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との両方を同時に表示させてもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との間で対応するGUI部品を強調表示させてもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との間でタブまたはウィンドウの切り換えを同期させてもよい。 The command generation unit may receive the operation screen from the operation target and send the command to the operation target in a remote panel format. The command generation unit may invalidate the display unit that does not correspond to any of the GUI components included in the operation screen to be operated among the GUI components included in the operation screen of the standard model. The command generation unit may cause the display unit to simultaneously display both the operation screen to be operated and the standard model operation screen. The command generation unit may cause the display unit to highlight the corresponding GUI component between the operation screen to be operated and the operation screen of the standard model. The command generation unit may cause the display unit to synchronize switching of tabs or windows between the operation screen to be operated and the operation screen of the standard model.
本発明の1つの観点におけるシステムは、画像形成装置の遠隔操作を実現するシステムであり、上記の携帯端末と、通信部と通信可能に接続され、標準機種の操作画面内の座標と操作対象の操作画面内の座標との間の対応関係を規定する情報をコマンド生成部へ提供する外部サーバーとを備えている。
本発明の1つの観点におけるプログラムは、画像形成装置の遠隔操作に供される携帯端末に、操作対象の機種とは異なる標準機種の操作画面を表示するステップと、タッチパネルを通して操作画面に対するユーザー操作を検知するステップと、検知されたユーザー操作に応じてコマンドを生成するステップと、そのコマンドを操作対象へ送信するステップとを実行させるためのプログラムである。コマンドはパラメーターとして、標準機種の操作画面において検知されたユーザー操作の座標に対応する操作対象の操作画面内の座標を含む。
A system according to one aspect of the present invention is a system that realizes remote operation of an image forming apparatus, and is connected to the above-described portable terminal and a communication unit so as to be communicable. And an external server that provides the command generation unit with information defining the correspondence between the coordinates in the operation screen.
A program according to one aspect of the present invention includes a step of displaying an operation screen of a standard model different from a model to be operated on a portable terminal used for remote operation of the image forming apparatus, and a user operation on the operation screen through the touch panel. This is a program for executing a detecting step, a step of generating a command according to the detected user operation, and a step of transmitting the command to the operation target. The command includes, as a parameter, coordinates in the operation screen to be operated corresponding to the coordinates of the user operation detected on the operation screen of the standard model.
本発明による上記の携帯端末は、標準機種の操作画面プログラムを実行して標準機種の操作画面を表示し、その操作画面に対するユーザー操作に応じてコマンドを生成し、そのコマンドを操作対象へ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてユーザー操作が検知された座標に対応する操作対象の操作画面内の座標を含む。こうしてこの携帯端末は画像形成装置の遠隔操作に、その装置とは異なる機種の操作画面を利用可能にする。これによりこの携帯端末は、操作対象の操作画面には不慣れなユーザーにも、その装置の操作を容易に理解されるように支援することができる。 The portable terminal according to the present invention executes a standard model operation screen program to display a standard model operation screen, generates a command in response to a user operation on the operation screen, and transmits the command to an operation target. . The command includes, as parameters, coordinates in the operation screen to be operated corresponding to the coordinates at which the user operation is detected on the operation screen of the standard model. In this way, this portable terminal can use an operation screen of a model different from that of the apparatus for remote operation of the image forming apparatus. Thereby, this portable terminal can assist a user who is unfamiliar with the operation screen to be operated so that the operation of the apparatus can be easily understood.
以下、本発明の実施形態について、図面を参照しながら説明する。
[システムの構成]
図1は本発明の実施形態によるシステムのネットワーク図である。このシステムは、携帯端末100、複合機(multi-function peripheral:MFP)200、およびクラウドサーバー300を含む。携帯端末100とMFP200とはアクセスポイント401とローカルエリアネットワーク(LAN)402とを通し、データ交換可能に接続されている。アクセスポイント401はたとえば無線LAN(IEEE802.11)に準拠であり、携帯端末100を無線でLAN402に接続する。LAN402はたとえば有線LAN(IEEE802.3)に準拠のTCP/IPネットワークであり、アクセスポイント401をケーブルでMFP200に接続する。クラウドサーバー300はインターネット403とルーター404とを通してLAN402に接続されている。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[System configuration]
FIG. 1 is a network diagram of a system according to an embodiment of the present invention. This system includes a mobile terminal 100, a multi-function peripheral (MFP) 200, and a cloud server 300. The portable terminal 100 and the MFP 200 are connected to each other through an access point 401 and a local area network (LAN) 402 so that data can be exchanged. The access point 401 is compliant with, for example, a wireless LAN (IEEE 802.11), and connects the portable terminal 100 to the LAN 402 wirelessly. The LAN 402 is a TCP / IP network conforming to, for example, a wired LAN (IEEE 802.3), and connects the access point 401 to the MFP 200 with a cable. The cloud server 300 is connected to the LAN 402 through the Internet 403 and the router 404.
携帯端末100は、スマートフォン、タブレット等の携帯電子機器である。その前面にはディスプレイ101が埋め込まれ、その画面をタッチパネルが覆っている。ディスプレイ101は携帯端末100の操作画面、各種情報の入力画面等のGUI画面を表示する。タッチパネルは、そのGUI画面が含む、アイコン、ボタン、メニュー、ツールバー等のGUI部品(「ガジェット」、「ウィジェット」ともいう。)に対するユーザー操作、具体的には、タップ、フリック、スライド、ローテーション等のジェスチャーを検出する。 The portable terminal 100 is a portable electronic device such as a smartphone or a tablet. A display 101 is embedded on the front surface, and a touch panel covers the screen. The display 101 displays a GUI screen such as an operation screen of the portable terminal 100 and an input screen for various information. The touch panel is a user operation on GUI parts (also referred to as “gadgets” and “widgets”) such as icons, buttons, menus, and toolbars included in the GUI screen, specifically, tap, flick, slide, rotation, etc. Detect gestures.
MFP200は、スキャナー、コピー機、およびプリンターの機能を併せ持つ画像形成装置であり、印刷機構にはたとえば電子写真方式を採用している。MFP200の筐体の上面にはADF210が開閉可能に装着され、その筐体の上部にはスキャナー220が内蔵され、筐体の下部にはプリンター230が内蔵されている。ADF210の前面にはタッチパネル240と押しボタン等の機械スイッチ250とが配置されている。 The MFP 200 is an image forming apparatus that has the functions of a scanner, a copier, and a printer, and employs, for example, an electrophotographic system as a printing mechanism. An ADF 210 is detachably mounted on the upper surface of the MFP 200 casing, a scanner 220 is built in the upper part of the casing, and a printer 230 is built in the lower part of the casing. A touch panel 240 and a mechanical switch 250 such as a push button are disposed on the front surface of the ADF 210.
MFP200は特にリモートパネル機能を持つ。「リモートパネル」とは、自機の操作画面を他の電子機器にエミュレートさせる機能をいう。操作画面プログラムはたとえばハイパーテキストマークアップランゲージ(HTML)とJAVAスクリプト(登録商標)とによりウェブページデータとして記述されている。このプログラムは通常のウェブページと同様、ハイパーテキストトランスファープロトコル(HTTP)に従ってMFP200からLAN402上の他の電子機器へ提供される。これにより、その電子機器はそのプログラムを既存のウェブブラウザーで実行可能であり、そのプログラムに従って自機のディスプレイにMFP200の操作画面を表示可能である。この電子機器は更にその操作画面に対するユーザーの、タップ、フリック、スライド等のジェスチャーを、ウェブページにおける、クリック、ダブルクリック、ドラッグ等のイベントとして検知し、その詳細を表す情報をコマンドとしてMFP200へ返信する。このコマンドは特にパラメーターとして、検知されたイベントの種類と操作画面内の座標とを表す情報を含む。このコマンドに応じてMFP200はそのコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから特定される処理を行う。たとえば、イベントの種類が“ドラッグ”であれば、その座標に表示されたグラフィックスをドラッグに合わせて移動させるといったグラフィック処理をMFP200は行う。イベントの種類が“クリック”であれば、その座標に表示されたボタン等のGUI部品に割り当てられた自機の機能が実現するようにMFP200は動作する。 The MFP 200 particularly has a remote panel function. The “remote panel” refers to a function for emulating the operation screen of the own device to another electronic device. The operation screen program is described as web page data by, for example, hypertext markup language (HTML) and JAVA script (registered trademark). This program is provided from the MFP 200 to other electronic devices on the LAN 402 in accordance with a hypertext transfer protocol (HTTP), as with a normal web page. Thus, the electronic device can execute the program with an existing web browser, and can display the operation screen of MFP 200 on its own display according to the program. The electronic device further detects the user's gestures such as tap, flick, and slide on the operation screen as events such as clicks, double-clicks, and drags on the web page, and returns information representing the details to the MFP 200 as a command. To do. This command includes, as parameters, information indicating the type of detected event and coordinates in the operation screen. In response to this command, the MFP 200 reads the event type and the coordinates in the operation screen from the command, and performs processing specified from the combination thereof. For example, if the event type is “drag”, the MFP 200 performs graphic processing such as moving the graphic displayed at the coordinates in accordance with the drag. If the event type is “click”, the MFP 200 operates so as to realize the function of the own device assigned to the GUI component such as a button displayed at the coordinates.
携帯端末100は遠隔操作アプリケーションプログラム(以下、「遠隔操作アプリ」と略す。)を含む。遠隔操作アプリはその起動時、携帯端末100にMFP200へその操作画面プログラムを要求させる。この要求に応じてそのプログラムがMFP200からダウンロードされると遠隔操作アプリは、そのプログラムに代えて標準機種の操作画面プログラムを携帯端末100に実行させる。標準機種はMFP200とは異なる機種であり、携帯端末100のユーザーにより予め遠隔操作アプリに設定されている。たとえば、遠隔操作アプリはその最初の実行時、携帯端末100に標準機種の選択をユーザーに対して催促させる。ユーザーはたとえば、自分が普段使い慣れた機種を標準機種に選ぶ。標準機種の操作画面プログラムに従って携帯端末100は、MFP200の操作画面に代えて標準機種の操作画面を表示する。この操作画面をユーザーは、あたかもMFP200が標準機種であるかのように操作する。これらの操作を携帯端末100は検知して各操作、すなわちイベントの種類を識別し、それが検知された操作画面内の座標を特定する。各イベントの種類と座標との組み合わせに基づき、遠隔操作アプリは携帯端末100にMFP200に対するコマンドを生成させてMFP200へ送信させる。このコマンドは特にパラメーターとして、携帯端末100が特定した標準機種の操作画面内の座標に代えて、その座標が対応するMFP200の操作画面内の座標を含む。このコマンドの生成に携帯端末100はMFP200と標準機種との間でのコマンド変換表を利用する。この表は、MFP200と標準機種との操作画面間で、両機種に共通、または同等の機能が割り当てられた座標の組み合わせを規定する。この表には更に、携帯端末100でMFP200を遠隔操作する際に両者間を接続する方法、すなわちプロトコルの種類が規定されている。 The portable terminal 100 includes a remote operation application program (hereinafter abbreviated as “remote operation application”). When the remote operation application is activated, it causes the portable terminal 100 to request the operation screen program from the MFP 200. When the program is downloaded from the MFP 200 in response to this request, the remote operation application causes the portable terminal 100 to execute a standard model operation screen program instead of the program. The standard model is a model different from the MFP 200 and is set in advance as a remote operation application by the user of the mobile terminal 100. For example, when the remote operation application is executed for the first time, the mobile terminal 100 prompts the user to select a standard model. For example, the user selects a model that he / she is familiar with as a standard model. In accordance with the standard model operation screen program, the mobile terminal 100 displays the standard model operation screen instead of the operation screen of the MFP 200. The user operates this operation screen as if the MFP 200 is a standard model. The portable terminal 100 detects these operations, identifies each operation, that is, the type of event, and specifies the coordinates in the operation screen where the operation is detected. Based on the combination of each event type and coordinates, the remote operation application causes the portable terminal 100 to generate a command for the MFP 200 and transmit the command to the MFP 200. In particular, this command includes, as parameters, coordinates in the operation screen of the MFP 200 corresponding to the coordinates instead of coordinates in the operation screen of the standard model specified by the mobile terminal 100. The portable terminal 100 uses a command conversion table between the MFP 200 and the standard model for generating this command. This table defines a combination of coordinates between the operation screens of the MFP 200 and the standard model, to which common functions or equivalent functions are assigned to both models. This table further defines a method of connecting between the two when the mobile terminal 100 remotely controls the MFP 200, that is, the type of protocol.
クラウドサーバー300はたとえば、パーソナルコンピュータ(PC)、サーバー専用機、またはメインフレームである。クラウドサーバー300はMFP200と標準機種との間でのコマンド変換表を管理しており、遠隔操作アプリに従って携帯端末100が発行した要求に応じて、その表を携帯端末100にダウンロードさせる。
[携帯端末の電子制御系統]
図2は、携帯端末100の電子制御系統の構成を示すブロック図である。この系統内にでは、制御部10、表示部20、操作部30、および通信部40がバス50を通して互いに通信可能に接続されている。
The cloud server 300 is, for example, a personal computer (PC), a server dedicated machine, or a mainframe. The cloud server 300 manages a command conversion table between the MFP 200 and the standard model, and causes the portable terminal 100 to download the table in response to a request issued by the portable terminal 100 according to the remote operation application.
[Electronic control system of mobile terminals]
FIG. 2 is a block diagram illustrating a configuration of the electronic control system of the mobile terminal 100. In this system, the control unit 10, the display unit 20, the operation unit 30, and the communication unit 40 are connected through a bus 50 so as to communicate with each other.
制御部10は、携帯端末100に内蔵の印刷回路基板に実装された集積回路であり、CPU11、RAM12、およびROM13を含む。CPU11はマイクロプロセッサー(MPU)で構成され、各種ファームウェアを実行することにより、他の要素20、30、40、50に対する制御主体として各要素にその機能を実現させる。さらに、CPU11は各種アプリケーションプログラムを実行することにより、各要素20、…の機能を組み合わせて携帯端末100の全体に特定の動作を実現させる。この動作にはたとえば、操作画面等のGUI画面を表示してその画面に対するユーザーの入力操作を受け付ける動作が含まれる。RAM12は、DRAM、SRAM等の揮発性半導体メモリー装置であり、CPU11がプログラムを実行する際の作業領域をCPU11に提供する。ROM13は書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納する。後者は、EEPROM、フラッシュメモリー、ソリッドステートドライブ(SSD)等の半導体メモリー装置、またはハードディスクドライブ(HDD)を含み、アプリケーションプログラムを格納すると共に、環境変数等の保存領域をCPU11に提供する。この保存領域に格納されたデータは、携帯端末100の電源がオフである間も安定に保持される。 The control unit 10 is an integrated circuit mounted on a printed circuit board built in the mobile terminal 100 and includes a CPU 11, a RAM 12, and a ROM 13. The CPU 11 includes a microprocessor (MPU), and executes various types of firmware, thereby causing each element to realize its function as a control entity for the other elements 20, 30, 40, and 50. Further, the CPU 11 executes various application programs to combine the functions of the elements 20... To realize a specific operation in the entire mobile terminal 100. This operation includes, for example, an operation of displaying a GUI screen such as an operation screen and accepting a user input operation on the screen. The RAM 12 is a volatile semiconductor memory device such as a DRAM or SRAM, and provides the CPU 11 with a work area when the CPU 11 executes a program. The ROM 13 is composed of a combination of a non-writable nonvolatile storage device and a rewritable nonvolatile storage device. The former stores firmware. The latter includes a semiconductor memory device such as an EEPROM, a flash memory, a solid state drive (SSD), or a hard disk drive (HDD), and stores an application program and provides a storage area for environment variables and the like to the CPU 11. The data stored in the storage area is stably held even when the mobile terminal 100 is turned off.
表示部20は、制御部10と同じ印刷回路基板、または別の基板に実装された電子回路であり、デジタルシグナルプロセッサー(DSP)と液晶ディスプレイ(LCD)101とを含む。DSPは、GUI画面を表す画像データを制御部10から受信して処理することにより、その画像データでLCD101に対する印加電圧を画素単位で変調する。LCD101は、DSPからの印加電圧の変化に合わせてバックライトの一様な光を画素単位で変調する。これにより、LCD101の輝度が画素単位で変化するので、LCD101にGUI画面が再現される。 The display unit 20 is an electronic circuit mounted on the same printed circuit board as the control unit 10 or another substrate, and includes a digital signal processor (DSP) and a liquid crystal display (LCD) 101. The DSP receives image data representing the GUI screen from the control unit 10 and processes the image data, thereby modulating the voltage applied to the LCD 101 with the image data in units of pixels. The LCD 101 modulates the uniform light of the backlight in units of pixels in accordance with changes in the applied voltage from the DSP. As a result, the luminance of the LCD 101 changes in units of pixels, so that the GUI screen is reproduced on the LCD 101.
操作部30は、制御部10もしくは表示部20と同じ印刷回路基板、またはそれらのいずれとも異なる基板に実装された電子回路であり、タッチパネル21と撮像部22とを含む。タッチパネル21はLCD101の画面上に積層され、たとえば抵抗膜方式の構造を含む。ユーザーの指がタッチパネル21に接触すると、その接触部分では上側の導電膜が凹んで下側の導電膜と短絡して導電膜の電位が変化する。この変化から操作部30は、その指が接触したタッチパネルの座標を特定し、その座標を操作情報として制御部10へ伝える。撮像部22は、相補型金属酸化膜半導体電界効果トランジスター(CMOS)、電荷結合素子(CCD)等の撮像素子を含み、その撮像素子の出力が示す光量分布を画像データに変換して制御部10へ渡す。 The operation unit 30 is an electronic circuit mounted on the same printed circuit board as the control unit 10 or the display unit 20 or a substrate different from any of them, and includes a touch panel 21 and an imaging unit 22. The touch panel 21 is laminated on the screen of the LCD 101 and includes, for example, a resistance film type structure. When the user's finger touches the touch panel 21, the upper conductive film is recessed at the contact portion and short-circuited with the lower conductive film, so that the potential of the conductive film changes. From this change, the operation unit 30 specifies the coordinates of the touch panel in contact with the finger, and transmits the coordinates to the control unit 10 as operation information. The imaging unit 22 includes an imaging device such as a complementary metal oxide semiconductor field effect transistor (CMOS) or a charge coupled device (CCD), and converts the light amount distribution indicated by the output of the imaging device into image data to control the control unit 10. To pass.
通信部40は、他の要素10、20、30と同じ印刷回路基板、またはそれらのいずれとも異なる基板に実装された電子回路であり、近距離無線通信(NFC)インタフェース(I/F)41とLANI/F42とを含む。NFCI/F41はBluetooth(登録商標)等のNFCに準拠の通信回路であり、制御部10をNFC準拠の他の電子機器とデータ交換可能に接続する。LANI/F42は無線LANに準拠の通信回路であり、制御部10をアクセスポイント401とデータ交換可能に接続する。 The communication unit 40 is an electronic circuit mounted on the same printed circuit board as the other elements 10, 20, and 30, or a board different from any of them, and a near field communication (NFC) interface (I / F) 41 and LAN I / F42. The NFC I / F 41 is an NFC-compliant communication circuit such as Bluetooth (registered trademark), and connects the control unit 10 to other electronic devices compliant with NFC so as to exchange data. The LAN I / F 42 is a communication circuit conforming to a wireless LAN, and connects the control unit 10 to the access point 401 so as to exchange data.
[携帯端末によるMFPの遠隔操作]
図2が示すとおり、ROM13は遠隔操作アプリ131を格納している。ユーザーは携帯端末100をMFP200の遠隔操作に利用する際、CPU11に遠隔操作アプリ131を実行させる。これにより、CPU11はコマンド生成部110として機能する。コマンド生成部110は以下に述べるように標準機種の操作画面を、真の操作対象であるMFP200の操作画面としてエミュレートする。
[Remote operation of MFP by mobile terminal]
As shown in FIG. 2, the ROM 13 stores a remote operation application 131. When using the mobile terminal 100 for remote operation of the MFP 200, the user causes the CPU 11 to execute the remote operation application 131. Thereby, the CPU 11 functions as the command generation unit 110. The command generation unit 110 emulates an operation screen of a standard model as an operation screen of the MFP 200 that is a true operation target as described below.
コマンド生成部110はまず、MFP200のIPアドレスを取得する。具体的にはたとえば、コマンド生成部110はLCD101の表示を通してユーザーに、MFP200のIPアドレスの入力を促す。ユーザーはそのIPアドレスをタッチパネル21で入力する。そのIPアドレスを表す2次元バーコードがMFP200に表示されている場合、このバーコードをユーザーが撮像部22で撮影し、その画像をコマンド生成部110に解読させる。これらのユーザー操作に従って取得したデータからコマンド生成部110はMFP200のIPアドレスを読み取る。 First, the command generation unit 110 acquires the IP address of the MFP 200. Specifically, for example, command generation unit 110 prompts the user to input the IP address of MFP 200 through display on LCD 101. The user inputs the IP address on the touch panel 21. When a two-dimensional bar code representing the IP address is displayed on the MFP 200, the user takes a picture of the bar code with the imaging unit 22, and causes the command generation unit 110 to decode the image. The command generation unit 110 reads the IP address of the MFP 200 from the data acquired according to these user operations.
コマンド生成部110は次に、ネットワーク管理プロトコル(SNMP)マネージャーとしての機能を利用して、MFP200のIPアドレスを宛先とするSNMPメッセージを通信部40に発行させる。このメッセージに対してMFP200はSNMPエージェントとして反応し、自機の管理情報ベース(MIB)が規定する情報(以下、「MIBファイル」という。)を携帯端末100へ返信する。このMIBファイルをコマンド生成部110は通信部40にクラウドサーバー300へ転送させる。MIBは画像形成装置の機種ごとに異なるので、このMIBファイルからクラウドサーバー300はMFP200の機種を識別可能である。クラウドサーバー300は更に、識別した機種に対応するコマンド変換表132を検索する。この変換表132をコマンド生成部110は、標準機種の操作画面プログラム133と共に、クラウドサーバー300からダウンロードしてROM13に保存する。 Next, the command generation unit 110 uses the function as a network management protocol (SNMP) manager to cause the communication unit 40 to issue an SNMP message whose destination is the IP address of the MFP 200. In response to this message, the MFP 200 responds as an SNMP agent, and returns information (hereinafter referred to as “MIB file”) defined by its own management information base (MIB) to the portable terminal 100. The command generation unit 110 causes the communication unit 40 to transfer the MIB file to the cloud server 300. Since the MIB differs depending on the model of the image forming apparatus, the cloud server 300 can identify the model of the MFP 200 from the MIB file. The cloud server 300 further searches the command conversion table 132 corresponding to the identified model. The command generation unit 110 downloads this conversion table 132 from the cloud server 300 together with the standard model operation screen program 133 and stores it in the ROM 13.
コマンド生成部110は続いて、ROM13に保存されたコマンド変換表132を参照してMFP200に対する接続プロトコルを特定する。このプロトコルに従ってMFP200との接続が確立されるように、コマンド生成部110は通信部40を制御する。
接続の確立後、コマンド生成部110はHTTPに従い、MFP200からその操作画面プログラムをダウンロードする。ただし、コマンド生成部110はMFP200の操作画面プログラムに代えて、ROM13に保存された標準機種の操作画面プログラム133を実行する。標準機種の操作画面プログラム133もHTMLとJAVAスクリプト(登録商標)とを用いてウェブページデータとして記述されているので、このプログラム133をコマンド生成部110は既存のウェブブラウザーで実行可能である。これにより、標準機種の操作画面がLCD101に表示される。
Next, the command generation unit 110 refers to the command conversion table 132 stored in the ROM 13 and specifies a connection protocol for the MFP 200. The command generation unit 110 controls the communication unit 40 so that the connection with the MFP 200 is established according to this protocol.
After establishing the connection, the command generation unit 110 downloads the operation screen program from the MFP 200 according to HTTP. However, the command generation unit 110 executes the operation screen program 133 of the standard model stored in the ROM 13 instead of the operation screen program of the MFP 200. Since the operation screen program 133 of the standard model is also described as web page data using HTML and JAVA script (registered trademark), the command generation unit 110 can execute this program 133 with an existing web browser. As a result, the operation screen for the standard model is displayed on the LCD 101.
標準機種の操作画面に対するユーザーのジェスチャーをタッチパネル21が検知する。これに応じてコマンド生成部110は標準機種の操作画面プログラムに従い、まず、検知したジェスチャーの示すイベントの種類を識別し、そのイベントが生じた操作画面内の座標を特定する。コマンド生成部110は次に、識別したイベントの種類とその座標との組み合わせをパラメーターとして含むコマンドを生成する。このコマンドは標準機種に対するものであるので、コマンド生成部110はこのコマンドを、ROM13に保存されたコマンド変換表132に基づき、MFP200に対するコマンドに変換する。さらに、コマンド生成部110は変換後のコマンドを通信部40にMFP200へ、MFP200に対する接続プロトコルに従って送信させる。 The touch panel 21 detects the user's gesture for the standard model operation screen. In response to this, the command generation unit 110 first identifies the type of event indicated by the detected gesture, and specifies the coordinates in the operation screen where the event occurred, in accordance with the operation screen program of the standard model. Next, the command generation unit 110 generates a command including a combination of the identified event type and its coordinates as a parameter. Since this command is for a standard model, the command generation unit 110 converts this command into a command for the MFP 200 based on the command conversion table 132 stored in the ROM 13. Further, the command generation unit 110 causes the communication unit 40 to transmit the converted command to the MFP 200 according to the connection protocol for the MFP 200.
[クラウドサーバーの電子制御系統]
図3は、クラウドサーバー300の電子制御系統の構成を示すブロック図である。この系統内では、制御部310、データベース320、およびネットワークI/F330がバス340を通して互いに通信可能に接続されている。
制御部310は、クラウドサーバー300に内蔵の印刷回路基板に実装された集積回路であり、CPU311、RAM312、およびROM313を含む。CPU311はMPUで構成され、各種ファームウェアを実行することにより、他の要素320、330、340に対する制御主体として各要素にその機能を実現させる。さらに、CPU311は各種アプリケーションプログラムを実行することにより、各要素320、…の機能を組み合わせてクラウドサーバー300の全体に特定の動作を実現させる。RAM312は、DRAM、SRAM等の揮発性半導体メモリー装置であり、CPU311がプログラムを実行する際の作業領域をCPU311に提供する。ROM313は書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納する。後者は、EEPROM、フラッシュメモリー、SSD等の半導体メモリー装置、またはHDDを含み、アプリケーションプログラムを格納すると共に、環境変数等の保存領域をCPU311に提供する。この保存領域に格納されたデータは、携帯端末100の電源がオフである間も安定に保持される。
[Electronic control system of cloud server]
FIG. 3 is a block diagram showing the configuration of the electronic control system of the cloud server 300. In this system, the control unit 310, the database 320, and the network I / F 330 are connected to each other through a bus 340 so as to communicate with each other.
The control unit 310 is an integrated circuit mounted on a printed circuit board built in the cloud server 300 and includes a CPU 311, a RAM 312, and a ROM 313. The CPU 311 is composed of an MPU, and executes various firmware, thereby causing each element to realize its function as a control entity for the other elements 320, 330, and 340. Further, the CPU 311 executes various application programs to combine the functions of the elements 320,... To realize a specific operation in the entire cloud server 300. The RAM 312 is a volatile semiconductor memory device such as a DRAM or SRAM, and provides the CPU 311 with a work area when the CPU 311 executes a program. The ROM 313 includes a combination of a non-writable nonvolatile storage device and a rewritable nonvolatile storage device. The former stores firmware. The latter includes a semiconductor memory device such as an EEPROM, a flash memory, an SSD, or an HDD, and stores application programs and provides a storage area for environment variables and the like to the CPU 311. The data stored in the storage area is stably held even when the mobile terminal 100 is turned off.
CPU311は特定のアプリケーションプログラムの実行により、機種識別部351またはウェブサーバー352として機能する。機種識別部351はMIBファイルに基づく画像形成装置の機種識別を行う。具体的には、機種識別部351は、携帯端末100の通信部40からクラウドサーバー300へ転送されたMIBファイルを解析する。MIBファイルが示す情報は画像形成装置の機種ごとに異なるので、機種識別部351は、解析結果の示すMIBファイルの特徴からMFP200の機種を識別する。ウェブサーバー352は、携帯端末100のウェブブラウザーとの間でデータ交換をHTTPに従って行う。ウェブサーバー352は特に、そのウェブブラウザーからの要求に応じて標準機種の操作画面プログラムとその操作画面の画像データとを提供する。この画像データは、ビットマップ(BMP)、グラフィックスインターチェンジフォーマット(GIF)等のファイル形式で表現されたラスタデータである。ウェブサーバー352は更に、機種識別部351が識別したMFP200の機種と標準機種との操作画面間でのコマンド変換表をデータベース320から検索し、この表をコマンド生成部110にダウンロードさせる。 The CPU 311 functions as the model identification unit 351 or the web server 352 by executing a specific application program. The model identification unit 351 identifies the model of the image forming apparatus based on the MIB file. Specifically, the model identification unit 351 analyzes the MIB file transferred from the communication unit 40 of the mobile terminal 100 to the cloud server 300. Since the information indicated by the MIB file differs depending on the model of the image forming apparatus, the model identifying unit 351 identifies the model of the MFP 200 from the characteristics of the MIB file indicated by the analysis result. The web server 352 exchanges data with the web browser of the mobile terminal 100 according to HTTP. In particular, the web server 352 provides an operation screen program of a standard model and image data of the operation screen in response to a request from the web browser. This image data is raster data expressed in a file format such as a bitmap (BMP) or a graphics interchange format (GIF). The web server 352 further searches the database 320 for a command conversion table between the operation screens of the MFP 200 model and the standard model identified by the model identifying unit 351, and causes the command generating unit 110 to download this table.
データベース320はたとえば大容量のHDDであり、コマンド変換表群321と標準機種の操作画面プログラム322とを格納している。コマンド変換表群321は、様々なメーカーが製造する様々な機種の画像形成装置と標準機種との間でのコマンド変換表を含む。各変換表は、対応する機種の識別子に紐付けられた状態で保存されている。データベース320はその他に機種情報を含む。この情報は機種ごとにMIBの特徴を示し、機種識別部351が画像形成装置の機種を識別する際に参照される。 The database 320 is a large-capacity HDD, for example, and stores a command conversion table group 321 and a standard model operation screen program 322. The command conversion table group 321 includes command conversion tables between various types of image forming apparatuses manufactured by various manufacturers and standard models. Each conversion table is stored in a state linked to the identifier of the corresponding model. The database 320 additionally includes model information. This information indicates the characteristics of the MIB for each model, and is referred to when the model identifying unit 351 identifies the model of the image forming apparatus.
ネットワークI/F330は、TCP/IPネットワーク402、403を通してクラウドサーバー300内の他の要素310、320を携帯端末100とデータ交換可能に接続する。
[コマンド変換表]
コマンド変換表321はたとえば次のようなデータ構造を持つ。データベース320には、画像形成装置の各機種に対するコマンドの一覧表が保存されている。各表には、標準機種の搭載する機能別に、その機能と同等な機能を対象機種に実現させるためのコマンドが記載されている。実現すべき機能の同等性に基づき、各機種に対するコマンドが標準機種に対するコマンドと対応付けられる。これにより、その機種と標準機種との間でのコマンド変換表が構成される。
The network I / F 330 connects the other elements 310 and 320 in the cloud server 300 through the TCP / IP networks 402 and 403 so as to exchange data with the mobile terminal 100.
[Command conversion table]
The command conversion table 321 has the following data structure, for example. The database 320 stores a list of commands for each model of the image forming apparatus. In each table, for each function installed in the standard model, a command for realizing a function equivalent to that function in the target model is described. Based on the equivalence of functions to be realized, a command for each model is associated with a command for a standard model. Thereby, a command conversion table between the model and the standard model is constructed.
図4の(a)は、標準機種MFP−Aに対するコマンドの一覧表である。図4の(c)は、この表をマークアップ言語でコード化したものを示す図である。MFP−Aの搭載する機能にはたとえば、モノクロモード、カラーモード、片面印刷、両面印刷、および3種類のページ割り付け(1対1、2対1、4対1)が含まれる。図4の(a)が示す表では各機能の識別子である機能名に、コマンドのパラメーターとして次の3項目が対応付けられている。(1)その機能をMFP−Aに実現させるコマンドの識別子、(2)操作画面の含むGUI部品のうち、その機能が割り当てられたものが表示されるタブ/ウィンドウの識別子、および(3)その機能が割り当てられたGUI部品が表示される操作画面内の座標。タブ/ウィンドウには、メニューバー等の他のGUI部品に生じたイベントに応じてそのGUI部品の前に現れる、ポップアップメニュー、ダイアログ等が含まれる。操作画面内の座標には、スクロールバーを利用して実際の表示範囲よりも広い範囲に割り振られたものが含まれる。 FIG. 4A is a list of commands for the standard model MFP-A. FIG. 4C is a diagram showing the table encoded in a markup language. The functions installed in the MFP-A include, for example, monochrome mode, color mode, single-sided printing, double-sided printing, and three types of page allocation (1: 1, 2: 1, 4: 1). In the table shown in FIG. 4A, the following three items are associated as command parameters with function names that are identifiers of the respective functions. (1) An identifier of a command that causes the MFP-A to realize the function, (2) an identifier of a tab / window in which a GUI component included in the operation screen is assigned with the function, and (3) the Coordinates in the operation screen where GUI parts to which functions are assigned are displayed. Tabs / windows include pop-up menus, dialogs, etc. that appear in front of the GUI component in response to events occurring in other GUI components such as the menu bar. The coordinates in the operation screen include those allocated to a range wider than the actual display range using a scroll bar.
たとえば、機能名“モノクロ”には、(1)モノクロモードをMFP−Aに実現させるコマンドの識別子“^esc grayscale”、(2)モノクロモードが割り当てられたGUI部品が表示されるタブ/ウィンドウの識別子“A−a”、並びに(3)そのGUI部品が表示される操作画面内の矩形領域の含む左上の頂点のxy座標(300ピクセル、150ピクセル)、およびその矩形領域の幅150ピクセルと高さ30ピクセルとが対応付けられている。この表は更に、携帯端末100でMFP−Aを遠隔操作する際に両者間を接続する方法、すなわちプロトコルの識別子として“Type1”を規定する。 For example, the function name “monochrome” includes (1) a command identifier “^ esc grayscale” for realizing the monochrome mode in the MFP-A, and (2) a tab / window on which a GUI component to which the monochrome mode is assigned is displayed. The identifier “A-a”, and (3) the xy coordinates (300 pixels, 150 pixels) of the upper left vertex of the rectangular area in the operation screen on which the GUI component is displayed, and the width and 150 pixels of the rectangular area 30 pixels are associated with each other. This table further defines “Type 1” as an identifier of a method for connecting between MFP-A when the portable terminal 100 is remotely operated, that is, a protocol identifier.
図4の(b)は、MFP200の機種MFP−Bに対するコマンドの一覧表である。図4の(d)は、この表をマークアップ言語でコード化したものを示す図である。この表の構成は、図4の(a)の示す表の構成と同様である。たとえば、機能名“モノクロ”には(1)モノクロモードをMFP−Bに実現させるコマンドの識別子“@monochrome”、(2)モノクロモードが割り当てられたGUI部品が表示されるタブ/ウィンドウの識別子“B−a”、並びに(3)そのGUI部品が表示される操作画面内の矩形領域の含む左上の頂点のxy座標(50ピクセル、140ピクセル)、およびその矩形領域の幅120ピクセルと高さ30ピクセルとが対応付けられている。標準機種MFP−Aの搭載する機能のうち、操作対象MFP−Bの搭載する機能のいずれとも同等でないものについては、その名称に対応する項目が空欄で表現される。具体的には、MFP−Bは両面印刷と4対1のページ割り付けとを含まないので、機能名“両面”と“4in1”とに対応する項目は空欄である。この表は更に、携帯端末100でMFP−Bを遠隔操作する際に両者間を接続する方法、すなわちプロトコルの識別子として“Type2”を規定する。 FIG. 4B is a list of commands for the MFP 200 type MFP-B. FIG. 4D is a diagram showing the table encoded in a markup language. The configuration of this table is the same as the configuration of the table shown in FIG. For example, the function name “monochrome” includes (1) a command identifier “@monochrome” for realizing the monochrome mode in the MFP-B, and (2) a tab / window identifier “in which a GUI component to which the monochrome mode is assigned” is displayed. B a ″, and (3) the xy coordinates (50 pixels, 140 pixels) of the upper left vertex of the rectangular area in the operation screen on which the GUI component is displayed, and the width 120 pixels and the height 30 of the rectangular area Pixels are associated with each other. Among the functions installed in the standard model MFP-A, for the functions that are not equivalent to any of the functions installed in the operation target MFP-B, the item corresponding to the name is represented by a blank. Specifically, since MFP-B does not include duplex printing and 4-to-1 page allocation, the items corresponding to the function names “duplex” and “4 in 1” are blank. This table further defines “Type 2” as an identifier of a method for connecting between the MFP-B when the portable terminal 100 is remotely operated, that is, a protocol identifier.
−コマンドの変換−
標準機種の操作画面に対するユーザーの、タップ、フリック、スライド等のジェスチャーをタッチパネル21が検知する。これらのジェスチャーからコマンド生成部110はMFP20に対するコマンドを、以下に記載された手順で生成する。
コマンド生成部110はまず、検知されたジェスチャーの種類に対応するイベントの種類を識別し、そのジェスチャーが検知された標準機種MFP−Aの操作画面内の座標を特定する。ジェスチャーの種類がたとえば、短時間の“タッチ”であればイベントの種類が“クリック”に識別され、比較的ゆっくりとした“フリック”であれば“ドラッグ”に識別される。
-Command conversion-
The touch panel 21 detects a user's gesture such as tap, flick, and slide on the operation screen of the standard model. From these gestures, the command generation unit 110 generates a command for the MFP 20 according to the procedure described below.
First, the command generation unit 110 identifies the event type corresponding to the detected gesture type, and specifies the coordinates in the operation screen of the standard model MFP-A where the gesture is detected. For example, if the type of gesture is “touch” for a short time, the type of event is identified as “click”, and if it is a relatively slow “flick”, it is identified as “drag”.
コマンド生成部110は次に、識別したイベントの種類とその座標とをパラメーターとして含むコマンドを、標準機種MFP−Aの操作画面プログラムに従って生成する。このコマンドは標準機種MFP−Aに対するものであり、すなわち、それが含むイベントの種類と座標との組み合わせから特定される機能をMFP−Aに実現させる。
コマンド生成部110は続いて、遠隔操作アプリ131に従い、標準機種MFP−Aに対するコマンドをMFP200の機種MFP−Bに対するコマンドに変換する。この際、ROM13に保存されたコマンド変換表132は次のように利用される。コマンド生成部110はまず、変換前のコマンドから特定されるMFP−Aの機能を、図4の(a)の示すMFP−Aに対するコマンドの一覧表から特定する。具体的には、この表からコマンド生成部110は、生成したコマンドの識別子に対応する機能名を検索する。たとえば、そのコマンドが識別子“^esc noduplex”を含む場合、この識別子に対応する機能名“片面”が検索される。この機能名に対応するコマンドをコマンド生成部110は、図4の(b)の示すMFP−Bに対するコマンドの一覧表から検索する。たとえば、機能名“片面”で検索されるMFP−Bに対するコマンドは、その機能名に対応付けられた、(1)コマンドの識別子“@simplex”、(2)タブ/ウィンドウの識別子“B−a”、および(3)xy座標(400ピクセル、140ピクセル)、幅120ピクセルと高さ30ピクセルを含む。
Next, the command generation unit 110 generates a command including the identified event type and its coordinates as parameters according to the operation screen program of the standard model MFP-A. This command is for the standard model MFP-A, that is, causes the MFP-A to realize a function specified by the combination of the type of event and coordinates included in the command.
Subsequently, command generation unit 110 converts a command for standard model MFP-A into a command for model MFP-B of MFP 200 in accordance with remote operation application 131. At this time, the command conversion table 132 stored in the ROM 13 is used as follows. First, the command generation unit 110 specifies the function of the MFP-A specified from the command before conversion from the list of commands for the MFP-A shown in FIG. Specifically, from this table, the command generation unit 110 searches for a function name corresponding to the identifier of the generated command. For example, if the command includes the identifier “^ esc noduplex”, the function name “single side” corresponding to this identifier is retrieved. The command generation unit 110 searches for a command corresponding to this function name from the command list for the MFP-B shown in FIG. For example, a command for MFP-B searched with the function name “single side” is associated with the function name: (1) command identifier “@simplex”, (2) tab / window identifier “Ba” And (3) xy coordinates (400 pixels, 140 pixels), width 120 pixels and height 30 pixels.
コマンド生成部110はその後、遠隔操作アプリに従い、生成したMFP−Bに対するコマンドを通信部40にMFP200へ送信させる。具体的には、コマンド生成部110はまず、図4の(b)の示すMFP−Bに対するコマンドの一覧表から接続プロトコルの識別子“Type2”を検索する。この識別子“Type2”からコマンド生成部110は接続プロトコルを特定し、このプロトコルに従ってコマンド生成部110は通信部40を制御する。これにより通信部40とMFP200との間の接続が確立され、コマンド生成部110の生成したコマンドが通信部40からMFP200へ送信される。このコマンドはMFP200の機種MFP−Bに対するコマンドであり、特に、図4の(b)の示す(1)そのコマンドの識別子、(2)そのコマンドが割り当てられたGUI部品を含むタブ/ウィンドウの識別子、および(3)そのGUI部品が表示されるMFP−Bの操作画面内の座標をパラメーターとして含む。これらのパラメーターについては、遠隔操作アプリを実行する携帯端末100とMFP−Bの操作画面プログラムを実行する他の携帯端末との間に違いはない。したがって、このコマンドに応じてMFP200は、そのコマンドの表す機能が実現するように動作する。 Thereafter, the command generation unit 110 causes the communication unit 40 to transmit a command for the generated MFP-B to the MFP 200 in accordance with the remote operation application. Specifically, the command generation unit 110 first searches the connection protocol identifier “Type2” from the list of commands for the MFP-B shown in FIG. From this identifier “Type2”, the command generation unit 110 specifies a connection protocol, and the command generation unit 110 controls the communication unit 40 according to this protocol. Thereby, the connection between the communication unit 40 and the MFP 200 is established, and the command generated by the command generation unit 110 is transmitted from the communication unit 40 to the MFP 200. This command is a command for the model MFP-B of the MFP 200, and in particular, (1) the identifier of the command shown in (b) of FIG. 4, and (2) the identifier of the tab / window including the GUI component to which the command is assigned. And (3) the coordinates in the operation screen of MFP-B on which the GUI part is displayed are included as parameters. Regarding these parameters, there is no difference between the portable terminal 100 that executes the remote operation application and the other portable terminals that execute the operation screen program of the MFP-B. Therefore, in response to this command, MFP 200 operates so as to realize the function represented by the command.
[画像形成装置の構造]
図5は、プリンター230の内部構造を模式的に示す正面図である。図5は特にプリンター230の内部の要素を、あたかも筐体の前面を透かして見えているように表す。この図が示すとおり、プリンター230は、給送部510、作像部520、定着部530、および排紙部540を含む。
[Structure of image forming apparatus]
FIG. 5 is a front view schematically showing the internal structure of the printer 230. FIG. 5 particularly shows the elements inside the printer 230 as if they were seen through the front of the housing. As shown in this figure, the printer 230 includes a feeding unit 510, an image forming unit 520, a fixing unit 530, and a paper discharge unit 540.
給送部510は、搬送ローラー群512、513、514を利用して、給紙カセット11に収容されたシートの束SHTからシートSH1を1枚ずつ作像部520へ給送する。給紙カセット11に収容可能なシートSHTの材質は紙または樹脂等であり、紙種は、普通紙、上質紙、カラー用紙、または塗工紙等であり、サイズは、A3、A4、A5、またはB4等である。シートの姿勢は縦横のいずれにも設定可能である。 The feeding unit 510 feeds the sheet SH1 from the sheet bundle SHT stored in the sheet feeding cassette 11 to the image forming unit 520 one by one using the transport roller groups 512, 513, and 514. The material of the sheet SHT that can be accommodated in the paper feed cassette 11 is paper or resin, the paper type is plain paper, high-quality paper, color paper, coated paper, etc., and the sizes are A3, A4, A5, Or B4 or the like. The posture of the seat can be set to either vertical or horizontal.
作像部520はタンデム型であり、給送部510から送られたシートSH2にカラーまたはモノクロのトナー像を形成する。具体的には、4つの感光体(PC)ユニット521Y、21M、21C、21Kのそれぞれが、感光体(PC)ドラム525の表面を帯電させ、その帯電部分に露光部527からの光を当てる。これらの光は、画像データの示すイエロー(Y)、マゼンタ(M)、シアン(C)、ブラック(K)の階調値分布に従って変調されているので、PCドラム525の表面には異なる色の静電潜像が形成される。各PCユニット521Y、…はこの静電潜像を、Y、M、C、Kのトナーで現像する。4色のトナー像は1次転写ローラー522Y、522M、522C、522KとPCドラム521Y、…との間の電界により、PCドラム525の表面から順番に中間転写ベルト523の表面上の同じ位置へ転写される。こうして、その位置に1つのカラートナー像が構成される。このカラートナー像はその後、中間転写ベルト523の駆動プーリー523Rと2次転写ローラー524との間のニップを通過する際、両者523R、524間の電界により、同じニップへ同時に通紙されたシートSH2の表面へ転写される。このシートSH2は2次転写ローラー524から剥がされた後、定着部530へ送り出される。 The image forming unit 520 is a tandem type, and forms a color or monochrome toner image on the sheet SH <b> 2 sent from the feeding unit 510. Specifically, each of the four photoconductor (PC) units 521Y, 21M, 21C, and 21K charges the surface of the photoconductor (PC) drum 525, and applies light from the exposure unit 527 to the charged portion. Since these lights are modulated according to the gradation value distribution of yellow (Y), magenta (M), cyan (C), and black (K) indicated by the image data, the surface of the PC drum 525 has different colors. An electrostatic latent image is formed. Each PC unit 521Y,... Develops this electrostatic latent image with Y, M, C, and K toners. The four color toner images are transferred from the surface of the PC drum 525 sequentially to the same position on the surface of the intermediate transfer belt 523 by the electric field between the primary transfer rollers 522Y, 522M, 522C, 522K and the PC drum 521Y,. Is done. Thus, one color toner image is formed at that position. Thereafter, when this color toner image passes through the nip between the driving pulley 523R of the intermediate transfer belt 523 and the secondary transfer roller 524, the sheet SH2 is simultaneously fed to the same nip by the electric field between the two 523R and 524. It is transferred to the surface. The sheet SH <b> 2 is peeled off from the secondary transfer roller 524 and then sent out to the fixing unit 530.
定着部530は、作像部520から送り出されたシートSH2の上にトナー像を熱定着させる。具体的には、このシートSH2が加熱ローラー531と加圧ローラー532との間のニップへ通紙されるとき、加熱ローラー531はそのシートSH2の表面へ内蔵のヒーターの熱を加え、加圧ローラー532はそのシートSH2の加熱部分に対して圧力を加えて加熱ローラー531へ押し付ける。加熱ローラー531からの熱と加圧ローラー532からの圧力とにより、トナーがそのシートSH2の表面上に溶着する。その後、加熱ローラー531と加圧ローラー532とはこのシートSH2を定着部530から送出する。 The fixing unit 530 thermally fixes the toner image on the sheet SH2 sent out from the image forming unit 520. Specifically, when the sheet SH2 is passed through the nip between the heating roller 531 and the pressure roller 532, the heating roller 531 applies heat of a built-in heater to the surface of the sheet SH2, and the pressure roller 532 applies pressure to the heated portion of the sheet SH2 and presses it against the heating roller 531. The toner is welded onto the surface of the sheet SH2 by the heat from the heating roller 531 and the pressure from the pressure roller 532. Thereafter, the heating roller 531 and the pressure roller 532 deliver the sheet SH2 from the fixing unit 530.
排紙部540は、定着部530から送出されたシートSH3を排紙トレイ541へ搬送する。具体的には、そのシートSH3の先端が定着部530から排紙ローラー543の間のニップまで到達したとき、この先端を排紙ローラー543が排紙口542へ引き込む。これにより、そのシートSH3は先端から順に排紙口542を通過し、排紙トレイ541に積載される。 The paper discharge unit 540 conveys the sheet SH3 sent from the fixing unit 530 to the paper discharge tray 541. Specifically, when the leading end of the sheet SH3 reaches the nip between the fixing unit 530 and the discharge roller 543, the discharge roller 543 pulls the leading end into the discharge port 542. As a result, the sheet SH3 sequentially passes through the paper discharge outlet 542 from the leading edge and is stacked on the paper discharge tray 541.
[画像形成装置の電子制御系統]
図6は、MFP200の電子制御系統の構成を示すブロック図である。この制御系統では、ADF210、スキャナー220、およびプリンター230に加え、操作部550と主制御部560とがバス590を通して互いに通信可能に接続されている。
−操作部−
操作部550はユーザーの操作または外部の電子機器との通信を通してジョブ処理の要求と印刷対象の画像データとを受け付け、それらの情報を主制御部560へ伝える。図6が示すように、操作部550は操作パネル551と外部インタフェース(I/F)552とを含む。操作パネル551は、図1の示すタッチパネル240と機械スイッチ250とを含む。タッチパネル240はたとえば抵抗膜方式である。操作パネル551は、操作画面等のGUI画面をタッチパネル240に表示し、ユーザーの指の接触に伴うタッチパネル240の電位変化から、その指が接触した画面内の座標を特定する。操作パネル551はまた、ユーザーが操作した機械スイッチ250を識別する。これらの情報を操作パネル551は操作情報として主制御部560へ伝える。外部I/F52は、メモリーI/F、NFCI/F、およびLANI/Fを含む。メモリーI/FはUSBポートまたはメモリーカードスロットを含み、それらを通してUSBメモリーまたはHDD等の外付けの記憶装置から直に印刷対象の画像データを取り込む。NFCI/FはBluetooth(登録商標)等のNFCに準拠の通信回路であり、主制御部560を携帯端末100等、NFC準拠の他の電子機器とデータ交換可能に接続する。LANI/Fは有線LANまたは無線LANに準拠の通信回路であり、主制御部560をTCP/IPネットワーク402、403とデータ交換可能に接続し、そのネットワーク402、403上の他の電子機器から印刷対象の画像データを受信する。
[Electronic control system of image forming apparatus]
FIG. 6 is a block diagram showing the configuration of the electronic control system of MFP 200. In this control system, in addition to the ADF 210, the scanner 220, and the printer 230, an operation unit 550 and a main control unit 560 are connected to each other through a bus 590 so as to communicate with each other.
-Operation part-
The operation unit 550 receives a job processing request and image data to be printed through a user operation or communication with an external electronic device, and transmits the information to the main control unit 560. As shown in FIG. 6, the operation unit 550 includes an operation panel 551 and an external interface (I / F) 552. Operation panel 551 includes touch panel 240 and mechanical switch 250 shown in FIG. The touch panel 240 is, for example, a resistive film type. The operation panel 551 displays a GUI screen such as an operation screen on the touch panel 240, and specifies the coordinates in the screen where the finger touches from the potential change of the touch panel 240 accompanying the touch of the user's finger. The operation panel 551 also identifies the mechanical switch 250 operated by the user. The operation panel 551 transmits this information to the main control unit 560 as operation information. The external I / F 52 includes a memory I / F, an NFC I / F, and a LAN I / F. The memory I / F includes a USB port or a memory card slot, through which image data to be printed is taken directly from an external storage device such as a USB memory or HDD. The NFC I / F is an NFC-compliant communication circuit such as Bluetooth (registered trademark), and connects the main control unit 560 to other electronic devices such as the mobile terminal 100 so as to exchange data. The LAN I / F is a communication circuit conforming to a wired LAN or a wireless LAN. The main control unit 560 is connected to the TCP / IP networks 402 and 403 so that data can be exchanged and printed from other electronic devices on the networks 402 and 403. Receive target image data.
−主制御部−
主制御部560は、MFP200の内部に設置された1枚の印刷回路基板に実装された集積回路であり、CPU561、RAM562、およびROM563を含む。CPU561は1つのMPUで構成され、各種ファームウェアを実行することにより、他の要素550、210、220、230に対する制御主体としての多様な機能を実現する。CPU561はたとえば、操作部550に操作画面を表示させてユーザーの入力操作を受け付けさせ、受け付けた情報を操作情報として通知させる。この通知に応じてCPU561は、操作情報からMFP200の機能を特定し、その機能が実現するように他の要素550、210、…を制御する。たとえば、操作情報が、ジョブ処理の開始、その停止等、MFP200の動作モードの変更を要求するものである場合、CPU561は、稼動モード、待機(低電力)モード、スリープモード等の中から動作モードを選択し、その動作モードに応じた処理を各要素210、220、230に指示する。また、操作情報が、ジョブの処理条件、特に、シートのサイズ、紙種、姿勢(縦置きと横置きとの別)、部数、カラー/モノクロの別、画質等の印刷条件を含む場合、その条件に従って、RAM562またはROM563が保存するパラメーターの数値を更新する。たとえば、CPU561は、操作情報が示すシートの紙種に応じてシートの搬送速度の目標値を選択し、その目標値をプリンター230に指示する。RAM562は、DRAM、SRAM等の揮発性半導体メモリー装置であり、CPU561にファームウェアを実行する際の作業領域を提供すると共に、操作部550が受け付けた印刷対象の画像データを保存する。ROM563は、書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納し、後者は、EEPROM、フラッシュメモリー、SSD等の半導体メモリー装置、またはHDDを含み、CPU561に環境変数等の保存領域を提供する。
−Main control unit−
The main control unit 560 is an integrated circuit mounted on a single printed circuit board installed inside the MFP 200, and includes a CPU 561, a RAM 562, and a ROM 563. The CPU 561 is configured by one MPU, and implements various functions as a control subject for the other elements 550, 210, 220, and 230 by executing various firmware. For example, the CPU 561 displays an operation screen on the operation unit 550 to accept a user input operation, and notifies the received information as operation information. In response to this notification, the CPU 561 identifies the function of the MFP 200 from the operation information and controls the other elements 550, 210,... So that the function is realized. For example, when the operation information is a request for changing the operation mode of the MFP 200 such as start or stop of job processing, the CPU 561 selects the operation mode from among the operation mode, standby (low power) mode, sleep mode, and the like. And instruct each element 210, 220, 230 to perform processing according to the operation mode. Also, if the operation information includes job processing conditions, especially printing conditions such as sheet size, paper type, orientation (separate between portrait and landscape), number of copies, color / monochrome, image quality, etc. The parameter values stored in the RAM 562 or the ROM 563 are updated according to the conditions. For example, the CPU 561 selects a target value for the sheet conveyance speed in accordance with the sheet type of the sheet indicated by the operation information, and instructs the printer 230 for the target value. The RAM 562 is a volatile semiconductor memory device such as a DRAM or SRAM, and provides a work area for executing firmware to the CPU 561 and stores image data to be printed received by the operation unit 550. The ROM 563 is configured by a combination of a non-writable nonvolatile storage device and a rewritable nonvolatile storage device. The former stores firmware, and the latter includes a semiconductor memory device such as EEPROM, flash memory, SSD, or HDD, and provides a storage area for environment variables and the like to the CPU 561.
主制御部560は、特定のファームウェアの実行によりリモートパネルサーバー570として機能する。リモートパネルサーバー570は操作部550と連携して、リモートパネルを利用したMFP200の遠隔操作機能を、携帯端末100等、LAN402上の他の電子機器に提供する。具体的には、リモートパネルサーバー570は、ウェブページデータとして記述されたMFP200の操作画面プログラムをHTTPに従って他の電子機器へ送信する。そのプログラムをウェブブラウザーで実行することにより、この電子機器はMFP200の操作画面をエミュレートする。この電子機器からMFP200に対するコマンドが返信されると、リモートパネルサーバー570はこのコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから自機の機能を特定する。この機能が実現するように、主制御部560は他の要素550、210、220、230を制御する。 The main control unit 560 functions as the remote panel server 570 by executing specific firmware. The remote panel server 570 cooperates with the operation unit 550 to provide a remote operation function of the MFP 200 using the remote panel to other electronic devices on the LAN 402 such as the portable terminal 100. Specifically, remote panel server 570 transmits an operation screen program of MFP 200 described as web page data to another electronic device according to HTTP. By executing the program with a web browser, the electronic device emulates the operation screen of the MFP 200. When a command for the MFP 200 is returned from the electronic device, the remote panel server 570 reads the event type and the coordinates in the operation screen from the command, and identifies the function of the own device from the combination thereof. The main control unit 560 controls the other elements 550, 210, 220, and 230 so that this function is realized.
[操作画面間でのグラフィックスの対応]
図7の(a)は、遠隔操作アプリに従って携帯端末100が表示する標準機種MFP−Aの操作画面CPAを示す模式図であり、図7の(b)は、操作対象のMFP200が表示する別機種MFP−Bの操作画面CPBを示す模式図である。MFP200では操作部550がMFP−Bの操作画面CPBをタッチパネル240に表示させて、その画面に対するユーザー操作を受け付ける。MFP200が外部の電子機器から遠隔操作を受け付ける場合、リモートパネルサーバー570がその機器にMFP−Bの操作画面プログラムをダウンロードさせる。通常はこのプログラムがその機器により実行されるので、その機器のディスプレイにはMFP−Bの操作画面CPBが表示される。しかし、携帯端末100は遠隔操作アプリに従い、MFP−Bの操作画面プログラムに代えてMFP−Aの操作画面プログラムを実行する。したがって、携帯端末100のタッチパネル21にはMFP−Aの操作画面CPAが表示される。
[Support for graphics between operation screens]
FIG. 7A is a schematic diagram showing an operation screen CPA of the standard model MFP-A displayed on the portable terminal 100 in accordance with the remote operation application, and FIG. It is a schematic diagram showing an operation screen CPB of model MFP-B. In MFP 200, operation unit 550 displays operation screen CPB of MFP-B on touch panel 240, and accepts a user operation on the screen. When the MFP 200 accepts a remote operation from an external electronic device, the remote panel server 570 causes the device to download the operation screen program of the MFP-B. Normally, since this program is executed by the device, the operation screen CPB of MFP-B is displayed on the display of the device. However, the portable terminal 100 executes the operation screen program of MFP-A instead of the operation screen program of MFP-B according to the remote operation application. Therefore, the operation screen CPA of MFP-A is displayed on the touch panel 21 of the mobile terminal 100.
図7が示すとおり、いずれの操作画面CPA、CPBも一般に複雑であり、これらの間では、GUI部品のレイアウトと形態、および表示される用語が一般に異なる。しかし、MFP−A、Bはいずれも画像形成装置であることに違いはないので、これらの間には共通の、または同等の機能が存在する。これらの機能が割り当てられたGUI部品は、いずれの操作画面CPA、CPBにおいてもいずれかのタブまたはウィンドウに表示される。具体的にはたとえば、印刷対象のシートのサイズ、紙種、姿勢、部数、カラー/モノクロの別、画質等の印刷条件は画像形成装置全般で共通するので、これらの条件を設定するためのGUI部品はいずれの操作画面CPA、CPBにも含まれる。たとえば、図7の(a)の示すMFP−Aの操作画面CPAは5つのボタンBTG、“オートカラー”、“フルカラー”、“ブラック”、“2色カラー”、“単色カラー”を含む。これらBTGはカラー/モノクロモード間での選択肢を表し、ユーザーの指が触れたボタンに対応する動作モードが選択される。一方、図7の(b)の示すMFP−Bの操作画面CPBは単一のボタンBTS、“オートカラー”を含む。このボタンBTSにユーザーの指が触れると、図7の(b)には示されていないが、カラー/モノクロモード間での選択肢を表すメニューが操作画面CPBにポップアップ表示される。一般に、各選択肢の名称は異なるが、対応する動作モードにおいて発現する機能は共通し、または同等である。図4の示すコマンド変換表では、図7の(a)の示す5つのボタンBTGの座標と、図7の(b)の示す単一のボタンBTSの座標とが互いに対応付けられている。したがって、携帯端末100のコマンド生成部110は、MFP−Aの操作画面の含む5つのボタンBTGの座標、たとえばボタン“オートカラー”の座標を、MFP−Bの操作画面の含む単一のボタンBTSの座標に正しく変換することができる。 As shown in FIG. 7, the operation screens CPA and CPB are generally complicated, and the layout and form of GUI parts and the displayed terms are generally different between them. However, since there is no difference that both MFP-A and B are image forming apparatuses, there is a common or equivalent function between them. The GUI component to which these functions are assigned is displayed on any tab or window on any operation screen CPA or CPB. Specifically, for example, printing conditions such as the size of the sheet to be printed, paper type, orientation, number of copies, color / monochrome, and image quality are common to all image forming apparatuses, so a GUI for setting these conditions is used. Parts are included in any of the operation screens CPA and CPB. For example, the operation screen CPA of the MFP-A shown in FIG. 7A includes five buttons BTG, “auto color”, “full color”, “black”, “two color”, and “single color”. These BTGs represent options between color / monochrome modes, and an operation mode corresponding to a button touched by the user's finger is selected. On the other hand, the operation screen CPB of the MFP-B shown in FIG. 7B includes a single button BTS, “Auto Color”. When the user's finger touches this button BTS, although not shown in FIG. 7B, a menu representing options between the color / monochrome modes pops up on the operation screen CPB. In general, the names of the options are different, but the functions that appear in the corresponding operation modes are common or equivalent. In the command conversion table shown in FIG. 4, the coordinates of the five buttons BTG shown in FIG. 7A and the coordinates of the single button BTS shown in FIG. 7B are associated with each other. Therefore, the command generation unit 110 of the mobile terminal 100 includes the coordinates of the five buttons BTG included in the operation screen of the MFP-A, for example, the coordinates of the button “auto color”, and the single button BTS included in the operation screen of the MFP-B. Can be converted to the correct coordinates.
図4の(b)の示すMFP−Bに対するコマンドの一覧表では、機能名“両面”と“4in1”とに対応する項目が空欄である。したがって、MFP200は両面印刷と4対1のページ割り付けとを含まない。このように、MFP−Aの搭載する機能の中に、MFP−Bの搭載する機能のいずれとも同等でないものが存在することをコマンド変換表が示す場合がある。この場合、コマンド生成部110はMFP−Aの操作画面CPAのうち、これらの機能が割り当てられたGUI部品DS1、DS2、DS3を無効化する。具体的にはたとえば、印刷時に動作モード“単色カラー”が選択される場合、その単色をユーザーに選択させる機能をMFP−Aは搭載しているが、MFP−Bは搭載していない。この場合、コマンド生成部110はMFP−Aの操作画面CPAにおいて、単色の選択機能が割り当てられたボタン“カラー選択”DS1を無効化し、その外観をグレーアウトさせる。これにより、そのボタンDS1が無効化されていることをユーザーは一目でわかる。 In the list of commands for the MFP-B shown in FIG. 4B, items corresponding to the function names “double-sided” and “4in1” are blank. Therefore, the MFP 200 does not include duplex printing and 4-to-1 page allocation. Thus, the command conversion table may indicate that some of the functions installed in MFP-A are not equivalent to any of the functions installed in MFP-B. In this case, the command generation unit 110 invalidates the GUI parts DS1, DS2, and DS3 to which these functions are assigned in the operation screen CPA of the MFP-A. Specifically, for example, when the operation mode “single color” is selected at the time of printing, the MFP-A has a function for allowing the user to select the single color, but the MFP-B is not. In this case, the command generation unit 110 invalidates the button “color selection” DS1 to which the single color selection function is assigned on the operation screen CPA of the MFP-A, and grays out the appearance thereof. Thus, the user can recognize at a glance that the button DS1 is invalidated.
コマンド変換表が規定する操作画面CPA、CPB間での座標の対応は、現に表示されているタブ/ウィンドウ内の座標のみを対象とするものではない。その対象には、メニューバー等のGUI部品に生じたイベントに応じてそのGUI部品の前に現れる、ポップメニュー、ダイアログ等のウィンドウ内の座標も含まれる。また、スクロールバーを利用して、実際に表示されたウィンドウの範囲よりも広く設定された仮想的な範囲の中の座標も含まれる。 The correspondence of coordinates between the operation screens CPA and CPB defined by the command conversion table is not limited to the coordinates in the tab / window currently displayed. The target includes coordinates in windows such as pop menus and dialogs that appear in front of the GUI component in response to an event occurring in the GUI component such as a menu bar. In addition, the coordinates in the virtual range set wider than the range of the window actually displayed using the scroll bar are also included.
図8の(a)は、標準機種MFP−Aの操作画面CPAに対するユーザー操作に応じてその画面CPAから切り換わった設定画面CA2を示す模式図である。操作画面CPAの含むボタン“仕上り”BT1にユーザーの指がタッチした場合、そのボタンBT1の表示領域におけるタッチパネル21の電位変化から操作部30は、ジェスチャーの種類がタッチであることとそのタッチの座標とをコマンド生成部110へ通知する。この通知に応じてコマンド生成部110はまず、そのタッチをボタンBT1に対するクリックイベントとして識別する。コマンド生成部110は次に、通知されたタッチパネル21上の座標を、そのクリックイベントが生じた操作画面CPA内の座標に読み換える。図8の(a)の例ではタッチパネル21と操作画面CPAとの間で座標値が共通であるが、操作画面CPA内の座標には、現に表示されているウィンドウCPAの識別子が添付される。コマンド生成部110は続いて、MFP−Aの操作画面プログラムに従い、操作画面CPA内の座標におけるクリックイベントに対する処理として、操作画面CPAから設定画面CA2への切り換えをMFP−Aに対して指示するためのコマンドを生成する。この設定画面CA2は、印刷ジョブの仕上げ、すなわち印刷処理を受けたシートに対する後処理を規定するパラメーターの設定画面である。このパラメーターにはたとえば、ソートの種類(部ごと、またはページごと)、仕分け、折り、綴じ、穴開けの要否、ステープルとパンチとの位置が含まれる。生成されたコマンドに応じてMFP−Aの操作画面プログラムはコマンド生成部110に、操作画面CPAを設定画面CA2へ実際に切り換えさせる。このとき、設定画面CA2の画像データがRAM12に保存されていなければ、その画像データをコマンド生成部110はクラウドサーバー300からダウンロードする。その後、設定画面CA2の含むボタンにユーザーの指がタッチしたことを操作部30から通知された場合、この通知に応じてコマンド生成部110は、そのタッチをボタンに対するクリックイベントとして識別し、そのクリックイベントが生じた設定画面CA2内の座標を特定する。この座標には設定画面CA2の識別子が添付される。コマンド生成部110は更に、MFP−Aの操作画面プログラムに従い、設定画面CA2内の座標におけるクリックイベントに対する処理として、その座標に対応するパラメーターの値をMFP−Aに対して指定するためのコマンドを生成する。 FIG. 8A is a schematic diagram showing a setting screen CA2 that is switched from the screen CPA in response to a user operation on the operation screen CPA of the standard model MFP-A. When the user's finger touches the button “finish” BT1 included in the operation screen CPA, the operation unit 30 determines that the gesture type is touch and the coordinates of the touch from the potential change of the touch panel 21 in the display area of the button BT1. To the command generation unit 110. In response to this notification, the command generator 110 first identifies the touch as a click event for the button BT1. Next, the command generation unit 110 replaces the notified coordinates on the touch panel 21 with the coordinates in the operation screen CPA where the click event has occurred. In the example of FIG. 8A, coordinate values are common between the touch panel 21 and the operation screen CPA, but the identifier of the currently displayed window CPA is attached to the coordinates in the operation screen CPA. The command generation unit 110 then instructs the MFP-A to switch from the operation screen CPA to the setting screen CA2 as a process for the click event at the coordinates in the operation screen CPA according to the operation screen program of the MFP-A. Generate commands for The setting screen CA2 is a parameter setting screen that defines finishing of a print job, that is, post-processing for a sheet that has undergone printing processing. This parameter includes, for example, sort type (by copy or by page), sorting, folding, binding, necessity of punching, and positions of staples and punches. In response to the generated command, the operation screen program of MFP-A causes the command generation unit 110 to actually switch the operation screen CPA to the setting screen CA2. At this time, if the image data of the setting screen CA2 is not stored in the RAM 12, the command generation unit 110 downloads the image data from the cloud server 300. Thereafter, when the operation unit 30 notifies that the user's finger touches the button included in the setting screen CA2, in response to this notification, the command generation unit 110 identifies the touch as a click event for the button, and clicks the button. The coordinates in the setting screen CA2 where the event has occurred are specified. The identifier of the setting screen CA2 is attached to this coordinate. Further, the command generation unit 110 performs a command for designating a value of a parameter corresponding to the coordinates to the MFP-A as a process for the click event at the coordinates in the setting screen CA2 according to the operation screen program of the MFP-A. Generate.
図8の(b)は、図8の(a)が示すMFP−Aの操作画面CPAに対するユーザー操作に応じてMFP200が変化させた別機種MFP−Bの操作画面CPB、CB2を示す模式図である。携帯端末100では上記のとおり、このユーザー操作に応じてコマンド生成部110がMFP−Aに対するコマンドとして、まず、MFP−Aの操作画面CPAから後処理の設定画面CA2への切り換えを指示するためのコマンドを生成する。このコマンドをコマンド生成部110は、遠隔操作アプリに従い、MFP−Bに対するコマンドに変換する。変換後のコマンドは、図8の(b)が示すように、MFP−Bの操作画面CPBが含むボタン“仕上り”BT2に生じたクリックイベントに対する処理としてメニューCB2のポップアップ表示をMFP−Bに対して指示するためのコマンドである。このメニューCB2は複数のコンボボックスの配列を含む。各コンボボックスには、後処理を規定するパラメーターの名称が記載されている。このパラメーターにはたとえば、ソートの種類、仕分け、折り、綴じ、穴開けの要否が含まれる。各パラメーターの値の選択肢、たとえばソートの種類については“部ごと”と“ページごと”との2つはドロップダウンリストで表示される。変換後のコマンドはコマンド生成部110からMFP200のリモートパネルサーバー570へ送信される。このコマンドに応じてリモートパネルサーバー570は、操作パネル551に表示された操作画面CPBの中にメニューCB2をポップアップ表示する。その後、携帯端末100ではコマンド生成部110が、設定画面CA2内の座標におけるクリックイベントに対する処理として、その座標に対応するパラメーターの値をMFP−Aに対して指定するためのコマンドを生成する。このコマンドをコマンド生成部110は、遠隔操作アプリに従い、MFP−Bに対するコマンドに変換する。変換後のコマンドは、メニューCB2の含むパラメーターの1つに対する設定値をMFP−Bに指定するためのコマンドである。このコマンドは特に、その設定値が表示されるメニューCB2内の座標を含む。この座標は、スクロールバーを用いることで初めて画面上に現れる仮想的な範囲内の座標を含む。この座標はメニューCB2の識別子と合わせて、コマンド変換表により、携帯端末100に表示された設定画面CA2の識別子とその中の座標とに対応する。設定画面CA2内のこの座標には、メニューCB2の含むパラメーターの1つに対する設定値と同等な設定値が表示されている。したがって、コマンド変換表に基づく設定画面CA2とメニューCB2との間での座標変換により、携帯端末100がユーザーから受け付けた設定値と同等な設定値がMFP200に対して正しく指定される。 FIG. 8B is a schematic diagram showing operation screens CPB and CB2 of another model MFP-B changed by the MFP 200 in response to a user operation on the operation screen CPA of the MFP-A shown in FIG. is there. As described above, in the portable terminal 100, in response to the user operation, the command generation unit 110 first instructs the MFP-A to switch from the operation screen CPA to the post-processing setting screen CA2 as a command to the MFP-A. Generate a command. The command generation unit 110 converts this command into a command for the MFP-B according to the remote operation application. As shown in FIG. 8B, the converted command is a menu CB2 pop-up displayed on the MFP-B as a process for the click event generated on the button “finish” BT2 included in the operation screen CPB of the MFP-B. This is a command for instructing. This menu CB2 includes an array of a plurality of combo boxes. Each combo box describes the name of a parameter that defines post-processing. This parameter includes, for example, sort type, sorting, folding, binding, and necessity of punching. For each parameter value choice, for example, sort type, “every copy” and “every page” are displayed in a drop-down list. The converted command is transmitted from the command generation unit 110 to the remote panel server 570 of the MFP 200. In response to this command, the remote panel server 570 pops up a menu CB2 in the operation screen CPB displayed on the operation panel 551. Thereafter, in the portable terminal 100, the command generation unit 110 generates a command for designating the MFP-A as the parameter value corresponding to the coordinates as processing for the click event at the coordinates in the setting screen CA2. The command generation unit 110 converts this command into a command for the MFP-B according to the remote operation application. The converted command is a command for designating a setting value for one of the parameters included in the menu CB2 to the MFP-B. This command includes in particular the coordinates in the menu CB2 where the set value is displayed. The coordinates include coordinates within a virtual range that appears on the screen for the first time by using the scroll bar. This coordinate corresponds to the identifier of the setting screen CA2 displayed on the portable terminal 100 and the coordinates in the command conversion table together with the identifier of the menu CB2. A set value equivalent to a set value for one of the parameters included in the menu CB2 is displayed at this coordinate in the setting screen CA2. Therefore, by the coordinate conversion between setting screen CA2 and menu CB2 based on the command conversion table, setting value equivalent to the setting value received by mobile terminal 100 from the user is correctly specified for MFP 200.
図8の(a)が示す操作画面CPAから設定画面CA2への切り換わり等、標準機種MFP−Aの操作画面におけるグラフィックスの変化に合わせてMFP200のリモートパネルサーバー570は、図8の(b)が示すメニューCB2のポップアップ表示等、自機種MFP−Bの操作画面CPBのグラフィックスを変化させる。したがって、ユーザーは携帯端末100に表示されたMFP−Aの操作画面を扱いながら、MFP200に表示されたMFP−Bの操作画面の変化を目で確認することもできる。ユーザーは特に、タッチ等のジェスチャーに応じて、外観が変化するボタンの位置、表示が切り換わるタブ/ウィンドウの種類等、両操作画面間でのグラフィックス表現の違いを対比する。これによりユーザーは、MFP−Aの操作画面の扱い方からMFP−Bの操作画面の扱い方を学ぶことも可能である。 The remote panel server 570 of the MFP 200 responds to the change in graphics on the operation screen of the standard model MFP-A, such as switching from the operation screen CPA shown in FIG. The graphics of the operation screen CPB of the own model MFP-B such as a pop-up display of the menu CB2 indicated by () is changed. Therefore, the user can visually confirm the change in the operation screen of MFP-B displayed on MFP 200 while handling the operation screen of MFP-A displayed on portable terminal 100. In particular, the user compares the difference in graphics expression between the two operation screens, such as the position of a button whose appearance changes according to a gesture such as touch, and the type of tab / window whose display changes. Thus, the user can learn how to handle the operation screen of MFP-B from how to handle the operation screen of MFP-A.
[遠隔操作に伴うデータ交換]
図9は、携帯端末100によるMFP200の遠隔操作時にシステム内の装置100、200、300間で行われるデータ交換を示すシーケンス図である。
携帯端末100が遠隔操作アプリを実行するとコマンド生成部110が起動し、MFP200のIPアドレスの入力をユーザーから受け付ける。そのIPアドレスIPAがタッチパネル21から入力され、または、撮像部22の撮影した2次元バーコードから解読されると、コマンド生成部110はそのIPアドレス宛のSNMPメッセージMSGを通信部40にLAN402へ配信させる。このメッセージMSGに応じてMFP200は、自機のMIBファイルMBFを携帯端末100へ返信する。このファイルMBFをコマンド生成部110は通信部40にクラウドサーバー300へ転送させる。このファイルMBFからクラウドサーバー300はMFP200の機種を識別し、その機種に対応するコマンド変換表を検索する。この変換表CVTは標準機種の操作画面プログラムRCAと共に、クラウドサーバー300から携帯端末100へダウンロードされる。
[Data exchange with remote operation]
FIG. 9 is a sequence diagram showing data exchange performed between apparatuses 100, 200, and 300 in the system when the MFP 200 is remotely operated by the mobile terminal 100.
When the mobile terminal 100 executes the remote operation application, the command generation unit 110 is activated and receives an input of the IP address of the MFP 200 from the user. When the IP address IPA is input from the touch panel 21 or is decoded from the two-dimensional barcode taken by the imaging unit 22, the command generation unit 110 distributes the SNMP message MSG addressed to the IP address to the communication unit 40 to the LAN 402. Let In response to this message MSG, MFP 200 returns its own MIB file MBF to portable terminal 100. The command generation unit 110 causes the communication unit 40 to transfer the file MBF to the cloud server 300. From this file MBF, the cloud server 300 identifies the model of the MFP 200 and searches the command conversion table corresponding to the model. This conversion table CVT is downloaded from the cloud server 300 to the portable terminal 100 together with the standard model operation screen program RCA.
このコマンド変換表CVTからコマンド生成部110はMFP200に対する接続プロトコルを特定し、このプロトコルに従ってMFP200との接続CNTを通信部40に確立させる。その後、コマンド生成部110はHTTPに従い、MFP200のリモートパネルサーバー570にMFP200の操作画面プログラムRCBを提供させる。これにより、リモートパネルサーバー570は携帯端末100をMFP200の遠隔操作元(「リモートパネルクライアント」という。)として認識する。一方、コマンド生成部110はMFP200の操作画面プログラムRCBに代えて標準機種の操作画面プログラムRCAを実行する。これにより、標準機種の操作画面が携帯端末100のLCD101に表示される。 The command generation unit 110 specifies a connection protocol for the MFP 200 from the command conversion table CVT, and causes the communication unit 40 to establish a connection CNT with the MFP 200 according to this protocol. Thereafter, the command generation unit 110 causes the remote panel server 570 of the MFP 200 to provide the operation screen program RCB of the MFP 200 according to HTTP. As a result, the remote panel server 570 recognizes the portable terminal 100 as a remote operation source (referred to as “remote panel client”) of the MFP 200. On the other hand, the command generation unit 110 executes a standard model operation screen program RCA instead of the operation screen program RCB of the MFP 200. As a result, a standard model operation screen is displayed on the LCD 101 of the portable terminal 100.
その後、標準機種の操作画面に対するユーザーのジェスチャーGSTをタッチパネル21が検知する度に、コマンド生成部110は、まず標準機種の操作画面プログラムRCAに従って標準機種に対するコマンドを生成し、次に遠隔操作アプリに従ってこのコマンドを、コマンド変換表に基づいてMFP200に対するコマンドに変換する。さらに、コマンド生成部110は変換後のコマンドCMDを通信部40にMFP200へ送信させる。このコマンドに応じてMFP200のリモートパネルサーバー570は、このコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから自機の機能を特定する。この特定に応じてMFP200の主制御部560は、特定された機能が実現するように他の要素550、210、220、230を制御する。 Thereafter, each time the touch panel 21 detects the user's gesture GST for the standard model operation screen, the command generation unit 110 first generates a command for the standard model according to the standard model operation screen program RCA, and then according to the remote operation application. This command is converted into a command for the MFP 200 based on the command conversion table. Further, the command generation unit 110 causes the communication unit 40 to transmit the converted command CMD to the MFP 200. In response to this command, the remote panel server 570 of the MFP 200 reads the event type and the coordinates in the operation screen from this command, and identifies the function of the own device from the combination thereof. In response to this specification, the main control unit 560 of the MFP 200 controls the other elements 550, 210, 220, and 230 so as to realize the specified function.
コマンドからの機能の特定に成功した場合、その成功を表す返信RPLをリモートパネルサーバー570は携帯端末100へ送る。この返信RPLには、必要に応じ、操作画面の表示変更に関するコマンドが組み込まれる。このコマンドが、図8の(b)の示すメニューCB2の消去または最初の操作画面CPBの再表示等、携帯端末100がすでにダウンロード済みの画像データで処理可能なものである場合、返信RPLのみが携帯端末100へ送られる。そのコマンドが、図8の(a)が示す操作画面CPAから別画面CA2への切り換えのように操作画面全体の切り換えを含むものである場合、切り換え後の操作画面を表す新たなウェブページデータRCBが返信RPLに添付される。 If the function is successfully identified from the command, the remote panel server 570 sends a reply RPL indicating the success to the mobile terminal 100. In this reply RPL, a command relating to a change in the display of the operation screen is incorporated as necessary. When this command is one that can be processed with image data that has already been downloaded by the mobile terminal 100, such as deleting the menu CB2 shown in FIG. 8B or redisplaying the first operation screen CPB, only the reply RPL is returned. It is sent to the mobile terminal 100. If the command includes switching of the entire operation screen, such as switching from the operation screen CPA shown in FIG. 8A to another screen CA2, new web page data RCB representing the operation screen after switching is returned. Attached to RPL.
返信RPLに応じて携帯端末100のコマンド生成部110は操作画面を変更する。たとえば、その返信RPLが、図8の(b)の示すメニューCB2の消去コマンドを含む場合、コマンド生成部110はそのコマンドを、コマンド変換表に基づき、図8の(a)の示す設定画面CA2から元の操作画面CPAへの切り換えをMFP−Aに対して指示するためのコマンドと解釈し、その切り換えを実行する。一方、その返信RPLが、添付の新たなウェブページRCBを対象とする読み込みコマンドを含む場合、コマンド生成部110はそのコマンドを、コマンド変換表に基づき、新たなウェブページに対応するタブ/ウィンドウへの切り換えをMFP−Aに対して指示するためのコマンドと解釈し、その切り換えを実行する。このとき、必要に応じて、そのタブ/ウィンドウの画像データのダウンロード要求RQSをコマンド生成部110はクラウドサーバー300へ送信する。それに応じてクラウドサーバー300のウェブサーバー352はその画像データRCAを携帯端末100にダウンロードさせる。 The command generation unit 110 of the mobile terminal 100 changes the operation screen according to the reply RPL. For example, when the reply RPL includes an erase command for the menu CB2 shown in FIG. 8B, the command generation unit 110 sets the command based on the command conversion table to the setting screen CA2 shown in FIG. Is switched to the original operation screen CPA as a command for instructing the MFP-A, and the switching is executed. On the other hand, when the reply RPL includes a read command for the attached new web page RCB, the command generation unit 110 transfers the command to the tab / window corresponding to the new web page based on the command conversion table. Is switched to a command for instructing the MFP-A, and the switching is executed. At this time, the command generation unit 110 transmits a download request RQS for the image data of the tab / window to the cloud server 300 as necessary. In response to this, the web server 352 of the cloud server 300 causes the portable terminal 100 to download the image data RCA.
[遠隔操作処理の流れ]
図10は携帯端末100によるMFP200の遠隔操作処理のフローチャートである。この処理は、携帯端末100がユーザー操作に応じて遠隔操作アプリを実行することにより開始する。
ステップS101では、コマンド生成部110が起動し、操作対象であるMFP200のIPアドレスを取得する。すなわち、コマンド生成部110はそのIPアドレスの入力を画面表示でユーザーに促し、タッチパネル21を用いた文字入力、または撮像部22の撮影した2次元バーコードからそのIPアドレスを読み取る。その後、処理はステップS102へ進む。
[Remote operation processing flow]
FIG. 10 is a flowchart of remote operation processing of the MFP 200 by the mobile terminal 100. This process starts when the mobile terminal 100 executes a remote operation application in response to a user operation.
In step S101, the command generation unit 110 is activated and acquires the IP address of the MFP 200 that is the operation target. That is, the command generation unit 110 prompts the user to input the IP address on the screen display, and reads the IP address from the character input using the touch panel 21 or the two-dimensional barcode photographed by the imaging unit 22. Thereafter, the process proceeds to step S102.
ステップS102では、コマンド生成部110は、ステップS101で取得したIPアドレス宛のSNMPメッセージを通信部40にLAN402へ配信させる。このメッセージに応じてMFP200から返信されるMIBファイルをコマンド生成部110は取得する。その後、処理はステップS103へ進む。
ステップS103では、コマンド生成部110は、ステップS102で取得したMIBファイルを通信部40にクラウドサーバー300へ転送させる。このMIBファイルからクラウドサーバー300が検索したMFP200の機種MFP−Bと標準機種MFP−Aとの間でのコマンド変換表をコマンド生成部110は、標準機種MFP−Aの操作画面プログラムと共に、クラウドサーバー300からダウンロードする。その後、処理はステップS104へ進む。
In step S102, the command generation unit 110 causes the communication unit 40 to distribute the SNMP message addressed to the IP address acquired in step S101 to the LAN 402. In response to this message, the command generation unit 110 acquires the MIB file returned from the MFP 200. Thereafter, the process proceeds to step S103.
In step S103, the command generation unit 110 causes the communication unit 40 to transfer the MIB file acquired in step S102 to the cloud server 300. The command generation unit 110 sends a command conversion table between the model MFP-B of the MFP 200 and the standard model MFP-A searched by the cloud server 300 from the MIB file together with the operation screen program of the standard model MFP-A. Download from 300. Thereafter, the process proceeds to step S104.
ステップS104では、コマンド生成部110はまず、ステップS103でダウンロードしたコマンド変換表からMFP−Bに対する接続プロトコルを特定し、このプロトコルに従ってMFP200との接続を通信部40に確立させる。コマンド生成部110は次にHTTPに従い、MFP200のリモートパネルサーバー570にMFP−Bの操作画面プログラムを提供させる。その後、処理はステップS105へ進む。 In step S104, the command generation unit 110 first specifies a connection protocol for MFP-B from the command conversion table downloaded in step S103, and causes the communication unit 40 to establish a connection with the MFP 200 according to this protocol. Next, the command generation unit 110 causes the remote panel server 570 of the MFP 200 to provide the operation screen program of the MFP-B according to HTTP. Thereafter, the process proceeds to step S105.
ステップS105では、コマンド生成部110は、ステップS103で提供を受けたMFP−Bの操作画面プログラムに代えて、ステップS103でダウンロードした標準機種MFP−Aの操作画面プログラムを実行する。これにより、MFP−Aの操作画面が携帯端末100のLCD101に表示される。その後、処理はステップS106へ進む。
ステップS106では、MFP−Aの操作画面に対するユーザーのジェスチャーをタッチパネル21が検知したか否かをコマンド生成部110は確認する。検知していれば処理はステップS107へ進み、検知していなければ処理はステップS106を繰り返す。
In step S105, the command generation unit 110 executes the operation screen program of the standard model MFP-A downloaded in step S103, instead of the operation screen program of MFP-B received in step S103. As a result, the operation screen of MFP-A is displayed on LCD 101 of portable terminal 100. Thereafter, the process proceeds to step S106.
In step S <b> 106, the command generation unit 110 confirms whether or not the touch panel 21 has detected a user gesture on the operation screen of the MFP-A. If detected, the process proceeds to step S107, and if not detected, the process repeats step S106.
ステップS107では、MFP−Aの操作画面に対するユーザーのジェスチャーをタッチパネル21が検知している。コマンド生成部110はまず、このジェスチャーの種類に対応するイベントの種類を識別し、このジェスチャーが検知されたMFP−Aの操作画面内の座標を特定する。コマンド生成部110は次にMFP−Aの操作画面プログラムに従い、識別したイベントの種類とその座標とをパラメーターとして含むMFP−Aに対するコマンドを生成する。その後、処理はステップS108へ進む。 In step S107, the touch panel 21 detects a user gesture on the operation screen of the MFP-A. First, the command generation unit 110 identifies the type of event corresponding to this type of gesture, and specifies the coordinates in the operation screen of the MFP-A where this gesture has been detected. Next, the command generation unit 110 generates a command for the MFP-A including the identified event type and its coordinates as parameters in accordance with the operation screen program of the MFP-A. Thereafter, the process proceeds to step S108.
ステップS108では、コマンド生成部110は遠隔操作アプリに従い、まず、ステップS107で生成したMFP−Aに対するコマンドを、コマンド変換表に基づいてMFP−Bに対するコマンドに変換する。コマンド生成部110は次に、このコマンドを通信部40にMFP200へ送信させる。その後、処理はステップS109へ進む。
ステップS109では、ステップS107で生成したMFP−Aに対するコマンドが遠隔操作の終了コマンドであるか否かをコマンド生成部110は確認する。終了コマンドであれば処理はステップS110へ進み、なければ処理はステップS111へ進む。
In step S108, the command generation unit 110 first converts the command for MFP-A generated in step S107 into a command for MFP-B based on the command conversion table in accordance with the remote operation application. Next, the command generation unit 110 causes the communication unit 40 to transmit this command to the MFP 200. Thereafter, the process proceeds to step S109.
In step S109, the command generation unit 110 checks whether the command for MFP-A generated in step S107 is a remote operation end command. If it is an end command, the process proceeds to step S110, and if not, the process proceeds to step S111.
ステップS110では、ステップS107で生成されたMFP−Aに対するコマンドが遠隔操作の終了コマンドである。したがって、コマンド生成部110はMFP−Aの操作画面プログラムを終了させて、通信部40にMFP200との接続を切断させる。この場合、ステップS108でMFP200へ送信されたコマンドは、遠隔操作の終了をMFP−Bに対して指示するためのコマンドに変換されている。このコマンドに応じてMFP200のリモートパネルサーバー570は、携帯端末100から遠隔操作を受け付ける処理を終える。その後、処理は終了する。 In step S110, the command for MFP-A generated in step S107 is a remote operation end command. Therefore, the command generation unit 110 ends the operation screen program of the MFP-A and causes the communication unit 40 to disconnect from the MFP 200. In this case, the command transmitted to MFP 200 in step S108 is converted into a command for instructing MFP-B to end the remote operation. In response to this command, remote panel server 570 of MFP 200 ends the process of accepting a remote operation from portable terminal 100. Thereafter, the process ends.
ステップS111では、ステップS107で生成されたMFP−Aに対するコマンドが遠隔操作の終了コマンドではない。コマンド生成部110は、そのコマンドの表す処理が操作画面の表示変更を含むか否かを確認する。操作画面の表示変更を含む場合、コマンド生成部110はMFP−Aの操作画面プログラムに従い、その表示変更を実行する。このときに必要な画像データがRAM12に保存されていなければ、その画像データをコマンド生成部110はクラウドサーバー300からダウンロードする。その後、処理はステップS112へ進む。 In step S111, the command for MFP-A generated in step S107 is not a remote operation end command. The command generation unit 110 confirms whether the process represented by the command includes a display change of the operation screen. When the operation screen display change is included, the command generation unit 110 executes the display change according to the operation screen program of the MFP-A. If the image data required at this time is not stored in the RAM 12, the command generation unit 110 downloads the image data from the cloud server 300. Thereafter, the process proceeds to step S112.
ステップS112では、ステップS108でMFP200へ送信したコマンドに対する返信がMFP200から届くのをコマンド生成部110は待つ。その返信が届けば、その返信が、操作画面の表示変更をMFP−Bに対して指示するためのコマンドを含むか否かをコマンド生成部110は確認する。返信がそのコマンドを含む場合、コマンド生成部110はそのコマンドを、コマンド変換表に基づき、MFP−Aに対するコマンドに変換する。変換前のコマンドがMFP−Bに対して指示する操作画面の表示変更が、図8が示すように、MFP−Aの操作画面の表示変更に対応している場合、コマンド生成部110はMFP−Aの操作画面のこの表示変更を実行する。このとき、その表示変更に新たな画像データが必要である場合、その画像データをコマンド生成部110はクラウドサーバー300からダウンロードする。その後、処理はステップS106から繰り返す。 In step S112, command generation unit 110 waits for a reply from MFP 200 to the command transmitted to MFP 200 in step S108. When the reply is delivered, the command generation unit 110 confirms whether the reply includes a command for instructing the MFP-B to change the display of the operation screen. When the reply includes the command, the command generation unit 110 converts the command into a command for the MFP-A based on the command conversion table. If the change in the display of the operation screen indicated by the command before conversion to MFP-B corresponds to the change in the display of the operation screen of MFP-A, as shown in FIG. This display change of the operation screen of A is executed. At this time, if new image data is necessary for the display change, the command generation unit 110 downloads the image data from the cloud server 300. Thereafter, the process is repeated from step S106.
[実施形態の利点]
本発明の実施形態による携帯端末100は、MFP200の遠隔操作に供される際、MFP200の機種とは異なる標準機種の操作画面プログラムを実行して標準機種の操作画面を表示する。この操作画面に対するユーザーのジェスチャーに応じて携帯端末100はコマンドを生成し、そのコマンドをMFP200へ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてジェスチャーが検知された座標に対応するMFP200の操作画面内の座標を含む。この座標に割り当てられたMFP200の機能は、コマンド変換表により、ジェスチャーが検知された座標に割り当てられた標準機種の機能と共通し、または同等である。したがって、そのコマンドに応じてMFP200は、携帯端末100が受け付けたジェスチャーの表す機能を正しく実現させることができる。こうして携帯端末100はMFP200の遠隔操作に標準機種の操作画面を利用可能にする。これにより携帯端末100は、MFP200の操作画面には不慣れなユーザーにも、MFP200の操作を容易に理解されるように支援することができる。
[Advantages of the embodiment]
When the portable terminal 100 according to the embodiment of the present invention is used for remote operation of the MFP 200, the portable terminal 100 executes an operation screen program of a standard model different from the model of the MFP 200 and displays an operation screen of the standard model. The mobile terminal 100 generates a command according to the user's gesture on the operation screen, and transmits the command to the MFP 200. The command includes, as parameters, coordinates in the operation screen of the MFP 200 corresponding to the coordinates at which the gesture is detected on the operation screen of the standard model. The functions of the MFP 200 assigned to the coordinates are the same as or equivalent to the functions of the standard model assigned to the coordinates where the gesture is detected according to the command conversion table. Accordingly, in response to the command, MFP 200 can correctly realize the function represented by the gesture accepted by portable terminal 100. In this way, the mobile terminal 100 can use the standard model operation screen for remote operation of the MFP 200. Thereby, the mobile terminal 100 can assist a user who is not familiar with the operation screen of the MFP 200 so that the operation of the MFP 200 can be easily understood.
また、MFP200と標準機種との間における操作画面内の座標の対応により、図8が示すように、携帯端末100が表示した標準機種の操作画面CPAにおけるグラフィックスの変化に合わせて、MFP200は自機の操作画面CPBのグラフィックスを変化させる。したがって、ユーザーは、携帯端末100に表示された標準機種の操作画面CPAを扱いながら、MFP200に表示されたその操作画面CPBの変化を目で確認することもできる。これによりユーザーは、標準機種の操作画面の扱い方からMFP200の操作画面の扱い方を学ぶことも可能である。 Also, due to the correspondence of the coordinates in the operation screen between the MFP 200 and the standard model, as shown in FIG. 8, the MFP 200 automatically adjusts to the graphics change in the standard model operation screen CPA displayed on the mobile terminal 100. Change the graphics on the machine operation screen CPB. Therefore, the user can visually check the change of the operation screen CPB displayed on the MFP 200 while handling the operation screen CPA of the standard model displayed on the mobile terminal 100. Accordingly, the user can learn how to handle the operation screen of the MFP 200 from how to handle the operation screen of the standard model.
[変形例]
(A)図1の示すシステムでは、操作対象の画像形成装置が電子写真方式のMFP200である。本発明の実施形態による画像形成装置はその他にインクジェット方式の複合機であってもよく、レーザープリンター、インクジェットプリンター、ファクシミリ、またはコピー機等、いずれの単機能機であってもよい。
[Modification]
(A) In the system shown in FIG. 1, the image forming apparatus to be operated is an electrophotographic MFP 200. In addition, the image forming apparatus according to the embodiment of the present invention may be an inkjet multifunction device, or may be any single function device such as a laser printer, an inkjet printer, a facsimile machine, or a copier.
(B)図1の示すシステムでは、MFP200が外部の電子機器に提供する遠隔操作機能が無線LANを利用する。その他に、この遠隔操作機能がBluetooth(登録商標)等のNFCを利用してもよい。この場合、遠隔操作アプリは携帯端末100に、MFP200との間の通信をNFCで実行させればよい。
(C)図7の(a)が示す標準機種の操作画面CPAは、標準機種の実機に表示されるものと同じデザインである。その他に、携帯端末100のタッチパネル21とMFP200のタッチパネル240との間でのサイズまたは解像度の違いに応じて、操作画面に表示されるフォントの字体とサイズ、ボタン等のGUI部品の形態、およびそれらのレイアウトが変更されていてもよい。変更後の操作画面がユーザーにとって使いやすいものでありさえすれば、携帯端末100はユーザーに、MFP200の操作を容易に理解されるように支援することができる。
(B) In the system shown in FIG. 1, the remote operation function provided by the MFP 200 to an external electronic device uses a wireless LAN. In addition, this remote control function may use NFC such as Bluetooth (registered trademark). In this case, the remote operation application may cause the mobile terminal 100 to execute communication with the MFP 200 using NFC.
(C) The standard model operation screen CPA shown in FIG. 7A has the same design as that displayed on the standard model actual machine. In addition, depending on the difference in size or resolution between the touch panel 21 of the mobile terminal 100 and the touch panel 240 of the MFP 200, the font type and size displayed on the operation screen, the form of GUI parts such as buttons, and the like The layout of may be changed. As long as the changed operation screen is easy to use for the user, the portable terminal 100 can assist the user to easily understand the operation of the MFP 200.
(D)図4では、標準機種の機能の中に、MFP200の機能のいずれとも同等でないものが存在する。したがって、図7が示すように、コマンド生成部110は標準機種の操作画面CPAのうち、これらの機能が割り当てられたGUI部品DS1、DS2、DS3を無効化し、それらの外観をグレーアウトさせる。逆に、MFP200の機能の中に、標準機種の機能のいずれとも同等でないものが存在する場合、その旨を示すメッセージをコマンド生成部110は標準機種の操作画面の中にダイアログ等で表示してもよい。さらに、これらの機能の遠隔操作については、遠隔操作アプリは携帯端末100に、標準機種の操作画面プログラムに代えてMFP200の操作画面プログラムを実行させて、MFP200本来の遠隔操作機能を携帯端末100に利用させてもよい。 (D) In FIG. 4, some functions of the standard model are not equivalent to any of the functions of the MFP 200. Therefore, as shown in FIG. 7, the command generation unit 110 invalidates the GUI parts DS1, DS2, and DS3 to which these functions are assigned in the standard model operation screen CPA, and grays out their appearances. Conversely, if there is a function that is not equivalent to any of the functions of the standard model among the functions of the MFP 200, the command generation unit 110 displays a message to that effect in a dialog or the like on the operation screen of the standard model. Also good. Further, for remote operation of these functions, the remote operation application causes the mobile terminal 100 to execute the operation screen program of the MFP 200 in place of the standard model operation screen program, so that the original remote operation function of the MFP 200 is provided to the mobile terminal 100. It may be used.
(E)MFP200は自機の遠隔操作機能をリモートパネル方式で、携帯端末100等、LAN402上の他の電子機器に提供する。この場合、MFP200の操作画面プログラムは、HTMLとJAVAスクリプト(登録商標)とを用いてウェブページデータとして記述され、提供先の電子機器が備えたウェブブラウザーで実行され、そのプログラムに添付された画像データからMFP200の操作画面がその電子機器のディスプレイに表示される。この操作画面に対するユーザーのジェスチャーに応じてその電子機器からMFP200へ送信されるコマンドは、そのジェスチャーに対応するイベントの種類とその操作画面内の座標とをパラメーターとして含む。 (E) The MFP 200 provides a remote operation function of the MFP 200 to other electronic devices on the LAN 402 such as the portable terminal 100 by a remote panel method. In this case, the operation screen program of the MFP 200 is described as web page data using HTML and JAVA script (registered trademark), is executed by a web browser provided in the electronic device of the provision destination, and is attached to the program. From the data, the operation screen of MFP 200 is displayed on the display of the electronic device. A command transmitted from the electronic device to the MFP 200 in response to a user gesture on the operation screen includes the type of event corresponding to the gesture and coordinates in the operation screen as parameters.
これに合わせて、遠隔操作アプリが携帯端末100に実行させる標準機種の操作画面プログラムも、リモートパネル方式に準拠したウェブページデータとして記述される。この場合、標準機種の操作画面に対するユーザーのジェスチャーに応じて生成されるコマンドはパラメーターとして、そのジェスチャーに対応するイベントの種類とその操作画面内の座標とを含む。この座標はコマンド変換表により、MFP200の操作画面内の座標に対応付けられている。この対応は、各座標に割り当てられたMFPの機能が共通し、または同等であることを保証する。 In accordance with this, an operation screen program of a standard model that the remote operation application causes the mobile terminal 100 to execute is also described as web page data that conforms to the remote panel method. In this case, the command generated according to the user's gesture for the standard model operation screen includes, as parameters, the event type corresponding to the gesture and the coordinates in the operation screen. The coordinates are associated with the coordinates in the operation screen of the MFP 200 by the command conversion table. This correspondence ensures that the functions of the MFP assigned to each coordinate are common or equivalent.
しかし、画像形成装置の遠隔操作機能はリモートパネル方式には限られず、操作画面プログラムはウェブページデータ以外の形式でも記述されていてもよい。この場合、遠隔操作アプリは、操作対象の操作画面プログラムと同じ言語、同じデータ形式で記述されていればよい。それらがどのようなものであれ、操作画面プログラムが操作画面に対するユーザー操作に応じて生成するコマンドは、そのユーザー操作が検知された座標に割り当てられた操作対象の機能を表すパラメーターを含む。したがって、遠隔操作アプリは携帯端末に標準機種に対するコマンドを、そのパラメーターが表す標準機種の機能と同等な操作対象の機能を表す操作対象に対するコマンドへ変換させればよい。 However, the remote operation function of the image forming apparatus is not limited to the remote panel system, and the operation screen program may be described in a format other than the web page data. In this case, the remote operation application only needs to be described in the same language and the same data format as the operation screen program to be operated. Whatever they are, the command generated by the operation screen program in response to a user operation on the operation screen includes a parameter representing the function of the operation target assigned to the coordinates where the user operation is detected. Therefore, the remote operation application may cause the portable terminal to convert the command for the standard model into the command for the operation target representing the function of the operation target equivalent to the function of the standard model represented by the parameter.
(F)図1の示すシステムでは、クラウドサーバー300が携帯端末100に、操作対象の画像形成装置の機種識別機能、操作対象の機種と標準機種との操作画面プログラム、および両機種間でのコマンド変換表を提供する。データベース320の容量は携帯端末100の記憶容量よりも大きいので、MFP200に限らず多様な機種の操作画面プログラムとそれらの機種に対するコマンド変換表とを格納可能である。したがって、このシステムは、操作対象がどのような機種であっても、その機種に対応する操作画面プログラムとコマンド変換表とがデータベース320の中に存在する限り、その遠隔操作を標準機種の操作画面で実行可能である。 (F) In the system shown in FIG. 1, the cloud server 300 sends a mobile terminal 100 a model identification function of the image forming apparatus to be operated, an operation screen program between the model to be operated and the standard model, and a command between both models. Provide a conversion table. Since the capacity of the database 320 is larger than the storage capacity of the mobile terminal 100, operation screen programs of various models and command conversion tables for these models can be stored, not limited to the MFP 200. Therefore, in this system, as long as the operation screen program corresponding to the model and the command conversion table exist in the database 320, the remote operation is performed regardless of the model of the operation target. It can be executed with.
その他に、操作対象がMFP200の機種に限られる等、操作対象の機種に対応する操作画面プログラムとコマンド変換表とのデータ総量が比較的少ない場合、データベース320がクラウドサーバー300に代えて携帯端末100に構築されてもよい。この場合、MFP200の遠隔操作の際、携帯端末100はクラウドサーバー300にアクセスする必要はない。 In addition, when the operation target is limited to the model of the MFP 200 and the total amount of data between the operation screen program corresponding to the target model and the command conversion table is relatively small, the database 320 is replaced with the cloud server 300 and the mobile terminal 100 May be built. In this case, the portable terminal 100 does not need to access the cloud server 300 when the MFP 200 is remotely operated.
(G)コマンド生成部110はMFP200の遠隔操作を開始する前に、MFPB200の機種に対応するコマンド変換表をクラウドサーバー300からダウンロードする。これにより、MFP200の遠隔操作中、コマンドの変換処理をコマンド生成部110はスタンドアローンで行う。コマンド生成部110はその他に、コマンド変換表を一切、クラウドサーバー300からダウンロードしなくてもよい。この場合、コマンド生成部110はたとえば、MFP200の遠隔操作前には、MFP200に対する接続プロトコルの種類のみをクラウドサーバー300から取得してもよい。これにより、通信部40とMFP200との接続は確立可能である。遠隔操作中、コマンド生成部110は、標準機種の操作画面プログラムに従って標準機種に対するコマンドを生成する度に、そのコマンドからMFP200に対するコマンドへの変換処理をクラウドサーバー300に依頼すればよい。 (G) The command generation unit 110 downloads a command conversion table corresponding to the model of the MFP B 200 from the cloud server 300 before starting the remote operation of the MFP 200. Thus, the command generation unit 110 performs stand-alone command conversion processing during remote operation of the MFP 200. In addition, the command generation unit 110 may not download any command conversion table from the cloud server 300. In this case, for example, the command generation unit 110 may acquire only the type of connection protocol for the MFP 200 from the cloud server 300 before the MFP 200 is remotely operated. Thereby, the connection between the communication unit 40 and the MFP 200 can be established. During remote operation, each time the command generation unit 110 generates a command for the standard model according to the operation screen program for the standard model, the command generation unit 110 may request the cloud server 300 to convert the command to a command for the MFP 200.
(H)図7では携帯端末100がLCD101に標準機種の操作画面CPAのみを表示する。その他に、携帯端末が1つのディスプレイに標準機種の操作画面と操作対象の操作画面とを同時に表示してもよい。
図11は、携帯端末100がタッチパネル21に同時に表示する標準機種MFP−Aの操作画面CPAと、MFP200の機種MFP−Bの操作画面CPBとを示す模式図である。MFP200の遠隔操作の際に携帯端末100は、図9が示すように、MFP200からMFP−Bの操作画面プログラムRCBをダウンロードしているので、MFP−AとMFP−Bとの両方の操作画面を表す画像データを取得済みである。コマンド生成部110はMFP−AとMFP−Bとの両方の操作画面プログラムを実行する。コマンド生成部110は更に表示部20に、図11の示すように、LCD101の上半分にMFP−Bの操作画面CPBを表示させ、下半分にMFP−Aの操作画面CPAを表示させる。タッチパネル21は、いずれの操作画面に対するユーザーのジェスチャーも検知可能である。この場合、コマンド生成部110は表示部20に、両操作画面CPA、CPBの間で対応するボタン等のGUI部品を強調表示させ、タブ/ウィンドウの切り換えを同期させる。
(H) In FIG. 7, the portable terminal 100 displays only the standard model operation screen CPA on the LCD 101. In addition, the mobile terminal may simultaneously display the standard model operation screen and the operation target operation screen on one display.
FIG. 11 is a schematic diagram showing an operation screen CPA of the standard model MFP-A displayed on the touch panel 21 by the portable terminal 100 and an operation screen CPB of the model MFP-B of the MFP 200. As shown in FIG. 9, the portable terminal 100 downloads the MFP-B operation screen program RCB from the MFP 200 during remote operation of the MFP 200, so that the operation screens of both MFP-A and MFP-B are displayed. The image data to represent has been acquired. The command generation unit 110 executes operation screen programs for both MFP-A and MFP-B. The command generation unit 110 further causes the display unit 20 to display the MFP-B operation screen CPB on the upper half of the LCD 101 and the MFP-A operation screen CPA on the lower half, as shown in FIG. The touch panel 21 can detect a user's gesture for any operation screen. In this case, the command generation unit 110 highlights GUI parts such as corresponding buttons between the operation screens CPA and CPB on the display unit 20 and synchronizes tab / window switching.
図11の例では、MFP−Aの操作画面CPAの含むボタン“2in1”BT3にユーザーの指がタッチした場合、このタッチをコマンド生成部110はボタンBT3に対するクリックイベントとして識別し、このクリックイベントに対する処理をMFP−Aに対して指示するためのコマンドを生成する。このコマンドは特にMFP−Aの操作画面CPAにおけるボタンBT3の座標を含む。このコマンドに応じてMFP−Aの操作画面プログラムはコマンド生成部110に、ボタンBT3の選択状態への遷移が強調されるように、その色、明るさ、または形を変更させる。 In the example of FIG. 11, when the user's finger touches the button “2 in 1” BT3 included in the operation screen CPA of the MFP-A, the command generation unit 110 identifies this touch as a click event for the button BT3. A command for instructing the MFP-A to perform processing is generated. This command particularly includes the coordinates of the button BT3 on the operation screen CPA of the MFP-A. In response to this command, the operation screen program of MFP-A causes the command generation unit 110 to change its color, brightness, or shape so that the transition to the selected state of the button BT3 is emphasized.
この処理と並行し、コマンド生成部110は、生成したMFP−Aに対するコマンドを遠隔操作アプリに従い、MFP−Bに対するコマンドに変換する。変換後のコマンドは、MFP−Bの操作画面CPBが含むボタン“2 in 1”BT4に生じたクリックイベントに対する処理をMFP−Bに対して指示するためのコマンドである。このコマンドは特に、MFP−Bの操作画面CPBにおけるボタンBT4の座標を含む。変換後のコマンドに応じてMFP−Bの操作画面プログラムはコマンド生成部110に、ボタンBT4の選択状態への遷移が強調されるように、その色、明るさ、または形を変更させる。 In parallel with this processing, the command generation unit 110 converts the generated command for MFP-A into the command for MFP-B according to the remote operation application. The command after conversion is a command for instructing the MFP-B to process the click event generated in the button “2 in 1” BT4 included in the operation screen CPB of the MFP-B. This command particularly includes the coordinates of the button BT4 on the operation screen CPB of the MFP-B. In response to the converted command, the operation screen program of MFP-B causes the command generation unit 110 to change its color, brightness, or shape so that the transition to the selected state of the button BT4 is emphasized.
MFP−Aの操作画面CPAで検知されたユーザーのジェスチャーの表す処理が、図8が示すように、MFP−AとMFP−Bとのいずれの操作画面CPA、CPBにおいてもグラフィックスの変化を伴う場合がある。この場合、遠隔操作アプリはコマンド生成部110に、両方の操作画面CPA、CPBの間でグラフィックスの変化を同期させる。図8の例ではコマンド生成部110は、MFP−Aの操作画面CPAが設定画面CA2へ切り換わるタイミングと、MFP−Bの操作画面CPBにメニューCB2がポップアップ表示で出現するタイミングとを一致させる。 As shown in FIG. 8, the processing represented by the user's gesture detected on the operation screen CPA of MFP-A is accompanied by a change in graphics on any of the operation screens CPA and CPB of MFP-A and MFP-B. There is a case. In this case, the remote operation application causes the command generation unit 110 to synchronize the change in graphics between both operation screens CPA and CPB. In the example of FIG. 8, the command generation unit 110 matches the timing at which the operation screen CPA of the MFP-A is switched to the setting screen CA2 with the timing at which the menu CB2 appears in the pop-up display on the operation screen CPB of the MFP-B.
このように、両操作画面CPA、CPBの間では、対応するボタン等のGUI部品が強調表示され、タブ/ウィンドウの切り換えが同期する。したがって、ユーザーがMFP−Aの操作画面CPAに対してジェスチャーを行う度に、そのジェスチャーに対応するMFP−Bの操作画面の変化がユーザーの目に映る。これによりユーザーは、MFP−Aの操作画面の扱い方からMFP−Bの操作画面の扱い方を学ぶことができる。 Thus, between both operation screens CPA and CPB, GUI parts such as corresponding buttons are highlighted, and the tab / window switching is synchronized. Therefore, whenever the user performs a gesture on the operation screen CPA of the MFP-A, a change in the operation screen of the MFP-B corresponding to the gesture is seen by the user. Thus, the user can learn how to handle the operation screen of MFP-B from how to handle the operation screen of MFP-A.
標準機種の機能の中に、MFP200の機能のいずれとも同等でないものが存在する場合、またはその逆に、MFP200の機能の中に、標準機種の機能のいずれとも同等でないものが存在する場合、コマンド生成部110は、操作画面CPA、CPBのうち、これらの機能が割り当てられたGUI部品を無効化し、それらの外観をグレーアウトさせてもよい。これにより、これらのGUI部品が無効化されていることをユーザーに一目で理解させることができる。 If there is a function of the standard model that is not equivalent to any of the functions of the MFP 200, or vice versa, a function of the MFP 200 that is not equivalent to any of the functions of the standard model exists, The generation unit 110 may invalidate GUI parts to which these functions are assigned from the operation screens CPA and CPB, and gray out the appearances thereof. This allows the user to understand at a glance that these GUI components are invalidated.
本発明は、携帯端末による画像形成装置の遠隔操作に関し、上記のとおり、携帯端末に操作対象の操作画面に代えて標準機種の操作画面を表示させ、その操作画面に対するユーザー操作に応じて生成される標準機種に対するコマンドを操作対象に対するコマンドへ変換させる。このように、本発明は明らかに産業上利用可能である。 The present invention relates to remote operation of an image forming apparatus using a mobile terminal, and as described above, the operation screen of a standard model is displayed on the mobile terminal instead of the operation screen to be operated, and is generated according to a user operation on the operation screen. The command for the standard model is converted to the command for the operation target. Thus, the present invention is clearly industrially applicable.
100 携帯端末
101 LCD
110 コマンド生成部
131 遠隔操作アプリ
132 コマンド変換表
133 標準機種の操作画面プログラム
200 画像形成装置
240 タッチパネル
570 リモートパネルサーバー
300 クラウドサーバー
320 データベース
321 コマンド変換表
322 標準機種の操作画面プログラム
351 機種識別部
352 ウェブサーバー
CPA 標準機種MFP−Aの操作画面
CA2 後処理の設定画面
CPB 操作対象MFP−Bの操作画面
CB2 ポップアップメニュー
100 Mobile terminal 101 LCD
110 Command generation unit 131 Remote operation application 132 Command conversion table 133 Standard model operation screen program 200 Image forming apparatus 240 Touch panel 570 Remote panel server 300 Cloud server 320 Database 321 Command conversion table 322 Standard model operation screen program 351 Model identification unit 352 Web server CPA Standard model MFP-A operation screen CA2 Post-processing setting screen CPB Operation target MFP-B operation screen CB2 Pop-up menu
Claims (11)
操作対象の画像形成装置と通信する通信部と、
グラフィックユーザーインタフェース(GUI)画面を表示する表示部と、
前記表示部の画面上に配置されたタッチパネルを含み、前記タッチパネルを通して、前記表示部が表示しているGUI画面に対するユーザー操作を検知する操作部と、
前記操作対象の機種とは異なる標準機種の操作画面プログラムに従い、前記標準機種の操作画面を前記表示部に表示させると共に、当該操作画面に対するユーザー操作を前記操作部に検知させ、当該ユーザー操作に応じてコマンドを生成し、当該コマンドを前記通信部に前記操作対象へ送信させるコマンド生成部と、
を備え、
前記コマンドはパラメーターとして、前記標準機種の操作画面においてユーザー操作が検知された座標に対応する前記操作対象の操作画面内の座標を含む
ことを特徴とする携帯端末。 A portable terminal for remote operation of an image forming apparatus,
A communication unit that communicates with the image forming apparatus to be operated;
A display unit for displaying a graphic user interface (GUI) screen;
An operation unit that includes a touch panel disposed on the screen of the display unit, and detects a user operation on the GUI screen displayed by the display unit through the touch panel;
In accordance with an operation screen program of a standard model different from the model to be operated, the operation screen of the standard model is displayed on the display unit, and a user operation on the operation screen is detected by the operation unit, and according to the user operation A command generating unit that causes the communication unit to transmit the command to the operation target;
With
The mobile terminal according to claim 1, wherein the command includes, as parameters, coordinates in the operation screen to be operated corresponding to coordinates at which a user operation is detected on the operation screen of the standard model.
前記変換表は、前記操作対象と前記標準機種との間で、各画像形成装置の同等な機能が割り当てられた操作画面内の座標の対応関係を規定する
ことを特徴とする請求項1に記載の携帯端末。 The command generation unit determines the coordinates in the operation screen to be incorporated in the command based on a conversion table of commands between the operation target and the standard model,
2. The conversion table defines a correspondence relationship of coordinates in an operation screen to which an equivalent function of each image forming apparatus is assigned between the operation target and the standard model. Mobile devices.
前記コマンド生成部は前記通信部に前記変換表を前記外部サーバーから取得させる
ことを特徴とする請求項2または請求項3に記載の携帯端末。 The communication unit can communicate with an external server,
The portable terminal according to claim 2, wherein the command generation unit causes the communication unit to acquire the conversion table from the external server.
請求項1から請求項9までのいずれかに記載の携帯端末と、
前記通信部と通信可能に接続され、前記標準機種の操作画面内の座標と前記操作対象の操作画面内の座標との間の対応関係を規定する情報を前記コマンド生成部へ提供する外部サーバーと、
を備えたシステム。 A system that realizes remote operation of an image forming apparatus,
A mobile terminal according to any one of claims 1 to 9,
An external server that is communicably connected to the communication unit and that provides the command generation unit with information defining a correspondence relationship between coordinates in the operation screen of the standard model and coordinates in the operation screen of the operation target; ,
With system.
操作対象の機種とは異なる標準機種の操作画面を表示するステップと、
タッチパネルを通して前記操作画面に対するユーザー操作を検知するステップと、
検知されたユーザー操作に応じてコマンドを生成するステップと、
前記コマンドを前記操作対象へ送信するステップと、
を実行させるためのプログラムであり、
前記コマンドはパラメーターとして、前記標準機種の操作画面において検知されたユーザー操作の座標に対応する前記操作対象の操作画面内の座標を含む
ことを特徴とするプログラム。 For mobile terminals used for remote control of image forming devices,
A step of displaying an operation screen of a standard model different from the model to be operated;
Detecting a user operation on the operation screen through a touch panel;
Generating a command in response to detected user operation;
Transmitting the command to the operation target;
Is a program for executing
The program includes, as parameters, coordinates in the operation screen of the operation target corresponding to coordinates of a user operation detected on the operation screen of the standard model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016122366A JP6743508B2 (en) | 2016-06-21 | 2016-06-21 | Mobile terminal, system, and program for remote control of image forming apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016122366A JP6743508B2 (en) | 2016-06-21 | 2016-06-21 | Mobile terminal, system, and program for remote control of image forming apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017228872A true JP2017228872A (en) | 2017-12-28 |
JP6743508B2 JP6743508B2 (en) | 2020-08-19 |
Family
ID=60889378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016122366A Active JP6743508B2 (en) | 2016-06-21 | 2016-06-21 | Mobile terminal, system, and program for remote control of image forming apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6743508B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019140478A (en) * | 2018-02-08 | 2019-08-22 | 京セラドキュメントソリューションズ株式会社 | Operation support system |
JP2020021354A (en) * | 2018-08-02 | 2020-02-06 | コニカミノルタ株式会社 | Display device, display processing system, and program |
JP2020135823A (en) * | 2019-02-26 | 2020-08-31 | 富士ゼロックス株式会社 | Information processing device and program |
US11178293B2 (en) | 2019-11-15 | 2021-11-16 | Sharp Kabushiki Kaisha | Mobile terminal, storage medium and control method to remotely operate an information processing apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174215A (en) * | 2005-12-21 | 2007-07-05 | Canon Inc | External controller, and remote operation system and method |
JP2009211520A (en) * | 2008-03-05 | 2009-09-17 | Fuji Xerox Co Ltd | Information processor and program |
JP2013150273A (en) * | 2012-01-23 | 2013-08-01 | Konica Minolta Inc | Image forming system, image forming apparatus, external terminal, and program |
JP2015159533A (en) * | 2014-01-27 | 2015-09-03 | 株式会社リコー | Terminal device, image processing system, control method of image visualization apparatus and program |
-
2016
- 2016-06-21 JP JP2016122366A patent/JP6743508B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174215A (en) * | 2005-12-21 | 2007-07-05 | Canon Inc | External controller, and remote operation system and method |
JP2009211520A (en) * | 2008-03-05 | 2009-09-17 | Fuji Xerox Co Ltd | Information processor and program |
JP2013150273A (en) * | 2012-01-23 | 2013-08-01 | Konica Minolta Inc | Image forming system, image forming apparatus, external terminal, and program |
JP2015159533A (en) * | 2014-01-27 | 2015-09-03 | 株式会社リコー | Terminal device, image processing system, control method of image visualization apparatus and program |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019140478A (en) * | 2018-02-08 | 2019-08-22 | 京セラドキュメントソリューションズ株式会社 | Operation support system |
JP7043866B2 (en) | 2018-02-08 | 2022-03-30 | 京セラドキュメントソリューションズ株式会社 | Operation support system |
JP2020021354A (en) * | 2018-08-02 | 2020-02-06 | コニカミノルタ株式会社 | Display device, display processing system, and program |
JP7155722B2 (en) | 2018-08-02 | 2022-10-19 | コニカミノルタ株式会社 | Display device, display processing system and program |
JP2020135823A (en) * | 2019-02-26 | 2020-08-31 | 富士ゼロックス株式会社 | Information processing device and program |
JP7314528B2 (en) | 2019-02-26 | 2023-07-26 | 富士フイルムビジネスイノベーション株式会社 | Information processing device and program |
US11178293B2 (en) | 2019-11-15 | 2021-11-16 | Sharp Kabushiki Kaisha | Mobile terminal, storage medium and control method to remotely operate an information processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP6743508B2 (en) | 2020-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5259655B2 (en) | Operation device, image forming apparatus using the same, and operation method | |
JP4775725B2 (en) | Output instruction apparatus and output instruction program | |
JP5271328B2 (en) | Operation device and image forming apparatus | |
CN107135324B (en) | Method for controlling terminal device and terminal device | |
JP4886437B2 (en) | Image processing apparatus, job processing method, storage medium, and program | |
JP6743508B2 (en) | Mobile terminal, system, and program for remote control of image forming apparatus | |
JP2018129714A (en) | Program and information processing apparatus | |
JP2007304881A (en) | Printer system, printer driver, and image formation device | |
US20150002894A1 (en) | Printing Apparatus, Computer-Readable Storage Medium Storing Program, and Method | |
JP5498249B2 (en) | OPERATION DEVICE, ELECTRONIC APPARATUS EQUIPPED WITH OPERATION DEVICE, IMAGE PROCESSING DEVICE, AND INFORMATION DISPLAY METHOD IN THE OPERATION DEVICE | |
JP5677370B2 (en) | Operating device and operating method | |
JP6264445B2 (en) | Image forming apparatus | |
JP6702263B2 (en) | Image forming device | |
JP6414534B2 (en) | Terminal device, image forming system, and printer driver | |
JP5870136B2 (en) | OPERATION DEVICE, ELECTRONIC APPARATUS EQUIPPED WITH OPERATION DEVICE, IMAGE PROCESSING DEVICE, AND INFORMATION DISPLAY METHOD IN THE OPERATION DEVICE | |
US10719745B2 (en) | Information processing apparatus, communication method, and system | |
JP2018101219A (en) | Electronic apparatus setting device and program | |
JP5242429B2 (en) | Image forming apparatus and image forming system | |
JP5377988B2 (en) | Image forming apparatus and image forming system | |
JP6321232B2 (en) | Operating device, image processing device including operating device, and information display method in operating device | |
JP6116028B2 (en) | Operating device, image processing device including operating device, and information display method in operating device | |
JP5902271B2 (en) | Operating device and operating method | |
JP2017016372A (en) | Information processing device, display control method, and program | |
JP2021060641A (en) | Information processing device, control program, and control method | |
JP6005193B2 (en) | Processing apparatus and image forming apparatus having the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6743508 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |