JP2017228872A - Portable terminal, system and program for remote operation of image formation device - Google Patents

Portable terminal, system and program for remote operation of image formation device Download PDF

Info

Publication number
JP2017228872A
JP2017228872A JP2016122366A JP2016122366A JP2017228872A JP 2017228872 A JP2017228872 A JP 2017228872A JP 2016122366 A JP2016122366 A JP 2016122366A JP 2016122366 A JP2016122366 A JP 2016122366A JP 2017228872 A JP2017228872 A JP 2017228872A
Authority
JP
Japan
Prior art keywords
operation screen
mfp
command
standard model
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016122366A
Other languages
Japanese (ja)
Other versions
JP6743508B2 (en
Inventor
伸広 野島
Nobuhiro Nojima
伸広 野島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2016122366A priority Critical patent/JP6743508B2/en
Publication of JP2017228872A publication Critical patent/JP2017228872A/en
Application granted granted Critical
Publication of JP6743508B2 publication Critical patent/JP6743508B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimiles In General (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a portable terminal capable of supporting even a user unfamiliar with a device to understand handling of an operation screen easily, when emulating the operation screen of an image formation device.SOLUTION: When used in remote operation of a MFP (200), a portable terminal (100) displays the operation screen (CPA) of a standard model by executing the operation screen program of the standard model different from the model of that MFP. According to the user's gesture for this operation screen, the portable terminal generates a command and transmits to the MFP. That command includes, as parameters, the coordinate in the operation screen (CPB) of a MFP corresponding to the coordinate detected by the gesture in the operation screen of the standard model. The function of the MFP assigned to this coordinate is common to or equivalent to the function of the standard model assigned to the coordinate where the gesture is detected, by a command conversion table.SELECTED DRAWING: Figure 7

Description

本発明は画像形成装置の遠隔操作に関し、特に操作画面の表示制御に関する。   The present invention relates to remote operation of an image forming apparatus, and more particularly to display control of an operation screen.

近年、画像形成装置の操作画面が複雑化している。画像形成装置の多機能化と高機能化との進展に伴い、画像形成時に設定されるべき条件（以下、印刷条件という。）が多岐にわたると共に、各条件の選択肢が増えたことによる。操作画面では特に、グラフィックスユーザーインタフェース（ＧＵＩ）部品のレイアウトと形態、および表示される用語が機種ごとに異なる。したがって、ユーザーは、使い慣れた機種以外の操作に戸惑うことが多い。   In recent years, operation screens of image forming apparatuses have become complicated. This is because the conditions to be set at the time of image formation (hereinafter referred to as “printing conditions”) are diversified and the choices of the respective conditions are increased with the progress of multi-function and high-function of image forming apparatuses. In particular, on the operation screen, the layout and form of graphics user interface (GUI) parts and the displayed terms differ depending on the model. Therefore, the user is often confused by operations other than the familiar model.

操作画面の複雑さに抗して画像形成装置の操作性を向上させるための工夫としてはたとえば、その装置の操作マニュアルをユーザーの携帯端末に表示させる技術（特許文献１、２参照。）と、その装置を他の電子機器で遠隔操作する技術（特許文献３−９参照。）とが知られている。前者の技術は、スマートフォン、タブレット等の携帯端末を画像形成装置と連携させて、画像形成装置に対するユーザーの操作に応じてその操作に関するマニュアルの記載を携帯端末に自動的に表示させ、または、携帯端末に表示されたマニュアルのページからユーザーが選択した項目に合わせて画像形成装置を自動的に動作させる。これにより、マニュアルの記載を目で追いながらの操作から受けるユーザーの負担感が軽減される。後者の技術は、画像形成装置の操作画面を、パソコン（ＰＣ）、携帯端末等の外部の電子機器にエミュレートさせる。このエミュレーション用のプログラム（以下、「操作画面プログラム」という。）には、様々なプラットフォームへの移植の簡単さが要求される。これにより、操作画面プログラムの機種依存性が低減し、操作画面の形態と仕様とが異なる機種間で共通化されることが図られている。   As a device for improving the operability of the image forming apparatus against the complexity of the operation screen, for example, a technique for displaying an operation manual of the apparatus on a user's portable terminal (see Patent Documents 1 and 2). A technique for remotely operating the apparatus with other electronic devices (see Patent Documents 3-9) is known. In the former technique, a mobile terminal such as a smartphone or a tablet is linked with an image forming apparatus, and a description of a manual regarding the operation is automatically displayed on the mobile terminal according to a user operation on the image forming apparatus, or The image forming apparatus is automatically operated according to the item selected by the user from the manual page displayed on the terminal. This reduces the user's burden of receiving operations while following the manual. The latter technique emulates an operation screen of the image forming apparatus to an external electronic device such as a personal computer (PC) or a portable terminal. The emulation program (hereinafter referred to as “operation screen program”) is required to be easily portable to various platforms. As a result, the dependence of the operation screen program on the model is reduced, and the operation screen is designed to be shared among models having different forms and specifications.

特開２０１４−２３９２８２号公報JP 2014-239282 A 特開２０１５−１１８４３７号公報JP2015-118437A 特開２０１１−１２０２５０号公報JP 2011-120250 A 特開２０１１−２３８００６号公報JP 2011-238006 A 特開２０１３−０８８５０６号公報JP2013-088506A 特開２０１３−１１０４７０号公報JP 2013-110470 A 特開２０１４−０２２７６９号公報JP 2014-022769 A 特開２０１４−０３５７２３号公報JP 2014-035723 A 特開２０１５−１２８８２８号公報JP2015-128828A

上記の工夫が加えられたとしても画像形成装置の操作画面は、その装置を使い慣れていないユーザーにとって扱いやすいものとは言い難い。実際、画像形成装置の機能の多さと高さとからその操作画面そのものを、不慣れなユーザーにも一目で把握可能な程度まで簡単化することは容易でない。また、マニュアルの表示と画像形成装置の動作との間の対応が自動化されても、別画面に表示されたマニュアルの記載を目で追いながら操作画面を扱うことは、ユーザーにとってやはり煩雑である。さらに、異機種間での操作画面プログラムの共通化は急速には進まない。異機種間では機能の種類と質との組み合わせが千差万別であり、それらの機能を実現するためのソフトウェア、ハードウェアの動作に必要なプラットフォームも異なる。これらの違いを超えて、仕様が共通するように操作画面プログラムを機種ごとに移植し直すのは、その負担が過大である。特に、異なるメーカー間では一般に画像形成装置の機能またはプラットフォームの詳細は非開示であるので、それらの違いを埋めようがない。したがって、操作画面プログラムの共通化は実現困難である。   Even if the above-described device is added, it is difficult to say that the operation screen of the image forming apparatus is easy to handle for a user who is not familiar with the apparatus. Actually, it is not easy to simplify the operation screen itself to the extent that even an unfamiliar user can grasp at a glance due to the large number of functions and height of the image forming apparatus. Further, even if the correspondence between the manual display and the operation of the image forming apparatus is automated, it is still complicated for the user to handle the operation screen while following the description of the manual displayed on another screen. Furthermore, the sharing of operation screen programs between different models does not progress rapidly. Different models have different combinations of function types and qualities, and the software and hardware platforms required to implement these functions are also different. Beyond these differences, the burden of re-porting the operation screen program for each model so that the specifications are common is excessive. In particular, since details of functions or platforms of image forming apparatuses are generally not disclosed between different manufacturers, there is no way to fill in those differences. Therefore, it is difficult to realize common operation screen programs.

本発明の目的は上記の課題を解決することであり、特に、画像形成装置の操作画面をエミュレートする際に操作画面の扱い方を、その装置に不慣れなユーザーにも容易に理解されるように支援することが可能な携帯端末を提供することにある。   An object of the present invention is to solve the above-described problem. In particular, when emulating an operation screen of an image forming apparatus, how to handle the operation screen can be easily understood by a user unfamiliar with the apparatus. It is to provide a portable terminal capable of supporting the above.

本発明の１つの観点における携帯端末は、画像形成装置の遠隔操作に供される携帯端末であり、操作対象の画像形成装置と通信する通信部と、ＧＵＩ画面を表示する表示部と、その表示部の画面上に配置されたタッチパネルを含み、そのタッチパネルを通して、表示部が表示しているＧＵＩ画面に対するユーザー操作を検知する操作部と、操作対象の機種とは異なる標準機種の操作画面プログラムに従い、標準機種の操作画面を表示部に表示させると共に、その操作画面に対するユーザー操作を操作部に検知させ、そのユーザー操作に応じてコマンドを生成し、そのコマンドを通信部に操作対象へ送信させるコマンド生成部とを備えている。コマンドはパラメーターとして、標準機種の操作画面においてユーザー操作が検知された座標に対応する操作対象の操作画面内の座標を含む。   A portable terminal according to one aspect of the present invention is a portable terminal that is used for remote operation of an image forming apparatus, a communication unit that communicates with an image forming apparatus to be operated, a display unit that displays a GUI screen, and a display thereof In accordance with the operation screen program of the standard model different from the operation target model and the operation unit that detects the user operation on the GUI screen displayed on the display unit through the touch panel Command display that displays the operation screen of the standard model on the display unit, causes the operation unit to detect a user operation on the operation screen, generates a command according to the user operation, and sends the command to the operation target in the communication unit Department. The command includes, as parameters, coordinates in the operation screen to be operated corresponding to the coordinates at which the user operation is detected on the operation screen of the standard model.

コマンド生成部は、コマンドに組み込むべき操作画面内の座標を、操作対象と標準機種との間におけるコマンドの変換表に基づいて決定してもよい。この変換表は、操作対象と標準機種との間で、各画像形成装置の同等な機能が割り当てられた操作画面内の座標の対応関係を規定してもよい。この変換表は、操作対象と標準機種との間におけるコマンドの送信プロトコルの違いを更に規定してもよい。通信部は外部サーバーと通信可能であってもよく、コマンド生成部は通信部に変換表を外部サーバーから取得させてもよい。   The command generation unit may determine the coordinates in the operation screen to be incorporated in the command based on a command conversion table between the operation target and the standard model. This conversion table may define the correspondence of coordinates in the operation screen to which the equivalent functions of each image forming apparatus are assigned between the operation target and the standard model. This conversion table may further define the difference in command transmission protocol between the operation target and the standard model. The communication unit may be able to communicate with an external server, and the command generation unit may cause the communication unit to acquire a conversion table from the external server.

コマンド生成部は、操作対象からの操作画面の受信と操作対象へのコマンドの送信とをリモートパネル形式で行ってもよい。コマンド生成部は表示部に、標準機種の操作画面の含むＧＵＩ部品のうち、操作対象の操作画面の含むＧＵＩ部品のいずれにも対応しないものを無効化してもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との両方を同時に表示させてもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との間で対応するＧＵＩ部品を強調表示させてもよい。コマンド生成部は表示部に、操作対象の操作画面と標準機種の操作画面との間でタブまたはウィンドウの切り換えを同期させてもよい。   The command generation unit may receive the operation screen from the operation target and send the command to the operation target in a remote panel format. The command generation unit may invalidate the display unit that does not correspond to any of the GUI components included in the operation screen to be operated among the GUI components included in the operation screen of the standard model. The command generation unit may cause the display unit to simultaneously display both the operation screen to be operated and the standard model operation screen. The command generation unit may cause the display unit to highlight the corresponding GUI component between the operation screen to be operated and the operation screen of the standard model. The command generation unit may cause the display unit to synchronize switching of tabs or windows between the operation screen to be operated and the operation screen of the standard model.

本発明の１つの観点におけるシステムは、画像形成装置の遠隔操作を実現するシステムであり、上記の携帯端末と、通信部と通信可能に接続され、標準機種の操作画面内の座標と操作対象の操作画面内の座標との間の対応関係を規定する情報をコマンド生成部へ提供する外部サーバーとを備えている。
本発明の１つの観点におけるプログラムは、画像形成装置の遠隔操作に供される携帯端末に、操作対象の機種とは異なる標準機種の操作画面を表示するステップと、タッチパネルを通して操作画面に対するユーザー操作を検知するステップと、検知されたユーザー操作に応じてコマンドを生成するステップと、そのコマンドを操作対象へ送信するステップとを実行させるためのプログラムである。コマンドはパラメーターとして、標準機種の操作画面において検知されたユーザー操作の座標に対応する操作対象の操作画面内の座標を含む。 A system according to one aspect of the present invention is a system that realizes remote operation of an image forming apparatus, and is connected to the above-described portable terminal and a communication unit so as to be communicable. And an external server that provides the command generation unit with information defining the correspondence between the coordinates in the operation screen.
A program according to one aspect of the present invention includes a step of displaying an operation screen of a standard model different from a model to be operated on a portable terminal used for remote operation of the image forming apparatus, and a user operation on the operation screen through the touch panel. This is a program for executing a detecting step, a step of generating a command according to the detected user operation, and a step of transmitting the command to the operation target. The command includes, as a parameter, coordinates in the operation screen to be operated corresponding to the coordinates of the user operation detected on the operation screen of the standard model.

本発明による上記の携帯端末は、標準機種の操作画面プログラムを実行して標準機種の操作画面を表示し、その操作画面に対するユーザー操作に応じてコマンドを生成し、そのコマンドを操作対象へ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてユーザー操作が検知された座標に対応する操作対象の操作画面内の座標を含む。こうしてこの携帯端末は画像形成装置の遠隔操作に、その装置とは異なる機種の操作画面を利用可能にする。これによりこの携帯端末は、操作対象の操作画面には不慣れなユーザーにも、その装置の操作を容易に理解されるように支援することができる。   The portable terminal according to the present invention executes a standard model operation screen program to display a standard model operation screen, generates a command in response to a user operation on the operation screen, and transmits the command to an operation target. . The command includes, as parameters, coordinates in the operation screen to be operated corresponding to the coordinates at which the user operation is detected on the operation screen of the standard model. In this way, this portable terminal can use an operation screen of a model different from that of the apparatus for remote operation of the image forming apparatus. Thereby, this portable terminal can assist a user who is unfamiliar with the operation screen to be operated so that the operation of the apparatus can be easily understood.

本発明の実施形態によるシステムのネットワーク図である。1 is a network diagram of a system according to an embodiment of the present invention. 図１の示す携帯端末の電子制御系統の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic control system of the portable terminal shown in FIG. 図１の示すクラウドサーバーの電子制御系統の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic control system | strain of the cloud server shown in FIG. （ａ）は、画像形成装置の標準機種ＭＦＰ−Ａに対するコマンドの一覧表であり、（ｂ）は、図１の示す画像形成装置の機種ＭＦＰ−Ｂに対するコマンドの一覧表である。（ｃ）、（ｄ）は（ａ）、（ｂ）の示す各表をマークアップ言語でコード化したものを示す図である。(A) is a list of commands for the standard model MFP-A of the image forming apparatus, and (b) is a list of commands for the model MFP-B of the image forming apparatus shown in FIG. (C), (d) is a diagram showing the tables shown in (a), (b) coded in a markup language. 図１の示す画像形成装置の内部構造を模式的に示す正面図である。FIG. 2 is a front view schematically showing an internal structure of the image forming apparatus shown in FIG. 1. 図５の示す画像形成装置の電子制御系統の構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of an electronic control system of the image forming apparatus illustrated in FIG. 5. （ａ）は、遠隔操作アプリに従って携帯端末が表示する標準機種ＭＦＰ−Ａの操作画面を示す模式図であり、（ｂ）は、操作対象の画像形成装置が表示する別機種ＭＦＰ−Ｂの操作画面を示す模式図である。(A) is a schematic diagram showing an operation screen of a standard model MFP-A displayed on a portable terminal in accordance with a remote operation application, and (b) is an operation of another model MFP-B displayed on the image forming apparatus to be operated. It is a schematic diagram which shows a screen. （ａ）は、標準機種ＭＦＰ−Ａの操作画面に対するユーザー操作に応じてその画面から切り換わった設定画面を示す模式図である。（ｂ）は、（ａ）が示すＭＦＰ−Ａの操作画面に対するユーザー操作に応じて操作対象の画像形成装置が変化させた別機種ＭＦＰ−Ｂの操作画面を示す模式図である。(A) is a schematic diagram showing a setting screen switched from the screen in response to a user operation on the operation screen of the standard model MFP-A. (B) is a schematic diagram showing an operation screen of another model MFP-B that is changed by the image forming apparatus to be operated in response to a user operation on the operation screen of MFP-A shown in (a). 図１の示すシステムにおいて、携帯端末による画像形成装置の遠隔操作時にシステム内の装置間で行われるデータ交換を示すシーケンス図である。FIG. 2 is a sequence diagram illustrating data exchange performed between apparatuses in the system when the image forming apparatus is remotely operated by a mobile terminal in the system illustrated in FIG. 1. 図１の示す携帯端末による画像形成装置の遠隔操作処理のフローチャートである。4 is a flowchart of a remote operation process of the image forming apparatus by the portable terminal shown in FIG. 図１の示す携帯端末がタッチパネルに同時に表示する標準機種ＭＦＰ−Ａの操作画面と、操作対象の機種ＭＦＰ−Ｂの操作画面とを示す模式図である。FIG. 2 is a schematic diagram showing an operation screen of a standard model MFP-A displayed on the touch panel by the portable terminal shown in FIG. 1 and an operation screen of a model MFP-B to be operated.

以下、本発明の実施形態について、図面を参照しながら説明する。
［システムの構成］
図１は本発明の実施形態によるシステムのネットワーク図である。このシステムは、携帯端末１００、複合機（multi-function peripheral：ＭＦＰ）２００、およびクラウドサーバー３００を含む。携帯端末１００とＭＦＰ２００とはアクセスポイント４０１とローカルエリアネットワーク（ＬＡＮ）４０２とを通し、データ交換可能に接続されている。アクセスポイント４０１はたとえば無線ＬＡＮ（ＩＥＥＥ８０２．１１）に準拠であり、携帯端末１００を無線でＬＡＮ４０２に接続する。ＬＡＮ４０２はたとえば有線ＬＡＮ（ＩＥＥＥ８０２．３）に準拠のＴＣＰ／ＩＰネットワークであり、アクセスポイント４０１をケーブルでＭＦＰ２００に接続する。クラウドサーバー３００はインターネット４０３とルーター４０４とを通してＬＡＮ４０２に接続されている。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[System configuration]
FIG. 1 is a network diagram of a system according to an embodiment of the present invention. This system includes a mobile terminal 100, a multi-function peripheral (MFP) 200, and a cloud server 300. The portable terminal 100 and the MFP 200 are connected to each other through an access point 401 and a local area network (LAN) 402 so that data can be exchanged. The access point 401 is compliant with, for example, a wireless LAN (IEEE 802.11), and connects the portable terminal 100 to the LAN 402 wirelessly. The LAN 402 is a TCP / IP network conforming to, for example, a wired LAN (IEEE 802.3), and connects the access point 401 to the MFP 200 with a cable. The cloud server 300 is connected to the LAN 402 through the Internet 403 and the router 404.

携帯端末１００は、スマートフォン、タブレット等の携帯電子機器である。その前面にはディスプレイ１０１が埋め込まれ、その画面をタッチパネルが覆っている。ディスプレイ１０１は携帯端末１００の操作画面、各種情報の入力画面等のＧＵＩ画面を表示する。タッチパネルは、そのＧＵＩ画面が含む、アイコン、ボタン、メニュー、ツールバー等のＧＵＩ部品（「ガジェット」、「ウィジェット」ともいう。）に対するユーザー操作、具体的には、タップ、フリック、スライド、ローテーション等のジェスチャーを検出する。   The portable terminal 100 is a portable electronic device such as a smartphone or a tablet. A display 101 is embedded on the front surface, and a touch panel covers the screen. The display 101 displays a GUI screen such as an operation screen of the portable terminal 100 and an input screen for various information. The touch panel is a user operation on GUI parts (also referred to as “gadgets” and “widgets”) such as icons, buttons, menus, and toolbars included in the GUI screen, specifically, tap, flick, slide, rotation, etc. Detect gestures.

ＭＦＰ２００は、スキャナー、コピー機、およびプリンターの機能を併せ持つ画像形成装置であり、印刷機構にはたとえば電子写真方式を採用している。ＭＦＰ２００の筐体の上面にはＡＤＦ２１０が開閉可能に装着され、その筐体の上部にはスキャナー２２０が内蔵され、筐体の下部にはプリンター２３０が内蔵されている。ＡＤＦ２１０の前面にはタッチパネル２４０と押しボタン等の機械スイッチ２５０とが配置されている。   The MFP 200 is an image forming apparatus that has the functions of a scanner, a copier, and a printer, and employs, for example, an electrophotographic system as a printing mechanism. An ADF 210 is detachably mounted on the upper surface of the MFP 200 casing, a scanner 220 is built in the upper part of the casing, and a printer 230 is built in the lower part of the casing. A touch panel 240 and a mechanical switch 250 such as a push button are disposed on the front surface of the ADF 210.

ＭＦＰ２００は特にリモートパネル機能を持つ。「リモートパネル」とは、自機の操作画面を他の電子機器にエミュレートさせる機能をいう。操作画面プログラムはたとえばハイパーテキストマークアップランゲージ（ＨＴＭＬ）とＪＡＶＡスクリプト（登録商標）とによりウェブページデータとして記述されている。このプログラムは通常のウェブページと同様、ハイパーテキストトランスファープロトコル（ＨＴＴＰ）に従ってＭＦＰ２００からＬＡＮ４０２上の他の電子機器へ提供される。これにより、その電子機器はそのプログラムを既存のウェブブラウザーで実行可能であり、そのプログラムに従って自機のディスプレイにＭＦＰ２００の操作画面を表示可能である。この電子機器は更にその操作画面に対するユーザーの、タップ、フリック、スライド等のジェスチャーを、ウェブページにおける、クリック、ダブルクリック、ドラッグ等のイベントとして検知し、その詳細を表す情報をコマンドとしてＭＦＰ２００へ返信する。このコマンドは特にパラメーターとして、検知されたイベントの種類と操作画面内の座標とを表す情報を含む。このコマンドに応じてＭＦＰ２００はそのコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから特定される処理を行う。たとえば、イベントの種類が“ドラッグ”であれば、その座標に表示されたグラフィックスをドラッグに合わせて移動させるといったグラフィック処理をＭＦＰ２００は行う。イベントの種類が“クリック”であれば、その座標に表示されたボタン等のＧＵＩ部品に割り当てられた自機の機能が実現するようにＭＦＰ２００は動作する。   The MFP 200 particularly has a remote panel function. The “remote panel” refers to a function for emulating the operation screen of the own device to another electronic device. The operation screen program is described as web page data by, for example, hypertext markup language (HTML) and JAVA script (registered trademark). This program is provided from the MFP 200 to other electronic devices on the LAN 402 in accordance with a hypertext transfer protocol (HTTP), as with a normal web page. Thus, the electronic device can execute the program with an existing web browser, and can display the operation screen of MFP 200 on its own display according to the program. The electronic device further detects the user's gestures such as tap, flick, and slide on the operation screen as events such as clicks, double-clicks, and drags on the web page, and returns information representing the details to the MFP 200 as a command. To do. This command includes, as parameters, information indicating the type of detected event and coordinates in the operation screen. In response to this command, the MFP 200 reads the event type and the coordinates in the operation screen from the command, and performs processing specified from the combination thereof. For example, if the event type is “drag”, the MFP 200 performs graphic processing such as moving the graphic displayed at the coordinates in accordance with the drag. If the event type is “click”, the MFP 200 operates so as to realize the function of the own device assigned to the GUI component such as a button displayed at the coordinates.

携帯端末１００は遠隔操作アプリケーションプログラム（以下、「遠隔操作アプリ」と略す。）を含む。遠隔操作アプリはその起動時、携帯端末１００にＭＦＰ２００へその操作画面プログラムを要求させる。この要求に応じてそのプログラムがＭＦＰ２００からダウンロードされると遠隔操作アプリは、そのプログラムに代えて標準機種の操作画面プログラムを携帯端末１００に実行させる。標準機種はＭＦＰ２００とは異なる機種であり、携帯端末１００のユーザーにより予め遠隔操作アプリに設定されている。たとえば、遠隔操作アプリはその最初の実行時、携帯端末１００に標準機種の選択をユーザーに対して催促させる。ユーザーはたとえば、自分が普段使い慣れた機種を標準機種に選ぶ。標準機種の操作画面プログラムに従って携帯端末１００は、ＭＦＰ２００の操作画面に代えて標準機種の操作画面を表示する。この操作画面をユーザーは、あたかもＭＦＰ２００が標準機種であるかのように操作する。これらの操作を携帯端末１００は検知して各操作、すなわちイベントの種類を識別し、それが検知された操作画面内の座標を特定する。各イベントの種類と座標との組み合わせに基づき、遠隔操作アプリは携帯端末１００にＭＦＰ２００に対するコマンドを生成させてＭＦＰ２００へ送信させる。このコマンドは特にパラメーターとして、携帯端末１００が特定した標準機種の操作画面内の座標に代えて、その座標が対応するＭＦＰ２００の操作画面内の座標を含む。このコマンドの生成に携帯端末１００はＭＦＰ２００と標準機種との間でのコマンド変換表を利用する。この表は、ＭＦＰ２００と標準機種との操作画面間で、両機種に共通、または同等の機能が割り当てられた座標の組み合わせを規定する。この表には更に、携帯端末１００でＭＦＰ２００を遠隔操作する際に両者間を接続する方法、すなわちプロトコルの種類が規定されている。   The portable terminal 100 includes a remote operation application program (hereinafter abbreviated as “remote operation application”). When the remote operation application is activated, it causes the portable terminal 100 to request the operation screen program from the MFP 200. When the program is downloaded from the MFP 200 in response to this request, the remote operation application causes the portable terminal 100 to execute a standard model operation screen program instead of the program. The standard model is a model different from the MFP 200 and is set in advance as a remote operation application by the user of the mobile terminal 100. For example, when the remote operation application is executed for the first time, the mobile terminal 100 prompts the user to select a standard model. For example, the user selects a model that he / she is familiar with as a standard model. In accordance with the standard model operation screen program, the mobile terminal 100 displays the standard model operation screen instead of the operation screen of the MFP 200. The user operates this operation screen as if the MFP 200 is a standard model. The portable terminal 100 detects these operations, identifies each operation, that is, the type of event, and specifies the coordinates in the operation screen where the operation is detected. Based on the combination of each event type and coordinates, the remote operation application causes the portable terminal 100 to generate a command for the MFP 200 and transmit the command to the MFP 200. In particular, this command includes, as parameters, coordinates in the operation screen of the MFP 200 corresponding to the coordinates instead of coordinates in the operation screen of the standard model specified by the mobile terminal 100. The portable terminal 100 uses a command conversion table between the MFP 200 and the standard model for generating this command. This table defines a combination of coordinates between the operation screens of the MFP 200 and the standard model, to which common functions or equivalent functions are assigned to both models. This table further defines a method of connecting between the two when the mobile terminal 100 remotely controls the MFP 200, that is, the type of protocol.

クラウドサーバー３００はたとえば、パーソナルコンピュータ（ＰＣ）、サーバー専用機、またはメインフレームである。クラウドサーバー３００はＭＦＰ２００と標準機種との間でのコマンド変換表を管理しており、遠隔操作アプリに従って携帯端末１００が発行した要求に応じて、その表を携帯端末１００にダウンロードさせる。
［携帯端末の電子制御系統］
図２は、携帯端末１００の電子制御系統の構成を示すブロック図である。この系統内にでは、制御部１０、表示部２０、操作部３０、および通信部４０がバス５０を通して互いに通信可能に接続されている。 The cloud server 300 is, for example, a personal computer (PC), a server dedicated machine, or a mainframe. The cloud server 300 manages a command conversion table between the MFP 200 and the standard model, and causes the portable terminal 100 to download the table in response to a request issued by the portable terminal 100 according to the remote operation application.
[Electronic control system of mobile terminals]
FIG. 2 is a block diagram illustrating a configuration of the electronic control system of the mobile terminal 100. In this system, the control unit 10, the display unit 20, the operation unit 30, and the communication unit 40 are connected through a bus 50 so as to communicate with each other.

制御部１０は、携帯端末１００に内蔵の印刷回路基板に実装された集積回路であり、ＣＰＵ１１、ＲＡＭ１２、およびＲＯＭ１３を含む。ＣＰＵ１１はマイクロプロセッサー（ＭＰＵ）で構成され、各種ファームウェアを実行することにより、他の要素２０、３０、４０、５０に対する制御主体として各要素にその機能を実現させる。さらに、ＣＰＵ１１は各種アプリケーションプログラムを実行することにより、各要素２０、…の機能を組み合わせて携帯端末１００の全体に特定の動作を実現させる。この動作にはたとえば、操作画面等のＧＵＩ画面を表示してその画面に対するユーザーの入力操作を受け付ける動作が含まれる。ＲＡＭ１２は、ＤＲＡＭ、ＳＲＡＭ等の揮発性半導体メモリー装置であり、ＣＰＵ１１がプログラムを実行する際の作業領域をＣＰＵ１１に提供する。ＲＯＭ１３は書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納する。後者は、ＥＥＰＲＯＭ、フラッシュメモリー、ソリッドステートドライブ（ＳＳＤ）等の半導体メモリー装置、またはハードディスクドライブ（ＨＤＤ）を含み、アプリケーションプログラムを格納すると共に、環境変数等の保存領域をＣＰＵ１１に提供する。この保存領域に格納されたデータは、携帯端末１００の電源がオフである間も安定に保持される。   The control unit 10 is an integrated circuit mounted on a printed circuit board built in the mobile terminal 100 and includes a CPU 11, a RAM 12, and a ROM 13. The CPU 11 includes a microprocessor (MPU), and executes various types of firmware, thereby causing each element to realize its function as a control entity for the other elements 20, 30, 40, and 50. Further, the CPU 11 executes various application programs to combine the functions of the elements 20... To realize a specific operation in the entire mobile terminal 100. This operation includes, for example, an operation of displaying a GUI screen such as an operation screen and accepting a user input operation on the screen. The RAM 12 is a volatile semiconductor memory device such as a DRAM or SRAM, and provides the CPU 11 with a work area when the CPU 11 executes a program. The ROM 13 is composed of a combination of a non-writable nonvolatile storage device and a rewritable nonvolatile storage device. The former stores firmware. The latter includes a semiconductor memory device such as an EEPROM, a flash memory, a solid state drive (SSD), or a hard disk drive (HDD), and stores an application program and provides a storage area for environment variables and the like to the CPU 11. The data stored in the storage area is stably held even when the mobile terminal 100 is turned off.

表示部２０は、制御部１０と同じ印刷回路基板、または別の基板に実装された電子回路であり、デジタルシグナルプロセッサー（ＤＳＰ）と液晶ディスプレイ（ＬＣＤ）１０１とを含む。ＤＳＰは、ＧＵＩ画面を表す画像データを制御部１０から受信して処理することにより、その画像データでＬＣＤ１０１に対する印加電圧を画素単位で変調する。ＬＣＤ１０１は、ＤＳＰからの印加電圧の変化に合わせてバックライトの一様な光を画素単位で変調する。これにより、ＬＣＤ１０１の輝度が画素単位で変化するので、ＬＣＤ１０１にＧＵＩ画面が再現される。   The display unit 20 is an electronic circuit mounted on the same printed circuit board as the control unit 10 or another substrate, and includes a digital signal processor (DSP) and a liquid crystal display (LCD) 101. The DSP receives image data representing the GUI screen from the control unit 10 and processes the image data, thereby modulating the voltage applied to the LCD 101 with the image data in units of pixels. The LCD 101 modulates the uniform light of the backlight in units of pixels in accordance with changes in the applied voltage from the DSP. As a result, the luminance of the LCD 101 changes in units of pixels, so that the GUI screen is reproduced on the LCD 101.

操作部３０は、制御部１０もしくは表示部２０と同じ印刷回路基板、またはそれらのいずれとも異なる基板に実装された電子回路であり、タッチパネル２１と撮像部２２とを含む。タッチパネル２１はＬＣＤ１０１の画面上に積層され、たとえば抵抗膜方式の構造を含む。ユーザーの指がタッチパネル２１に接触すると、その接触部分では上側の導電膜が凹んで下側の導電膜と短絡して導電膜の電位が変化する。この変化から操作部３０は、その指が接触したタッチパネルの座標を特定し、その座標を操作情報として制御部１０へ伝える。撮像部２２は、相補型金属酸化膜半導体電界効果トランジスター（ＣＭＯＳ）、電荷結合素子（ＣＣＤ）等の撮像素子を含み、その撮像素子の出力が示す光量分布を画像データに変換して制御部１０へ渡す。   The operation unit 30 is an electronic circuit mounted on the same printed circuit board as the control unit 10 or the display unit 20 or a substrate different from any of them, and includes a touch panel 21 and an imaging unit 22. The touch panel 21 is laminated on the screen of the LCD 101 and includes, for example, a resistance film type structure. When the user's finger touches the touch panel 21, the upper conductive film is recessed at the contact portion and short-circuited with the lower conductive film, so that the potential of the conductive film changes. From this change, the operation unit 30 specifies the coordinates of the touch panel in contact with the finger, and transmits the coordinates to the control unit 10 as operation information. The imaging unit 22 includes an imaging device such as a complementary metal oxide semiconductor field effect transistor (CMOS) or a charge coupled device (CCD), and converts the light amount distribution indicated by the output of the imaging device into image data to control the control unit 10. To pass.

通信部４０は、他の要素１０、２０、３０と同じ印刷回路基板、またはそれらのいずれとも異なる基板に実装された電子回路であり、近距離無線通信（ＮＦＣ）インタフェース（Ｉ／Ｆ）４１とＬＡＮＩ／Ｆ４２とを含む。ＮＦＣＩ／Ｆ４１はＢｌｕｅｔｏｏｔｈ（登録商標）等のＮＦＣに準拠の通信回路であり、制御部１０をＮＦＣ準拠の他の電子機器とデータ交換可能に接続する。ＬＡＮＩ／Ｆ４２は無線ＬＡＮに準拠の通信回路であり、制御部１０をアクセスポイント４０１とデータ交換可能に接続する。   The communication unit 40 is an electronic circuit mounted on the same printed circuit board as the other elements 10, 20, and 30, or a board different from any of them, and a near field communication (NFC) interface (I / F) 41 and LAN I / F42. The NFC I / F 41 is an NFC-compliant communication circuit such as Bluetooth (registered trademark), and connects the control unit 10 to other electronic devices compliant with NFC so as to exchange data. The LAN I / F 42 is a communication circuit conforming to a wireless LAN, and connects the control unit 10 to the access point 401 so as to exchange data.

［携帯端末によるＭＦＰの遠隔操作］
図２が示すとおり、ＲＯＭ１３は遠隔操作アプリ１３１を格納している。ユーザーは携帯端末１００をＭＦＰ２００の遠隔操作に利用する際、ＣＰＵ１１に遠隔操作アプリ１３１を実行させる。これにより、ＣＰＵ１１はコマンド生成部１１０として機能する。コマンド生成部１１０は以下に述べるように標準機種の操作画面を、真の操作対象であるＭＦＰ２００の操作画面としてエミュレートする。 [Remote operation of MFP by mobile terminal]
As shown in FIG. 2, the ROM 13 stores a remote operation application 131. When using the mobile terminal 100 for remote operation of the MFP 200, the user causes the CPU 11 to execute the remote operation application 131. Thereby, the CPU 11 functions as the command generation unit 110. The command generation unit 110 emulates an operation screen of a standard model as an operation screen of the MFP 200 that is a true operation target as described below.

コマンド生成部１１０はまず、ＭＦＰ２００のＩＰアドレスを取得する。具体的にはたとえば、コマンド生成部１１０はＬＣＤ１０１の表示を通してユーザーに、ＭＦＰ２００のＩＰアドレスの入力を促す。ユーザーはそのＩＰアドレスをタッチパネル２１で入力する。そのＩＰアドレスを表す２次元バーコードがＭＦＰ２００に表示されている場合、このバーコードをユーザーが撮像部２２で撮影し、その画像をコマンド生成部１１０に解読させる。これらのユーザー操作に従って取得したデータからコマンド生成部１１０はＭＦＰ２００のＩＰアドレスを読み取る。   First, the command generation unit 110 acquires the IP address of the MFP 200. Specifically, for example, command generation unit 110 prompts the user to input the IP address of MFP 200 through display on LCD 101. The user inputs the IP address on the touch panel 21. When a two-dimensional bar code representing the IP address is displayed on the MFP 200, the user takes a picture of the bar code with the imaging unit 22, and causes the command generation unit 110 to decode the image. The command generation unit 110 reads the IP address of the MFP 200 from the data acquired according to these user operations.

コマンド生成部１１０は次に、ネットワーク管理プロトコル（ＳＮＭＰ）マネージャーとしての機能を利用して、ＭＦＰ２００のＩＰアドレスを宛先とするＳＮＭＰメッセージを通信部４０に発行させる。このメッセージに対してＭＦＰ２００はＳＮＭＰエージェントとして反応し、自機の管理情報ベース（ＭＩＢ）が規定する情報（以下、「ＭＩＢファイル」という。）を携帯端末１００へ返信する。このＭＩＢファイルをコマンド生成部１１０は通信部４０にクラウドサーバー３００へ転送させる。ＭＩＢは画像形成装置の機種ごとに異なるので、このＭＩＢファイルからクラウドサーバー３００はＭＦＰ２００の機種を識別可能である。クラウドサーバー３００は更に、識別した機種に対応するコマンド変換表１３２を検索する。この変換表１３２をコマンド生成部１１０は、標準機種の操作画面プログラム１３３と共に、クラウドサーバー３００からダウンロードしてＲＯＭ１３に保存する。   Next, the command generation unit 110 uses the function as a network management protocol (SNMP) manager to cause the communication unit 40 to issue an SNMP message whose destination is the IP address of the MFP 200. In response to this message, the MFP 200 responds as an SNMP agent, and returns information (hereinafter referred to as “MIB file”) defined by its own management information base (MIB) to the portable terminal 100. The command generation unit 110 causes the communication unit 40 to transfer the MIB file to the cloud server 300. Since the MIB differs depending on the model of the image forming apparatus, the cloud server 300 can identify the model of the MFP 200 from the MIB file. The cloud server 300 further searches the command conversion table 132 corresponding to the identified model. The command generation unit 110 downloads this conversion table 132 from the cloud server 300 together with the standard model operation screen program 133 and stores it in the ROM 13.

コマンド生成部１１０は続いて、ＲＯＭ１３に保存されたコマンド変換表１３２を参照してＭＦＰ２００に対する接続プロトコルを特定する。このプロトコルに従ってＭＦＰ２００との接続が確立されるように、コマンド生成部１１０は通信部４０を制御する。
接続の確立後、コマンド生成部１１０はＨＴＴＰに従い、ＭＦＰ２００からその操作画面プログラムをダウンロードする。ただし、コマンド生成部１１０はＭＦＰ２００の操作画面プログラムに代えて、ＲＯＭ１３に保存された標準機種の操作画面プログラム１３３を実行する。標準機種の操作画面プログラム１３３もＨＴＭＬとＪＡＶＡスクリプト（登録商標）とを用いてウェブページデータとして記述されているので、このプログラム１３３をコマンド生成部１１０は既存のウェブブラウザーで実行可能である。これにより、標準機種の操作画面がＬＣＤ１０１に表示される。 Next, the command generation unit 110 refers to the command conversion table 132 stored in the ROM 13 and specifies a connection protocol for the MFP 200. The command generation unit 110 controls the communication unit 40 so that the connection with the MFP 200 is established according to this protocol.
After establishing the connection, the command generation unit 110 downloads the operation screen program from the MFP 200 according to HTTP. However, the command generation unit 110 executes the operation screen program 133 of the standard model stored in the ROM 13 instead of the operation screen program of the MFP 200. Since the operation screen program 133 of the standard model is also described as web page data using HTML and JAVA script (registered trademark), the command generation unit 110 can execute this program 133 with an existing web browser. As a result, the operation screen for the standard model is displayed on the LCD 101.

標準機種の操作画面に対するユーザーのジェスチャーをタッチパネル２１が検知する。これに応じてコマンド生成部１１０は標準機種の操作画面プログラムに従い、まず、検知したジェスチャーの示すイベントの種類を識別し、そのイベントが生じた操作画面内の座標を特定する。コマンド生成部１１０は次に、識別したイベントの種類とその座標との組み合わせをパラメーターとして含むコマンドを生成する。このコマンドは標準機種に対するものであるので、コマンド生成部１１０はこのコマンドを、ＲＯＭ１３に保存されたコマンド変換表１３２に基づき、ＭＦＰ２００に対するコマンドに変換する。さらに、コマンド生成部１１０は変換後のコマンドを通信部４０にＭＦＰ２００へ、ＭＦＰ２００に対する接続プロトコルに従って送信させる。   The touch panel 21 detects the user's gesture for the standard model operation screen. In response to this, the command generation unit 110 first identifies the type of event indicated by the detected gesture, and specifies the coordinates in the operation screen where the event occurred, in accordance with the operation screen program of the standard model. Next, the command generation unit 110 generates a command including a combination of the identified event type and its coordinates as a parameter. Since this command is for a standard model, the command generation unit 110 converts this command into a command for the MFP 200 based on the command conversion table 132 stored in the ROM 13. Further, the command generation unit 110 causes the communication unit 40 to transmit the converted command to the MFP 200 according to the connection protocol for the MFP 200.

［クラウドサーバーの電子制御系統］
図３は、クラウドサーバー３００の電子制御系統の構成を示すブロック図である。この系統内では、制御部３１０、データベース３２０、およびネットワークＩ／Ｆ３３０がバス３４０を通して互いに通信可能に接続されている。
制御部３１０は、クラウドサーバー３００に内蔵の印刷回路基板に実装された集積回路であり、ＣＰＵ３１１、ＲＡＭ３１２、およびＲＯＭ３１３を含む。ＣＰＵ３１１はＭＰＵで構成され、各種ファームウェアを実行することにより、他の要素３２０、３３０、３４０に対する制御主体として各要素にその機能を実現させる。さらに、ＣＰＵ３１１は各種アプリケーションプログラムを実行することにより、各要素３２０、…の機能を組み合わせてクラウドサーバー３００の全体に特定の動作を実現させる。ＲＡＭ３１２は、ＤＲＡＭ、ＳＲＡＭ等の揮発性半導体メモリー装置であり、ＣＰＵ３１１がプログラムを実行する際の作業領域をＣＰＵ３１１に提供する。ＲＯＭ３１３は書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納する。後者は、ＥＥＰＲＯＭ、フラッシュメモリー、ＳＳＤ等の半導体メモリー装置、またはＨＤＤを含み、アプリケーションプログラムを格納すると共に、環境変数等の保存領域をＣＰＵ３１１に提供する。この保存領域に格納されたデータは、携帯端末１００の電源がオフである間も安定に保持される。 [Electronic control system of cloud server]
FIG. 3 is a block diagram showing the configuration of the electronic control system of the cloud server 300. In this system, the control unit 310, the database 320, and the network I / F 330 are connected to each other through a bus 340 so as to communicate with each other.
The control unit 310 is an integrated circuit mounted on a printed circuit board built in the cloud server 300 and includes a CPU 311, a RAM 312, and a ROM 313. The CPU 311 is composed of an MPU, and executes various firmware, thereby causing each element to realize its function as a control entity for the other elements 320, 330, and 340. Further, the CPU 311 executes various application programs to combine the functions of the elements 320,... To realize a specific operation in the entire cloud server 300. The RAM 312 is a volatile semiconductor memory device such as a DRAM or SRAM, and provides the CPU 311 with a work area when the CPU 311 executes a program. The ROM 313 includes a combination of a non-writable nonvolatile storage device and a rewritable nonvolatile storage device. The former stores firmware. The latter includes a semiconductor memory device such as an EEPROM, a flash memory, an SSD, or an HDD, and stores application programs and provides a storage area for environment variables and the like to the CPU 311. The data stored in the storage area is stably held even when the mobile terminal 100 is turned off.

ＣＰＵ３１１は特定のアプリケーションプログラムの実行により、機種識別部３５１またはウェブサーバー３５２として機能する。機種識別部３５１はＭＩＢファイルに基づく画像形成装置の機種識別を行う。具体的には、機種識別部３５１は、携帯端末１００の通信部４０からクラウドサーバー３００へ転送されたＭＩＢファイルを解析する。ＭＩＢファイルが示す情報は画像形成装置の機種ごとに異なるので、機種識別部３５１は、解析結果の示すＭＩＢファイルの特徴からＭＦＰ２００の機種を識別する。ウェブサーバー３５２は、携帯端末１００のウェブブラウザーとの間でデータ交換をＨＴＴＰに従って行う。ウェブサーバー３５２は特に、そのウェブブラウザーからの要求に応じて標準機種の操作画面プログラムとその操作画面の画像データとを提供する。この画像データは、ビットマップ（ＢＭＰ）、グラフィックスインターチェンジフォーマット（ＧＩＦ）等のファイル形式で表現されたラスタデータである。ウェブサーバー３５２は更に、機種識別部３５１が識別したＭＦＰ２００の機種と標準機種との操作画面間でのコマンド変換表をデータベース３２０から検索し、この表をコマンド生成部１１０にダウンロードさせる。   The CPU 311 functions as the model identification unit 351 or the web server 352 by executing a specific application program. The model identification unit 351 identifies the model of the image forming apparatus based on the MIB file. Specifically, the model identification unit 351 analyzes the MIB file transferred from the communication unit 40 of the mobile terminal 100 to the cloud server 300. Since the information indicated by the MIB file differs depending on the model of the image forming apparatus, the model identifying unit 351 identifies the model of the MFP 200 from the characteristics of the MIB file indicated by the analysis result. The web server 352 exchanges data with the web browser of the mobile terminal 100 according to HTTP. In particular, the web server 352 provides an operation screen program of a standard model and image data of the operation screen in response to a request from the web browser. This image data is raster data expressed in a file format such as a bitmap (BMP) or a graphics interchange format (GIF). The web server 352 further searches the database 320 for a command conversion table between the operation screens of the MFP 200 model and the standard model identified by the model identifying unit 351, and causes the command generating unit 110 to download this table.

データベース３２０はたとえば大容量のＨＤＤであり、コマンド変換表群３２１と標準機種の操作画面プログラム３２２とを格納している。コマンド変換表群３２１は、様々なメーカーが製造する様々な機種の画像形成装置と標準機種との間でのコマンド変換表を含む。各変換表は、対応する機種の識別子に紐付けられた状態で保存されている。データベース３２０はその他に機種情報を含む。この情報は機種ごとにＭＩＢの特徴を示し、機種識別部３５１が画像形成装置の機種を識別する際に参照される。   The database 320 is a large-capacity HDD, for example, and stores a command conversion table group 321 and a standard model operation screen program 322. The command conversion table group 321 includes command conversion tables between various types of image forming apparatuses manufactured by various manufacturers and standard models. Each conversion table is stored in a state linked to the identifier of the corresponding model. The database 320 additionally includes model information. This information indicates the characteristics of the MIB for each model, and is referred to when the model identifying unit 351 identifies the model of the image forming apparatus.

ネットワークＩ／Ｆ３３０は、ＴＣＰ／ＩＰネットワーク４０２、４０３を通してクラウドサーバー３００内の他の要素３１０、３２０を携帯端末１００とデータ交換可能に接続する。
［コマンド変換表］
コマンド変換表３２１はたとえば次のようなデータ構造を持つ。データベース３２０には、画像形成装置の各機種に対するコマンドの一覧表が保存されている。各表には、標準機種の搭載する機能別に、その機能と同等な機能を対象機種に実現させるためのコマンドが記載されている。実現すべき機能の同等性に基づき、各機種に対するコマンドが標準機種に対するコマンドと対応付けられる。これにより、その機種と標準機種との間でのコマンド変換表が構成される。 The network I / F 330 connects the other elements 310 and 320 in the cloud server 300 through the TCP / IP networks 402 and 403 so as to exchange data with the mobile terminal 100.
[Command conversion table]
The command conversion table 321 has the following data structure, for example. The database 320 stores a list of commands for each model of the image forming apparatus. In each table, for each function installed in the standard model, a command for realizing a function equivalent to that function in the target model is described. Based on the equivalence of functions to be realized, a command for each model is associated with a command for a standard model. Thereby, a command conversion table between the model and the standard model is constructed.

図４の（ａ）は、標準機種ＭＦＰ−Ａに対するコマンドの一覧表である。図４の（ｃ）は、この表をマークアップ言語でコード化したものを示す図である。ＭＦＰ−Ａの搭載する機能にはたとえば、モノクロモード、カラーモード、片面印刷、両面印刷、および３種類のページ割り付け（１対１、２対１、４対１）が含まれる。図４の（ａ）が示す表では各機能の識別子である機能名に、コマンドのパラメーターとして次の３項目が対応付けられている。（１）その機能をＭＦＰ−Ａに実現させるコマンドの識別子、（２）操作画面の含むＧＵＩ部品のうち、その機能が割り当てられたものが表示されるタブ／ウィンドウの識別子、および（３）その機能が割り当てられたＧＵＩ部品が表示される操作画面内の座標。タブ／ウィンドウには、メニューバー等の他のＧＵＩ部品に生じたイベントに応じてそのＧＵＩ部品の前に現れる、ポップアップメニュー、ダイアログ等が含まれる。操作画面内の座標には、スクロールバーを利用して実際の表示範囲よりも広い範囲に割り振られたものが含まれる。   FIG. 4A is a list of commands for the standard model MFP-A. FIG. 4C is a diagram showing the table encoded in a markup language. The functions installed in the MFP-A include, for example, monochrome mode, color mode, single-sided printing, double-sided printing, and three types of page allocation (1: 1, 2: 1, 4: 1). In the table shown in FIG. 4A, the following three items are associated as command parameters with function names that are identifiers of the respective functions. (1) An identifier of a command that causes the MFP-A to realize the function, (2) an identifier of a tab / window in which a GUI component included in the operation screen is assigned with the function, and (3) the Coordinates in the operation screen where GUI parts to which functions are assigned are displayed. Tabs / windows include pop-up menus, dialogs, etc. that appear in front of the GUI component in response to events occurring in other GUI components such as the menu bar. The coordinates in the operation screen include those allocated to a range wider than the actual display range using a scroll bar.

たとえば、機能名“モノクロ”には、（１）モノクロモードをＭＦＰ−Ａに実現させるコマンドの識別子“＾esc grayscale”、（２）モノクロモードが割り当てられたＧＵＩ部品が表示されるタブ／ウィンドウの識別子“Ａ−ａ”、並びに（３）そのＧＵＩ部品が表示される操作画面内の矩形領域の含む左上の頂点のｘｙ座標（３００ピクセル、１５０ピクセル）、およびその矩形領域の幅１５０ピクセルと高さ３０ピクセルとが対応付けられている。この表は更に、携帯端末１００でＭＦＰ−Ａを遠隔操作する際に両者間を接続する方法、すなわちプロトコルの識別子として“Ｔｙｐｅ１”を規定する。   For example, the function name “monochrome” includes (1) a command identifier “^ esc grayscale” for realizing the monochrome mode in the MFP-A, and (2) a tab / window on which a GUI component to which the monochrome mode is assigned is displayed. The identifier “A-a”, and (3) the xy coordinates (300 pixels, 150 pixels) of the upper left vertex of the rectangular area in the operation screen on which the GUI component is displayed, and the width and 150 pixels of the rectangular area 30 pixels are associated with each other. This table further defines “Type 1” as an identifier of a method for connecting between MFP-A when the portable terminal 100 is remotely operated, that is, a protocol identifier.

図４の（ｂ）は、ＭＦＰ２００の機種ＭＦＰ−Ｂに対するコマンドの一覧表である。図４の（ｄ）は、この表をマークアップ言語でコード化したものを示す図である。この表の構成は、図４の（ａ）の示す表の構成と同様である。たとえば、機能名“モノクロ”には（１）モノクロモードをＭＦＰ−Ｂに実現させるコマンドの識別子“＠monochrome”、（２）モノクロモードが割り当てられたＧＵＩ部品が表示されるタブ／ウィンドウの識別子“Ｂ−ａ”、並びに（３）そのＧＵＩ部品が表示される操作画面内の矩形領域の含む左上の頂点のｘｙ座標（５０ピクセル、１４０ピクセル）、およびその矩形領域の幅１２０ピクセルと高さ３０ピクセルとが対応付けられている。標準機種ＭＦＰ−Ａの搭載する機能のうち、操作対象ＭＦＰ−Ｂの搭載する機能のいずれとも同等でないものについては、その名称に対応する項目が空欄で表現される。具体的には、ＭＦＰ−Ｂは両面印刷と４対１のページ割り付けとを含まないので、機能名“両面”と“４ｉｎ１”とに対応する項目は空欄である。この表は更に、携帯端末１００でＭＦＰ−Ｂを遠隔操作する際に両者間を接続する方法、すなわちプロトコルの識別子として“Ｔｙｐｅ２”を規定する。   FIG. 4B is a list of commands for the MFP 200 type MFP-B. FIG. 4D is a diagram showing the table encoded in a markup language. The configuration of this table is the same as the configuration of the table shown in FIG. For example, the function name “monochrome” includes (1) a command identifier “@monochrome” for realizing the monochrome mode in the MFP-B, and (2) a tab / window identifier “in which a GUI component to which the monochrome mode is assigned” is displayed. B a ″, and (3) the xy coordinates (50 pixels, 140 pixels) of the upper left vertex of the rectangular area in the operation screen on which the GUI component is displayed, and the width 120 pixels and the height 30 of the rectangular area Pixels are associated with each other. Among the functions installed in the standard model MFP-A, for the functions that are not equivalent to any of the functions installed in the operation target MFP-B, the item corresponding to the name is represented by a blank. Specifically, since MFP-B does not include duplex printing and 4-to-1 page allocation, the items corresponding to the function names “duplex” and “4 in 1” are blank. This table further defines “Type 2” as an identifier of a method for connecting between the MFP-B when the portable terminal 100 is remotely operated, that is, a protocol identifier.

−コマンドの変換−
標準機種の操作画面に対するユーザーの、タップ、フリック、スライド等のジェスチャーをタッチパネル２１が検知する。これらのジェスチャーからコマンド生成部１１０はＭＦＰ２０に対するコマンドを、以下に記載された手順で生成する。
コマンド生成部１１０はまず、検知されたジェスチャーの種類に対応するイベントの種類を識別し、そのジェスチャーが検知された標準機種ＭＦＰ−Ａの操作画面内の座標を特定する。ジェスチャーの種類がたとえば、短時間の“タッチ”であればイベントの種類が“クリック”に識別され、比較的ゆっくりとした“フリック”であれば“ドラッグ”に識別される。 -Command conversion-
The touch panel 21 detects a user's gesture such as tap, flick, and slide on the operation screen of the standard model. From these gestures, the command generation unit 110 generates a command for the MFP 20 according to the procedure described below.
First, the command generation unit 110 identifies the event type corresponding to the detected gesture type, and specifies the coordinates in the operation screen of the standard model MFP-A where the gesture is detected. For example, if the type of gesture is “touch” for a short time, the type of event is identified as “click”, and if it is a relatively slow “flick”, it is identified as “drag”.

コマンド生成部１１０は次に、識別したイベントの種類とその座標とをパラメーターとして含むコマンドを、標準機種ＭＦＰ−Ａの操作画面プログラムに従って生成する。このコマンドは標準機種ＭＦＰ−Ａに対するものであり、すなわち、それが含むイベントの種類と座標との組み合わせから特定される機能をＭＦＰ−Ａに実現させる。
コマンド生成部１１０は続いて、遠隔操作アプリ１３１に従い、標準機種ＭＦＰ−Ａに対するコマンドをＭＦＰ２００の機種ＭＦＰ−Ｂに対するコマンドに変換する。この際、ＲＯＭ１３に保存されたコマンド変換表１３２は次のように利用される。コマンド生成部１１０はまず、変換前のコマンドから特定されるＭＦＰ−Ａの機能を、図４の（ａ）の示すＭＦＰ−Ａに対するコマンドの一覧表から特定する。具体的には、この表からコマンド生成部１１０は、生成したコマンドの識別子に対応する機能名を検索する。たとえば、そのコマンドが識別子“＾esc noduplex”を含む場合、この識別子に対応する機能名“片面”が検索される。この機能名に対応するコマンドをコマンド生成部１１０は、図４の（ｂ）の示すＭＦＰ−Ｂに対するコマンドの一覧表から検索する。たとえば、機能名“片面”で検索されるＭＦＰ−Ｂに対するコマンドは、その機能名に対応付けられた、（１）コマンドの識別子“＠simplex”、（２）タブ／ウィンドウの識別子“Ｂ−ａ”、および（３）ｘｙ座標（４００ピクセル、１４０ピクセル）、幅１２０ピクセルと高さ３０ピクセルを含む。 Next, the command generation unit 110 generates a command including the identified event type and its coordinates as parameters according to the operation screen program of the standard model MFP-A. This command is for the standard model MFP-A, that is, causes the MFP-A to realize a function specified by the combination of the type of event and coordinates included in the command.
Subsequently, command generation unit 110 converts a command for standard model MFP-A into a command for model MFP-B of MFP 200 in accordance with remote operation application 131. At this time, the command conversion table 132 stored in the ROM 13 is used as follows. First, the command generation unit 110 specifies the function of the MFP-A specified from the command before conversion from the list of commands for the MFP-A shown in FIG. Specifically, from this table, the command generation unit 110 searches for a function name corresponding to the identifier of the generated command. For example, if the command includes the identifier “^ esc noduplex”, the function name “single side” corresponding to this identifier is retrieved. The command generation unit 110 searches for a command corresponding to this function name from the command list for the MFP-B shown in FIG. For example, a command for MFP-B searched with the function name “single side” is associated with the function name: (1) command identifier “@simplex”, (2) tab / window identifier “Ba” And (3) xy coordinates (400 pixels, 140 pixels), width 120 pixels and height 30 pixels.

コマンド生成部１１０はその後、遠隔操作アプリに従い、生成したＭＦＰ−Ｂに対するコマンドを通信部４０にＭＦＰ２００へ送信させる。具体的には、コマンド生成部１１０はまず、図４の（ｂ）の示すＭＦＰ−Ｂに対するコマンドの一覧表から接続プロトコルの識別子“Ｔｙｐｅ２”を検索する。この識別子“Ｔｙｐｅ２”からコマンド生成部１１０は接続プロトコルを特定し、このプロトコルに従ってコマンド生成部１１０は通信部４０を制御する。これにより通信部４０とＭＦＰ２００との間の接続が確立され、コマンド生成部１１０の生成したコマンドが通信部４０からＭＦＰ２００へ送信される。このコマンドはＭＦＰ２００の機種ＭＦＰ−Ｂに対するコマンドであり、特に、図４の（ｂ）の示す（１）そのコマンドの識別子、（２）そのコマンドが割り当てられたＧＵＩ部品を含むタブ／ウィンドウの識別子、および（３）そのＧＵＩ部品が表示されるＭＦＰ−Ｂの操作画面内の座標をパラメーターとして含む。これらのパラメーターについては、遠隔操作アプリを実行する携帯端末１００とＭＦＰ−Ｂの操作画面プログラムを実行する他の携帯端末との間に違いはない。したがって、このコマンドに応じてＭＦＰ２００は、そのコマンドの表す機能が実現するように動作する。   Thereafter, the command generation unit 110 causes the communication unit 40 to transmit a command for the generated MFP-B to the MFP 200 in accordance with the remote operation application. Specifically, the command generation unit 110 first searches the connection protocol identifier “Type2” from the list of commands for the MFP-B shown in FIG. From this identifier “Type2”, the command generation unit 110 specifies a connection protocol, and the command generation unit 110 controls the communication unit 40 according to this protocol. Thereby, the connection between the communication unit 40 and the MFP 200 is established, and the command generated by the command generation unit 110 is transmitted from the communication unit 40 to the MFP 200. This command is a command for the model MFP-B of the MFP 200, and in particular, (1) the identifier of the command shown in (b) of FIG. 4, and (2) the identifier of the tab / window including the GUI component to which the command is assigned. And (3) the coordinates in the operation screen of MFP-B on which the GUI part is displayed are included as parameters. Regarding these parameters, there is no difference between the portable terminal 100 that executes the remote operation application and the other portable terminals that execute the operation screen program of the MFP-B. Therefore, in response to this command, MFP 200 operates so as to realize the function represented by the command.

［画像形成装置の構造］
図５は、プリンター２３０の内部構造を模式的に示す正面図である。図５は特にプリンター２３０の内部の要素を、あたかも筐体の前面を透かして見えているように表す。この図が示すとおり、プリンター２３０は、給送部５１０、作像部５２０、定着部５３０、および排紙部５４０を含む。 [Structure of image forming apparatus]
FIG. 5 is a front view schematically showing the internal structure of the printer 230. FIG. 5 particularly shows the elements inside the printer 230 as if they were seen through the front of the housing. As shown in this figure, the printer 230 includes a feeding unit 510, an image forming unit 520, a fixing unit 530, and a paper discharge unit 540.

給送部５１０は、搬送ローラー群５１２、５１３、５１４を利用して、給紙カセット１１に収容されたシートの束ＳＨＴからシートＳＨ１を１枚ずつ作像部５２０へ給送する。給紙カセット１１に収容可能なシートＳＨＴの材質は紙または樹脂等であり、紙種は、普通紙、上質紙、カラー用紙、または塗工紙等であり、サイズは、Ａ３、Ａ４、Ａ５、またはＢ４等である。シートの姿勢は縦横のいずれにも設定可能である。   The feeding unit 510 feeds the sheet SH1 from the sheet bundle SHT stored in the sheet feeding cassette 11 to the image forming unit 520 one by one using the transport roller groups 512, 513, and 514. The material of the sheet SHT that can be accommodated in the paper feed cassette 11 is paper or resin, the paper type is plain paper, high-quality paper, color paper, coated paper, etc., and the sizes are A3, A4, A5, Or B4 or the like. The posture of the seat can be set to either vertical or horizontal.

作像部５２０はタンデム型であり、給送部５１０から送られたシートＳＨ２にカラーまたはモノクロのトナー像を形成する。具体的には、４つの感光体（ＰＣ）ユニット５２１Ｙ、２１Ｍ、２１Ｃ、２１Ｋのそれぞれが、感光体（ＰＣ）ドラム５２５の表面を帯電させ、その帯電部分に露光部５２７からの光を当てる。これらの光は、画像データの示すイエロー（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、ブラック（Ｋ）の階調値分布に従って変調されているので、ＰＣドラム５２５の表面には異なる色の静電潜像が形成される。各ＰＣユニット５２１Ｙ、…はこの静電潜像を、Ｙ、Ｍ、Ｃ、Ｋのトナーで現像する。４色のトナー像は１次転写ローラー５２２Ｙ、５２２Ｍ、５２２Ｃ、５２２ＫとＰＣドラム５２１Ｙ、…との間の電界により、ＰＣドラム５２５の表面から順番に中間転写ベルト５２３の表面上の同じ位置へ転写される。こうして、その位置に１つのカラートナー像が構成される。このカラートナー像はその後、中間転写ベルト５２３の駆動プーリー５２３Ｒと２次転写ローラー５２４との間のニップを通過する際、両者５２３Ｒ、５２４間の電界により、同じニップへ同時に通紙されたシートＳＨ２の表面へ転写される。このシートＳＨ２は２次転写ローラー５２４から剥がされた後、定着部５３０へ送り出される。   The image forming unit 520 is a tandem type, and forms a color or monochrome toner image on the sheet SH <b> 2 sent from the feeding unit 510. Specifically, each of the four photoconductor (PC) units 521Y, 21M, 21C, and 21K charges the surface of the photoconductor (PC) drum 525, and applies light from the exposure unit 527 to the charged portion. Since these lights are modulated according to the gradation value distribution of yellow (Y), magenta (M), cyan (C), and black (K) indicated by the image data, the surface of the PC drum 525 has different colors. An electrostatic latent image is formed. Each PC unit 521Y,... Develops this electrostatic latent image with Y, M, C, and K toners. The four color toner images are transferred from the surface of the PC drum 525 sequentially to the same position on the surface of the intermediate transfer belt 523 by the electric field between the primary transfer rollers 522Y, 522M, 522C, 522K and the PC drum 521Y,. Is done. Thus, one color toner image is formed at that position. Thereafter, when this color toner image passes through the nip between the driving pulley 523R of the intermediate transfer belt 523 and the secondary transfer roller 524, the sheet SH2 is simultaneously fed to the same nip by the electric field between the two 523R and 524. It is transferred to the surface. The sheet SH <b> 2 is peeled off from the secondary transfer roller 524 and then sent out to the fixing unit 530.

定着部５３０は、作像部５２０から送り出されたシートＳＨ２の上にトナー像を熱定着させる。具体的には、このシートＳＨ２が加熱ローラー５３１と加圧ローラー５３２との間のニップへ通紙されるとき、加熱ローラー５３１はそのシートＳＨ２の表面へ内蔵のヒーターの熱を加え、加圧ローラー５３２はそのシートＳＨ２の加熱部分に対して圧力を加えて加熱ローラー５３１へ押し付ける。加熱ローラー５３１からの熱と加圧ローラー５３２からの圧力とにより、トナーがそのシートＳＨ２の表面上に溶着する。その後、加熱ローラー５３１と加圧ローラー５３２とはこのシートＳＨ２を定着部５３０から送出する。   The fixing unit 530 thermally fixes the toner image on the sheet SH2 sent out from the image forming unit 520. Specifically, when the sheet SH2 is passed through the nip between the heating roller 531 and the pressure roller 532, the heating roller 531 applies heat of a built-in heater to the surface of the sheet SH2, and the pressure roller 532 applies pressure to the heated portion of the sheet SH2 and presses it against the heating roller 531. The toner is welded onto the surface of the sheet SH2 by the heat from the heating roller 531 and the pressure from the pressure roller 532. Thereafter, the heating roller 531 and the pressure roller 532 deliver the sheet SH2 from the fixing unit 530.

排紙部５４０は、定着部５３０から送出されたシートＳＨ３を排紙トレイ５４１へ搬送する。具体的には、そのシートＳＨ３の先端が定着部５３０から排紙ローラー５４３の間のニップまで到達したとき、この先端を排紙ローラー５４３が排紙口５４２へ引き込む。これにより、そのシートＳＨ３は先端から順に排紙口５４２を通過し、排紙トレイ５４１に積載される。   The paper discharge unit 540 conveys the sheet SH3 sent from the fixing unit 530 to the paper discharge tray 541. Specifically, when the leading end of the sheet SH3 reaches the nip between the fixing unit 530 and the discharge roller 543, the discharge roller 543 pulls the leading end into the discharge port 542. As a result, the sheet SH3 sequentially passes through the paper discharge outlet 542 from the leading edge and is stacked on the paper discharge tray 541.

［画像形成装置の電子制御系統］
図６は、ＭＦＰ２００の電子制御系統の構成を示すブロック図である。この制御系統では、ＡＤＦ２１０、スキャナー２２０、およびプリンター２３０に加え、操作部５５０と主制御部５６０とがバス５９０を通して互いに通信可能に接続されている。
−操作部−
操作部５５０はユーザーの操作または外部の電子機器との通信を通してジョブ処理の要求と印刷対象の画像データとを受け付け、それらの情報を主制御部５６０へ伝える。図６が示すように、操作部５５０は操作パネル５５１と外部インタフェース（Ｉ／Ｆ）５５２とを含む。操作パネル５５１は、図１の示すタッチパネル２４０と機械スイッチ２５０とを含む。タッチパネル２４０はたとえば抵抗膜方式である。操作パネル５５１は、操作画面等のＧＵＩ画面をタッチパネル２４０に表示し、ユーザーの指の接触に伴うタッチパネル２４０の電位変化から、その指が接触した画面内の座標を特定する。操作パネル５５１はまた、ユーザーが操作した機械スイッチ２５０を識別する。これらの情報を操作パネル５５１は操作情報として主制御部５６０へ伝える。外部Ｉ／Ｆ５２は、メモリーＩ／Ｆ、ＮＦＣＩ／Ｆ、およびＬＡＮＩ／Ｆを含む。メモリーＩ／ＦはＵＳＢポートまたはメモリーカードスロットを含み、それらを通してＵＳＢメモリーまたはＨＤＤ等の外付けの記憶装置から直に印刷対象の画像データを取り込む。ＮＦＣＩ／ＦはＢｌｕｅｔｏｏｔｈ（登録商標）等のＮＦＣに準拠の通信回路であり、主制御部５６０を携帯端末１００等、ＮＦＣ準拠の他の電子機器とデータ交換可能に接続する。ＬＡＮＩ／Ｆは有線ＬＡＮまたは無線ＬＡＮに準拠の通信回路であり、主制御部５６０をＴＣＰ／ＩＰネットワーク４０２、４０３とデータ交換可能に接続し、そのネットワーク４０２、４０３上の他の電子機器から印刷対象の画像データを受信する。 [Electronic control system of image forming apparatus]
FIG. 6 is a block diagram showing the configuration of the electronic control system of MFP 200. In this control system, in addition to the ADF 210, the scanner 220, and the printer 230, an operation unit 550 and a main control unit 560 are connected to each other through a bus 590 so as to communicate with each other.
-Operation part-
The operation unit 550 receives a job processing request and image data to be printed through a user operation or communication with an external electronic device, and transmits the information to the main control unit 560. As shown in FIG. 6, the operation unit 550 includes an operation panel 551 and an external interface (I / F) 552. Operation panel 551 includes touch panel 240 and mechanical switch 250 shown in FIG. The touch panel 240 is, for example, a resistive film type. The operation panel 551 displays a GUI screen such as an operation screen on the touch panel 240, and specifies the coordinates in the screen where the finger touches from the potential change of the touch panel 240 accompanying the touch of the user's finger. The operation panel 551 also identifies the mechanical switch 250 operated by the user. The operation panel 551 transmits this information to the main control unit 560 as operation information. The external I / F 52 includes a memory I / F, an NFC I / F, and a LAN I / F. The memory I / F includes a USB port or a memory card slot, through which image data to be printed is taken directly from an external storage device such as a USB memory or HDD. The NFC I / F is an NFC-compliant communication circuit such as Bluetooth (registered trademark), and connects the main control unit 560 to other electronic devices such as the mobile terminal 100 so as to exchange data. The LAN I / F is a communication circuit conforming to a wired LAN or a wireless LAN. The main control unit 560 is connected to the TCP / IP networks 402 and 403 so that data can be exchanged and printed from other electronic devices on the networks 402 and 403. Receive target image data.

−主制御部−
主制御部５６０は、ＭＦＰ２００の内部に設置された１枚の印刷回路基板に実装された集積回路であり、ＣＰＵ５６１、ＲＡＭ５６２、およびＲＯＭ５６３を含む。ＣＰＵ５６１は１つのＭＰＵで構成され、各種ファームウェアを実行することにより、他の要素５５０、２１０、２２０、２３０に対する制御主体としての多様な機能を実現する。ＣＰＵ５６１はたとえば、操作部５５０に操作画面を表示させてユーザーの入力操作を受け付けさせ、受け付けた情報を操作情報として通知させる。この通知に応じてＣＰＵ５６１は、操作情報からＭＦＰ２００の機能を特定し、その機能が実現するように他の要素５５０、２１０、…を制御する。たとえば、操作情報が、ジョブ処理の開始、その停止等、ＭＦＰ２００の動作モードの変更を要求するものである場合、ＣＰＵ５６１は、稼動モード、待機（低電力）モード、スリープモード等の中から動作モードを選択し、その動作モードに応じた処理を各要素２１０、２２０、２３０に指示する。また、操作情報が、ジョブの処理条件、特に、シートのサイズ、紙種、姿勢（縦置きと横置きとの別)、部数、カラー／モノクロの別、画質等の印刷条件を含む場合、その条件に従って、ＲＡＭ５６２またはＲＯＭ５６３が保存するパラメーターの数値を更新する。たとえば、ＣＰＵ５６１は、操作情報が示すシートの紙種に応じてシートの搬送速度の目標値を選択し、その目標値をプリンター２３０に指示する。ＲＡＭ５６２は、ＤＲＡＭ、ＳＲＡＭ等の揮発性半導体メモリー装置であり、ＣＰＵ５６１にファームウェアを実行する際の作業領域を提供すると共に、操作部５５０が受け付けた印刷対象の画像データを保存する。ＲＯＭ５６３は、書き込み不可の不揮発性記憶装置と書き換え可能な不揮発性記憶装置との組み合わせで構成されている。前者はファームウェアを格納し、後者は、ＥＥＰＲＯＭ、フラッシュメモリー、ＳＳＤ等の半導体メモリー装置、またはＨＤＤを含み、ＣＰＵ５６１に環境変数等の保存領域を提供する。 −Main control unit−
The main control unit 560 is an integrated circuit mounted on a single printed circuit board installed inside the MFP 200, and includes a CPU 561, a RAM 562, and a ROM 563. The CPU 561 is configured by one MPU, and implements various functions as a control subject for the other elements 550, 210, 220, and 230 by executing various firmware. For example, the CPU 561 displays an operation screen on the operation unit 550 to accept a user input operation, and notifies the received information as operation information. In response to this notification, the CPU 561 identifies the function of the MFP 200 from the operation information and controls the other elements 550, 210,... So that the function is realized. For example, when the operation information is a request for changing the operation mode of the MFP 200 such as start or stop of job processing, the CPU 561 selects the operation mode from among the operation mode, standby (low power) mode, sleep mode, and the like. And instruct each element 210, 220, 230 to perform processing according to the operation mode. Also, if the operation information includes job processing conditions, especially printing conditions such as sheet size, paper type, orientation (separate between portrait and landscape), number of copies, color / monochrome, image quality, etc. The parameter values stored in the RAM 562 or the ROM 563 are updated according to the conditions. For example, the CPU 561 selects a target value for the sheet conveyance speed in accordance with the sheet type of the sheet indicated by the operation information, and instructs the printer 230 for the target value. The RAM 562 is a volatile semiconductor memory device such as a DRAM or SRAM, and provides a work area for executing firmware to the CPU 561 and stores image data to be printed received by the operation unit 550. The ROM 563 is configured by a combination of a non-writable nonvolatile storage device and a rewritable nonvolatile storage device. The former stores firmware, and the latter includes a semiconductor memory device such as EEPROM, flash memory, SSD, or HDD, and provides a storage area for environment variables and the like to the CPU 561.

主制御部５６０は、特定のファームウェアの実行によりリモートパネルサーバー５７０として機能する。リモートパネルサーバー５７０は操作部５５０と連携して、リモートパネルを利用したＭＦＰ２００の遠隔操作機能を、携帯端末１００等、ＬＡＮ４０２上の他の電子機器に提供する。具体的には、リモートパネルサーバー５７０は、ウェブページデータとして記述されたＭＦＰ２００の操作画面プログラムをＨＴＴＰに従って他の電子機器へ送信する。そのプログラムをウェブブラウザーで実行することにより、この電子機器はＭＦＰ２００の操作画面をエミュレートする。この電子機器からＭＦＰ２００に対するコマンドが返信されると、リモートパネルサーバー５７０はこのコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから自機の機能を特定する。この機能が実現するように、主制御部５６０は他の要素５５０、２１０、２２０、２３０を制御する。   The main control unit 560 functions as the remote panel server 570 by executing specific firmware. The remote panel server 570 cooperates with the operation unit 550 to provide a remote operation function of the MFP 200 using the remote panel to other electronic devices on the LAN 402 such as the portable terminal 100. Specifically, remote panel server 570 transmits an operation screen program of MFP 200 described as web page data to another electronic device according to HTTP. By executing the program with a web browser, the electronic device emulates the operation screen of the MFP 200. When a command for the MFP 200 is returned from the electronic device, the remote panel server 570 reads the event type and the coordinates in the operation screen from the command, and identifies the function of the own device from the combination thereof. The main control unit 560 controls the other elements 550, 210, 220, and 230 so that this function is realized.

［操作画面間でのグラフィックスの対応］
図７の（ａ）は、遠隔操作アプリに従って携帯端末１００が表示する標準機種ＭＦＰ−Ａの操作画面ＣＰＡを示す模式図であり、図７の（ｂ）は、操作対象のＭＦＰ２００が表示する別機種ＭＦＰ−Ｂの操作画面ＣＰＢを示す模式図である。ＭＦＰ２００では操作部５５０がＭＦＰ−Ｂの操作画面ＣＰＢをタッチパネル２４０に表示させて、その画面に対するユーザー操作を受け付ける。ＭＦＰ２００が外部の電子機器から遠隔操作を受け付ける場合、リモートパネルサーバー５７０がその機器にＭＦＰ−Ｂの操作画面プログラムをダウンロードさせる。通常はこのプログラムがその機器により実行されるので、その機器のディスプレイにはＭＦＰ−Ｂの操作画面ＣＰＢが表示される。しかし、携帯端末１００は遠隔操作アプリに従い、ＭＦＰ−Ｂの操作画面プログラムに代えてＭＦＰ−Ａの操作画面プログラムを実行する。したがって、携帯端末１００のタッチパネル２１にはＭＦＰ−Ａの操作画面ＣＰＡが表示される。 [Support for graphics between operation screens]
FIG. 7A is a schematic diagram showing an operation screen CPA of the standard model MFP-A displayed on the portable terminal 100 in accordance with the remote operation application, and FIG. It is a schematic diagram showing an operation screen CPB of model MFP-B. In MFP 200, operation unit 550 displays operation screen CPB of MFP-B on touch panel 240, and accepts a user operation on the screen. When the MFP 200 accepts a remote operation from an external electronic device, the remote panel server 570 causes the device to download the operation screen program of the MFP-B. Normally, since this program is executed by the device, the operation screen CPB of MFP-B is displayed on the display of the device. However, the portable terminal 100 executes the operation screen program of MFP-A instead of the operation screen program of MFP-B according to the remote operation application. Therefore, the operation screen CPA of MFP-A is displayed on the touch panel 21 of the mobile terminal 100.

図７が示すとおり、いずれの操作画面ＣＰＡ、ＣＰＢも一般に複雑であり、これらの間では、ＧＵＩ部品のレイアウトと形態、および表示される用語が一般に異なる。しかし、ＭＦＰ−Ａ、Ｂはいずれも画像形成装置であることに違いはないので、これらの間には共通の、または同等の機能が存在する。これらの機能が割り当てられたＧＵＩ部品は、いずれの操作画面ＣＰＡ、ＣＰＢにおいてもいずれかのタブまたはウィンドウに表示される。具体的にはたとえば、印刷対象のシートのサイズ、紙種、姿勢、部数、カラー／モノクロの別、画質等の印刷条件は画像形成装置全般で共通するので、これらの条件を設定するためのＧＵＩ部品はいずれの操作画面ＣＰＡ、ＣＰＢにも含まれる。たとえば、図７の（ａ）の示すＭＦＰ−Ａの操作画面ＣＰＡは５つのボタンＢＴＧ、“オートカラー”、“フルカラー”、“ブラック”、“２色カラー”、“単色カラー”を含む。これらＢＴＧはカラー／モノクロモード間での選択肢を表し、ユーザーの指が触れたボタンに対応する動作モードが選択される。一方、図７の（ｂ）の示すＭＦＰ−Ｂの操作画面ＣＰＢは単一のボタンＢＴＳ、“オートカラー”を含む。このボタンＢＴＳにユーザーの指が触れると、図７の（ｂ）には示されていないが、カラー／モノクロモード間での選択肢を表すメニューが操作画面ＣＰＢにポップアップ表示される。一般に、各選択肢の名称は異なるが、対応する動作モードにおいて発現する機能は共通し、または同等である。図４の示すコマンド変換表では、図７の（ａ）の示す５つのボタンＢＴＧの座標と、図７の（ｂ）の示す単一のボタンＢＴＳの座標とが互いに対応付けられている。したがって、携帯端末１００のコマンド生成部１１０は、ＭＦＰ−Ａの操作画面の含む５つのボタンＢＴＧの座標、たとえばボタン“オートカラー”の座標を、ＭＦＰ−Ｂの操作画面の含む単一のボタンＢＴＳの座標に正しく変換することができる。   As shown in FIG. 7, the operation screens CPA and CPB are generally complicated, and the layout and form of GUI parts and the displayed terms are generally different between them. However, since there is no difference that both MFP-A and B are image forming apparatuses, there is a common or equivalent function between them. The GUI component to which these functions are assigned is displayed on any tab or window on any operation screen CPA or CPB. Specifically, for example, printing conditions such as the size of the sheet to be printed, paper type, orientation, number of copies, color / monochrome, and image quality are common to all image forming apparatuses, so a GUI for setting these conditions is used. Parts are included in any of the operation screens CPA and CPB. For example, the operation screen CPA of the MFP-A shown in FIG. 7A includes five buttons BTG, “auto color”, “full color”, “black”, “two color”, and “single color”. These BTGs represent options between color / monochrome modes, and an operation mode corresponding to a button touched by the user's finger is selected. On the other hand, the operation screen CPB of the MFP-B shown in FIG. 7B includes a single button BTS, “Auto Color”. When the user's finger touches this button BTS, although not shown in FIG. 7B, a menu representing options between the color / monochrome modes pops up on the operation screen CPB. In general, the names of the options are different, but the functions that appear in the corresponding operation modes are common or equivalent. In the command conversion table shown in FIG. 4, the coordinates of the five buttons BTG shown in FIG. 7A and the coordinates of the single button BTS shown in FIG. 7B are associated with each other. Therefore, the command generation unit 110 of the mobile terminal 100 includes the coordinates of the five buttons BTG included in the operation screen of the MFP-A, for example, the coordinates of the button “auto color”, and the single button BTS included in the operation screen of the MFP-B. Can be converted to the correct coordinates.

図４の（ｂ）の示すＭＦＰ−Ｂに対するコマンドの一覧表では、機能名“両面”と“４ｉｎ１”とに対応する項目が空欄である。したがって、ＭＦＰ２００は両面印刷と４対１のページ割り付けとを含まない。このように、ＭＦＰ−Ａの搭載する機能の中に、ＭＦＰ−Ｂの搭載する機能のいずれとも同等でないものが存在することをコマンド変換表が示す場合がある。この場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面ＣＰＡのうち、これらの機能が割り当てられたＧＵＩ部品ＤＳ１、ＤＳ２、ＤＳ３を無効化する。具体的にはたとえば、印刷時に動作モード“単色カラー”が選択される場合、その単色をユーザーに選択させる機能をＭＦＰ−Ａは搭載しているが、ＭＦＰ−Ｂは搭載していない。この場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面ＣＰＡにおいて、単色の選択機能が割り当てられたボタン“カラー選択”ＤＳ１を無効化し、その外観をグレーアウトさせる。これにより、そのボタンＤＳ１が無効化されていることをユーザーは一目でわかる。   In the list of commands for the MFP-B shown in FIG. 4B, items corresponding to the function names “double-sided” and “4in1” are blank. Therefore, the MFP 200 does not include duplex printing and 4-to-1 page allocation. Thus, the command conversion table may indicate that some of the functions installed in MFP-A are not equivalent to any of the functions installed in MFP-B. In this case, the command generation unit 110 invalidates the GUI parts DS1, DS2, and DS3 to which these functions are assigned in the operation screen CPA of the MFP-A. Specifically, for example, when the operation mode “single color” is selected at the time of printing, the MFP-A has a function for allowing the user to select the single color, but the MFP-B is not. In this case, the command generation unit 110 invalidates the button “color selection” DS1 to which the single color selection function is assigned on the operation screen CPA of the MFP-A, and grays out the appearance thereof. Thus, the user can recognize at a glance that the button DS1 is invalidated.

コマンド変換表が規定する操作画面ＣＰＡ、ＣＰＢ間での座標の対応は、現に表示されているタブ／ウィンドウ内の座標のみを対象とするものではない。その対象には、メニューバー等のＧＵＩ部品に生じたイベントに応じてそのＧＵＩ部品の前に現れる、ポップメニュー、ダイアログ等のウィンドウ内の座標も含まれる。また、スクロールバーを利用して、実際に表示されたウィンドウの範囲よりも広く設定された仮想的な範囲の中の座標も含まれる。   The correspondence of coordinates between the operation screens CPA and CPB defined by the command conversion table is not limited to the coordinates in the tab / window currently displayed. The target includes coordinates in windows such as pop menus and dialogs that appear in front of the GUI component in response to an event occurring in the GUI component such as a menu bar. In addition, the coordinates in the virtual range set wider than the range of the window actually displayed using the scroll bar are also included.

図８の（ａ）は、標準機種ＭＦＰ−Ａの操作画面ＣＰＡに対するユーザー操作に応じてその画面ＣＰＡから切り換わった設定画面ＣＡ２を示す模式図である。操作画面ＣＰＡの含むボタン“仕上り”ＢＴ１にユーザーの指がタッチした場合、そのボタンＢＴ１の表示領域におけるタッチパネル２１の電位変化から操作部３０は、ジェスチャーの種類がタッチであることとそのタッチの座標とをコマンド生成部１１０へ通知する。この通知に応じてコマンド生成部１１０はまず、そのタッチをボタンＢＴ１に対するクリックイベントとして識別する。コマンド生成部１１０は次に、通知されたタッチパネル２１上の座標を、そのクリックイベントが生じた操作画面ＣＰＡ内の座標に読み換える。図８の（ａ）の例ではタッチパネル２１と操作画面ＣＰＡとの間で座標値が共通であるが、操作画面ＣＰＡ内の座標には、現に表示されているウィンドウＣＰＡの識別子が添付される。コマンド生成部１１０は続いて、ＭＦＰ−Ａの操作画面プログラムに従い、操作画面ＣＰＡ内の座標におけるクリックイベントに対する処理として、操作画面ＣＰＡから設定画面ＣＡ２への切り換えをＭＦＰ−Ａに対して指示するためのコマンドを生成する。この設定画面ＣＡ２は、印刷ジョブの仕上げ、すなわち印刷処理を受けたシートに対する後処理を規定するパラメーターの設定画面である。このパラメーターにはたとえば、ソートの種類（部ごと、またはページごと）、仕分け、折り、綴じ、穴開けの要否、ステープルとパンチとの位置が含まれる。生成されたコマンドに応じてＭＦＰ−Ａの操作画面プログラムはコマンド生成部１１０に、操作画面ＣＰＡを設定画面ＣＡ２へ実際に切り換えさせる。このとき、設定画面ＣＡ２の画像データがＲＡＭ１２に保存されていなければ、その画像データをコマンド生成部１１０はクラウドサーバー３００からダウンロードする。その後、設定画面ＣＡ２の含むボタンにユーザーの指がタッチしたことを操作部３０から通知された場合、この通知に応じてコマンド生成部１１０は、そのタッチをボタンに対するクリックイベントとして識別し、そのクリックイベントが生じた設定画面ＣＡ２内の座標を特定する。この座標には設定画面ＣＡ２の識別子が添付される。コマンド生成部１１０は更に、ＭＦＰ−Ａの操作画面プログラムに従い、設定画面ＣＡ２内の座標におけるクリックイベントに対する処理として、その座標に対応するパラメーターの値をＭＦＰ−Ａに対して指定するためのコマンドを生成する。   FIG. 8A is a schematic diagram showing a setting screen CA2 that is switched from the screen CPA in response to a user operation on the operation screen CPA of the standard model MFP-A. When the user's finger touches the button “finish” BT1 included in the operation screen CPA, the operation unit 30 determines that the gesture type is touch and the coordinates of the touch from the potential change of the touch panel 21 in the display area of the button BT1. To the command generation unit 110. In response to this notification, the command generator 110 first identifies the touch as a click event for the button BT1. Next, the command generation unit 110 replaces the notified coordinates on the touch panel 21 with the coordinates in the operation screen CPA where the click event has occurred. In the example of FIG. 8A, coordinate values are common between the touch panel 21 and the operation screen CPA, but the identifier of the currently displayed window CPA is attached to the coordinates in the operation screen CPA. The command generation unit 110 then instructs the MFP-A to switch from the operation screen CPA to the setting screen CA2 as a process for the click event at the coordinates in the operation screen CPA according to the operation screen program of the MFP-A. Generate commands for The setting screen CA2 is a parameter setting screen that defines finishing of a print job, that is, post-processing for a sheet that has undergone printing processing. This parameter includes, for example, sort type (by copy or by page), sorting, folding, binding, necessity of punching, and positions of staples and punches. In response to the generated command, the operation screen program of MFP-A causes the command generation unit 110 to actually switch the operation screen CPA to the setting screen CA2. At this time, if the image data of the setting screen CA2 is not stored in the RAM 12, the command generation unit 110 downloads the image data from the cloud server 300. Thereafter, when the operation unit 30 notifies that the user's finger touches the button included in the setting screen CA2, in response to this notification, the command generation unit 110 identifies the touch as a click event for the button, and clicks the button. The coordinates in the setting screen CA2 where the event has occurred are specified. The identifier of the setting screen CA2 is attached to this coordinate. Further, the command generation unit 110 performs a command for designating a value of a parameter corresponding to the coordinates to the MFP-A as a process for the click event at the coordinates in the setting screen CA2 according to the operation screen program of the MFP-A. Generate.

図８の（ｂ）は、図８の（ａ）が示すＭＦＰ−Ａの操作画面ＣＰＡに対するユーザー操作に応じてＭＦＰ２００が変化させた別機種ＭＦＰ−Ｂの操作画面ＣＰＢ、ＣＢ２を示す模式図である。携帯端末１００では上記のとおり、このユーザー操作に応じてコマンド生成部１１０がＭＦＰ−Ａに対するコマンドとして、まず、ＭＦＰ−Ａの操作画面ＣＰＡから後処理の設定画面ＣＡ２への切り換えを指示するためのコマンドを生成する。このコマンドをコマンド生成部１１０は、遠隔操作アプリに従い、ＭＦＰ−Ｂに対するコマンドに変換する。変換後のコマンドは、図８の（ｂ）が示すように、ＭＦＰ−Ｂの操作画面ＣＰＢが含むボタン“仕上り”ＢＴ２に生じたクリックイベントに対する処理としてメニューＣＢ２のポップアップ表示をＭＦＰ−Ｂに対して指示するためのコマンドである。このメニューＣＢ２は複数のコンボボックスの配列を含む。各コンボボックスには、後処理を規定するパラメーターの名称が記載されている。このパラメーターにはたとえば、ソートの種類、仕分け、折り、綴じ、穴開けの要否が含まれる。各パラメーターの値の選択肢、たとえばソートの種類については“部ごと”と“ページごと”との２つはドロップダウンリストで表示される。変換後のコマンドはコマンド生成部１１０からＭＦＰ２００のリモートパネルサーバー５７０へ送信される。このコマンドに応じてリモートパネルサーバー５７０は、操作パネル５５１に表示された操作画面ＣＰＢの中にメニューＣＢ２をポップアップ表示する。その後、携帯端末１００ではコマンド生成部１１０が、設定画面ＣＡ２内の座標におけるクリックイベントに対する処理として、その座標に対応するパラメーターの値をＭＦＰ−Ａに対して指定するためのコマンドを生成する。このコマンドをコマンド生成部１１０は、遠隔操作アプリに従い、ＭＦＰ−Ｂに対するコマンドに変換する。変換後のコマンドは、メニューＣＢ２の含むパラメーターの１つに対する設定値をＭＦＰ−Ｂに指定するためのコマンドである。このコマンドは特に、その設定値が表示されるメニューＣＢ２内の座標を含む。この座標は、スクロールバーを用いることで初めて画面上に現れる仮想的な範囲内の座標を含む。この座標はメニューＣＢ２の識別子と合わせて、コマンド変換表により、携帯端末１００に表示された設定画面ＣＡ２の識別子とその中の座標とに対応する。設定画面ＣＡ２内のこの座標には、メニューＣＢ２の含むパラメーターの１つに対する設定値と同等な設定値が表示されている。したがって、コマンド変換表に基づく設定画面ＣＡ２とメニューＣＢ２との間での座標変換により、携帯端末１００がユーザーから受け付けた設定値と同等な設定値がＭＦＰ２００に対して正しく指定される。   FIG. 8B is a schematic diagram showing operation screens CPB and CB2 of another model MFP-B changed by the MFP 200 in response to a user operation on the operation screen CPA of the MFP-A shown in FIG. is there. As described above, in the portable terminal 100, in response to the user operation, the command generation unit 110 first instructs the MFP-A to switch from the operation screen CPA to the post-processing setting screen CA2 as a command to the MFP-A. Generate a command. The command generation unit 110 converts this command into a command for the MFP-B according to the remote operation application. As shown in FIG. 8B, the converted command is a menu CB2 pop-up displayed on the MFP-B as a process for the click event generated on the button “finish” BT2 included in the operation screen CPB of the MFP-B. This is a command for instructing. This menu CB2 includes an array of a plurality of combo boxes. Each combo box describes the name of a parameter that defines post-processing. This parameter includes, for example, sort type, sorting, folding, binding, and necessity of punching. For each parameter value choice, for example, sort type, “every copy” and “every page” are displayed in a drop-down list. The converted command is transmitted from the command generation unit 110 to the remote panel server 570 of the MFP 200. In response to this command, the remote panel server 570 pops up a menu CB2 in the operation screen CPB displayed on the operation panel 551. Thereafter, in the portable terminal 100, the command generation unit 110 generates a command for designating the MFP-A as the parameter value corresponding to the coordinates as processing for the click event at the coordinates in the setting screen CA2. The command generation unit 110 converts this command into a command for the MFP-B according to the remote operation application. The converted command is a command for designating a setting value for one of the parameters included in the menu CB2 to the MFP-B. This command includes in particular the coordinates in the menu CB2 where the set value is displayed. The coordinates include coordinates within a virtual range that appears on the screen for the first time by using the scroll bar. This coordinate corresponds to the identifier of the setting screen CA2 displayed on the portable terminal 100 and the coordinates in the command conversion table together with the identifier of the menu CB2. A set value equivalent to a set value for one of the parameters included in the menu CB2 is displayed at this coordinate in the setting screen CA2. Therefore, by the coordinate conversion between setting screen CA2 and menu CB2 based on the command conversion table, setting value equivalent to the setting value received by mobile terminal 100 from the user is correctly specified for MFP 200.

図８の（ａ）が示す操作画面ＣＰＡから設定画面ＣＡ２への切り換わり等、標準機種ＭＦＰ−Ａの操作画面におけるグラフィックスの変化に合わせてＭＦＰ２００のリモートパネルサーバー５７０は、図８の（ｂ）が示すメニューＣＢ２のポップアップ表示等、自機種ＭＦＰ−Ｂの操作画面ＣＰＢのグラフィックスを変化させる。したがって、ユーザーは携帯端末１００に表示されたＭＦＰ−Ａの操作画面を扱いながら、ＭＦＰ２００に表示されたＭＦＰ−Ｂの操作画面の変化を目で確認することもできる。ユーザーは特に、タッチ等のジェスチャーに応じて、外観が変化するボタンの位置、表示が切り換わるタブ／ウィンドウの種類等、両操作画面間でのグラフィックス表現の違いを対比する。これによりユーザーは、ＭＦＰ−Ａの操作画面の扱い方からＭＦＰ−Ｂの操作画面の扱い方を学ぶことも可能である。   The remote panel server 570 of the MFP 200 responds to the change in graphics on the operation screen of the standard model MFP-A, such as switching from the operation screen CPA shown in FIG. The graphics of the operation screen CPB of the own model MFP-B such as a pop-up display of the menu CB2 indicated by () is changed. Therefore, the user can visually confirm the change in the operation screen of MFP-B displayed on MFP 200 while handling the operation screen of MFP-A displayed on portable terminal 100. In particular, the user compares the difference in graphics expression between the two operation screens, such as the position of a button whose appearance changes according to a gesture such as touch, and the type of tab / window whose display changes. Thus, the user can learn how to handle the operation screen of MFP-B from how to handle the operation screen of MFP-A.

［遠隔操作に伴うデータ交換］
図９は、携帯端末１００によるＭＦＰ２００の遠隔操作時にシステム内の装置１００、２００、３００間で行われるデータ交換を示すシーケンス図である。
携帯端末１００が遠隔操作アプリを実行するとコマンド生成部１１０が起動し、ＭＦＰ２００のＩＰアドレスの入力をユーザーから受け付ける。そのＩＰアドレスＩＰＡがタッチパネル２１から入力され、または、撮像部２２の撮影した２次元バーコードから解読されると、コマンド生成部１１０はそのＩＰアドレス宛のＳＮＭＰメッセージＭＳＧを通信部４０にＬＡＮ４０２へ配信させる。このメッセージＭＳＧに応じてＭＦＰ２００は、自機のＭＩＢファイルＭＢＦを携帯端末１００へ返信する。このファイルＭＢＦをコマンド生成部１１０は通信部４０にクラウドサーバー３００へ転送させる。このファイルＭＢＦからクラウドサーバー３００はＭＦＰ２００の機種を識別し、その機種に対応するコマンド変換表を検索する。この変換表ＣＶＴは標準機種の操作画面プログラムＲＣＡと共に、クラウドサーバー３００から携帯端末１００へダウンロードされる。 [Data exchange with remote operation]
FIG. 9 is a sequence diagram showing data exchange performed between apparatuses 100, 200, and 300 in the system when the MFP 200 is remotely operated by the mobile terminal 100.
When the mobile terminal 100 executes the remote operation application, the command generation unit 110 is activated and receives an input of the IP address of the MFP 200 from the user. When the IP address IPA is input from the touch panel 21 or is decoded from the two-dimensional barcode taken by the imaging unit 22, the command generation unit 110 distributes the SNMP message MSG addressed to the IP address to the communication unit 40 to the LAN 402. Let In response to this message MSG, MFP 200 returns its own MIB file MBF to portable terminal 100. The command generation unit 110 causes the communication unit 40 to transfer the file MBF to the cloud server 300. From this file MBF, the cloud server 300 identifies the model of the MFP 200 and searches the command conversion table corresponding to the model. This conversion table CVT is downloaded from the cloud server 300 to the portable terminal 100 together with the standard model operation screen program RCA.

このコマンド変換表ＣＶＴからコマンド生成部１１０はＭＦＰ２００に対する接続プロトコルを特定し、このプロトコルに従ってＭＦＰ２００との接続ＣＮＴを通信部４０に確立させる。その後、コマンド生成部１１０はＨＴＴＰに従い、ＭＦＰ２００のリモートパネルサーバー５７０にＭＦＰ２００の操作画面プログラムＲＣＢを提供させる。これにより、リモートパネルサーバー５７０は携帯端末１００をＭＦＰ２００の遠隔操作元（「リモートパネルクライアント」という。）として認識する。一方、コマンド生成部１１０はＭＦＰ２００の操作画面プログラムＲＣＢに代えて標準機種の操作画面プログラムＲＣＡを実行する。これにより、標準機種の操作画面が携帯端末１００のＬＣＤ１０１に表示される。   The command generation unit 110 specifies a connection protocol for the MFP 200 from the command conversion table CVT, and causes the communication unit 40 to establish a connection CNT with the MFP 200 according to this protocol. Thereafter, the command generation unit 110 causes the remote panel server 570 of the MFP 200 to provide the operation screen program RCB of the MFP 200 according to HTTP. As a result, the remote panel server 570 recognizes the portable terminal 100 as a remote operation source (referred to as “remote panel client”) of the MFP 200. On the other hand, the command generation unit 110 executes a standard model operation screen program RCA instead of the operation screen program RCB of the MFP 200. As a result, a standard model operation screen is displayed on the LCD 101 of the portable terminal 100.

その後、標準機種の操作画面に対するユーザーのジェスチャーＧＳＴをタッチパネル２１が検知する度に、コマンド生成部１１０は、まず標準機種の操作画面プログラムＲＣＡに従って標準機種に対するコマンドを生成し、次に遠隔操作アプリに従ってこのコマンドを、コマンド変換表に基づいてＭＦＰ２００に対するコマンドに変換する。さらに、コマンド生成部１１０は変換後のコマンドＣＭＤを通信部４０にＭＦＰ２００へ送信させる。このコマンドに応じてＭＦＰ２００のリモートパネルサーバー５７０は、このコマンドからイベントの種類と操作画面内の座標とを読み出し、それらの組み合わせから自機の機能を特定する。この特定に応じてＭＦＰ２００の主制御部５６０は、特定された機能が実現するように他の要素５５０、２１０、２２０、２３０を制御する。   Thereafter, each time the touch panel 21 detects the user's gesture GST for the standard model operation screen, the command generation unit 110 first generates a command for the standard model according to the standard model operation screen program RCA, and then according to the remote operation application. This command is converted into a command for the MFP 200 based on the command conversion table. Further, the command generation unit 110 causes the communication unit 40 to transmit the converted command CMD to the MFP 200. In response to this command, the remote panel server 570 of the MFP 200 reads the event type and the coordinates in the operation screen from this command, and identifies the function of the own device from the combination thereof. In response to this specification, the main control unit 560 of the MFP 200 controls the other elements 550, 210, 220, and 230 so as to realize the specified function.

コマンドからの機能の特定に成功した場合、その成功を表す返信ＲＰＬをリモートパネルサーバー５７０は携帯端末１００へ送る。この返信ＲＰＬには、必要に応じ、操作画面の表示変更に関するコマンドが組み込まれる。このコマンドが、図８の（ｂ）の示すメニューＣＢ２の消去または最初の操作画面ＣＰＢの再表示等、携帯端末１００がすでにダウンロード済みの画像データで処理可能なものである場合、返信ＲＰＬのみが携帯端末１００へ送られる。そのコマンドが、図８の（ａ）が示す操作画面ＣＰＡから別画面ＣＡ２への切り換えのように操作画面全体の切り換えを含むものである場合、切り換え後の操作画面を表す新たなウェブページデータＲＣＢが返信ＲＰＬに添付される。   If the function is successfully identified from the command, the remote panel server 570 sends a reply RPL indicating the success to the mobile terminal 100. In this reply RPL, a command relating to a change in the display of the operation screen is incorporated as necessary. When this command is one that can be processed with image data that has already been downloaded by the mobile terminal 100, such as deleting the menu CB2 shown in FIG. 8B or redisplaying the first operation screen CPB, only the reply RPL is returned. It is sent to the mobile terminal 100. If the command includes switching of the entire operation screen, such as switching from the operation screen CPA shown in FIG. 8A to another screen CA2, new web page data RCB representing the operation screen after switching is returned. Attached to RPL.

返信ＲＰＬに応じて携帯端末１００のコマンド生成部１１０は操作画面を変更する。たとえば、その返信ＲＰＬが、図８の（ｂ）の示すメニューＣＢ２の消去コマンドを含む場合、コマンド生成部１１０はそのコマンドを、コマンド変換表に基づき、図８の（ａ）の示す設定画面ＣＡ２から元の操作画面ＣＰＡへの切り換えをＭＦＰ−Ａに対して指示するためのコマンドと解釈し、その切り換えを実行する。一方、その返信ＲＰＬが、添付の新たなウェブページＲＣＢを対象とする読み込みコマンドを含む場合、コマンド生成部１１０はそのコマンドを、コマンド変換表に基づき、新たなウェブページに対応するタブ／ウィンドウへの切り換えをＭＦＰ−Ａに対して指示するためのコマンドと解釈し、その切り換えを実行する。このとき、必要に応じて、そのタブ／ウィンドウの画像データのダウンロード要求ＲＱＳをコマンド生成部１１０はクラウドサーバー３００へ送信する。それに応じてクラウドサーバー３００のウェブサーバー３５２はその画像データＲＣＡを携帯端末１００にダウンロードさせる。   The command generation unit 110 of the mobile terminal 100 changes the operation screen according to the reply RPL. For example, when the reply RPL includes an erase command for the menu CB2 shown in FIG. 8B, the command generation unit 110 sets the command based on the command conversion table to the setting screen CA2 shown in FIG. Is switched to the original operation screen CPA as a command for instructing the MFP-A, and the switching is executed. On the other hand, when the reply RPL includes a read command for the attached new web page RCB, the command generation unit 110 transfers the command to the tab / window corresponding to the new web page based on the command conversion table. Is switched to a command for instructing the MFP-A, and the switching is executed. At this time, the command generation unit 110 transmits a download request RQS for the image data of the tab / window to the cloud server 300 as necessary. In response to this, the web server 352 of the cloud server 300 causes the portable terminal 100 to download the image data RCA.

［遠隔操作処理の流れ］
図１０は携帯端末１００によるＭＦＰ２００の遠隔操作処理のフローチャートである。この処理は、携帯端末１００がユーザー操作に応じて遠隔操作アプリを実行することにより開始する。
ステップＳ１０１では、コマンド生成部１１０が起動し、操作対象であるＭＦＰ２００のＩＰアドレスを取得する。すなわち、コマンド生成部１１０はそのＩＰアドレスの入力を画面表示でユーザーに促し、タッチパネル２１を用いた文字入力、または撮像部２２の撮影した２次元バーコードからそのＩＰアドレスを読み取る。その後、処理はステップＳ１０２へ進む。 [Remote operation processing flow]
FIG. 10 is a flowchart of remote operation processing of the MFP 200 by the mobile terminal 100. This process starts when the mobile terminal 100 executes a remote operation application in response to a user operation.
In step S101, the command generation unit 110 is activated and acquires the IP address of the MFP 200 that is the operation target. That is, the command generation unit 110 prompts the user to input the IP address on the screen display, and reads the IP address from the character input using the touch panel 21 or the two-dimensional barcode photographed by the imaging unit 22. Thereafter, the process proceeds to step S102.

ステップＳ１０２では、コマンド生成部１１０は、ステップＳ１０１で取得したＩＰアドレス宛のＳＮＭＰメッセージを通信部４０にＬＡＮ４０２へ配信させる。このメッセージに応じてＭＦＰ２００から返信されるＭＩＢファイルをコマンド生成部１１０は取得する。その後、処理はステップＳ１０３へ進む。
ステップＳ１０３では、コマンド生成部１１０は、ステップＳ１０２で取得したＭＩＢファイルを通信部４０にクラウドサーバー３００へ転送させる。このＭＩＢファイルからクラウドサーバー３００が検索したＭＦＰ２００の機種ＭＦＰ−Ｂと標準機種ＭＦＰ−Ａとの間でのコマンド変換表をコマンド生成部１１０は、標準機種ＭＦＰ−Ａの操作画面プログラムと共に、クラウドサーバー３００からダウンロードする。その後、処理はステップＳ１０４へ進む。 In step S102, the command generation unit 110 causes the communication unit 40 to distribute the SNMP message addressed to the IP address acquired in step S101 to the LAN 402. In response to this message, the command generation unit 110 acquires the MIB file returned from the MFP 200. Thereafter, the process proceeds to step S103.
In step S103, the command generation unit 110 causes the communication unit 40 to transfer the MIB file acquired in step S102 to the cloud server 300. The command generation unit 110 sends a command conversion table between the model MFP-B of the MFP 200 and the standard model MFP-A searched by the cloud server 300 from the MIB file together with the operation screen program of the standard model MFP-A. Download from 300. Thereafter, the process proceeds to step S104.

ステップＳ１０４では、コマンド生成部１１０はまず、ステップＳ１０３でダウンロードしたコマンド変換表からＭＦＰ−Ｂに対する接続プロトコルを特定し、このプロトコルに従ってＭＦＰ２００との接続を通信部４０に確立させる。コマンド生成部１１０は次にＨＴＴＰに従い、ＭＦＰ２００のリモートパネルサーバー５７０にＭＦＰ−Ｂの操作画面プログラムを提供させる。その後、処理はステップＳ１０５へ進む。   In step S104, the command generation unit 110 first specifies a connection protocol for MFP-B from the command conversion table downloaded in step S103, and causes the communication unit 40 to establish a connection with the MFP 200 according to this protocol. Next, the command generation unit 110 causes the remote panel server 570 of the MFP 200 to provide the operation screen program of the MFP-B according to HTTP. Thereafter, the process proceeds to step S105.

ステップＳ１０５では、コマンド生成部１１０は、ステップＳ１０３で提供を受けたＭＦＰ−Ｂの操作画面プログラムに代えて、ステップＳ１０３でダウンロードした標準機種ＭＦＰ−Ａの操作画面プログラムを実行する。これにより、ＭＦＰ−Ａの操作画面が携帯端末１００のＬＣＤ１０１に表示される。その後、処理はステップＳ１０６へ進む。
ステップＳ１０６では、ＭＦＰ−Ａの操作画面に対するユーザーのジェスチャーをタッチパネル２１が検知したか否かをコマンド生成部１１０は確認する。検知していれば処理はステップＳ１０７へ進み、検知していなければ処理はステップＳ１０６を繰り返す。 In step S105, the command generation unit 110 executes the operation screen program of the standard model MFP-A downloaded in step S103, instead of the operation screen program of MFP-B received in step S103. As a result, the operation screen of MFP-A is displayed on LCD 101 of portable terminal 100. Thereafter, the process proceeds to step S106.
In step S <b> 106, the command generation unit 110 confirms whether or not the touch panel 21 has detected a user gesture on the operation screen of the MFP-A. If detected, the process proceeds to step S107, and if not detected, the process repeats step S106.

ステップＳ１０７では、ＭＦＰ−Ａの操作画面に対するユーザーのジェスチャーをタッチパネル２１が検知している。コマンド生成部１１０はまず、このジェスチャーの種類に対応するイベントの種類を識別し、このジェスチャーが検知されたＭＦＰ−Ａの操作画面内の座標を特定する。コマンド生成部１１０は次にＭＦＰ−Ａの操作画面プログラムに従い、識別したイベントの種類とその座標とをパラメーターとして含むＭＦＰ−Ａに対するコマンドを生成する。その後、処理はステップＳ１０８へ進む。   In step S107, the touch panel 21 detects a user gesture on the operation screen of the MFP-A. First, the command generation unit 110 identifies the type of event corresponding to this type of gesture, and specifies the coordinates in the operation screen of the MFP-A where this gesture has been detected. Next, the command generation unit 110 generates a command for the MFP-A including the identified event type and its coordinates as parameters in accordance with the operation screen program of the MFP-A. Thereafter, the process proceeds to step S108.

ステップＳ１０８では、コマンド生成部１１０は遠隔操作アプリに従い、まず、ステップＳ１０７で生成したＭＦＰ−Ａに対するコマンドを、コマンド変換表に基づいてＭＦＰ−Ｂに対するコマンドに変換する。コマンド生成部１１０は次に、このコマンドを通信部４０にＭＦＰ２００へ送信させる。その後、処理はステップＳ１０９へ進む。
ステップＳ１０９では、ステップＳ１０７で生成したＭＦＰ−Ａに対するコマンドが遠隔操作の終了コマンドであるか否かをコマンド生成部１１０は確認する。終了コマンドであれば処理はステップＳ１１０へ進み、なければ処理はステップＳ１１１へ進む。 In step S108, the command generation unit 110 first converts the command for MFP-A generated in step S107 into a command for MFP-B based on the command conversion table in accordance with the remote operation application. Next, the command generation unit 110 causes the communication unit 40 to transmit this command to the MFP 200. Thereafter, the process proceeds to step S109.
In step S109, the command generation unit 110 checks whether the command for MFP-A generated in step S107 is a remote operation end command. If it is an end command, the process proceeds to step S110, and if not, the process proceeds to step S111.

ステップＳ１１０では、ステップＳ１０７で生成されたＭＦＰ−Ａに対するコマンドが遠隔操作の終了コマンドである。したがって、コマンド生成部１１０はＭＦＰ−Ａの操作画面プログラムを終了させて、通信部４０にＭＦＰ２００との接続を切断させる。この場合、ステップＳ１０８でＭＦＰ２００へ送信されたコマンドは、遠隔操作の終了をＭＦＰ−Ｂに対して指示するためのコマンドに変換されている。このコマンドに応じてＭＦＰ２００のリモートパネルサーバー５７０は、携帯端末１００から遠隔操作を受け付ける処理を終える。その後、処理は終了する。   In step S110, the command for MFP-A generated in step S107 is a remote operation end command. Therefore, the command generation unit 110 ends the operation screen program of the MFP-A and causes the communication unit 40 to disconnect from the MFP 200. In this case, the command transmitted to MFP 200 in step S108 is converted into a command for instructing MFP-B to end the remote operation. In response to this command, remote panel server 570 of MFP 200 ends the process of accepting a remote operation from portable terminal 100. Thereafter, the process ends.

ステップＳ１１１では、ステップＳ１０７で生成されたＭＦＰ−Ａに対するコマンドが遠隔操作の終了コマンドではない。コマンド生成部１１０は、そのコマンドの表す処理が操作画面の表示変更を含むか否かを確認する。操作画面の表示変更を含む場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面プログラムに従い、その表示変更を実行する。このときに必要な画像データがＲＡＭ１２に保存されていなければ、その画像データをコマンド生成部１１０はクラウドサーバー３００からダウンロードする。その後、処理はステップＳ１１２へ進む。   In step S111, the command for MFP-A generated in step S107 is not a remote operation end command. The command generation unit 110 confirms whether the process represented by the command includes a display change of the operation screen. When the operation screen display change is included, the command generation unit 110 executes the display change according to the operation screen program of the MFP-A. If the image data required at this time is not stored in the RAM 12, the command generation unit 110 downloads the image data from the cloud server 300. Thereafter, the process proceeds to step S112.

ステップＳ１１２では、ステップＳ１０８でＭＦＰ２００へ送信したコマンドに対する返信がＭＦＰ２００から届くのをコマンド生成部１１０は待つ。その返信が届けば、その返信が、操作画面の表示変更をＭＦＰ−Ｂに対して指示するためのコマンドを含むか否かをコマンド生成部１１０は確認する。返信がそのコマンドを含む場合、コマンド生成部１１０はそのコマンドを、コマンド変換表に基づき、ＭＦＰ−Ａに対するコマンドに変換する。変換前のコマンドがＭＦＰ−Ｂに対して指示する操作画面の表示変更が、図８が示すように、ＭＦＰ−Ａの操作画面の表示変更に対応している場合、コマンド生成部１１０はＭＦＰ−Ａの操作画面のこの表示変更を実行する。このとき、その表示変更に新たな画像データが必要である場合、その画像データをコマンド生成部１１０はクラウドサーバー３００からダウンロードする。その後、処理はステップＳ１０６から繰り返す。   In step S112, command generation unit 110 waits for a reply from MFP 200 to the command transmitted to MFP 200 in step S108. When the reply is delivered, the command generation unit 110 confirms whether the reply includes a command for instructing the MFP-B to change the display of the operation screen. When the reply includes the command, the command generation unit 110 converts the command into a command for the MFP-A based on the command conversion table. If the change in the display of the operation screen indicated by the command before conversion to MFP-B corresponds to the change in the display of the operation screen of MFP-A, as shown in FIG. This display change of the operation screen of A is executed. At this time, if new image data is necessary for the display change, the command generation unit 110 downloads the image data from the cloud server 300. Thereafter, the process is repeated from step S106.

［実施形態の利点］
本発明の実施形態による携帯端末１００は、ＭＦＰ２００の遠隔操作に供される際、ＭＦＰ２００の機種とは異なる標準機種の操作画面プログラムを実行して標準機種の操作画面を表示する。この操作画面に対するユーザーのジェスチャーに応じて携帯端末１００はコマンドを生成し、そのコマンドをＭＦＰ２００へ送信する。そのコマンドはパラメーターとして、標準機種の操作画面においてジェスチャーが検知された座標に対応するＭＦＰ２００の操作画面内の座標を含む。この座標に割り当てられたＭＦＰ２００の機能は、コマンド変換表により、ジェスチャーが検知された座標に割り当てられた標準機種の機能と共通し、または同等である。したがって、そのコマンドに応じてＭＦＰ２００は、携帯端末１００が受け付けたジェスチャーの表す機能を正しく実現させることができる。こうして携帯端末１００はＭＦＰ２００の遠隔操作に標準機種の操作画面を利用可能にする。これにより携帯端末１００は、ＭＦＰ２００の操作画面には不慣れなユーザーにも、ＭＦＰ２００の操作を容易に理解されるように支援することができる。 [Advantages of the embodiment]
When the portable terminal 100 according to the embodiment of the present invention is used for remote operation of the MFP 200, the portable terminal 100 executes an operation screen program of a standard model different from the model of the MFP 200 and displays an operation screen of the standard model. The mobile terminal 100 generates a command according to the user's gesture on the operation screen, and transmits the command to the MFP 200. The command includes, as parameters, coordinates in the operation screen of the MFP 200 corresponding to the coordinates at which the gesture is detected on the operation screen of the standard model. The functions of the MFP 200 assigned to the coordinates are the same as or equivalent to the functions of the standard model assigned to the coordinates where the gesture is detected according to the command conversion table. Accordingly, in response to the command, MFP 200 can correctly realize the function represented by the gesture accepted by portable terminal 100. In this way, the mobile terminal 100 can use the standard model operation screen for remote operation of the MFP 200. Thereby, the mobile terminal 100 can assist a user who is not familiar with the operation screen of the MFP 200 so that the operation of the MFP 200 can be easily understood.

また、ＭＦＰ２００と標準機種との間における操作画面内の座標の対応により、図８が示すように、携帯端末１００が表示した標準機種の操作画面ＣＰＡにおけるグラフィックスの変化に合わせて、ＭＦＰ２００は自機の操作画面ＣＰＢのグラフィックスを変化させる。したがって、ユーザーは、携帯端末１００に表示された標準機種の操作画面ＣＰＡを扱いながら、ＭＦＰ２００に表示されたその操作画面ＣＰＢの変化を目で確認することもできる。これによりユーザーは、標準機種の操作画面の扱い方からＭＦＰ２００の操作画面の扱い方を学ぶことも可能である。   Also, due to the correspondence of the coordinates in the operation screen between the MFP 200 and the standard model, as shown in FIG. 8, the MFP 200 automatically adjusts to the graphics change in the standard model operation screen CPA displayed on the mobile terminal 100. Change the graphics on the machine operation screen CPB. Therefore, the user can visually check the change of the operation screen CPB displayed on the MFP 200 while handling the operation screen CPA of the standard model displayed on the mobile terminal 100. Accordingly, the user can learn how to handle the operation screen of the MFP 200 from how to handle the operation screen of the standard model.

［変形例］
（A）図１の示すシステムでは、操作対象の画像形成装置が電子写真方式のＭＦＰ２００である。本発明の実施形態による画像形成装置はその他にインクジェット方式の複合機であってもよく、レーザープリンター、インクジェットプリンター、ファクシミリ、またはコピー機等、いずれの単機能機であってもよい。 [Modification]
(A) In the system shown in FIG. 1, the image forming apparatus to be operated is an electrophotographic MFP 200. In addition, the image forming apparatus according to the embodiment of the present invention may be an inkjet multifunction device, or may be any single function device such as a laser printer, an inkjet printer, a facsimile machine, or a copier.

（B）図１の示すシステムでは、ＭＦＰ２００が外部の電子機器に提供する遠隔操作機能が無線ＬＡＮを利用する。その他に、この遠隔操作機能がＢｌｕｅｔｏｏｔｈ（登録商標）等のＮＦＣを利用してもよい。この場合、遠隔操作アプリは携帯端末１００に、ＭＦＰ２００との間の通信をＮＦＣで実行させればよい。
（C）図７の（ａ）が示す標準機種の操作画面ＣＰＡは、標準機種の実機に表示されるものと同じデザインである。その他に、携帯端末１００のタッチパネル２１とＭＦＰ２００のタッチパネル２４０との間でのサイズまたは解像度の違いに応じて、操作画面に表示されるフォントの字体とサイズ、ボタン等のＧＵＩ部品の形態、およびそれらのレイアウトが変更されていてもよい。変更後の操作画面がユーザーにとって使いやすいものでありさえすれば、携帯端末１００はユーザーに、ＭＦＰ２００の操作を容易に理解されるように支援することができる。 (B) In the system shown in FIG. 1, the remote operation function provided by the MFP 200 to an external electronic device uses a wireless LAN. In addition, this remote control function may use NFC such as Bluetooth (registered trademark). In this case, the remote operation application may cause the mobile terminal 100 to execute communication with the MFP 200 using NFC.
(C) The standard model operation screen CPA shown in FIG. 7A has the same design as that displayed on the standard model actual machine. In addition, depending on the difference in size or resolution between the touch panel 21 of the mobile terminal 100 and the touch panel 240 of the MFP 200, the font type and size displayed on the operation screen, the form of GUI parts such as buttons, and the like The layout of may be changed. As long as the changed operation screen is easy to use for the user, the portable terminal 100 can assist the user to easily understand the operation of the MFP 200.

（D）図４では、標準機種の機能の中に、ＭＦＰ２００の機能のいずれとも同等でないものが存在する。したがって、図７が示すように、コマンド生成部１１０は標準機種の操作画面ＣＰＡのうち、これらの機能が割り当てられたＧＵＩ部品ＤＳ１、ＤＳ２、ＤＳ３を無効化し、それらの外観をグレーアウトさせる。逆に、ＭＦＰ２００の機能の中に、標準機種の機能のいずれとも同等でないものが存在する場合、その旨を示すメッセージをコマンド生成部１１０は標準機種の操作画面の中にダイアログ等で表示してもよい。さらに、これらの機能の遠隔操作については、遠隔操作アプリは携帯端末１００に、標準機種の操作画面プログラムに代えてＭＦＰ２００の操作画面プログラムを実行させて、ＭＦＰ２００本来の遠隔操作機能を携帯端末１００に利用させてもよい。   (D) In FIG. 4, some functions of the standard model are not equivalent to any of the functions of the MFP 200. Therefore, as shown in FIG. 7, the command generation unit 110 invalidates the GUI parts DS1, DS2, and DS3 to which these functions are assigned in the standard model operation screen CPA, and grays out their appearances. Conversely, if there is a function that is not equivalent to any of the functions of the standard model among the functions of the MFP 200, the command generation unit 110 displays a message to that effect in a dialog or the like on the operation screen of the standard model. Also good. Further, for remote operation of these functions, the remote operation application causes the mobile terminal 100 to execute the operation screen program of the MFP 200 in place of the standard model operation screen program, so that the original remote operation function of the MFP 200 is provided to the mobile terminal 100. It may be used.

（E）ＭＦＰ２００は自機の遠隔操作機能をリモートパネル方式で、携帯端末１００等、ＬＡＮ４０２上の他の電子機器に提供する。この場合、ＭＦＰ２００の操作画面プログラムは、ＨＴＭＬとＪＡＶＡスクリプト（登録商標）とを用いてウェブページデータとして記述され、提供先の電子機器が備えたウェブブラウザーで実行され、そのプログラムに添付された画像データからＭＦＰ２００の操作画面がその電子機器のディスプレイに表示される。この操作画面に対するユーザーのジェスチャーに応じてその電子機器からＭＦＰ２００へ送信されるコマンドは、そのジェスチャーに対応するイベントの種類とその操作画面内の座標とをパラメーターとして含む。   (E) The MFP 200 provides a remote operation function of the MFP 200 to other electronic devices on the LAN 402 such as the portable terminal 100 by a remote panel method. In this case, the operation screen program of the MFP 200 is described as web page data using HTML and JAVA script (registered trademark), is executed by a web browser provided in the electronic device of the provision destination, and is attached to the program. From the data, the operation screen of MFP 200 is displayed on the display of the electronic device. A command transmitted from the electronic device to the MFP 200 in response to a user gesture on the operation screen includes the type of event corresponding to the gesture and coordinates in the operation screen as parameters.

これに合わせて、遠隔操作アプリが携帯端末１００に実行させる標準機種の操作画面プログラムも、リモートパネル方式に準拠したウェブページデータとして記述される。この場合、標準機種の操作画面に対するユーザーのジェスチャーに応じて生成されるコマンドはパラメーターとして、そのジェスチャーに対応するイベントの種類とその操作画面内の座標とを含む。この座標はコマンド変換表により、ＭＦＰ２００の操作画面内の座標に対応付けられている。この対応は、各座標に割り当てられたＭＦＰの機能が共通し、または同等であることを保証する。   In accordance with this, an operation screen program of a standard model that the remote operation application causes the mobile terminal 100 to execute is also described as web page data that conforms to the remote panel method. In this case, the command generated according to the user's gesture for the standard model operation screen includes, as parameters, the event type corresponding to the gesture and the coordinates in the operation screen. The coordinates are associated with the coordinates in the operation screen of the MFP 200 by the command conversion table. This correspondence ensures that the functions of the MFP assigned to each coordinate are common or equivalent.

しかし、画像形成装置の遠隔操作機能はリモートパネル方式には限られず、操作画面プログラムはウェブページデータ以外の形式でも記述されていてもよい。この場合、遠隔操作アプリは、操作対象の操作画面プログラムと同じ言語、同じデータ形式で記述されていればよい。それらがどのようなものであれ、操作画面プログラムが操作画面に対するユーザー操作に応じて生成するコマンドは、そのユーザー操作が検知された座標に割り当てられた操作対象の機能を表すパラメーターを含む。したがって、遠隔操作アプリは携帯端末に標準機種に対するコマンドを、そのパラメーターが表す標準機種の機能と同等な操作対象の機能を表す操作対象に対するコマンドへ変換させればよい。   However, the remote operation function of the image forming apparatus is not limited to the remote panel system, and the operation screen program may be described in a format other than the web page data. In this case, the remote operation application only needs to be described in the same language and the same data format as the operation screen program to be operated. Whatever they are, the command generated by the operation screen program in response to a user operation on the operation screen includes a parameter representing the function of the operation target assigned to the coordinates where the user operation is detected. Therefore, the remote operation application may cause the portable terminal to convert the command for the standard model into the command for the operation target representing the function of the operation target equivalent to the function of the standard model represented by the parameter.

（F）図１の示すシステムでは、クラウドサーバー３００が携帯端末１００に、操作対象の画像形成装置の機種識別機能、操作対象の機種と標準機種との操作画面プログラム、および両機種間でのコマンド変換表を提供する。データベース３２０の容量は携帯端末１００の記憶容量よりも大きいので、ＭＦＰ２００に限らず多様な機種の操作画面プログラムとそれらの機種に対するコマンド変換表とを格納可能である。したがって、このシステムは、操作対象がどのような機種であっても、その機種に対応する操作画面プログラムとコマンド変換表とがデータベース３２０の中に存在する限り、その遠隔操作を標準機種の操作画面で実行可能である。   (F) In the system shown in FIG. 1, the cloud server 300 sends a mobile terminal 100 a model identification function of the image forming apparatus to be operated, an operation screen program between the model to be operated and the standard model, and a command between both models. Provide a conversion table. Since the capacity of the database 320 is larger than the storage capacity of the mobile terminal 100, operation screen programs of various models and command conversion tables for these models can be stored, not limited to the MFP 200. Therefore, in this system, as long as the operation screen program corresponding to the model and the command conversion table exist in the database 320, the remote operation is performed regardless of the model of the operation target. It can be executed with.

その他に、操作対象がＭＦＰ２００の機種に限られる等、操作対象の機種に対応する操作画面プログラムとコマンド変換表とのデータ総量が比較的少ない場合、データベース３２０がクラウドサーバー３００に代えて携帯端末１００に構築されてもよい。この場合、ＭＦＰ２００の遠隔操作の際、携帯端末１００はクラウドサーバー３００にアクセスする必要はない。   In addition, when the operation target is limited to the model of the MFP 200 and the total amount of data between the operation screen program corresponding to the target model and the command conversion table is relatively small, the database 320 is replaced with the cloud server 300 and the mobile terminal 100 May be built. In this case, the portable terminal 100 does not need to access the cloud server 300 when the MFP 200 is remotely operated.

（G）コマンド生成部１１０はＭＦＰ２００の遠隔操作を開始する前に、ＭＦＰＢ２００の機種に対応するコマンド変換表をクラウドサーバー３００からダウンロードする。これにより、ＭＦＰ２００の遠隔操作中、コマンドの変換処理をコマンド生成部１１０はスタンドアローンで行う。コマンド生成部１１０はその他に、コマンド変換表を一切、クラウドサーバー３００からダウンロードしなくてもよい。この場合、コマンド生成部１１０はたとえば、ＭＦＰ２００の遠隔操作前には、ＭＦＰ２００に対する接続プロトコルの種類のみをクラウドサーバー３００から取得してもよい。これにより、通信部４０とＭＦＰ２００との接続は確立可能である。遠隔操作中、コマンド生成部１１０は、標準機種の操作画面プログラムに従って標準機種に対するコマンドを生成する度に、そのコマンドからＭＦＰ２００に対するコマンドへの変換処理をクラウドサーバー３００に依頼すればよい。   (G) The command generation unit 110 downloads a command conversion table corresponding to the model of the MFP B 200 from the cloud server 300 before starting the remote operation of the MFP 200. Thus, the command generation unit 110 performs stand-alone command conversion processing during remote operation of the MFP 200. In addition, the command generation unit 110 may not download any command conversion table from the cloud server 300. In this case, for example, the command generation unit 110 may acquire only the type of connection protocol for the MFP 200 from the cloud server 300 before the MFP 200 is remotely operated. Thereby, the connection between the communication unit 40 and the MFP 200 can be established. During remote operation, each time the command generation unit 110 generates a command for the standard model according to the operation screen program for the standard model, the command generation unit 110 may request the cloud server 300 to convert the command to a command for the MFP 200.

（H）図７では携帯端末１００がＬＣＤ１０１に標準機種の操作画面ＣＰＡのみを表示する。その他に、携帯端末が１つのディスプレイに標準機種の操作画面と操作対象の操作画面とを同時に表示してもよい。
図１１は、携帯端末１００がタッチパネル２１に同時に表示する標準機種ＭＦＰ−Ａの操作画面ＣＰＡと、ＭＦＰ２００の機種ＭＦＰ−Ｂの操作画面ＣＰＢとを示す模式図である。ＭＦＰ２００の遠隔操作の際に携帯端末１００は、図９が示すように、ＭＦＰ２００からＭＦＰ−Ｂの操作画面プログラムＲＣＢをダウンロードしているので、ＭＦＰ−ＡとＭＦＰ−Ｂとの両方の操作画面を表す画像データを取得済みである。コマンド生成部１１０はＭＦＰ−ＡとＭＦＰ−Ｂとの両方の操作画面プログラムを実行する。コマンド生成部１１０は更に表示部２０に、図１１の示すように、ＬＣＤ１０１の上半分にＭＦＰ−Ｂの操作画面ＣＰＢを表示させ、下半分にＭＦＰ−Ａの操作画面ＣＰＡを表示させる。タッチパネル２１は、いずれの操作画面に対するユーザーのジェスチャーも検知可能である。この場合、コマンド生成部１１０は表示部２０に、両操作画面ＣＰＡ、ＣＰＢの間で対応するボタン等のＧＵＩ部品を強調表示させ、タブ／ウィンドウの切り換えを同期させる。 (H) In FIG. 7, the portable terminal 100 displays only the standard model operation screen CPA on the LCD 101. In addition, the mobile terminal may simultaneously display the standard model operation screen and the operation target operation screen on one display.
FIG. 11 is a schematic diagram showing an operation screen CPA of the standard model MFP-A displayed on the touch panel 21 by the portable terminal 100 and an operation screen CPB of the model MFP-B of the MFP 200. As shown in FIG. 9, the portable terminal 100 downloads the MFP-B operation screen program RCB from the MFP 200 during remote operation of the MFP 200, so that the operation screens of both MFP-A and MFP-B are displayed. The image data to represent has been acquired. The command generation unit 110 executes operation screen programs for both MFP-A and MFP-B. The command generation unit 110 further causes the display unit 20 to display the MFP-B operation screen CPB on the upper half of the LCD 101 and the MFP-A operation screen CPA on the lower half, as shown in FIG. The touch panel 21 can detect a user's gesture for any operation screen. In this case, the command generation unit 110 highlights GUI parts such as corresponding buttons between the operation screens CPA and CPB on the display unit 20 and synchronizes tab / window switching.

図１１の例では、ＭＦＰ−Ａの操作画面ＣＰＡの含むボタン“２ｉｎ１”ＢＴ３にユーザーの指がタッチした場合、このタッチをコマンド生成部１１０はボタンＢＴ３に対するクリックイベントとして識別し、このクリックイベントに対する処理をＭＦＰ−Ａに対して指示するためのコマンドを生成する。このコマンドは特にＭＦＰ−Ａの操作画面ＣＰＡにおけるボタンＢＴ３の座標を含む。このコマンドに応じてＭＦＰ−Ａの操作画面プログラムはコマンド生成部１１０に、ボタンＢＴ３の選択状態への遷移が強調されるように、その色、明るさ、または形を変更させる。   In the example of FIG. 11, when the user's finger touches the button “2 in 1” BT3 included in the operation screen CPA of the MFP-A, the command generation unit 110 identifies this touch as a click event for the button BT3. A command for instructing the MFP-A to perform processing is generated. This command particularly includes the coordinates of the button BT3 on the operation screen CPA of the MFP-A. In response to this command, the operation screen program of MFP-A causes the command generation unit 110 to change its color, brightness, or shape so that the transition to the selected state of the button BT3 is emphasized.

この処理と並行し、コマンド生成部１１０は、生成したＭＦＰ−Ａに対するコマンドを遠隔操作アプリに従い、ＭＦＰ−Ｂに対するコマンドに変換する。変換後のコマンドは、ＭＦＰ−Ｂの操作画面ＣＰＢが含むボタン“２ ｉｎ １”ＢＴ４に生じたクリックイベントに対する処理をＭＦＰ−Ｂに対して指示するためのコマンドである。このコマンドは特に、ＭＦＰ−Ｂの操作画面ＣＰＢにおけるボタンＢＴ４の座標を含む。変換後のコマンドに応じてＭＦＰ−Ｂの操作画面プログラムはコマンド生成部１１０に、ボタンＢＴ４の選択状態への遷移が強調されるように、その色、明るさ、または形を変更させる。   In parallel with this processing, the command generation unit 110 converts the generated command for MFP-A into the command for MFP-B according to the remote operation application. The command after conversion is a command for instructing the MFP-B to process the click event generated in the button “2 in 1” BT4 included in the operation screen CPB of the MFP-B. This command particularly includes the coordinates of the button BT4 on the operation screen CPB of the MFP-B. In response to the converted command, the operation screen program of MFP-B causes the command generation unit 110 to change its color, brightness, or shape so that the transition to the selected state of the button BT4 is emphasized.

ＭＦＰ−Ａの操作画面ＣＰＡで検知されたユーザーのジェスチャーの表す処理が、図８が示すように、ＭＦＰ−ＡとＭＦＰ−Ｂとのいずれの操作画面ＣＰＡ、ＣＰＢにおいてもグラフィックスの変化を伴う場合がある。この場合、遠隔操作アプリはコマンド生成部１１０に、両方の操作画面ＣＰＡ、ＣＰＢの間でグラフィックスの変化を同期させる。図８の例ではコマンド生成部１１０は、ＭＦＰ−Ａの操作画面ＣＰＡが設定画面ＣＡ２へ切り換わるタイミングと、ＭＦＰ−Ｂの操作画面ＣＰＢにメニューＣＢ２がポップアップ表示で出現するタイミングとを一致させる。   As shown in FIG. 8, the processing represented by the user's gesture detected on the operation screen CPA of MFP-A is accompanied by a change in graphics on any of the operation screens CPA and CPB of MFP-A and MFP-B. There is a case. In this case, the remote operation application causes the command generation unit 110 to synchronize the change in graphics between both operation screens CPA and CPB. In the example of FIG. 8, the command generation unit 110 matches the timing at which the operation screen CPA of the MFP-A is switched to the setting screen CA2 with the timing at which the menu CB2 appears in the pop-up display on the operation screen CPB of the MFP-B.

このように、両操作画面ＣＰＡ、ＣＰＢの間では、対応するボタン等のＧＵＩ部品が強調表示され、タブ／ウィンドウの切り換えが同期する。したがって、ユーザーがＭＦＰ−Ａの操作画面ＣＰＡに対してジェスチャーを行う度に、そのジェスチャーに対応するＭＦＰ−Ｂの操作画面の変化がユーザーの目に映る。これによりユーザーは、ＭＦＰ−Ａの操作画面の扱い方からＭＦＰ−Ｂの操作画面の扱い方を学ぶことができる。   Thus, between both operation screens CPA and CPB, GUI parts such as corresponding buttons are highlighted, and the tab / window switching is synchronized. Therefore, whenever the user performs a gesture on the operation screen CPA of the MFP-A, a change in the operation screen of the MFP-B corresponding to the gesture is seen by the user. Thus, the user can learn how to handle the operation screen of MFP-B from how to handle the operation screen of MFP-A.

標準機種の機能の中に、ＭＦＰ２００の機能のいずれとも同等でないものが存在する場合、またはその逆に、ＭＦＰ２００の機能の中に、標準機種の機能のいずれとも同等でないものが存在する場合、コマンド生成部１１０は、操作画面ＣＰＡ、ＣＰＢのうち、これらの機能が割り当てられたＧＵＩ部品を無効化し、それらの外観をグレーアウトさせてもよい。これにより、これらのＧＵＩ部品が無効化されていることをユーザーに一目で理解させることができる。   If there is a function of the standard model that is not equivalent to any of the functions of the MFP 200, or vice versa, a function of the MFP 200 that is not equivalent to any of the functions of the standard model exists, The generation unit 110 may invalidate GUI parts to which these functions are assigned from the operation screens CPA and CPB, and gray out the appearances thereof. This allows the user to understand at a glance that these GUI components are invalidated.

本発明は、携帯端末による画像形成装置の遠隔操作に関し、上記のとおり、携帯端末に操作対象の操作画面に代えて標準機種の操作画面を表示させ、その操作画面に対するユーザー操作に応じて生成される標準機種に対するコマンドを操作対象に対するコマンドへ変換させる。このように、本発明は明らかに産業上利用可能である。   The present invention relates to remote operation of an image forming apparatus using a mobile terminal, and as described above, the operation screen of a standard model is displayed on the mobile terminal instead of the operation screen to be operated, and is generated according to a user operation on the operation screen. The command for the standard model is converted to the command for the operation target. Thus, the present invention is clearly industrially applicable.

１００ 携帯端末
１０１ ＬＣＤ
１１０ コマンド生成部
１３１ 遠隔操作アプリ
１３２ コマンド変換表
１３３ 標準機種の操作画面プログラム
２００ 画像形成装置
２４０ タッチパネル
５７０ リモートパネルサーバー
３００ クラウドサーバー
３２０ データベース
３２１ コマンド変換表
３２２ 標準機種の操作画面プログラム
３５１ 機種識別部
３５２ ウェブサーバー
ＣＰＡ 標準機種ＭＦＰ−Ａの操作画面
ＣＡ２ 後処理の設定画面
ＣＰＢ 操作対象ＭＦＰ−Ｂの操作画面
ＣＢ２ ポップアップメニュー 100 Mobile terminal 101 LCD
110 Command generation unit 131 Remote operation application 132 Command conversion table 133 Standard model operation screen program 200 Image forming apparatus 240 Touch panel 570 Remote panel server 300 Cloud server 320 Database 321 Command conversion table 322 Standard model operation screen program 351 Model identification unit 352 Web server CPA Standard model MFP-A operation screen CA2 Post-processing setting screen CPB Operation target MFP-B operation screen CB2 Pop-up menu

Claims (11)

画像形成装置の遠隔操作に供される携帯端末であり、
操作対象の画像形成装置と通信する通信部と、
グラフィックユーザーインタフェース（ＧＵＩ）画面を表示する表示部と、
前記表示部の画面上に配置されたタッチパネルを含み、前記タッチパネルを通して、前記表示部が表示しているＧＵＩ画面に対するユーザー操作を検知する操作部と、
前記操作対象の機種とは異なる標準機種の操作画面プログラムに従い、前記標準機種の操作画面を前記表示部に表示させると共に、当該操作画面に対するユーザー操作を前記操作部に検知させ、当該ユーザー操作に応じてコマンドを生成し、当該コマンドを前記通信部に前記操作対象へ送信させるコマンド生成部と、
を備え、
前記コマンドはパラメーターとして、前記標準機種の操作画面においてユーザー操作が検知された座標に対応する前記操作対象の操作画面内の座標を含む
ことを特徴とする携帯端末。 A portable terminal for remote operation of an image forming apparatus,
A communication unit that communicates with the image forming apparatus to be operated;
A display unit for displaying a graphic user interface (GUI) screen;
An operation unit that includes a touch panel disposed on the screen of the display unit, and detects a user operation on the GUI screen displayed by the display unit through the touch panel;
In accordance with an operation screen program of a standard model different from the model to be operated, the operation screen of the standard model is displayed on the display unit, and a user operation on the operation screen is detected by the operation unit, and according to the user operation A command generating unit that causes the communication unit to transmit the command to the operation target;
With
The mobile terminal according to claim 1, wherein the command includes, as parameters, coordinates in the operation screen to be operated corresponding to coordinates at which a user operation is detected on the operation screen of the standard model. 前記コマンド生成部は、前記コマンドに組み込むべき操作画面内の座標を、前記操作対象と前記標準機種との間におけるコマンドの変換表に基づいて決定し、
前記変換表は、前記操作対象と前記標準機種との間で、各画像形成装置の同等な機能が割り当てられた操作画面内の座標の対応関係を規定する
ことを特徴とする請求項１に記載の携帯端末。 The command generation unit determines the coordinates in the operation screen to be incorporated in the command based on a conversion table of commands between the operation target and the standard model,
2. The conversion table defines a correspondence relationship of coordinates in an operation screen to which an equivalent function of each image forming apparatus is assigned between the operation target and the standard model. Mobile devices. 前記変換表は、前記操作対象と前記標準機種との間におけるコマンドの送信プロトコルの違いを更に規定することを特徴とする請求項２に記載の携帯端末。   The mobile terminal according to claim 2, wherein the conversion table further defines a difference in a command transmission protocol between the operation target and the standard model. 前記通信部は外部サーバーと通信可能であり、
前記コマンド生成部は前記通信部に前記変換表を前記外部サーバーから取得させる
ことを特徴とする請求項２または請求項３に記載の携帯端末。 The communication unit can communicate with an external server,
The portable terminal according to claim 2, wherein the command generation unit causes the communication unit to acquire the conversion table from the external server. 前記コマンド生成部は、前記操作対象からの操作画面の受信と前記操作対象へのコマンドの送信とをリモートパネル形式で行うことを特徴とする請求項１から請求項４までのいずれかに記載の携帯端末。   The said command generation part performs reception of the operation screen from the said operation object, and transmission of the command to the said operation object in a remote panel format, The Claim 1 characterized by the above-mentioned. Mobile device. 前記コマンド生成部は前記表示部に、前記標準機種の操作画面の含むＧＵＩ部品のうち、前記操作対象の操作画面の含むＧＵＩ部品のいずれにも対応しないものを無効化することを特徴とする請求項１から請求項５までのいずれかに記載の携帯端末。   The command generation unit invalidates a GUI part included in the operation screen of the standard model that does not correspond to any of the GUI parts included in the operation screen of the operation target in the display unit. The portable terminal according to any one of claims 1 to 5. 前記コマンド生成部は前記表示部に、前記操作対象の操作画面と前記標準機種の操作画面との両方を同時に表示させることを特徴とする請求項１から請求項６までのいずれかに記載の携帯端末。   7. The portable device according to claim 1, wherein the command generation unit causes the display unit to simultaneously display both the operation screen to be operated and the operation screen of the standard model. Terminal. 前記コマンド生成部は前記表示部に、前記操作対象の操作画面と前記標準機種の操作画面との間で対応するＧＵＩ部品を強調表示させることを特徴とする請求項７に記載の携帯端末。   The mobile terminal according to claim 7, wherein the command generation unit causes the display unit to highlight a corresponding GUI component between the operation screen to be operated and the operation screen of the standard model. 前記コマンド生成部は前記表示部に、前記操作対象の操作画面と前記標準機種の操作画面との間でタブまたはウィンドウの切り換えを同期させることを特徴とする請求項７または請求項８に記載の携帯端末。   9. The command generation unit according to claim 7 or 8, wherein the command generation unit synchronizes switching of a tab or a window between the operation target operation screen and the standard model operation screen on the display unit. Mobile device. 画像形成装置の遠隔操作を実現するシステムであり、
請求項１から請求項９までのいずれかに記載の携帯端末と、
前記通信部と通信可能に接続され、前記標準機種の操作画面内の座標と前記操作対象の操作画面内の座標との間の対応関係を規定する情報を前記コマンド生成部へ提供する外部サーバーと、
を備えたシステム。 A system that realizes remote operation of an image forming apparatus,
A mobile terminal according to any one of claims 1 to 9,
An external server that is communicably connected to the communication unit and that provides the command generation unit with information defining a correspondence relationship between coordinates in the operation screen of the standard model and coordinates in the operation screen of the operation target; ,
With system. 画像形成装置の遠隔操作に供される携帯端末に、
操作対象の機種とは異なる標準機種の操作画面を表示するステップと、
タッチパネルを通して前記操作画面に対するユーザー操作を検知するステップと、
検知されたユーザー操作に応じてコマンドを生成するステップと、
前記コマンドを前記操作対象へ送信するステップと、
を実行させるためのプログラムであり、
前記コマンドはパラメーターとして、前記標準機種の操作画面において検知されたユーザー操作の座標に対応する前記操作対象の操作画面内の座標を含む
ことを特徴とするプログラム。 For mobile terminals used for remote control of image forming devices,
A step of displaying an operation screen of a standard model different from the model to be operated;
Detecting a user operation on the operation screen through a touch panel;
Generating a command in response to detected user operation;
Transmitting the command to the operation target;
Is a program for executing
The program includes, as parameters, coordinates in the operation screen of the operation target corresponding to coordinates of a user operation detected on the operation screen of the standard model.
JP2016122366A 2016-06-21 2016-06-21 Mobile terminal, system, and program for remote control of image forming apparatus Active JP6743508B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016122366A JP6743508B2 (en) 2016-06-21 2016-06-21 Mobile terminal, system, and program for remote control of image forming apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016122366A JP6743508B2 (en) 2016-06-21 2016-06-21 Mobile terminal, system, and program for remote control of image forming apparatus

Publications (2)

Publication Number Publication Date
JP2017228872A true JP2017228872A (en) 2017-12-28
JP6743508B2 JP6743508B2 (en) 2020-08-19

Family

ID=60889378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016122366A Active JP6743508B2 (en) 2016-06-21 2016-06-21 Mobile terminal, system, and program for remote control of image forming apparatus

Country Status (1)

Country Link
JP (1) JP6743508B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140478A (en) * 2018-02-08 2019-08-22 京セラドキュメントソリューションズ株式会社 Operation support system
JP2020021354A (en) * 2018-08-02 2020-02-06 コニカミノルタ株式会社 Display device, display processing system, and program
JP2020135823A (en) * 2019-02-26 2020-08-31 富士ゼロックス株式会社 Information processing device and program
US11178293B2 (en) 2019-11-15 2021-11-16 Sharp Kabushiki Kaisha Mobile terminal, storage medium and control method to remotely operate an information processing apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174215A (en) * 2005-12-21 2007-07-05 Canon Inc External controller, and remote operation system and method
JP2009211520A (en) * 2008-03-05 2009-09-17 Fuji Xerox Co Ltd Information processor and program
JP2013150273A (en) * 2012-01-23 2013-08-01 Konica Minolta Inc Image forming system, image forming apparatus, external terminal, and program
JP2015159533A (en) * 2014-01-27 2015-09-03 株式会社リコー Terminal device, image processing system, control method of image visualization apparatus and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174215A (en) * 2005-12-21 2007-07-05 Canon Inc External controller, and remote operation system and method
JP2009211520A (en) * 2008-03-05 2009-09-17 Fuji Xerox Co Ltd Information processor and program
JP2013150273A (en) * 2012-01-23 2013-08-01 Konica Minolta Inc Image forming system, image forming apparatus, external terminal, and program
JP2015159533A (en) * 2014-01-27 2015-09-03 株式会社リコー Terminal device, image processing system, control method of image visualization apparatus and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019140478A (en) * 2018-02-08 2019-08-22 京セラドキュメントソリューションズ株式会社 Operation support system
JP7043866B2 (en) 2018-02-08 2022-03-30 京セラドキュメントソリューションズ株式会社 Operation support system
JP2020021354A (en) * 2018-08-02 2020-02-06 コニカミノルタ株式会社 Display device, display processing system, and program
JP7155722B2 (en) 2018-08-02 2022-10-19 コニカミノルタ株式会社 Display device, display processing system and program
JP2020135823A (en) * 2019-02-26 2020-08-31 富士ゼロックス株式会社 Information processing device and program
JP7314528B2 (en) 2019-02-26 2023-07-26 富士フイルムビジネスイノベーション株式会社 Information processing device and program
US11178293B2 (en) 2019-11-15 2021-11-16 Sharp Kabushiki Kaisha Mobile terminal, storage medium and control method to remotely operate an information processing apparatus

Also Published As

Publication number Publication date
JP6743508B2 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
JP5259655B2 (en) Operation device, image forming apparatus using the same, and operation method
JP4775725B2 (en) Output instruction apparatus and output instruction program
JP5271328B2 (en) Operation device and image forming apparatus
CN107135324B (en) Method for controlling terminal device and terminal device
JP4886437B2 (en) Image processing apparatus, job processing method, storage medium, and program
JP6743508B2 (en) Mobile terminal, system, and program for remote control of image forming apparatus
JP2018129714A (en) Program and information processing apparatus
JP2007304881A (en) Printer system, printer driver, and image formation device
US20150002894A1 (en) Printing Apparatus, Computer-Readable Storage Medium Storing Program, and Method
JP5498249B2 (en) OPERATION DEVICE, ELECTRONIC APPARATUS EQUIPPED WITH OPERATION DEVICE, IMAGE PROCESSING DEVICE, AND INFORMATION DISPLAY METHOD IN THE OPERATION DEVICE
JP5677370B2 (en) Operating device and operating method
JP6264445B2 (en) Image forming apparatus
JP6702263B2 (en) Image forming device
JP6414534B2 (en) Terminal device, image forming system, and printer driver
JP5870136B2 (en) OPERATION DEVICE, ELECTRONIC APPARATUS EQUIPPED WITH OPERATION DEVICE, IMAGE PROCESSING DEVICE, AND INFORMATION DISPLAY METHOD IN THE OPERATION DEVICE
US10719745B2 (en) Information processing apparatus, communication method, and system
JP2018101219A (en) Electronic apparatus setting device and program
JP5242429B2 (en) Image forming apparatus and image forming system
JP5377988B2 (en) Image forming apparatus and image forming system
JP6321232B2 (en) Operating device, image processing device including operating device, and information display method in operating device
JP6116028B2 (en) Operating device, image processing device including operating device, and information display method in operating device
JP5902271B2 (en) Operating device and operating method
JP2017016372A (en) Information processing device, display control method, and program
JP2021060641A (en) Information processing device, control program, and control method
JP6005193B2 (en) Processing apparatus and image forming apparatus having the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R150 Certificate of patent or registration of utility model

Ref document number: 6743508

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150