JP5910880B2 - Operation display system, program, portable terminal, operation display device, portable terminal program - Google Patents

Operation display system, program, portable terminal, operation display device, portable terminal program Download PDF

Info

Publication number
JP5910880B2
JP5910880B2 JP2012141407A JP2012141407A JP5910880B2 JP 5910880 B2 JP5910880 B2 JP 5910880B2 JP 2012141407 A JP2012141407 A JP 2012141407A JP 2012141407 A JP2012141407 A JP 2012141407A JP 5910880 B2 JP5910880 B2 JP 5910880B2
Authority
JP
Japan
Prior art keywords
unit
display
mobile terminal
specific
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012141407A
Other languages
Japanese (ja)
Other versions
JP2014006668A (en
Inventor
宏明 相澤
宏明 相澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012141407A priority Critical patent/JP5910880B2/en
Publication of JP2014006668A publication Critical patent/JP2014006668A/en
Application granted granted Critical
Publication of JP5910880B2 publication Critical patent/JP5910880B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、操作表示装置と携帯端末を連携して操作表示を可能にする操作表示システム、プログラム、操作表示装置、及びその携帯端末と携帯端末プログラムに関する。   The present invention relates to an operation display system, a program, an operation display device, and a mobile terminal and a mobile terminal program that enable operation display in cooperation with the operation display device and the mobile terminal.

携帯端末よりも認識可能な操作の種類が少ない操作パネルを備えた車載機器で携帯端末のアプリケーションを実行させる際に、その操作パネル側で入力不可能であって、携帯端末側で入力可能な操作コマンドを、代替えの入力方法（たとえばマルチタッチ操作を、複数回のシングルタッチで代替えする）によって実現する技術が提案されている（特許文献１参照）。   When an application on a mobile device is executed on an in-vehicle device with an operation panel that has fewer types of operations that can be recognized than a mobile device, an operation that cannot be input on the operation panel and can be input on the mobile device A technique for realizing a command by an alternative input method (for example, replacing a multi-touch operation with a plurality of single touches) has been proposed (see Patent Document 1).

また、マルチタッチが不可能な操作パネルに対してマルチタッチを行った場合に、どちらか一方の指が離れたら、残っている指の地点に対しての選択操作が行われたと判断することで、マルチタッチの誤認識を防止する技術が提案されている（特許文献２参照）。   In addition, when multi-touch is performed on an operation panel where multi-touch is not possible, if one of the fingers is released, it is determined that the selection operation for the remaining finger point has been performed. A technique for preventing multi-touch misrecognition has been proposed (see Patent Document 2).

ところで、本出願人は、操作パネルを有する情報処理装置と携帯端末の間で無線通信を行う際に、操作パネルと携帯端末を並べて配置し、情報処理装置と携帯端末を連携させることで、表示面積の拡張を図り、操作性を向上させる技術を考案した。たとえば、スクロールすることで全体像が確認できる画面において、現在操作パネルに表示されていない部分を、操作パネルの隣に配置している携帯端末で表示させ、携帯端末での操作表示を可能とすることで、情報処理装置に設置されている操作パネルの視認性および操作性を向上させることができる（図４参照）。   By the way, when performing wireless communication between an information processing apparatus having an operation panel and a portable terminal, the present applicant arranges the operation panel and the portable terminal side by side, and displays the information by linking the information processing apparatus and the portable terminal. We devised a technology to improve the operability by expanding the area. For example, in a screen where the whole image can be confirmed by scrolling, a portion that is not currently displayed on the operation panel is displayed on the mobile terminal arranged next to the operation panel, thereby enabling operation display on the mobile terminal. Thus, the visibility and operability of the operation panel installed in the information processing apparatus can be improved (see FIG. 4).

特開２０１２−００８９６８号公報JP 2012-008968 A 特開２０１０−２５７４５８号公報JP 2010-257458 A

情報処理装置と携帯端末を連携して使用している際、ユーザは、携帯端末で普段利用している操作方法は、上記のように情報処理装置と連携している最中も、携帯端末では有効な操作であると判断して操作を行うことが推定される。   When the information processing device and the mobile terminal are used in cooperation with each other, the operation method that the user normally uses on the mobile terminal is the same as that described above. It is estimated that the operation is performed by determining that the operation is effective.

しかし、携帯端末と情報処理装置の操作パネルに性能差がある場合、携帯端末では受け付け可能であるが、情報処理装置の操作パネルでは受け付け不可能な操作を、情報処理装置と連携している最中の携帯端末が受け付けた際は、その操作情報を携帯端末から受信した情報処理装置は、その操作情報を誤認識し、ユーザが希望した動作とは違う動作を実行してしまう。   However, when there is a performance difference between the operation panel of the mobile terminal and the information processing apparatus, an operation that can be accepted by the mobile terminal but cannot be accepted by the operation panel of the information processing apparatus is linked with the information processing apparatus. When the mobile terminal receives the information, the information processing apparatus that has received the operation information from the mobile terminal misrecognizes the operation information and performs an operation different from the operation desired by the user.

特許文献１に開示の発明は、車載機器の操作パネルでは入力不可能であって、携帯端末側で入力可能な操作コマンドを、代替えの入力方法によって実現するものであり、特許文献２に記載の発明は、マルチタッチを認識不可能な操作パネルでマルチタッチを受け付けた場合の誤操作を防ぐことができるものである。両者は共に、情報処理装置と携帯端末が連携中に発生する誤認識の問題を解決することができるものではない。   The invention disclosed in Patent Document 1 realizes an operation command that cannot be input on the operation panel of the in-vehicle device and can be input on the mobile terminal side by an alternative input method. The invention can prevent an erroneous operation when a multi-touch is received by an operation panel that cannot recognize the multi-touch. Neither of them can solve the problem of misrecognition that occurs during cooperation between the information processing apparatus and the portable terminal.

また、日々進化する携帯端末側の機能に情報処理装置を逐次対応させることは煩わしい。   In addition, it is troublesome for the information processing apparatus to sequentially correspond to the function of the mobile terminal that is evolving day by day.

本発明は、上記の問題を解決するものであり、操作表示装置と携帯端末が連携して操作表示を可能とする際に、操作表示装置では受け付け不可能な操作を携帯端末が受け付けた場合における操作表示装置での誤認識を防止する操作表示システム、プログラム、携帯端末、操作表示装置、及び携帯端末プログラムを提供することを目的としている。   The present invention solves the above problem, and when the operation display device and the portable terminal cooperate to enable operation display, the operation display device can accept an operation that cannot be accepted by the operation display device. An object of the present invention is to provide an operation display system, a program, a portable terminal, an operation display apparatus, and a portable terminal program that prevent erroneous recognition in the operation display apparatus.

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。   The gist of the present invention for achieving the object lies in the inventions of the following items.

［１］操作部と表示部と通信部とを備えた操作表示装置と、操作部と表示部と通信部とを備えた携帯端末とを有する操作表示システムにおいて、
前記携帯端末で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じて前記携帯端末に表示する画面と前記操作表示装置に表示する画面とが連携するようにこれらの表示内容を制御する連携制御部と、
前記制御中に、前記操作表示装置で受け付け不可能な特定操作を前記携帯端末で受けた場合に、この特定操作を無効にする特定操作無効部と、
を有する
ことを特徴とする操作表示システム。 [1] In an operation display system including an operation display device including an operation unit, a display unit, and a communication unit, and a portable terminal including the operation unit, the display unit, and the communication unit.
When an operation is received on the mobile terminal and an operation is received on the operation display device, the screen displayed on the mobile terminal and the screen displayed on the operation display device are linked in accordance with the operation. A linkage control unit for controlling display contents;
During the control, when a specific operation that cannot be received by the operation display device is received by the mobile terminal, a specific operation invalidation unit that invalidates the specific operation,
An operation display system characterized by comprising:

上記［１］および下記［１０］、［１７］、［２５］、［２６］に記載の発明では、操作表示装置と携帯端末を連携して両方の装置で操作表示を可能にする際に、携帯端末では受け付け（認識）が可能であるが、操作表示装置では受け付け（認識）が不可能である特定操作を、携帯端末が受け付けた場合に、その特定操作を無効にする。これにより、その特定操作を操作表示装置が誤認識することを防止し、ユーザの利便性を向上させる。   In the invention described in [1] and [10], [17], [25], and [26] below, when the operation display device and the portable terminal are linked to enable operation display on both devices, When the mobile terminal receives a specific operation that can be accepted (recognized) by the portable terminal but cannot be accepted (recognized) by the operation display device, the specific operation is invalidated. This prevents the operation display device from erroneously recognizing the specific operation and improves user convenience.

［２］前記連携制御部による前記制御の開始時を第１判断タイミングとし、
前記特定操作無効部は、前記携帯端末で受け付け可能な操作のうち前記特定操作となる全ての操作を前記第１判断タイミングで抽出して記憶し、前記携帯端末で操作を受け付ける毎にその操作が前記特定操作か否かを前記記憶に基づいて判断する
ことを特徴とする［１］に記載の操作表示システム。 [2] The start time of the control by the cooperation control unit is a first determination timing,
The specific operation invalidation unit extracts and stores all the operations that become the specific operation among the operations that can be received by the mobile terminal at the first determination timing, and each time the operation is received by the mobile terminal, the operation is performed. The operation display system according to [1], wherein whether or not the specific operation is performed is determined based on the storage.

上記［２］および下記［１１］、［１８］に記載の発明では、操作表示装置と携帯端末を連携して両方の装置で操作表示を可能にする状態の開始時に、特定操作となる全ての操作を抽出して記憶し、携帯端末で操作を受け付ける毎にその操作が特定操作か否かをその記憶に基づいて判断する。操作を受け付ける毎にその操作が操作表示装置で可能か否かを操作表示装置の全ての操作と比較して判断する場合に比べて、操作毎の判断処理を軽減することができる。   In the inventions described in [2] and [11] and [18] below, all operations that are specific operations at the start of a state in which the operation display device and the portable terminal are linked to enable operation display on both devices. The operation is extracted and stored, and each time the operation is received by the portable terminal, it is determined based on the storage whether or not the operation is a specific operation. The determination process for each operation can be reduced compared to the case where it is determined whether or not the operation can be performed by the operation display device every time an operation is received, compared with all the operations of the operation display device.

［３］前記携帯端末が操作を受け付けた時を第２判断タイミングとし、
前記特定操作無効部は、前記第２判断タイミングで、操作表示装置で受け付け可能な操作と前記受け付けた操作を比較することによって、前記受け付けた操作が前記特定操作であるか否かを判断する
ことを特徴とする［１］または［２］に記載の操作表示システム。 [3] The time when the portable terminal accepts the operation is set as a second determination timing,
The specific operation invalidation unit determines whether the received operation is the specific operation by comparing an operation that can be received by the operation display device with the received operation at the second determination timing. The operation display system according to [1] or [2].

上記［３］および下記［１２］、［１９］に記載の発明では、操作表示装置と携帯端末を連携して操作表示を可能にする状態で、携帯端末が操作を受け付ける度に、その操作を、操作表示装置で受け付け可能な操作と比較し、その操作が特定操作であるか否かを調べる。   In the inventions described in [3] and [12] and [19] below, each time the portable terminal accepts an operation in a state in which the operation display device and the portable terminal are linked to enable operation display, the operation is performed. Compared with an operation that can be accepted by the operation display device, it is checked whether or not the operation is a specific operation.

［４］前記連携制御部は、前記特定操作が存在する場合に、その旨を警告する
ことを特徴とする［２］または［３］に記載の操作表示システム。 [4] the coordination controller is pre SL when a specific operation is present, the operation display system according to [2] or [3], characterized in that a warning to that effect.

上記［４］および下記［１３］、［２０］に記載の発明では、携帯端末では受け付け（認識）が可能であるが、操作表示装置では受け付け（認識）が不可能である特定操作があるか否かを調べ、特定操作が存在する場合、その旨を警告する。第１判断タイミングで警告することで、ユーザは無効となる操作を予め認識して操作を行うことができる。第２判断タイミングで警告することで、行った操作が無効になったことをその都度認識して対処することができる。   In the inventions described in [4] and [13] and [20] below, is there a specific operation that can be accepted (recognized) by a portable terminal but cannot be accepted (recognized) by an operation display device? If there is a specific operation, a warning to that effect is given. By giving a warning at the first determination timing, the user can recognize an invalid operation in advance and perform the operation. By giving a warning at the second determination timing, it can be recognized and dealt with each time that the performed operation becomes invalid.

［５］前記特定操作無効部は、前記操作表示装置に設けられており、
前記特定操作無効部は、前記携帯端末から受信した操作情報が、前記特定操作の操作情報であるか否かを判断し、当該操作情報が前記特定操作の操作情報である場合には、その操作情報を無効とする
ことを特徴とする［１］乃至［４］のいずれか１つに記載の操作表示システム。 [5] The specific operation invalid part is provided in the operation display device,
The specific operation invalidation unit determines whether or not the operation information received from the mobile terminal is operation information of the specific operation, and if the operation information is operation information of the specific operation, the operation information The operation display system according to any one of [1] to [4], wherein the information is invalidated.

上記［５］および下記［１４］に記載の発明では、操作表示装置が、携帯端末から受信した操作情報が特定操作の操作情報であるか否かを判別し、その操作情報が、特定操作の操作情報であれば、その操作情報を無効とする。この場合、携帯端末の処理を変更する必要がない利点がある。   In the inventions described in [5] and [14] below, the operation display device determines whether or not the operation information received from the mobile terminal is the operation information of the specific operation, and the operation information indicates the specific operation. If it is operation information, the operation information is invalidated. In this case, there is an advantage that it is not necessary to change the processing of the mobile terminal.

［６］前記特定操作無効部は、前記携帯端末に設けられており、
前記特定操作無効部は、前記携帯端末に、前記特定操作の操作情報を前記操作表示装置に向けて送信させないことで前記特定操作を無効にする
ことを特徴とする［１］乃至［５］のいずれか１つに記載の操作表示システム。 [6] The specific operation invalid part is provided in the mobile terminal,
[1] to [5], wherein the specific operation invalidation unit invalidates the specific operation by not causing the portable terminal to transmit operation information of the specific operation to the operation display device. The operation display system according to any one of the above.

上記［６］および下記［２１］に記載の発明では、操作表示装置と携帯端末を連携して両方の装置で操作表示を可能にする際に、携帯端末では受け付け（認識）が可能であるが、操作表示装置では受け付け（認識）が不可能である特定操作を携帯端末が受け付けた場合、携帯端末はその特定操作の操作情報を操作表示装置に向けて送信させないことでその特定操作を無効にする。この場合、操作表示装置側の処理負担が軽減される。   In the invention described in [6] and [21] below, when the operation display device and the mobile terminal are linked to enable operation display on both devices, the mobile terminal can accept (recognize). When the mobile terminal receives a specific operation that cannot be accepted (recognized) by the operation display device, the mobile terminal invalidates the specific operation by not sending operation information of the specific operation to the operation display device. To do. In this case, the processing load on the operation display device side is reduced.

［７］前記特定操作無効部が、前記特定操作を無効にする際には、
前記携帯端末に前記特定操作の操作情報の代替情報として、前記操作表示装置で受け付け可能な操作に係る操作情報を前記連携制御部に送信させる
ことを特徴とする［６］に記載の操作表示システム。 [7] When the specific operation invalidation unit invalidates the specific operation,
The operation display system according to [6], wherein the mobile terminal is caused to transmit, to the cooperation control unit, operation information related to an operation that can be received by the operation display device as substitute information for the operation information of the specific operation. .

上記［７］および下記［２２］に記載の発明では、操作表示装置と携帯端末を連携して両方の装置で操作表示を可能にする際に、携帯端末が特定操作を受け付けた際には、その特定操作の操作情報を送信せず、その操作情報の代替情報として、操作表示装置で受け付け（認識）可能な操作に係る操作情報を送信する。   In the invention described in [7] and [22] below, when the operation display device and the mobile terminal are linked to enable operation display on both devices, when the mobile terminal receives a specific operation, The operation information of the specific operation is not transmitted, and the operation information related to the operation that can be accepted (recognized) by the operation display device is transmitted as alternative information of the operation information.

［８］前記特定操作無効部は、前記特定操作が、前記携帯端末の表示内容のみを変更し、前記表示部の表示内容は変更しない第２特定操作である場合は、前記第２特定操作は無効にしない
ことを特徴とする［１］乃至［７］のいずれか１つに記載の操作表示システム。 [8] When the specific operation is a second specific operation in which the specific operation changes only the display content of the mobile terminal and the display content of the display unit does not change, the second specific operation is The operation display system according to any one of [1] to [7], wherein the operation display system is not invalidated.

上記［８］および下記［１５］、［２３］に記載の発明では、操作表示装置と携帯端末を連携して両方の装置で操作表示を可能にする際に、携帯端末が受け付けた特定操作が、携帯端末に表示する画面の表示内容のみを変更し、操作表示装置に表示する画面の表示内容を変更しない第２特定操作である場合はその第２特定操作を無効にしない。これにより、携帯端末で無効となる操作の種類が減って、携帯端末での操作性の低下を軽減することができる。   In the inventions described in [8] and [15] and [23] below, when the operation display device and the mobile terminal are linked to enable operation display on both devices, the specific operation received by the mobile terminal is Only the display content of the screen displayed on the mobile terminal is changed, and when the second specific operation does not change the display content of the screen displayed on the operation display device, the second specific operation is not invalidated. Thereby, the kind of operation which becomes invalid with a portable terminal reduces, and the fall of operativity with a portable terminal can be reduced.

［９］前記連携制御部は、前記第２特定操作によって、前記携帯端末に表示する表示内容を変更する際に、当該変更後の表示内容の表示データが前記携帯端末内で不足した場合、当該不足している表示データを前記携帯端末に送信する
ことを特徴とする［８］に記載の操作表示システム。 [9] When the display content of the display content after the change is insufficient in the mobile terminal when the display content displayed on the mobile terminal is changed by the second specific operation, The operation display system according to [8], wherein the deficient display data is transmitted to the mobile terminal.

上記［９］および下記［１６］、［２４］に記載の発明では、第２特定操作に応じて携帯端末に表示する画面の表示内容を変更する際に、当該画面を表示するための表示データが不足した場合、その不足している表示データを携帯端末が取得し、その取得した表示データに基づいて表示内容を変更後の画面を表示する。これにより、携帯端末で無効となる操作の種類をさらに少なくできる。   In the inventions described in [9] and [16] and [24] below, display data for displaying the screen when the display content of the screen displayed on the mobile terminal is changed according to the second specific operation. In such a case, the portable terminal acquires the display data that is insufficient, and displays a screen after changing the display content based on the acquired display data. Thereby, the kind of operation which becomes invalid with a portable terminal can be reduced further.

［１０］操作部と、
表示部と、
操作部と表示部と通信部とを備えた携帯端末と通信する通信部と、
特定操作無効部と、
を備える操作表示装置を、
前記携帯端末で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じて前記携帯端末に表示する画面と前記操作表示装置に表示する画面とが連携するようにこれらの表示内容を制御すると共に、該制御中に、前記携帯端末では受け付け可能であるが前記操作表示装置では受け付けが不可能である特定操作を前記携帯端末で受けた場合に、この特定操作を無効にするように動作させる
ことを特徴とするプログラム。 [10] an operation unit;
A display unit;
A communication unit that communicates with a portable terminal including an operation unit, a display unit, and a communication unit;
Specific operation invalid part,
An operation display device comprising:
When an operation is received on the mobile terminal and an operation is received on the operation display device, the screen displayed on the mobile terminal and the screen displayed on the operation display device are linked in accordance with the operation. In addition to controlling the display content, during the control, when a specific operation that can be accepted by the portable terminal but cannot be accepted by the operation display device is received by the portable terminal, the specific operation is invalidated. A program characterized by being operated as follows.

［１１］前記制御の開始時を第１判断タイミングとし、
前記操作表示装置を、
前記携帯端末で受け付け可能な操作のうち前記特定操作となる全ての操作を前記第１判断タイミングで抽出して記憶し、前記携帯端末で操作を受け付ける毎にその操作が前記特定操作か否かを前記記憶に基づいて判断するように動作させる
ことを特徴とする［１０］に記載のプログラム。 [11] The start time of the control is a first determination timing,
The operation display device;
Of the operations that can be accepted by the mobile terminal, all the operations that become the specific operation are extracted and stored at the first determination timing, and each time the operation is received by the mobile terminal, whether or not the operation is the specific operation. The program according to [10], wherein the program is operated so as to make a determination based on the storage.

［１２］前記携帯端末が操作を受け付けた時を第２判断タイミングとし、
前記操作表示装置を、
前記第２判断タイミングで、前記操作部で受け付け可能な操作と前記受け付けた操作を比較することによって、前記受け付けた操作が前記特定操作であるか否かを判断するように動作させる
ことを特徴とする［１０］または［１１］に記載のプログラム。 [12] The time when the portable terminal accepts the operation is set as a second determination timing,
The operation display device;
The operation is performed so as to determine whether the received operation is the specific operation by comparing the received operation with the received operation at the second determination timing. The program according to [10] or [11].

［１３］前記操作表示装置を、
前記特定操作が存在する場合に、その旨を警告するように動作させる
ことを特徴とする［１１］または［１２］に記載のプログラム。 [13] The operation display device is
Before SL when a specific operation is present, the program according to that effect is characterized in that operation is to to warn of [11] or [12].

［１４］前記操作表示装置を、
前記携帯端末から受信した操作情報が、前記特定操作の操作情報であるか否かを判断し、前記特定操作の操作情報である場合にその操作情報を無効とすることで、前記特定操作を無効とするように動作させる
ことを特徴とする［１０］乃至［１３］のいずれか１つに記載のプログラム。 [14] The operation display device is
It is determined whether or not the operation information received from the mobile terminal is the operation information of the specific operation. If the operation information is the operation information of the specific operation, the operation information is invalidated to invalidate the specific operation. The program according to any one of [10] to [13], wherein the program is operated as follows.

［１５］前記操作表示装置を、
前記特定操作が、前記携帯端末の表示内容のみを変更し、前記表示部の表示内容は変更しない第２特定操作である場合は、前記第２特定操作は無効にしないように動作させる
ことを特徴とする［１０］乃至［１４］のいずれか１つに記載のプログラム。 [15] The operation display device is
When the specific operation is a second specific operation that changes only the display content of the mobile terminal and does not change the display content of the display unit, the second specific operation is operated so as not to be invalidated. The program according to any one of [10] to [14].

［１６］前記操作表示装置を、
前記第２特定操作によって、前記携帯端末に表示する表示内容の表示データが不足した場合、当該不足している表示データを前記携帯端末に送信するように動作させる
ことを特徴とする［１５］に記載のプログラム。 [16] The operation display device is
[15] characterized in that when the display data of the display content to be displayed on the portable terminal is insufficient by the second specific operation, the operation is performed to transmit the insufficient display data to the portable terminal. The listed program.

［１７］操作部と、
操作表示装置と通信すると共に、前記操作部で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じた画面を表示する前記操作表示装置から前記画面と連携する画面の表示データを受信する通信部と、
前記通信部が受信した表示データに基づいて画面を表示する表示部と、
前記通信中に、前記操作部では受け付け可能であるが、前記操作表示装置では受け付けが不可能である特定操作を前記操作部で受けた場合にこの特定操作を無効にする特定操作無効部と
を有する
ことを特徴とする携帯端末。 [17] An operation unit;
In communication with the operation display device, from the operation display device screen cooperating with the screen for displaying the screen corresponding to the operation when receiving an operation on and the operation display unit when an operation has been accepted by the operation unit A communication unit for receiving display data;
A display unit that displays a screen based on display data received by the communication unit;
A specific operation invalidation unit that invalidates the specific operation when a specific operation that can be accepted by the operation display unit but cannot be accepted by the operation display device is received by the operation unit during the communication. A portable terminal characterized by having.

［１８］前記操作表示装置と通信を開始した時を第１判断タイミングとし、
前記特定操作無効部は、前記操作部で受け付け可能な操作のうち前記特定操作となる全ての操作を前記第１判断タイミングで抽出して記憶し、前記操作部で操作を受け付ける毎にその操作が前記特定操作か否かを前記記憶に基づいて判断する
ことを特徴とする［１７］に記載の携帯端末。 [18] The time when communication with the operation display device is started is a first determination timing,
The specific operation invalidation unit extracts and stores all operations that become the specific operation among operations that can be received by the operation unit at the first determination timing, and each time the operation is received by the operation unit, the operation is performed. The mobile terminal according to [17], wherein whether or not the specific operation is performed is determined based on the storage.

［１９］前記操作部が操作を受け付けた時を第２判断タイミングとし、
前記特定操作無効部は、前記第２判断タイミングで、前記操作表示装置で受け付け可能な操作と前記受け付けた操作を比較することによって、前記受け付けた操作が前記特定操作であるか否かを判断する
ことを特徴とする［１７］または［１８］に記載の携帯端末。 [19] The time when the operation unit accepts the operation is set as a second determination timing,
The specific operation invalidation unit determines whether the received operation is the specific operation by comparing the received operation with the received operation at the second determination timing. The mobile terminal according to [17] or [18], wherein

［２０］前記特定操作が存在する場合に、その旨を警告する
ことを特徴とする［１８］または［１９］に記載の携帯端末。 [20] if the previous SL particular operation exists, the portable terminal according to, characterized in that that warning to that effect [18] or [19].

［２１］前記特定操作無効部は、前記通信部に、前記特定操作の操作情報を前記操作表示装置に向けて送信させないことで前記特定操作を無効にする
ことを特徴とする［１７］乃至［２０］のいずれか１つに記載の携帯端末。 [21] The specific operation invalidation unit invalidates the specific operation by not causing the communication unit to transmit the operation information of the specific operation to the operation display device. 20] The mobile terminal according to any one of the above.

［２２］前記特定操作無効部が、前記特定操作を無効にする際には、
前記通信部に前記特定操作の操作情報の代替情報として、前記操作表示装置で受け付け可能な操作に係る操作情報を前記操作表示装置に送信させる
ことを特徴とする［２１］に記載の携帯端末。 [22] When the specific operation invalidation unit invalidates the specific operation,
The mobile terminal according to [21], wherein the communication unit causes the operation display device to transmit operation information related to an operation that can be received by the operation display device as substitute information for the operation information of the specific operation.

［２３］前記特定操作無効部は、前記特定操作が、前記表示部の表示内容のみを変更し、前記操作表示装置の表示内容は変更しない第２特定操作である場合は、前記第２特定操作は無効にしない
ことを特徴とする［１７］乃至［２２］のいずれか１つに記載の携帯端末。 [23] When the specific operation is a second specific operation in which only the display content of the display unit is changed and the display content of the operation display device is not changed, the specific operation invalidation unit The mobile terminal according to any one of [17] to [22], wherein the mobile terminal is not invalidated.

［２４］前記通信部は、前記第２特定操作によって、前記表示部に表示する表示内容の表示データが不足した場合、当該不足している表示データを前記操作表示装置から取得し、
前記表示部は、前記取得した表示データに基づいて画面を表示する
ことを特徴とする［２３］に記載の携帯端末。 [24] If the display data of the display content to be displayed on the display unit is insufficient by the second specific operation, the communication unit acquires the insufficient display data from the operation display device,
The mobile terminal according to [23], wherein the display unit displays a screen based on the acquired display data.

［２５］操作部と、
表示部と、
操作部と表示部と通信部とを備えた携帯端末と通信する通信部と、
特定操作無効部と、
制御部と、
を備え、
前記制御部は、前記携帯端末で操作を受け付けた場合および自装置で操作を受け付けた場合にその操作に応じて前記携帯端末に表示する画面と自装置に表示する画面とが連携するようにこれらの表示内容を制御し、
前記特定操作無効部は、前記制御中に、前記携帯端末では受け付け可能であるが自装置では受け付けが不可能である特定操作を前記携帯端末で受けた場合に、この特定操作を無効にする
ことを特徴とする操作表示装置。 [25] an operation unit;
A display unit;
A communication unit that communicates with a portable terminal including an operation unit, a display unit, and a communication unit;
Specific operation invalid part,
A control unit;
With
The control unit is configured so that a screen displayed on the mobile terminal and a screen displayed on the own device are linked in accordance with the operation when the operation is received on the mobile terminal and when the operation is received on the own device. Control the display content of
The specific operation invalidation unit invalidates the specific operation when the mobile terminal receives a specific operation that can be received by the mobile terminal but cannot be received by the own device during the control. An operation display device characterized by the above.

［２６］操作部と、
操作表示装置と通信すると共に、前記操作部で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じた画面を表示する前記操作表示装置から前記画面と連携する画面の表示データを受信する通信部と、
前記通信部が受信した表示データに基づいて画面を表示する表示部と、
を備える携帯端末を、
前記通信中に、前記操作部では受け付け可能であるが、前記操作表示装置では受け付けが不可能である特定操作を前記操作部で受けた場合にこの特定操作を無効にするように動作させる
ことを特徴とする携帯端末プログラム。 [26] an operation unit;
In communication with the operation display device, from the operation display device screen cooperating with the screen for displaying the screen corresponding to the operation when receiving an operation on and the operation display unit when an operation has been accepted by the operation unit A communication unit for receiving display data;
A display unit that displays a screen based on display data received by the communication unit;
A mobile device equipped with
While the previous SL communication, said although the operation unit can be accepted, to operate a specific operation is impossible accepted by the operation display unit to disable the specific operation when received by the operating unit A mobile terminal program characterized by

本発明に係る操作表示システム、プログラム、携帯端末、操作表示装置、及び携帯端末プログラムによれば、操作表示装置と携帯端末が連携して操作表示を可能とする際に、操作表示装置での誤認識、誤動作を防ぎ、ユーザの操作性および利便性を向上させることができる。   According to the operation display system, the program, the portable terminal, the operation display device, and the portable terminal program according to the present invention, when the operation display device and the portable terminal cooperate to display an operation, an error in the operation display device can occur. Recognition and malfunction can be prevented, and user operability and convenience can be improved.

本発明の実施の形態に係る操作表示システムを示す説明図である。It is explanatory drawing which shows the operation display system which concerns on embodiment of this invention. 本発明の実施の形態に係る画像形成装置の概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of an image forming apparatus according to an embodiment of the present invention. 本発明の実施の形態に係る携帯端末の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the portable terminal which concerns on embodiment of this invention. 連携パネルモード中の操作パネルと携帯端末の様子を示す説明図である。It is explanatory drawing which shows the mode of the operation panel in a cooperation panel mode, and a portable terminal. 連携パネルモード中に、携帯端末にピンチイン操作を行った場合の様子を示す説明図である。It is explanatory drawing which shows a mode when pinch-in operation is performed to the portable terminal during cooperation panel mode. 態様例１において、連携パネルモードが開始されてから、終了するまでの間に画像形成装置で行われる処理の流れの前半を示す流れ図である。12 is a flowchart illustrating the first half of the flow of processing performed in the image forming apparatus from the start to the end of the cooperation panel mode in the aspect example 1; 図６の処理の流れの続きを示す流れ図である。It is a flowchart which shows the continuation of the flow of the process of FIG. 操作無効リストの一例を示す説明図である。It is explanatory drawing which shows an example of an operation invalid list | wrist. 連携パネルモードが開始されてから、終了するまでの間に携帯端末で行われる処理の流れの前半を示す流れ図である。It is a flowchart which shows the first half of the flow of the process performed with a portable terminal after cooperation panel mode is started and is complete | finished. 態様例２において、図９の処理の続きを示す流れ図である。10 is a flowchart showing the continuation of the process of FIG. 態様例３において、図９の処理の続きを示す流れ図である。10 is a flowchart showing the continuation of the process of FIG. 態様例４において、連携パネルモード中に、携帯端末にピンチアウト操作を行った場合の様子を示す説明図である。In aspect example 4, it is explanatory drawing which shows a mode at the time of performing pinch out operation to a portable terminal in cooperation panel mode. 態様例４において、図９の処理の続きを示す流れ図である。10 is a flowchart showing the continuation of the process of FIG. 態様例５において、連携パネルモード中に、携帯端末にピンチイン操作を行った場合の様子を示す説明図である。In aspect example 5, it is explanatory drawing which shows a mode when pinch-in operation is performed to the portable terminal during cooperation panel mode. 態様例５において、図９の処理の続きを示す流れ図である。10 is a flowchart showing the continuation of the process of FIG.

以下、図面に基づき本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本発明の実施の形態に係る操作表示システム５を示す。操作表示システム５は、操作表示装置としての機能を備えた画像形成装置（図中ではＭＦＰとも記す。）１０と携帯端末４０がＬＡＮ(Local Area Network)等のネットワークで接続されて構成されている。   FIG. 1 shows an operation display system 5 according to an embodiment of the present invention. The operation display system 5 is configured by connecting an image forming apparatus (also referred to as MFP in the figure) 10 having a function as an operation display apparatus and a portable terminal 40 via a network such as a LAN (Local Area Network). .

携帯端末４０は、持ち歩きが可能な端末であり、表示部５１と操作部５２を含む操作表示部５０を備えている（図３参照）。   The portable terminal 40 is a portable terminal and includes an operation display unit 50 including a display unit 51 and an operation unit 52 (see FIG. 3).

画像形成装置１０は、原稿を光学的に読み取ってその複製画像を記録紙に印刷するコピージョブ、読み取った原稿の画像データをファイルにして保存したり外部装置へ送信したりするスキャンジョブ、ＰＣから送出されたデータに係る画像を記録紙に印刷して出力するプリントジョブなどのジョブを実行する機能を備えた、所謂、複合機である。画像形成装置１０には、表示部３１と操作部３２を含み装置本体の操作を行う操作パネル３０が設置されており、ユーザはこの操作パネル３０を使用して、各種の設定を行うことができる（図２参照）。   The image forming apparatus 10 is a copy job that optically reads a document and prints a duplicate image on a recording sheet, a scan job that saves the image data of the read document as a file, or transmits it to an external device, from a PC This is a so-called multi-function machine having a function of executing a job such as a print job for printing an image relating to the transmitted data on a recording sheet and outputting the image. The image forming apparatus 10 includes an operation panel 30 that includes a display unit 31 and an operation unit 32 to operate the apparatus main body, and the user can perform various settings using the operation panel 30. (See FIG. 2).

また、ユーザは、無線通信で画像形成装置１０と接続された状態の携帯端末４０からも画像形成装置１０を操作することができる。以後、無線通信で接続された状態での画像形成装置１０と携帯端末４０の操作表示モードを、連携パネルモードと呼ぶ。   The user can also operate the image forming apparatus 10 from the portable terminal 40 that is connected to the image forming apparatus 10 by wireless communication. Hereinafter, the operation display mode of the image forming apparatus 10 and the portable terminal 40 in a state of being connected by wireless communication is referred to as a cooperation panel mode.

連携パネルモードの状態では、操作パネル３０と携帯端末４０を並べて配置し、画像形成装置１０と携帯端末４０を連携させることで、表示面積の拡張を図り、操作性を向上させることができる。連携パネルモードでは、ユーザは、操作パネル３０と、操作表示部５０の両方に対して操作を行うことができる。   In the state of the cooperation panel mode, the operation panel 30 and the portable terminal 40 are arranged side by side, and the image forming apparatus 10 and the portable terminal 40 are linked together, so that the display area can be expanded and the operability can be improved. In the cooperation panel mode, the user can operate both the operation panel 30 and the operation display unit 50.

連携パネルモードでは、画像形成装置１０の操作パネル３０に表示しきれない部分（例えば、スクロールすることで全体像が確認できる画面において、現在、操作パネル３０に表示されていない部分）を、操作パネル３０の隣に配置した携帯端末４０の操作表示部５０に表示させる（図４参照）。また、画像形成装置１０は、携帯端末４０で操作を受け付けた場合および操作パネル３０で操作を受け付けた場合には、その操作に応じて携帯端末４０に表示する画面と操作パネル３０に表示する画面とが連携するように、これらの表示内容を制御する。   In the cooperation panel mode, a portion that cannot be displayed on the operation panel 30 of the image forming apparatus 10 (for example, a portion that is not currently displayed on the operation panel 30 in a screen where the entire image can be confirmed by scrolling) is displayed on the operation panel. It displays on the operation display part 50 of the portable terminal 40 arrange | positioned next to 30 (refer FIG. 4). In addition, when the operation is received by the mobile terminal 40 and the operation panel 30 is received, the image forming apparatus 10 displays a screen displayed on the mobile terminal 40 and a screen displayed on the operation panel 30 according to the operation. These display contents are controlled so as to cooperate with each other.

本発明の実施の形態では、画像形成装置１０の操作パネル３０と、携帯端末４０の操作表示部５０には性能差があり、操作表示部５０はマルチタッチ操作（ピンチイン操作、ピンチアウト操作）の受け付けが可能であるが、操作パネル３０はマルチタッチ操作の受け付けは不可能なものとする。   In the embodiment of the present invention, there is a difference in performance between the operation panel 30 of the image forming apparatus 10 and the operation display unit 50 of the mobile terminal 40, and the operation display unit 50 performs multi-touch operations (pinch-in operation, pinch-out operation). The operation panel 30 cannot accept multi-touch operations, although it can be accepted.

本発明の操作表示システム５は、連携パネルモード時に、操作パネル３０では受け付け不可能な特定操作（本発明の実施の形態では、マルチタッチ操作とする）を操作表示部５ｄ０が受け付けた際に、その特定操作の操作情報を画像形成装置１０が誤認識することを防止する機能を果たす。誤認識を防止する際には、その特定操作の操作情報を無効としたり、画像形成装置１０が認識可能な操作の操作情報（代替情報）に変換したりする。   When the operation display unit 5d0 receives a specific operation (in the embodiment of the present invention, a multi-touch operation) that cannot be received by the operation panel 30 in the cooperation panel mode, The function of preventing the image forming apparatus 10 from erroneously recognizing the operation information of the specific operation is achieved. When preventing erroneous recognition, the operation information of the specific operation is invalidated or converted into operation information (alternative information) of an operation that can be recognized by the image forming apparatus 10.

図２は、本発明の実施の形態に係る画像形成装置１０の概略構成を示すブロック図である。画像形成装置１０は、当該画像形成装置１０の動作を統括的に制御するＣＰＵ(Central Processing Unit)１１を有している。ＣＰＵ１１にはバスを通じてＲＯＭ(Read Only Memory)１２と、ＲＡＭ(Random Access Memory)１３と、不揮発メモリ１４と、ハードディスク装置１５と、画像処理部１６と、画像読取部１７と、プリンタ部１８と、ファクシミリ通信部１９と、ネットワーク通信部２０と、操作パネル３０とを備えている。   FIG. 2 is a block diagram showing a schematic configuration of the image forming apparatus 10 according to the embodiment of the present invention. The image forming apparatus 10 includes a CPU (Central Processing Unit) 11 that comprehensively controls the operation of the image forming apparatus 10. The CPU 11 has a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a nonvolatile memory 14, a hard disk device 15, an image processing unit 16, an image reading unit 17, a printer unit 18, A facsimile communication unit 19, a network communication unit 20, and an operation panel 30 are provided.

ＣＰＵ１１は、ＯＳ（Operating System）プログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。また、ＣＰＵ１１は、操作パネル３０の表示内容を制御する制御部としての機能を果たす。   The CPU 11 is based on an OS (Operating System) program, and executes middleware, application programs, and the like. The CPU 11 also functions as a control unit that controls the display content of the operation panel 30.

ＲＯＭ１２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が各種処理を実行することで画像形成装置１０の各機能が実現される。また、ＲＯＭ１２には、画像形成装置１０の一連の制御をＣＰＵ１１が実行するためのプログラムが格納されている。   Various programs are stored in the ROM 12, and each function of the image forming apparatus 10 is realized by the CPU 11 executing various processes according to these programs. The ROM 12 stores a program for the CPU 11 to execute a series of controls of the image forming apparatus 10.

ＲＡＭ１３は、ＣＰＵ１１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。   The RAM 13 is used as a work memory for temporarily storing various data when the CPU 11 executes processing based on a program, an image memory for storing image data, and the like.

不揮発メモリ１４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置１５は、大容量の不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラム、ユーザ情報、印刷データや画像データ、ジョブ履歴などが保存される。   The nonvolatile memory 14 is a memory (flash memory) whose stored contents are not destroyed even when the power is turned off, and is used for storing various setting information. The hard disk device 15 is a large-capacity nonvolatile storage device, and stores an OS program, various application programs, user information, print data, image data, job history, and the like.

画像処理部１６は、画像の拡大縮小、回転などの処理のほか、印刷データをイメージデータに変換するラスタライズ処理、画像データの圧縮、伸張処理などを行う。   The image processing unit 16 performs processing such as image enlargement / reduction, rotation, rasterization processing for converting print data into image data, image data compression / decompression processing, and the like.

画像読取部１７は、原稿を光学的に読み取って画像データを取得する機能を果たす。画像読取部１７は、例えば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動ユニットと、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学経路と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。   The image reading unit 17 performs a function of optically reading a document and acquiring image data. The image reading unit 17 sequentially, for example, a light source that irradiates light on the document, a line image sensor that receives the reflected light for one line in the width direction, and a line-by-line reading position in the length direction of the document. An optical path composed of a moving unit for moving, a lens, a mirror, and the like for guiding reflected light from the document to the line image sensor to form an image, and a conversion unit for converting an analog image signal output from the line image sensor into digital image data And so on.

プリンタ部１８は、画像データに応じた画像を記録紙上に画像形成する機能を果たす。ここでは、記録紙の搬送装置と、感光体ドラムと、帯電装置と、レーザーユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有し、電子写真プロセスによって画像形成を行う、所謂、レーザープリンタとして構成されている。画像形成は他の方式でもかまわない。   The printer unit 18 has a function of forming an image corresponding to image data on a recording sheet. Here, it has a recording paper transport device, a photosensitive drum, a charging device, a laser unit, a developing device, a transfer separation device, a cleaning device, and a fixing device, and forms an image by an electrophotographic process. It is configured as a so-called laser printer. Other methods may be used for image formation.

ファクシミリ通信部１９は、ファクシミリ機能を備えた外部装置と公衆回線を通じて画像データを送受信する機能を果たす。   The facsimile communication unit 19 performs a function of transmitting / receiving image data to / from an external device having a facsimile function through a public line.

ネットワーク通信部２０は、ＬＡＮなどのネットワークを通じて携帯端末４０や、その他の外部装置との間でデータを通信する機能を果たす。ネットワーク通信部２０は、連携パネルモード時には、操作パネル３０に表示されている画面と連携する画面の表示データを携帯端末４０に送信する。   The network communication unit 20 fulfills a function of communicating data with the mobile terminal 40 and other external devices through a network such as a LAN. In the cooperation panel mode, the network communication unit 20 transmits display data of a screen that cooperates with the screen displayed on the operation panel 30 to the mobile terminal 40.

操作パネル３０は、表示部３１と、操作部３２とを備えている。このうち操作部３２は、スタートボタンなどのスイッチ部３３とタッチパネル部３４とを備えている。表示部３１は、液晶ディスプレイ（ＬＣＤ…Liquid Crystal Display）などで構成され、各種の操作画面、設定画面などを表示する機能を果たす。本実施の形態では、操作パネル３０が表示する表示内容の制御、操作パネル３０による操作の受け付けに関する制御はＣＰＵ１１が行う。   The operation panel 30 includes a display unit 31 and an operation unit 32. Among these, the operation unit 32 includes a switch unit 33 such as a start button and a touch panel unit 34. The display unit 31 is composed of a liquid crystal display (LCD) and the like, and has a function of displaying various operation screens, setting screens, and the like. In the present embodiment, the CPU 11 performs control of display contents displayed on the operation panel 30 and control related to reception of operations by the operation panel 30.

タッチパネル部３４は、表示部３１上に設けられている。タッチパネル部３４は、タッチペンや指などで押下された表示部３１上のタッチ位置（座標位置）を検出する。ＣＰＵ１１は、継続的に検出されるタッチ位置の変化（操作情報）から、フリック操作やドラッグ操作などを認識する。ただし、本発明の実施の形態では、マルチタッチ操作（ピンチイン操作、ピンチアウト操作）は認識不可能とする。   The touch panel unit 34 is provided on the display unit 31. The touch panel unit 34 detects a touch position (coordinate position) on the display unit 31 pressed with a touch pen or a finger. The CPU 11 recognizes a flick operation, a drag operation, and the like from the continuously detected touch position change (operation information). However, in the embodiment of the present invention, multi-touch operations (pinch-in operation, pinch-out operation) cannot be recognized.

本実施の形態では、ＣＰＵ１１は、連携パネルモードで動作中は、携帯端末４０の操作表示部５０（図３参照）に表示させる画面を決定し、その決定した画面の表示データを、ネットワーク通信部２０を使用して携帯端末４０に送信する。また、ＣＰＵ１１は、連携パネルモードで動作中に、携帯端末４０の操作表示部５０が受け付けた操作の操作情報を携帯端末４０から受信した場合、もしくは、操作パネル３０が受け付けた操作の操作情報を取得した場合、その操作情報を解析、認識し、画像形成装置１０に反映させる。   In the present embodiment, the CPU 11 determines a screen to be displayed on the operation display unit 50 (see FIG. 3) of the mobile terminal 40 during operation in the cooperation panel mode, and displays the determined screen display data as a network communication unit. 20 is transmitted to the portable terminal 40. Further, the CPU 11 receives the operation information of the operation received by the operation display unit 50 of the mobile terminal 40 from the mobile terminal 40 during the operation in the cooperation panel mode, or the operation information of the operation received by the operation panel 30. If acquired, the operation information is analyzed and recognized and reflected in the image forming apparatus 10.

図３は、携帯端末４０の概略構成を示すブロック図である。携帯端末４０は、当該携帯端末４０の動作を統括的に制御するＣＰＵ４１を有している。ＣＰＵ４１にはバスを通じてＲＯＭ４２と、ＲＡＭ４３と、不揮発メモリ４４と、ハードディスク装置４５と、ネットワーク通信部４６と、操作表示部５０とを備えている。   FIG. 3 is a block diagram illustrating a schematic configuration of the mobile terminal 40. The mobile terminal 40 has a CPU 41 that controls the operation of the mobile terminal 40 in an integrated manner. The CPU 41 includes a ROM 42, a RAM 43, a nonvolatile memory 44, a hard disk device 45, a network communication unit 46, and an operation display unit 50 through a bus.

ＣＰＵ４１は、ＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどを実行する。また、ＣＰＵ４１は、操作表示部５０の表示内容を制御する制御部としての機能を果たす。   The CPU 41 is based on the OS program, and executes middleware, application programs, and the like. In addition, the CPU 41 functions as a control unit that controls the display content of the operation display unit 50.

ＲＯＭ４２には、各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ４１が各種処理を実行することで携帯端末４０の各機能が実現される。また、ＲＯＭ４２には、携帯端末４０の一連の制御をＣＰＵ４１が実行するためのプログラムが格納されている。   Various programs are stored in the ROM 42, and each function of the portable terminal 40 is realized by the CPU 41 executing various processes according to these programs. The ROM 42 stores a program for the CPU 41 to execute a series of controls of the portable terminal 40.

ＲＡＭ４３は、ＣＰＵ４１がプログラムに基づいて処理を実行する際に各種のデータを一時的に格納するワークメモリなどとして使用される。   The RAM 43 is used as a work memory for temporarily storing various data when the CPU 41 executes processing based on a program.

不揮発メモリ４４は、電源をオフにしても記憶内容が破壊されないメモリ（フラッシュメモリ）であり、各種設定情報の保存などに使用される。ハードディスク装置４５は、大容量の不揮発の記憶装置であり、ＯＳプログラムや各種アプリケーションプログラムなどが保存される。連携パネルモード時に携帯端末４０を動作させるためのプログラム（これを、操作表示アプリとする）なども記憶される。   The nonvolatile memory 44 is a memory (flash memory) whose stored contents are not destroyed even when the power is turned off, and is used for storing various setting information. The hard disk device 45 is a large-capacity nonvolatile storage device, and stores an OS program, various application programs, and the like. A program for operating the mobile terminal 40 in the cooperation panel mode (this is referred to as an operation display application) is also stored.

ネットワーク通信部４６は、ＬＡＮなどのネットワークを通じて画像形成装置１０やその他の外部装置との間でデータを通信する機能を果たす。ネットワーク通信部４６は、連携パネルモード時には、操作パネル３０に表示されている画面と連携する画面の表示データを画像形成装置１０から受信する。   The network communication unit 46 has a function of communicating data with the image forming apparatus 10 and other external devices through a network such as a LAN. The network communication unit 46 receives, from the image forming apparatus 10, display data of a screen that cooperates with the screen displayed on the operation panel 30 in the cooperation panel mode.

操作表示部５０は、表示部５１と、操作部５２とを備えている。このうち操作部５２は、スタートボタンなどのスイッチ部５３とタッチパネル部５４とを備えている。表示部５１は、液晶ディスプレイなどで構成され、各種の操作画面、設定画面などを表示する機能を果たす。   The operation display unit 50 includes a display unit 51 and an operation unit 52. Among these, the operation unit 52 includes a switch unit 53 such as a start button and a touch panel unit 54. The display unit 51 is configured by a liquid crystal display or the like, and fulfills a function of displaying various operation screens, setting screens, and the like.

タッチパネル部５４は、表示部５１上に設けられている。タッチパネル部５４は、タッチペンや指などで押下された表示部５１上のタッチ位置（座標位置）を検出する。ＣＰＵ４１は、継続的に検出されるタッチ位置の変化から、フリック操作やドラッグ操作、マルチタッチ操作などを認識する。   The touch panel unit 54 is provided on the display unit 51. The touch panel unit 54 detects a touch position (coordinate position) on the display unit 51 pressed with a touch pen or a finger. The CPU 41 recognizes a flick operation, a drag operation, a multi-touch operation, and the like from a continuously detected change in touch position.

本実施の形態では、ＣＰＵ４１は、連携パネルモード時に、ネットワーク通信部４６が画像形成装置１０から受信した表示データに基づいて操作表示部５０に各種の画面を表示させる。また、ＣＰＵ４１は操作表示部５０が受け付けた操作の内容を示す操作情報を、ネットワーク通信部４６を使用して画像形成装置１０に送信する。   In the present embodiment, the CPU 41 causes the operation display unit 50 to display various screens based on display data received from the image forming apparatus 10 by the network communication unit 46 in the cooperation panel mode. Further, the CPU 41 transmits operation information indicating the content of the operation received by the operation display unit 50 to the image forming apparatus 10 using the network communication unit 46.

また、本実施の形態では、操作パネル３０が受け付け可能（ＣＰＵ１１が認識可能）な操作は、セレクト操作、ダブルタップ操作、ドラッグ操作、フリック操作の４種類の操作であり、操作表示部５０が受け付け可能な操作は、前述の４種類の操作に、ピンチイン操作、ピンチアウト操作を加えた６種類の操作であるものとする。   In the present embodiment, the operations that can be accepted by the operation panel 30 (recognizable by the CPU 11) are four types of operations including a select operation, a double tap operation, a drag operation, and a flick operation, and are accepted by the operation display unit 50. It is assumed that the possible operations are six types of operations in which a pinch-in operation and a pinch-out operation are added to the above-described four types of operations.

セレクト操作は、タッチパネル部（３４、５４）上の所定の座標を押下し、ほとんど位置を動かさないで指を離す操作である。ダブルタップ操作は、タッチパネル部（３４、５４）上の所定の座標に対して、短時間の間に２度タッチする操作であり、マウスにおけるダブルクリックに相当する。   The select operation is an operation of pressing a predetermined coordinate on the touch panel unit (34, 54) and releasing the finger with almost no movement. The double tap operation is an operation of touching a predetermined coordinate on the touch panel unit (34, 54) twice in a short time, and corresponds to a double click with a mouse.

ドラッグ操作は、タッチパネル部（３４、５４）上の所定の座標を押下し、そのまま上下左右にゆっくり指をずらし、指の移動が停止してからタッチパネル部（３４、５４）から指を離す操作である。   The drag operation is an operation of pressing a predetermined coordinate on the touch panel unit (34, 54), slowly moving the finger up and down, left and right as it is, and releasing the finger from the touch panel unit (34, 54) after the movement of the finger is stopped. is there.

フリック操作はタッチパネル部（３４、５４）上の所定の座標を押下し、そのまま上下左右いずれかの方向に素早く払う操作である。なお、払う動作の最後にタッチパネル部（３４、５４）から指が離れる。   The flick operation is an operation of pressing a predetermined coordinate on the touch panel unit (34, 54) and quickly paying it in any direction up, down, left, or right. At the end of the paying operation, the finger is released from the touch panel unit (34, 54).

ピンチイン操作は、タッチパネル部（３４、５４）上の所定の２つの座標を押下し、そのまま２つの指をずらしながら近づけ、指の移動が停止してからタッチパネル部（３４、５４）から指を離す操作である。ピンチアウト操作は、タッチパネル部（３４、５４）上の所定の２つの座標を押下し、そのまま２つの指をずらしながら遠ざけ、指の移動が停止してからタッチパネル部（３４、５４）から指を離す操作である。なお、ピンチイン操作とピンチアウト操作を総称してマルチタッチ操作と呼ぶ。   In the pinch-in operation, two predetermined coordinates on the touch panel unit (34, 54) are pressed, the two fingers are moved closer together while being moved, and the finger is released from the touch panel unit (34, 54) after the movement of the finger is stopped. It is an operation. In the pinch-out operation, two predetermined coordinates on the touch panel unit (34, 54) are pressed, and the two fingers are moved away from each other as they are. After the finger stops moving, the finger is moved from the touch panel unit (34, 54). This is a release operation. Note that the pinch-in operation and the pinch-out operation are collectively referred to as a multi-touch operation.

画像形成装置１０と携帯端末４０が通信を確立すると、通信を確立した両方の装置は自動的に連携パネルモード状態になる。まず、通信を確立する際の流れについて説明する。   When the image forming apparatus 10 and the portable terminal 40 establish communication, both apparatuses that have established communication automatically enter the linked panel mode state. First, a flow when establishing communication will be described.

（１、画像形成装置１０側から通信を確立する場合）
画像形成装置１０側から通信を確立する場合、画像形成装置１０は、ユーザから通信確立の開始操作を受けると、携帯端末４０との通信状況をチェックし、通信可能な携帯端末４０と通信を確立する。 (1. When establishing communication from the image forming apparatus 10 side)
When establishing communication from the image forming apparatus 10 side, upon receiving a communication establishment start operation from the user, the image forming apparatus 10 checks the communication status with the mobile terminal 40 and establishes communication with the communicable mobile terminal 40. To do.

（２、携帯端末４０側から通信を確立する場合）
携帯端末４０側から通信を確立する場合、ユーザが携帯端末４０で操作表示アプリを立ち上げると、その操作表示アプリが画像形成装置１０への通信確立要求を出し、これを受信した画像形成装置１０との間で通信が確立される。なお、本発明の実施の形態では、画像形成装置１０が同時に通信を確立することが可能な携帯端末４０の台数は１台のみとする。操作表示アプリが通信要求を出した時点で、既に画像形成装置１０が他の携帯端末４０と通信を確立していた場合、通信が拒否される。 (2. When establishing communication from the mobile terminal 40 side)
When establishing communication from the mobile terminal 40 side, when the user starts up an operation display application on the mobile terminal 40, the operation display application issues a communication establishment request to the image forming apparatus 10 and receives the request. Communication is established with In the embodiment of the present invention, the number of portable terminals 40 to which the image forming apparatus 10 can simultaneously establish communication is only one. If the image forming apparatus 10 has already established communication with another portable terminal 40 when the operation display application issues a communication request, the communication is rejected.

図４は、画像形成装置１０と携帯端末４０が通信を確立し、連携パネルモード状態になった際の様子を示す。通信が確立し、連携パネルモードが開始されると、まず、画像形成装置１０は、ユーザに、操作パネル３０に対して携帯端末４０を設置すべき位置（方向）を通知する。この通知は画像形成装置１０で行っても、携帯端末４０で行ってもよい。図４では、この通知に従い、ユーザが操作パネル３０の右側に携帯端末４０を設置した状態を示す。   FIG. 4 shows a state in which the image forming apparatus 10 and the mobile terminal 40 have established communication and are in the cooperation panel mode state. When communication is established and the cooperation panel mode is started, first, the image forming apparatus 10 notifies the user of the position (direction) where the portable terminal 40 should be installed on the operation panel 30. This notification may be performed by the image forming apparatus 10 or the portable terminal 40. FIG. 4 shows a state in which the user has installed the mobile terminal 40 on the right side of the operation panel 30 in accordance with this notification.

操作パネル３０に表示されている画面（第１画面９０とする）には、複数の項目６０が横一列に並んで表示されており、操作表示部５０には第１画面９０の続きとなる画面（第２画面９１とする）が表示されている。図４では、第１画面９０には５つの項目６０が表示されており、そのうちの一つは第１画面９０の右端で見切れている。第２画面９１には、その項目の、見切れて第１画面９０に表示されない部分と、その他の２つの項目６０が表示されている。   On the screen displayed on the operation panel 30 (referred to as the first screen 90), a plurality of items 60 are displayed side by side, and the operation display unit 50 is a screen that is a continuation of the first screen 90. (Second screen 91) is displayed. In FIG. 4, five items 60 are displayed on the first screen 90, and one of them is cut off at the right end of the first screen 90. On the second screen 91, a portion of the item that has been overlooked and is not displayed on the first screen 90 and the other two items 60 are displayed.

画像形成装置１０は、操作パネル３０か操作表示部５０が、項目６０に対する選択操作（ここではセレクト操作とする）を受け付けた場合、その項目６０に対応する機能を実行する。また、左右方向のフリック操作を受け付けた場合は、第１画面９０と第２画面９１の表示内容を連携（連動）させながら、そのフリック操作の方向に項目６０の列をスクロールさせる。   When the operation panel 30 or the operation display unit 50 receives a selection operation for the item 60 (here, a selection operation), the image forming apparatus 10 executes a function corresponding to the item 60. When a left / right flick operation is received, the column of the item 60 is scrolled in the direction of the flick operation while the display contents of the first screen 90 and the second screen 91 are linked (linked).

第１画面９０と第２画面９１の表示内容を連携しつつ変更する（たとえばスクロール）際には、ＣＰＵ１１が第２画面９１に表示させる変更後の画面を決定し、その画面の表示データを、ネットワーク通信部２０を使用して携帯端末４０に送信する。この表示データを受信した携帯端末４０は、その表示データに基づいて変更後の画面を操作表示部５０に表示する。   When changing the display contents of the first screen 90 and the second screen 91 in cooperation with each other (for example, scrolling), the CPU 11 determines a changed screen to be displayed on the second screen 91 and displays the display data of the screen as The data is transmitted to the mobile terminal 40 using the network communication unit 20. The mobile terminal 40 that has received the display data displays the changed screen on the operation display unit 50 based on the display data.

図５は、図４の状態で、操作表示部５０がマルチタッチ操作（ここではピンチイン操作を行ったものとする）を受け付けた際の様子を示す。ＣＰＵ１１はマルチタッチ操作を認識することが不可能なので、その操作を無効とし、その旨を操作パネル３０に表示している。   FIG. 5 shows a state when the operation display unit 50 receives a multi-touch operation (here, it is assumed that a pinch-in operation is performed) in the state of FIG. Since the CPU 11 cannot recognize the multi-touch operation, the CPU 11 invalidates the operation and displays it on the operation panel 30.

図６、図７は、連携パネルモードが開始されてから、終了するまでの間に、画像形成装置１０が行う処理の流れを示す。ここでは、連携パネルモード中に、画像形成装置１０で受け付け（認識）不可能な操作（特定操作とする）を携帯端末４０が受け付けた場合、画像形成装置１０は、携帯端末４０から受信したその特定操作の操作情報を無効とする。まず、携帯端末４０と通信を確立し、連携パネルモードを開始する（ステップＳ１０１）。   6 and 7 show the flow of processing performed by the image forming apparatus 10 from the start to the end of the cooperation panel mode. Here, when the portable terminal 40 receives an operation (specific operation) that cannot be accepted (recognized) by the image forming apparatus 10 during the cooperation panel mode, the image forming apparatus 10 receives the operation received from the portable terminal 40. Invalidate operation information for a specific operation. First, communication with the portable terminal 40 is established, and a cooperation panel mode is started (step S101).

通信を確立した携帯端末４０に、タッチインターフェース情報の送信要求を送信し、携帯端末４０からタッチインターフェース情報を受信する（ステップＳ１０２）。タッチインターフェース情報とは、その装置が受け付け（認識）可能な全ての操作の種類を示す情報である。たとえば、本発明の実施の形態では、画像形成装置１０のタッチインターフェース情報には、セレクト操作、ダブルタップ操作、ドラッグ操作、フリック操作の４種類の操作の情報が含まれており、携帯端末４０のタッチインターフェース情報には、セレクト操作、ダブルタップ操作、ドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作の６種類の操作の情報が含まれている。   A transmission request for touch interface information is transmitted to the mobile terminal 40 that has established communication, and the touch interface information is received from the mobile terminal 40 (step S102). The touch interface information is information indicating all types of operations that can be accepted (recognized) by the device. For example, in the embodiment of the present invention, the touch interface information of the image forming apparatus 10 includes information on four types of operations including a select operation, a double tap operation, a drag operation, and a flick operation. The touch interface information includes information on six types of operations including a select operation, a double tap operation, a drag operation, a flick operation, a pinch-in operation, and a pinch-out operation.

次に、画像形成装置１０は、ステップＳ１０２で取得した携帯端末４０のタッチインターフェース情報と、自装置のタッチインターフェース情報を比較する（ステップＳ１０３）。両者のタッチインターフェース情報に差異が無ければ（ステップＳ１０３；Ｎｏ）、ステップＳ１０６に進む。   Next, the image forming apparatus 10 compares the touch interface information of the portable terminal 40 acquired in step S102 with the touch interface information of the own apparatus (step S103). If there is no difference between the two touch interface information (step S103; No), the process proceeds to step S106.

差異がある場合は（ステップＳ１０３；Ｙｅｓ）、両者のタッチインターフェース情報を基に操作無効リスト８０（図８参照）を作成する（ステップＳ１０４）。   If there is a difference (step S103; Yes), the operation invalidation list 80 (see FIG. 8) is created based on the touch interface information of both (step S104).

図８には、ステップＳ１０４で作成された操作無効リスト８０の一例を示す。操作無効リスト８０には、画像形成装置１０と携帯端末４０で受け付け（認識）可能な全ての操作の種類と、その種類ごとに、画像形成装置１０で受け付け可能か否か、携帯端末４０で受け付け可能か否か、両方の装置で受け付け可能か否かが登録される。たとえば、図８の操作無効リスト８０ではダブルタップ操作は画像形成装置１０、携帯端末４０の両方の装置で受け付け可能である。しかし、ピンチアウト操作は携帯端末４０では受け付け可能であるが画像形装置１０では受け付け不可能である。   FIG. 8 shows an example of the operation invalidation list 80 created in step S104. In the operation invalidation list 80, all types of operations that can be accepted (recognized) by the image forming apparatus 10 and the portable terminal 40, and whether or not each type of operation can be accepted by the image forming apparatus 10 are accepted by the portable terminal 40. It is registered whether or not it can be accepted and whether or not it can be accepted by both devices. For example, in the operation invalidity list 80 of FIG. 8, a double tap operation can be accepted by both the image forming apparatus 10 and the portable terminal 40. However, the pinch out operation can be accepted by the portable terminal 40 but not by the image forming apparatus 10.

なお、図８の操作無効リスト８０には画像形成装置１０と携帯端末４０で受け付け（認識）可能な全ての操作の種類を登録したが、全ての操作の種類を登録しなくても、画像形成装置１０が受け付け（認識）不可能な操作の種類のみ登録しておけば足りる。操作無効リスト８０上において、画像形成装置１０が受け付け（認識）不可能な操作は、連携パネルモード中の携帯端末４０が受け付けた場合に無効となる操作（特定操作）となる。   Although all types of operations that can be accepted (recognized) by the image forming apparatus 10 and the portable terminal 40 are registered in the operation invalidity list 80 in FIG. 8, image formation can be performed without registering all types of operations. It is sufficient to register only the types of operations that the apparatus 10 cannot accept (recognize). On the operation invalidation list 80, an operation that cannot be accepted (recognized) by the image forming apparatus 10 is an operation (specific operation) that becomes invalid when the portable terminal 40 in the cooperation panel mode accepts it.

図６に戻って説明を続ける。画像形成装置１０は、操作無効リスト８０を参照して、連携パネルモード中に携帯端末４０が受け付けたら無効となる操作（特定操作）の種類を通知して（ステップＳ１０５）、図７のステップＳ１０６へ移行する。この通知は、操作パネル３０に表示させてもよいし、操作表示部５０に表示させてもよい。操作表示部５０に表示させる場合は、画像形成装置１０がこの通知を含む画面の表示データを携帯端末４０に送信し、この表示データを受信した携帯端末４０が、この表示データに基づいて操作表示部５０に、当該通知を含む画面を表示する。   Returning to FIG. 6, the description will be continued. The image forming apparatus 10 refers to the operation invalidation list 80 and notifies the type of operation (specific operation) that is invalidated when the portable terminal 40 receives it during the cooperation panel mode (step S105), and step S106 in FIG. Migrate to This notification may be displayed on the operation panel 30 or may be displayed on the operation display unit 50. When displaying on the operation display unit 50, the image forming apparatus 10 transmits screen display data including this notification to the portable terminal 40, and the portable terminal 40 that has received this display data performs an operation display based on the display data. The unit 50 displays a screen including the notification.

ステップＳ１０６では、画像形成装置１０は、操作情報の受け付けを監視する。操作情報を取得するまでは（ステップＳ１０７；Ｎｏ）ステップＳ１０６に戻って処理を継続する。操作情報を取得したら（ステップＳ１０７；Ｙｅｓ）、その操作情報が、操作パネル３０から取得した操作情報であるか、携帯端末４０から受信した操作情報であるか、つまり、その操作情報の基となる操作が操作パネル３０にて行われた操作であるか、携帯端末４０にて行われた操作であるかを調べる（ステップＳ１０８）。   In step S106, the image forming apparatus 10 monitors reception of operation information. Until the operation information is acquired (step S107; No), the process returns to step S106 and continues. When the operation information is acquired (step S107; Yes), whether the operation information is the operation information acquired from the operation panel 30 or the operation information received from the portable terminal 40, that is, the basis of the operation information. It is checked whether the operation is an operation performed on the operation panel 30 or an operation performed on the portable terminal 40 (step S108).

携帯端末４０から受信した操作情報であれば（ステップＳ１０８；Ｙｅｓ）、その操作情報の示す操作が、特定操作であるか否かを調べる（ステップＳ１０９）。その操作情報の示す操作が、ステップＳ１０４で作成した操作無効リスト８０上において、画像形成装置１０が受け付け不可能な操作に該当する場合は、その操作は特定操作であると判断する。   If it is the operation information received from the portable terminal 40 (step S108; Yes), it will be investigated whether operation indicated by the operation information is a specific operation (step S109). If the operation indicated by the operation information corresponds to an operation that cannot be accepted by the image forming apparatus 10 on the operation invalid list 80 created in step S104, it is determined that the operation is a specific operation.

操作情報の示す操作が特定操作であれば（ステップＳ１０９；Ｙｅｓ）、その操作情報を無効とし（ステップＳ１１０）、ステップＳ１１２に進む。この時、その特定操作が無効である旨を操作パネル３０か、操作表示部５０の少なくともいずれか一方にて通知してもよい。   If the operation indicated by the operation information is a specific operation (step S109; Yes), the operation information is invalidated (step S110), and the process proceeds to step S112. At this time, the fact that the specific operation is invalid may be notified by at least one of the operation panel 30 and the operation display unit 50.

操作情報の示す操作が特定操作でなければ（ステップＳ１０９；Ｎｏ）、その操作情報を有効な操作情報として、その操作情報に応じて操作パネル３０と携帯端末４０に表示されている画面の表示内容を変更し（ステップＳ１１１）、ステップＳ１１２に進む。   If the operation indicated by the operation information is not a specific operation (step S109; No), the display content of the screen displayed on the operation panel 30 and the portable terminal 40 according to the operation information is set as valid operation information. Is changed (step S111), and the process proceeds to step S112.

その操作情報が、操作パネル３０から取得した操作情報であれば、（ステップＳ１０８；Ｎｏ）、その操作情報を有効として、その操作情報に応じて操作パネル３０と携帯端末４０に表示されている画面の表示内容を変更し（ステップＳ１１１）、ステップＳ１１２に進む。   If the operation information is operation information acquired from the operation panel 30 (step S108; No), the operation information is validated, and the screen displayed on the operation panel 30 and the portable terminal 40 according to the operation information Is changed (step S111), and the process proceeds to step S112.

連携パネルモードが終了するまでは（ステップＳ１１２；Ｎｏ）、ステップＳ１０６に戻って処理を継続する。連携パネルモードが終了したら（ステップＳ１１２；Ｙｅｓ）、処理を終了する。   Until the cooperation panel mode ends (step S112; No), the process returns to step S106 and continues. When the cooperation panel mode ends (step S112; Yes), the process ends.

ここまで説明した図６、図７の処理の流れを態様例１とする。態様例１では、画像形成装置１０が、連携パネルモード中の携帯端末４０から特定操作の操作情報を受信しても、その操作情報を無効とすることで、操作情報の誤認識を防止することができる。   The processing flow of FIG. 6 and FIG. In the aspect example 1, even when the image forming apparatus 10 receives the operation information of the specific operation from the portable terminal 40 in the cooperation panel mode, the operation information is invalidated to prevent erroneous recognition of the operation information. Can do.

態様例１では、連携パネルモード中に携帯端末４０が受け付けた操作が、無効となる操作（特定操作）か否かを画像形成装置１０（ＣＰＵ１１）が判断する場合について説明した。以後、この判断を携帯端末４０（ＣＰＵ４１）で行う場合について、複数の態様例を挙げて説明する。   In the aspect example 1, the case where the image forming apparatus 10 (the CPU 11) determines whether the operation received by the portable terminal 40 during the cooperation panel mode is an invalid operation (specific operation) has been described. Hereinafter, the case where this determination is performed by the mobile terminal 40 (CPU 41) will be described with reference to a plurality of example embodiments.

＜態様例２＞
（携帯端末４０で操作が無効であるか否かを判断する。）
態様例２では、連携パネルモード中に携帯端末４０が受け付けた操作が、無効となる操作（特定操作）か否かを携帯端末４０側で判断し、無効となる操作（特定操作）であると判断した場合、その特定操作を携帯端末４０側で無効とする。 <Example 2>
(It is determined whether or not the operation is invalid on the portable terminal 40.)
In aspect example 2, it is determined on the mobile terminal 40 side whether the operation received by the mobile terminal 40 during the cooperation panel mode is an invalid operation (specific operation), and is an invalid operation (specific operation). If it is determined, the specific operation is invalidated on the portable terminal 40 side.

図９、図１０は、態様例２において、連携パネルモードが開始されてから、終了するまでの間に携帯端末４０で行われる処理の流れを示す。図９は操作無効リスト８０を作成するまでの流れについて示す。図１０は受け付けた操作が無効となる操作であるか否かを判断する流れについて示す。   9 and 10 show a flow of processing performed in the portable terminal 40 between the start of the cooperation panel mode and the end in the aspect example 2. FIG. 9 shows a flow until the operation invalidity list 80 is created. FIG. 10 shows a flow for determining whether or not the accepted operation is an invalid operation.

まず、画像形成装置１０と通信を確立し、連携パネルモードを開始する（ステップＳ２０１）。   First, communication with the image forming apparatus 10 is established, and a cooperation panel mode is started (step S201).

通信を確立した画像形成装置１０に、タッチインターフェース情報の送信要求を送信し、画像形成装置１０からタッチインターフェース情報を受信する（ステップＳ２０２）。次に、ステップＳ２０２で取得した画像形成装置１０のタッチインターフェース情報と、携帯端末４０のタッチインターフェース情報を比較する（ステップＳ２０３）。両者のタッチインターフェース情報に差異が無ければ（ステップＳ２０３；Ｎｏ）、ステップＳ２０６に進む。   A transmission request for touch interface information is transmitted to the image forming apparatus 10 that has established communication, and the touch interface information is received from the image forming apparatus 10 (step S202). Next, the touch interface information of the image forming apparatus 10 acquired in step S202 is compared with the touch interface information of the portable terminal 40 (step S203). If there is no difference between the two touch interface information (step S203; No), the process proceeds to step S206.

差異がある場合は（ステップＳ２０３；Ｙｅｓ）、両者のタッチインターフェース情報を基に操作無効リスト８０（図８参照）を作成する（ステップＳ２０４）。操作無効リスト８０を参照して、連携パネルモード中に携帯端末４０が受けつけたら無効となる操作（特定操作）の種類を通知する（ステップＳ２０５）。この通知は、操作パネル３０に表示させてもよいし、携帯端末４０の操作表示部５０に表示させてもよい。操作パネル３０に表示させる場合は、携帯端末４０が、特定操作となる操作の種類の情報を画像形成装置１０に送信し、この情報を受信した画像形成装置１０が、操作パネル３０に表示する。   If there is a difference (step S203; Yes), the operation invalidation list 80 (see FIG. 8) is created based on the touch interface information of both (step S204). Referring to the operation invalidation list 80, the type of operation (specific operation) that is invalidated when the portable terminal 40 accepts it during the cooperation panel mode is notified (step S205). This notification may be displayed on the operation panel 30 or may be displayed on the operation display unit 50 of the mobile terminal 40. When displaying on the operation panel 30, the portable terminal 40 transmits information on the type of operation to be a specific operation to the image forming apparatus 10, and the image forming apparatus 10 that has received this information displays it on the operation panel 30.

ここまでが図９に示す処理である。以後、図１０に示す処理の流れについて説明する。   The processing so far is the processing shown in FIG. Hereinafter, the flow of processing illustrated in FIG. 10 will be described.

携帯端末４０は、連携パネルモードで操作表示部５０での操作の受け付けを監視する（ステップＳ２０６）。操作表示部５０が操作を受け付け、それにより操作情報を取得するまでは（ステップＳ２０７；Ｎｏ）ステップＳ２０６に戻って処理を継続する。操作情報を取得したら（ステップＳ２０７；Ｙｅｓ）、その操作情報の示す操作が、特定操作か否かを調べる（ステップＳ２０８）。その操作情報の示す操作が、ステップＳ２０４で作成した操作無効リスト８０上において画像形成装置１０が受け付け不可能な操作に該当する場合は、その操作は特定操作であると判断する。   The portable terminal 40 monitors the reception of the operation on the operation display unit 50 in the cooperation panel mode (step S206). Until the operation display unit 50 accepts the operation and acquires the operation information (Step S207; No), the process returns to Step S206 and the processing is continued. When the operation information is acquired (step S207; Yes), it is checked whether or not the operation indicated by the operation information is a specific operation (step S208). If the operation indicated by the operation information corresponds to an operation that cannot be accepted by the image forming apparatus 10 on the operation invalid list 80 created in step S204, it is determined that the operation is a specific operation.

操作情報の示す操作が特定操作であれば（ステップＳ２０８；Ｙｅｓ）、その操作情報を画像形成装置１０に送信せず（ステップＳ２０９）、その操作情報に係る操作を無効な操作とし（ステップＳ２１０）、ステップＳ２１３に進む。この時、その操作が無効である旨を操作パネル３０か、操作表示部５０の少なくともいずれか一方にて通知してもよい。   If the operation indicated by the operation information is a specific operation (step S208; Yes), the operation information is not transmitted to the image forming apparatus 10 (step S209), and the operation related to the operation information is regarded as an invalid operation (step S210). The process proceeds to step S213. At this time, the operation panel 30 or at least one of the operation display unit 50 may notify that the operation is invalid.

操作情報の示す操作が特定操作でなければ（ステップＳ２０８；Ｎｏ）、その操作の操作情報を画像形成装置１０に送信する（ステップＳ２１１）。その操作に合わせて表示内容を変更した後の画面の表示データを画像形成装置１０から取得し、その表示データに基づいて新たな画面（表示内容変更後の画面）を操作表示部５０に表示する（ステップＳ２１２）。その後、ステップＳ２１３に進む。   If the operation indicated by the operation information is not a specific operation (step S208; No), the operation information of the operation is transmitted to the image forming apparatus 10 (step S211). The display data of the screen after changing the display content in accordance with the operation is acquired from the image forming apparatus 10, and a new screen (screen after changing the display content) is displayed on the operation display unit 50 based on the display data. (Step S212). Thereafter, the process proceeds to step S213.

連携パネルモードが終了するまでは（ステップＳ２１３；Ｎｏ）、ステップＳ２０６に戻って処理を継続する。連携パネルモードが終了したら（ステップＳ２１３；Ｙｅｓ）、処理を終了する。   Until the cooperation panel mode ends (step S213; No), the process returns to step S206 to continue the processing. When the cooperation panel mode ends (step S213; Yes), the process ends.

態様例２では、携帯端末４０側で、連携パネルモード中の携帯端末４０が受け付けた操作が無効となる操作（特定操作）か否かを判断し、無効となる操作（特定操作）であると判断した場合は、その特定操作の操作情報を画像形成装置１０に送信しないことでその特定操作を無効にする。これにより画像形成装置１０は、連携パネルモード中の携帯端末４０から認識不可能な操作情報を受信せず、よって操作情報の誤認識を防止することができる。   In the aspect example 2, it is determined whether the operation received by the mobile terminal 40 in the cooperation panel mode is an invalid operation (specific operation) on the mobile terminal 40 side, and is an invalid operation (specific operation). If it is determined, the specific operation is invalidated by not transmitting the operation information of the specific operation to the image forming apparatus 10. Thereby, the image forming apparatus 10 does not receive unrecognizable operation information from the portable terminal 40 in the cooperation panel mode, and thus can prevent erroneous recognition of the operation information.

＜態様例３＞
（特定操作の操作情報に代わる代替情報を画像形成装置１０に送信する。）
態様例３では、連携パネルモード中の携帯端末４０が、受け付けた操作を無効な操作（特定操作）であると判断した場合に、その特定操作の操作情報に代えて代替情報（画像形成装置１０で認識可能な操作情報）を画像形成装置１０に送信する。 <Example 3>
(Substitute information in place of the operation information of the specific operation is transmitted to the image forming apparatus 10.)
In the aspect example 3, when the portable terminal 40 in the cooperation panel mode determines that the received operation is an invalid operation (specific operation), the replacement information (the image forming apparatus 10) is used instead of the operation information of the specific operation. The operation information that can be recognized in step S1 is transmitted to the image forming apparatus 10.

態様例３において、連携パネルモードが開始されてから、終了するまでの間に携帯端末４０で行われる処理の流れを説明する。まずは、態様例２におけるステップＳ２０１〜ステップＳ２０５と同様の処理を行う（図９参照）。図１１は態様例３におけるその続きの処理を示す。なお、態様例３では、ステップＳ２０３において差異が無い場合は（ステップＳ２０３；Ｎｏ）、ステップＳ２０６ではなく、ステップＳ３０６に進む。   In the aspect example 3, the flow of processing performed in the portable terminal 40 from the start of the cooperation panel mode to the end thereof will be described. First, the same processing as Step S201 to Step S205 in the aspect example 2 is performed (see FIG. 9). FIG. 11 shows the subsequent processing in the mode example 3. In the aspect example 3, when there is no difference in step S203 (step S203; No), the process proceeds to step S306 instead of step S206.

まず、操作表示部５０での操作の受け付けを監視する（ステップＳ３０６）。操作表示部５０が操作を受け付け、それにより操作情報を取得するまでは（ステップＳ３０７；Ｎｏ）ステップＳ３０６に戻って処理を継続する。操作情報を取得したら（ステップＳ３０７；Ｙｅｓ）、その操作情報の示す操作が特定操作であるか否かを調べる（ステップＳ３０８）。その操作情報の示す操作が、ステップＳ２０４で作成した操作無効リスト８０上において画像形成装置１０が受け付け不可能な操作に該当する場合は、その操作は特定操作であると判断する。   First, reception of an operation on the operation display unit 50 is monitored (step S306). Until the operation display unit 50 receives the operation and acquires the operation information (Step S307; No), the process returns to Step S306 and the process is continued. When the operation information is acquired (step S307; Yes), it is checked whether or not the operation indicated by the operation information is a specific operation (step S308). If the operation indicated by the operation information corresponds to an operation that cannot be accepted by the image forming apparatus 10 on the operation invalid list 80 created in step S204, it is determined that the operation is a specific operation.

操作情報の示す操作が特定操作であれば（ステップＳ３０８；Ｙｅｓ）、その操作の操作情報のタッチ操作変換処理を行う（ステップＳ３０９）。タッチ操作変換処理では、ステップＳ３０７で取得した操作情報を、画像形成装置１０で認識可能な操作情報（代替情報）に変換している。たとえば、取得した操作情報がピンチアウト操作やピンチイン操作の操作情報である場合は、その操作（ピンチアウト操作やピンチイン操作）において押下された２つの地点のうちの一方に対するセレクト操作の操作情報に変換したりする。   If the operation indicated by the operation information is a specific operation (step S308; Yes), touch operation conversion processing is performed on the operation information of the operation (step S309). In the touch operation conversion process, the operation information acquired in step S307 is converted into operation information (substitute information) that can be recognized by the image forming apparatus 10. For example, if the acquired operation information is operation information of a pinch-out operation or pinch-in operation, the operation information is converted into operation information of a select operation for one of two points pressed in the operation (pinch-out operation or pinch-in operation) To do.

変換後の代替情報は、ステップＳ２０２で取得した画像形成装置１０のタッチインターフェース情報を基に決定する。具体的には、ステップＳ２０４で操作無効リストを作成する際に、変換テーブルを作成しておき、変換処理の際に使用する。この変換テーブルには、画像形成装置１０が受け付け不可能な操作ごとに、画像形成装置で受け付け可能な操作が割り当てられている。たとえば、ピンチアウト操作にダブルタップ操作を割り当てた場合、連携パネルモード中の携帯端末４０がピンチアウト操作を受け付けたら、そのピンチアウト操作の操作情報を、ダブルタップ操作の操作情報に変換する。その後、変換後の操作情報（代替情報）を画像形成装置１０に送信する（ステップＳ３１０）。   The alternative information after conversion is determined based on the touch interface information of the image forming apparatus 10 acquired in step S202. Specifically, when creating the operation invalidation list in step S204, a conversion table is created and used in the conversion process. For each operation that cannot be accepted by the image forming apparatus 10, an operation that can be accepted by the image forming apparatus is assigned to the conversion table. For example, when the double tap operation is assigned to the pinch-out operation, when the portable terminal 40 in the cooperation panel mode accepts the pinch-out operation, the operation information of the pinch-out operation is converted into the operation information of the double tap operation. Thereafter, the converted operation information (substitution information) is transmitted to the image forming apparatus 10 (step S310).

操作情報の示す操作が特定操作でなければ（ステップＳ３０８；Ｎｏ）、その操作の操作情報を画像形成装置１０に送信する（ステップＳ３１０）。   If the operation indicated by the operation information is not a specific operation (step S308; No), the operation information of the operation is transmitted to the image forming apparatus 10 (step S310).

操作情報を画像形成装置１０に送信後は、その操作に合わせて表示内容を変更した後の画面の表示データを画像形成装置１０から取得し、その表示データに基づいて新たな画面（表示内容を変更した後の画面）を操作表示部５０に表示する（ステップＳ３１１）。その後、ステップＳ３１２に進む。   After the operation information is transmitted to the image forming apparatus 10, the display data of the screen after changing the display contents in accordance with the operation is acquired from the image forming apparatus 10, and a new screen (display contents are displayed based on the display data). The screen after the change is displayed on the operation display unit 50 (step S311). Thereafter, the process proceeds to step S312.

連携パネルモードが終了するまでは（ステップＳ３１２；Ｎｏ）、ステップＳ３０６に戻って処理を継続する。連携パネルモードが終了したら（ステップＳ３１２；Ｙｅｓ）、処理を終了する。   Until the cooperation panel mode ends (step S312; No), the process returns to step S306 and continues. When the cooperation panel mode ends (step S312; Yes), the process ends.

態様例３では、携帯端末４０側で、連携パネルモード中に受け付けた操作が無効となる操作（特定操作）か否かを判断する。無効となる操作（特定操作）であると判断した場合は、その特定操作の操作情報を画像形成装置１０で認識可能な操作情報に変換し、その変換後の操作情報（代替情報）を画像形成装置１０に送信する。これにより、画像形成装置１０は、連携パネルモード中の携帯端末４０から認識できない操作情報を受信せず、よって、操作情報の誤認識を防止することができる。   In the aspect example 3, it is determined on the portable terminal 40 side whether the operation received during the cooperation panel mode is an invalid operation (specific operation). When it is determined that the operation is invalid (specific operation), the operation information of the specific operation is converted into operation information recognizable by the image forming apparatus 10, and the converted operation information (substitution information) is image-formed. Transmit to device 10. As a result, the image forming apparatus 10 does not receive operation information that cannot be recognized from the portable terminal 40 in the cooperation panel mode, and thus can prevent erroneous recognition of the operation information.

＜態様例４＞
態様例４では、連携パネルモード中の携帯端末４０が受け付けた特定操作が、携帯端末４０に表示されている画面の表示内容のみを変更し、操作パネル３０に表示されている画面の表示内容は変更しない第２特定操作であれば、その第２特定操作を無効とせず、当該第２特定操作に応じて、携帯端末４０に表示されている画面の表示内容のみを変更する。 <Example 4>
In the aspect example 4, the specific operation received by the mobile terminal 40 in the cooperation panel mode changes only the display content of the screen displayed on the mobile terminal 40, and the display content of the screen displayed on the operation panel 30 is If the second specific operation is not changed, the second specific operation is not invalidated, and only the display content of the screen displayed on the mobile terminal 40 is changed according to the second specific operation.

例えば、図１２では、図４の状態で、連携パネルモード中の携帯端末４０がピンチアウト操作を受け付けた場合の様子を示す。ここでは、ピンチアウト操作は、指示対象画面の表示内容の拡大指示であるものとする。操作表示部５０に対して行うピンチアウト操作は、操作表示部５０に表示された画面の表示内容を拡大表示する操作であって、操作パネル３０に表示されている画面の表示内容は変更しない操作である。よって、連携パネルモード中の携帯端末４０がピンチアウト操作を受け付けた際には、その操作自体は画像形成装置１０で認識不可能な操作であるが、その操作を無効な操作とせず、操作表示部５０に表示された画面の表示内容のみを、その操作に応じて変更する。   For example, FIG. 12 shows a state where the portable terminal 40 in the cooperation panel mode accepts a pinch-out operation in the state of FIG. Here, it is assumed that the pinch-out operation is an instruction to enlarge the display content of the instruction target screen. The pinch-out operation performed on the operation display unit 50 is an operation for enlarging and displaying the display content of the screen displayed on the operation display unit 50, and an operation that does not change the display content of the screen displayed on the operation panel 30. It is. Therefore, when the portable terminal 40 in the cooperation panel mode accepts a pinch-out operation, the operation itself is an operation that cannot be recognized by the image forming apparatus 10, but the operation is not regarded as an invalid operation, and the operation display Only the display content of the screen displayed on the unit 50 is changed according to the operation.

ピンチアウト操作を受け付けた連携パネルモード中の携帯端末４０は、操作表示部５０に表示している画面の表示内容を拡大して表示する。なお、拡大した表示内容を元のサイズに戻す場合に限り、指示対象画面の表示内容を縮小させるピンチイン操作が可能となる。   The mobile terminal 40 in the cooperation panel mode that has accepted the pinch-out operation enlarges and displays the display content of the screen displayed on the operation display unit 50. Note that a pinch-in operation for reducing the display content of the instruction target screen can be performed only when the enlarged display content is restored to the original size.

態様例４において、連携パネルモードが開始されてから、終了するまでの間に携帯端末４０で行われる処理の流れを説明する。まずは、態様例２におけるステップＳ２０１〜ステップＳ２０５と同様の処理を行う（図９参照）。図１３は態様例４におけるその続きの処理を示す。なお、態様例４では、ステップＳ２０３において差異が無い場合は（ステップＳ２０３；Ｎｏ）、ステップＳ４０６に進む。   In the aspect example 4, the flow of processing performed in the portable terminal 40 from the start of the cooperation panel mode to the end thereof will be described. First, the same processing as Step S201 to Step S205 in the aspect example 2 is performed (see FIG. 9). FIG. 13 shows the subsequent processing in the mode example 4. In the aspect example 4, when there is no difference in step S203 (step S203; No), the process proceeds to step S406.

まず、操作表示部５０での操作の受け付けを監視する（ステップＳ４０６）。操作表示部５０が操作を受け付け、それにより操作情報を取得するまでは（ステップＳ４０７；Ｎｏ）ステップＳ４０６に戻って処理を継続する。操作情報を取得したら（ステップＳ４０７；Ｙｅｓ）、その操作情報の基となる操作が特定操作であるか否かを調べる（ステップＳ４０８）。その操作情報の基となる操作が、ステップＳ２０４で作成した操作無効リスト８０上において画像形成装置１０が受け付け不可能な操作に該当する場合は、その操作は特定操作であると判断する。   First, reception of an operation on the operation display unit 50 is monitored (step S406). Until the operation display unit 50 accepts the operation and acquires the operation information (No at Step S407), the process returns to Step S406 and the process is continued. If operation information is acquired (step S407; Yes), it will be investigated whether operation used as the basis of the operation information is specific operation (step S408). If the operation that is the basis of the operation information corresponds to an operation that cannot be accepted by the image forming apparatus 10 on the operation invalid list 80 created in step S204, it is determined that the operation is a specific operation.

操作情報の示す操作が特定操作であれば（ステップＳ４０８；Ｙｅｓ）、その操作の操作情報を画像形成装置１０に送信しない（ステップＳ４０９）。その特定操作が、携帯端末４０に表示されている画面の表示内容のみを変更する操作（第２特定操作）であれば（ステップＳ４１１；Ｙｅｓ）、ステップＳ４１３に進む。   If the operation indicated by the operation information is a specific operation (step S408; Yes), the operation information of the operation is not transmitted to the image forming apparatus 10 (step S409). If the specific operation is an operation for changing only the display content of the screen displayed on the mobile terminal 40 (second specific operation) (step S411; Yes), the process proceeds to step S413.

携帯端末４０に表示されている画面の表示内容のみを変更する操作（第２特定操作）でなければ（ステップＳ４１１；Ｎｏ）、その特定操作を無効な操作として（ステップＳ４１２）、ステップＳ４１４に進む。この時、その特定操作が無効である旨を操作パネル３０か、操作表示部５０の少なくとも一方にて通知してもよい。   If the operation is not an operation (second specific operation) for changing only the display content of the screen displayed on the mobile terminal 40 (step S411; No), the specific operation is regarded as an invalid operation (step S412), and the process proceeds to step S414. . At this time, at least one of the operation panel 30 and the operation display unit 50 may notify that the specific operation is invalid.

操作情報の示す操作が特定操作でなければ（ステップＳ４０８；Ｎｏ）、その操作情報を画像形成装置１０に送信し（ステップＳ４１０）、ステップＳ４１３に進む。   If the operation indicated by the operation information is not a specific operation (step S408; No), the operation information is transmitted to the image forming apparatus 10 (step S410), and the process proceeds to step S413.

ステップＳ４１３では、その操作に応じて画面を動作させる。その操作が第２特定操作でない操作ならば、その操作に合わせて表示内容を変更した後の画面の表示データを画像形成装置１０から取得し、その取得した表示データに基づいて新たな画面を操作表示部５０に表示する。その操作が第２特定操作ならば、その操作に応じて、ＣＰＵ４１が、操作表示部５０に表示する画面の表示内容を変更する。その後、ステップＳ４１４に進む。   In step S413, the screen is operated according to the operation. If the operation is not the second specific operation, the display data of the screen after changing the display content in accordance with the operation is acquired from the image forming apparatus 10, and a new screen is operated based on the acquired display data. It is displayed on the display unit 50. If the operation is the second specific operation, the CPU 41 changes the display content of the screen displayed on the operation display unit 50 according to the operation. Thereafter, the process proceeds to step S414.

連携パネルモードが終了するまでは（ステップＳ４１４；Ｎｏ）、ステップＳ４０６に戻って処理を継続する。連携パネルモードが終了したら（ステップＳ４１４；Ｙｅｓ）、処理を終了する。   Until the cooperation panel mode ends (step S414; No), the process returns to step S406 and continues. When the cooperation panel mode ends (step S414; Yes), the process ends.

態様例４では、連携パネルモード中の携帯端末４０が受け付けた特定操作が、携帯端末４０に表示されている画面の表示内容のみを変更し、操作パネル３０に表示されている画面の表示内容は変更しない第２特定操作であれば、その操作を無効とせず、当該第２特定操作に応じて、携帯端末４０に表示されている画面の表示内容のみを変更する。これにより、連携パネルモード中の携帯端末４０が第２特定操作を受け付けた場合は、その第２特定操作を無効とせずに、その第２特定操作に応じて携帯端末４０に表示されている画面の表示内容を変更することができる。   In the aspect example 4, the specific operation received by the mobile terminal 40 in the cooperation panel mode changes only the display content of the screen displayed on the mobile terminal 40, and the display content of the screen displayed on the operation panel 30 is If the second specific operation is not changed, the operation is not invalidated, and only the display content of the screen displayed on the mobile terminal 40 is changed according to the second specific operation. Thereby, when the portable terminal 40 in the cooperation panel mode accepts the second specific operation, the screen displayed on the portable terminal 40 according to the second specific operation without invalidating the second specific operation. The display content of can be changed.

＜態様例５＞
（態様例４＋表示データが足りなくなった場合にその不足分を補充する。）
態様例５では、態様例４と同様に、連携パネルモード中の携帯端末４０が受け付けた特定操作が、携帯端末４０に表示されている画面の表示内容のみを変更し、操作パネル３０に表示されている画面の表示内容は変更しない第２特定操作であれば、その操作を無効とせず、当該第２特定操作に応じて、携帯端末４０に表示されている画面の表示内容のみを変更する。さらに、ＣＰＵ４１が第２特定操作に応じた変更後の表示内容を作成する際に、携帯端末４０の保有する表示データだけでは表示データが足りなくなった場合、その不足分の表示データを画像形成装置１０から取得し、この取得した表示データに基づいて、変更後の表示内容を作成し、操作表示部５０に表示する。 <Example 5>
(Embodiment 4 + When the display data is insufficient, the shortage is replenished.)
In the aspect example 5, as in the aspect example 4, the specific operation received by the portable terminal 40 in the cooperation panel mode changes only the display content of the screen displayed on the portable terminal 40 and is displayed on the operation panel 30. If the second specific operation does not change the display content of the current screen, the operation is not invalidated, and only the display content of the screen displayed on the mobile terminal 40 is changed according to the second specific operation. Further, when the CPU 41 creates display content after the change according to the second specific operation, if the display data is insufficient with only the display data held by the mobile terminal 40, the display data corresponding to the shortage is displayed on the image forming apparatus. 10, based on the acquired display data, the display content after change is created and displayed on the operation display unit 50.

例えば、図１４では、図４の状態で、連携パネルモード中の携帯端末４０がピンチイン操作を受け付けた場合の様子を示す。ここでは、ピンチイン操作は、指示対象画面の表示内容の縮小指示であるものとする。操作表示部５０に対して行うピンチイン操作は、操作表示部５０に表示された画面の表示内容を縮小表示する操作であって、操作パネル３０に表示されている画面の表示内容は変更しない操作である。よって、連携パネルモード中の携帯端末４０がピンチイン操作を受け付けた際には、その操作自体は画像形成装置１０で認識不可能な操作であるが、その操作を無効な操作とせず、操作表示部５０に表示された画面の表示内容のみを、その操作に応じて変更する。   For example, FIG. 14 shows a state where the portable terminal 40 in the cooperation panel mode accepts a pinch-in operation in the state of FIG. Here, it is assumed that the pinch-in operation is an instruction to reduce the display content of the instruction target screen. The pinch-in operation performed on the operation display unit 50 is an operation for reducing the display content of the screen displayed on the operation display unit 50, and not changing the display content of the screen displayed on the operation panel 30. is there. Therefore, when the portable terminal 40 in the cooperation panel mode accepts a pinch-in operation, the operation itself is an operation that cannot be recognized by the image forming apparatus 10, but the operation is not regarded as an invalid operation, and the operation display unit Only the display content of the screen displayed at 50 is changed according to the operation.

図１４では、操作表示部５０に表示された画面の表示内容を第２特定操作（図１４ではピンチイン操作）に応じて縮小（変更）する。その際に、縮小後（変更後）の表示内容を作成する為に必要な表示データ（操作表示部５０の表示部５１全体に画面を表示する為に必要な表示データ）が不足する。そこで、その不足している分の表示データを画像形成装置１０から取得して、その取得した表示データから縮小後の表示内容を作成し、表示部５１全体にその表示内容の画面を表示する。   In FIG. 14, the display content of the screen displayed on the operation display unit 50 is reduced (changed) in accordance with the second specific operation (pinch-in operation in FIG. 14). At this time, there is a shortage of display data (display data necessary for displaying a screen on the entire display unit 51 of the operation display unit 50) necessary for creating display contents after reduction (after change). Therefore, the display data for the shortage is acquired from the image forming apparatus 10, the reduced display content is created from the acquired display data, and the display content screen is displayed on the entire display unit 51.

不足している表示データを取得する際には、携帯端末４０は、表示内容を縮小する直前に表示していた画面の座標情報と、縮小する際に不足するエリアを示す情報とともに、その不足する表示データの送信要求を画像形成装置１０に送信する。要求した表示データを画像形成装置１０から受信した携帯端末４０は、その表示データに基づき、縮小後の表示内容を作成し、表示部５１に画面を表示させる。   When acquiring the display data that is lacking, the portable terminal 40 lacks the coordinate information of the screen that was displayed immediately before the display content is reduced and the information that indicates the area that is insufficient when the display content is reduced. A display data transmission request is transmitted to the image forming apparatus 10. The mobile terminal 40 that has received the requested display data from the image forming apparatus 10 creates reduced display content based on the display data and causes the display unit 51 to display a screen.

図１４では、連携パネルモード中の携帯端末４０がピンチイン操作を受け付けたら、その表示内容を縮小した画面を表示する。表示内容が縮小された画面では、その表示内容が操作パネル３０に表示されている内容と重複する部分があってもよい。たとえば、図１４では、第１画面９０の右側で、「ＷＥＢ」の項目が見切れているが、ピンチイン操作によって、表示内容を縮小した後の第２画面９１では、その項目の続きではなく、第１画面９０で見切れている部分（重複する部分）も含めて、「ＷＥＢ」の項目の全体像が表示されている。   In FIG. 14, when the portable terminal 40 in the cooperation panel mode accepts a pinch-in operation, a screen with a reduced display content is displayed. In the screen on which the display content is reduced, there may be a portion where the display content overlaps with the content displayed on the operation panel 30. For example, in FIG. 14, the item “WEB” is completely cut off on the right side of the first screen 90, but the second screen 91 after the display content is reduced by a pinch-in operation is not a continuation of the item. The entire image of the item “WEB” is displayed, including a portion (overlapping portion) that is overlooked on one screen 90.

態様例５において、連携パネルモード中に携帯端末４０で行われる処理の流れを説明する。まずは、態様例２におけるステップＳ２０１〜ステップＳ２０５と同様の処理を行う（図９参照）。図１５は態様例５におけるその続きの処理を示す。なお、態様例５では、ステップＳ２０３において差異が無い場合は（ステップＳ２０３；Ｎｏ）、ステップＳ５０６に進む。   In the aspect example 5, the flow of processing performed in the portable terminal 40 during the cooperation panel mode will be described. First, the same processing as Step S201 to Step S205 in the aspect example 2 is performed (see FIG. 9). FIG. 15 shows the subsequent processing in the embodiment 5. In Embodiment 5, if there is no difference in step S203 (step S203; No), the process proceeds to step S506.

まず、操作表示部５０での操作の受け付けを監視する（ステップＳ５０６）。操作表示部５０が操作を受け付け、それにより操作情報を取得するまでは（ステップＳ５０７；Ｎｏ）ステップＳ５０６に戻って処理を継続する。操作情報を取得したら（ステップＳ５０７；Ｙｅｓ）、その操作情報の基となる操作が特定操作であるか否かを調べる（ステップＳ５０８）。その操作情報の基となる操作が、ステップＳ２０４で作成した操作無効リスト８０上において画像形成装置１０が受け付け不可能な操作に該当する場合は、その操作は特定操作であると判断する。   First, reception of an operation on the operation display unit 50 is monitored (step S506). Until the operation display unit 50 receives the operation and thereby acquires the operation information (step S507; No), the process returns to step S506 to continue the processing. If operation information is acquired (step S507; Yes), it will be investigated whether operation used as the basis of the operation information is specific operation (step S508). If the operation that is the basis of the operation information corresponds to an operation that cannot be accepted by the image forming apparatus 10 on the operation invalid list 80 created in step S204, it is determined that the operation is a specific operation.

操作情報の示す操作が特定操作であれば（ステップＳ５０８；Ｙｅｓ）、その操作の操作情報を画像形成装置１０に送信しない（ステップＳ５０９）。その特定操作が、携帯端末４０に表示されている画面の表示内容のみを変更する操作（第２特定操作）でなければ（ステップＳ５１１；Ｎｏ）、その操作を無効な操作として（ステップＳ５１２）、ステップＳ５１７に進む。この時、その操作が無効である旨を操作パネル３０か、操作表示部５０の少なくとも一方にて通知してもよい。   If the operation indicated by the operation information is a specific operation (step S508; Yes), the operation information of the operation is not transmitted to the image forming apparatus 10 (step S509). If the specific operation is not an operation (second specific operation) for changing only the display content of the screen displayed on the mobile terminal 40 (step S511; No), the operation is regarded as an invalid operation (step S512). The process proceeds to step S517. At this time, the operation panel 30 or at least one of the operation display unit 50 may be notified that the operation is invalid.

携帯端末４０に表示されている画面の表示内容のみを変更する操作（第２特定操作）であれば（ステップＳ５１１；Ｙｅｓ）、その第２特定操作に応じて携帯端末４０に表示する画面の表示内容を変更する際に、表示データが不足するか否かを調べる（ステップＳ５１３）。表示データが不足しなければ（ステップＳ５１３；Ｎｏ）ステップＳ５１６に進む。表示データが不足する場合は（ステップＳ５１３；Ｙｅｓ）、現在表示している画面の座標情報と、表示内容の変更に際して不足する表示エリアの情報とともに、その不足する表示データの送信要求を画像形成装置１０に送信する（ステップＳ５１４）。   If the operation is to change only the display content of the screen displayed on the mobile terminal 40 (second specific operation) (step S511; Yes), the display of the screen displayed on the mobile terminal 40 according to the second specific operation When changing the contents, it is checked whether or not the display data is insufficient (step S513). If the display data is not short (step S513; No), the process proceeds to step S516. If the display data is insufficient (step S513; Yes), the image forming apparatus issues a request for transmission of the insufficient display data together with the coordinate information of the currently displayed screen and the information of the display area that is insufficient when changing the display contents. 10 (step S514).

要求した表示データを受信するのを待って（ステップＳ５１５；Ｎｏ）、要求した表示データを画像形成装置１０から受信したら（ステップＳ５１５；Ｙｅｓ）、ステップＳ５１６に進む。   Waiting for the requested display data to be received (step S515; No), and if the requested display data is received from the image forming apparatus 10 (step S515; Yes), the process proceeds to step S516.

ステップＳ５１６では、その操作に応じて画面の表示内容を変更する。その操作が第２特定操作でない操作ならば、その操作に合わせて表示内容を変更した後の画面の表示データを画像形成装置１０から取得し、その取得した表示データに基づいて新たな画面を操作表示部５０に表示する。その操作が第２特定操作ならば、その操作に応じて、ＣＰＵ４１が、操作表示部５０に表示する画面の表示内容を変更する。その後、ステップＳ５１７に進む。   In step S516, the display content of the screen is changed according to the operation. If the operation is not the second specific operation, the display data of the screen after changing the display content in accordance with the operation is acquired from the image forming apparatus 10, and a new screen is operated based on the acquired display data. It is displayed on the display unit 50. If the operation is the second specific operation, the CPU 41 changes the display content of the screen displayed on the operation display unit 50 according to the operation. Thereafter, the process proceeds to step S517.

連携パネルモードが終了するまでは（ステップＳ５１７；Ｎｏ）、ステップＳ５０６に戻って処理を継続する。連携パネルモードが終了したら（ステップＳ５１７；Ｙｅｓ）、処理を終了する。   Until the cooperation panel mode ends (step S517; No), the process returns to step S506 and continues. When the cooperation panel mode ends (step S517; Yes), the process ends.

態様例５では、連携パネルモード中の携帯端末４０が受け付けた特定操作が、携帯端末４０に表示されている画面の表示内容のみを変更し、操作パネル３０に表示されている画面の表示内容は変更しない第２特定操作であれば、その操作を無効とせず、当該第２特定操作に応じて、携帯端末４０に表示されている画面の表示内容のみを変更する。また、表示内容を変更する際に、携帯端末４０の保有する表示データだけでは表示データが足りなくなってしまった場合、その不足分の表示データを画像形成装置１０から取得し、この取得した表示データに基づいて、変更後の表示内容を作成し、操作表示部５０に表示する。これにより、連携パネルモード中の携帯端末４０が第２特定操作に応じて、表示内容を変更する際に、表示データが不足する場合でも、その不足分の表示データを取得し、その変更後の表示内容の画面を表示することができる。   In the aspect example 5, the specific operation received by the mobile terminal 40 in the cooperation panel mode changes only the display content of the screen displayed on the mobile terminal 40, and the display content of the screen displayed on the operation panel 30 is If the second specific operation is not changed, the operation is not invalidated, and only the display content of the screen displayed on the mobile terminal 40 is changed according to the second specific operation. Further, when the display content is changed when the display content is changed when the display content is changed, the display data for the shortage is acquired from the image forming apparatus 10 and the acquired display data is acquired. Based on the above, the display content after the change is created and displayed on the operation display unit 50. Thereby, even when the display data is insufficient when the mobile terminal 40 in the cooperation panel mode changes the display content in response to the second specific operation, the display data for the shortage is acquired, The display content screen can be displayed.

以上、本発明の実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。   The embodiment of the present invention has been described with reference to the drawings. However, the specific configuration is not limited to that shown in the embodiment, and there are changes and additions within the scope of the present invention. Are also included in the present invention.

本発明の実施の形態では画像形成装置１０を操作表示装置の例として説明したが、操作表示装置はこれに限らない。画像形成装置１０から、
ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、不揮発メモリ１４と、ネットワーク通信部２０と操作パネル３０を抜き出して単体の操作表示装置として構成されてもよい。また、本発明は、操作表示装置を実施の形態で示したように動作させるプログラムであってもよい。 Although the image forming apparatus 10 has been described as an example of the operation display device in the embodiment of the present invention, the operation display device is not limited to this. From the image forming apparatus 10
The CPU 11, the ROM 12, the RAM 13, the nonvolatile memory 14, the network communication unit 20, and the operation panel 30 may be extracted and configured as a single operation display device. Further, the present invention may be a program for operating the operation display device as shown in the embodiment.

本発明は、携帯端末を実施の形態で示したように動作させるプログラムであってもよい。   The present invention may be a program for operating a mobile terminal as shown in the embodiment.

本発明の実施の形態の操作表示システム５では、画像形成装置１０が、連携パネルモード中の携帯端末４０に表示させる画面の表示を制御していたが、画像形成装置１０から独立した装置として連携制御装置を設け、この連携制御装置に連携パネルモード中の画像形成装置１０の操作パネル３０と携帯端末４０の操作表示部５０に表示する画面を制御させてもよい。   In the operation display system 5 according to the embodiment of the present invention, the image forming apparatus 10 controls display of a screen displayed on the portable terminal 40 in the cooperation panel mode. However, the image forming apparatus 10 cooperates as an apparatus independent of the image forming apparatus 10. A control device may be provided, and the cooperation control device may control the screen displayed on the operation panel 30 of the image forming apparatus 10 and the operation display unit 50 of the portable terminal 40 in the cooperation panel mode.

本発明の実施の形態の操作表示システム５では、画像形成装置１０、または携帯端末４０にて、連携パネルモード中の携帯端末４０が受け付けた操作が無効となる操作（特定操作）であるか否かを判断し、無効な操作（特定操作）であると判断した場合にその特定操作を無効にした。しかし、両装置から独立した装置として特定操作無効判断装置を設けて、この特定操作無効判断装置に、連携パネルモード中の携帯端末４０が受け付けた操作が特定操作であるか否かの判断と、特定操作であると判断した場合にその特定操作を無効とする処理を行わせてもよい。   In the operation display system 5 according to the embodiment of the present invention, whether or not the operation accepted by the mobile terminal 40 in the cooperation panel mode is invalid (specific operation) in the image forming apparatus 10 or the mobile terminal 40. When it is determined that the operation is invalid (specific operation), the specific operation is invalidated. However, the specific operation invalidity determination device is provided as a device independent from both devices, and the specific operation invalidity determination device is configured to determine whether the operation received by the mobile terminal 40 in the cooperation panel mode is a specific operation; When it is determined that the operation is a specific operation, processing for invalidating the specific operation may be performed.

態様例１〜５は組み合わせてもよい。ただし整合性の取れる範囲内で行う。たとえば、態様例４と態様例５は組み合わせ可能である。   Embodiments 1 to 5 may be combined. However, this should be done within the scope of consistency. For example, the aspect example 4 and the aspect example 5 can be combined.

本発明の実施の形態では、連携パネルモード中に、操作パネル３０に対して携帯端末４０を設置すべき位置（方向）を画像形成装置１０が指示していたが、画像形成装置１０にセンサーを設けて、携帯端末４０を近づけた位置（方向）によって、画面の表示を変えてもよい。実施例では右側に設置したが、左でも上下でもよい。また、予め決められた方向に（たとえば操作パネル３０の右側で固定）配置する構成であってもよい。   In the embodiment of the present invention, the image forming apparatus 10 has instructed the position (direction) where the portable terminal 40 is to be placed on the operation panel 30 during the cooperation panel mode. The screen display may be changed depending on the position (direction) where the portable terminal 40 is provided. In the embodiment, it is installed on the right side, but it may be left or up and down. Moreover, the structure arrange | positioned in a predetermined direction (for example, fixed on the right side of the operation panel 30) may be sufficient.

本発明の実施の形態では、操作パネル３０はマルチタッチ操作の受け付けが不可能であったが、他の操作が受け付け不可能であってもよい。フリック操作やダブルタップ操作が受け付け不可能であってもよい。また、操作パネル３０では受け付け可能であるが、携帯端末４０では受け付け不可能な操作があってもよい。   In the embodiment of the present invention, the operation panel 30 cannot accept a multi-touch operation, but may not accept other operations. A flick operation or a double tap operation may not be accepted. Further, there may be an operation that can be accepted by the operation panel 30 but cannot be accepted by the mobile terminal 40.

本発明の実施の形態では、連携パネルモードの開始時に、操作無効リスト８０を作成し、操作を受ける毎に操作無効リスト８０を参照して、連携パネルモード中の携帯端末４０が受け付けた操作が特定操作であるか否かを判断した。しかし、操作無効リスト８０を作成せずに、連携パネルモード中の携帯端末が操作を受け付ける度に、その操作を、画像形成装装置１０で受け付け可能な全ての操作と比較することによって、その受け付けた操作が特定操作であるか否かを判断してもよい。   In the embodiment of the present invention, the operation invalidation list 80 is created at the start of the cooperation panel mode, and the operation accepted by the mobile terminal 40 in the cooperation panel mode is performed by referring to the operation invalidation list 80 every time an operation is received. It was determined whether the operation was a specific operation. However, every time the portable terminal in the cooperation panel mode receives an operation without creating the operation invalid list 80, the operation is received by comparing the operation with all the operations that can be received by the image forming apparatus 10. It may be determined whether or not the selected operation is a specific operation.

本発明の実施の形態では、画像形成装置１０と連携する携帯端末４０は１台のみであったが、複数台の携帯端末４０と連携してもよい。   In the embodiment of the present invention, only one portable terminal 40 cooperates with the image forming apparatus 10, but may cooperate with a plurality of portable terminals 40.

５…操作表示システム
１０…画像形成装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…画像処理部
１７…画像読取部
１８…プリンタ部
１９…ファクシミリ通信部
２０…ネットワーク通信部
３０…操作パネル
３１…表示部
３２…操作部
３３…スイッチ部
３４…タッチパネル部
４０…携帯端末
４１…ＣＰＵ
４２…ＲＯＭ
４３…ＲＡＭ
４４…不揮発メモリ
４５…ハードディスク装置
４６…ネットワーク通信部
５０…操作表示部
５１…表示部
５２…操作部
５３…スイッチ部
５４…タッチパネル部
６０…項目
８０…操作無効リスト
９０…第１画面
９１…第２画面 5 ... Operation display system 10 ... Image forming apparatus 11 ... CPU
12 ... ROM
13 ... RAM
DESCRIPTION OF SYMBOLS 14 ... Non-volatile memory 15 ... Hard disk device 16 ... Image processing part 17 ... Image reading part 18 ... Printer part 19 ... Facsimile communication part 20 ... Network communication part 30 ... Operation panel 31 ... Display part 32 ... Operation part 33 ... Switch part 34 ... Touch panel unit 40 ... portable terminal 41 ... CPU
42 ... ROM
43 ... RAM
44 ... Non-volatile memory 45 ... Hard disk device 46 ... Network communication part 50 ... Operation display part 51 ... Display part 52 ... Operation part 53 ... Switch part 54 ... Touch panel part 60 ... Item 80 ... Operation invalid list 90 ... First screen 91 ... First 2 screens

Claims (26)

操作部と表示部と通信部とを備えた操作表示装置と、操作部と表示部と通信部とを備えた携帯端末とを有する操作表示システムにおいて、
前記携帯端末で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じて前記携帯端末に表示する画面と前記操作表示装置に表示する画面とが連携するようにこれらの表示内容を制御する連携制御部と、
前記制御中に、前記操作表示装置で受け付け不可能な特定操作を前記携帯端末で受けた場合に、この特定操作を無効にする特定操作無効部と、
を有する
ことを特徴とする操作表示システム。 In an operation display system having an operation display device including an operation unit, a display unit, and a communication unit, and a portable terminal including an operation unit, a display unit, and a communication unit,
When an operation is received on the mobile terminal and an operation is received on the operation display device, the screen displayed on the mobile terminal and the screen displayed on the operation display device are linked in accordance with the operation. A linkage control unit for controlling display contents;
During the control, when a specific operation that cannot be received by the operation display device is received by the mobile terminal, a specific operation invalidation unit that invalidates the specific operation,
An operation display system characterized by comprising: 前記連携制御部による前記制御の開始時を第１判断タイミングとし、
前記特定操作無効部は、前記携帯端末で受け付け可能な操作のうち前記特定操作となる全ての操作を前記第１判断タイミングで抽出して記憶し、前記携帯端末で操作を受け付ける毎にその操作が前記特定操作か否かを前記記憶に基づいて判断する
ことを特徴とする請求項１に記載の操作表示システム。 The start time of the control by the cooperation control unit is a first determination timing,
The specific operation invalidation unit extracts and stores all the operations that become the specific operation among the operations that can be received by the mobile terminal at the first determination timing, and each time the operation is received by the mobile terminal, the operation is performed. The operation display system according to claim 1, wherein whether or not the specific operation is performed is determined based on the storage. 前記携帯端末が操作を受け付けた時を第２判断タイミングとし、
前記特定操作無効部は、前記第２判断タイミングで、操作表示装置で受け付け可能な操作と前記受け付けた操作を比較することによって、前記受け付けた操作が前記特定操作であるか否かを判断する
ことを特徴とする請求項１または２に記載の操作表示システム。 The time when the mobile terminal accepts the operation is the second determination timing,
The specific operation invalidation unit determines whether the received operation is the specific operation by comparing an operation that can be received by the operation display device with the received operation at the second determination timing. The operation display system according to claim 1 or 2. 前記連携制御部は、前記特定操作が存在する場合に、その旨を警告する
ことを特徴とする請求項２または３に記載の操作表示システム。 Operation display system according to claim 2 or 3 wherein the linkage control unit, if the previous SL particular operation exists, characterized in that a warning to that effect. 前記特定操作無効部は、前記操作表示装置に設けられており、
前記特定操作無効部は、前記携帯端末から受信した操作情報が、前記特定操作の操作情報であるか否かを判断し、当該操作情報が前記特定操作の操作情報である場合には、その操作情報を無効とする
ことを特徴とする請求項１乃至４のいずれか１つに記載の操作表示システム。 The specific operation invalid part is provided in the operation display device,
The specific operation invalidation unit determines whether or not the operation information received from the mobile terminal is operation information of the specific operation, and if the operation information is operation information of the specific operation, the operation information The operation display system according to any one of claims 1 to 4, wherein the information is invalidated. 前記特定操作無効部は、前記携帯端末に設けられており、
前記特定操作無効部は、前記携帯端末に、前記特定操作の操作情報を前記操作表示装置に向けて送信させないことで前記特定操作を無効にする
ことを特徴とする請求項１乃至５のいずれか１つに記載の操作表示システム。 The specific operation invalid part is provided in the mobile terminal,
The specific operation invalidation unit invalidates the specific operation by not causing the portable terminal to transmit operation information of the specific operation toward the operation display device. The operation display system according to one. 前記特定操作無効部が、前記特定操作を無効にする際には、
前記携帯端末に前記特定操作の操作情報の代替情報として、前記操作表示装置で受け付け可能な操作に係る操作情報を前記連携制御部に送信させる
ことを特徴とする請求項６に記載の操作表示システム。 When the specific operation invalidation unit invalidates the specific operation,
The operation display system according to claim 6, wherein the operation information related to an operation that can be received by the operation display device is transmitted to the cooperation control unit as substitute information for the operation information of the specific operation. . 前記特定操作無効部は、前記特定操作が、前記携帯端末の表示内容のみを変更し、前記表示部の表示内容は変更しない第２特定操作である場合は、前記第２特定操作は無効にしない
ことを特徴とする請求項１乃至７のいずれか１つに記載の操作表示システム。 The specific operation invalidation unit does not invalidate the second specific operation when the specific operation is a second specific operation that changes only the display content of the mobile terminal and does not change the display content of the display unit. The operation display system according to any one of claims 1 to 7, wherein 前記連携制御部は、前記第２特定操作によって、前記携帯端末に表示する表示内容を変更する際に、当該変更後の表示内容の表示データが前記携帯端末内で不足した場合、当該不足している表示データを前記携帯端末に送信する
ことを特徴とする請求項８に記載の操作表示システム。 When the display content of the display content after the change is insufficient in the mobile terminal when the display content displayed on the mobile terminal is changed by the second specific operation, The operation display system according to claim 8, wherein the display data is transmitted to the portable terminal. 操作部と、
表示部と、
操作部と表示部と通信部とを備えた携帯端末と通信する通信部と、
特定操作無効部と、
を備える操作表示装置を、
前記携帯端末で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じて前記携帯端末に表示する画面と前記操作表示装置に表示する画面とが連携するようにこれらの表示内容を制御すると共に、該制御中に、前記携帯端末では受け付け可能であるが前記操作表示装置では受け付けが不可能である特定操作を前記携帯端末で受けた場合に、この特定操作を無効にするように動作させる
ことを特徴とするプログラム。 An operation unit;
A display unit;
A communication unit that communicates with a portable terminal including an operation unit, a display unit, and a communication unit;
Specific operation invalid part,
An operation display device comprising:
When an operation is received on the mobile terminal and an operation is received on the operation display device, the screen displayed on the mobile terminal and the screen displayed on the operation display device are linked in accordance with the operation. In addition to controlling the display content, during the control, when a specific operation that can be accepted by the portable terminal but cannot be accepted by the operation display device is received by the portable terminal, the specific operation is invalidated. A program characterized by being operated as follows. 前記制御の開始時を第１判断タイミングとし、
前記操作表示装置を、
前記携帯端末で受け付け可能な操作のうち前記特定操作となる全ての操作を前記第１判断タイミングで抽出して記憶し、前記携帯端末で操作を受け付ける毎にその操作が前記特定操作か否かを前記記憶に基づいて判断するように動作させる
ことを特徴とする請求項１０に記載のプログラム。 The start time of the control is the first determination timing,
The operation display device;
Of the operations that can be accepted by the mobile terminal, all the operations that become the specific operation are extracted and stored at the first determination timing, and each time the operation is received by the mobile terminal, whether or not the operation is the specific operation. The program according to claim 10, wherein the program is operated so as to make a determination based on the storage. 前記携帯端末が操作を受け付けた時を第２判断タイミングとし、
前記操作表示装置を、
前記第２判断タイミングで、前記操作部で受け付け可能な操作と前記受け付けた操作を比較することによって、前記受け付けた操作が前記特定操作であるか否かを判断するように動作させる
ことを特徴とする請求項１０または１１に記載のプログラム。 The time when the mobile terminal accepts the operation is the second determination timing,
The operation display device;
The operation is performed so as to determine whether the received operation is the specific operation by comparing the received operation with the received operation at the second determination timing. The program according to claim 10 or 11. 前記操作表示装置を、
前記特定操作が存在する場合に、その旨を警告するように動作させる
ことを特徴とする請求項１１または１２に記載のプログラム。 The operation display device;
If the previous SL particular operation exists, the program according to claim 11 or 12, characterized in that to operate to alert the fact. 前記操作表示装置を、
前記携帯端末から受信した操作情報が、前記特定操作の操作情報であるか否かを判断し、前記特定操作の操作情報である場合にその操作情報を無効とすることで、前記特定操作を無効とするように動作させる
ことを特徴とする請求項１０乃至１３のいずれか１つに記載のプログラム。 The operation display device;
It is determined whether or not the operation information received from the mobile terminal is the operation information of the specific operation. If the operation information is the operation information of the specific operation, the operation information is invalidated to invalidate the specific operation. The program according to any one of claims 10 to 13, wherein the program is operated as follows. 前記操作表示装置を、
前記特定操作が、前記携帯端末の表示内容のみを変更し、前記表示部の表示内容は変更しない第２特定操作である場合は、前記第２特定操作は無効にしないように動作させる
ことを特徴とする請求項１０乃至１４のいずれか１つに記載のプログラム。 The operation display device;
When the specific operation is a second specific operation that changes only the display content of the mobile terminal and does not change the display content of the display unit, the second specific operation is operated so as not to be invalidated. The program according to any one of claims 10 to 14. 前記操作表示装置を、
前記第２特定操作によって、前記携帯端末に表示する表示内容の表示データが不足した場合、当該不足している表示データを前記携帯端末に送信するように動作させる
ことを特徴とする請求項１５に記載のプログラム。 The operation display device;
The display device according to claim 15, wherein when the display data of the display content to be displayed on the mobile terminal is insufficient due to the second specific operation, the operation is performed to transmit the insufficient display data to the mobile terminal. The listed program. 操作部と、
操作表示装置と通信すると共に、前記操作部で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じた画面を表示する前記操作表示装置から前記画面と連携する画面の表示データを受信する通信部と、
前記通信部が受信した表示データに基づいて画面を表示する表示部と、
前記通信中に、前記操作部では受け付け可能であるが、前記操作表示装置では受け付けが不可能である特定操作を前記操作部で受けた場合にこの特定操作を無効にする特定操作無効部と
を有する
ことを特徴とする携帯端末。 An operation unit;
In communication with the operation display device, from the operation display device screen cooperating with the screen for displaying the screen corresponding to the operation when receiving an operation on and the operation display unit when an operation has been accepted by the operation unit A communication unit for receiving display data;
A display unit that displays a screen based on display data received by the communication unit;
A specific operation invalidation unit that invalidates the specific operation when a specific operation that can be accepted by the operation display unit but cannot be accepted by the operation display device is received by the operation unit during the communication. A portable terminal characterized by having. 前記操作表示装置と通信を開始した時を第１判断タイミングとし、
前記特定操作無効部は、前記操作部で受け付け可能な操作のうち前記特定操作となる全ての操作を前記第１判断タイミングで抽出して記憶し、前記操作部で操作を受け付ける毎にその操作が前記特定操作か否かを前記記憶に基づいて判断する
ことを特徴とする請求項１７に記載の携帯端末。 The time when communication with the operation display device is started is a first determination timing,
The specific operation invalidation unit extracts and stores all operations that become the specific operation among operations that can be received by the operation unit at the first determination timing, and each time the operation is received by the operation unit, the operation is performed. The mobile terminal according to claim 17, wherein whether or not the specific operation is performed is determined based on the storage. 前記操作部が操作を受け付けた時を第２判断タイミングとし、
前記特定操作無効部は、前記第２判断タイミングで、前記操作表示装置で受け付け可能な操作と前記受け付けた操作を比較することによって、前記受け付けた操作が前記特定操作であるか否かを判断する
ことを特徴とする請求項１７または１８に記載の携帯端末。 The time when the operation unit accepts the operation is the second determination timing,
The specific operation invalidation unit determines whether the received operation is the specific operation by comparing the received operation with the received operation at the second determination timing. The mobile terminal according to claim 17 or 18, characterized in that: 前記特定操作が存在する場合に、その旨を警告する
ことを特徴とする請求項１８または１９に記載の携帯端末。 If the previous SL particular operation exists, the portable terminal according to claim 18 or 19, characterized in that that warning to that effect. 前記特定操作無効部は、前記通信部に、前記特定操作の操作情報を前記操作表示装置に向けて送信させないことで前記特定操作を無効にする
ことを特徴とする請求項１７乃至２０のいずれか１つに記載の携帯端末。 The specific operation invalidation unit invalidates the specific operation by not causing the communication unit to transmit operation information of the specific operation to the operation display device. One portable terminal as described in one. 前記特定操作無効部が、前記特定操作を無効にする際には、
前記通信部に前記特定操作の操作情報の代替情報として、前記操作表示装置で受け付け可能な操作に係る操作情報を前記操作表示装置に送信させる
ことを特徴とする請求項２１に記載の携帯端末。 When the specific operation invalidation unit invalidates the specific operation,
The mobile terminal according to claim 21, wherein the communication unit causes the operation display device to transmit operation information related to an operation that can be received by the operation display device, as substitute information for the operation information of the specific operation. 前記特定操作無効部は、前記特定操作が、前記表示部の表示内容のみを変更し、前記操作表示装置の表示内容は変更しない第２特定操作である場合は、前記第２特定操作は無効にしない
ことを特徴とする請求項１７乃至２２のいずれか１つに記載の携帯端末。 The specific operation invalidation unit invalidates the second specific operation when the specific operation is a second specific operation that changes only the display content of the display unit and does not change the display content of the operation display device. The mobile terminal according to any one of claims 17 to 22, wherein the mobile terminal is not. 前記通信部は、前記第２特定操作によって、前記表示部に表示する表示内容の表示データが不足した場合、当該不足している表示データを前記操作表示装置から取得し、
前記表示部は、前記取得した表示データに基づいて画面を表示する
ことを特徴とする請求項２３に記載の携帯端末。 The communication unit obtains the deficient display data from the operation display device when the display data of the display content displayed on the display unit is deficient by the second specific operation,
The mobile terminal according to claim 23, wherein the display unit displays a screen based on the acquired display data. 操作部と、
表示部と、
操作部と表示部と通信部とを備えた携帯端末と通信する通信部と、
特定操作無効部と、
制御部と、
を備え、
前記制御部は、前記携帯端末で操作を受け付けた場合および自装置で操作を受け付けた場合にその操作に応じて前記携帯端末に表示する画面と自装置に表示する画面とが連携するようにこれらの表示内容を制御し、
前記特定操作無効部は、前記制御中に、前記携帯端末では受け付け可能であるが自装置では受け付けが不可能である特定操作を前記携帯端末で受けた場合に、この特定操作を無効にする
ことを特徴とする操作表示装置。 An operation unit;
A display unit;
A communication unit that communicates with a portable terminal including an operation unit, a display unit, and a communication unit;
Specific operation invalid part,
A control unit;
With
The control unit is configured so that a screen displayed on the mobile terminal and a screen displayed on the own device are linked in accordance with the operation when the operation is received on the mobile terminal and when the operation is received on the own device. Control the display content of
The specific operation invalidation unit invalidates the specific operation when the mobile terminal receives a specific operation that can be received by the mobile terminal but cannot be received by the own device during the control. An operation display device characterized by the above. 操作部と、
操作表示装置と通信すると共に、前記操作部で操作を受け付けた場合および前記操作表示装置で操作を受け付けた場合にその操作に応じた画面を表示する前記操作表示装置から前記画面と連携する画面の表示データを受信する通信部と、
前記通信部が受信した表示データに基づいて画面を表示する表示部と、
を備える携帯端末を、
前記通信中に、前記操作部では受け付け可能であるが、前記操作表示装置では受け付けが不可能である特定操作を前記操作部で受けた場合にこの特定操作を無効にするように動作させる
ことを特徴とする携帯端末プログラム。 An operation unit;
In communication with the operation display device, from the operation display device screen cooperating with the screen for displaying the screen corresponding to the operation when receiving an operation on and the operation display unit when an operation has been accepted by the operation unit A communication unit for receiving display data;
A display unit that displays a screen based on display data received by the communication unit;
A mobile device equipped with
While the previous SL communication, said although the operation unit can be accepted, to operate a specific operation is impossible accepted by the operation display unit to disable the specific operation when received by the operating unit A mobile terminal program characterized by
JP2012141407A 2012-06-22 2012-06-22 Operation display system, program, portable terminal, operation display device, portable terminal program Active JP5910880B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012141407A JP5910880B2 (en) 2012-06-22 2012-06-22 Operation display system, program, portable terminal, operation display device, portable terminal program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012141407A JP5910880B2 (en) 2012-06-22 2012-06-22 Operation display system, program, portable terminal, operation display device, portable terminal program

Publications (2)

Publication Number Publication Date
JP2014006668A JP2014006668A (en) 2014-01-16
JP5910880B2 true JP5910880B2 (en) 2016-04-27

Family

ID=50104337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012141407A Active JP5910880B2 (en) 2012-06-22 2012-06-22 Operation display system, program, portable terminal, operation display device, portable terminal program

Country Status (1)

Country Link
JP (1) JP5910880B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6003939B2 (en) * 2014-04-15 2016-10-05 コニカミノルタ株式会社 Image processing linkage system and linkage method, portable terminal device, and image processing linkage program
JP2018139401A (en) * 2017-02-24 2018-09-06 コニカミノルタ株式会社 Image processing apparatus and program
JP2022074772A (en) 2020-11-05 2022-05-18 キヤノン株式会社 Information processing device, information processing control method, and computer program
JP2023018906A (en) 2021-07-28 2023-02-09 キヤノン株式会社 Information processing device, control method therefor, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061140A (en) * 2001-08-09 2003-02-28 Sharp Corp Mobile terminal and recording medium for recording information display program
JP2005284886A (en) * 2004-03-30 2005-10-13 Toshiba Corp Information display system
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
JP5446354B2 (en) * 2009-03-18 2014-03-19 株式会社リコー Information processing apparatus, information processing system, display processing method, and program
JP5555555B2 (en) * 2010-06-28 2014-07-23 本田技研工業株式会社 In-vehicle device that cooperates with a portable device and realizes an input operation possible for the portable device

Also Published As

Publication number Publication date
JP2014006668A (en) 2014-01-16

Similar Documents

Publication Publication Date Title
JP5945930B2 (en) Information processing apparatus and program
US9088678B2 (en) Image processing device, non-transitory computer readable recording medium and operational event determining method
US9001368B2 (en) Image processing apparatus, operation standardization method, and non-transitory computer-readable recording medium encoded with operation standardization program with an application program that supports both a touch panel capable of detecting only one position and a touch panel capable of detecting a plurality of positions simultaneously
JP6233605B2 (en) Management server, program, terminal device
JP4665992B2 (en) Printing control apparatus and printing apparatus
JP2013088506A (en) Operation panel
EP2816416B1 (en) Display device, image forming apparatus, and computer-readable recording medium storing display control program
JP5920581B2 (en) Print server printing system
JP2013182405A (en) Operation display device
JP6330349B2 (en) Display control device, display system, operation display device, program
JP6344368B2 (en) Job processing system, job processing device, program
JP5910880B2 (en) Operation display system, program, portable terminal, operation display device, portable terminal program
US9274697B2 (en) Information processing apparatus, information processing method and tangible computer-readable recording medium
JP6233582B2 (en) Interlocking display system, image processing apparatus and program thereof, and interlocking display method
JP6729268B2 (en) Image forming device
US8982397B2 (en) Image processing device, non-transitory computer readable recording medium and operational event determining method
US9325867B2 (en) Image forming apparatus and image forming system
JP6012268B2 (en) Image processing apparatus, image processing system, control method, and program
JP2018158529A (en) Image processing apparatus, system, and program
JP2018064221A (en) Processing unit, program, proxy processing setting method
JP6079659B2 (en) Display system, image forming apparatus, program, and display state control method
JP5716515B2 (en) An image forming apparatus including an operation display device, a display control program, and an operation display device.
JP2014068152A (en) Image processing apparatus, image processing method, and program
JP6206219B2 (en) Linked display system, display device and program, linked display method
JP7156116B2 (en) Image forming apparatus, display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160316

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5910880

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150