JP2007134843A - Communication terminal, remote operation method and program - Google Patents

Communication terminal, remote operation method and program Download PDF

Info

Publication number
JP2007134843A
JP2007134843A JP2005324272A JP2005324272A JP2007134843A JP 2007134843 A JP2007134843 A JP 2007134843A JP 2005324272 A JP2005324272 A JP 2005324272A JP 2005324272 A JP2005324272 A JP 2005324272A JP 2007134843 A JP2007134843 A JP 2007134843A
Authority
JP
Japan
Prior art keywords
internal state
communication terminal
state
unit
operation event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005324272A
Other languages
Japanese (ja)
Inventor
Yasutaka Iwasaki
安隆 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2005324272A priority Critical patent/JP2007134843A/en
Publication of JP2007134843A publication Critical patent/JP2007134843A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To make it possible to operate the operating section of a remote operation terminal in remote operation between communication terminals. <P>SOLUTION: The communication terminal 100A performs a state transition request processing 201 for transmitting state transition request information including an operation event and screen state information to a communication terminal 100B, and synchronization processing 202 for making transition to a screen state indicated by screen state information from the communication terminal 100B. The communication terminal 100B performs an event execution processing 221 for transiting the screen state by the operation event of such state transition request information as the screen state information is noncontradictory to the screen state, an event execution processing 222 for transiting the screen state by the operation event of the communication terminal 100B, and a state transition report processing 223 for transmitting the screen state information after transition to the communication terminal 100A. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

この発明は、遠隔操作機能を備えた通信端末並びにその遠隔操作のための方法およびプログラムに関する。   The present invention relates to a communication terminal having a remote operation function and a method and program for the remote operation.

通信機能を備えたＰＣ等の通信端末が普及し、多くの人々は、この種の通信端末を利用して、所望の通信相手と通信を行い、あるいは所望のサイトから各種のアプリケーションプログラムをダウンロードして実行することができる。しかし、通信端末のユーザの中には操作に不慣れな者もいる。そこで、このような不慣れな者を補助し、その者に代わって通信端末を操作する遠隔操作のための技術的手段が求められる。この点に鑑み、例えば特許文献１は、通常モードの他に、遠隔操作モードと、非遠隔操作モードとを有する通信端末を開示している。この特許文献１において、遠隔操作モードである通信端末は、ユーザによる操作が行われると、その操作情報を被遠隔操作モードである通信端末に送り、被遠隔操作モードである通信端末はこの操作情報を解釈して実行する。
特開平１１−３４１４６０号公報 Communication terminals such as PCs with communication functions have become widespread, and many people use this type of communication terminal to communicate with a desired communication partner or download various application programs from a desired site. Can be executed. However, some users of communication terminals are not familiar with the operation. Therefore, there is a need for technical means for remote operation that assists such an unfamiliar person and operates the communication terminal on behalf of that person. In view of this point, for example, Patent Document 1 discloses a communication terminal having a remote operation mode and a non-remote operation mode in addition to the normal mode. In Patent Document 1, when a user performs an operation, the communication terminal in the remote operation mode sends the operation information to the communication terminal in the remote operation mode, and the communication terminal in the remote operation mode receives this operation information. Is interpreted and executed.
JP 11-341460 A

ところで、上述した特許文献１の技術では、被遠隔操作モードである通信端末は、遠隔操作モードである通信端末からの操作情報のみに応答し、当該通信端末の操作部の操作を一切受け付けない。特許文献１の技術では、このように被遠隔操作モードである通信端末の操作部の操作を受け付けないことにより、被遠隔操作モードである通信端末の内部状態を遠隔操作モードである通信端末側で確実に把握し、正常な遠隔操作を担保している。しかしながら、ユーザ自身に通信端末の操作を行わせつつ、他の通信端末からその通信端末の遠隔操作を行うことも求められている。このような要求に応える技術的手段は提供されていない。   By the way, in the technique of Patent Document 1 described above, the communication terminal in the remote operation mode responds only to the operation information from the communication terminal in the remote operation mode, and does not accept any operation of the operation unit of the communication terminal. In the technique of Patent Document 1, by not accepting the operation of the operation unit of the communication terminal in the remote operation mode in this way, the internal state of the communication terminal in the remote operation mode is changed on the communication terminal side in the remote operation mode. We grasp surely and guarantee normal remote operation. However, it is also required to remotely operate the communication terminal from another communication terminal while allowing the user to operate the communication terminal. There is no technical means to meet such demands.

この発明は、以上説明した事情に鑑みてなされたものであり、通信端末間で遠隔操作を行う場合において、遠隔操作を受ける通信端末においても操作部の操作を可能にする技術的手段を提供することを目的としている。   The present invention has been made in view of the circumstances described above, and provides technical means that enables operation of an operation unit even in a communication terminal that receives a remote operation when the remote operation is performed between the communication terminals. The purpose is that.

この発明において、第１および第２の通信端末は内部状態を共有し、第１の通信端末は第２の通信端末の遠隔操作を行う。前記第１の通信端末は、前記第１の通信端末において操作イベントが発生した場合に、内部状態を遷移させることなく、前記第１の通信端末において発生した操作イベントと前記第１の通信端末の現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を前記第２の通信端末に送信する状態遷移要求処理と、前記第２の通信端末の内部状態を示す内部状態情報が受信された場合に、前記第１の通信端末の内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化処理とを実行する。前記第２の通信端末は、前記状態遷移要求情報が受信され、前記状態遷移要求情報に含まれる内部状態情報が前記第２の通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、前記第２の通信端末の内部状態を遷移させる第１の操作イベント実行処理と、前記第２の通信端末において操作イベントが発生した場合に、前記第２の通信端末において発生した操作イベントに従って、前記第２の通信端末の内部状態を遷移させる第２の操作イベント実行処理と、前記第１の操作イベント実行処理または第２の操作イベント実行処理により前記第２の通信端末の内部状態が遷移した場合に、遷移後の内部状態を示す内部状態情報を前記第１の通信端末に送信する状態遷移報告処理とを実行する。
かかる発明によれば、第１および第２の通信端末において発生する操作イベントはいずれも第２の通信端末において実行され、その結果生じる第２の通信端末の内部状態の遷移に第１の通信端末の内部状態が追従する。しかも、第２の通信端末において、第１の通信端末から受信される操作イベントは、これとともに送られてくる内部状態情報が第２の通信端末の内部状態と矛盾しない場合に限って実行される。従って、第１の通信端末は、遠隔操作の対象である第２の通信端末において操作イベントが発生する状況においても、第１および第２の通信端末の各内部状態間に矛盾を生じさせることなく、第２の通信端末の遠隔操作を行うことができる。
この発明の他の態様において、第１および第２の通信端末は、内部状態を共有し、相互に相手の遠隔操作を行う。そして、第１および第２の通信端末の各々は、当該通信端末において操作イベントが発生した場合に、内部状態を遷移させることなく、当該通信端末において発生した操作イベントと当該通信端末の現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を相手の通信端末に送信する状態遷移要求処理と、相手の通信端末の内部状態を示す内部状態情報が受信された場合に、当該通信端末の内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化処理と、相手の通信端末において発生した操作イベントおよび前記相手の通信端末の内部状態を示す内部状態情報を含む状態遷移要求情報が受信され、前記状態遷移要求情報に含まれる内部状態情報が当該通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該通信端末の内部状態を遷移させる操作イベント実行処理と、前記操作イベント実行処理により当該通信端末の内部状態が遷移した場合に、遷移後の内部状態を示す内部状態情報を相手の通信端末に送信する状態遷移報告処理とを実行する。
かかる態様によれば、一方の通信端末において発生した操作イベントは、その通信端末の内部状態情報とともに他方の通信端末に送られ、他方の通信端末では、受信された内部状態情報が内部状態と矛盾しない場合に限って、受信された操作イベントが実行される。この操作イベントの実行の結果、内部状態の遷移があると、遷移後の内部状態を示す内部状態情報が他方の通信端末から一方の通信端末に送られ、一方の通信端末では、内部状態情報に内部状態を追従させる動作が行われる。従って、各通信端末は、お互いの内部状態に矛盾を生じさせることなく、相手の通信端末の遠隔操作を行うことが可能である。
この発明は、上記の各通信端末を製造し、譲渡するといった態様の他、上記の各通信端末が実行する各処理をコンピュータに実行させるプログラムを作成し、これをユーザに配布するといった態様でも実施され得る。 In the present invention, the first and second communication terminals share the internal state, and the first communication terminal performs remote operation of the second communication terminal. When an operation event occurs in the first communication terminal, the first communication terminal does not change the internal state, and the operation event generated in the first communication terminal and the first communication terminal State transition request processing for transmitting state transition request information including internal state information indicating the current internal state to the second communication terminal, and internal state information indicating the internal state of the second communication terminal are received In this case, a synchronization process is executed for transitioning the internal state of the first communication terminal to the internal state indicated by the received internal state information. When the state transition request information is received and the internal state information included in the state transition request information is not inconsistent with the internal state of the second communication terminal, the second communication terminal includes the state transition request information. Occurs in the second communication terminal when an operation event occurs in the first operation event execution process that changes the internal state of the second communication terminal according to the included operation event, and in the second communication terminal In accordance with the operation event, the second operation event execution process for changing the internal state of the second communication terminal, and the first operation event execution process or the second operation event execution process. When the internal state transitions, a state transition report process for transmitting internal state information indicating the internal state after the transition to the first communication terminal is executed.
According to this invention, both the operation events that occur in the first and second communication terminals are executed in the second communication terminal, and the resulting transition of the internal state of the second communication terminal results in the first communication terminal. The internal state of follows. Moreover, in the second communication terminal, the operation event received from the first communication terminal is executed only when the internal state information sent together with this is consistent with the internal state of the second communication terminal. . Therefore, the first communication terminal does not cause a contradiction between the internal states of the first and second communication terminals even in a situation where an operation event occurs in the second communication terminal that is the target of remote operation. The remote operation of the second communication terminal can be performed.
In another aspect of the present invention, the first and second communication terminals share the internal state and perform remote operations with each other. Then, each of the first and second communication terminals is configured such that when an operation event occurs in the communication terminal, the operation event generated in the communication terminal and the current internal state of the communication terminal are not changed without changing the internal state. When the state transition request process including the state transition request information including the internal state information indicating the state is received and the internal state information indicating the internal state of the partner communication terminal is received, the communication terminal State transition request information including a synchronization process for transitioning the internal state to the internal state indicated by the received internal state information, an operation event that has occurred in the partner communication terminal, and internal state information indicating the internal state of the partner communication terminal Is received, and the internal state information included in the state transition request information is not inconsistent with the internal state of the communication terminal, it is included in the state transition request information. The operation event execution process for changing the internal state of the communication terminal according to the operation event to be transmitted, and the internal state information indicating the internal state after the transition when the internal state of the communication terminal is changed by the operation event execution process. The state transition report process transmitted to the communication terminal is executed.
According to this aspect, an operation event that occurs in one communication terminal is sent to the other communication terminal together with the internal state information of the communication terminal, and the received internal state information is inconsistent with the internal state. The received operation event is executed only when not. As a result of the execution of this operation event, if there is a transition of the internal state, the internal state information indicating the internal state after the transition is sent from the other communication terminal to one communication terminal. An operation to follow the internal state is performed. Accordingly, each communication terminal can remotely control the other communication terminal without causing any contradiction in the internal state of each other.
The present invention can be implemented not only in a mode in which each communication terminal is manufactured and transferred, but also in a mode in which a program for causing a computer to execute each process executed by each communication terminal is created and distributed to users. Can be done.

以下、図面を参照し、この発明の実施の形態を説明する。
＜第１実施形態＞
図１において、通信端末１００Ａおよび１００Ｂは、例えば通信機能を備えたパーソナルコンピュータであり、いずれもこの発明の第１実施形態による通信端末である。これらの通信端末は、全く同様な構成であり、各々、操作部１と、表示部２と、記憶部３と、通信部４と、これらを制御する制御部５とを有している。各通信端末１００Ａおよび１００Ｂは、各々独立して処理を実行することも可能であるし、通信部４によりネットワークを介して相互に通信を行いつつ処理を進めることも可能である。 Embodiments of the present invention will be described below with reference to the drawings.
<First Embodiment>
In FIG. 1, communication terminals 100A and 100B are, for example, personal computers having a communication function, and both are communication terminals according to the first embodiment of the present invention. These communication terminals have exactly the same configuration, and each includes an operation unit 1, a display unit 2, a storage unit 3, a communication unit 4, and a control unit 5 that controls them. Each of the communication terminals 100A and 100B can execute processing independently of each other, or can proceed with processing by the communication unit 4 while communicating with each other via a network.

各通信端末１００Ａおよび１００Ｂの記憶部３は、ＨＤＤ（ハードディスク装置）、ＲＯＭ、ＲＡＭなどの記憶装置により構成されている。ここで、ＨＤＤには各種のアプリケーションプログラムが保存されている。制御部５は、ＲＡＭをワークエリアとして使用し、これらのアプリケーションプログラムを実行することができる。通信端末１００Ａおよび１００ＢのＨＤＤに記憶されたアプリケーションプログラムの中には、次のような特徴的な動作モードを有するアプリケーションプログラム（以下、便宜上、遠隔操作対応アプリケーションプログラムという）がある。
ａ．通常モード
この通常モードにおいて、遠隔操作対応アプリケーションプログラムは、当該通信端末をスタンドアロン状態で動作させる。
ｂ．遠隔操作モード
この遠隔操作モードにおいて、遠隔操作対応アプリケーションプログラムは、通信相手である通信端末を遠隔操作の対象である被遠隔操作端末とし、当該通信端末を被遠隔操作端末を遠隔操作する遠隔操作元端末として機能させる。
ｃ．被遠隔操作モード
この被遠隔操作モードにおいて、遠隔操作対応アプリケーションプログラムは、通信相手である通信端末を遠隔操作元端末とし、当該通信端末を遠隔操作元端末により遠隔操作させる被遠隔操作端末として機能させる。 The storage unit 3 of each of the communication terminals 100A and 100B is configured by a storage device such as an HDD (hard disk device), ROM, or RAM. Here, various application programs are stored in the HDD. The control unit 5 can execute these application programs using the RAM as a work area. Among the application programs stored in the HDDs of the communication terminals 100A and 100B, there is an application program having the following characteristic operation mode (hereinafter referred to as a remote operation compatible application program).
a. Normal Mode In this normal mode, the remote operation compatible application program operates the communication terminal in a stand-alone state.
b. Remote operation mode In this remote operation mode, the remote operation compatible application program uses a communication terminal that is a communication partner as a remote operation terminal that is a target of remote operation, and the remote operation source that remotely operates the communication terminal as a remote operation terminal. To function as a terminal.
c. Remote operation mode In this remote operation mode, the remote operation compatible application program causes the communication terminal that is the communication partner to be a remote operation source terminal, and the communication terminal functions as a remote operation terminal that is remotely operated by the remote operation source terminal. .

遠隔操作対応アプリケーションプログラムは、上記各モードでの処理の他、操作部１を介して与えられるユーザからの指示に従い、当該通信端末のモードを設定するための処理を含む。図２は、通信端末１００Ａおよび１００Ｂの各制御部５がこの処理を実行し、通信端末１００Ａが遠隔操作元端末となり、通信端末１００Ｂが被遠隔操作端末となる過程を示している。   The remote operation compatible application program includes processing for setting the mode of the communication terminal according to an instruction from the user given through the operation unit 1 in addition to the processing in each mode. FIG. 2 shows a process in which each control unit 5 of the communication terminals 100A and 100B executes this process, the communication terminal 100A becomes a remote operation source terminal, and the communication terminal 100B becomes a remote operation terminal.

初期状態において、通信端末１００Ａおよび１００Ｂの各制御部５は、同一種類の遠隔操作対応アプリケーションプログラムを実行中である（ステップＳ１およびＳ２）。この時点において、各通信端末１００Ａおよび１００Ｂの各々における遠隔操作対応アプリケーションプログラムの動作モードはいずれも通常モードである。この通常モードにおいて、各通信端末における遠隔操作対応アプリケーションは、各通信端末の操作部１において発生する操作イベントに応じて、内部状態を遷移させるとともに、現在の内部状態に対応した画面を表示部２に表示させる。また、記憶部３には、現在の内部状態を示す内部状態情報が記憶される。通信端末１００Ａおよび１００Ｂは、各々別のユーザが操作するため、各通信端末における内部状態は独立して遷移することとなる。   In the initial state, the control units 5 of the communication terminals 100A and 100B are executing the same type of remote operation compatible application programs (steps S1 and S2). At this time, the operation mode of the remote operation compatible application program in each of the communication terminals 100A and 100B is the normal mode. In this normal mode, the remote operation compatible application in each communication terminal changes the internal state according to an operation event that occurs in the operation unit 1 of each communication terminal, and displays a screen corresponding to the current internal state on the display unit 2. To display. The storage unit 3 stores internal state information indicating the current internal state. Since communication terminals 100A and 100B are operated by different users, the internal state of each communication terminal changes independently.

この状態において、通信端末１００Ａのユーザが操作部１を操作し、遠隔操作対象である通信端末１００Ｂのネットワークアドレスの指定を伴う遠隔操作要求を入力すると（ステップＳ３）、通信端末１００Ａの制御部５は、通信端末１００Ａおよび１００Ｂ間にコネクションを確立し（ステップＳ４）、通信端末１００Ｂに遠隔操作要求を送る（ステップＳ５）。   In this state, when the user of the communication terminal 100A operates the operation unit 1 and inputs a remote operation request accompanied with designation of the network address of the communication terminal 100B that is the target of remote operation (step S3), the control unit 5 of the communication terminal 100A. Establishes a connection between the communication terminals 100A and 100B (step S4), and sends a remote operation request to the communication terminal 100B (step S5).

通信端末１００Ｂの制御部５は、この遠隔操作要求を受け取ると、通信端末１００Ｂが遠隔操作を受けることについての許可を求めるメッセージを表示部２に表示する。通信端末１００Ｂのユーザがこのメッセージを確認し、遠隔操作を許可する旨の回答を操作部１から入力すると（ステップＳ６）、通信端末１００Ｂの制御部５は、遠隔操作が許可された旨のメッセージを通信端末１００Ａに送る（ステップＳ７）。   When the control unit 5 of the communication terminal 100B receives this remote operation request, the control unit 5 displays a message on the display unit 2 asking for permission for the communication terminal 100B to receive the remote operation. When the user of the communication terminal 100B confirms this message and inputs a reply indicating that remote operation is permitted from the operation unit 1 (step S6), the control unit 5 of the communication terminal 100B displays a message that remote operation is permitted. Is sent to the communication terminal 100A (step S7).

通信端末１００Ａの制御部５は、このメッセージを受け取ると、内部状態情報要求を通信端末１００Ｂに送る（ステップＳ８）。通信端末１００Ｂの制御部５は、この内部状態情報要求を受け取ると、実行中の遠隔操作対応アプリケーションプログラムに関連した内部状態情報を記憶部３から読み出し、通信端末１００Ａに送る（ステップＳ９）。通信端末１００Ａの制御部５は、この内部状態情報を記憶部３に格納し、実行中の遠隔操作対応アプリケーションプログラムに関連した内部状態を、この内部状態情報が示す内部状態に遷移させる。これにより、通信端末１００Ａにおいて実行中の遠隔操作対応アプリケーションプログラムは遠隔操作モードとなり（ステップＳ１０）、通信端末１００Ｂにおいて実行中の遠隔操作対応アプリケーションプログラムは被遠隔操作モードとなる（ステップＳ１１）。   Upon receiving this message, control unit 5 of communication terminal 100A sends an internal state information request to communication terminal 100B (step S8). When receiving the internal state information request, the control unit 5 of the communication terminal 100B reads the internal state information related to the remote operation compatible application program being executed from the storage unit 3 and sends it to the communication terminal 100A (step S9). The control unit 5 of the communication terminal 100A stores the internal state information in the storage unit 3, and transitions the internal state related to the remote operation compatible application program being executed to the internal state indicated by the internal state information. As a result, the remote operation compatible application program being executed in communication terminal 100A is in the remote operation mode (step S10), and the remote operation compatible application program being executed in communication terminal 100B is in the remote operation mode (step S11).

なお、以上の例では、遠隔操作元端末となる通信端末１００Ａからの要求をトリガとして、通信端末１００Ｂが被遠隔操作端末、通信端末１００Ａが遠隔操作元端末となったが、被遠隔操作端末となる通信端末１００Ｂからの要求をトリガとして、通信端末１００Ａが遠隔操作元端末、通信端末１００Ｂが被遠隔操作端末となるように、モード設定のための処理を構成してもよい。   In the above example, the request from the communication terminal 100A as the remote operation source terminal is used as a trigger, the communication terminal 100B becomes the remote operation terminal and the communication terminal 100A becomes the remote operation source terminal. The process for mode setting may be configured so that the communication terminal 100A becomes a remote operation source terminal and the communication terminal 100B becomes a remote operation terminal with a request from the communication terminal 100B as a trigger.

図１には、以上説明したような手続を経て、遠隔操作元端末となった通信端末１００Ａと、被遠隔操作端末となった通信端末１００Ｂが示されている。さらに詳述すると、図１において、通信端末１００Ａの制御部５を示すボックス内には、遠隔操作対応アプリケーションプログラムにおける遠隔操作モードに対応した各処理が示されており、通信端末１００Ｂの制御部５を示すボックス内には遠隔操作対応アプリケーションプログラムにおける被遠隔操作モードに対応した各処理が示されている。以下、これらの処理の内容を説明する。   FIG. 1 shows a communication terminal 100A that has become a remote operation source terminal and a communication terminal 100B that has become a remote operation terminal through the procedure described above. More specifically, in FIG. 1, each process corresponding to the remote operation mode in the remote operation compatible application program is shown in a box indicating the control unit 5 of the communication terminal 100A, and the control unit 5 of the communication terminal 100B. Each processing corresponding to the remote operation mode in the remote operation compatible application program is shown in the box indicating. Hereinafter, the contents of these processes will be described.

なお、図１に示す例において、各通信端末１００Ａおよび１００Ｂが実行している遠隔操作対応アプリケーションプログラムは、簡単な処理内容のものであり、遠隔操作対応アプリケーションプログラムがとり得る内部状態は、表示部２の表示画面がとり得る画面状態と一対一に対応しており、内部状態と画面状態を同一視することができる。そこで、以下では、簡単のため、通信端末１００Ａまたは１００Ｂの表示部２の画面状態を本発明にいう内部状態として取り扱う。   In the example shown in FIG. 1, the remote operation compatible application program executed by each of the communication terminals 100A and 100B has simple processing contents, and the internal state that the remote operation compatible application program can take is displayed on the display unit. It corresponds to the screen state that the two display screens can take, and the internal state and the screen state can be identified with each other. Therefore, hereinafter, for the sake of simplicity, the screen state of the display unit 2 of the communication terminal 100A or 100B is treated as the internal state referred to in the present invention.

まず、通信端末１００Ａの制御部５が実行する遠隔操作対応アプリケーションプログラム（遠隔操作モード）の処理内容を説明する。状態遷移要求処理２０１は、通信端末１００Ａの操作部１において操作イベント３０１が発生した場合に、表示部２の画面状態を遷移させることなく、状態遷移要求情報３０３を通信部４により被遠隔操作端末である通信端末１００Ｂに送信する処理である。ここで、状態遷移要求情報３０３は、通信端末１００Ａの操作部１において発生した操作イベント３０１と記憶部３から読み出された画面状態情報３０２とを含む情報である。   First, processing contents of the remote operation compatible application program (remote operation mode) executed by the control unit 5 of the communication terminal 100A will be described. When the operation event 301 occurs in the operation unit 1 of the communication terminal 100A, the state transition request process 201 transmits the state transition request information 303 by the communication unit 4 without changing the screen state of the display unit 2. It is a process which transmits to the communication terminal 100B which is. Here, the state transition request information 303 is information including an operation event 301 generated in the operation unit 1 of the communication terminal 100 </ b> A and screen state information 302 read from the storage unit 3.

本実施形態において、画面状態情報は、表示部２の表示画面の現在の状態を示す情報であり、表示部２の表示動作に使用される画像データではなく、これよりも遥かにデータ量の小さな情報である。画面状態情報は、画面状態を一義的に定義可能な内容であれば、如何なる情報でも構わない。例えば、表示部２の表示画面がとり得る全画面状態に適当なＩＤ（例えば通し番号）を割り当て、これを画面状態情報として用いてもよい。あるいは、メニュー画面１、メニュー画面２といった表示画面のタイトル、その表示画面が含んでいる各種の数値、その表示画面におけるカーソルの現在位置などの各種の項目を示すテキスト情報を画面状態情報として用いてもよい。   In the present embodiment, the screen state information is information indicating the current state of the display screen of the display unit 2, and is not image data used for the display operation of the display unit 2, and the data amount is much smaller than this. Information. The screen state information may be any information as long as the screen state can be uniquely defined. For example, an appropriate ID (for example, a serial number) may be assigned to all screen states that can be taken by the display screen of the display unit 2, and this may be used as screen state information. Alternatively, text information indicating various items such as titles of display screens such as the menu screen 1 and the menu screen 2, various numerical values included in the display screen, and the current position of the cursor on the display screen is used as the screen state information. Also good.

同期化処理２０２は、通信端末１００Ｂの画面状態を示す画面状態情報３０４が通信部４により受信された場合に、記憶部３内の画面状態情報３０２をこの画面状態情報３０４に置き換え、通信端末１００Ａの表示部２の画面状態をこの新たな画面状態情報３０４が示す画面状態に遷移させる処理である。   When the screen state information 304 indicating the screen state of the communication terminal 100B is received by the communication unit 4, the synchronization processing 202 replaces the screen state information 302 in the storage unit 3 with the screen state information 304, and the communication terminal 100A This is a process of transitioning the screen state of the display unit 2 to the screen state indicated by the new screen state information 304.

次に通信端末１００Ｂの制御部５が実行する遠隔操作対応アプリケーションプログラム（被遠隔操作モード）の処理内容を説明する。照合処理２１１は、通信端末１００Ａからの状態遷移要求情報３０３が通信部４により受信された場合に、この状態遷移要求情報３０３に含まれる画面状態情報が通信端末１００Ｂの画面状態と矛盾しないか否か、すなわち、通信端末１００Ｂの記憶部３に記憶された画面状態情報３０５と一致するか否かを判断する処理である。この判断結果が否定的である場合、照合処理２１１は、エラー報告を通信端末１００Ａに送る。   Next, processing contents of the remote operation compatible application program (remote operation mode) executed by the control unit 5 of the communication terminal 100B will be described. In the collation process 211, when the state transition request information 303 from the communication terminal 100A is received by the communication unit 4, the screen state information included in the state transition request information 303 is consistent with the screen state of the communication terminal 100B. That is, it is a process of determining whether or not it matches the screen state information 305 stored in the storage unit 3 of the communication terminal 100B. When this determination result is negative, the verification process 211 sends an error report to the communication terminal 100A.

このエラー報告は、通信端末１００Ａの制御部５が実行する状態遷移要求処理２０１に引き渡される。この結果、状態遷移要求処理２０１では、通信端末１００Ｂに送った状態遷移要求情報３０３に含まれる画面状態情報が通信端末１００Ｂにおける現在の画面状態と矛盾しており、状態遷移要求情報３０３に含めて送った操作イベント３０１が実行されなかった旨が認識される。この場合、状態遷移要求処理２０１では、被遠隔操作端末において操作イベント３０１が受け容れられず、エラーとなった旨を表示部２に表示させる。   This error report is delivered to the state transition request process 201 executed by the control unit 5 of the communication terminal 100A. As a result, in the state transition request process 201, the screen state information included in the state transition request information 303 sent to the communication terminal 100B is inconsistent with the current screen state in the communication terminal 100B and is included in the state transition request information 303. It is recognized that the sent operation event 301 has not been executed. In this case, in the state transition request process 201, the operation event 301 is not accepted at the remote operation terminal, and an error is displayed on the display unit 2.

イベント実行処理２２１（第１の操作イベント実行処理）は、照合処理２１１の判断結果が肯定的である場合に、通信端末１００Ｂの画面状態を状態遷移要求情報３０３に操作イベントに従って遷移させ、記憶部３内の画面状態情報３０５を遷移後の画面状態を示す画面状態情報に置き換える処理である。   The event execution process 221 (first operation event execution process) transitions the screen state of the communication terminal 100B to the state transition request information 303 according to the operation event when the determination result of the collation process 211 is affirmative. 3 is a process of replacing the screen state information 305 in 3 with screen state information indicating the screen state after transition.

イベント実行処理２２２（第２の操作イベント実行処理）は、通信端末１００Ｂの操作部１において操作イベント３０６が発生した場合に、この操作イベント３０６に従って、通信端末１００Ｂの表示部２の画面状態を遷移させ、記憶部３内の画面状態情報３０５を遷移後の画面状態を示す画面状態情報に置き換える処理である。本実施形態における最大の特徴は、このように***作遠隔端末においても、操作部１の操作に応じて画面状態を遷移させることができるようにした点にある。   The event execution process 222 (second operation event execution process) transitions the screen state of the display unit 2 of the communication terminal 100B according to the operation event 306 when the operation event 306 occurs in the operation unit 1 of the communication terminal 100B. The screen state information 305 in the storage unit 3 is replaced with the screen state information indicating the screen state after the transition. The greatest feature of this embodiment is that the screen state can be changed in accordance with the operation of the operation unit 1 even in the operated remote terminal.

状態遷移報告処理２２３は、イベント実行処理２２１または２２２の実行により通信端末１００Ｂの表示部２の画面状態が遷移した場合に、遷移後の画面状態を示す画面状態情報３０５を記憶部３から読み出し、通信部４により通信端末１００Ａに送信する処理である。   When the screen state of the display unit 2 of the communication terminal 100B transitions due to the execution of the event execution processing 221 or 222, the state transition report processing 223 reads screen state information 305 indicating the screen state after the transition from the storage unit 3, This is a process of transmitting to the communication terminal 100A by the communication unit 4.

以上説明した構成によれば、遠隔操作元端末である通信端末１００Ａにおいて操作イベントが発生した場合に、その操作イベントは通信端末１００Ａの画面状態情報とともに、被遠隔操作端末である通信端末Ｂに送られる。そして、通信端末１００Ｂでは、この画面状態情報が通信端末Ｂの画面状態と矛盾しない場合に限り、操作イベントが実行され、通信端末Ｂの画面状態の遷移が行われる。また、通信端末１００Ｂにおいて、通信端末１００Ａから送られた操作イベントまたは操作部１において発生した操作イベントに従って、画面状態の遷移が行われた場合には、遷移後の画面状態を示す画面状態情報が通信端末１００Ａに送られ、通信端末１００Ａでは、この画面状態情報が示す画面状態への遷移が行われる。このように本実施形態においては、通信端末１００Ａにおいて発生する操作イベントおよび通信端末１００Ｂにおいて発生する操作イベントは、いずれも被遠隔操作端末である通信端末１００Ｂにおいて実行され、遠隔操作元端末である通信端末１００Ａでは、その画面状態を、操作イベントの実行により遷移する通信端末１００Ｂの画面状態に追従させる動作が行われる。従って、本実施形態によれば、通信端末１００Ｂの操作部１が操作される状況においても、常に通信端末１００Ａの画面状態を通信端末１００Ｂの画面状態と一致させることができる。   According to the configuration described above, when an operation event occurs in the communication terminal 100A that is the remote operation source terminal, the operation event is sent to the communication terminal B that is the remote operation terminal together with the screen state information of the communication terminal 100A. It is done. Then, in the communication terminal 100B, only when the screen state information is consistent with the screen state of the communication terminal B, an operation event is executed and the screen state of the communication terminal B is changed. Further, in the communication terminal 100B, when the screen state transition is performed according to the operation event sent from the communication terminal 100A or the operation event generated in the operation unit 1, the screen state information indicating the screen state after the transition is displayed. The communication terminal 100A transmits to the screen state indicated by the screen state information. As described above, in the present embodiment, the operation event that occurs in the communication terminal 100A and the operation event that occurs in the communication terminal 100B are both executed in the communication terminal 100B that is the remote operation terminal, and the communication that is the remote operation source terminal. In the terminal 100A, an operation is performed in which the screen state is made to follow the screen state of the communication terminal 100B which is changed by the execution of the operation event. Therefore, according to the present embodiment, it is possible to always match the screen state of the communication terminal 100A with the screen state of the communication terminal 100B even in a situation where the operation unit 1 of the communication terminal 100B is operated.

図３は本実施形態の第１の動作例を示している。この動作例において、通信端末１００Ａは遠隔操作元端末、通信端末Ｂは被遠隔操作端末である。初期状態において、通信端末１００Ａおよび１００Ｂの各表示部２の画面状態は一致しており、いずれの表示部２にもボリューム設定画面が表示され、その画面においてボリューム値は５０になっている。そして、動作例では、通信端末１００Ａの操作部１において、ボリュームアップボタンの操作イベントが発生する。このため、ボリュームアップボタンの操作イベントと、「画面名＝ボリューム設定画面、ボリューム＝５０」なる内容の画面状態情報とを含む状態遷移要求情報が通信端末１００Ｂに送られる（図１における状態遷移要求処理２０１）。通信端末１００Ｂでは、状態遷移要求情報に含まれる画面状態情報が現在の画面状態と矛盾していないため、状態遷移要求情報に含まれるボリュームアップボタンの操作イベントを実行する（図１における照合処理２１１およびイベント実行処理２２１）。この結果、通信端末１００Ｂでは、ボリュームアップ操作が行われ、画面状態が遷移する。そして、通信端末１００Ｂは、遷移後の画面状態を示す「画面名＝ボリューム設定画面、ボリューム＝６０」なる内容の画面状態情報を通信端末１００Ａに送る（図１における状態遷移報告処理２２３）。通信端末１００Ａでは、この画面状態情報が示す画面状態への遷移が行われ、表示部２の表示画面はボリューム設定画面、表示されるボリューム値は６０となる。   FIG. 3 shows a first operation example of the present embodiment. In this operation example, the communication terminal 100A is a remote operation source terminal, and the communication terminal B is a remote operation terminal. In the initial state, the screen states of the display units 2 of the communication terminals 100A and 100B are the same, and the volume setting screen is displayed on any of the display units 2, and the volume value is 50 on that screen. In the operation example, a volume up button operation event occurs in the operation unit 1 of the communication terminal 100A. For this reason, the state transition request information including the volume up button operation event and the screen state information with the content “screen name = volume setting screen, volume = 50” is sent to the communication terminal 100B (the state transition request in FIG. 1). Process 201). In the communication terminal 100B, since the screen state information included in the state transition request information is not inconsistent with the current screen state, an operation event of the volume up button included in the state transition request information is executed (collation processing 211 in FIG. 1). And event execution processing 221). As a result, in the communication terminal 100B, a volume up operation is performed and the screen state transitions. Then, the communication terminal 100B sends screen state information having the contents “screen name = volume setting screen, volume = 60” indicating the screen state after the transition to the communication terminal 100A (state transition report processing 223 in FIG. 1). In the communication terminal 100A, transition to the screen state indicated by the screen state information is performed, the display screen of the display unit 2 is the volume setting screen, and the displayed volume value is 60.

図４は本実施形態の第２の動作例を示している。この動作例における初期状態は、第１の動作例と同様である。しかし、この動作例では、通信端末１００Ａにおいてボリュームアップボタンの操作イベントが発生するのとほぼ同時に、通信端末１００Ｂにおいて画面変更ボタンの操作イベントが発生する。通信端末１００Ｂでは、この操作イベントが実行され、アドレス帳編集画面への画面状態の遷移が行われる（図１におけるイベント実行処理）。そして、通信端末１００Ｂは、遷移後の画面状態を示す「画面名＝アドレス編集画面、選択アドレス＝アドレス１」なる内容の画面状態情報を通信端末１００Ａに送る（図１における状態遷移報告処理２２３）。通信端末１００Ａでは、この画面状態情報が示す画面状態への遷移が行われる。   FIG. 4 shows a second operation example of the present embodiment. The initial state in this operation example is the same as in the first operation example. However, in this operation example, a screen change button operation event occurs in the communication terminal 100B almost simultaneously with the volume up button operation event occurring in the communication terminal 100A. In the communication terminal 100B, this operation event is executed, and the screen state transition to the address book editing screen is performed (event execution processing in FIG. 1). Then, the communication terminal 100B sends the screen state information having the content “screen name = address editing screen, selected address = address 1” indicating the screen state after the transition to the communication terminal 100A (state transition report processing 223 in FIG. 1). . In communication terminal 100A, transition to the screen state indicated by the screen state information is performed.

一方、通信端末１００Ｂでは、「画面名＝アドレス編集画面、選択アドレス＝アドレス１」なる画面状態への遷移が行われた後、ボリュームアップボタンの操作イベントを含む状態遷移要求が通信端末１００Ａから届く。この時点において、状態遷移要求に含まれる「画面名＝ボリューム設定画面、ボリューム＝５０」なる画面状態情報は現在の通信端末１００Ｂの画面状態と一致しない。このため、通信端末１００Ｂは、状態遷移要求に含まれる操作イベントを無視し、エラー報告を通信端末１００Ａに送る。通信端末１００Ａでは、通信端末１００Ｂに送った操作イベントが受け容れられなかった旨のエラーメセージが表示される。   On the other hand, in the communication terminal 100B, after the transition to the screen state “screen name = address editing screen, selected address = address 1” is made, a state transition request including an operation event of the volume up button is received from the communication terminal 100A. . At this time, the screen state information “screen name = volume setting screen, volume = 50” included in the state transition request does not match the current screen state of the communication terminal 100B. For this reason, the communication terminal 100B ignores the operation event included in the state transition request and sends an error report to the communication terminal 100A. In communication terminal 100A, an error message indicating that the operation event sent to communication terminal 100B has not been accepted is displayed.

以上のように、本実施形態によれば、被遠隔操作端末において操作部の操作が行われる状況においても、遠隔元操作端末および被遠隔操作端末の両画面状態に矛盾を生じさせることなく、遠隔操作元端末による被遠隔操作端末の遠隔操作を行うことができる。また、本実施形態において、遠隔操作元端末における操作イベントも被遠隔操作端末における操作イベントもすべて被遠隔操作端末において実行されるので、１台の被遠隔操作端末を複数台の遠隔操作元端末により遠隔操作することも可能である。   As described above, according to the present embodiment, even in a situation where the operation unit is operated on the remote operation terminal, the remote operation terminal and the remote operation terminal can be remotely controlled without causing any contradiction in both screen states. The remote operation terminal can be remotely operated by the operation source terminal. Further, in this embodiment, since the operation event at the remote operation source terminal and the operation event at the remote operation terminal are all executed at the remote operation terminal, one remote operation terminal is connected to a plurality of remote operation source terminals. Remote control is also possible.

＜第２実施形態＞
図５において、通信端末１００Ａおよび１００Ｂは、上記第１実施形態のものと同様な通信端末である。本実施形態の特徴は、通信端末１００Ａおよび１００Ｂの各制御部５により実行される遠隔操作対応アプリケーションプログラムにある。上記第１実施形態における遠隔操作対応アプリケーションプログラムは、２台の通信端末間で行われる遠隔操作において、一方の通信端末を遠隔操作元端末、他方の通信端末を被遠隔操作端末として機能させた。これに対し、本実施形態における遠隔操作対応アプリケーションプログラムは、２台の通信端末が互いに相手の通信端末を遠隔制御するように各通信端末を機能させる。前掲図１と同様、通信端末１００Ａおよび１００Ｂの各制御部５を表わすボックス内には、遠隔操作対応アプリケーションプログラムを構成する各処理が示されている。通信端末１００Ａおよび１００Ｂ間において、遠隔操作対応アプリケーションプログラムの処理の内容は全く同一である。従って、以下では、通信端末１００Ａの制御部５により実行される処理の内容について説明する。 Second Embodiment
In FIG. 5, communication terminals 100A and 100B are communication terminals similar to those in the first embodiment. A feature of the present embodiment resides in a remote operation compatible application program executed by each control unit 5 of the communication terminals 100A and 100B. In the remote operation compatible application program in the first embodiment, in a remote operation performed between two communication terminals, one communication terminal functions as a remote operation source terminal and the other communication terminal functions as a remote operation terminal. On the other hand, the remote operation compatible application program in this embodiment causes each communication terminal to function so that two communication terminals can remotely control each other's communication terminal. As in FIG. 1, the boxes representing the respective control units 5 of the communication terminals 100A and 100B show the respective processes constituting the remote operation compatible application program. The processing contents of the remote operation compatible application program are exactly the same between the communication terminals 100A and 100B. Therefore, below, the content of the process performed by the control part 5 of 100 A of communication terminals is demonstrated.

上記第１実施形態のものと同様、状態遷移要求処理２５１は、通信端末１００Ａにおいて操作イベントが発生した場合に、画面状態を遷移させることなく、操作イベントと当該通信端末１００Ａの現在の画面状態を示す画面状態情報とを含む状態遷移要求情報を相手の通信端末１００Ｂに送信する処理である。また、同期化処理２５２は、相手の通信端末１００Ｂの画面状態を示す画面状態情報が受信された場合に、当該通信端末１００Ａの画面状態を画面状態情報が示す画面状態に遷移させる処理である。照合処理２５３は、相手の通信端末１００Ｂにおいて発生した操作イベントおよびその通信端末１００Ｂの画面状態を示す画面状態情報を含む状態遷移要求情報が受信された場合に、状態遷移要求情報に含まれる画面状態情報が当該通信端末１００Ａの画面状態と矛盾しないか否かを判断する処理である。この判断結果が否定的な場合はエラー報告が通信端末１００Ｂに送られ、通信端末１００Ｂではエラーメッセージの表示が行われる。イベント実行処理２５４は、照合処理２５３の判断結果が肯定的である場合に、状態遷移要求情報に含まれる操作イベントに従って、当該通信端末１００Ａの画面状態を遷移させる処理である。状態遷移報告処理２５５は、イベント実行処理２５４により当該通信端末１００Ａの画面状態が遷移した場合に、遷移後の画面状態を示す画面状態情報を相手の通信端末１００Ｂに送信する処理である。   As in the first embodiment, the state transition request process 251 displays the operation event and the current screen state of the communication terminal 100A without causing the screen state to transition when an operation event occurs in the communication terminal 100A. This is a process of transmitting state transition request information including the screen state information shown to the communication terminal 100B. Further, the synchronization process 252 is a process of transitioning the screen state of the communication terminal 100A to the screen state indicated by the screen state information when the screen state information indicating the screen state of the partner communication terminal 100B is received. When the state transition request information including the operation event that occurred in the communication terminal 100B of the other party and the screen state information indicating the screen state of the communication terminal 100B is received, the matching process 253 is the screen state included in the state transition request information. This is a process for determining whether the information is consistent with the screen state of the communication terminal 100A. If the determination result is negative, an error report is sent to the communication terminal 100B, and an error message is displayed on the communication terminal 100B. The event execution process 254 is a process for transitioning the screen state of the communication terminal 100 </ b> A according to the operation event included in the state transition request information when the determination result of the collation process 253 is positive. The state transition report process 255 is a process of transmitting screen state information indicating the screen state after the transition to the partner communication terminal 100B when the screen state of the communication terminal 100A is changed by the event execution process 254.

通信相手である通信端末１００Ｂの制御部５も、全く同様な状態遷移要求処理２５１、同期化処理２５２、照合処理２５３、イベント実行処理２５４および状態遷移報告処理２５５を実行する。そして、一方の通信端末の状態遷移要求処理２５１において生成された状態遷移要求情報は、他方の通信端末における照合処理２５３およびイベント実行処理２５４の処理対象となり、一方の通信端末の状態遷移報告処理２５５により生成された画面状態情報は他方の通信端末の同期化処理２５２の処理対象となる。   The control unit 5 of the communication terminal 100B that is the communication partner also executes exactly the same state transition request processing 251, synchronization processing 252, matching processing 253, event execution processing 254, and state transition reporting processing 255. Then, the state transition request information generated in the state transition request process 251 of one communication terminal becomes a processing target of the collation process 253 and the event execution process 254 in the other communication terminal, and the state transition report process 255 of one communication terminal. The screen state information generated by the above becomes the processing target of the synchronization processing 252 of the other communication terminal.

本実施形態では、一方の通信端末において発生した操作イベントは、一方の通信端末の画面状態情報とともに他方の通信端末に送られ、他方の通信端末においては、受信された画面状態情報が画面状態を矛盾しない場合に限って、受信された操作イベントが実行される。この操作イベントの実行の結果、画面状態の遷移があると、遷移後の画面状態を示す画面状態情報が他方の通信端末から一方の通信端末に送られ、一方の通信端末では、画面状態情報に画面状態を追従させる動作が行われる。従って、各通信端末は、お互いの画面状態に矛盾を生じさせることなく、相手の通信端末の遠隔操作を行うことが可能である。   In the present embodiment, an operation event that occurs in one communication terminal is sent to the other communication terminal together with the screen state information of one communication terminal. In the other communication terminal, the received screen state information indicates the screen state. The received operation event is executed only when there is no contradiction. As a result of the execution of this operation event, when there is a screen state transition, screen state information indicating the screen state after the transition is sent from the other communication terminal to one communication terminal. An operation to follow the screen state is performed. Therefore, each communication terminal can perform remote operation of the other communication terminal without causing any contradiction in the screen state of each other.

以上、この発明の実施形態について説明したが、この発明にはこれ以外にも他の実施形態が考えられる。例えば次の通りである。
（１）上記第１実施形態における遠隔操作対応アプリケーションプログラムは、遠隔操作モードおよび被遠隔操作モードの両方を有し、通常モードから遠隔操作モードまたは被遠隔操作モードのいずれにも移行可能であった。しかし、遠隔操作モードしか有しない遠隔操作対応アプリケーションプログラム、被遠隔操作モードしか有しない被遠隔操作対応アプリケーションプログラムを作成し、ユーザに配布してもよい。
（２）上記各実施形態では、画面状態を内部状態と同一視することができるため、通信端末では、操作イベントを画面状態情報とともに相手の通信端末に送るようにした。しかし、遠隔操作アプリケーションプログラムの内容によっては、画面状態が同じ複数の内部状態が生じる場合もある。その場合には、画面状態情報よりも内部状態を正確に表わす内部状態情報を２台の通信端末間で授受し、内部状態の遷移の制御を行うようにすればよい。 As mentioned above, although embodiment of this invention was described, other embodiment other than this can be considered to this invention. For example:
(1) The remote operation compatible application program in the first embodiment has both the remote operation mode and the remote operation mode, and can be shifted from the normal mode to either the remote operation mode or the remote operation mode. . However, a remote operation compatible application program having only the remote operation mode and a remote operation compatible application program having only the remote operation mode may be created and distributed to the user.
(2) In each of the above embodiments, since the screen state can be identified with the internal state, the communication terminal sends the operation event to the partner communication terminal together with the screen state information. However, depending on the contents of the remote operation application program, a plurality of internal states having the same screen state may occur. In that case, internal state information that accurately represents the internal state rather than the screen state information may be exchanged between the two communication terminals to control transition of the internal state.

この発明の第１実施形態である通信端末の構成およびそれらの処理内容を示すブロック図である。It is a block diagram which shows the structure of those communication terminals which are 1st Embodiment of this invention, and those processing content. 同実施形態において２台の通信端末間で行われるモード設定手続を示すシーケンス図である。It is a sequence diagram which shows the mode setting procedure performed between two communication terminals in the same embodiment. 同実施形態の第１の動作例を示すシーケンス図である。FIG. 6 is a sequence diagram showing a first operation example of the same embodiment. 同実施形態の第２の動作例を示すシーケンス図である。FIG. 10 is a sequence diagram showing a second operation example of the same embodiment. この発明の第２実施形態である通信端末の構成およびその処理内容を示すブロック図である。It is a block diagram which shows the structure of the communication terminal which is 2nd Embodiment of this invention, and its processing content.

符号の説明Explanation of symbols

１００Ａ，１００Ｂ……通信端末、１……操作部、２……表示部、３……記憶部、４……通信部、５……制御部、２０１，２５１……状態遷移要求処理、２０２，２５２……同期化処理、２１１，２５３……照合処理、２２１，２２２，２５４……イベント実行処理、２２３，２５５……状態遷移報告処理、３０１，３０６……操作イベント、３０２，３０４，３０５……画面状態情報、３０３……状態遷移要求情報。 100A, 100B: Communication terminal, 1 ... Operation unit, 2 ... Display unit, 3 ... Storage unit, 4 ... Communication unit, 5 ... Control unit, 201, 251 ... State transition request processing, 202, 252... Synchronization processing, 211, 253 .. Collation processing, 221, 222, 254 .. Event execution processing, 223, 255... State transition report processing, 301, 306 .. Operation event, 302, 304, 305. ... screen state information, 303 ... state transition request information.

Claims (10)

第１および第２の通信端末が内部状態を共有し、前記第１の通信端末が前記第２の通信端末の遠隔操作を行う方法において、
前記第１の通信端末は、
前記第１の通信端末において操作イベントが発生した場合に、内部状態を遷移させることなく、前記第１の通信端末において発生した操作イベントと前記第１の通信端末の現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を前記第２の通信端末に送信する状態遷移要求処理と、
前記第２の通信端末の内部状態を示す内部状態情報が受信された場合に、前記第１の通信端末の内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化処理とを実行し、
前記第２の通信端末は、
前記状態遷移要求情報が受信され、前記状態遷移要求情報に含まれる内部状態情報が前記第２の通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、前記第２の通信端末の内部状態を遷移させる第１の操作イベント実行処理と、
前記第２の通信端末において操作イベントが発生した場合に、前記第２の通信端末において発生した操作イベントに従って、前記第２の通信端末の内部状態を遷移させる第２の操作イベント実行処理と、
前記第１の操作イベント実行処理または第２の操作イベント実行処理により前記第２の通信端末の内部状態が遷移した場合に、遷移後の内部状態を示す内部状態情報を前記第１の通信端末に送信する状態遷移報告処理とを実行することを特徴とする遠隔操作方法。 In a method in which the first and second communication terminals share an internal state, and the first communication terminal performs remote operation of the second communication terminal,
The first communication terminal is
When an operation event occurs in the first communication terminal, an internal state indicating the operation event that has occurred in the first communication terminal and the current internal state of the first communication terminal without causing an internal state to transition State transition request processing for transmitting state transition request information including information to the second communication terminal;
A synchronization process for transitioning the internal state of the first communication terminal to the internal state indicated by the received internal state information when internal state information indicating the internal state of the second communication terminal is received; And
The second communication terminal is
When the state transition request information is received and the internal state information included in the state transition request information is not inconsistent with the internal state of the second communication terminal, according to the operation event included in the state transition request information A first operation event execution process for transitioning the internal state of the two communication terminals;
A second operation event execution process for transitioning the internal state of the second communication terminal according to the operation event generated in the second communication terminal when an operation event occurs in the second communication terminal;
When the internal state of the second communication terminal is changed by the first operation event execution process or the second operation event execution process, internal state information indicating the internal state after the transition is transmitted to the first communication terminal. A remote operation method characterized by executing a state transition report process to be transmitted. 第１および第２の通信端末が内部状態を共有し、相互に相手の遠隔操作を行う方法において、
前記第１および第２の通信端末の各々が、
当該通信端末において操作イベントが発生した場合に、内部状態を遷移させることなく、当該通信端末において発生した操作イベントと当該通信端末の現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を相手の通信端末に送信する状態遷移要求処理と、
相手の通信端末の内部状態を示す内部状態情報が受信された場合に、当該通信端末の内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化処理と、
相手の通信端末において発生した操作イベントおよび前記相手の通信端末の内部状態を示す内部状態情報を含む状態遷移要求情報が受信され、前記状態遷移要求情報に含まれる内部状態情報が当該通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該通信端末の内部状態を遷移させる操作イベント実行処理と、
前記操作イベント実行処理により当該通信端末の内部状態が遷移した場合に、遷移後の内部状態を示す内部状態情報を相手の通信端末に送信する状態遷移報告処理とを実行することを特徴とする遠隔操作方法。 In the method in which the first and second communication terminals share the internal state and perform remote operation of each other,
Each of the first and second communication terminals is
When an operation event occurs in the communication terminal, state transition request information including the operation event generated in the communication terminal and the internal state information indicating the current internal state of the communication terminal without causing the internal state to transition. State transition request processing to be sent to the other communication terminal;
A synchronization process for transitioning the internal state of the communication terminal to the internal state indicated by the received internal state information when internal state information indicating the internal state of the counterpart communication terminal is received;
State transition request information including an operation event that occurred in the partner communication terminal and internal state information indicating the internal state of the partner communication terminal is received, and the internal state information included in the state transition request information is stored in the communication terminal. When there is no contradiction with the state, an operation event execution process for transitioning the internal state of the communication terminal according to the operation event included in the state transition request information;
And a state transition reporting process for transmitting internal state information indicating the internal state after the transition to the partner communication terminal when the internal state of the communication terminal is changed by the operation event execution process. Method of operation. 操作部と、通信部と、表示部と、制御部とを具備し、
前記制御部は、
前記操作部において操作イベントが発生した場合に、内部状態を遷移させることなく、前記操作イベントと当該通信端末の現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を前記通信部により被遠隔操作端末に送信する状態遷移要求手段と、
前記被遠隔操作端末の内部状態を示す内部状態情報が前記通信部により受信された場合に、当該通信端末の内部状態を受信された内部状態情報が示す内部状態内部状態に遷移させる同期化手段と、
当該通信端末の内部状態を前記表示部の画面に反映させる表示制御手段と
を具備することを特徴とする通信端末。 An operation unit, a communication unit, a display unit, and a control unit;
The controller is
When an operation event occurs in the operation unit, state transition request information including the operation event and internal state information indicating the current internal state of the communication terminal is received by the communication unit without causing an internal state transition. A state transition request means for transmitting to the remote control terminal;
Synchronization means for transitioning the internal state of the communication terminal to the internal state indicated by the received internal state information when internal state information indicating the internal state of the remote operation terminal is received by the communication unit; ,
Display control means for reflecting the internal state of the communication terminal on the screen of the display unit. 操作部と、通信部と、表示部と、制御部とを具備し、
前記制御部は、
遠隔操作元端末において発生した操作イベントおよび前記遠隔操作元端末の内部状態を示す内部状態情報を含む状態遷移要求情報が前記通信部により受信され、前記状態遷移要求情報に含まれる内部状態情報が当該通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該通信端末の内部状態を遷移させる第１の操作イベント実行手段と、
前記操作部において操作イベントが発生した場合に、前記操作部において発生した操作イベントに従って、当該通信端末の内部状態を遷移させる第２の操作イベント実行手段と、
前記第１の操作イベント実行手段または第２の操作イベント実行手段が当該通信端末の内部状態を遷移させた場合に、遷移後の内部状態を示す内部状態情報を前記通信部により前記遠隔操作元端末に送信する状態遷移報告手段と、
当該通信端末の内部状態を前記表示部の画面に反映させる表示制御手段と
を具備することを特徴とする通信端末。 An operation unit, a communication unit, a display unit, and a control unit;
The controller is
State transition request information including an operation event occurring in the remote operation source terminal and internal state information indicating the internal state of the remote operation source terminal is received by the communication unit, and the internal state information included in the state transition request information is A first operation event executing means for transitioning the internal state of the communication terminal according to the operation event included in the state transition request information when the internal state of the communication terminal is not inconsistent;
Second operation event execution means for transitioning the internal state of the communication terminal according to the operation event generated in the operation unit when an operation event occurs in the operation unit;
When the first operation event execution means or the second operation event execution means changes the internal state of the communication terminal, internal state information indicating the internal state after the transition is transmitted to the remote operation source terminal by the communication unit. State transition reporting means to be transmitted to
Display control means for reflecting the internal state of the communication terminal on the screen of the display unit. 操作部と、通信部と、表示部と、制御部とを具備し、
前記制御部は、前記通信部を介した相手の通信端末との通信を通じて、動作モードを、当該通信端末を遠隔操作元端末として機能させる遠隔操作モードまたは当該通信端末を被遠隔操作端末として機能させる被遠隔操作モードに設定し、
前記制御部は、前記遠隔操作モードおよび前記被遠隔モードに共通の処理を行う手段として、当該通信端末の内部状態を前記表示部の画面に反映させる表示制御手段を具備し、
前記制御部は、前記遠隔操作モードでの処理を行う手段として、
前記操作部において操作イベントが発生した場合に、当該通信端末の内部状態を遷移させることなく、前記操作部において発生した操作イベントと当該通信端末の現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を前記通信部により通信相手である被遠隔操作端末に送信する状態遷移要求手段と、
前記被遠隔操作端末の内部状態を示す内部状態情報が前記通信部により受信された場合に、当該通信端末の内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化手段とを具備し、
前記被遠隔操作モードでの処理を行う手段として、
通信相手である遠隔操作元端末において発生した操作イベントおよび前記遠隔操作元端末の内部状態を示す内部状態情報を含む状態遷移要求情報が前記通信部により受信され、前記状態遷移要求情報に含まれる内部状態情報が当該通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該通信端末の内部状態を遷移させる第１の操作イベント実行手段と、
前記操作部において操作イベントが発生した場合に、前記操作部において発生した操作イベントに従って、当該通信端末の内部状態を遷移させる第２の操作イベント実行手段と、
前記第１の操作イベント実行手段または第２の操作イベント実行手段が当該通信端末の内部状態を遷移させた場合に、遷移後の内部状態を示す内部状態情報を前記通信部により前記遠隔操作元端末に送信する状態遷移報告手段とを具備することを特徴とする通信端末。 An operation unit, a communication unit, a display unit, and a control unit;
The control unit causes the communication mode to function as a remote operation source terminal or a remote operation mode that allows the communication terminal to function as a remote operation source terminal through communication with a counterpart communication terminal via the communication unit. Set to remote operation mode,
The control unit includes a display control unit that reflects the internal state of the communication terminal on the screen of the display unit as a unit that performs processing common to the remote operation mode and the remote mode.
As a means for performing processing in the remote operation mode, the control unit,
A state including an operation event generated in the operation unit and internal state information indicating the current internal state of the communication terminal without causing the internal state of the communication terminal to transition when an operation event occurs in the operation unit State transition request means for transmitting transition request information to the remote operation terminal that is a communication partner by the communication unit;
Synchronization means for transitioning the internal state of the communication terminal to the internal state indicated by the received internal state information when internal state information indicating the internal state of the remote operation terminal is received by the communication unit; And
As a means for performing processing in the remote operation mode,
The state transition request information including the operation event that occurred in the remote operation source terminal that is the communication partner and the internal state information indicating the internal state of the remote operation source terminal is received by the communication unit, and is included in the state transition request information A first operation event executing means for transitioning the internal state of the communication terminal according to an operation event included in the state transition request information when the state information is consistent with the internal state of the communication terminal;
Second operation event execution means for transitioning the internal state of the communication terminal according to the operation event generated in the operation unit when an operation event occurs in the operation unit;
When the first operation event execution means or the second operation event execution means changes the internal state of the communication terminal, internal state information indicating the internal state after the transition is transmitted to the remote operation source terminal by the communication unit. And a state transition reporting means for transmitting to the communication terminal. 操作部と、通信部と、表示部と、制御部とを具備し、
前記制御部は、
前記操作部において操作イベントが発生した場合に、当該通信端末の内部状態を遷移させることなく、前記操作部において発生した操作イベントと現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を前記通信部により相手の通信端末に送信する状態遷移要求手段と、
相手の通信端末の内部状態を示す内部状態情報が前記通信部により受信された場合に、当該通信端末の内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化手段と、
相手の通信端末において発生した操作イベントおよび前記相手の通信端末の内部状態を示す内部状態情報を含む状態遷移要求情報が前記通信部により受信され、前記状態遷移要求情報に含まれる内部状態情報が当該通信端末の内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該通信端末の内部状態を遷移させる操作イベント実行手段と、
前記操作イベント実行手段が当該通信端末の内部状態を遷移させた場合に、遷移後の内部状態を示す内部状態情報を前記通信部により相手の通信端末に送信する状態遷移報告手段と、
当該通信端末の内部状態を前記表示部の画面に反映させる表示制御手段と
を具備することを特徴とする通信端末。 An operation unit, a communication unit, a display unit, and a control unit;
The controller is
When an operation event occurs in the operation unit, state transition request information including the operation event generated in the operation unit and the internal state information indicating the current internal state without changing the internal state of the communication terminal. A state transition requesting means for transmitting to the other communication terminal by the communication unit;
Synchronization means for transitioning the internal state of the communication terminal to the internal state indicated by the received internal state information when internal state information indicating the internal state of the counterpart communication terminal is received by the communication unit;
State transition request information including an operation event that has occurred in the partner communication terminal and internal state information indicating the internal state of the partner communication terminal is received by the communication unit, and the internal state information included in the state transition request information is If there is no contradiction with the internal state of the communication terminal, according to the operation event included in the state transition request information, operation event execution means for transitioning the internal state of the communication terminal,
When the operation event execution means transitions the internal state of the communication terminal, state transition reporting means for transmitting internal state information indicating the internal state after the transition to the partner communication terminal by the communication unit;
Display control means for reflecting the internal state of the communication terminal on the screen of the display unit. 前記内部状態情報は、送信元である通信端末の表示部の画面の状態を示す画面状態情報であることを特徴とする請求項３〜６のいずれか１の請求項に記載の通信端末。   The communication terminal according to any one of claims 3 to 6, wherein the internal state information is screen state information indicating a screen state of a display unit of a communication terminal that is a transmission source. コンピュータを、
操作部において操作イベントが発生した場合に、当該コンピュータの内部状態を遷移させることなく、前記操作部において発生した操作イベントと現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を通信部により被遠隔操作端末に送信する状態遷移要求手段と、
前記被遠隔操作端末の内部状態を示す内部状態情報が前記通信部により受信された場合に、当該コンピュータの内部状態を受信された内部状態情報が示す内部状態に遷移させる同期化手段と、
当該コンピュータの内部状態を表示部の画面に反映させる表示制御手段と
して機能させることを特徴とするプログラム。 Computer
When an operation event occurs in the operation unit, the communication unit transmits state transition request information including the operation event generated in the operation unit and internal state information indicating the current internal state without causing the internal state of the computer to transition. A state transition requesting means for transmitting to the remotely operated terminal by
Synchronization means for transitioning the internal state of the computer to the internal state indicated by the received internal state information when internal state information indicating the internal state of the remote operation terminal is received by the communication unit;
A program that functions as display control means for reflecting the internal state of the computer on the screen of the display unit. コンピュータを、
遠隔操作元端末において発生した操作イベントおよび前記遠隔操作元端末の内部状態を示す内部状態情報を含む状態遷移要求情報が通信部により受信され、前記状態遷移要求情報に含まれる内部状態情報が内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該コンピュータの内部状態を遷移させる第１の操作イベント実行手段と、
操作部において操作イベントが発生した場合に、前記操作部において発生した操作イベントに従って、当該コンピュータの内部状態を遷移させる第２の操作イベント実行手段と、
前記第１の操作イベント実行手段または第２の操作イベント実行手段が当該コンピュータの内部状態を遷移させた場合に、遷移後の内部状態を示す内部状態情報を前記通信部により前記遠隔操作元端末に送信する状態遷移報告手段と、
当該コンピュータの内部状態を表示部の画面に反映させる表示制御手段と
して機能させることを特徴とするプログラム。 Computer
State transition request information including an operation event occurring in the remote operation source terminal and internal state information indicating the internal state of the remote operation source terminal is received by the communication unit, and the internal state information included in the state transition request information is the internal state A first operation event executing means for causing the internal state of the computer to transition according to an operation event included in the state transition request information,
Second operation event execution means for transitioning the internal state of the computer according to the operation event generated in the operation unit when an operation event occurs in the operation unit;
When the first operation event execution unit or the second operation event execution unit changes the internal state of the computer, internal state information indicating the internal state after the transition is transmitted to the remote operation source terminal by the communication unit. State transition reporting means for transmitting;
A program that functions as display control means for reflecting the internal state of the computer on the screen of the display unit. コンピュータを、
操作部において操作イベントが発生した場合に、当該コンピュータの内部状態を遷移させることなく、前記操作部において発生した操作イベントと当該コンピュータの現在の内部状態を示す内部状態情報とを含む状態遷移要求情報を通信部により相手の通信端末に送信する状態遷移要求手段と、
相手の通信端末の内部状態を示す内部状態情報が前記通信部により受信された場合に、当該コンピュータの内部状態を受信された内部状態情報が示す内部状態に遷移させる内部状態同期化手段と、
相手の通信端末において発生した操作イベントおよび前記相手の通信端末の内部状態を示す内部状態情報を含む状態遷移要求情報が前記通信部により受信され、前記状態遷移要求情報に含まれる内部状態情報が当該コンピュータの内部状態と矛盾しない場合に、前記状態遷移要求情報に含まれる操作イベントに従って、当該コンピュータの内部状態を遷移させる操作イベント実行手段と、
前記操作イベント実行手段が当該コンピュータの内部状態を遷移させた場合に、遷移後の内部状態を示す内部状態情報を前記通信部により相手の通信端末に送信する状態遷移報告手段と、
当該コンピュータの内部状態を表示部の画面に反映させる表示制御手段と
して機能させることを特徴とするプログラム。 Computer
State transition request information including an operation event generated in the operation unit and internal state information indicating the current internal state of the computer without causing an internal state of the computer to transition when an operation event occurs in the operation unit State transition requesting means for transmitting to the other communication terminal by the communication unit;
Internal state synchronization means for transitioning the internal state of the computer to the internal state indicated by the received internal state information when internal state information indicating the internal state of the counterpart communication terminal is received by the communication unit;
State transition request information including an operation event that has occurred in the partner communication terminal and internal state information indicating the internal state of the partner communication terminal is received by the communication unit, and the internal state information included in the state transition request information is When there is no contradiction with the internal state of the computer, according to the operation event included in the state transition request information, operation event execution means for transitioning the internal state of the computer,
When the operation event execution means transitions the internal state of the computer, state transition reporting means for transmitting internal state information indicating the internal state after the transition to the partner communication terminal by the communication unit;
A program that functions as display control means for reflecting the internal state of the computer on the screen of the display unit.
JP2005324272A 2005-11-09 2005-11-09 Communication terminal, remote operation method and program Withdrawn JP2007134843A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005324272A JP2007134843A (en) 2005-11-09 2005-11-09 Communication terminal, remote operation method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005324272A JP2007134843A (en) 2005-11-09 2005-11-09 Communication terminal, remote operation method and program

Publications (1)

Publication Number Publication Date
JP2007134843A true JP2007134843A (en) 2007-05-31

Family

ID=38156157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005324272A Withdrawn JP2007134843A (en) 2005-11-09 2005-11-09 Communication terminal, remote operation method and program

Country Status (1)

Country Link
JP (1) JP2007134843A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095918A1 (en) * 2011-01-14 2012-07-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Remote control system, relay device, communication device, and remote control method
KR101369611B1 (en) * 2012-04-02 2014-03-04 조현근 Method for view point remote control in video telephone system
JP2016530818A (en) * 2014-07-21 2016-09-29 シャオミ・インコーポレイテッド CALL METHOD, CALL DEVICE, CALL SYSTEM, PROGRAM, AND RECORDING MEDIUM
US9544542B2 (en) 2015-03-31 2017-01-10 Brother Kogyo Kabushiki Kaisha Teleconference management server device, teleconference management method and non-transitory computer-readable medium
US9794415B2 (en) 2014-07-21 2017-10-17 Xiaomi Inc. Calling methods and devices

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012095918A1 (en) * 2011-01-14 2012-07-19 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Remote control system, relay device, communication device, and remote control method
CN103329512A (en) * 2011-01-14 2013-09-25 Nec卡西欧移动通信株式会社 Remote control system, relay device, communication device, and remote control method
JPWO2012095918A1 (en) * 2011-01-14 2014-06-09 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Remote operation system, relay device, communication device, and remote operation method
US9497193B2 (en) 2011-01-14 2016-11-15 Nec Corporation Remote operation system, relay device, communication device, and remote operation method
KR101369611B1 (en) * 2012-04-02 2014-03-04 조현근 Method for view point remote control in video telephone system
JP2016530818A (en) * 2014-07-21 2016-09-29 シャオミ・インコーポレイテッド CALL METHOD, CALL DEVICE, CALL SYSTEM, PROGRAM, AND RECORDING MEDIUM
US9794415B2 (en) 2014-07-21 2017-10-17 Xiaomi Inc. Calling methods and devices
US9544542B2 (en) 2015-03-31 2017-01-10 Brother Kogyo Kabushiki Kaisha Teleconference management server device, teleconference management method and non-transitory computer-readable medium

Similar Documents

Publication Publication Date Title
JP5753947B2 (en) Method, system, and apparatus for sharing application information
JP4724733B2 (en) Video editing system, video editing server, communication terminal
TWI335519B (en) Method for managing file replication in applications
CN105278887B (en) Information processing system and information processing unit
JP4475291B2 (en) Image processing apparatus, workflow test method, and test program
JP5522381B2 (en) Display device, terminal device, display system, program, information storage medium, display method, and image change method
US20160069007A1 (en) Sewing machine system, terminal device, method of synchronizing embroidery data for sewing machine system, and recording non-transitory medium storing program for terminal device
CN104427169A (en) Remote support apparatus, electronic apparatus, remote support method
JP2007134843A (en) Communication terminal, remote operation method and program
JP7167582B2 (en) Information processing system, method and program
JP2003216562A (en) System, method and program for visualization processing
US8310708B2 (en) Image forming apparatus
JP4535314B2 (en) Information processing apparatus, system, remote operation method, program, and recording medium
WO2015106495A1 (en) Method and device for split-screen presentation of applications and terminal
JP6498823B1 (en) Information processing method, information processing apparatus, and program
JP2005208967A (en) Management computer and method for managing storage device
WO2017115426A1 (en) Data management device, data management method, and data management program
JP2009048386A (en) Communication system, communication method, communication control program, and recording medium with the program stored therein
JP2006227933A (en) Remote control system and remote control method
JP6454438B1 (en) Information processing method, information processing apparatus, and program
JP7085311B2 (en) Information processing equipment, information processing system, information processing method, information processing program
JP2010061432A (en) Client apparatus for server base computing system, server apparatus, server base computing system, client control program, and server control program
JP4145821B2 (en) Client, server, system, connection management method and program having connection management function
JP2008294792A (en) Multifunction device
JP6418195B2 (en) Information processing system and information processing method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090203