JP2017027335A - Object operation device and object operation control program, as well as object operation control method - Google Patents
Object operation device and object operation control program, as well as object operation control method Download PDFInfo
- Publication number
- JP2017027335A JP2017027335A JP2015144714A JP2015144714A JP2017027335A JP 2017027335 A JP2017027335 A JP 2017027335A JP 2015144714 A JP2015144714 A JP 2015144714A JP 2015144714 A JP2015144714 A JP 2015144714A JP 2017027335 A JP2017027335 A JP 2017027335A
- Authority
- JP
- Japan
- Prior art keywords
- user
- unit
- notification
- predetermined
- operation control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、オブジェクト操作装置及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法に関し、特に、オブジェクトの表示及び操作が可能なオブジェクト操作装置及びオブジェクトの操作が競合したときの動作を制御するオブジェクト操作制御プログラム並びにオブジェクト操作制御方法に関する。 The present invention relates to an object operation device, an object operation control program, and an object operation control method, and more particularly to an object operation device capable of displaying and operating an object, an object operation control program for controlling an operation when an object operation conflicts, and The present invention relates to an object operation control method.
近年、ＬＣＤ（Liquid Crystal Display）等の表示デバイスの大画面化が進められており、大画面の表示デバイスにタッチセンサを備えた大型のタッチパネルも提供されている。そして、大型のタッチパネルを用いて、複数のユーザが画面上で文字や図形などのオブジェクトを描画し、そのオブジェクトを操作して議論やアイデア出しを行う電子会議などが行われるようになってきている。また、離れた場所に設置された複数の表示デバイスを通信ネットワークで接続し、所定の表示デバイスにおけるオブジェクトの操作を他の表示デバイスに反映させることにより、離れた場所でユーザ同士が情報交換を行う電子会議（いわゆるＴＶ会議）も行われるようになってきている。また、近年、オブジェクトを３次元空間に投影したり、３次元空間に投影したオブジェクトをユーザのジェスチャに応じて操作したりする装置も開発されており、このような装置を用いた仮想現実空間での電子会議も可能になってきている。 In recent years, display devices such as LCD (Liquid Crystal Display) have been increased in screen size, and a large touch panel provided with a touch sensor in a large screen display device is also provided. And, using a large touch panel, electronic conferences where multiple users draw objects such as letters and figures on the screen and operate the objects to discuss and give ideas have come to be held . In addition, a plurality of display devices installed at remote locations are connected by a communication network, and object operations on a predetermined display device are reflected on other display devices, so that users exchange information at remote locations. Electronic conferences (so-called TV conferences) are also being held. In recent years, an apparatus for projecting an object into a three-dimensional space and operating an object projected onto the three-dimensional space according to a user's gesture has been developed. In a virtual reality space using such an apparatus, The electronic conference is now possible.
このような電子会議では、複数のユーザが同じオブジェクトに対して様々な操作を行う場合があることから、操作の競合を防止する必要があり、そのための様々な方法が提案されている。 In such an electronic conference, since a plurality of users may perform various operations on the same object, it is necessary to prevent operation conflicts, and various methods have been proposed.
例えば、下記特許文献１には、ユーザが共用データ・オブジェクトに対するアクセス権を得るのに応答して、そのユーザに、活動状態のすべての出力表示装置上で表示するために使用できるカーソルを割り当てる段階と、確立ユーザによる選択に応答して、共用データ・オブジェクト内のあるブロックの位置を決定する段階と、前記ブロックが以前に確立されたロック領域の一部分を含まない場合に、確立ユーザに割り当てられたカーソルを除き、共用データ・オブジェクト内の前記ブロックから操作できないようにロックされたロック領域を確立する段階と、を含む方法が開示されている。 For example, in US Pat. No. 6,057,836, in response to a user gaining access to a shared data object, the user is assigned a cursor that can be used to display on all active output display devices. In response to a selection by the established user, determining the position of a block in the shared data object, and assigned to the established user if the block does not contain a portion of the previously established lock area. Establishing a locked region that is locked so that it cannot be manipulated from the block in a shared data object except for a cursor.
また、下記特許文献２には、オブジェクトを表示する表示部と、前記表示部に表示された前記オブジェクトの選択及び操作を受け付ける入力部と、を備えるオブジェクト操作装置において、オブジェクトが選択されたら、ユーザ毎に前記オブジェクトの選択／非選択の状態を設定し、選択されたオブジェクトが操作されたら、前記オブジェクトを前記操作に応じて制御する制御部を備え、前記制御部は、前記選択されたオブジェクトに対して特定の操作が行われた場合は、前記オブジェクトが１人のユーザに選択されている時と複数のユーザに選択されている時とで、前記特定の操作に応じた制御を変えるオブジェクト操作装置が開示されている。
Further, in
複数のユーザが１つの画面（３次元空間を含む。）を共有したり、通信ネットワークで接続された画面を使用したりして、画面上のオブジェクトに対して移動や拡大縮小などの操作を行うシーン（共同作業）において、複数のユーザにより同時に行えない操作が一つのオブジェクトに対して行われようとした場合、特許文献１のように、一方のユーザのみに操作を許可する制御では、他のユーザはそのオブジェクトに対して操作ができなくなる。例えば、先にオブジェクトにタッチしたユーザが手書き操作（オブジェクトの編集操作）を行っており、他のユーザがページ送り操作（そのオブジェクトを含む画面全体の移動操作）を行おうとした場合、手書き操作の方が優先され、ページ送り操作はできない。 Multiple users share a single screen (including a three-dimensional space) or use a screen connected via a communication network to perform operations such as moving and scaling the objects on the screen. When an operation that cannot be performed simultaneously by a plurality of users in a scene (collaborative work) is to be performed on one object, as in Patent Document 1, in the control that permits an operation only to one user, The user cannot operate on the object. For example, if the user who touched the object first performs a handwriting operation (editing operation of the object) and another user tries to perform a page turning operation (an operation for moving the entire screen including the object), the handwriting operation Is given priority, and page turning is not possible.
このため、ページ送り操作をしようとしたユーザにとってみれば、意図をもって操作を行っているにも関わらず、その操作が無視された状態になる。従って、そのユーザにフラストレーションを与えるだけでなく、そのユーザの意図を他のユーザに知らせることができず、共同作業におけるユーザ同士の意図の疎通を図ることができない。 Therefore, for the user who is trying to perform the page turning operation, the operation is ignored even though the operation is performed with the intention. Therefore, not only frustration is given to the user, but the intention of the user cannot be notified to other users, and the intention of the users in the joint work cannot be communicated.
一方、特許文献２では、あるユーザがオブジェクトのプロパティ変更、コピーや拡大／縮小などのように、他のユーザによるオブジェクトの操作にほとんど影響を与えない操作を行った場合には、その操作を許可することによって、複数のユーザが同時に同一のオブジェクトを操作できるようにしている。しかしながら、複数のユーザによる同時操作を許可すると、操作の優先権を持つユーザが希望通りにオブジェクトを操作することができない場合が生じると共に、操作の優先権を持つユーザの意図を共同作業に正確に反映することができなくなってしまう。
On the other hand, in
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、オブジェクトを操作するユーザの意図を共有して、オブジェクトを適切に操作できるようにするオブジェクト操作装置及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法を提供することにある。 The present invention has been made in view of the above-described problems, and a main object of the present invention is to share an object of a user who operates an object so that the object can be appropriately operated and an object operation control. To provide a program and an object operation control method.
本発明の一側面は、オブジェクトを表示する表示部と、前記表示部に表示されたオブジェクトの操作を受け付ける操作部と、前記表示部に表示されたオブジェクトの操作を行うユーザを検出するユーザ検出部と、前記ユーザ検出部から取得した情報と記憶部に予め記憶した情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、前記第１のユーザとは異なる第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御部と、前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを示す第１の通知を行う通知部と、を備えることを特徴とする。 One aspect of the present invention is a display unit that displays an object, an operation unit that receives an operation of the object displayed on the display unit, and a user detection unit that detects a user who operates the object displayed on the display unit And the information acquired from the user detection unit and the information stored in advance in the storage unit to identify the user who operates the object, and when the first user is operating the predetermined object, An operation control unit that determines that an operation conflict has occurred when a second user different from the first user is operating the predetermined object or the object group including the predetermined object; and the operation conflict When it is determined that the predetermined object has occurred, a first message indicating that the predetermined object is about to be operated is given to the first user. Characterized in that it and a notification unit that performs.
本発明の一側面は、オブジェクトを表示する表示部と、前記表示部に表示されたオブジェクトの操作を受け付ける操作部と、前記表示部に表示されたオブジェクトの操作を行うユーザを検出するユーザ検出部と、を備えるオブジェクト操作装置で動作するオブジェクト操作制御プログラムであって、前記オブジェクト操作装置に、前記ユーザ検出部から取得した情報と記憶部に予め記憶した情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、前記第１のユーザとは異なる第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御処理、前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを示す第１の通知を行う通知処理、を実行させることを特徴とする。 One aspect of the present invention is a display unit that displays an object, an operation unit that receives an operation of the object displayed on the display unit, and a user detection unit that detects a user who operates the object displayed on the display unit And an object operation control program that operates on an object operation device that operates the object by comparing the information acquired from the user detection unit with the information stored in the storage unit in the object operation device. When a user is specified and the first user is operating a predetermined object, a second user different from the first user tries to operate the predetermined object or an object group including the predetermined object. An operation control process for determining that an operation conflict has occurred, and that the operation conflict has occurred. If it is the cross-sectional, with respect to the first user, characterized in that to execute the notification process, performing a first notification that the predetermined object is about to be operated.
本発明の一側面は、オブジェクトを表示する表示部と、前記表示部に表示されたオブジェクトの操作を受け付ける操作部と、前記表示部に表示されたオブジェクトの操作を行うユーザを検出するユーザ検出部と、を備えるオブジェクト操作装置におけるオブジェクト操作制御方法であって、前記ユーザ検出部から取得した情報と記憶部に予め記憶した情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、前記第１のユーザとは異なる第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御処理と、前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを通知する通知処理と、を実行することを特徴とする。 One aspect of the present invention is a display unit that displays an object, an operation unit that receives an operation of the object displayed on the display unit, and a user detection unit that detects a user who operates the object displayed on the display unit And an object operation control method in an object operation device comprising: comparing information acquired from the user detection unit with information stored in advance in a storage unit to identify a user who operates the object; When a user is operating a predetermined object, when a second user different from the first user tries to operate the predetermined object or an object group including the predetermined object, there is an operation conflict. When it is determined that an operation control process for determining occurrence of the operation conflict has occurred, the first user In contrast, and executes a notification process of notifying that a predetermined object is about to be operated.
本発明の一側面は、オブジェクトを表示する表示部と、前記表示部に表示されたオブジェクトの操作を受け付ける操作部と、をそれぞれ備える第１のオブジェクト操作装置及び第２のオブジェクト操作装置が通信ネットワークで接続され、一方のオブジェクト操作装置に表示されているオブジェクトに対する操作が、他方のオブジェクト操作装置に表示されている前記オブジェクトに反映されるシステムにおけるオブジェクト操作制御方法であって、前記第１のオブジェクト操作装置は、第１のユーザが所定のオブジェクトを操作している時に、前記第２のオブジェクト操作装置において、第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御処理と、前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを通知する通知処理と、を実行することを特徴とする。 According to one aspect of the present invention, a first object operation device and a second object operation device each including a display unit that displays an object and an operation unit that receives an operation of the object displayed on the display unit are communication networks. And an object operation control method in the system in which an operation on an object displayed on one object operation device is reflected on the object displayed on the other object operation device. When the first user is operating a predetermined object, the operating device attempts to operate the predetermined object or an object group including the predetermined object in the second object operating device. It is determined that an operation conflict has occurred. And a notification process for notifying the first user that the predetermined object is about to be operated when it is determined that the operation conflict has occurred. It is characterized by that.
本発明のオブジェクト操作装置及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法によれば、オブジェクトを操作するユーザの意図を共有して、オブジェクトを適切に操作できるようにする。 According to the object operation device, the object operation control program, and the object operation control method of the present invention, the user's intention to operate the object is shared so that the object can be appropriately operated.
その理由は、オブジェクトを表示する表示部と、表示部に表示されたオブジェクトの操作を受け付ける操作部と、を備えるオブジェクト操作装置（オブジェクト操作制御プログラム）は、オブジェクトに対する操作を行っているユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、第１のユーザとは異なる第２のユーサが当該所定のオブジェクト又は当該所定のオブジェクトを含むオブジェクト群を操作しようとしている場合、操作の競合が発生したと判断し、操作の競合が発生したと判断された場合に、操作の優先権を持つユーザ（第１のユーザ）に対して、操作の優先権を持たないユーザ（第２のユーザ）が所定のオブジェクトを操作しようとしていることを通知したり、必要に応じて、操作の優先権を持たないユーザ（第２のユーザ）に対しても、操作の優先権を持つユーザ（第１のユーザ）が所定のオブジェクトを操作していることを通知したりするからである。 The reason is that an object operation device (object operation control program) including a display unit that displays an object and an operation unit that receives an operation of the object displayed on the display unit identifies a user who performs an operation on the object When the first user is operating a predetermined object, a second user different from the first user is trying to operate the predetermined object or an object group including the predetermined object. A user who does not have the operation priority (second user) with respect to the user who has the operation priority (first user) when it is determined that the operation conflict has occurred. Users) who are trying to operate on a given object, or if necessary, Against The (second user), a user with a priority operation (first user) is because and notifies that by operating a predetermined object.
これにより、操作の優先権を持つユーザに、操作の優先権を持たないユーザの意図を気付かせる（必要に応じて、更に、操作の優先権を持たないユーザに、操作の優先権を持つユーザの意図を気付かせる）ことができ、ユーザ間で意図を共有することにより、ユーザ同士でその時々に応じた優先度を付けながら共同作業を進めることができる。例えば、操作の優先権を持つユーザは操作の優先権を持たないユーザの意図を汲み取って自らオブジェクトを操作したり、操作の優先権を持たないユーザに操作の優先権を譲ったりすることができ、共同作業を円滑に進めることができる。 As a result, the user who has the operation priority is made aware of the intention of the user who does not have the operation priority (if necessary, the user who does not have the operation priority has a user who has the operation priority. By sharing the intention among the users, the collaborative work can be advanced while giving priority according to the occasion between the users. For example, a user with the operation priority can manipulate the object by taking the intention of the user without the operation priority, or can give the operation priority to a user who does not have the operation priority. , The collaboration can proceed smoothly.
背景技術で示したように、１つの画面や通信ネットワークで接続された複数の画面を使用して共同作業を行う場合、複数のユーザが同一のオブジェクトに対して操作を行う場合があることから、操作の競合を防止する必要がある。例えば、特許文献１では、複数人で共同作業する場合に、作業対象の一部をロックし、他の人に操作されないようにしており、先にオブジェクトにタッチしたユーザの操作を優先し、同一オブジェクトに対する他のユーザの操作を禁止している。しかしながら、このような制御では、操作の優先権を持たないユーザの操作が無視されてしまい、そのユーザの操作の意図を共同作業に反映させることができない。 As shown in the background art, when collaborative work is performed using a single screen or multiple screens connected via a communication network, multiple users may perform operations on the same object. Operational conflicts need to be prevented. For example, in Patent Document 1, when a plurality of people collaborate, a part of the work target is locked so that it is not operated by another person. Other users' operations on the object are prohibited. However, in such control, the operation of the user who does not have the priority of the operation is ignored, and the intention of the user's operation cannot be reflected in the collaborative work.
また、特許文献２では、操作の優先権を持たないユーザに対しては、他のユーザによるオブジェクトの操作にほとんど影響を与えない特定の操作に限って操作を許可することによって、複数のユーザが同時に同一のオブジェクトを操作できるようにしている。しかしながら、このような制御では、操作の優先権を持つユーザが希望通りにオブジェクトを操作することができない場合が生じ、操作の優先権を持つユーザの意図を共同作業に正確に反映させることができない。
Further, in
すなわち、特許文献１のように操作の優先権を持たないユーザ（後でオブジェクトにタッチしたユーザ）の操作を禁止すると、そのユーザの意図を共同作業に反映させることができず、特許文献２のように操作の優先権を持たないユーザの操作を許可すると、操作の優先権を持つユーザの操作が制限されると共に、操作の優先権を持つユーザの意図を共同作業に十分反映させることができない。そのため、いずれの場合も共同作業におけるユーザ間の意志の疎通を適切に図ることができず、共同作業を円滑に進めることができないという問題が生じる。 That is, if the operation of the user who does not have the priority of the operation (a user who touches the object later) as in Patent Document 1 is prohibited, the intention of the user cannot be reflected in the collaborative work. In this way, if the operation of a user who does not have the operation priority is permitted, the operation of the user having the operation priority is restricted, and the intention of the user having the operation priority cannot be sufficiently reflected in the collaborative work. . Therefore, in any case, there is a problem that communication between users in the joint work cannot be properly achieved and the joint work cannot be smoothly performed.
そこで、本発明の一実施の形態では、オブジェクトを操作するユーザの意図を共有して、オブジェクトを適切に操作できるようにするために、所定のオブジェクトに対する操作が競合している場合に、操作の優先権を持つユーザに対して、所定のオブジェクトが操作されようとしていることを通知する。また、必要に応じて、操作の優先権を持たないユーザに対して、所定のオブジェクトが操作されていることを通知する。また、表示又は音声出力で通知する場合は、所定のオブジェクトを操作するユーザを特定する情報、及び／又は、所定のオブジェクトに対する操作の内容を通知する。 Therefore, in one embodiment of the present invention, in order to share the intention of the user who operates the object and to appropriately operate the object, the operation of the predetermined object is conflicted. A user having priority is notified that a predetermined object is about to be operated. Further, if necessary, a user having no operation priority is notified that a predetermined object is being operated. In the case of notification by display or audio output, information for specifying a user who operates a predetermined object and / or contents of an operation on the predetermined object are notified.
例えば、２人のユーザが１つの画面上でオブジェクトを操作する場面を想定すると、図１（ａ）に示すように、ユーザＡがあるオブジェクトの操作（ここではオブジェクトの移動操作）を行っているときに、ユーザＢがそのオブジェクトを含むオブジェクト群に対する操作（ここでは画面全体を動かすページ送り操作や紙めくり操作）を行おうとしても、ユーザＡに操作の優先権があるため、ユーザＢは操作を行うことができない。このように、操作の優先権がないユーザの操作を禁止する制御では、ユーザＢの操作は無視されてしまうため、ユーザＡは共同作業において優先すべき作業を適切に判断することができない。 For example, assuming that two users operate an object on one screen, as shown in FIG. 1A, a user A performs an operation on an object (in this case, an object movement operation). Sometimes, even if the user B tries to perform an operation on the object group including the object (here, a page turning operation or a paper turning operation for moving the entire screen), the user B has an operation priority, so the user B Can not do. As described above, in the control for prohibiting the operation of the user who does not have the priority of the operation, the operation of the user B is ignored. Therefore, the user A cannot appropriately determine the work to be prioritized in the joint work.
この問題に対して、本発明の一実施の形態では、図１（ｂ）に示すように、操作の優先権を持たないユーザがオブジェクトを操作しようとしていることを、操作の優先権を持つユーザに通知する。例えば、その旨のメッセージを画面に表示したり、その旨のメッセージを音声出力したり、操作の優先権を持つユーザのオブジェクト操作に対して触覚を提示したり（応力を発生させてオブジェクトを動かしにくくしたり）する。 In order to solve this problem, in the embodiment of the present invention, as shown in FIG. 1B, a user who does not have the operation priority is trying to operate the object. Notify For example, a message to that effect is displayed on the screen, a message to that effect is output as a voice, or a tactile sensation is presented in response to an object operation of a user who has priority to operate (the object is moved by generating stress). Or make it harder).
このように、一方のユーザ（操作の優先権を持たないユーザ）がしたいことが何なのかを他方のユーザ（操作の優先権を持つユーザ）に気付かせることにより、共同作業において優先すべき作業を適切に判断することができる。例えば、図１（ｃ）に示すように、操作の優先権を持つユーザＡは、ユーザＢがオブジェクト操作（ページ送り操作や紙めくり操作）を行おうとしていることを知って自身のオブジェクト操作を中止することにより、ユーザＢは操作の優先権を取得してオブジェクト操作を行うことができ、双方のユーザの意思疎通を図って、共同作業を円滑に進めることができる。 In this way, work that should be prioritized in collaborative work by letting the other user (user with operation priority) know what one user (user without operation priority) wants to do Can be determined appropriately. For example, as shown in FIG. 1 (c), a user A who has priority of operation knows that the user B is going to perform an object operation (page turning operation or paper turning operation), and performs his own object operation. By canceling, the user B can acquire the priority of the operation and perform the object operation, and the two users can communicate with each other and the collaborative work can proceed smoothly.
また、２人のユーザが別々の画面上でオブジェクトを操作する場面を想定する。例えば、図２（ａ）に示すように、遠隔地において、ユーザＣとユーザＤがほぼ同じタイミングで同一のオブジェクトをタッチしたが、ユーザＤの方が若干タッチが早かった場合、ユーザＣがそのオブジェクトに対する操作を行おうとしても、ユーザＤに操作の優先権があるため、ユーザＣは操作を行うことができない。このように、より早くオブジェクトにタッチしたユーザに操作の優先権を与える制御では、ユーザＣの操作は無視されてしまうため、ユーザＤは共同作業において優先すべき作業を適切に判断することができない。 Also, assume that two users operate an object on different screens. For example, as shown in FIG. 2 (a), in a remote place, the user C and the user D touch the same object at almost the same timing, but if the user D touches a little earlier, the user C Even if an operation is performed on an object, the user C cannot perform an operation because the user D has the priority of the operation. As described above, in the control for giving the operation priority to the user who touched the object earlier, the operation of the user C is ignored, and therefore the user D cannot appropriately determine the work to be prioritized in the joint work. .
この問題に対して、本発明の一実施の形態では、図２（ｂ）に示すように、一方のユーザが行おうとしている操作を他方のユーザに通知する。例えば、ユーザＣがオブジェクトを操作しようとしている旨のメッセージをユーザＤの画面に表示したり、その旨のメッセージを音声出力したり、ユーザＤのオブジェクト操作に対して触覚を提示したり（応力を発生させてオブジェクトを動かしにくくしたり）する。また、ユーザＤがオブジェクトを操作している旨のメッセージをユーザＣの画面に表示したり、その旨のメッセージを音声出力したり、ユーザＣのオブジェクト操作に対して触覚を提示したり（応力を発生させてオブジェクトを動かしにくくしたり）する。 In order to solve this problem, in the embodiment of the present invention, as shown in FIG. 2B, an operation to be performed by one user is notified to the other user. For example, a message indicating that the user C is about to operate the object is displayed on the screen of the user D, a message to that effect is output by voice, or a tactile sensation is presented in response to the object operation of the user D (stress is applied). To make it difficult to move the object). In addition, a message to the effect that the user D is operating the object is displayed on the screen of the user C, a message to that effect is output by voice, a tactile sensation is presented in response to the user C's object operation (stress is applied) To make it difficult to move the object).
このように、一方のユーザがしたいことが何なのかを他方のユーザに気付かせることにより、共同作業において優先すべき作業をユーザ同士で適切に判断することができる。例えば、図２（ｃ）に示すように、操作の優先権を持つユーザＤは、ユーザＣがオブジェクト操作を行おうとしていることを知り、その意図を汲み取ってオブジェクトを操作する（ユーザＣが行おうとしている操作をユーザＤ自らが行う）ことにより、双方のユーザの意思疎通を図って、共同作業を円滑に進めることができる。 In this way, by letting the other user know what he / she wants to do, the user can appropriately determine the work to be prioritized in the joint work. For example, as shown in FIG. 2 (c), the user D who has the priority of operation knows that the user C is going to operate the object, and draws the intention to operate the object (the user C performs the operation). By performing the operation to be performed by the user D himself / herself, both users can communicate with each other, and the collaborative work can proceed smoothly.
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係るオブジェクト操作装置及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法について、図３乃至図１１を参照して説明する。図３は、本実施例のオブジェクト操作装置の全体構成を模式的に示す図であり、図４は、オブジェクト操作装置の構成を示すブロック図、図５及び図６は、オブジェクト操作装置に組み込まれる触覚提示デバイスを説明する図である。また、図７は、本実施例のオブジェクト操作装置の処理を示すフローチャート図であり、図８は、会議形態に応じた通知方法を示すテーブル、図９乃至図１１は、通知方法の一例を示す図である。 In order to describe the above-described embodiment of the present invention in more detail, an object operation device, an object operation control program, and an object operation control method according to an embodiment of the present invention will be described with reference to FIGS. . FIG. 3 is a diagram schematically illustrating the overall configuration of the object operating device according to the present embodiment, FIG. 4 is a block diagram illustrating the configuration of the object operating device, and FIGS. 5 and 6 are incorporated in the object operating device. It is a figure explaining a tactile sense presentation device. FIG. 7 is a flowchart showing processing of the object operation device according to the present embodiment, FIG. 8 is a table showing a notification method according to the conference form, and FIGS. 9 to 11 show examples of the notification method. FIG.
本実施例のオブジェクト操作装置１０は、ディスプレイ（表示部）上にタッチセンサ（操作部）を備えたタッチパネルを有する装置である。このオブジェクト操作装置１０は、例えば、図３（ａ）に示すように、タッチパネル１０ａにオブジェクト操作を制御する制御部１０ｂを含む一体的な構成としてもよいし、図３（ｂ）に示すように、タッチパネル１０ａと制御部１０ｂとが分離した構成としてもよい。また、オブジェクト操作装置１０は、単独で動作する構成（すなわち、複数のユーザが１つのオブジェクト操作装置１０を共有する構成）としてもよいし、図３（ｃ）に示すように、複数のオブジェクト操作装置１０が通信ネットワークで接続され、複数のオブジェクト操作装置１０の画面上に同じオブジェクトが表示される構成（すなわち、複数のユーザの各々が個別のオブジェクト操作装置１０を使用する構成）としてもよい。 The object operation device 10 according to the present embodiment is a device having a touch panel provided with a touch sensor (operation unit) on a display (display unit). For example, as shown in FIG. 3A, the object operation device 10 may have an integrated configuration including a control unit 10b that controls an object operation on the touch panel 10a, or as shown in FIG. 3B. The touch panel 10a and the control unit 10b may be separated from each other. Further, the object operation device 10 may be configured to operate independently (that is, a configuration in which a plurality of users share one object operation device 10), or as illustrated in FIG. The devices 10 may be connected via a communication network, and the same object may be displayed on the screens of the plurality of object operation devices 10 (that is, a configuration in which each of a plurality of users uses an individual object operation device 10).
なお、本実施例では、タッチパネル１０ａを用いてオブジェクトを操作する構成とするが、タッチパネル以外の手段でオブジェクトを操作することも可能である。例えば、複数のマウスを有線や無線、赤外線、Bluetooth（登録商標）などでオブジェクト操作装置１０に接続し、画面上に複数のマウスカーソルが表示されるようにして、各々のマウスでオブジェクトを操作することもできる。また、指向性の高い光を照射する複数のポインタを有線や無線、赤外線、Bluetooth（登録商標）などでオブジェクト操作装置１０に接続し、照射した光の画面上の位置を認識できるようにして、各々のポインタでオブジェクトを操作することもできる。また、本実施例では、タッチパネルを用いてオブジェクトの表示及び操作を行う構成とするが、オブジェクトを３次元空間に投影し、ユーザのジェスチャを認識してそのジェスチャに応じてオブジェクトを操作してもよい。 In the present embodiment, the object is operated using the touch panel 10a, but the object can be operated by means other than the touch panel. For example, a plurality of mice are connected to the object operating device 10 by wire, wireless, infrared, Bluetooth (registered trademark), etc., and a plurality of mouse cursors are displayed on the screen, and each mouse is used to operate an object. You can also In addition, a plurality of pointers that emit light with high directivity are connected to the object operating device 10 by wired, wireless, infrared, Bluetooth (registered trademark), etc., so that the position of the irradiated light on the screen can be recognized, You can also manipulate objects with each pointer. In this embodiment, the object is displayed and operated using the touch panel. However, even if the object is projected onto the three-dimensional space, the user's gesture is recognized, and the object is operated according to the gesture. Good.
図４（ａ）は、オブジェクト操作装置１０の構成を示すブロック図である。オブジェクト操作装置１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、記憶部１４、ディスプレイ（表示部）１５、タッチセンサ（操作部）１６、触覚提示デバイス１７、スピーカ１８、ユーザ検出部１９、通信Ｉ／Ｆ部２０などで構成される。上記ディスプレイ１５、触覚提示デバイス１７、スピーカ１８は後述する通知を行うための出力部となる。
FIG. 4A is a block diagram illustrating a configuration of the object operation device 10. The object operation device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a
ＣＰＵ１１は、オブジェクト操作装置１０の動作を制御するプログラムをＲＯＭ１２や記憶部１４から読み出し、ＲＡＭ１３上に展開して実行する。上記ＣＰＵ１１と、ＲＯＭ１２やＲＡＭ１３などのメモリとで図３における制御部１０ｂが構成される。制御部１０ｂは、図４（ｂ）に示すように、操作制御部２１、通知部２２として機能する。
The CPU 11 reads out a program for controlling the operation of the object operating device 10 from the ROM 12 or the
操作制御部２１は、オブジェクトをディスプレイ１５の所望の位置に表示させると共に、タッチセンサ１６から出力される信号に基づいて、オブジェクトに対する操作を検出し、操作に応じてオブジェクトの表示形態を変化させる。また、操作制御部２１は、ユーザ検出部１９から取得した情報と記憶部１４に予め記憶したユーザ情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、第１のユーザとは異なる第２のユーサが当該所定のオブジェクト又は当該所定のオブジェクトを含むオブジェクト群を操作しようとしている場合、操作の競合が発生したと判断する操作制御処理を実行する。そして、操作制御部２１は、先に所定のオブジェクトの表示位置をタッチ（以下、オブジェクトにタッチと略記）した第１のユーザに操作の優先権を与え、後で所定のオブジェクトにタッチした第２のユーザの操作を制限する。
The
なお、オブジェクトは、テキストオブジェクト、グラフィックスオブジェクト、イメージオブジェクトなどの操作対象となる表示情報である。また、オブジェクトの操作とは、オブジェクトの選択、移動、拡大／縮小、変形、プロパティ変更（色や線の太さ、線種、字体などの変更）、生成、複製、消去などである。また、本実施例では、先にオブジェクトにタッチしたユーザに操作の優先権を与えるものとするが、例えば、オブジェクト操作装置１０に予め設けたボタンなどを先に操作したユーザに操作の優先権を与えたり、ユーザ検出部１９が先に検出したユーザ（例えば、先に、オブジェクト操作装置１０の前に来たユーザ）に操作の優先権を与えたり、予め定めたユーザ（例えば、役職が上位のユーザ）に操作の優先権を与えたりすることもできる。 The object is display information to be operated such as a text object, a graphics object, and an image object. Object operations include selection, movement, enlargement / reduction, deformation, property change (changes in color, line thickness, line type, font, etc.), generation, duplication, and deletion. In this embodiment, the priority of operation is given to the user who touched the object first. For example, the priority of the operation is given to the user who operated the button provided in advance in the object operation device 10. Give priority to the operation to the user detected first by the user detection unit 19 (for example, the user who came in front of the object operating device 10 first), It is also possible to give priority to operations to (user).
通知部２２は、操作の競合が発生したと判断された場合に、操作の優先権を持つユーザ（上記第１のユーザ）に対して、所定のオブジェクトが操作されようとしていることを通知する通知処理を実行する。更に、通知部２２は、必要に応じて、操作の優先権を持たないユーザ（上記第２のユーザ）に対して、所定のオブジェクトが操作されていることを通知する通知処理を実行する。
The
通知の方法としては、例えば、タッチセンサ１６の操作面に触覚提示デバイス１７（詳細は後述する。）が配置されている場合は、操作の優先権を持つユーザ（必要に応じて、更に操作の優先権を持たないユーザ）のオブジェクト操作に対して、触覚提示デバイス１７を用いて触覚（例えば、オブジェクトを操作しようとした時のオブジェクトの操作方向に対して反対方向の応力（すなわち、オブジェクトを動かしにくくする力、反力と呼ぶ。）やオブジェクト上で指を動かした時の所定の肌触り）を提示する。ユーザに対して、他ユーザのオブジェクト操作の有無や操作内容を触覚で伝えることにより、確実にかつ直観的にユーザに情報を伝えることができ、会議や議論を円滑に進めるのに役立つ。 As a notification method, for example, when a tactile sense presentation device 17 (details will be described later) is arranged on the operation surface of the touch sensor 16, a user having priority of operation (if necessary, further operation For an object operation of a user who does not have priority, using the tactile sense presentation device 17, a tactile sense (for example, a stress in a direction opposite to the operation direction of the object when attempting to manipulate the object (ie, moving the object) It is called a force to make it difficult, or a reaction force.) And a predetermined touch when a finger is moved on the object. By telling the user the presence / absence of the object operation of other users and the content of the operation by tactile sense, information can be reliably and intuitively communicated to the user, which is useful for smoothly proceeding with meetings and discussions.
また、触覚の提示に加えて、若しくは、触覚の提示に代えて、操作の優先権を持つユーザの近傍のディスプレイ１５上に、所定のオブジェクトが操作されようとしている旨のメッセージを表示したり、操作の優先権を持たないユーザの近傍のディスプレイ１５上に、所定のオブジェクトが操作されている旨のメッセージを表示したりする。また、操作の優先権を持つユーザに、スピーカ１８から所定のオブジェクトが操作されようとしている旨のメッセージを音声出力したり、操作の優先権を持たないユーザに、スピーカ１８から所定のオブジェクトが操作されている旨のメッセージを音声出力したりする。上記のようにメッセージの表示や音声出力を行う場合は、所定のオブジェクトを操作するユーザを特定する情報、及び／又は、所定のオブジェクトに対する操作の内容を通知することもできる。また、メッセージを表示するか、メッセージを音声出力するかは、オブジェクト操作装置１０の使用形態に応じて適宜選択することができ、操作の優先権を持つユーザ（第１のユーザ）と操作の優先権を持たないユーザ（第２のユーザ）とで通知のレベルを変更することができる。
Further, in addition to the presentation of tactile sensation, or instead of the presentation of tactile sensation, a message indicating that a predetermined object is about to be operated is displayed on the
なお、上記操作制御部２１及び通知部２２はハードウェアとして構成してもよいし、制御部を操作制御部２１及び通知部２２として機能させるオブジェクト操作制御プログラムとして構成し、当該オブジェクト操作制御プログラムをＣＰＵ１１に実行させる構成としてもよい。
The
記憶部１４は、フラッシュメモリやＳＳＤ（Solid State Drive）などで構成され、ディスプレイ１５に表示するオブジェクトの情報、タッチセンサ１６によるオブジェクトの操作情報、触覚提示デバイス１７の駆動条件、オブジェクトを操作するユーザを特定するためのユーザ情報（顔のパターン情報、ユーザＩＤなど）を記憶する。
The
ディスプレイ（表示部）１５は、ＬＣＤや有機ＥＬ（electroluminescence）ディスプレイなどで構成され、駆動部１５ａによって駆動され、制御部の指示に従ってオブジェクトを表示する。また、オブジェクト操作の競合が発生している場合は、通知部２２の指示に従って、操作の優先権を持つユーザの近傍に、操作の優先権を持たないユーザがオブジェクトを操作しようとしている旨のメッセージを表示したり、必要に応じて、操作の優先権を持たないユーザの近傍に、操作の優先権を持つユーザがオブジェクトの操作を行っている旨のメッセージを表示したりする。
The display (display unit) 15 includes an LCD, an organic EL (electroluminescence) display, and the like, is driven by the drive unit 15a, and displays objects according to instructions from the control unit. If there is an object operation conflict, a message indicating that a user who does not have the operation priority is operating the object in the vicinity of the user who has the operation priority according to the instruction of the
タッチセンサ（操作部）１６は、ディスプレイ１５上に配置された格子状の透明電極などで構成され、圧力や静電容量などの物理量の変化に基づいてタッチを検知し、検知した信号を処理部１６ａに送る。処理部１６ａは、受け取った信号に基づいて、オブジェクトに対する操作を特定し、特定した操作情報を制御部に送る。上記ディスプレイ１５とタッチセンサ１６とで図３におけるタッチパネル１０ａが構成される。
The touch sensor (operation unit) 16 includes a grid-like transparent electrode disposed on the
触覚提示デバイス１７は、タッチセンサ１６の操作面に設けられ、ユーザがタッチセンサ１６に触れた時の触覚を提示する。触覚を提示する方法として、例えば、圧電素子や偏心モーター等を用いてタッチパネルを機械的に振動させる方法（第１の方法）や、静電気力によって操作者の指と触覚提示デバイス１７との間の摩擦力を変化させ、触覚提示デバイス１７を指でなぞった時に触覚（テクスチャ感）を提示する、いわゆる電気振動現象を利用した方法（第２の方法）、指に電流を流してユーザの指の皮膚機械受容器の神経軸索を駆動する方法（第３の方法）などがある。以下、本実施例のオブジェクト操作装置１０への組み込みに適した第２の方法及び第３の方法について簡単に説明する。 The tactile sense presentation device 17 is provided on the operation surface of the touch sensor 16 and presents a tactile sense when the user touches the touch sensor 16. As a method of presenting a tactile sense, for example, a method of mechanically vibrating the touch panel using a piezoelectric element, an eccentric motor, or the like (first method), or between an operator's finger and the tactile sense presenting device 17 by electrostatic force. A method using a so-called electric vibration phenomenon (second method) in which a frictional force is changed and a tactile sensation (texture feeling) is presented when the tactile sense presentation device 17 is traced with a finger. There is a method (third method) for driving nerve axons of the skin mechanoreceptor. Hereinafter, the second method and the third method suitable for incorporation into the object operating device 10 of the present embodiment will be briefly described.
図５は、第２の方法の触覚提示デバイス１７の一例である（例えば、特開２０１１−２４８８８４号公報参照）。この種の触覚提示デバイス１７は、図５（ａ）に示すように、支持基板上に、Ｘ電極とＹ電極とが交互に配置されており、Ｘ電極とＹ電極との間に絶縁層（図示せず）が形成され、両者の電気的な絶縁性が保たれている。また、Ｘ電極及びＹ電極の上には絶縁層（図示せず）が形成されており、この絶縁層により、触覚提示デバイス１７の接触面を指で触った時の、Ｘ電極と指、Ｙ電極と指との電気的な絶縁性が保たれている。Ｘ電極の各々はＸ電極駆動回路に接続され、Ｙ電極の各々はＹ電極駆動回路に接続され、Ｘ電極駆動回路及びＹ駆動電極回路（駆動部１７ａ）は、電圧信号をＸ電極及びＹ電極に印加する。
FIG. 5 is an example of the tactile sense presentation device 17 of the second method (see, for example, Japanese Patent Application Laid-Open No. 2011-24884). In this type of tactile presentation device 17, as shown in FIG. 5A, X electrodes and Y electrodes are alternately arranged on a support substrate, and an insulating layer ( (Not shown) is formed, and electrical insulation between the two is maintained. In addition, an insulating layer (not shown) is formed on the X electrode and the Y electrode. With this insulating layer, when the contact surface of the tactile presentation device 17 is touched with a finger, the X electrode and the finger, The electrical insulation between the electrode and the finger is maintained. Each of the X electrodes is connected to the X electrode drive circuit, each of the Y electrodes is connected to the Y electrode drive circuit, and the X electrode drive circuit and the Y drive electrode circuit (drive
図５（ｂ）は、触覚提示デバイス１７の断面モデルであり、２つのＸ電極と２つのＹ電極とに対向する位置に、指をモデル化した電極が一つ配置されている。人体にはある程度の接地効果があるため、この電極は抵抗Ｒを介して接地されているものとしてモデル化することができる。そして、Ｘ電極に周波数ｆ１の電圧信号Ｖ１を印加し、Ｙ電極に周波数ｆ２の電圧信号Ｖ２を印加する。電極とＸ電極、Ｙ電極との間は、静電容量Ｃを有する平行平板コンデンサとしてモデル化することができ、指をモデル化した電極とＸ電極、Ｙ電極との間に働く静電気力Ｆｅ１、Ｆｅ２は、Ｖ１とＶ２の差分、静電容量Ｃ、平行平板コンデンサの電極面積等で表される。電極の間隔が細かい場合は、Ｆｅ１、Ｆｅ２を合計した力がマクロ的に指に働くものとみなすことができ、電極に働く力は、（ｆ１−ｆ２）の絶対値で変化する。一方、人間の皮膚の機械受容器が感度を有する周波数は範囲があるため、Ｘ電極駆動回路及びＹ駆動電極回路を制御して（ｆ１−ｆ２）の絶対値をその範囲内に設定したり、その範囲から外したりすることにより、オブジェクトに対応付けられた領域において触覚提示デバイス１７に触れた時の触覚を変化させることができる。 FIG. 5B is a cross-sectional model of the tactile presentation device 17, and one electrode that models a finger is disposed at a position facing two X electrodes and two Y electrodes. Since the human body has a certain level of grounding effect, this electrode can be modeled as being grounded through a resistor R. A voltage signal V1 having a frequency f1 is applied to the X electrode, and a voltage signal V2 having a frequency f2 is applied to the Y electrode. Between the electrode, the X electrode, and the Y electrode can be modeled as a parallel plate capacitor having a capacitance C, and an electrostatic force Fe1 acting between the electrode modeled with the finger and the X electrode, the Y electrode, Fe2 is represented by the difference between V1 and V2, the capacitance C, the electrode area of the parallel plate capacitor, and the like. When the distance between the electrodes is small, the total force of Fe1 and Fe2 can be regarded as acting on the finger in a macro manner, and the force acting on the electrode changes with an absolute value of (f1-f2). On the other hand, since the frequency at which the human skin mechanoreceptor is sensitive has a range, the X electrode driving circuit and the Y driving electrode circuit are controlled to set the absolute value of (f1-f2) within the range, By removing from the range, it is possible to change the tactile sensation when touching the tactile presentation device 17 in the region associated with the object.
図６は、第３の方法の触覚提示デバイス１７の一例である。この種の触覚提示デバイス１７は、図６（ａ）に示すように、支持基板上に電極（図示せず）が配列されており、この電極上に、皮膚に電気刺激を与える穴が形成されたフィルムが配置されている。上記電極は配線を介して駆動部１７ａに接続されており、駆動部１７ａにより所定の穴に対応する電極に電流が供給される。そして、図６（ｂ）に示すように、電気刺激を提示する位置を移動（若しくは電気刺激を提示する位置を固定して指を移動）させたり、図６（ｃ）に示すように、指の移動方向に対して触覚の提示強度（電子刺激の強度）を徐々に変化させたり（触覚の提示強度の大小をハッチングの密度で表現している。）することにより、オブジェクトに対応付けられた領域において触覚提示デバイス１７に触れた時の触覚を変化させることができる。なお、上記フィルムはオブジェクトを表示するタッチパネル１０ａ上に貼付してもよいし、図６（ｄ）に示すように、上記フィルムを触覚提示デバイス１７に触れる指に取り付け、タッチパネル１０ａの筐体に設置した位置センサが検出する位置に応じて触覚の提示強度（電子刺激の強度）を変化させるようにしてもよい。
FIG. 6 is an example of the haptic presentation device 17 of the third method. In this type of tactile presentation device 17, as shown in FIG. 6A, electrodes (not shown) are arranged on a support substrate, and holes for applying electrical stimulation to the skin are formed on the electrodes. The film is arranged. The electrodes are connected to the
スピーカ１８は、オブジェクト操作装置１０の筐体などに配置され、オブジェクト操作の競合が発生している場合に、通知部２２の指示に従って、操作の優先権を持つユーザに対して、操作の優先権を持たないユーザがオブジェクトを操作しようとしている旨のメッセージを音声出力したり、必要に応じて、操作の優先権を持たないユーザに対して、操作の優先権を持つユーザがオブジェクトの操作を行っている旨のメッセージを音声出力したりする。なお、スピーカ１８はオブジェクト操作装置１０に少なくとも１つ配置されていればよいが、複数のユーザが１つのオブジェクト操作装置１０を用いて共同作業を行う場合、特定のユーザに対してメッセージを通知できるように、オブジェクト操作装置１０の複数箇所にスピーカ１８を配置することが好ましい。
The
ユーザ検出部１９は、オブジェクトの操作を行っているユーザを検出する。ユーザを検出する方法としては、例えば、オブジェクト操作装置１０の筐体などに、タッチパネル１０ａの全面を撮影するカメラなどの撮影部を配置し、撮影部が取得した画像と予め記憶部１４に記憶したユーザ情報（顔のパターン情報）などとを比較することにより、オブジェクトを操作するユーザを検出し、ユーザ（指先）の位置から、ユーザとオブジェクトとを対応付けることができる。また、ユーザＩＤを記憶したデバイス（例えば、ＲＦＩＤ（Radio Frequency Identification）タグ）を利用する場合は、オブジェクト操作装置１０の筐体などに、ＲＦＩＤタグからユーザＩＤを読み取るＲＦＩＤリーダなどの読取部を配置し、ユーザが所持するデバイスから読取部が読み取ったユーザＩＤと予め記憶部１４に記憶したユーザＩＤとを比較することにより、タッチパネル１０ａに近づいたユーザを検出することができる。その際、ＲＦＩＤタグの共振周波数を調整して読み取り距離を短くし、オブジェクト操作装置１０の筐体の複数箇所に読取部を配置することにより、ユーザの位置をある程度特定することができるため、ユーザとオブジェクトとを対応付けることができる。また、読取部がユーザＩＤを読み取る時刻とタッチセンサ１６がタッチを検出する時刻とを比較することによってもユーザとオブジェクトとを対応付けることができる。なお、複数のオブジェクト操作装置１０を用いる場合は、オブジェクト操作装置１０のログイン画面で入力されたユーザＩＤと予め記憶部１４に記憶したユーザＩＤとを比較することにより、そのオブジェクト操作装置１０を用いてオブジェクトを操作するユーザを検出することができる。
The
通信Ｉ／Ｆ部２０は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、必要に応じて、他のオブジェクト操作装置１０との接続を確立し、表示画像の送受信を行う。なお、本実施例では、同一のオブジェクトを複数のユーザが操作するため、複数のオブジェクト操作装置１０でシステムを構成する場合は、複数のオブジェクト操作装置１０のディスプレイ１５には同じ画面が表示されるようにする。
The communication I /
なお、図４は、本実施例のオブジェクト操作装置１０の一例であり、所定のオブジェクトに対する操作が競合している場合に、操作の優先権を持つユーザに所定のオブジェクトが操作されようとしていることを通知したり、操作の優先権を持たないユーザに所定のオブジェクトが操作されていることを通知したりできる限りにおいて、その構成や制御は適宜変更可能である。 FIG. 4 is an example of the object operating device 10 according to the present embodiment, and when a predetermined object is competing, a user who has priority of operation is about to operate the predetermined object. As long as it is possible to notify that a predetermined object has been operated to a user who does not have the priority of operation, the configuration and control thereof can be changed as appropriate.
以下、上記構成のオブジェクト操作装置１０で実行される処理について説明する。ＣＰＵ１１は、ＲＯＭ１２又は記憶部１４に記憶したオブジェクト操作制御プログラムをＲＡＭ１３に展開して実行することにより、図７のフローチャート図に示す各ステップの処理を実行する。なお、ディスプレイ１５には予め少なくとも１つのオブジェクトが表示されているものとする。
Hereinafter, processing executed by the object operation device 10 configured as described above will be described. The CPU 11 executes the processing of each step shown in the flowchart of FIG. 7 by developing the object operation control program stored in the ROM 12 or the
まず、オブジェクト操作制御プログラム（操作制御部２１）は、タッチセンサ１６から出力される信号に基づいて、オブジェクトに対する操作を検出する（Ｓ１０１）。次に、オブジェクト操作制御プログラム（操作制御部２１）は、ユーザ検出部１９から取得した情報（ユーザを撮影した画像やユーザが保持するＲＦＩＤタグのユーザＩＤなど）と記憶部１４に予め記憶したユーザ情報とを比較して、そのオブジェクトを操作するユーザを特定する（Ｓ１０２）。
First, the object operation control program (operation control unit 21) detects an operation on an object based on a signal output from the touch sensor 16 (S101). Next, the object operation control program (operation control unit 21) obtains information acquired from the user detection unit 19 (such as an image of the user and the user ID of the RFID tag held by the user) and the user stored in the
次に、オブジェクト操作制御プログラム（操作制御部２１）は、操作の競合が発生したかどうかを判断する（Ｓ１０３）。例えば、第１のユーザが所定のオブジェクトを操作している時に、第１のユーザとは異なる第２のユーザが所定のオブジェクト又は所定のオブジェクトを含むオブジェクト群を操作しようとしている場合は、操作の競合が発生したと判断する。操作の競合が発生していない場合は、オブジェクト操作制御プログラム（操作制御部２１）は、その操作に応じた処理（オブジェクトの移動、拡大／縮小、変形、プロパティ変更、生成、複製、消去など）を実行して（Ｓ１０８）、一連の処理を終了する。 Next, the object operation control program (operation control unit 21) determines whether or not an operation conflict has occurred (S103). For example, when a first user is operating a predetermined object and a second user different from the first user is trying to operate a predetermined object or an object group including the predetermined object, Determine that a conflict has occurred. If there is no operation conflict, the object operation control program (operation control unit 21) performs processing corresponding to the operation (object movement, enlargement / reduction, transformation, property change, generation, duplication, deletion, etc.) Is executed (S108), and the series of processes is terminated.
一方、操作の競合が発生している場合は、オブジェクト操作制御プログラム（操作制御部２１）は、操作の優先権を持つユーザを判定する（Ｓ１０４）。なお、操作の優先権は、必ずしも先に操作を行ったユーザに持たせる必要はなく、例えば、オブジェクト操作装置１０に予め設けたボタンなどを先に操作したユーザに操作の優先権を与えたり、ユーザ検出部１９が先に検出したユーザに操作の優先権を与えたり、ユーザに優先度が設定されている場合は、優先度の高いユーザに操作の優先権を与えても良い。
On the other hand, if an operation conflict has occurred, the object operation control program (operation control unit 21) determines a user having the operation priority (S104). The operation priority does not necessarily have to be given to the user who performed the operation first. For example, the operation priority is given to the user who previously operated the button or the like provided in advance in the object operation device 10, When the
そして、オブジェクト操作制御プログラム（通知部２２）は、操作の優先権を持つユーザに操作の競合が生じたことを通知する（Ｓ１０５）。例えば、操作の優先権を持つユーザが操作しているオブジェクトに対して、触覚提示デバイス１７により触覚を提示したり（応力を発生させたり、テクスチャ感を変化させたり）、操作の優先権を持つユーザの近傍のディスプレイ１５上に、他のユーザが同じオブジェクトを操作しようとしている旨のメッセージを表示させたり、スピーカ１８に他のユーザが同じオブジェクトを操作しようとしている旨のメッセージを音声出力させたりする。
Then, the object operation control program (notification unit 22) notifies the user having the operation priority that the operation conflict has occurred (S105). For example, a tactile sensation presentation device 17 presents a tactile sensation with respect to an object operated by a user having operation priority (stress is generated or texture is changed), and the operation priority is given. A message that another user is about to operate the same object is displayed on the
なお、触覚提示デバイス１７による触覚の提示と、ディスプレイ１５によるメッセージの表示と、スピーカ１８によるメッセージの音声出力は、適宜、組み合わせることができる。特に、ディスプレイ１５によるメッセージの表示とスピーカ１８によるメッセージの音声出力は、オブジェクト操作装置１０の使用形態に応じて選択することが好ましく、オブジェクト操作装置１０に設けたスイッチやタッチパネル１０ａなどを操作することにより、予めユーザが選択・設定することができる。つまり、スイッチやタッチパネルを、メッセージ表示や音声出力の設定を行うための設定部とし、これらの操作によって、いずれを選択するか或いは両方とも動作させるかを予め設定するように構成してもよい。
It should be noted that the tactile presentation by the tactile presentation device 17, the message display by the
例えば、図８のテーブルに示すように、テレビ会議など、遠隔地の人と話し合いながら共同作業を行っている場合、議論に耳を傾けているため、音声での通知は気付かれにくいと考えられる。従って、そのようなシーンでは、触覚の提示、及び／又は、メッセージの表示での通知が好ましいと言える。 For example, as shown in the table of FIG. 8, when collaborating while talking with a remote person such as a video conference, it is considered that the voice notification is difficult to notice because the listener listens to the discussion. . Therefore, in such a scene, it can be said that notification by presentation of tactile sensation and / or display of a message is preferable.
また、図８のテーブル及び図９に示すように、１つのオブジェクト操作装置１０を用いて、活発に議論しながら共同作業を行っている場合も、議論に耳を傾けているため、音声での通知は気付かれにくいと考えられる（図９（ａ）参照）。従って、そのようなシーンでは、触覚の提示、及び／又は、メッセージの表示での通知が好ましいと言える（図９（ｂ）参照）。 In addition, as shown in the table of FIG. 8 and FIG. 9, even when collaborative work is being performed while actively discussing using one object operation device 10, since the listener listens to the discussion, It is considered that the notification is hardly noticed (see FIG. 9A). Therefore, in such a scene, it can be said that notification by tactile sensation and / or message display is preferable (see FIG. 9B).
一方、図８のテーブル及び図１０に示すように、個人個人が集中して作業を行っている場合、狭い範囲にオブジェクトが配置されると考えられるため、ディスプレイ１５上にメッセージを表示するとオブジェクトが隠れてしまう可能性があり、オブジェクトの操作性が悪化する（図１０（ａ）参照）。従って、そのようなシーンでは、触覚の提示、及び／又は、メッセージの音声出力による通知が好ましいと言える（図１０（ｂ）参照）。 On the other hand, as shown in the table of FIG. 8 and FIG. 10, when individuals are working intensively, it is considered that objects are arranged in a narrow range. There is a possibility of hiding, and the operability of the object deteriorates (see FIG. 10A). Therefore, in such a scene, it can be said that notification by tactile presentation and / or voice output of a message is preferable (see FIG. 10B).
また、上記では、操作の優先権を持つユーザに、操作の優先権を持たないユーザがオブジェクトを操作しようとしていることを通知したが、更に、操作の優先権を持たないユーザに、操作の優先権を持つユーザがオブジェクトを操作していることを通知することもできる。その場合、操作の優先権を持つユーザへの通知と操作の優先権を持たないユーザへの通知を同じように行っても良いが、操作の優先権を持つユーザと持たないユーザとで、通知のレベルを変えることもできる。 In the above, the user who has the operation priority is notified that the user who does not have the operation priority has tried to operate the object. It is also possible to notify that the authorized user is operating the object. In that case, the notification to the user with the operation priority and the notification to the user without the operation priority may be performed in the same way, but the notification is given to the user having the operation priority and the user not having the operation priority. You can also change the level.
例えば、図１１（ａ）に示すように、ユーザＡがオブジェクトを操作しているときに、ユーザＢがそのオブジェクトを含むオブジェクト群（画面全体）を拡大しようとした場合、ユーザＡが操作の優先権を持つため、ユーザＢは操作を行えない。このような場合に、図１１（ｂ）に示すように、ユーザＡの近傍に、「Ｂさんが同じオブジェクトを拡大させようとしています」といったメッセージを表示し、ユーザＢの近傍に、「Ａさんが同じオブジェクトを移動させようとしています」といったメッセージを表示してもよく、一方のユーザに他方のユーザの意図を知らせることにより、ユーザ間の意志の疎通を図ることができ、共同作業を円滑に進めることができる。 For example, as shown in FIG. 11A, when user A is operating an object, if user B tries to enlarge an object group including the object (the entire screen), user A gives priority to the operation. Since the user B has the right, the user B cannot perform the operation. In such a case, as shown in FIG. 11B, a message such as “Mr. B is trying to enlarge the same object” is displayed in the vicinity of user A, and “A” is displayed in the vicinity of user B. You may be able to display a message such as `` I am trying to move the same object '', and by letting one user know the intention of the other user, the communication between the users can be facilitated, It can proceed smoothly.
また、操作の優先権を持つユーザＡに対する表示を明るくしたり点滅させたりして目立たせたり、ユーザＡに対する音声出力を大きくしたり、図１１（ｃ）に示すように、操作の優先権を持つユーザＡに提示する触覚レベルを、操作の優先権を持たないユーザＢよりも強くしたり（触覚レベルの強さをハッチングの濃度で表現している。）してもよい。このように、ユーザに応じて通知のレベルを変更することにより、操作の優先権を持つユーザＡに対して注意喚起を行うことができ、操作の優先権を持たないユーザＢの意図を汲み取ってユーザＡが操作を行ったり、操作の優先権を持つユーザＡが操作を中止してユーザＢに操作の優先権を譲ったりすることができ、操作の競合を解消して、共同作業を円滑に進めることができる。 Further, the display for the user A who has the priority of operation is made brighter or blinking to make it stand out, the sound output for the user A is increased, or the priority of the operation is given as shown in FIG. The tactile level to be presented to the user A may be stronger than the user B who does not have the priority of operation (the strength of the tactile level is expressed by hatching density). In this way, by changing the notification level according to the user, it is possible to alert the user A who has the priority of operation and draw the intention of the user B who does not have the priority of operation. User A can perform an operation, or user A who has the priority of operation can cancel the operation and give the priority of the operation to user B, so that the conflict of operations can be resolved and smooth collaboration Can proceed.
図７のフローチャート図に戻って、オブジェクト操作制御プログラム（操作制御部２１）は、Ｓ１０５の通知により操作の競合が解消したかを判断する（Ｓ１０６）。操作の競合が解消しない場合は、Ｓ１０４に戻って同様の処理を繰り返し、操作の競合が解消した場合は、オブジェクト操作制御プログラム（通知部２２）は、通知を中止する（Ｓ１０７）。例えば、操作の優先権を持たないユーザが同じオブジェクトを操作しようとしていることを知った、操作の優先権を持つユーザが操作を止めた場合、操作の競合が解消されるため、触覚の提示やメッセージの表示、メッセージの音声出力を中止する。 Returning to the flowchart of FIG. 7, the object operation control program (operation control unit 21) determines whether or not the operation conflict has been resolved by the notification in S105 (S106). If the operation conflict is not resolved, the process returns to S104 and the same processing is repeated. If the operation conflict is resolved, the object operation control program (notification unit 22) stops the notification (S107). For example, if a user without operation priority knows that they are trying to operate the same object, and a user with operation priority stops the operation, the operation conflict is resolved. Cancels message display and message output.
その後、操作に応じた処理（オブジェクトの移動、拡大／縮小、変形、プロパティ変更、生成、複製、消去など）を実行して（Ｓ１０８）、一連の処理を終了する。 Thereafter, processing (object movement, enlargement / reduction, deformation, property change, generation, duplication, deletion, etc.) according to the operation is executed (S108), and the series of processing ends.
このように、本実施例では、操作の優先権を持つユーザに、操作の優先権を持たないユーザがオブジェクトを操作しようとしていることを通知することにより、操作の優先権を持つユーザが、操作の優先権を持たないユーザの意図を汲み取って操作を行ったり、操作の優先権を持つユーザが操作を中止して操作の優先権を持たないユーザに操作の優先権を譲ったりすることができ、操作の競合を解消して、共同作業を円滑に進めることができる。また、操作の優先権を持たないユーザに、操作の優先権を持つユーザがオブジェクトを操作していることを通知したり、操作の優先権を持つユーザと持たないユーザとで通知のレベルを変更したりすることにより、共同作業における意志の疎通を適切に図り、共同作業を円滑に進めることができる。 As described above, in this embodiment, a user having the operation priority is notified to the user having the operation priority by notifying that the user who does not have the operation priority has attempted to operate the object. Users who do not have the right of priority can perform the operation, or users with the priority of the operation can cancel the operation and transfer the priority of the operation to a user who does not have the priority of the operation. , You can eliminate conflicts of operations and smoothly work together. Also, notify users who do not have operation priority that the user with the operation priority operates the object, or change the notification level between users who have the operation priority and users who do not have the operation priority. By doing so, the communication in the joint work can be appropriately communicated, and the joint work can be smoothly advanced.
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成及び制御は適宜変更可能である。 In addition, this invention is not limited to the said Example, The structure and control can be changed suitably, unless it deviates from the meaning of this invention.
例えば、上記実施例では、２人のユーザが同じオブジェクトを操作する場合について記載したが、３人以上のユーザが同じオブジェクトを操作する場合も本発明のオブジェクト操作制御方法を同様に適用することができる。その場合、操作の優先権を持たない複数のユーザの各々が同じオブジェクトを操作しようとしていることを、操作の優先権を持つユーザに通知したり、操作の優先権を持つユーザが同じオブジェクトを操作していることを、操作の優先権を持たない複数のユーザの各々に通知したりすればよい。 For example, in the above-described embodiment, the case where two users operate the same object has been described. However, the object operation control method of the present invention can be similarly applied to a case where three or more users operate the same object. it can. In that case, a user with the operation priority is notified that each of a plurality of users who do not have the operation priority has the right to operate the same object, or a user with the operation priority operates the same object. This may be notified to each of a plurality of users who do not have the priority of operation.
また、上記実施例では、１つ又は２つのオブジェクト操作装置１０を用いてオブジェクトを操作する場合について記載したが、３つ以上のオブジェクト操作装置１０を用いてオブジェクトを操作する場合も本発明のオブジェクト操作制御方法を同様に適用することができる。また、上記実施例では、タッチパネル１０ａを用いてオブジェクトの表示及び操作を行う場合について記載したが、オブジェクトを３次元空間に投影し、ユーザのジェスチャに応じてオブジェクトを操作する場合も本発明のオブジェクト操作制御方法を同様に適用することができる。 Further, in the above-described embodiment, the case where an object is operated using one or two object operation devices 10 has been described, but the object of the present invention is also applicable when an object is operated using three or more object operation devices 10. The operation control method can be similarly applied. In the above-described embodiment, the case where the object is displayed and operated using the touch panel 10a is described. However, the object of the present invention may be used when the object is projected on a three-dimensional space and the object is operated according to the user's gesture. The operation control method can be similarly applied.
本発明は、オブジェクトの表示及び操作が可能なオブジェクト操作装置及びオブジェクトの操作が競合したときの動作を制御するオブジェクト操作制御プログラム並びに当該オブジェクト操作制御プログラムを記録した記録媒体並びにオブジェクト操作制御方法に利用可能である。 The present invention is used for an object operation device capable of displaying and operating an object, an object operation control program for controlling an operation when the object operation conflicts, a recording medium storing the object operation control program, and an object operation control method. Is possible.
１０ オブジェクト操作装置
１０ａ タッチパネル
１０ｂ 制御部
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記憶部
１５ ディスプレイ（表示部）
１５ａ 駆動部
１６ タッチセンサ（操作部）
１６ａ 処理部
１７ 触覚提示デバイス
１７ａ 駆動部
１８ スピーカ
１９ ユーザ検出部
２０ 通信Ｉ／Ｆ部
２１ 操作制御部
２２ 通知部
DESCRIPTION OF SYMBOLS 10 Object operation apparatus 10a Touch panel 10b Control part 11 CPU
12 ROM
13 RAM
14
15a Drive unit 16 Touch sensor (operation unit)
16a processing unit 17 tactile
Claims (18)
前記表示部に表示されたオブジェクトの操作を受け付ける操作部と、
前記表示部に表示されたオブジェクトの操作を行うユーザを検出するユーザ検出部と、
前記ユーザ検出部から取得した情報と記憶部に予め記憶した情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、前記第１のユーザとは異なる第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御部と、
前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを示す第１の通知を行う通知部と、を備える、
ことを特徴とするオブジェクト操作装置。 A display for displaying objects;
An operation unit that receives an operation of an object displayed on the display unit;
A user detection unit for detecting a user who operates the object displayed on the display unit;
The information acquired from the user detection unit and the information stored in advance in the storage unit are compared to identify the user who operates the object, and when the first user is operating the predetermined object, the first An operation control unit that determines that an operation conflict has occurred when a second user different from the user attempts to operate the predetermined object or an object group including the predetermined object;
A notification unit for performing a first notification indicating that the predetermined object is about to be operated to the first user when it is determined that the operation conflict has occurred;
An object operating device characterized by that.
前記通知部は、前記触覚提示デバイスを用いて触覚を提示することにより、前記第１の通知を行う、
ことを特徴とする請求項１に記載のオブジェクト操作装置。 The object operation device includes a tactile sense presentation device that presents a tactile sensation to a user on an operation surface of the operation unit.
The notification unit performs the first notification by presenting a tactile sense using the tactile sense presenting device.
The object operating device according to claim 1.
ことを特徴とする請求項２に記載のオブジェクト操作装置。 The notification unit presents stress in a direction opposite to the operation direction of the predetermined object using the tactile sense presentation device.
The object operation device according to claim 2.
ことを特徴とする請求項１乃至３のいずれか一に記載のオブジェクト操作装置。 The notification unit performs the first notification by displaying a message on the display unit and / or causing the speaker provided in the object operation device to output a voice message.
The object operation device according to claim 1, wherein the object operation device is an object operation device.
ことを特徴とする請求項４に記載のオブジェクト操作装置。 The notification unit notifies information specifying a user who operates the predetermined object and / or details of an operation on the predetermined object.
The object operating device according to claim 4.
前記通知部は、前記設定部の設定に応じて、前記メッセージを表示、及び／又は、前記メッセージを音声出力する、
ことを特徴とする請求項４又は５に記載のオブジェクト操作装置。 A setting unit that presets that the first notification by the notification unit is the display of the message and / or the voice output of the message;
The notification unit displays the message and / or outputs the message by voice according to the setting of the setting unit.
The object operating device according to claim 4, wherein the object operating device is an object operating device.
ことを特徴とする請求項１乃至６のいずれか一に記載のオブジェクト操作装置。 The notification unit performs a second notification indicating that the predetermined object is being operated to the second user when it is determined that the operation conflict has occurred.
The object operation device according to claim 1, wherein the object operation device is an object operation device.
ことを特徴とする請求項７に記載のオブジェクト操作装置。 The notification unit has different notification levels in the first notification and the second notification.
The object operating device according to claim 7.
前記操作制御部は、前記ユーザを撮影した画像、又は、前記デバイスから読み取ったユーザＩＤと、前記記憶部に記憶した情報とを比較することにより、前記ユーザを特定する、
ことを特徴とする請求項１乃至８のいずれか一に記載のオブジェクト操作装置。 The user detection unit captures a user touching the operation unit, or reads a user ID from a device possessed by the user,
The operation control unit identifies the user by comparing an image captured of the user or a user ID read from the device with information stored in the storage unit.
The object operation device according to claim 1, wherein the object operation device is an object operation device.
前記オブジェクト操作装置に、
前記ユーザ検出部から取得した情報と記憶部に予め記憶した情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、前記第１のユーザとは異なる第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御処理、
前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを示す第１の通知を行う通知処理、を実行させる、
ことを特徴とするオブジェクト操作制御プログラム。 An object operation device comprising: a display unit that displays an object; an operation unit that receives an operation of the object displayed on the display unit; and a user detection unit that detects a user who operates the object displayed on the display unit An object operation control program that runs on
In the object operating device,
The information acquired from the user detection unit and the information stored in advance in the storage unit are compared to identify the user who operates the object, and when the first user is operating the predetermined object, the first An operation control process for determining that an operation conflict has occurred when a second user different from the user tries to operate the predetermined object or the object group including the predetermined object;
A notification process for performing a first notification indicating that the predetermined object is about to be operated to the first user when it is determined that the operation conflict has occurred;
An object operation control program characterized by the above.
前記通知処理では、前記触覚提示デバイスを用いて触覚を提示することにより、前記第１の通知を行う、
ことを特徴とする請求項１０に記載のオブジェクト操作制御プログラム。 The object operation device includes a tactile sense presentation device that presents a tactile sensation to a user on an operation surface of the operation unit.
In the notification processing, the first notification is performed by presenting a tactile sense using the tactile sense presenting device.
The object operation control program according to claim 10.
ことを特徴とする請求項１１に記載のオブジェクト操作制御プログラム。 In the notification process, using the tactile sense presentation device, the stress in the direction opposite to the operation direction of the predetermined object is presented.
The object operation control program according to claim 11, wherein:
ことを特徴とする請求項１０乃至１２のいずれか一に記載のオブジェクト操作装置。 In the notification process, the first notification is performed by displaying a message on the display unit and / or causing the speaker provided in the object operation device to output a voice message.
The object operation device according to claim 10, wherein the object operation device is an object operation device.
ことを特徴とする請求項１３に記載のオブジェクト操作制御プログラム。 In the notification process, information specifying a user who operates the predetermined object and / or a content of an operation on the predetermined object is notified.
The object operation control program according to claim 13.
ことを特徴とする請求項１０乃至１４のいずれか一に記載のオブジェクト操作制御プログラム。 In the notification process, when it is determined that the operation conflict has occurred, a second notification indicating that the predetermined object is being operated is performed to the second user.
15. The object operation control program according to claim 10, wherein the object operation control program is any one of claims 10 to 14.
前記ユーザ検出部から取得した情報と記憶部に予め記憶した情報とを比較して、オブジェクトを操作するユーザを特定し、第１のユーザが所定のオブジェクトを操作している時に、前記第１のユーザとは異なる第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御処理と、
前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを通知する通知処理と、を実行する、
ことを特徴とするオブジェクト操作制御方法。 An object operation device comprising: a display unit that displays an object; an operation unit that receives an operation of the object displayed on the display unit; and a user detection unit that detects a user who operates the object displayed on the display unit An object operation control method in
The information acquired from the user detection unit and the information stored in advance in the storage unit are compared to identify the user who operates the object, and when the first user is operating the predetermined object, the first An operation control process for determining that an operation conflict has occurred when a second user different from the user is about to operate the predetermined object or the object group including the predetermined object;
A notification process for notifying the first user that the predetermined object is about to be operated when it is determined that the operation conflict has occurred;
An object operation control method characterized by the above.
前記第１のオブジェクト操作装置は、
第１のユーザが所定のオブジェクトを操作している時に、前記第２のオブジェクト操作装置において、第２のユーザが前記所定のオブジェクト又は前記所定のオブジェクトを含むオブジェクト群を操作しようとしている場合に、操作の競合が発生したと判断する操作制御処理と、
前記操作の競合が発生したと判断された場合に、前記第１のユーザに対して、前記所定のオブジェクが操作されようとしていることを通知する通知処理と、を実行する、
ことを特徴とするオブジェクト操作制御方法。 A first object operating device and a second object operating device each including a display unit that displays an object and an operation unit that receives an operation of the object displayed on the display unit are connected via a communication network, and one object An object operation control method in a system in which an operation on an object displayed on an operation device is reflected on the object displayed on the other object operation device,
The first object operating device includes:
When the first user is operating a predetermined object, in the second object operation device, when the second user is about to operate the predetermined object or an object group including the predetermined object, An operation control process for determining that an operation conflict has occurred;
A notification process for notifying the first user that the predetermined object is about to be operated when it is determined that the operation conflict has occurred;
An object operation control method characterized by the above.
前記第１のオブジェクト操作装置により前記操作の競合が発生したと判断された場合に、前記第２のユーザに対して、前記所定のオブジェクトが操作されていることを通知する通知処理を実行する、
ことを特徴とする請求項１７に記載のオブジェクト操作制御方法。 The second object operating device is
Executing a notification process for notifying the second user that the predetermined object is being operated when it is determined that the operation conflict has occurred by the first object operation device;
The object operation control method according to claim 17, wherein:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015144714A JP2017027335A (en) | 2015-07-22 | 2015-07-22 | Object operation device and object operation control program, as well as object operation control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015144714A JP2017027335A (en) | 2015-07-22 | 2015-07-22 | Object operation device and object operation control program, as well as object operation control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017027335A true JP2017027335A (en) | 2017-02-02 |
Family
ID=57949856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015144714A Pending JP2017027335A (en) | 2015-07-22 | 2015-07-22 | Object operation device and object operation control program, as well as object operation control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017027335A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019008732A1 (en) * | 2017-07-06 | 2019-01-10 | 富士通株式会社 | Information processing device, information processing method, and information processing program |
| JP2019139518A (en) * | 2018-02-09 | 2019-08-22 | 株式会社デンソーテン | Display processing device and display processing method |
| JP2019177634A (en) * | 2018-03-30 | 2019-10-17 | 住友重機械工業株式会社 | Injection molding machine |
| JP2021022041A (en) * | 2019-07-25 | 2021-02-18 | 株式会社リコー | Communication terminal, communication system, display control method, and program |
| JP2021022782A (en) * | 2019-07-25 | 2021-02-18 | 株式会社リコー | Communication terminal, communication system, image sharing method, and program |
-
2015
- 2015-07-22 JP JP2015144714A patent/JP2017027335A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019008732A1 (en) * | 2017-07-06 | 2019-01-10 | 富士通株式会社 | Information processing device, information processing method, and information processing program |
| JPWO2019008732A1 (en) * | 2017-07-06 | 2020-03-19 | 富士通株式会社 | Information processing apparatus, information processing method, and information processing program |
| US11256466B2 (en) | 2017-07-06 | 2022-02-22 | Fujitsu Limited | Information processing apparatus, information processing method, and recording medium recording information processing program |
| JP2019139518A (en) * | 2018-02-09 | 2019-08-22 | 株式会社デンソーテン | Display processing device and display processing method |
| JP7064345B2 (en) | 2018-02-09 | 2022-05-10 | 株式会社デンソーテン | Display processing device and display processing method |
| JP2019177634A (en) * | 2018-03-30 | 2019-10-17 | 住友重機械工業株式会社 | Injection molding machine |
| JP7034804B2 (en) | 2018-03-30 | 2022-03-14 | 住友重機械工業株式会社 | Injection molding machine |
| JP2021022041A (en) * | 2019-07-25 | 2021-02-18 | 株式会社リコー | Communication terminal, communication system, display control method, and program |
| JP2021022782A (en) * | 2019-07-25 | 2021-02-18 | 株式会社リコー | Communication terminal, communication system, image sharing method, and program |
| JP7326963B2 (en) | 2019-07-25 | 2023-08-16 | 株式会社リコー | Communication terminal, communication system, image sharing method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10887546B2 (en) | Display apparatus and control methods thereof | |
| JP2017027335A (en) | Object operation device and object operation control program, as well as object operation control method | |
| US10609135B2 (en) | User presence detection and display of private content at a remote collaboration venue | |
| EP2919104B1 (en) | Information processing device, information processing method, and computer-readable recording medium | |
| CN101714026B (en) | User interface feedback apparatus, user interface feedback method, and program | |
| JP2019133679A (en) | Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction | |
| JP6654743B2 (en) | Electronic equipment, operation control method and operation control program for electronic equipment | |
| CN105589594B (en) | Electronic device and operation control method of electronic device | |
| US20120327006A1 (en) | Using tactile feedback to provide spatial awareness | |
| US20190073029A1 (en) | System and method for receiving user commands via contactless user interface | |
| JP6071372B2 (en) | Electronic device and control method of electronic device | |
| CN108139825B (en) | Electronic blackboard, storage medium, and information display method | |
| US20200012348A1 (en) | Haptically enabled overlay for a pressure sensitive surface | |
| KR20220103742A (en) | Electronic device for displaying content and method for controlling the same | |
| US20150268828A1 (en) | Information processing device and computer program | |
| WO2013128989A1 (en) | Display device and operating method thereof | |
| WO2020162154A1 (en) | Information processing device and information processing method | |
| Feitl et al. | Accessible electrostatic surface haptics: towards an interactive audiotactile map interface for people with visual impairments | |
| JP7279425B2 (en) | DISPLAY DEVICE, DISPLAY SYSTEM, OPERATING MODE CONTROL METHOD, AND PROGRAM | |
| JP2013156682A (en) | User interface device for notifying event activation with inaudible oscillation, event activation notifying method, and program | |
| US20150205374A1 (en) | Information processing method and electronic device | |
| JP6522719B2 (en) | Image display method | |
| JP2019117649A (en) | Image display apparatus and image display method | |
| US11675496B2 (en) | Apparatus, display system, and display control method | |
| JP5630172B2 (en) | Input device using touch panel |