JP2012048485A - Display system, information processor and touch event control method - Google Patents

Display system, information processor and touch event control method Download PDF

Info

Publication number
JP2012048485A
JP2012048485A JP2010189866A JP2010189866A JP2012048485A JP 2012048485 A JP2012048485 A JP 2012048485A JP 2010189866 A JP2010189866 A JP 2010189866A JP 2010189866 A JP2010189866 A JP 2010189866A JP 2012048485 A JP2012048485 A JP 2012048485A
Authority
JP
Japan
Prior art keywords
touch event
touch
display
display device
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010189866A
Other languages
Japanese (ja)
Inventor
Yoshiaki Okuyama
嘉昭 奥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010189866A priority Critical patent/JP2012048485A/en
Publication of JP2012048485A publication Critical patent/JP2012048485A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display system for solving the problem that a user interface in multi-display using display devices with touch sensors cannot be used seamlessly between the display devices when screens of the display devices have a frame part or a gap thereon.SOLUTION: When a first touch event detected by one of display devices 11 and 12 is finished and then a second touch event is detected by the other display device, a touch sensor controller 13 detects the first touch event and the second touch event as one virtual touch event on a multi-display screen, with the first touch event and the second touch event satisfying a predetermined condition.

Description

本発明は、指やスタイラスなどによるタッチイベントを検知するタッチセンサー付きの表示デバイス、情報処理装置およびタッチイベント管理方法に関する。   The present invention relates to a display device with a touch sensor that detects a touch event by a finger or a stylus, an information processing apparatus, and a touch event management method.

近年、表示デバイスとして、指やスタイラスなどによるタッチイベント（接触または押下）を検知するタッチセンサーを用いた入力デバイスを備えるタッチセンサー付き表示デバイスが注目されている（特許文献１および２参照）。   In recent years, a display device with a touch sensor that includes an input device using a touch sensor that detects a touch event (contact or press) by a finger, a stylus, or the like has attracted attention as a display device (see Patent Documents 1 and 2).

タッチセンサー付き表示デバイスは、アイコンなどの対象物に対してドラッグ操作を行って対象物を移動させたり、書籍をめくるようなフリック動作を行ってページを移動させたりするなど、直感的なユーザインターフェースを提供しやすいという利点がある。このため、タッチセンサー付き表示デバイスは、マルチメディアビューアー、電子書籍および電子新聞などの紙に代わる表示媒体として用いられたり、携帯電話、情報端末およびカーナビなどの電子機器などの表示装置に採用されたりすることが多くなっている。   A display device with a touch sensor has an intuitive user interface, such as dragging an object such as an icon to move the object, or flicking a book to move a page. There is an advantage that it is easy to provide. For this reason, a display device with a touch sensor is used as a display medium in place of paper such as a multimedia viewer, an electronic book, and an electronic newspaper, or is used in a display device such as an electronic device such as a mobile phone, an information terminal, and a car navigation system. There is a lot to do.

また、表示デバイスの利用形態として、複数の表示デバイスのそれぞれの画面を近接させて配置することで、大きな１つの画面（以下、マルチディスプレイ画面と称する）を構成し、そのマルチディスプレイ画面に映像を表示するマルチディスプレイが注目されている。   In addition, as a usage form of the display device, by arranging the screens of a plurality of display devices close to each other, one large screen (hereinafter referred to as a multi-display screen) is formed, and an image is displayed on the multi-display screen. The multi-display to display is drawing attention.

特開２００８‐５２０６２号公報JP 2008-52062 A 特開２００２‐２８７８８９号公報JP 2002-287889 A

タッチセンサー付き表示デバイスでマルチディスプレイを構成する場合、複数の表示デバイス間で、ユーザインターフェースがシームレスに利用できることが望ましい。例えば、ある表示デバイスで開始されたドラッグ操作やフリック操作などのタッチ操作が別の表示デバイスに移っても継続されることが望ましい。   When a multi-display is configured with a display device with a touch sensor, it is desirable that a user interface can be used seamlessly between a plurality of display devices. For example, it is desirable that a touch operation such as a drag operation or a flick operation started on a certain display device is continued even after moving to another display device.

しかしながら、各表示デバイスの画面の間に額縁部や間隙があると、その額縁や間隙ではタッチイベントが検知されないので、単一の表示デバイス内でタッチイベントが完結してしまい、各表示デバイス間でユーザインターフェースがシームレスに利用できないという問題がある。   However, if there is a frame or gap between the screens of each display device, the touch event is not detected in the frame or gap, so the touch event is completed within a single display device. There is a problem that the user interface cannot be used seamlessly.

本発明の目的は、上記の課題である、タッチセンサー付き表示デバイスによるマルチディスプレイにおいて、表示デバイスの画面に額縁部や間隙があると、各表示デバイス間でユーザインターフェースがシームレスに利用できないという問題を解決する表示装置、情報処理装置およびタッチイベント管理方法を提供することである。   An object of the present invention is to solve the above-mentioned problem that the user interface cannot be used seamlessly between display devices if there is a frame portion or a gap on the screen of the display device in a multi-display using a display device with a touch sensor. To provide a display device, an information processing device, and a touch event management method to be solved.

本発明による表示装置は、複数の表示画面から構成されたマルチディスプレイ画面を有する表示装置であって、前記表示画面のいずれかを有し、当該表示画面へのタッチイベントを検知する複数の表示デバイスと、前記表示デバイスのいずれかで検知された第１のタッチイベントが終了し、その後、別の表示デバイスで第２のタッチイベントが検知された場合、前記第１のタッチイベントおよび前記第２のタッチイベントが所定の条件を満たすと、前記第１のタッチイベントおよび前記第２のタッチイベントを、前記マルチディスプレイ画面に対する１つの仮想タッチイベントとして検知し、前記第１のタッチイベントおよび前記第２のタッチイベントが前記所定の条件を満たさないと、前記第１のタッチイベントおよび前記第２のタッチイベントを、別々に前記マルチディスプレイ画面に対する仮想タッチイベントとして検知する制御部と、を有する。   A display device according to the present invention is a display device having a multi-display screen composed of a plurality of display screens, the display device having any of the display screens, and detecting a touch event on the display screen. And when the first touch event detected by one of the display devices ends and then a second touch event is detected by another display device, the first touch event and the second touch event are detected. When the touch event satisfies a predetermined condition, the first touch event and the second touch event are detected as one virtual touch event for the multi-display screen, and the first touch event and the second touch event are detected. If the touch event does not satisfy the predetermined condition, the first touch event and the second touch event Cement and, and a control unit for detecting a virtual touch event for separately the multi-display screen.

また、本発明による情報処理装置は、前記表示装置と、前記仮想タッチイベントに応じた処理を行う情報処理部と、を有する。   An information processing apparatus according to the present invention includes the display device and an information processing unit that performs processing according to the virtual touch event.

また、本発明によるタッチイベント管理方法は、複数の表示画面から構成されたマルチディスプレイ画面を有する表示装置によるタッチイベント管理方法であって、前記表示画面のいずれかに対する第１のタッチイベントを検知し、その後、別の表示画面に対する第２のタッチイベントを検知し、前記第１のタッチイベントおよび前記第２のタッチイベントが所定の条件を満たすと、前記第１のタッチイベントおよび前記第２のタッチイベントを、前記マルチディスプレイ画面に対する１つの仮想タッチイベントとして検知し、前記第１のタッチイベントおよび前記第２のタッチイベントが前記所定の条件を満たさないと、前記第１のタッチイベントおよび前記第２のタッチイベントを、別々に前記マルチディスプレイ画面に対する仮想タッチイベントとして検知する。   The touch event management method according to the present invention is a touch event management method by a display device having a multi-display screen composed of a plurality of display screens, and detects a first touch event for any one of the display screens. Thereafter, when a second touch event on another display screen is detected and the first touch event and the second touch event satisfy a predetermined condition, the first touch event and the second touch are detected. When an event is detected as one virtual touch event for the multi-display screen and the first touch event and the second touch event do not satisfy the predetermined condition, the first touch event and the second touch event are detected. Virtual touch events on the multi-display screen separately. It is detected as an event.

本発明によれば、タッチセンサー付き表示デバイスによるマルチディスプレイにおいて、表示デバイスの画面に額縁部や間隙があっても、各表示デバイス間でユーザインターフェースをシームレスに利用することが可能になる。   According to the present invention, in a multi-display using a display device with a touch sensor, a user interface can be used seamlessly between display devices even if there are frame portions and gaps on the screen of the display device.

本発明の第一の実施形態である情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which is 1st embodiment of this invention. 左右に並んで配置された２台の表示デバイスを有する表示装置の概観を示す正面図である。It is a front view which shows the general view of the display apparatus which has two display devices arrange | positioned along with right and left. 表示装置の動作の一例を説明するためのシーケンスチャートである。It is a sequence chart for demonstrating an example of operation | movement of a display apparatus. 表示装置の動作の一例を説明するためのシーケンスチャートである。It is a sequence chart for demonstrating an example of operation | movement of a display apparatus. 表示装置の動作の概要を説明するための図である。It is a figure for demonstrating the outline | summary of operation | movement of a display apparatus. 本発明の第二の実施形態である情報処理装置の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing apparatus which is 2nd embodiment of this invention.

以下、本発明の実施形態について図面を参照して説明する。なお、以下の説明では、同じ機能を有するものには同じ符号を付け、その説明を省略する場合がある。   Embodiments of the present invention will be described below with reference to the drawings. In the following description, components having the same function may be denoted by the same reference numerals and description thereof may be omitted.

図１は、本発明の第一の実施形態である情報処理装置の構成を示すブロック図である。図１において、情報処理装置は、表示装置１と、表示装置１の外部機器として機能する情報処理部２とを有する。表示装置１は、タッチイベントを検知するタッチセンサー付き表示デバイス（以下、表示デバイスと略す）１１および１２と、タッチセンサー制御部１３と、外部通信部１４と、表示装置用バス１５とを有する。なお、表示デバイス１１、１２、タッチセンサー制御部１３および外部通信部１４は、表示装置用バス１５を介して相互に接続されている。   FIG. 1 is a block diagram showing the configuration of the information processing apparatus according to the first embodiment of the present invention. In FIG. 1, the information processing apparatus includes a display device 1 and an information processing unit 2 that functions as an external device of the display device 1. The display device 1 includes display devices with touch sensors (hereinafter abbreviated as display devices) 11 and 12 that detect a touch event, a touch sensor control unit 13, an external communication unit 14, and a display device bus 15. The display devices 11, 12, the touch sensor control unit 13, and the external communication unit 14 are connected to each other via a display device bus 15.

以下では説明を簡素化するために、表示装置１は左右に並んで配置された２台の表示デバイスを有するものとするが、実際には、表示装置１が有する表示デバイスは複数あればよく、その表示デバイスの設置場所は任意である。   Hereinafter, in order to simplify the description, the display device 1 is assumed to have two display devices arranged side by side, but actually, the display device 1 may have a plurality of display devices, The installation location of the display device is arbitrary.

図２は、左右に並んで配置された２台の表示デバイスを有する表示装置１の概観を示す正面図である。図２で示された表示装置１では、表示デバイス１１および１２は、サブ筐体２１および２２が接続部２３によって開閉可能に接続された筐体２０に設けられている。より具体的には、サブ筐体２１に表示デバイス１１が設けられ、サブ筐体２２に表示デバイス１２が設けられており、各表示デバイス１１および１２の画面３１および３２は筐体２０から露出している。なお、表示デバイスが３つ以上ある場合、筐体２０は、表示デバイスの少なくともいずれか１つを有する複数のサブ筐体が接続部によって接続された構成でもよい。   FIG. 2 is a front view showing an overview of the display device 1 having two display devices arranged side by side. In the display device 1 shown in FIG. 2, the display devices 11 and 12 are provided in a housing 20 to which sub-housings 21 and 22 are connected by a connecting portion 23 so as to be opened and closed. More specifically, the display device 11 is provided in the sub housing 21, and the display device 12 is provided in the sub housing 22, and the screens 31 and 32 of the display devices 11 and 12 are exposed from the housing 20. ing. Note that when there are three or more display devices, the housing 20 may have a configuration in which a plurality of sub-housings having at least one of the display devices are connected by a connection unit.

接続部２３は、ヒンジ機構などによって構成される。また、表示デバイスの画面３１および３２の周辺には、表示が行われず、かつ、タッチイベントが検知されない額縁部２４が設けられている。なお、接続部２３は額縁部２４に含まれるものである。   The connection part 23 is configured by a hinge mechanism or the like. In addition, a frame portion 24 where no display is performed and no touch event is detected is provided around the screens 31 and 32 of the display device. The connecting portion 23 is included in the frame portion 24.

ここで、表示装置１のタッチセンサー制御部１３、外部通信部１４および表示装置用バス１５は筐体２０に内蔵されており、情報処理部２は、筐体２０に内蔵されてもよいし、筐体２０に内蔵されなくてもよい。   Here, the touch sensor control unit 13, the external communication unit 14, and the display device bus 15 of the display device 1 may be built in the housing 20, and the information processing unit 2 may be built in the housing 20. It does not have to be built in the housing 20.

図１の説明に戻る。表示デバイス１１および１２は、自身の画面に文章、静止画像および動画像などの種々の情報を表示する。また、表示デバイス１１および１２は、自身の画面へのユーザからのタッチイベントを検知する。   Returning to the description of FIG. The display devices 11 and 12 display various information such as sentences, still images, and moving images on their screens. Further, the display devices 11 and 12 detect a touch event from the user on their screens.

タッチセンサー制御部１３は、表示デバイス１１および１２のタッチセンサーを制御する装置であり、表示デバイス１１および１２の両方のタッチセンサーを合わせて、一つの大きな仮想タッチセンサーとして情報処理部２に認識させることで、画面３１および３２の両方を合わせて一つのマルチディスプレイ画面として情報処理部２に認識させる。   The touch sensor control unit 13 is a device that controls the touch sensors of the display devices 11 and 12, and combines the touch sensors of the display devices 11 and 12 to cause the information processing unit 2 to recognize as one large virtual touch sensor. Thus, the information processing unit 2 recognizes both the screens 31 and 32 as one multi-display screen.

例えば、表示デバイス１１および１２の両方のタッチセンサー（画面）が３２０×２４０の解像度を有する場合、左側の表示デバイス１１のタッチセンサーの水平ピクセル番号を０〜３１９とみなし、右側の表示デバイス１２の水平ピクセル番号を３２０〜６３９とみなすことで、表示デバイス１１および１２の両方のタッチセンサーを一つの仮想タッチセンサーとして情報処理部２に認識させる。   For example, when both touch sensors (screens) of the display devices 11 and 12 have a resolution of 320 × 240, the horizontal pixel number of the touch sensor of the left display device 11 is regarded as 0 to 319, and the right display device 12 By regarding the horizontal pixel numbers as 320 to 639, the information processing unit 2 recognizes both touch sensors of the display devices 11 and 12 as one virtual touch sensor.

また、タッチセンサー制御部１３は、ユーザが画面３１または３２に対するタッチを、タッチイベントが検知できない額縁部２４に対して継続した場合でも、タッチイベントが失効しないようにする機能を有する。   Further, the touch sensor control unit 13 has a function of preventing the touch event from expire even when the user continues touching the screen 31 or 32 to the frame portion 24 where the touch event cannot be detected.

より具体的には、タッチセンサー制御部１３は、表示デバイス１１および１２のいずれか一方で検知された第１のタッチイベントが終了し、その後、所定時間内に別の表示デバイスで第２のタッチイベントが検知された場合、第１のタッチイベントおよび第２のタッチイベントが所定の条件を満たすか否かを判断する。   More specifically, the touch sensor control unit 13 ends the first touch event detected by one of the display devices 11 and 12, and then performs the second touch on another display device within a predetermined time. When an event is detected, it is determined whether or not the first touch event and the second touch event satisfy a predetermined condition.

所定の条件は、第１のタッチイベントが終了してから所定時間内に第２のタッチイベントが検知されること、第１のタッチイベントが終了した画面上の座標が別の表示デバイスの画面に隣接する端辺から閾値までの範囲に入っていること、および、第１のタッチイベントが検知された検知位置の軌跡ベクトルと第１のタッチイベントの終了位置から第２のタッチイベントの開始位置までの仮想ベクトルとの類似度が所定値より高いことの少なくとも一つである。ここで、軌跡ベクトルと仮想ベクトルとの類似度は、例えば、軌跡ベクトルと仮想ベクトルのなす角の余弦である。   The predetermined condition is that the second touch event is detected within a predetermined time after the end of the first touch event, and the coordinates on the screen where the first touch event ends are displayed on the screen of another display device. It is within the range from the adjacent edge to the threshold value, and the trajectory vector of the detection position where the first touch event is detected and the end position of the first touch event to the start position of the second touch event This is at least one of the degree of similarity with a virtual vector higher than a predetermined value. Here, the similarity between the trajectory vector and the virtual vector is, for example, a cosine of an angle formed by the trajectory vector and the virtual vector.

第１のタッチイベントおよび第２のタッチイベントが所定の条件を満たす場合、タッチセンサー制御部１３は、第１のタッチイベントおよび第２のタッチイベントをマルチディスプレイ画面に対する１つの仮想タッチイベントとして検知する。一方、第１のタッチイベントおよび第２のタッチイベントが所定の条件を満たさない場合、タッチセンサー制御部１３は、第１のタッチイベントおよび第２のタッチイベントを別々にマルチディスプレイ画面に対する仮想タッチイベントとして検知する。   When the first touch event and the second touch event satisfy a predetermined condition, the touch sensor control unit 13 detects the first touch event and the second touch event as one virtual touch event for the multi-display screen. . On the other hand, when the first touch event and the second touch event do not satisfy the predetermined condition, the touch sensor control unit 13 separately performs the first touch event and the second touch event on the multi-display screen. Detect as.

なお、タッチセンサー制御部１３は、本実施形態では、２つのタッチセンサーを制御しているが、実際には、３つ以上のタッチセンサーを制御することができる。   Note that the touch sensor control unit 13 controls two touch sensors in the present embodiment, but can actually control three or more touch sensors.

外部通信部１４は、外部通信用バス１６を介して情報処理部２と接続されている。外部通信部１４は、タッチセンサー制御部１３で検知された仮想タッチイベントを、外部通信用バス１６を介して情報処理部２に通知する。   The external communication unit 14 is connected to the information processing unit 2 via the external communication bus 16. The external communication unit 14 notifies the information processing unit 2 of the virtual touch event detected by the touch sensor control unit 13 via the external communication bus 16.

情報処理部２は、外部通信部１４から通知された仮想タッチイベントに応じた処理を行う。   The information processing unit 2 performs processing according to the virtual touch event notified from the external communication unit 14.

次に表示装置１の動作を説明する。   Next, the operation of the display device 1 will be described.

図３Ａおよび図３Ｂは、表示装置１の動作の一例を説明するためのシーケンスチャートである。以下では、図４に示すように、表示デバイス１１の画面３１に表示されているアイコン４１に対してドラッグ操作が行われ、そのドラッグ操作が表示デバイス１２に継続されるものとする。   3A and 3B are sequence charts for explaining an example of the operation of the display device 1. Hereinafter, as illustrated in FIG. 4, it is assumed that a drag operation is performed on the icon 41 displayed on the screen 31 of the display device 11 and the drag operation is continued on the display device 12.

先ず、ユーザは、表示デバイス１１の画面３１に表示されているアイコン４１にタッチする（ステップＡ１）。   First, the user touches the icon 41 displayed on the screen 31 of the display device 11 (step A1).

表示デバイス１１は、ユーザにてタッチされたことをタッチイベントの一種である押下イベントとして検知し、そのタッチイベントが検知された検知位置の画面３１上の座標であるタッチ座標と、自身（表示デバイス１１）の識別情報であるディスプレイ番号とをタッチセンサー制御部１３に通知する(ステップＡ２)。以下では、ディスプレイ番号は、表示デバイス１１を「１」とし、表示デバイス１２を「２」とする。   The display device 11 detects that the user has touched it as a pressing event that is a kind of touch event, and the touch coordinates that are coordinates on the screen 31 of the detection position where the touch event is detected, and the display device 11 (display device). The display number which is the identification information of 11) is notified to the touch sensor control unit 13 (step A2). In the following, the display number is “1” for the display device 11 and “2” for the display device 12.

タッチセンサー制御部１３は、タッチ座標およびディスプレイ番号を受け付けると、そのタッチ座標をマルチディスプレイ画面上の座標である仮想座標に変換する。例えば、タッチセンサー制御部１３は、タッチ座標の横方向成分にディスプレイ番号を乗算した値を仮想座標の横方向成分とし、タッチ座標の縦方向成分をそのまま仮想座標の縦方向成分とすることで、仮想座標を算出する。ここでは、ディスプレイ番号が「１」であるので、タッチ座標がそのまま仮想座標となる。   Upon receiving the touch coordinates and the display number, the touch sensor control unit 13 converts the touch coordinates into virtual coordinates that are coordinates on the multi-display screen. For example, the touch sensor control unit 13 sets the value obtained by multiplying the horizontal component of the touch coordinate by the display number as the horizontal component of the virtual coordinate, and the vertical component of the touch coordinate as the vertical component of the virtual coordinate as it is. Calculate virtual coordinates. Here, since the display number is “1”, the touch coordinates are directly used as virtual coordinates.

タッチセンサー制御部１３は、後で仮想座標の軌跡ベクトルを計算するために、仮想座標を保持する(ステップＡ３)。   The touch sensor control unit 13 holds the virtual coordinates in order to calculate a trajectory vector of the virtual coordinates later (step A3).

そして、タッチセンサー制御部１３は、仮想座標と、マルチディスプレイ画面への押下イベントであるＭｏｕｓｅＤｏｗｎイベントとを外部通信部１４に通知する(ステップＡ４)。   Then, the touch sensor control unit 13 notifies the external communication unit 14 of virtual coordinates and a MouseDown event that is a pressing event for the multi-display screen (step A4).

外部通信部１４は、仮想座標およびＭｏｕｓｅＤｏｗｎイベントを受け付け、その仮想座標およびＭｏｕｓｅＤｏｗｎイベントを情報処理部２に通知する(ステップＡ５)。   The external communication unit 14 receives the virtual coordinates and the MouseDown event, and notifies the information processing unit 2 of the virtual coordinates and the MouseDown event (step A5).

次に、ユーザはステップＡ１でタッチしたアイコン４１に対してドラッグ操作を行う(ステップＡ６)。   Next, the user performs a drag operation on the icon 41 touched in step A1 (step A6).

表示デバイス１１は、ドラッグ操作により検知位置が移動したことをタッチイベントの一種である移動イベントとして検知し、その移動後のタッチ座標とディスプレイ番号とをタッチセンサー制御部１３に通知する(ステップＡ７)。   The display device 11 detects that the detection position has been moved by the drag operation as a movement event that is a kind of touch event, and notifies the touch sensor control unit 13 of the touch coordinates and the display number after the movement (step A7). .

タッチセンサー制御部１３は、タッチ座標およびディスプレイ番号を受け付けると、そのタッチ座標をマルチディスプレイ画面上の座標である仮想座標に変換する(ステップＡ８)。   Upon receiving the touch coordinates and the display number, the touch sensor control unit 13 converts the touch coordinates into virtual coordinates that are coordinates on the multi-display screen (step A8).

タッチセンサー制御部１３は、仮想座標を保持するとともに、その現在の仮想座標と前回保持した仮想座標から軌跡ベクトルを計算し保持する(ステップＡ９)。   The touch sensor control unit 13 holds the virtual coordinates and calculates and holds a trajectory vector from the current virtual coordinates and the previously held virtual coordinates (step A9).

そして、タッチセンサー制御部１３は、現在の仮想座標と、仮想座標の移動イベントであるＭｏｕｓｅＭｏｖｅイベントとを外部通信部１４に通知する(ステップＡ１０)。   Then, the touch sensor control unit 13 notifies the external communication unit 14 of the current virtual coordinate and a Mouse Move event that is a virtual coordinate movement event (step A10).

外部通信部１４は、仮想座標およびＭｏｕｓｅＭｏｖｅイベントを受け付け、その仮想座標およびＭｏｕｓｅＭｏｖｅイベントを情報処理部２に通知する(ステップＡ１１)。   The external communication unit 14 receives the virtual coordinate and the Mouse Move event, and notifies the information processing unit 2 of the virtual coordinate and the Mouse Move event (step A11).

その後、ユーザによるドラッグ操作が行われている間、ステップＡ６〜Ａ１１が繰り返し実行される。そして、ユーザの指が画面３１の右端付近に到達し、ユーザの指が画面３１から外れる(ステップＡ１２)。   Thereafter, steps A6 to A11 are repeatedly executed while the drag operation is performed by the user. Then, the user's finger reaches near the right end of the screen 31, and the user's finger is removed from the screen 31 (step A12).

表示デバイス１１は、ユーザの指が画面３１から外れたことをタッチ終了イベントとして検知し、ユーザからのタッチが終了したときのタッチ座標である終了座標とディスプレイ番号とをタッチセンサー制御部１３に通知する(ステップＡ１３)。   The display device 11 detects that the user's finger has been removed from the screen 31 as a touch end event, and notifies the touch sensor control unit 13 of an end coordinate and a display number that are touch coordinates when the touch from the user ends. (Step A13).

タッチセンサー制御部１３は、終了座標およびディスプレイ番号を受け付けると、ＭｏｕｓｅＭｏｖｅイベントの継続可能性があるか否かを判断する。例えば、終了座標が画面３１における画面３２と隣接する端辺である右端から閾値（例えば、１０ピクセル）までの範囲に入っているか否かを判断し、終了座標がその範囲に入っている場合に、ＭｏｕｓｅＭｏｖｅイベントの継続可能性があると判断する。   When the touch sensor control unit 13 receives the end coordinates and the display number, the touch sensor control unit 13 determines whether or not the MouseMove event may be continued. For example, when it is determined whether or not the end coordinates are within the range from the right edge, which is the edge adjacent to the screen 32 in the screen 31, to a threshold (for example, 10 pixels), and the end coordinates are within the range , It is determined that the MouseMove event may continue.

ＭｏｕｓｅＭｏｖｅイベントの継続可能性がある場合、タッチセンサー制御部１３は、マルチディスプレイ画面に対するタッチ終了イベントの送信を行わずに、終了座標と現在時刻を保持する(ステップＡ１４)。   When there is a possibility of continuing the MouseMove event, the touch sensor control unit 13 holds the end coordinates and the current time without transmitting a touch end event to the multi-display screen (step A14).

次にユーザの指が額縁部２４を押しながら移動して表示デバイス１２の左端にタッチする（ステップＡ１５）。   Next, the user's finger moves while pressing the frame portion 24 and touches the left end of the display device 12 (step A15).

表示デバイス１２は、ユーザにてタッチされたことをタッチイベントとして検知し、そのタッチイベントが検知された検知位置の画面３２上の座標であるタッチ座標と、自身（表示デバイス１２）のディスプレイ番号とをタッチセンサー制御部１３に通知する（ステップＡ１６）。   The display device 12 detects that the user has touched it as a touch event, and the touch coordinates that are coordinates on the screen 32 of the detection position where the touch event is detected, and the display number of itself (display device 12), Is notified to the touch sensor control unit 13 (step A16).

ここで、タッチセンサー制御部１３は、ステップＡ１１でＭｏｕｓｅＭｏｖｅイベントの継続可能性があると判断しているので、表示デバイス１２のタッチイベントが、ステップＡ１３にて終了した表示デバイス１１のタッチイベントの継続イベントであるか否かを判断する。   Here, since the touch sensor control unit 13 determines in step A11 that the MouseMove event may be continued, the touch event of the display device 12 is the continuation of the touch event of the display device 11 ended in step A13. Determine whether it is an event.

例えば、タッチセンサー制御部１３は、ステップＡ１４で保持した時刻から現在時刻までの経過時間が所定時間内か否かと、ステップＡ９で計算した軌跡ベクトルと、表示デバイス１１にてタッチが終了した終了座標から表示デバイス１２にてタッチが開始されたタッチ座標までの仮想ベクトルとの類似度が所定値より高いか否かを判断する。   For example, the touch sensor control unit 13 determines whether or not the elapsed time from the time held in step A14 to the current time is within a predetermined time, the trajectory vector calculated in step A9, and the end coordinates at which the touch on the display device 11 has ended. Whether or not the similarity to the virtual vector from the display device 12 to the touch coordinates where the touch is started is higher than a predetermined value.

ここでは、経過時間が所定時間内であり、かつ、類似度が所定値より高いとする。この場合、タッチセンサー制御部１３は、表示デバイス１２のタッチイベントが継続イベントであると判断する（ステップＡ１７）。   Here, it is assumed that the elapsed time is within a predetermined time and the similarity is higher than a predetermined value. In this case, the touch sensor control unit 13 determines that the touch event of the display device 12 is a continuation event (step A17).

タッチセンサー制御部１３は、仮想座標を保持するとともに、その現在の仮想座標と前回保持した仮想座標から軌跡ベクトルを計算し保持する(ステップＡ１８)。   The touch sensor control unit 13 holds the virtual coordinates, and calculates and holds a trajectory vector from the current virtual coordinates and the previously held virtual coordinates (step A18).

タッチセンサー制御部１３は、現在の仮想座標と、仮想座標の移動イベントであるＭｏｕｓｅＭｏｖｅイベントとを外部通信部１４に通知する(ステップＡ１９)。   The touch sensor control unit 13 notifies the external communication unit 14 of the current virtual coordinates and a Mouse Move event that is a movement event of the virtual coordinates (step A19).

外部通信部１４は、仮想座標およびＭｏｕｓｅＭｏｖｅイベントを受け付け、その仮想座標およびＭｏｕｓｅＭｏｖｅイベントを情報処理部２に通知する(ステップＡ２０)。   The external communication unit 14 receives the virtual coordinate and the Mouse Move event, and notifies the information processing unit 2 of the virtual coordinate and the Mouse Move event (Step A20).

その後、ユーザは画面３２の中央付近までドラッグ操作を行う。このときの表示装置１の動作は、ステップＡ７〜Ａ１１において表示デバイス１１を表示デバイス１２に変更すればよいので、詳細な説明は省略する。   Thereafter, the user performs a drag operation to near the center of the screen 32. Since the operation of the display device 1 at this time may be changed from the display device 11 to the display device 12 in steps A7 to A11, detailed description thereof is omitted.

次に、ユーザの指が表示デバイス１２の画面３２から外れる（ステップＡ２１）。   Next, the user's finger is removed from the screen 32 of the display device 12 (step A21).

表示デバイス１２は、ユーザの指が画面３２から外れたことをタッチ終了イベントとして検知し、ユーザからのタッチが終了したときのタッチ座標である終了座標とディスプレイ番号とをタッチセンサー制御部１３に通知する(ステップＡ２２)。   The display device 12 detects that the user's finger has been removed from the screen 32 as a touch end event, and notifies the touch sensor control unit 13 of the end coordinate and the display number that are the touch coordinates when the touch from the user ends. (Step A22).

タッチセンサー制御部１３は、終了座標およびディスプレイ番号を受け付けると、ＭｏｕｓｅＭｏｖｅイベントの継続可能性があるか否かを判断する。ここでは、画面３２の中央付近でユーザの指が画面３２から外れているので、終了座標が画面３２における画面３１と隣接する端辺である左端から閾値までの範囲に入っていないものとする。この場合、タッチセンサー制御部１３は、ＭｏｕｓｅＭｏｖｅイベントの継続可能性がないと判断して、タッチ終了イベントであるＭｏｕｓｅＵｐイベントと、終了座標とを外部通信部１４に通知する(ステップＡ２３)。   When the touch sensor control unit 13 receives the end coordinates and the display number, the touch sensor control unit 13 determines whether or not the MouseMove event may be continued. Here, since the user's finger is off the screen 32 in the vicinity of the center of the screen 32, it is assumed that the end coordinates do not fall within the range from the left end, which is the edge adjacent to the screen 31 on the screen 32, to the threshold value. In this case, the touch sensor control unit 13 determines that there is no possibility of continuing the MouseMove event, and notifies the external communication unit 14 of the MouseUp event that is a touch end event and the end coordinates (step A23).

次に、本実施形態の効果について説明する。   Next, the effect of this embodiment will be described.

本実施形態によれば、表示デバイス１１および１２のいずれかで検知された第１のタッチイベントが終了し、その後、別の表示デバイスで第２のタッチイベントが検知された場合、タッチセンサー制御部１３は、第１のタッチイベントおよび第２のタッチイベントが所定の条件を満たすと、第１のタッチイベントおよび第２のタッチイベントを、マルチディスプレイ画面に対する１つの仮想タッチイベントとして検知し、第１のタッチイベントおよび第２のタッチイベントが前記所定の条件を満たさないと、第１のタッチイベントおよび第２のタッチイベントを、別々にマルチディスプレイ画面に対する仮想タッチイベントとして検知する。   According to the present embodiment, when the first touch event detected by one of the display devices 11 and 12 ends, and then the second touch event is detected by another display device, the touch sensor control unit 13 detects the first touch event and the second touch event as one virtual touch event for the multi-display screen when the first touch event and the second touch event satisfy a predetermined condition, If the touch event and the second touch event do not satisfy the predetermined condition, the first touch event and the second touch event are separately detected as virtual touch events for the multi-display screen.

このため、第１のタッチイベントおよび第２のタッチイベントが所定の条件を満たせば、第１のタッチイベントおよび第２のタッチイベントが１つの仮想タッチイベントとして検知されることとなり、タッチセンサー付き表示デバイスによるマルチディスプレイにおいて、表示デバイスの画面に額縁部や間隙があっても、各表示デバイス間でユーザインターフェースをシームレスに利用することが可能になる。   Therefore, if the first touch event and the second touch event satisfy a predetermined condition, the first touch event and the second touch event are detected as one virtual touch event, and the display with the touch sensor is displayed. In a multi-display using devices, even if there is a frame portion or a gap on the screen of the display device, the user interface can be used seamlessly between the display devices.

次に第２の実施形態について説明する。   Next, a second embodiment will be described.

図５は、本発明の第２の実施形態である情報処理装置の構成を示すブロック図である。図５において、情報処理装置は、図１で示した構成に加えて、タッチセンサー１７をさらに有する。   FIG. 5 is a block diagram showing the configuration of the information processing apparatus according to the second embodiment of the present invention. 5, the information processing apparatus further includes a touch sensor 17 in addition to the configuration shown in FIG.

タッチセンサー１７は、額縁部２４の所定の位置へのタッチイベントである額縁タッチイベントを検知する。所定の位置は、画面３１および３２の間が望ましく、例えば、接続部２３の位置である。   The touch sensor 17 detects a frame touch event that is a touch event to a predetermined position of the frame portion 24. The predetermined position is preferably between the screens 31 and 32, for example, the position of the connection portion 23.

タッチセンサー制御部１３は、画面３１および３２のいずれかで検知された第１のタッチイベントが終了してから、タッチセンサー１７にて額縁タッチイベントが検知され、その後、額縁タッチイベントの終了が検知されると、第１のタッチイベントを仮想タッチイベントとして検知する。   The touch sensor control unit 13 detects the frame touch event at the touch sensor 17 after the first touch event detected on either of the screens 31 and 32 ends, and then detects the end of the frame touch event. Then, the first touch event is detected as a virtual touch event.

本実施形態によれば、接続部２３の位置で指を離すことで、タッチイベントを終了することが出来るので、仮想タッチセンサーデバイスの動作を一枚のセンサーデバイスの動作により近づけることができる。   According to the present embodiment, since the touch event can be ended by releasing the finger at the position of the connection unit 23, the operation of the virtual touch sensor device can be made closer to the operation of one sensor device.

次に第３の実施形態について説明する。   Next, a third embodiment will be described.

本実施形態の情報処理装置は、表示デバイス１１および１２がそれぞれ異なる端末装置（筐体）に設けられているものである。この場合、情報処理部２、タッチセンサー制御部１３および外部通信部１４は、端末装置のいずれかに内蔵されていてもよいし、端末装置とは別の装置に内蔵されていてもよい。また、表示装置用バス１５は、ＴＣＰ/ＩＰ網などのネットワークでもよい。   In the information processing apparatus of the present embodiment, the display devices 11 and 12 are provided in different terminal devices (housings). In this case, the information processing unit 2, the touch sensor control unit 13, and the external communication unit 14 may be incorporated in any of the terminal devices, or may be incorporated in a device different from the terminal device. The display device bus 15 may be a network such as a TCP / IP network.

ユーザが端末装置を組み合わせた場合、ユーザによって端末装置間の配置が決定されるので、端末装置間の距離がタッチセンサー制御部１３に設定されることで、タッチセンサー制御部１３は、表示デバイス１１および１２間の距離を把握することができる。なお、端末装置間の距離は、ユーザがタッチセンサー制御部１３に設定してもよいし、端末装置に他の端末装置までの距離を検知できるセンサが設けられていれば、タッチセンサー制御部１３がそのセンサの検知結果に基づいてその距離を自身に設定してもよい。   When the user combines the terminal devices, the arrangement between the terminal devices is determined by the user, so that the distance between the terminal devices is set in the touch sensor control unit 13 so that the touch sensor control unit 13 can display the display device 11. And the distance between 12 can be grasped. The distance between the terminal devices may be set by the user in the touch sensor control unit 13, or if the terminal device is provided with a sensor that can detect the distance to the other terminal device, the touch sensor control unit 13. However, the distance may be set to itself based on the detection result of the sensor.

タッチセンサー制御部１３は、第１のタッチイベントの検知位置の移動速度と、設定されている距離とから所定時間を算出するなど、第１のタッチイベントの検知位置の軌跡ベクトルだけでなく、その移動速度や端末間の距離などに応じて、第２のタッチイベントが第１のタッチイベントの継続イベントか否かを判断してもよい。   The touch sensor control unit 13 calculates a predetermined time from the moving speed of the detection position of the first touch event and the set distance, as well as the trajectory vector of the detection position of the first touch event. It may be determined whether the second touch event is a continuation event of the first touch event according to the moving speed, the distance between the terminals, and the like.

以上説明した各実施形態において、図示した構成は単なる一例であって、本発明はその構成に限定されるものではない。   In each embodiment described above, the illustrated configuration is merely an example, and the present invention is not limited to the configuration.

１ 表示装置
２ 情報処理部
１１、１２ タッチセンサー付き表示デバイス
１３ タッチセンサー制御部
１４ 外部通信部
１５ 表示装置用バス
１６ 外部通信用バス
１７ タッチセンサー
２０ 筐体
２１、２２ サブ筐体
２３ 接続部
３１、３２ 画面 DESCRIPTION OF SYMBOLS 1 Display apparatus 2 Information processing part 11, 12 Display device with a touch sensor 13 Touch sensor control part 14 External communication part 15 Bus for display apparatus 16 Bus for external communication 17 Touch sensor 20 Case 21, 22 Sub-case 23 Connection part 31 , 32 screens

Claims (9)

複数の表示画面から構成されたマルチディスプレイ画面を有する表示装置であって、
前記表示画面のいずれかを有し、当該表示画面へのタッチイベントを検知する複数の表示デバイスと、
前記表示デバイスのいずれかで検知された第１のタッチイベントが終了し、その後、別の表示デバイスで第２のタッチイベントが検知された場合、前記第１のタッチイベントおよび前記第２のタッチイベントが所定の条件を満たすと、前記第１のタッチイベントおよび前記第２のタッチイベントを、前記マルチディスプレイ画面に対する１つの仮想タッチイベントとして検知し、前記第１のタッチイベントおよび前記第２のタッチイベントが前記所定の条件を満たさないと、前記第１のタッチイベントおよび前記第２のタッチイベントを、別々に前記マルチディスプレイ画面に対する仮想タッチイベントとして検知する制御部と、を有する表示装置。 A display device having a multi-display screen composed of a plurality of display screens,
A plurality of display devices that have any of the display screens and detect touch events on the display screens;
When the first touch event detected by one of the display devices ends and then a second touch event is detected by another display device, the first touch event and the second touch event When the predetermined condition is satisfied, the first touch event and the second touch event are detected as one virtual touch event for the multi-display screen, and the first touch event and the second touch event are detected. And a control unit that separately detects the first touch event and the second touch event as virtual touch events for the multi-display screen when the predetermined condition is not satisfied. 前記所定の条件は、前記第１のタッチイベントが終了してから所定時間内に前記第２のタッチイベントが検知されることを含む、請求項１に記載の表示装置。   The display device according to claim 1, wherein the predetermined condition includes detecting the second touch event within a predetermined time after the first touch event ends. 前記所定の条件は、前記第１のタッチイベントが終了した画面上の座標が、前記別の表示デバイスの表示画面に隣接する端辺から閾値までの範囲に入っていることを含む、請求項１または２に記載の表示装置。   The predetermined condition includes that coordinates on a screen where the first touch event ends are within a range from an edge adjacent to a display screen of the other display device to a threshold value. Or the display apparatus of 2. 前記所定の条件は、前記第１のタッチイベントが検知された検知位置の軌跡ベクトルと、前記第１のタッチイベントの終了位置から前記第２のタッチイベントの開始位置までの仮想ベクトルとの類似度が所定値より高いことを含む、請求項１ないし３のいずれか１項に記載の表示装置。   The predetermined condition is that the degree of similarity between the locus vector of the detection position where the first touch event is detected and the virtual vector from the end position of the first touch event to the start position of the second touch event. 4. The display device according to claim 1, further comprising: being higher than a predetermined value. 5. 各表示デバイスは、同一の筐体に設けられる、請求項１ないし４のいずれか１項に記載の表示装置。   The display device according to claim 1, wherein each display device is provided in the same housing. 前記筐体における前記表示画面とは異なる所定の位置へのタッチイベントである額縁タッチイベントを検知するタッチセンサーをさらに有し、
前記制御部は、前記第１のタッチイベントが終了してから、前記タッチセンサーが前記額縁タッチイベントの終了を検知した場合、前記第１のタッチイベントを前記仮想タッチイベントとして検知する、請求項５に記載の表示装置。 A touch sensor that detects a frame touch event that is a touch event to a predetermined position different from the display screen in the housing;
The control unit detects the first touch event as the virtual touch event when the touch sensor detects the end of the frame touch event after the first touch event ends. The display device described in 1. 各表示デバイスは、それぞれ異なる筐体に設けられる、請求項１ないし６のいずれか１項に記載の表示装置。   The display device according to claim 1, wherein each display device is provided in a different housing. 請求項１ないし７のいずれか１項に記載の表示装置と、
前記仮想タッチイベントに応じた処理を行う情報処理部と、を有する情報処理装置。 A display device according to any one of claims 1 to 7,
And an information processing unit that performs processing according to the virtual touch event. 複数の表示画面から構成されたマルチディスプレイ画面を有する表示装置によるタッチイベント管理方法であって、
前記表示画面のいずれかに対する第１のタッチイベントを検知し、その後、別の表示画面に対する第２のタッチイベントを検知し、
前記第１のタッチイベントおよび前記第２のタッチイベントが所定の条件を満たすと、前記第１のタッチイベントおよび前記第２のタッチイベントを、前記マルチディスプレイ画面に対する１つの仮想タッチイベントとして検知し、
前記第１のタッチイベントおよび前記第２のタッチイベントが前記所定の条件を満たさないと、前記第１のタッチイベントおよび前記第２のタッチイベントを、別々に前記マルチディスプレイ画面に対する仮想タッチイベントとして検知する、タッチイベント管理方法。 A touch event management method by a display device having a multi-display screen composed of a plurality of display screens,
Detecting a first touch event for any of the display screens, then detecting a second touch event for another display screen;
When the first touch event and the second touch event satisfy a predetermined condition, the first touch event and the second touch event are detected as one virtual touch event for the multi-display screen,
If the first touch event and the second touch event do not satisfy the predetermined condition, the first touch event and the second touch event are separately detected as virtual touch events for the multi-display screen. Touch event management method.
JP2010189866A 2010-08-26 2010-08-26 Display system, information processor and touch event control method Pending JP2012048485A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010189866A JP2012048485A (en) 2010-08-26 2010-08-26 Display system, information processor and touch event control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010189866A JP2012048485A (en) 2010-08-26 2010-08-26 Display system, information processor and touch event control method

Publications (1)

Publication Number Publication Date
JP2012048485A true JP2012048485A (en) 2012-03-08

Family

ID=45903277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010189866A Pending JP2012048485A (en) 2010-08-26 2010-08-26 Display system, information processor and touch event control method

Country Status (1)

Country Link
JP (1) JP2012048485A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014123316A (en) * 2012-12-21 2014-07-03 Canon Inc Information processing system, information processing device, detection device, information processing method, detection method, and computer program
WO2014103023A1 (en) * 2012-12-28 2014-07-03 Ｎｅｃディスプレイソリューションズ株式会社 Display apparatus and method for controlling display apparatus
TWI461979B (en) * 2012-03-19 2014-11-21 Mstar Semiconductor Inc Control system for touch screen

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI461979B (en) * 2012-03-19 2014-11-21 Mstar Semiconductor Inc Control system for touch screen
JP2014123316A (en) * 2012-12-21 2014-07-03 Canon Inc Information processing system, information processing device, detection device, information processing method, detection method, and computer program
WO2014103023A1 (en) * 2012-12-28 2014-07-03 Ｎｅｃディスプレイソリューションズ株式会社 Display apparatus and method for controlling display apparatus

Similar Documents

Publication Publication Date Title
WO2014142503A1 (en) Apparatus and method for deleting an item on a touch screen display
US9400581B2 (en) Touch-sensitive button with two levels
US20140078091A1 (en) Terminal Device and Method for Quickly Starting Program
WO2014112807A1 (en) Apparatus and method for an adaptive edge-to-edge display system for multi-touch devices
CN105144068B (en) Application program display method and terminal
CN110427151A (en) A kind of method and electronic equipment controlling user interface
CN110737374B (en) Operation method and electronic equipment
WO2013125804A1 (en) Method and apparatus for moving contents in terminal
WO2014129828A1 (en) Method for providing a feedback in response to a user input and a terminal implementing the same
KR20140079110A (en) Mobile terminal and operation method thereof
EP2680116A1 (en) Display apparatus, display control method, and program
WO2014107079A1 (en) Content zooming method and terminal implementing the same
US9710062B2 (en) Electronic apparatus and method for controlling electronic apparatus to provide tactile sensation feedback
CN107168632B (en) Processing method of user interface of electronic equipment and electronic equipment
CN110928461A (en) Icon moving method and electronic equipment
CN102902452A (en) Method for photographing image and mobile terminal
CN110007822B (en) Interface display method and terminal equipment
WO2012111230A1 (en) Information processing terminal, and method for controlling same
WO2013039064A1 (en) Information processing device, display control method, program, and information storage medium
CN112947825A (en) Display control method, display control device, electronic device, and medium
JP5854928B2 (en) Electronic device having touch detection function, program, and control method of electronic device having touch detection function
JPWO2014073137A1 (en) Information processing terminal device
CN104182120A (en) Screen interface display method and display device
JP2012048485A (en) Display system, information processor and touch event control method
CN111596836A (en) Split-screen display method and electronic equipment