JP2008299474A

JP2008299474A - Display control device and method, display device, imaging device, and program

Info

Publication number: JP2008299474A
Application number: JP2007142946A
Authority: JP
Inventors: Ryoichi Tsuzaki; 亮一津崎; Mitsuo Okumura; 光男奥村; Masahiro Takahashi; 正宏高橋; Kazunori Yamaguchi; 和範山口; Tsutomu Harada; 勉原田; Mitsuru Tateuchi; 満建内
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-05-30
Filing date: 2007-05-30
Publication date: 2008-12-11

Abstract

PROBLEM TO BE SOLVED: To ensure that desired data is displayed when the number of data for display on an index screen is varied. SOLUTION: Two fingers are started to get close or make contact at a position A<SB>41</SB>and a position B<SB>41</SB>on an index screen 241, and when the two fingers are stopped from getting close or making contact after the distance between the two fingers is increased from a distance d<SB>41</SB>to a distance d<SB>42</SB>, ninth index data on a center C<SB>41</SB>of indications, i.e., the midpoint between the position A<SB>41</SB>and the position B<SB>41</SB>, is set as reference data. Based on the rate of increase in the distance between the two fingers, a maximum display number is changed, and an index screen 242 or 243 is displayed where the index data is rearranged to display the reference data in a line or row including the center C<SB>41</SB>of indications. Applicable to, e.g., digital cameras. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、表示制御装置および方法、表示装置、撮像装置、並びに、プログラムに関し、特に、例えば、インデックス画面の表示を行う表示制御装置および方法、表示装置、撮像装置、並びに、プログラムに関する。 The present invention relates to a display control device and method, a display device, an imaging device, and a program, and more particularly to a display control device and method for displaying an index screen, a display device, an imaging device, and a program, for example.

従来、パネル上の点に対する入力が可能であり、入力があった点に関する情報を出力可能なパネルとして、静電式や感圧式のタッチパネルが普及している。タッチパネルでは、外部からの入力に対して、その入力があったタッチパネル上の点に関する情報（例えば、点の座標等）である点情報を、一度に１つの点についてのみ出力することができる。すなわち、タッチパネルでは、一度にパネル上の１つの点に対する入力および出力が可能である。 2. Description of the Related Art Conventionally, electrostatic or pressure-sensitive touch panels have been widely used as panels capable of inputting information on points on the panel and outputting information related to the input points. In the touch panel, point information that is information (for example, the coordinates of a point) on a point on the touch panel where the input is made can be output for only one point at a time in response to an input from the outside. That is, the touch panel can input and output one point on the panel at a time.

また、パネル上の複数の点に対する入力が可能であるとともに、一度に複数の点に関する情報を出力可能なパネルとして、例えば、液晶表示装置に光センサを内蔵させ、外部からの光の入力を光センサで検出することにより、光による入力が可能な表示パネル（以下、入出力パネルともいう）が提案されている（例えば、特許文献１参照）。 In addition, as a panel that can input to a plurality of points on the panel and can output information on a plurality of points at a time, for example, a liquid crystal display device has a built-in optical sensor to receive light input from the outside. There has been proposed a display panel (hereinafter also referred to as an input / output panel) capable of inputting light by detecting with a sensor (see, for example, Patent Document 1).

入出力パネルにおいて、光による入力を検出する方法としては、大きく分けて、LED(Light Emitting Diode)等の外部光源を持つ物体（例えば、ペンなど）をユーザに操作させる方法と、そのような外部光源を持たない指やペン等で入力操作させ、液晶表示装置が発する光、つまり、液晶表示装置のバックライトの透過光が、液晶表示装置の表示画面に近づいている指やペンで反射して液晶表示装置の内部に戻ってくる光を光センサで検出する方法とがある。 In the input / output panel, the method of detecting input by light can be broadly divided into a method in which a user operates an object (for example, a pen) having an external light source such as an LED (Light Emitting Diode), and such an external device. The input operation is performed with a finger or pen that does not have a light source, and the light emitted by the liquid crystal display device, that is, the transmitted light of the backlight of the liquid crystal display device is reflected by the finger or pen approaching the display screen of the liquid crystal display device. There is a method in which light returning to the inside of the liquid crystal display device is detected by an optical sensor.

入出力パネルでは、一度に複数の点の点情報を出力することができ、すなわち、一度にパネル上の複数の点に対する入力および出力が可能であり、今後、従来のタッチパネルが適用されていた製品等のアプリケーションへの適用が期待されている。 The I / O panel can output point information for multiple points at once, that is, it can input and output to multiple points on the panel at the same time. Application to such applications is expected.

ところで、タッチパネルを適用した製品の１つにデジタルカメラがある。タッチパネルを適用したデジタルカメラの中には、デジタルカメラが記憶している画像、または、デジタルカメラの機能を表すアイコンなどのデータを格子状に並べたインデックス画面を、タッチパネル上に表示する機能を有するものがある。ユーザは、インデックス画面を参照することにより、所望の画像や機能などを簡単かつ迅速に見つけることができ、見つけたデータを指やペンなどで指示することにより、所望の画像や機能などを簡単に選択することができる。 Incidentally, a digital camera is one of products to which a touch panel is applied. A digital camera to which a touch panel is applied has a function of displaying an index screen in which images stored in the digital camera or data representing icons of the digital camera are arranged in a grid pattern on the touch panel. There is something. The user can easily and quickly find a desired image or function by referring to the index screen, and can easily find the desired image or function by pointing the found data with a finger or a pen. You can choose.

なお、以下、インデックス画面内に表示される画像やアイコンなどの個々のデータのことをインデックスデータと称する。 Hereinafter, individual data such as images and icons displayed in the index screen will be referred to as index data.

特開２００４−１２７２７２号公報JP 2004-127272 A

ところで、従来のデジタルカメラの中には、インデックス画面内に表示されるインデックスデータの数の最大値（以下、最大表示数と称する）を変更できる機能を有するものがある。例えば、図１に示されるように、最大表示数が縦３個×横３個の９個のインデックス画面１から、最大表示数が縦２個×横２個の４個のインデックス画面２に表示を切換えることにより、インデックス画面内の個々のインデックスデータを大きく表示することができる。逆に、インデックス画面２からインデックス画面１に切換えることにより、一度に多くのインデックスデータを表示することができる。 Meanwhile, some conventional digital cameras have a function of changing the maximum value of the number of index data displayed in the index screen (hereinafter referred to as the maximum display number). For example, as shown in FIG. 1, the maximum display number is displayed on four index screens 2 having a maximum display number of 2 × width 2 from nine index screens 1 having a maximum length of 3 × 3. By switching, individual index data in the index screen can be displayed in a large size. Conversely, by switching from the index screen 2 to the index screen 1, a large amount of index data can be displayed at one time.

なお、インデックス画面１および２内の四角の各マスはインデックスデータを示しており、インデックスデータ内の番号は各インデックスデータに割り振られた番号であるインデックス番号を示している。 Each square box in the index screens 1 and 2 indicates index data, and the number in the index data indicates an index number that is a number assigned to each index data.

しかしながら、従来のデジタルカメラでは、インデックスデータの数を変更した場合、所望のインデックスデータが必ずしも表示されるとは限らない。例えば、図１に示される例の場合、９番のインデックスデータを大きく表示させるために、インデックス画面１からインデックス画面２に切換えた場合、９番のインデックスデータがインデックス画面２内に表示されないため、ユーザは、９番のインデックスデータを表示させるために、インデックス画面のページを切換える必要がある。 However, in the conventional digital camera, when the number of index data is changed, desired index data is not always displayed. For example, in the case of the example shown in FIG. 1, when switching from the index screen 1 to the index screen 2 in order to display the 9th index data large, the 9th index data is not displayed in the index screen 2, The user needs to switch the page of the index screen in order to display the 9th index data.

本発明は、このような状況に鑑みてなされたものであり、表示されるインデックスデータの数を変更した場合に、所望のインデックスデータを確実に表示するようにするものである。 The present invention has been made in view of such a situation, and is intended to reliably display desired index data when the number of displayed index data is changed.

本発明の第１の側面の表示制御装置は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる表示制御手段とを備える。 The display control apparatus according to the first aspect of the present invention can change the maximum display number, which is the maximum value of the number of data to be displayed, and displays the data arranged in a predetermined format according to the maximum display number. A display control device for controlling display by the display device of the index screen, wherein the indication position is an indicated position on the index screen, and increase / decrease information indicating an instruction to increase or decrease the maximum display number An acquisition means for acquiring, a display number setting means for setting a maximum display number of the data based on the increase / decrease information, and arranging the data based on a format according to the set maximum display number, The data displayed at the position closest to the indicated position on the index screen before changing the maximum display number is the index after the maximum display number is changed. On the screen, an arrangement setting means for setting the arrangement of the data so as to be arranged on or in the vicinity of the designated position, and the index screen after changing the maximum display number is displayed on the display device. Display control means.

前記インデックス画面においては、前記データが格子状に配置されるようにすることができ、前記配置設定手段には、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定させることができる。 In the index screen, the data can be arranged in a grid pattern, and the arrangement setting means has a position closest to the indicated position in the index screen before changing the maximum display number. The arrangement of the data can be set so that the displayed data is arranged in a row or a column including the designated position on the index screen after the maximum display number is changed.

前記表示装置は、表示画面上の複数の点に対する入力を可能とすることができ、前記取得手段には、前記表示画面上において指示された点の位置を前記指示位置として取得させることができる。 The display device can enable input to a plurality of points on the display screen, and the acquisition unit can acquire the position of the point designated on the display screen as the designated position.

前記表示装置は、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力部を有することができ、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得させ、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。 The display device may include an input / output unit that displays an image and detects light input from the outside, and is capable of inputting to a plurality of points on the display screen, and the acquisition unit includes the display screen. In the above, the position of the middle point of the first point and the second point when the indication of the first point and the second point is started is acquired as the indication position, and the first point and the The distance between the first point and the second point when the indication of the second point is started, and the first when the indication of the first point and the second point is completed A change amount between the distance between one point and the second point can be acquired as the increase / decrease information.

本発明の第１の側面の表示装置の表示制御方法またはプログラムは、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御方法、または、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御するコンピュータに実行させるプログラムであって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し、前記増減情報に基づいて、前記データの最大表示数を設定し、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させるステップを含む。 The display control method or program for a display device according to the first aspect of the present invention can change the maximum display number, which is the maximum value of the number of data to be displayed, and data in a predetermined format according to the maximum display number. The display control method for controlling the display by the display device of the index screen that is arranged and displayed, or the maximum display number that is the maximum value of the number of displayed data can be changed, and according to the maximum display number A program to be executed by a computer that controls display by a display device of an index screen on which data is arranged and displayed in a predetermined format, the indicated position being the designated position on the index screen, and the maximum display Obtain increase / decrease information indicating an instruction to increase or decrease the number, set the maximum display number of the data based on the increase / decrease information, and set the maximum The data is arranged based on a format according to the number of indications, and the data displayed at a position closest to the indicated position on the index screen before changing the maximum display number changes the maximum display number. In the index screen after the setting, the arrangement of the data is set so as to be arranged on or near the indicated position, and the index screen after the maximum display number is changed is displayed on the display device Including a step.

本発明の第２の側面の表示装置は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、前記最大表示数を変更した後の前記インデックス画面を表示させる表示制御手段とを備える。 The display device according to the second aspect of the present invention can change the maximum display number that is the maximum value of the number of displayed data, and the data is arranged and displayed in a predetermined format according to the maximum display number. A display device for displaying an index screen, an acquisition position for acquiring an indication position indicating an indication position on the index screen, and increase / decrease information indicating an instruction to increase or decrease the maximum display number; Display number setting means for setting the maximum display number of the data based on the increase / decrease information, and arranging the data based on the format corresponding to the set maximum display number, and before changing the maximum display number The data displayed at the position closest to the indicated position on the index screen is the indicated position on the index screen after changing the maximum display number. Or the provided and placed setting means for setting the arrangement of the data to be placed near the indicated position, and display control means for displaying the index screen after changing the maximum display number.

表示画面上の複数の点に対する入力を可能とすることができ、前記取得手段には、前記表示画面上において指示された点の位置を前記指示位置として取得させることができる。 Input to a plurality of points on the display screen can be made possible, and the acquisition unit can acquire the position of the point indicated on the display screen as the indicated position.

画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力手段をさらに設け、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得させ、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。 Input / output means capable of displaying an image and detecting light input from the outside and inputting to a plurality of points on the display screen is further provided, and the acquisition means includes a first point and a first point on the display screen. The middle point position of the first point and the second point when the second point instruction is started is acquired as the designated position, and the first point and the second point instruction are The distance between the first point and the second point when started, the first point and the second when the indication of the first point and the second point is finished The amount of change between the two points can be acquired as the increase / decrease information.

本発明の第３の側面の撮像装置は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示部を有する撮像装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、前記最大表示数を変更した後の前記インデックス画面を前記表示部に表示させる表示制御手段とを備える。 The imaging device according to the third aspect of the present invention can change the maximum display number, which is the maximum value of the number of displayed data, and the data is arranged and displayed in a predetermined format according to the maximum display number. An image pickup apparatus having a display unit for displaying an index screen that acquires an indication position that is an indicated position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number Means, a display number setting means for setting the maximum display number of the data based on the increase / decrease information, and arranging the data based on a format corresponding to the set maximum display number, and the maximum display number The data displayed at the position closest to the indicated position on the index screen before changing the Arrangement setting means for setting the arrangement of the data so as to be arranged on or in the vicinity of the designated position, and display control means for displaying the index screen after changing the maximum display number on the display unit With.

本発明の第１の側面においては、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報が取得され、前記増減情報に基づいて、前記データの最大表示数が設定され、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置が設定され、前記最大表示数を変更した後の前記インデックス画面が前記表示装置に表示される。 In the first aspect of the present invention, an indication position that is an indicated position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number are acquired, and based on the increase / decrease information A maximum display number of the data is set, the data is arranged based on a format according to the set maximum display number, and the index position before changing the maximum display number The arrangement of the data is set so that the data displayed at a close position is arranged on the indication position or in the vicinity of the indication position on the index screen after the maximum display number is changed, and the maximum The index screen after the display number is changed is displayed on the display device.

本発明の第２の側面においては、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報が取得され、前記増減情報に基づいて、前記データの最大表示数が設定され、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置が設定され、前記最大表示数を変更した後の前記インデックス画面が表示される。 In the second aspect of the present invention, an indication position that is an indicated position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number are acquired, and based on the increase / decrease information A maximum display number of the data is set, the data is arranged based on a format according to the set maximum display number, and the index position before changing the maximum display number The arrangement of the data is set so that the data displayed at a close position is arranged on the indication position or in the vicinity of the indication position on the index screen after the maximum display number is changed, and the maximum The index screen after changing the display number is displayed.

本発明の第３の側面においては、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報が取得され、前記増減情報に基づいて、前記データの最大表示数が設定され、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置が設定され、前記最大表示数を変更した後の前記インデックス画面が前記表示部に表示される。 In the third aspect of the present invention, an indication position that is an indicated position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number are acquired, and based on the increase / decrease information A maximum display number of the data is set, the data is arranged based on a format according to the set maximum display number, and the index position before changing the maximum display number The arrangement of the data is set so that the data displayed at a close position is arranged on the indication position or in the vicinity of the indication position on the index screen after the maximum display number is changed, and the maximum The index screen after changing the display number is displayed on the display unit.

本発明の第１乃至第３の側面によれば、インデックス画面に表示されるデータの数を変更することができる。特に、本発明の第１乃至第３の側面によれば、インデックス画面に表示されるデータの数を変更した場合に、所望のデータを確実に表示することができる。 According to the first to third aspects of the present invention, the number of data displayed on the index screen can be changed. In particular, according to the first to third aspects of the present invention, desired data can be reliably displayed when the number of data displayed on the index screen is changed.

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。 Embodiments of the present invention will be described below. Correspondences between the constituent elements of the present invention and the embodiments described in the specification or the drawings are exemplified as follows. This description is intended to confirm that the embodiments supporting the present invention are described in the specification or the drawings. Therefore, even if there is an embodiment which is described in the specification or the drawings but is not described here as an embodiment corresponding to the constituent elements of the present invention, that is not the case. It does not mean that the form does not correspond to the constituent requirements. Conversely, even if an embodiment is described here as corresponding to a configuration requirement, that means that the embodiment does not correspond to a configuration requirement other than the configuration requirement. It's not something to do.

本発明の第１の側面の表示制御装置（例えば、図３のインデックス表示制御部１６１）は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置（例えば、図２の入出力パネル１１６）による表示を制御する表示制御装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段（例えば、図３の受信部１７１）と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段（例えば、図３の表示数設定部１７３）と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段（例えば、図３の配置設定部１７４）と、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる表示制御手段（例えば、図３の画像データ生成部１７５）とを備える。 The display control apparatus according to the first aspect of the present invention (for example, the index display control unit 161 in FIG. 3) can change the maximum display number, which is the maximum value of the number of data to be displayed. A display control device for controlling display by an index screen display device (for example, the input / output panel 116 in FIG. 2) in which data is arranged and displayed in a predetermined format in response to the data, and is designated on the index screen. An acquisition means (for example, the receiving unit 171 in FIG. 3) for acquiring an instruction position that is a position and an increase / decrease information indicating an instruction to increase or decrease the maximum display number, and the maximum of the data based on the increase / decrease information The display number setting means for setting the display number (for example, the display number setting unit 173 in FIG. 3) and the data are arranged on the basis of the format corresponding to the set maximum display number. Data displayed at a position closest to the indicated position on the index screen before changing the maximum display number is displayed on the indicated position or at the indicated position on the index screen after changing the maximum display number. Arrangement setting means for setting the arrangement of the data to be arranged in the vicinity (for example, the arrangement setting unit 174 in FIG. 3), and a display for displaying the index screen after changing the maximum display number on the display device And a control unit (for example, the image data generation unit 175 in FIG. 3).

本発明の第１の側面の表示制御装置は、第２に、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力部（例えば、図２の入出力ディスプレイ１３２）を有し、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得し、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。 Secondly, the display control apparatus according to the first aspect of the present invention secondly includes an input / output unit (for example, an input / output unit that displays an image and detects light input from the outside and can input to a plurality of points on the display screen. 2, and the acquisition means includes the first point and the second point when the first point and the second point are started to be indicated on the display screen. The position of the midpoint of the point is acquired as the indicated position, and the distance between the first point and the second point when the indication of the first point and the second point is started, The change amount between the distance between the first point and the second point when the instruction of the first point and the second point is completed is acquired as the increase / decrease information. it can.

本発明の第１の側面の表示制御方法またはプログラムは、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置（例えば、図２の入出力パネル１１６）による表示を制御する表示制御方法、または、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置（例えば、図２の入出力パネル１１６）による表示を制御するコンピュータに実行させるプログラムであって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し（例えば、図１５のステップＳ１０１）、前記増減情報に基づいて、前記データの最大表示数を設定し（例えば、図１５のステップＳ１０７）、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し（例えば、図１５のステップＳ１０８）、前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる（例えば、図１５のステップＳ１０９）ステップを含む。 The display control method or program according to the first aspect of the present invention can change the maximum display number, which is the maximum value of the number of displayed data, and the data is arranged in a predetermined format according to the maximum display number. The display control method for controlling the display of the index screen displayed by the display device (for example, the input / output panel 116 in FIG. 2), or the maximum display number that is the maximum value of the number of displayed data can be changed. A program to be executed by a computer that controls display on an index screen display device (for example, the input / output panel 116 in FIG. 2) on which data is arranged and displayed in a predetermined format according to the maximum display number, An instruction position which is an instructed position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number are acquired (for example, FIG. 1 In step S101), the maximum display number of the data is set based on the increase / decrease information (for example, step S107 in FIG. 15), and the data is arranged based on the format corresponding to the set maximum display number. In addition, the data displayed at the position closest to the indicated position on the index screen before the maximum display number is changed is displayed on the indicated position or the data on the index screen after the maximum display number is changed. The arrangement of the data is set so as to be arranged in the vicinity of the designated position (for example, step S108 in FIG. 15), and the index screen after changing the maximum display number is displayed on the display device (for example, FIG. 15 steps S109).

本発明の第２の側面の表示装置（例えば、図２の入出力パネル１１６）は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段（例えば、図３の受信部１７１）と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段（例えば、図３の表示数設定部１７３）と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段（例えば、図３の配置設定部１７４）と、前記最大表示数を変更した後の前記インデックス画面を表示させる表示制御手段（例えば、図３の画像データ生成部１７５）とを備える。 The display device according to the second aspect of the present invention (for example, the input / output panel 116 in FIG. 2) can change the maximum display number, which is the maximum value of the number of data to be displayed, according to the maximum display number. A display device for displaying an index screen on which data is arranged and displayed in a predetermined format, wherein an indication position that is an indicated position on the index screen and an instruction to increase or decrease the maximum display number Acquisition means for acquiring the increase / decrease information shown (for example, the receiving unit 171 in FIG. 3) and display number setting means for setting the maximum display number of the data based on the increase / decrease information (for example, the display number setting unit in FIG. 173) and arranging the data based on the format corresponding to the set maximum display number, and closest to the indicated position on the index screen before changing the maximum display number An arrangement setting means for setting the arrangement of the data so that the data displayed at the position is arranged on the designated position or in the vicinity of the designated position on the index screen after the maximum display number is changed. For example, an arrangement setting unit 174 in FIG. 3 and display control means (for example, the image data generation unit 175 in FIG. 3) for displaying the index screen after changing the maximum display number are provided.

本発明の第２の側面の表示装置は、第２に、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力手段（例えば、図２の入出力ディスプレイ１３２）をさらに備え、前記取得手段には、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得させ、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得させることができる。 Secondly, the display device according to the second aspect of the present invention secondly provides input / output means (for example, FIG. 1) capable of displaying an image and detecting light input from the outside and inputting a plurality of points on the display screen. 2 input / output display 132), and the acquisition means includes the first point and the second point when an instruction of the first point and the second point is started on the display screen. The position of the middle point is acquired as the indicated position, and the distance between the first point and the second point when the indication of the first point and the second point is started, A change amount between the distance between the first point and the second point when the instruction of the first point and the second point is completed can be acquired as the increase / decrease information. .

本発明の第３の側面の撮像装置（例えば、図３０のデジタルカメラ６４１）は、表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示部（例えば、図３０の表示部６５２）を有する撮像装置であって、前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段（例えば、図３の受信部１７１）と、前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段（例えば、図３の表示数設定部１７３）と、設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段（例えば、図３の配置設定部１７４）と、前記最大表示数を変更した後の前記インデックス画面を前記表示部に表示させる表示制御手段（例えば、図３の画像データ生成部１７５）とを備える。 The image pickup apparatus according to the third aspect of the present invention (for example, the digital camera 641 in FIG. 30) can change the maximum display number, which is the maximum value of the number of displayed data, and is predetermined according to the maximum display number. An imaging device having a display unit (for example, the display unit 652 in FIG. 30) that displays an index screen in which data is arranged and displayed in the form of: an indicated position that is an indicated position on the index screen; And an acquisition means (for example, the receiving unit 171 in FIG. 3) for acquiring increase / decrease information indicating an instruction to increase or decrease the maximum display number, and a display for setting the maximum display number of the data based on the increase / decrease information The number setting means (for example, the display number setting unit 173 in FIG. 3) and the data are arranged based on the format corresponding to the set maximum display number, and before the maximum display number is changed. The data displayed at a position closest to the indicated position on the index screen is arranged on the indicated position or in the vicinity of the indicated position on the index screen after changing the maximum display number. Arrangement setting means for setting the arrangement of data (for example, arrangement setting section 174 in FIG. 3) and display control means for displaying the index screen after changing the maximum display number on the display section (for example, in FIG. 3) An image data generation unit 175).

以下、図面を参照して本発明を適用した実施の形態について説明する。 Embodiments to which the present invention is applied will be described below with reference to the drawings.

図２は、本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。 FIG. 2 is a block diagram showing a configuration example of an embodiment of a display system to which the present invention is applied.

図２において、表示システム１０１は、例えば、携帯電話機やTV(Television)受像機等を構成する。 In FIG. 2, the display system 101 configures, for example, a mobile phone, a TV (Television) receiver, or the like.

表示システム１０１は、アンテナ１１０、信号処理部１１１、制御部１１２、記憶部１１３、操作部１１４、通信部１１５、及び入出力パネル１１６から構成される。 The display system 101 includes an antenna 110, a signal processing unit 111, a control unit 112, a storage unit 113, an operation unit 114, a communication unit 115, and an input / output panel 116.

信号処理部１１１は、アンテナ１１０で受信された地上波や衛星波等のテレビジョン放送の放送電波を復調し、その結果得られる画像データ及び音声データを制御部１１２に供給する。 The signal processing unit 111 demodulates a broadcast wave of a television broadcast such as a terrestrial wave or a satellite wave received by the antenna 110, and supplies image data and audio data obtained as a result to the control unit 112.

制御部１１２は、操作部１１４から供給されるユーザの操作に対応する操作信号に基づいて、各種の処理を行い、その過程で一時的に記憶すべきデータを、記憶部１１３に供給する。 The control unit 112 performs various processes based on operation signals corresponding to user operations supplied from the operation unit 114, and supplies data to be temporarily stored in the process to the storage unit 113.

また、制御部１１２は、表示制御部１２１を含み、表示制御部１２１は、信号処理部１１１から供給される画像データ等を入出力パネル１１６に供給する。また、表示制御部１２１は、入出力パネル１１６から供給される、後述するターゲットとイベントの情報に基づいて、必要に応じて、画像データを、入出力パネル１１６の入出力ディスプレイ１３２に供給することにより、入出力ディスプレイ１３２の表示状態を変更させる等の表示制御を行う。 Further, the control unit 112 includes a display control unit 121, and the display control unit 121 supplies image data and the like supplied from the signal processing unit 111 to the input / output panel 116. In addition, the display control unit 121 supplies image data to the input / output display 132 of the input / output panel 116 as necessary based on target and event information, which will be described later, supplied from the input / output panel 116. Thus, display control such as changing the display state of the input / output display 132 is performed.

記憶部１１３は、例えば、RAM(Random Access Memory)から構成される。記憶部１１３は、制御部１１２から供給されるデータを一時的に記憶する。 The storage unit 113 is composed of, for example, a RAM (Random Access Memory). The storage unit 113 temporarily stores data supplied from the control unit 112.

操作部１１４は、例えば、テンキー、キーボード等から構成される。操作部１１４は、ユーザによって操作されることにより、その操作に対応する操作信号を生成し、制御部１１２に供給する。 The operation unit 114 includes, for example, a numeric keypad and a keyboard. When operated by the user, the operation unit 114 generates an operation signal corresponding to the operation and supplies the operation signal to the control unit 112.

通信部１１５は、例えば、図示せぬ無線局との間で無線電波を用いて通信を行う。 For example, the communication unit 115 communicates with a radio station (not shown) using radio waves.

入出力パネル１１６は、制御部１１２から供給される画像データに対応する画像を入出力ディスプレイ１３２に表示するとともに、入出力ディスプレイ１３２から出力される受光信号から検出される１以上の点に対する入力の情報に、後述する統合処理と認識処理を施すことにより、ターゲットとイベントの情報を生成し、制御部１１２に供給する。 The input / output panel 116 displays an image corresponding to the image data supplied from the control unit 112 on the input / output display 132 and inputs one or more points detected from the light reception signal output from the input / output display 132. By performing integration processing and recognition processing described later on the information, target and event information is generated and supplied to the control unit 112.

すなわち、入出力パネル１１６は、表示信号処理部１３１、入出力ディスプレイ１３２、受光信号処理部１３３、画像処理部１３４、及び生成部１３５から構成される。 That is, the input / output panel 116 includes a display signal processing unit 131, an input / output display 132, a received light signal processing unit 133, an image processing unit 134, and a generation unit 135.

表示信号処理部１３１は、制御部１１２から供給される画像データに対して、入出力ディスプレイ１３２に表示するための処理を施し、その結果得られる画像データを、入出力ディスプレイ１３２に供給する。 The display signal processing unit 131 performs processing for displaying the image data supplied from the control unit 112 on the input / output display 132, and supplies the resulting image data to the input / output display 132.

入出力ディスプレイ１３２は、画像の表示と、外部からの入力に対応する光の検出とを行う。すなわち、入出力ディスプレイ１３２は、表示信号処理部１３１から供給される画像データに対応する画像を、その表示画面に表示する。また、入出力ディスプレイ１３２は、例えば、表示画面全体に分布するように配置された複数の光センサ１３２Ａを内蔵し、外部から入射する光を受光し、その光の受光量に対応する受光信号を生成して、受光信号処理部１３３に供給する。 The input / output display 132 displays an image and detects light corresponding to an input from the outside. That is, the input / output display 132 displays an image corresponding to the image data supplied from the display signal processing unit 131 on the display screen. The input / output display 132 includes, for example, a plurality of photosensors 132A arranged so as to be distributed over the entire display screen, receives light incident from the outside, and receives a light reception signal corresponding to the amount of light received. Generated and supplied to the received light signal processing unit 133.

受光信号処理部１３３は、入出力ディスプレイ１３２から供給される受光信号に対して、所定の処理を施すことにより、入出力ディスプレイ１３２の表示画面に対して、ユーザの指等が近接または接触している部分と、何も近接および接触していない部分とで輝度が異なる画像を、フレームごとに得て、画像処理部１３４に供給する。 The light reception signal processing unit 133 performs predetermined processing on the light reception signal supplied from the input / output display 132 so that the user's finger or the like approaches or touches the display screen of the input / output display 132. Images with different brightness between the present portion and the portion that is not in proximity or in contact with each other are obtained for each frame and supplied to the image processing unit 134.

画像処理部１３４は、受光信号処理部１３３から供給される各フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、入出力ディスプレイ１３２の表示画面に指等の物体が近接または接触している部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の情報、すなわち、例えば、その入力部分を代表する表示画面上の点の座標である代表座標等の入力があった表示画面上の点に関する点情報、つまり、入力部分の点情報を得て、生成部１３５に供給する。 The image processing unit 134 performs image processing such as binarization, noise removal, and labeling on the image of each frame supplied from the light reception signal processing unit 133, so that a finger or the like is displayed on the display screen of the input / output display 132. The part (area) where the object is in close proximity or in contact is detected as an input part that has been input from the outside, and the information of the input part, for example, the point on the display screen that represents the input part. The point information related to the point on the display screen where the representative coordinates or the like as coordinates are input, that is, the point information of the input portion is obtained and supplied to the generation unit 135.

生成部１３５は、画像処理部１３４から供給される入力部分の点情報に、後述の統合処理を施すことにより、ターゲットの情報を生成する。さらに、生成部１３５は、ターゲットの情報に基づいて、後述の認識処理を行うことにより、ターゲットの状態の変化を表すイベントの情報を生成する。なお、統合処理でも、一部のイベントの情報が生成される。 The generation unit 135 generates target information by performing point integration processing described later on the point information of the input portion supplied from the image processing unit 134. Furthermore, the generation unit 135 generates event information indicating a change in the state of the target by performing a recognition process described later based on the target information. Even in the integration process, information on some events is generated.

すなわち、生成部１３５は、ターゲット生成部１４１、イベント生成部１４２、及び記憶部１４３から構成され、ターゲットとイベントの情報を、フレームごとに生成し、制御部１１２に供給する。 That is, the generation unit 135 includes a target generation unit 141, an event generation unit 142, and a storage unit 143. The generation unit 135 generates target and event information for each frame and supplies the information to the control unit 112.

入出力ディスプレイ１３２に対しては、その表示画面に、例えば、指等を近接または接触することにより、入力を行うことができるが、この入出力ディスプレイ１３２に対する一連の入力が、ターゲットである。すなわち、例えば、入出力ディスプレイ１３２の表示画面に対して、指が近接または接触し、その近接または接触が維持されながら指が移動し、指の近接および接触が解除されるまでに行われる、入出力ディスプレイ１３２の表示画面への一連の入力がターゲットとなる。 The input / output display 132 can be input by, for example, bringing a finger or the like close to or in contact with the display screen. A series of inputs to the input / output display 132 is a target. That is, for example, when the finger approaches or comes into contact with the display screen of the input / output display 132, the finger moves while the proximity or contact is maintained, and the approach and contact of the finger are released. A series of inputs to the display screen of the output display 132 is a target.

また、イベントは、ターゲットの状態の変化を表し、例えば、ターゲットの位置が移動したことや、ターゲットが新たに出現した（生成された）こと、ターゲットが消滅した（削除された）こと等を表す。 The event represents a change in the state of the target. For example, the event indicates that the target position has moved, the target has newly appeared (generated), the target has disappeared (deleted), or the like. .

生成部１３５のターゲット生成部１４１は、画像処理部１３４から供給されるフレームごとの入力部分の点情報に、統合処理を施すことにより、外部から入力があった入力部分の時間的若しくは空間的位置関係に基づいて、一連の入力を表すターゲットの情報を生成して、記憶部１４３に供給する。 The target generation unit 141 of the generation unit 135 performs an integration process on the point information of the input portion for each frame supplied from the image processing unit 134, so that the temporal or spatial position of the input portion input from the outside is obtained. Based on the relationship, target information representing a series of inputs is generated and supplied to the storage unit 143.

いま、画像処理部１３４からターゲット生成部１４１に供給される入力部分の点情報が、時刻t+1の第t+1フレームの点情報であるとすると、ターゲット生成部１４１は、第t+1フレームの入力部分の点情報と、時間的に近い関係にある１つ前のフレームである時刻tの第tフレームのターゲットの情報とを比較する。 Now, assuming that the point information of the input portion supplied from the image processing unit 134 to the target generation unit 141 is the point information of the (t + 1) th frame at time t + 1, the target generation unit 141 The point information of the input part of the frame is compared with the target information of the t-th frame at time t, which is the immediately preceding frame that is closely related in time.

第tフレームのあるターゲットを、注目ターゲットとして注目することとすると、ターゲット生成部１４１は、注目ターゲットに対して、第t+1フレームの空間的に近い関係にある入力部分を、注目ターゲットとしての一連の入力における一部を構成する入力部分であるとして、注目ターゲットに統合する。 Assuming that a target having a t-th frame is focused as a target of interest, the target generation unit 141 uses an input portion having a spatially close relationship with respect to the target of interest in the t + 1 frame as a target of attention. As an input part constituting a part of a series of inputs, the target target is integrated.

また、ターゲット生成部１４１は、注目ターゲットに対して、空間的に近い関係にある入力部分が第t+1フレームに存在しない場合には、注目ターゲットとしての一連の入力が終了したとして、注目ターゲットを削除する。 Further, the target generation unit 141 determines that the series of inputs as the target of interest has ended when the input portion that is spatially close to the target of interest does not exist in the t + 1th frame, Is deleted.

さらに、ターゲット生成部１４１は、ターゲットに統合されずに残った第t+1フレームの入力部分については、ターゲットとしての一連の入力が開始されたとして、新たなターゲットを生成する。そして、ターゲット生成部１４１は、統合されたターゲットの情報と新たに生成されたターゲットの情報を、第t+1フレームのターゲットの情報として記憶部１４３に供給する。 Further, the target generation unit 141 generates a new target for the input portion of the (t + 1) th frame that remains without being integrated with the target, assuming that a series of inputs as a target has started. Then, the target generation unit 141 supplies the integrated target information and the newly generated target information to the storage unit 143 as target information of the (t + 1) th frame.

イベント生成部１４２は、ターゲットの情報に基づいて、ターゲットの状態の変化を表すイベントの情報を適宜生成し、記憶部１４３に供給する。すなわち、例えば、イベント生成部１４２は、第tフレームと第t+1フレームのそれぞれのターゲットの情報、あるいは、必要に応じて、記憶部１４３に記憶されている第tフレーム以前に発行されたイベントの情報等に基づいて、ターゲットの状態の変化を表すイベントを認識する。そして、イベント生成部１４２は、認識したイベントの内容を表すイベントの情報を生成するイベントの発行を行い、そのイベントの情報を第t+1フレームのイベントの情報として記憶部１４３に供給する。 The event generation unit 142 appropriately generates event information indicating a change in the target state based on the target information, and supplies the event information to the storage unit 143. In other words, for example, the event generation unit 142 may generate events issued before the t-th frame stored in the storage unit 143 as necessary, or information on targets of the t-th frame and the t + 1-th frame. Based on the information and the like, an event representing a change in the state of the target is recognized. Then, the event generation unit 142 issues an event for generating event information representing the content of the recognized event, and supplies the event information to the storage unit 143 as event information of the (t + 1) th frame.

また、イベント生成部１４２は、記憶部１４３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１１２に供給（出力）する。 In addition, the event generation unit 142 reads the target and event information of the (t + 1) th frame from the storage unit 143 and supplies (outputs) the information to the control unit 112.

記憶部１４３は、ターゲット生成部１４１から供給されるターゲットの情報と、イベント生成部１４２から供給されるイベントの情報とを記憶する。 The storage unit 143 stores target information supplied from the target generation unit 141 and event information supplied from the event generation unit 142.

図３は、表示制御部１２１の機能的構成の一部の例を示す図である。表示制御部１２１は、インデックス表示制御部１６１を含むように構成される。 FIG. 3 is a diagram illustrating an example of a part of the functional configuration of the display control unit 121. The display control unit 121 is configured to include an index display control unit 161.

インデックス表示制御部１６１は、インデックス画面の入出力ディスプレイ１３２による表示を制御する。なお、ここで、インデックス画面とは、インデックス画面内に表示されるインデックスデータの数の最大値である最大表示数に応じて所定の形式によりインデックスデータが配置されて表示される画面のことであり、上述した図１のインデックス画面はその一例である。また、表示システム１０１においては、後述するように、インデックス画面の最大表示数の変更が可能である。インデックス表示制御部１６１は、受信部１７１、基準データ設定部１７２、表示数設定部１７３、配置設定部１７４、および、画像データ生成部１７５を含むように構成される。 The index display control unit 161 controls display of the index screen by the input / output display 132. Here, the index screen is a screen in which index data is arranged and displayed in a predetermined format according to the maximum display number that is the maximum value of the number of index data displayed in the index screen. The index screen of FIG. 1 described above is an example. In the display system 101, the maximum display number of the index screen can be changed as will be described later. The index display control unit 161 is configured to include a reception unit 171, a reference data setting unit 172, a display number setting unit 173, an arrangement setting unit 174, and an image data generation unit 175.

受信部１７１は、操作部１１４を介してユーザにより入力されたインデックス画面の表示の指令を受信し、受信した指令を画像データ生成部１７５に供給する。また、受信部１７１は、イベント生成部１４２により発行されたイベントの情報を受信し、必要に応じて、受信したイベントの情報を基準データ設定部１７２および表示数設定部１７３に供給する。 The receiving unit 171 receives an index screen display command input by the user via the operation unit 114, and supplies the received command to the image data generating unit 175. In addition, the reception unit 171 receives information on the event issued by the event generation unit 142, and supplies the received event information to the reference data setting unit 172 and the display number setting unit 173 as necessary.

基準データ設定部１７２は、図１５などを参照して後述するように、入出力ディスプレイ１３２の表示画面に表示されているインデックス画面においてユーザにより指示された位置に最も近い位置に表示されているインデックスデータを基準データに設定し、設定した基準データを示す情報を配置設定部１７４に供給する。 As will be described later with reference to FIG. 15 and the like, the reference data setting unit 172 displays the index displayed at the position closest to the position designated by the user on the index screen displayed on the display screen of the input / output display 132. Data is set as reference data, and information indicating the set reference data is supplied to the arrangement setting unit 174.

表示数設定部１７３は、図１５などを参照して後述するように、取得したイベントの情報に基づいて、インデックス画面の最大表示数を設定する。表示数設定部１７３は、設定した最大表示数を示す情報を配置設定部１７４に供給する。 As will be described later with reference to FIG. 15 and the like, the display number setting unit 173 sets the maximum display number of the index screen based on the acquired event information. The display number setting unit 173 supplies information indicating the set maximum display number to the arrangement setting unit 174.

配置設定部１７４は、図１５などを参照して後述するように、表示数設定部１７３により設定された最大表示数に応じた形式に基づいてインデックスデータを配置するとともに、最大表示数を変更した後のインデックス画面において、基準データがユーザにより指示された位置またはその近傍に配置されるように、インデックスデータの配置を設定する。配置設定部１７４は、設定したインデックスデータの配置を示す情報を画像データ生成部１７５に供給する。 As will be described later with reference to FIG. 15 and the like, the arrangement setting unit 174 arranges the index data based on the format corresponding to the maximum display number set by the display number setting unit 173 and changes the maximum display number. On the subsequent index screen, the arrangement of the index data is set so that the reference data is arranged at or near the position designated by the user. The arrangement setting unit 174 supplies information indicating the arrangement of the set index data to the image data generation unit 175.

画像データ生成部１７５は、ユーザより入力されたインデックス画面の表示の指令を受信部１７１から取得した場合、その指令に基づくインデックス画面の画像データを生成し、表示信号処理部１３１に供給する。また、画像データ生成部１７５は、インデックスデータの配置を示す情報を配置設定部１７４から取得した場合、設定された配置に従ってインデックスデータを配置したインデックス画面の画像データを生成し、表示信号処理部１３１に供給する。さらに、画像データ生成部１７５は、入出力ディスプレイ１３２の表示画面に表示されているインデックス画面における各インデックスデータの種類や位置などを示す情報を受信部１７１、基準データ設定部１７２、表示数設定部１７３、および、配置設定部１７４に供給する。 When the index data display command input from the user is acquired from the receiving unit 171, the image data generating unit 175 generates index screen image data based on the command and supplies the index screen image data to the display signal processing unit 131. Further, when the image data generation unit 175 acquires information indicating the arrangement of the index data from the arrangement setting unit 174, the image data generation unit 175 generates image data of the index screen in which the index data is arranged according to the set arrangement, and the display signal processing unit 131. To supply. Further, the image data generation unit 175 receives information indicating the type and position of each index data on the index screen displayed on the display screen of the input / output display 132, a reception unit 171, a reference data setting unit 172, a display number setting unit. 173 and the arrangement setting unit 174.

次に、図４のフローチャートを参照して、表示システム１０１による表示受光制御処理について説明する。 Next, display light reception control processing by the display system 101 will be described with reference to the flowchart of FIG.

表示システム１０１による表示受光制御処理は、例えば、ユーザが表示システム１０１の電源をオンにすると、開始される。 The display light reception control process by the display system 101 is started when the user turns on the power of the display system 101, for example.

なお、以下においては、既に、表示受光制御処理のステップＳ１乃至Ｓ８の処理が第tフレームまで行われており、記憶部１４３には、少なくとも、第tフレーム以前のターゲットとイベントの情報が適宜記憶されているものとする。 In the following, steps S1 to S8 of the display light reception control process have already been performed up to the t-th frame, and at least target and event information before the t-th frame is appropriately stored in the storage unit 143. It is assumed that

ステップＳ１において、入出力ディスプレイ１３２の光センサ１３２Ａは、時刻t+1のフレームのタイミングで、表示画面に指が近接または接触している部分から反射した光等の外部からの光を受光し、その光の受光量に対応する受光信号を受光信号処理部１３３に供給する。 In step S1, the optical sensor 132A of the input / output display 132 receives light from the outside such as light reflected from a portion where the finger is close to or in contact with the display screen at the timing of the frame at time t + 1. A light reception signal corresponding to the amount of received light is supplied to the light reception signal processing unit 133.

ステップＳ２において、受光信号処理部１３３は、入出力ディスプレイ１３２から供給される受光信号に所定の処理を施すことにより、入出力ディスプレイ１３２に対して、指等が近接または接触している部分と、何も近接および接触していない部分とで輝度が異なる画像を、第t+1フレームの画像として得て、画像処理部１３４に供給する。 In step S 2, the light reception signal processing unit 133 performs predetermined processing on the light reception signal supplied from the input / output display 132, so that a finger or the like is close to or in contact with the input / output display 132. An image having a luminance different from that of a part that is not in proximity or in contact with the image is obtained as an image of the (t + 1) th frame, and is supplied to the image processing unit 134.

ステップＳ３において、画像処理部１３４は、受光信号処理部１３３から供給される第t+1フレームの画像に対して、２値化、ノイズ除去、ラベリング等の画像処理を施すことにより、第t+1フレームについて、入出力ディスプレイ１３２の表示画面に指等の物体が近接または接触した部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を得て、生成部１３５に供給する。 In step S 3, the image processing unit 134 performs image processing such as binarization, noise removal, and labeling on the t + 1-th frame image supplied from the light reception signal processing unit 133, so that the t + th For one frame, a part (area) where an object such as a finger approaches or touches the display screen of the input / output display 132 is detected as an input part that has been input from the outside, and point information of the input part is obtained, It supplies to the production | generation part 135. FIG.

ステップＳ４において、生成部１３５のターゲット生成部１４１は、画像処理部１３４から供給される第t+1フレームの入力部分の点情報に、統合処理を施すことにより、第t+1フレームについて、ターゲットの情報を生成し、記憶部１４３に記憶させる。また、生成部１３５のイベント生成部１４２は、ターゲットの情報に基づいて、統合処理を行うことにより、第t+1フレームについて、特定のイベント、すなわち、例えば、ターゲットの生成及び削除（消滅）を表すイベントの情報を適宜生成し、記憶部１４３に記憶させる。統合処理の詳細については、図６乃至図１０を参照して、後述する。 In step S 4, the target generation unit 141 of the generation unit 135 performs integration processing on the point information of the input portion of the t + 1 frame supplied from the image processing unit 134, so that the target for the t + 1 frame is processed. Is generated and stored in the storage unit 143. Further, the event generation unit 142 of the generation unit 135 performs integration processing based on target information, thereby generating a specific event, for example, target generation and deletion (disappearance), for the t + 1th frame. Information on the event to be represented is generated as appropriate and stored in the storage unit 143. Details of the integration processing will be described later with reference to FIGS.

ステップＳ５において、生成部１３５のイベント生成部１４２は、さらに、ターゲットの情報に基づいて、認識処理を行うことにより、第t+1フレームについて、ターゲットの状態の変化を表すイベントの情報を生成し、記憶部１４３に記憶させる。認識処理の詳細については、図１１乃至図１４を参照して後述する。 In step S5, the event generation unit 142 of the generation unit 135 further performs recognition processing based on the target information, thereby generating event information representing a change in the target state for the t + 1th frame. And stored in the storage unit 143. Details of the recognition process will be described later with reference to FIGS. 11 to 14.

ステップＳ６において、生成部１３５のイベント生成部１４２は、記憶部１４３から第t+1フレームのターゲットとイベントの情報を読み出し、制御部１１２に供給（出力）する。 In step S 6, the event generation unit 142 of the generation unit 135 reads the target and event information of the (t + 1) th frame from the storage unit 143 and supplies (outputs) the information to the control unit 112.

ステップＳ７において、制御部１１２は、入出力パネル１１６の生成部１３５から供給（出力）されるターゲットとイベントの情報に基づいて、必要に応じて、画像データを、表示信号処理部１３１を介して、入出力ディスプレイ１３２に供給することにより、入出力ディスプレイ１３２の表示状態を変更させる等の表示制御処理を行う。表示制御処理の詳細については、図１５乃至図２５を参照して後述する。 In step S 7, the control unit 112 transmits image data via the display signal processing unit 131 as necessary based on target and event information supplied (output) from the generation unit 135 of the input / output panel 116. The display control process such as changing the display state of the input / output display 132 is performed by supplying it to the input / output display 132. Details of the display control process will be described later with reference to FIGS. 15 to 25.

ステップＳ８において、入出力ディスプレイ１３２は、制御部１１２の表示制御に従い、それまでとは異なる表示状態、例えば、それまで表示されていた画像が時計周りに９０°回転して表示される表示状態で、画像を表示する。 In step S8, the input / output display 132 is in a different display state according to the display control of the control unit 112, for example, in a display state in which an image that has been displayed so far is rotated 90 degrees clockwise. , Display an image.

その後、処理は、ステップＳ１に戻り、次の第t+2フレームについて、同様の処理が繰り返される。 Thereafter, the process returns to step S1, and the same process is repeated for the next t + 2 frame.

図５は、図４の表示受光制御処理を行うソフトウエアの構成例を説明する図である。 FIG. 5 is a diagram illustrating a configuration example of software that performs the display light reception control process of FIG. 4.

ここで、入出力パネル１１６において表示受光制御処理を行うソフトウエアは、点情報の生成処理を行うソフトウエア、および、情報の整形処理を行うソフトウエアを含む。 Here, the software that performs the display light reception control process in the input / output panel 116 includes software that performs point information generation processing and software that performs information shaping processing.

図５において、入出力ディスプレイ１３２の光センサ１３２Ａは、外部からの光、例えば、表示画面に近接または接触している指等で反射した光を受光し、１フレームの受光信号を生成する。 In FIG. 5, the optical sensor 132A of the input / output display 132 receives light from the outside, for example, light reflected by a finger or the like that is close to or in contact with the display screen, and generates a light reception signal of one frame.

受光信号処理の階層では、入出力ディスプレイ１３２から供給される１フレームの受光信号に、例えば、増幅やフィルタ処理等の受光信号処理が施されることにより、その受光信号に対応する１フレームの画像が得られる。 In the received light signal processing hierarchy, the received light signal of one frame supplied from the input / output display 132 is subjected to received light signal processing such as amplification and filter processing. Is obtained.

受光信号処理の階層の上位階層の点情報の生成処理の階層では、受光信号処理で得られる画像に対して、所定の画像処理、例えば、２値化、ノイズ除去、ラベリング等が施されることにより、入出力ディスプレイ１３２の表示画面の、物体が近接または接触している部分である入力部分が検出される。そして、入力部分の点情報がフレームごとに生成される。 In the point information generation processing layer above the light reception signal processing layer, predetermined image processing, for example, binarization, noise removal, labeling, etc., is performed on the image obtained by the light reception signal processing. Thus, an input portion of the display screen of the input / output display 132, which is a portion where an object is close or in contact, is detected. Then, point information of the input part is generated for each frame.

点情報の生成処理の上位の情報の整形処理の階層では、点情報の生成処理で得られる点情報が、表示制御部１２１が望む形の情報に整形される。例えば、点情報に統合処理が施され、フレームごとのターゲットの情報が生成される。さらに、そのフレームのターゲットの情報に基づいて、特定のイベント、例えば、ターゲットの生成や削除（消滅）を表すイベントの情報が生成される。また、統合処理で生成されたターゲットの情報等に基づいて、ユーザの指の動きやジェスチャ等の認識処理が施されることにより、ターゲットの状態の変化を表すイベントの情報がフレームごとに生成される。統合処理で生成されたターゲット及びイベントの情報と、認識処理で生成されたイベントの情報が、フレームごとに表示制御部１２１に出力される。 In the level of information shaping processing that is higher in the point information generation processing, the point information obtained by the point information generation processing is shaped into information desired by the display control unit 121. For example, integration processing is performed on the point information, and target information for each frame is generated. Furthermore, based on the target information of the frame, information on a specific event, for example, an event indicating generation or deletion (disappearance) of the target is generated. In addition, based on target information generated by the integration processing, etc., recognition processing of user's finger movements, gestures, etc. is performed, so that event information representing changes in the target state is generated for each frame. The The target and event information generated by the integration process and the event information generated by the recognition process are output to the display control unit 121 for each frame.

表示制御部１２１は、情報の整形処理で出力されたターゲットとイベントの情報に基づいて、必要に応じて、表示に関しての指示、例えば、画像データを入出力ディスプレイ１３２に供給することにより、入出力ディスプレイ１３２の表示状態を変更する等の表示制御を行う。 Based on the target and event information output in the information shaping process, the display control unit 121 supplies a display instruction, for example, image data to the input / output display 132 as necessary. Display control such as changing the display state of the display 132 is performed.

次に、図６乃至図１０を参照して、図１の生成部１３５による統合処理の詳細について説明する。 Next, details of the integration processing by the generation unit 135 of FIG. 1 will be described with reference to FIGS.

図６は、時刻tの第tフレームに存在するターゲットを表している。 FIG. 6 shows the targets existing in the t-th frame at time t.

ここで、図６では（後述する図７及び図８でも同様）、フレームを表す長方形の内部に、説明の便宜上、マスを図示してある。 Here, in FIG. 6 (the same applies to FIGS. 7 and 8 to be described later), a square is shown inside the rectangle representing the frame for convenience of explanation.

図６において、時刻tの第tフレームには、３つのターゲット#1，#2、及び#3が存在する。ターゲットには、ターゲットの属性であるターゲット属性を与えることができる。ターゲット属性には、例えば、各ターゲットを識別するための識別情報としてのターゲットID(Identifier)（識別番号）があり、図６では、３つのターゲットに対して、#1，#2、及び#3がそれぞれターゲットIDとして付されている。 In FIG. 6, there are three targets # 1, # 2, and # 3 in the t-th frame at time t. A target attribute that is an attribute of the target can be given to the target. The target attribute includes, for example, a target ID (Identifier) (identification number) as identification information for identifying each target. In FIG. 6, # 1, # 2, and # 3 are assigned to three targets. Are assigned as target IDs.

例えば、ユーザが、３本の指を、入出力ディスプレイ１３２の表示画面に近接または接触させている場合に、図６に示したような３つのターゲット#1乃至#3が存在する状態となる。 For example, when the user brings three fingers close to or in contact with the display screen of the input / output display 132, there are three targets # 1 to # 3 as shown in FIG.

図７は、時刻tの第tフレームより１フレーム後の時刻t+1の第t+1フレームの統合処理前の入力部分を表している。 FIG. 7 shows an input part before the integration process of the (t + 1) th frame at time t + 1, which is one frame after the tth frame at time t.

図７において、第t+1フレームには、４つの入力部分#a乃至#dが存在する。 In FIG. 7, there are four input parts #a to #d in the (t + 1) th frame.

例えば、ユーザが、４本の指を、入出力ディスプレイ１３２の表示画面に近接または接触している場合に、図７に示したような４つの入力部分#a乃至#dが生じる。 For example, when the user has four fingers close to or in contact with the display screen of the input / output display 132, four input portions #a to #d as shown in FIG. 7 occur.

図８は、図６に示した第tフレームと図７に示した第t+1フレームとを重ね合わせた状態を表している。 FIG. 8 shows a state in which the t-th frame shown in FIG. 6 and the t + 1-th frame shown in FIG. 7 are overlapped.

統合処理では、例えば、時間的に近い関係にある第tフレームのターゲットと第t+1フレームの入力部分とが比較される。そして、第tフレームのあるターゲットを、注目ターゲットとして注目すると、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分、すなわち、注目ターゲットからの距離が、例えば、所定の距離（例えば、２マス分の距離）以内にある入力部分が、注目ターゲットとしての一連の入力の一部を構成する入力部分であるとして、注目ターゲットに統合される。 In the integration process, for example, the target of the t-th frame and the input portion of the t + 1-th frame that are in a temporal relationship are compared. When attention is paid to a target having the t-th frame as an attention target, for example, an input portion having a spatially close relationship with the attention target, that is, a distance from the attention target is, for example, a predetermined distance (for example, An input portion within a distance of 2 squares) is integrated into the target of interest as an input portion constituting a part of a series of inputs as the target of interest.

なお、注目ターゲットに対して、空間的に近い関係にある入力部分が、複数存在する場合には、例えば、その複数の入力部分のうちの、注目ターゲットに対して、最も近い入力部分が、注目ターゲットに統合される。 In addition, when there are a plurality of input portions that are spatially close to the target of interest, for example, the input portion that is closest to the target of interest is the target of the plurality of input portions. Integrated into the target.

また、統合処理では、例えば、注目ターゲットに対して、空間的に近い関係にある入力部分が存在しない場合には、その注目ターゲットとしての一連の入力が終了したとして、注目ターゲットが削除される。 In the integration process, for example, when there is no input portion that is spatially close to the target of interest, the target of interest is deleted as a series of inputs as the target of interest has been completed.

さらに、統合処理では、例えば、ターゲットに統合されずに残った入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新たなターゲットが生成される。 Further, in the integration process, for example, for an input portion that is not integrated with the target, that is, an input portion that is not spatially close to the target, a new series of inputs is started and a new input is started. A target is generated.

したがって、図８に示される第t+1フレームの入力部分#a乃至#dと第tフレームのターゲット#1乃至#3を対象として、統合処理が行われると、ターゲット#1の近傍には、入力部分#aと#bが存在するが、入力部分#bの方が、入力部分#aに比べてより近いので、入力部分#bが、ターゲット#1に統合（マージ）される。 Therefore, when the integration process is performed on the input portions #a to #d of the t + 1th frame and the targets # 1 to # 3 of the tth frame shown in FIG. Input portions #a and #b exist, but the input portion #b is closer to the input portion #a than the input portion #a, so that the input portion #b is integrated (merged) with the target # 1.

また、図８では、ターゲット#2の近傍には、入力部分が存在しないので、このターゲット#2は、削除される。そして、ターゲットが削除されたことを表すイベント「削除」が生成される。 Further, in FIG. 8, since there is no input part in the vicinity of the target # 2, this target # 2 is deleted. Then, an event “deletion” indicating that the target has been deleted is generated.

さらに、図８では、ターゲット#3の近傍には、入力部分#cと#dが存在するが、入力部分#dの方が、入力部分#cに比べてより近いので、入力部分#dが、ターゲット#3に統合（マージ）される。 Further, in FIG. 8, there are input portions #c and #d in the vicinity of the target # 3. However, since the input portion #d is closer than the input portion #c, the input portion #d , Merged into target # 3.

そして、ターゲット#1乃至#3のうちのいずれにも統合されずに残った入力部分#aと#cは、それぞれ新たなターゲットとして生成される。そして、ターゲットが生成されたことを表すイベント「生成」が生成される。 Then, the input parts #a and #c remaining without being integrated into any of the targets # 1 to # 3 are generated as new targets, respectively. Then, an event “generation” indicating that the target has been generated is generated.

統合処理では、第tフレームのターゲットのうちの削除されずに残ったターゲットと、第t+1フレームの入力部分のうちの統合されずに残った入力部分について新たに生成されたターゲットとが、第t+1フレームのターゲットとなる。そして、第t+1フレームのターゲットの情報は、第t+1フレームの入力部分の点情報に基づいて、生成される。 In the integration process, the target that remains without being deleted among the targets of the t-th frame, and the target that is newly generated for the input portion that remains without being integrated among the input portions of the t + 1-th frame, Target of the t + 1th frame. Then, the target information of the (t + 1) th frame is generated based on the point information of the input part of the (t + 1) th frame.

ここで、入力部分の点情報は、受光信号処理部１３３から画像処理部１３４に供給される１フレームの画像である受光画像に対して、画像処理を施すことで得られる。 Here, the point information of the input portion is obtained by performing image processing on the received light image which is an image of one frame supplied from the received light signal processing unit 133 to the image processing unit 134.

図９は、受光画像を示している。 FIG. 9 shows a received light image.

図９の受光画像には、３つの入力部分#1乃至#3が存在する。 In the received light image of FIG. 9, there are three input portions # 1 to # 3.

受光画像上の各入力部分は、例えば、表示画面の指が近接または接触している部分から反射した光が受光された部分であるので、表示画面の指が近接および接触していない部分に比べて、輝度の高いまたは低い部分となっている。画像処理部１３４は、受光画像の輝度の高いまたは低い領域を、入力部分として検出し、その入力部分の領域の特徴量を、その入力部分の点情報として出力する。 Each input part on the received light image is, for example, a part where light reflected from a part where the finger of the display screen is close or in contact is received, so compared with a part where the finger of the display screen is not close or in contact Therefore, the brightness is high or low. The image processing unit 134 detects a high or low luminance area of the received light image as an input part, and outputs a feature amount of the input part area as point information of the input part.

点情報としては、入力部分を代表する位置の座標である代表座標としての入力部分の領域の中心（例えば、入力部分を囲む最小の円の中心など）や重心、入力部分の領域（図中の斜線部分）の面積の情報である面積情報、入力部分の範囲を表す領域情報としての、例えば、入力部分を囲む最小の長方形の上端の座標、下端の座標、左端の座標、及び右端の座標等を採用することができる。 As point information, the center of the input part area (eg, the center of the smallest circle surrounding the input part), the center of gravity, and the input part area (in the figure) Area information that is information on the area of the hatched area, area information representing the range of the input part, for example, the coordinates of the upper end of the smallest rectangle surrounding the input part, the coordinates of the lower end, the coordinates of the left end, the coordinates of the right end, etc. Can be adopted.

ターゲットの情報のうちのターゲットの属性であるターゲット属性は、ターゲットに統合される入力部分の点情報に基づいて、生成される。すなわち、ターゲットに入力部分が統合されるとき、ターゲットに固有の識別情報であるターゲットIDが維持され、それ以外のターゲット属性、例えば、ターゲットの代表座標、面積情報、領域情報等が、そのターゲットに統合される入力部分の点情報、すなわち、入力部分の代表座標、面積情報、領域情報等で置き換えられる。 A target attribute which is a target attribute of the target information is generated based on point information of an input part integrated with the target. That is, when the input part is integrated with the target, the target ID, which is identification information unique to the target, is maintained, and other target attributes such as the target's representative coordinates, area information, region information, etc. are stored in the target. It is replaced with point information of the input part to be integrated, that is, representative coordinates, area information, area information, etc. of the input part.

また、ターゲット属性には、ターゲットしての一連の入力が開始したときの時刻を表す情報やターゲットしての一連の入力が終了したときの時刻を表す情報等が含まれてもよい。 In addition, the target attribute may include information indicating a time when a series of inputs as a target starts, information indicating a time when a series of inputs as a target ends, and the like.

ターゲットの情報には、上述したターゲット属性の他、例えば、生成部１３５が制御部１１２に出力するフレームごとのターゲットの数等を採用することができる。 In addition to the target attributes described above, for example, the number of targets for each frame output from the generation unit 135 to the control unit 112 can be used as the target information.

次に、図１０のフローチャートを参照して、図４のステップＳ４で図１の生成部１３５が行う統合処理について説明する。 Next, the integration process performed by the generation unit 135 in FIG. 1 in step S4 in FIG. 4 will be described with reference to the flowchart in FIG.

ステップＳ２１において、ターゲット生成部１４１は、記憶部１４３から第t+1フレームの時間的な近傍である第tフレームのターゲットの情報を読み出し、画像処理部１３４から供給される第t+1フレームの入力部分の点情報と、記憶部１４３から読み出した第tフレームのターゲットの情報とを比較する。 In step S 21, the target generation unit 141 reads out information on the target of the t-th frame that is the temporal vicinity of the t + 1-th frame from the storage unit 143, and the t + 1-th frame supplied from the image processing unit 134. The point information of the input part is compared with the target frame information read from the storage unit 143.

ステップＳ２２において、ターゲット生成部１４１は、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあるかを判定する。ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがあると判定された場合、ステップＳ２３において、ターゲット生成部１４１は、第tフレームのターゲットのうちの、まだ注目ターゲットとしていないターゲットのうちの１つを注目ターゲットとし、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在するかを判定する。 In step S 22, the target generation unit 141 determines whether there is a target that is not yet a target of interest in the t-th frame read in step S 21. If it is determined in step S22 that there is a target that has not yet been set as the target of interest in the t-th frame read out in step S21, in step S23, the target generation unit 141 still selects the target of interest among the targets in the t-th frame. One of the targets that is not defined is set as the target of interest, and it is determined whether or not the input portion of the t + 1-th frame exists in the spatial vicinity of the target of interest of the t-th frame.

ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在すると判定された場合、ステップＳ２４において、ターゲット生成部１４１は、ステップＳ２２で注目ターゲットの空間的な近傍にあると判定された第t+1フレームの入力部分を注目ターゲットに統合し、統合後の注目ターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部１４３に記憶させる。 When it is determined in step S23 that the input portion of the (t + 1) th frame is present in the spatial vicinity of the target of interest in the tth frame, in step S24, the target generation unit 141 performs the space of the target of interest in step S22. The input portion of the (t + 1) th frame determined to be close to the target is integrated with the target of interest, and the information of the target of interest after integration is stored in the storage unit 143 as the target information of the (t + 1) th frame. .

具体的には、ターゲット生成部１４１は、注目ターゲットのターゲットIDを維持し、それ以外のターゲット属性、例えば、注目ターゲットの代表座標等を、注目ターゲットに統合される入力部分の代表座標等で置き換え、第t+1フレームのターゲットの情報として、記憶部１４３に記憶させる。 Specifically, the target generation unit 141 maintains the target ID of the target of interest, and replaces other target attributes such as the representative coordinates of the target of interest with the representative coordinates of the input portion integrated with the target of interest. The information is stored in the storage unit 143 as target information of the (t + 1) th frame.

一方、ステップＳ２３において、第tフレームの注目ターゲットの空間的な近傍に、第t+1フレームの入力部分が存在しないと判定された場合、ステップＳ２５において、ターゲット生成部１４１は、注目ターゲットの情報を記憶部１４３から削除する。 On the other hand, if it is determined in step S23 that the input portion of the (t + 1) th frame does not exist in the spatial vicinity of the target of interest of the tth frame, in step S25, the target generation unit 141 performs information on the target of attention. Is deleted from the storage unit 143.

ステップＳ２６において、イベント生成部１４２は、ターゲット生成部１４１が注目ターゲットを削除すると、ターゲットが消滅したこと、すなわち、ターゲットとしての一連の入力が終了したことを表すイベント「削除」を新たに発行し、そのイベントの情報を第t+1フレームのイベントの情報として、記憶部１４３に記憶させる。図８の例では、ターゲット#2が注目ターゲットである場合、ターゲット#2が第t+1フレームで削除されたことを表すイベント「削除」が発行され、そのイベント「削除」の情報が記憶部１４３に記憶される。 In step S 26, when the target generation unit 141 deletes the target of interest, the event generation unit 142 newly issues an event “deletion” indicating that the target has disappeared, that is, a series of inputs as the target has ended. The event information is stored in the storage unit 143 as event information of the (t + 1) th frame. In the example of FIG. 8, when the target # 2 is the target of interest, an event “deletion” indicating that the target # 2 has been deleted in the t + 1th frame is issued, and information on the event “deletion” is stored in the storage unit 143 is stored.

ステップＳ２４，Ｓ２６の処理の後、処理は、ステップＳ２２に戻り、新たな注目ターゲットについて、同様の処理が実行される。 After the processes in steps S24 and S26, the process returns to step S22, and the same process is executed for the new target of interest.

ステップＳ２２において、ステップＳ２１で読み出した第tフレームに、まだ注目ターゲットとしていないターゲットがないと判定された場合、ステップＳ２７において、ターゲット生成部１４１は、画像処理部１３４から供給された第t+1フレームに、第tフレームのターゲットに統合されずに残っている入力部分が存在するかを判定する。 If it is determined in step S22 that there is no target that is not yet the target of interest in the t-th frame read in step S21, the target generator 141 in step S27 receives the t + 1-th frame supplied from the image processor 134. It is determined whether there is an input portion remaining in the frame without being integrated with the target of the t-th frame.

ステップＳ２７において、第t+1フレームに統合されずに残っている入力部分が存在すると判定された場合、ステップＳ２８において、ターゲット生成部１４１は、統合されずに残っている入力部分について、新しいターゲットを生成する。 If it is determined in step S27 that there is an input portion that remains unintegrated in the (t + 1) th frame, in step S28, the target generation unit 141 selects a new target for the input portion that remains unintegrated. Is generated.

すなわち、第tフレームのターゲットに統合されずに残った第t+1フレームの入力部分、つまり、ターゲットに対して空間的に近い関係にない入力部分については、新たな一連の入力が開始されたとして、新しいターゲットを生成する。そして、ターゲット生成部１４１は、新しいターゲットの情報を、第t+1フレームのターゲットの情報として、記憶部１４３に記憶させる。 In other words, a new series of inputs was started for the input portion of the t + 1 frame that remained without being integrated with the target of the t frame, that is, the input portion that was not spatially close to the target. As a new target is generated. Then, the target generation unit 141 causes the storage unit 143 to store new target information as target information of the (t + 1) th frame.

ステップＳ２９において、イベント生成部１４２は、ターゲット生成部１４１が新しいターゲットを生成すると、イベント「生成」を新たに発行し、そのイベントの情報を、第t+1フレームのイベントの情報として、記憶部１４３に記憶させる。そして、統合処理を終了し、処理は、図４のステップＳ５にリターンする。 In step S29, when the target generation unit 141 generates a new target, the event generation unit 142 newly issues an event “generation”, and uses the event information as event information of the (t + 1) th frame as a storage unit. 143 to store. Then, the integration process is terminated, and the process returns to step S5 in FIG.

一方、ステップＳ２７において、第t+1フレームに残っている入力部分が存在しないと判定された場合、ステップＳ２８，Ｓ２９の処理はスキップされ、統合処理は終了する。そして、処理は、図４のステップＳ５にリターンする。 On the other hand, if it is determined in step S27 that there is no input part remaining in the (t + 1) th frame, the processes in steps S28 and S29 are skipped, and the integration process ends. Then, the process returns to step S5 in FIG.

なお、上述した統合処理では、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報が削除されるように説明したが、その他、第tフレームのターゲットのうちの、第t+1フレームの入力部分が空間的に近い位置に存在しないターゲットの情報を、入力部分が空間的に近い位置にない場合に限って、その後も数フレーム連続して保持してから削除するようにしてもよい。これにより、ユーザが指の近接および接触を誤って一瞬解除してしまった場合でも、指の近接または接触を再開すれば、表示画面に近接または接触している指に対応する入力部分を、指の近接および接触を一瞬解除する前のターゲットに統合することが可能となる。 In the integration process described above, the target information in which the input portion of the (t + 1) th frame does not exist at a spatially close position among the targets of the tth frame has been described. Among t-frame targets, information on targets whose input part of the (t + 1) th frame does not exist in a spatially close position is continuous for several frames only if the input part is not in a spatially close position. It may be deleted after being held. As a result, even if the user accidentally releases the proximity and contact of the finger for a moment, if the proximity or contact of the finger is resumed, the input portion corresponding to the finger that is close to or in contact with the display screen It is possible to integrate the proximity and contact with the target before being released for a moment.

以上のように、統合処理では、入出力ディスプレイ１３２の表示画面に対して新たに入力があった入力部分のうちの、ターゲットの時間的及び空間的近傍にある入力部分が、ターゲットとしての一連の入力における一部を構成する入力部分としてそのターゲットに統合される。また、統合処理では、ターゲットの生成または消滅（削除）を表すイベントが適宜発行される。 As described above, in the integration process, among the input portions newly input to the display screen of the input / output display 132, the input portions in the temporal and spatial vicinity of the target are a series of targets as targets. It is integrated into its target as an input part that forms part of the input. In the integration process, an event indicating generation or disappearance (deletion) of a target is appropriately issued.

図１１は、生成部１３５から出力されるターゲットとイベントの情報の例を表している。 FIG. 11 illustrates an example of target and event information output from the generation unit 135.

図１１の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。また、図１１の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。 The upper part of FIG. 11 shows input portions (represented by white circles in the figure) on the received light images of the nth frame at time n to the n + 5th frame at time n + 5. The lower diagram in FIG. 11 shows target and event information output in each of the nth to n + 5th frames.

図１１の上の図は、例えば、ユーザが、時刻nにおいて、１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ１３２の表示画面に対する近接または接触をし続けながら、第n+2フレームで、表示画面に近接または接触している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ１３２の表示画面に対する近接および接触を解除した場合に得られる入力部分#0を表している。 In the upper diagram of FIG. 11, for example, the user starts approaching or touching the display screen of the input / output display 132 with one finger at time n, and thereafter, from time n to n + 4, While continuing to approach or touch the display screen of the input / output display 132, in the (n + 2) th frame, it starts to move from the left to the right from the position close to or touching the display screen, The input portion # 0 obtained when the movement is stopped in 4 frames and the proximity and contact with the display screen of the input / output display 132 is released at time n + 5.

すなわち、第nフレームでは、ユーザが入出力ディスプレイ１３２の表示画面に対する近接または接触を開始することにより、図１１の上の図に示すように、入力部分#0が新たに出現している。 That is, in the nth frame, when the user starts approaching or touching the display screen of the input / output display 132, an input portion # 0 newly appears as shown in the upper diagram of FIG.

この場合、第nフレームの入力部分#0について、新たなターゲット#0が生成される。すなわち、第nフレームでは、図１１の下の図に示すように、ターゲットIDが0で、第nフレームの入力部分#0の位置情報（代表座標）等のターゲットID以外のターゲット属性（以下、ターゲット関連情報INFOという）を有する新たなターゲット#0が生成される。 In this case, a new target # 0 is generated for the input part # 0 of the nth frame. That is, in the nth frame, as shown in the lower diagram of FIG. 11, the target ID is 0, and target attributes other than the target ID such as position information (representative coordinates) of the input portion # 0 of the nth frame (hereinafter, A new target # 0 having target related information INFO) is generated.

なお、ターゲットの実体は、ターゲット属性を記憶する、メモリ等に確保される記憶領域である。 The target entity is a storage area secured in a memory or the like that stores target attributes.

第nフレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第nフレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが0で、イベントの種類を表すイベントタイプTypeが新たなターゲットの生成を表すCreateであり、イベントが状態を表すターゲットを特定する特定情報tidが、ターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。 In the nth frame, an event is generated in response to the generation of a new target # 0. That is, in the nth frame, as shown in the lower diagram of FIG. 11, the event ID that is identification information for identifying the event is 0, and the event type Type that represents the event type is Create that represents the generation of a new target. There is generated a new event # 0 having an event attribute in which the specific information tid for specifying the target representing the state of the event is 0 as the target ID of the target # 0.

なお、イベントタイプTypeが新たなターゲットの生成を表すCreateであるイベントが、イベント「生成」である。 An event whose event type Type is “Create” indicating generation of a new target is an event “generation”.

このように、イベントは、イベントが状態を表すターゲットを特定する特定情報tidを、イベント属性の１つとして有するので、その特定情報tidによって、イベントが状態を表すターゲットを特定することができる。 As described above, since the event has the specific information tid that specifies the target in which the event represents the state as one of the event attributes, the target in which the event represents the state can be specified by the specific information tid.

なお、イベントの実体は、イベント属性を記憶する、メモリ等に確保される記憶領域である。 The event entity is a storage area secured in a memory or the like for storing event attributes.

次に、第n+1フレームでは、図１１の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。 Next, in the (n + 1) th frame, as shown in the upper diagram of FIG. 11, the input portion # 0 is present without moving.

この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 0 of the (n + 1) th frame is integrated with the target # 0 of the nth frame one frame before. As a result, in the (n + 1) th frame, as shown in the lower diagram of FIG. 11, the target # 0 is the nth when the target related information INFO is updated with the position information of the input portion of the (n + 1) th frame. The target # 0 of the frame, that is, the target having the target ID of 0, has the position information of the input portion # 0 of the (n + 1) th frame as the target related information INFO.

第n+2フレームでは、図１１の上の図に示すように、入力部分#0が移動を開始している。 In the (n + 2) th frame, as shown in the upper diagram of FIG. 11, the input portion # 0 starts moving.

この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input part # 0 of the (n + 2) th frame is integrated with the target # 0 of the (n + 1) th frame one frame before. As a result, in the (n + 2) th frame, the target # 0 has the target related information INFO updated with the position information of the input part # 0 in the (n + 2) th frame as shown in the lower diagram of FIG. The target of the (n + 1) th frame, that is, the target having the target ID of 0 and the position information of the input portion # 0 of the (n + 2) th frame as the target related information INFO.

さらに、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームで生成されたイベントのイベントIDとは異なる1で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#1が生成される。 Further, in the (n + 2) th frame, an event is generated in response to the start of the movement of the input part # 0 integrated with the target # 0, and thus the start of the movement of the target # 0. . That is, in the (n + 2) th frame, as shown in the lower diagram of FIG. 11, the event ID, which is identification information for identifying the event, is 1 which is different from the event ID of the event generated in the nth frame. A new event # 1 having an event attribute whose type Type is MoveStart indicating movement of the target and whose specific information tid is 0 of the target ID of the target # 0 that started the movement is generated.

次に、第n+3フレームでは、図１１の上の図に示すように、入力部分#0が移動中である。 Next, in the (n + 3) th frame, as shown in the upper diagram of FIG. 11, the input part # 0 is moving.

この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 0 of the (n + 3) th frame is integrated with the target # 0 of the (n + 2) th frame one frame before. As a result, in the (n + 3) th frame, the target # 0 has the target related information INFO updated with the position information of the input part # 0 in the (n + 3) th frame as shown in the lower diagram of FIG. The target of the (n + 3) th frame, that is, the target having the target ID of 0 and having the position information of the input portion # 0 of the (n + 3) th frame as the target related information INFO.

第n+4フレームでは、図１１の上の図に示すように、入力部分#0が停止している。 In the (n + 4) th frame, as shown in the upper diagram of FIG. 11, the input part # 0 is stopped.

この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１１の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 0 of the (n + 4) th frame is integrated with the target # 0 of the (n + 3) th frame one frame before. As a result, in the (n + 4) th frame, the target # 0 has the target related information INFO updated with the position information of the input part # 0 in the (n + 4) th frame as shown in the lower diagram of FIG. The target of the (n + 3) th frame, that is, the target having the target ID of 0 and the position information of the input portion # 0 of the (n + 4) th frame as the target related information INFO.

さらに、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレームまたは第n+2フレームで生成されたイベントのいずれのイベントIDとも異なる2で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。 Furthermore, in the (n + 4) th frame, an event is generated in response to the end of the movement of the input part # 0 integrated with the target # 0, and thus the end of the movement of the target # 0. . That is, in the (n + 4) th frame, as shown in the lower diagram of FIG. 11, the event ID that is identification information for identifying the event is any event generated in the (n + n) th frame or the (n + 2) th frame. A new event # 2 is generated that has an event attribute whose event type is MoveStop indicating target stop and whose specific information tid is 0 of the target ID of target # 0 that has finished moving. The

第n+5フレームでは、ユーザが入出力ディスプレイ１３２の表示画面に対する指の近接および接触を解除することにより、図１１の上の図に示すように、入力部分#0が消滅している。 In the (n + 5) th frame, when the user releases the proximity and contact of the finger to the display screen of the input / output display 132, the input portion # 0 disappears as shown in the upper diagram of FIG.

この場合、第n+5フレームでは、ターゲット#0が削除される。 In this case, target # 0 is deleted in the (n + 5) th frame.

さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図１１の下の図に示すように、イベントを識別する識別情報であるイベントIDが、第nフレーム、第n+2フレーム、または第n+4フレームで生成されたイベントのいずれのイベントIDとも異なる3で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#3が生成される。 Further, in the (n + 5) th frame, an event is generated in response to the disappearance of the input part # 0, and thus the deletion of the target # 0. That is, in the (n + 5) th frame, as shown in the lower diagram of FIG. 11, an event ID that is identification information for identifying an event is generated in the (n) th frame, the (n + 2) th frame, or the (n + 4) th frame. A new event having an event attribute whose event ID is 3 that is different from any event ID of the deleted event, the event type Type is Delete indicating the deletion of the target, and the specific information tid is 0 of the target ID of the deleted target # 0 Event # 3 is generated.

なお、イベントタイプTypeがターゲットの削除を表すDeleteであるイベントが、イベント「削除」である。 An event whose event type Type is “Delete” indicating deletion of a target is an event “deletion”.

図１２は、生成部１３５から出力されるターゲットとイベントの情報の他の例を表している。 FIG. 12 illustrates another example of target and event information output from the generation unit 135.

図１２の上の図は、時刻nの第nフレーム乃至時刻n+5の第n+5フレームのそれぞれの受光画像上の入力部分（図中、白丸で表す）を示している。図１２の下の図は、第nフレーム乃至第n+5フレームのそれぞれに出力されるターゲットとイベントの情報を示している。 The upper part of FIG. 12 shows input portions (represented by white circles in the figure) on the received light images of the nth frame at time n to the n + 5th frame at time n + 5. The lower diagram of FIG. 12 shows target and event information output in each of the nth to n + 5th frames.

図１２は、例えば、ユーザが、時刻nにおいて、ある１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始し、その後、時刻nからn+4までの間、入出力ディスプレイ１３２の表示画面に対する近接または接触をし続けながら、第n+2フレームで、表示画面に近接または接触している位置を、左から右方向に移動することを開始し、第n+4フレームで、その移動を停止して、時刻n+5において、入出力ディスプレイ１３２の表示画面に対する近接および接触を解除した場合に得られる入力部分を表している。 FIG. 12 shows, for example, that a user starts approaching or touching the display screen of the input / output display 132 with a certain finger at time n, and thereafter the input / output display from time n to n + 4. In the (n + 2) th frame, while moving close to or touching the display screen of 132, it starts to move from the left to the right at the position close to or in contact with the display screen. The input portion obtained when the movement is stopped and the proximity and contact with the display screen of the input / output display 132 is canceled at time n + 5.

また、図１２は、ユーザが、時刻n+1において、他の１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始し、その後、時刻n+1からn+3までの間、入出力ディスプレイ１３２の表示画面に対する近接または接触をし続けながら、第n+2フレームで、表示画面に近接または接触している位置を、右から左方向に移動することを開始し、第n+3フレームで、その移動を停止して、時刻n+4において、入出力ディスプレイ１３２の表示画面に対する近接および接触を解除した場合に得られる入力部分を表している。 FIG. 12 shows that the user starts approaching or touching the display screen of the input / output display 132 with another finger at time n + 1, and thereafter, from time n + 1 to time n + 3. In the meantime, while continuing to approach or touch the display screen of the input / output display 132, in the (n + 2) th frame, it starts to move the position close to or touching the display screen from right to left. The input portion obtained when the movement is stopped at n + 3 frame and the proximity and contact with the display screen of the input / output display 132 is released at time n + 4.

すなわち、第nフレームでは、ユーザが、ある１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始することにより、図１２の上の図に示すように、入力部分#0が新たに出現している。 That is, in the nth frame, when the user starts approaching or touching the display screen of the input / output display 132 with a certain finger, as shown in the upper diagram of FIG. Newly appearing.

この場合、第nフレームの入力部分#0について、図１１の場合と同様に新たなターゲット#0が生成される。すなわち、第nフレームでは、図１２の下の図に示すように、ターゲットIDが0で、ターゲット関連情報INFOが、第nフレームの入力部分#0の位置情報等になっているターゲット属性を有する新たなターゲット#0が生成される。 In this case, a new target # 0 is generated for the input portion # 0 of the nth frame, as in the case of FIG. That is, in the nth frame, as shown in the lower diagram of FIG. 12, the target ID is 0, and the target related information INFO has the target attribute that is the position information of the input part # 0 of the nth frame. A new target # 0 is generated.

さらに、第nフレームでは、新たなターゲット#0が生成されたことに対応して、図１１の場合と同様に、イベントが生成される。すなわち、第nフレームでは、図１２の下の図に示すように、イベントIDが0で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#0が生成される。 Further, in the nth frame, in response to the generation of a new target # 0, an event is generated as in the case of FIG. That is, in the n-th frame, as shown in the lower diagram of FIG. 12, the event ID is 0, the event type Type is “Create” indicating generation of a new target, and the specific information tid is the target ID of the target # 0. A new event # 0 having an event attribute that is 0 is generated.

次に、第n+1フレームでは、図１２の上の図に示すように、入力部分#0が移動せずに、そのまま存在している。 Next, in the (n + 1) th frame, as shown in the upper diagram of FIG. 12, the input part # 0 is present without moving.

この場合、その１フレーム前の第nフレームのターゲット#0に、第n+1フレームの入力部分#0が統合される。その結果、第n+1フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+1フレームの入力部分#0の位置情報等で更新された第nフレームのターゲット#0、つまり、ターゲットIDが0のままで、第n+1フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 0 of the (n + 1) th frame is integrated with the target # 0 of the nth frame one frame before. As a result, in the (n + 1) th frame, the target # 0 has the target related information INFO updated with the position information of the input portion # 0 in the (n + 1) th frame as shown in the lower diagram of FIG. The target # 0 of the nth frame, that is, the target having the target ID of 0, has the position information of the input part # 0 of the (n + 1) th frame as the target related information INFO.

また、第n+1フレームでは、ユーザが、他の１本の指で、入出力ディスプレイ１３２の表示画面に対する近接または接触を開始することにより、図１２の上の図に示すように、他の入力部分#1が新たに出現している。 In the (n + 1) th frame, when the user starts approaching or touching the display screen of the input / output display 132 with another finger, as shown in the upper diagram of FIG. Input part # 1 appears newly.

この場合、第n+1フレームの新たな入力部分#1について、新たなターゲット#1が生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、ターゲットIDが、既に存在するターゲット#0のターゲットIDの0とは異なる1で、ターゲット関連情報INFOが、第n+1フレームの新たな入力部分#1の位置情報等になっているターゲット属性を有する新たなターゲット#1が生成される。 In this case, a new target # 1 is generated for the new input part # 1 of the (n + 1) th frame. That is, in the (n + 1) th frame, as shown in the lower diagram of FIG. 12, the target ID is 1 which is different from the target ID 0 of the existing target # 0, and the target related information INFO is the n + th A new target # 1 having a target attribute which is position information of a new input part # 1 of one frame is generated.

さらに、第n+1フレームでは、新たなターゲット#0が生成されたことに対応して、イベントが生成される。すなわち、第n+1フレームでは、図１２の下の図に示すように、イベントIDが、第nフレームで生成されたイベントのイベントIDの0とは異なる1で、イベントタイプTypeが新たなターゲットの生成を表すCreateであり、特定情報tidがターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#1が生成される。 Further, in the (n + 1) th frame, an event is generated in response to the generation of a new target # 0. That is, in the (n + 1) th frame, as shown in the lower diagram of FIG. 12, the event ID is 1 which is different from 0 of the event ID of the event generated in the nth frame, and the event type Type is a new target. A new event # 1 having an event attribute whose specific information tid is 1 of the target ID of the target # 1 is generated.

第n+2フレームでは、図１２の上の図に示すように、入力部分#0と#1が移動を開始している。 In the (n + 2) th frame, as shown in the upper diagram of FIG. 12, the input parts # 0 and # 1 start moving.

この場合、その１フレーム前の第n+1フレームのターゲット#0に、第n+2フレームの入力部分#0が統合される。その結果、第n+2フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#0の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが0のままで、第n+2フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input part # 0 of the (n + 2) th frame is integrated with the target # 0 of the (n + 1) th frame one frame before. As a result, in the (n + 2) th frame, the target # 0 has the target related information INFO updated with the position information of the input part # 0 in the (n + 2) th frame as shown in the lower diagram of FIG. The target of the (n + 1) th frame, that is, the target having the target ID of 0 and the position information of the input portion # 0 of the (n + 2) th frame as the target related information INFO.

同様に、第n+1フレームのターゲット#1に、第n+2フレームの入力部分#1が統合される。その結果、第n+2フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+2フレームの入力部分#1の位置情報等で更新された第n+1フレームのターゲット、つまり、ターゲットIDが1のままで、第n+2フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 Similarly, the input part # 1 of the (n + 2) th frame is integrated with the target # 1 of the (n + 1) th frame. As a result, in the (n + 2) th frame, as shown in the lower diagram of FIG. 12, the target # 1 has the target related information INFO updated with the position information of the input part # 1 in the (n + 2) th frame. The target of the (n + 1) th frame, that is, the target having the target ID of 1 and the position information of the input part # 1 of the (n + 2) th frame as the target related information INFO.

また、第n+2フレームでは、ターゲット#0に統合された入力部分#0の移動が開始されたこと、したがって、ターゲット#0の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0及び#1のイベントとは異なる2で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#2が生成される。 Also, in the (n + 2) th frame, an event is generated in response to the start of the movement of the input part # 0 integrated with the target # 0, and thus the start of the movement of the target # 0. . That is, in the (n + 2) th frame, as shown in the lower diagram of FIG. 12, the event ID, which is identification information for identifying the event, is different from the events # 0 and # 1 generated so far. Thus, a new event # 2 having an event attribute whose event type Type is MoveStart indicating movement of the target and whose specific information tid is 0 of the target ID of the target # 0 that has started moving is generated.

同様に、第n+2フレームでは、ターゲット#1に統合された入力部分#1の移動が開始されたこと、したがって、ターゲット#1の移動が開始されたことに対応して、イベントが生成される。すなわち、第n+2フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#2のイベントIDとは異なる3で、イベントタイプTypeがターゲットの移動を表すMoveStartであり、特定情報tidが、移動を開始したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#3が生成される。 Similarly, in the (n + 2) th frame, an event is generated in response to the start of the movement of the input part # 1 integrated with the target # 1, and thus the start of the movement of the target # 1. The That is, in the (n + 2) th frame, as shown in the lower diagram of FIG. 12, the event ID that is identification information for identifying the event is different from the event IDs of the events # 0 to # 2 generated so far. 3, a new event # 3 having an event attribute whose event type Type is MoveStart indicating movement of the target and whose specific information tid is 1 of the target ID of the target # 1 that started the movement is generated.

次に、第n+3フレームでは、図１２の上の図に示すように、入力部分#0が移動中である。 Next, in the (n + 3) th frame, as shown in the upper diagram of FIG. 12, the input part # 0 is moving.

この場合、その１フレーム前の第n+2フレームのターゲット#0に、第n+3フレームの入力部分#0が統合される。その結果、第n+3フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#0の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが0のままで、第n+3フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 0 of the (n + 3) th frame is integrated with the target # 0 of the (n + 2) th frame one frame before. As a result, in the (n + 3) th frame, the target # 0 has the target related information INFO updated with the position information of the input part # 0 in the (n + 3) th frame as shown in the lower diagram of FIG. The target of the (n + 3) th frame, that is, the target having the target ID of 0 and having the position information of the input portion # 0 of the (n + 3) th frame as the target related information INFO.

また、第n+3フレームでは、入力部分#1が停止している。 In addition, in the (n + 3) th frame, the input part # 1 is stopped.

この場合、その１フレーム前の第n+2フレームのターゲット#1に、第n+3フレームの入力部分#1が統合される。その結果、第n+3フレームでは、ターゲット#1は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+3フレームの入力部分#1の位置情報等で更新された第n+3フレームのターゲット、つまり、ターゲットIDが1のままで、第n+3フレームの入力部分#1の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 1 of the (n + 3) th frame is integrated with the target # 1 of the (n + 2) th frame one frame before. As a result, in the (n + 3) th frame, the target # 1 has the target related information INFO updated with the position information of the input part # 1 in the (n + 3) th frame as shown in the lower diagram of FIG. The target of the (n + 3) th frame, that is, the target having the target ID of 1 and the position information of the input portion # 1 of the (n + 3) th frame as the target related information INFO.

さらに、第n+3フレームでは、ターゲット#1に統合された入力部分#1の移動が終了されたこと、したがって、ターゲット#1の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+3フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#3のイベントIDとは異なるとは異なる4で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#4が生成される。 Furthermore, in the (n + 3) th frame, an event is generated in response to the end of the movement of the input part # 1 integrated with the target # 1, and thus the end of the movement of the target # 1. . That is, in the (n + 3) th frame, as shown in the lower diagram of FIG. 12, event IDs that are identification information for identifying events are different from the event IDs of events # 0 to # 3 generated so far. 4 is generated, and the event type Type is MoveStop indicating the target stop, and a new event # 4 having an event attribute whose specific information tid is 1 of the target ID of the target # 1 that has finished moving is generated. The

次に、第n+4フレームでは、ユーザが、指の近接および接触を解除することにより、図１２の上の図に示すように、入力部分#1が消滅している。 Next, in the (n + 4) th frame, when the user releases the proximity and contact of the finger, the input portion # 1 disappears as shown in the upper diagram of FIG.

この場合、第n+4フレームでは、ターゲット#1が削除される。 In this case, target # 1 is deleted in the (n + 4) th frame.

また、第n+4フレームでは、図１２の上の図に示すように、入力部分#0が停止している。 In the (n + 4) th frame, as shown in the upper diagram of FIG. 12, the input part # 0 is stopped.

この場合、その１フレーム前の第n+3フレームのターゲット#0に、第n+4フレームの入力部分#0が統合される。その結果、第n+4フレームでは、ターゲット#0は、図１２の下の図に示すように、ターゲット関連情報INFOが、第n+4フレームの入力部分#0の位置情報等で更新された第n+4フレームのターゲット、つまり、ターゲットIDが0のままで、第n+4フレームの入力部分#0の位置情報等をターゲット関連情報INFOとして有するターゲットとなる。 In this case, the input portion # 0 of the (n + 4) th frame is integrated with the target # 0 of the (n + 3) th frame one frame before. As a result, in the (n + 4) th frame, the target # 0 has the target related information INFO updated with the position information of the input part # 0 in the (n + 4) th frame as shown in the lower diagram of FIG. The target of the (n + 4) th frame, that is, the target having the target ID of 0 and the position information of the input portion # 0 of the (n + 4) th frame as the target related information INFO.

また、第n+4フレームでは、ターゲット#0に統合された入力部分#0の移動が終了されたこと、したがって、ターゲット#0の移動が終了されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#4のイベントとは異なる5で、イベントタイプTypeがターゲットの停止を表すMoveStopであり、特定情報tidが、移動を終了したターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#5が生成される。 Further, in the (n + 4) th frame, an event is generated in response to the end of the movement of the input part # 0 integrated with the target # 0, and thus the end of the movement of the target # 0. . That is, in the (n + 4) th frame, as shown in the lower diagram of FIG. 12, the event ID which is identification information for identifying the event is different from the events of the events # 0 to # 4 generated so far. Thus, a new event # 5 having an event attribute in which the event type Type is MoveStop indicating the target stop and the specific information tid is 0 of the target ID of the target # 0 that has finished moving is generated.

同様に、第n+4フレームでは、入力部分#1が消滅したこと、したがって、ターゲット#1が削除されたことに対応して、イベントが生成される。すなわち、第n+4フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#5のイベントIDとは異なる6で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#1のターゲットIDの1であるイベント属性を有する新たなイベント#6が生成される。 Similarly, in the (n + 4) th frame, an event is generated in response to the disappearance of the input part # 1 and thus the deletion of the target # 1. That is, in the (n + 4) th frame, as shown in the lower diagram of FIG. 12, event IDs that are identification information for identifying events are different from the event IDs of events # 0 to # 5 generated so far. 6, a new event # 6 having an event attribute whose event type Type is “Delete” indicating deletion of a target and whose specific information tid is 1 of the target ID of the deleted target # 1 is generated.

第n+5フレームでは、ユーザが入出力ディスプレイ１３２の表示画面に対する近接および接触を解除することにより、図１２の上の図に示すように、入力部分#0が消滅している。 In the (n + 5) th frame, when the user releases proximity and contact with the display screen of the input / output display 132, the input portion # 0 disappears as shown in the upper diagram of FIG.

さらに、第n+5フレームでは、入力部分#0が消滅したこと、したがって、ターゲット#0が削除されたことに対応して、イベントが生成される。すなわち、第n+5フレームでは、図１２の下の図に示すように、イベントを識別する識別情報であるイベントIDが、いままでに生成されたイベント#0乃至#6のイベントIDとは異なる7で、イベントタイプTypeがターゲットの削除を表すDeleteであり、特定情報tidが、削除されたターゲット#0のターゲットIDの0であるイベント属性を有する新たなイベント#7が生成される。 Further, in the (n + 5) th frame, an event is generated in response to the disappearance of the input part # 0, and thus the deletion of the target # 0. That is, in the (n + 5) th frame, as shown in the lower diagram of FIG. 12, the event ID that is identification information for identifying the event is different from the event IDs of the events # 0 to # 6 generated so far. In step 7, a new event # 7 having an event attribute whose event type Type is “Delete” indicating deletion of the target and whose specific information tid is “0” of the target ID of the deleted target # 0 is generated.

次に、図１３および図１４を参照して、図４のステップＳ５における認識処理の一例として、イベント「拡大」または「縮小」を認識する拡大縮小の認識処理について説明する。 Next, referring to FIG. 13 and FIG. 14, an enlargement / reduction recognition process for recognizing the event “enlargement” or “reduction” will be described as an example of the recognition process in step S 5 of FIG. 4.

例えば、ユーザが表示画面に２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離（間隔）を拡げるか、または狭めるように２本の指を移動して、２本の指の近接および接触を解除した場合に、近接または接触を開始したときの２本の指の間の距離を基準として、２本の指の間の距離の変化量である拡大率または縮小率が所定の閾値以上または以下であるときに、イベント生成部１４２は、イベント「拡大」または「縮小」を発行する。 For example, the user starts approaching or touching two fingers on the display screen, and increases or decreases the distance (interval) between the two fingers while continuing to approach or touch. When moving and releasing the proximity and contact of two fingers, with the amount of change in the distance between the two fingers based on the distance between the two fingers when proximity or contact is started When a certain enlargement ratio or reduction ratio is greater than or less than a predetermined threshold, the event generation unit 142 issues an event “enlargement” or “reduction”.

ここで、表示画面に対する２本の指の近接または接触を開始したときのフレームを開始フレームという。 Here, a frame when the proximity or contact of two fingers to the display screen is referred to as a start frame.

図１３の左の図は、開始フレームの２つのターゲットを示し、図１３の右上の図は、２つのターゲットの間の距離が拡大した場合の第t+1フレームの２つのターゲットを示す。図１３の右下の図は、２つのターゲットの間の距離が縮小した場合の第t+1フレームの２つのターゲットを示す。 The left figure of FIG. 13 shows two targets of the start frame, and the upper right figure of FIG. 13 shows two targets of the t + 1th frame when the distance between the two targets is enlarged. The lower right diagram of FIG. 13 shows two targets in the t + 1th frame when the distance between the two targets is reduced.

図１３の左の図及び図１３の右上の図では、開始フレームにおいて、ユーザが位置A₁と位置B₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を拡げるように２本の指を移動して、位置A₂と位置B₂で２本の指の近接および接触を解除した様子が示されている。 In the left diagram in FIG. 13 and the upper right diagram in FIG. 13, in the start frame, the user starts approaching or touching two fingers at positions A ₁ and B ₁ , and continues to keep touching or touching two fingers. The two fingers are moved so as to increase the distance between the two fingers, and the proximity and contact of the two fingers at positions A ₂ and B ₂ are released.

位置A₁と位置B₁の座標、すなわち、ユーザが指の近接または接触を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(X_a1, Y_a1)、座標(X_b1, Y_b1)とするとともに、位置A₂と位置B₂の座標、すなわち、ユーザが指の近接および接触を解除したときの２つのターゲットの代表座標を、それぞれ座標(X_a2, Y_a2)、座標(X_b2, Y_b2)とすると、位置A₁と位置B₁の間の距離d₁=√((X_b1−X_a1)²+(Y_b1−Y_a1)²)を基準とした、位置A₂と位置B₂の間の距離d₂=√((X_b2−X_a2)²+(Y_b2−Y_a2)²)の拡大率、つまり、２つのターゲットの間の距離の拡大率Eは、E=d₂/d₁と表される。 The coordinates of the position A ₁ and the position B ₁ , that is, the representative coordinates of the two targets when the user starts approaching or touching the finger (start frame) are respectively expressed as coordinates (X _a1 , Y _a1 ), coordinates (X _b1 , Y _b1 ), and the coordinates of the positions A ₂ and B ₂ , that is, the representative coordinates of the two targets when the user releases the proximity and contact of the finger, are coordinates (X _a2 , Y _a2 ), If the coordinates (X _b2 , Y _b2 ), the distance d ₁ = √ ((X _b1 −X _a1 ) ² + (Y _b1 −Y _a1 ) ² ) between position A ₁ and position B ₁ The distance d ₂ = √ ((X _b2 −X _a2 ) ² + (Y _b2 −Y _a2 ) ² ) between position A ₂ and position B ₂ , that is, the distance expansion ratio between the two targets E is expressed as E = d ₂ / d ₁ .

２つのターゲットの間の距離の拡大率Eが所定の閾値以上である場合に、イベント「拡大」が発行される。 The event “enlargement” is issued when the enlargement rate E of the distance between the two targets is equal to or greater than a predetermined threshold.

図１３の左の図及び図１３の右下の図では、開始フレームにおいて、ユーザが位置A₁と位置B₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を狭めるように２本の指を移動して、位置A₃と位置B₃で２本の指の近接および接触を解除した様子が示されている。 In the left diagram of FIG. 13 and the lower right diagram of FIG. 13, in the start frame, the user starts approaching or touching two fingers at positions A ₁ and B ₁ , while continuing to approach or touch 2. A state is shown in which the two fingers are moved so as to reduce the distance between the two fingers, and the proximity and contact of the two fingers are released at positions A ₃ and B ₃ .

位置A₁と位置B₁の座標、すなわち、ユーザが指の近接または接触を開始したとき（開始フレーム）の２つのターゲットの代表座標を、それぞれ座標(X_a1, Y_a1)、座標(X_b1, Y_b1)とするとともに、位置A₃と位置B₃の座標、すなわち、ユーザが指の近接および接触を解除したときの２つのターゲットの代表座標を、それぞれ座標(X_a3, Y_a3)、座標(X_b3, Y_b3)とすると、位置A₁と位置B₁の間の距離d₁=√((X_b1−X_a1)²+(Y_b1−Y_a1)²)を基準とした、位置A₃と位置B₃の間の距離d₃=√((X_b3−X_a3)²+(Y_b3−Y_a3)²)の縮小率、つまり、２つのターゲットの間の距離の縮小率Rは、R=d₃/d₁と表される。 The coordinates of the position A ₁ and the position B ₁ , that is, the representative coordinates of the two targets when the user starts approaching or touching the finger (start frame) are respectively expressed as coordinates (X _a1 , Y _a1 ), coordinates (X _b1 , Y _b1 ), and the coordinates of the positions A ₃ and B ₃ , that is, the representative coordinates of the two targets when the user releases the proximity and contact of the finger, are coordinates (X _a3 , Y _a3 ), _Assuming the coordinates (X _b3 , Y _b3 ), the distance d ₁ = √ ((X _b1 −X _a1 ) ² + (Y _b1 −Y _a1 ) ² ) between position A ₁ and position B ₁ reduction ratio of the distance d ₃ = √ between positions a ₃ and the position _{_{_{B 3 ((X b3 -X a3}}} ) 2 + (Y b3 -Y a3) 2), that is, the reduction ratio of the distance between two targets R is expressed as R = d ₃ / d ₁ .

２つのターゲットの間の距離の縮小率Rが所定の閾値以下である場合に、イベント「縮小」が発行される。 When the reduction ratio R of the distance between the two targets is equal to or less than a predetermined threshold, the event “reduction” is issued.

なお、拡大率Eと縮小率Rは、いずれも、第t+1フレームにおける２つのターゲットの間の距離を、開始フレームにおける２つのターゲットの間の距離で除算することで求められる。 Note that both the enlargement ratio E and the reduction ratio R are obtained by dividing the distance between the two targets in the (t + 1) th frame by the distance between the two targets in the start frame.

イベント「拡大」またはイベント「縮小」は、イベントID、イベントタイプType、特定情報tidの他、イベントの付加的な情報を表す付加情報、例えば、拡大率Eまたは縮小率R、イベント「拡大」またはイベント「縮小」の始点座標としての開始フレームの２つのターゲットのそれぞれの代表座標である座標(X_a1, Y_a1)と座標(X_b1, Y_b1)、開始フレームの２つのターゲットの間の中心（以下、指示中心と称する）C₁の座標((X_a1＋X_b1)／2,(Y_a1＋Y_b1)／2)等のイベント属性を有する。 Event “enlargement” or event “reduction” includes event ID, event type Type, specific information tid, and additional information representing additional information of the event, for example, enlargement rate E or reduction rate R, event “enlargement” or Coordinates (X _a1 , Y _a1 ) and coordinates (X _b1 , Y _b1 ) of the two targets of the start frame as the start point coordinates of the event “reduction”, the center between the two targets of the start frame It has event attributes such as C ₁ coordinates ((X _a1 + X _b1 ) / 2, (Y _a1 + Y _b1 ) / 2) (hereinafter referred to as the instruction center).

次に、図１４のフローチャートを参照して、図４のステップＳ５で図１のイベント生成部１４２が行うイベント「拡大」及び「縮小」を認識する処理である拡大縮小の認識処理について説明する。 Next, the enlargement / reduction recognition process, which is a process for recognizing the events “enlargement” and “reduction” performed by the event generation unit 142 of FIG. 1 in step S5 of FIG. 4 will be described with reference to the flowchart of FIG.

なお、拡大縮小の認識処理は、統合処理の後に行われるので、拡大縮小の認識処理の開始時において、統合処理後の第t+1フレームのターゲットとイベントの情報が、既に使用可能な状態になっている。 Since the enlargement / reduction recognition process is performed after the integration process, the target and event information of the (t + 1) th frame after the integration process is already available at the start of the enlargement / reduction recognition process. It has become.

ステップＳ８１において、イベント生成部１４２は、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたかを判定する。ステップＳ８１において、２つ目のターゲットに対してイベント「生成」が第t+1フレームで発行されたと判定された場合、処理はステップＳ８２に進む。 In step S 81, the event generation unit 142 determines whether an event “generation” is issued for the second target in the t + 1th frame. If it is determined in step S81 that the event “generation” has been issued for the second target in the (t + 1) th frame, the process proceeds to step S82.

ステップＳ８２において、イベント生成部１４２は、第t+1フレームの２つのターゲットのセットを注目セットとし、注目セットの２つのターゲットのそれぞれの代表座標を、２つのターゲットのそれぞれのターゲットIDと対応付けて、記憶部１４３に記憶させる。 In step S82, the event generation unit 142 sets the two target sets of the (t + 1) th frame as the attention set, and associates the representative coordinates of the two targets of the attention set with the target IDs of the two targets. And stored in the storage unit 143.

ステップＳ８３において、イベント生成部１４２は、指示中心の座標を記憶する。具体的には、イベント生成部１４２は、注目セットの２つのターゲットの代表座標上の点を結ぶ線分の中点である指示中心の座標を求める。イベント生成部１４２は、求めた指示中心の座標を、２つのターゲットのターゲットIDと対応づけて、記憶部１４３に記憶させる。 In step S83, the event generation unit 142 stores the coordinates of the instruction center. Specifically, the event generation unit 142 obtains the coordinates of the instruction center which is the midpoint of the line segment connecting the points on the representative coordinates of the two targets of the target set. The event generation unit 142 stores the obtained coordinates of the instruction center in the storage unit 143 in association with the target IDs of the two targets.

一方、ステップＳ８１において、２つ目以外のターゲットに対してイベント「生成」が第t+1フレームで発行された場合、あるいは、イベント「生成」が第t+1フレームで発行されていない場合、ステップＳ８２およびＳ８３の処理はスキップされ、処理はステップＳ８４に進む。 On the other hand, when the event “generation” is issued in the t + 1th frame for the target other than the second in step S81, or when the event “generation” is not issued in the t + 1th frame, The processes in steps S82 and S83 are skipped, and the process proceeds to step S84.

ステップＳ８４において、イベント生成部１４２は、注目セットの２つのターゲットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたかを判定する。 In step S84, the event generation unit 142 has two targets of the attention set in the t-th frame, and the event “deletion” is in the t + 1 frame for any of the two targets of the attention set. Determine whether it has been issued.

ステップＳ８４において、注目セットが第tフレームで存在し、かつ、注目セットの２つのターゲットのいずれかに対して、イベント「削除」が第t+1フレームで発行されたと判定された場合、ステップＳ８５において、イベント生成部１４２は、記憶部１４３から注目セットの２つのターゲットのそれぞれのターゲットIDと対応付けられた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を読み出し、注目セットの２つのターゲットのそれぞれの開始フレームと第tフレームの代表座標から、注目セットの２つのターゲットの間の距離の拡大率E（すなわち、縮小率R）を求める。また、イベント生成部１４２は、同時に、記憶していた開始フレームの注目セットの２つのターゲットのそれぞれの代表座標を記憶部１４３から削除する。これにより、記憶部１４３の記憶領域の余計な浪費を防ぐことができる。 If it is determined in step S84 that the attention set exists in the t-th frame and the event “delete” has been issued in the t + 1-th frame for one of the two targets of the attention set, step S85 , The event generation unit 142 reads out the representative coordinates of the two targets of the target set of the start frame associated with the target IDs of the two targets of the target set from the storage unit 143, and An enlargement rate E (that is, a reduction rate R) of the distance between the two targets of the target set is obtained from the representative coordinates of the respective target start frames and the t-th frame. In addition, the event generation unit 142 simultaneously deletes the representative coordinates of the two targets of the target set of the start frame stored from the storage unit 143. Thereby, unnecessary waste of the storage area of the storage unit 143 can be prevented.

一方、ステップＳ８４において、注目セットが第tフレームで存在しないか、あるいは、注目セットの２つのターゲットのいずれに対しても、イベント「削除」が第t+1フレームで発行されていないと判定された場合、処理は、ステップＳ８５乃至ステップＳ８９をスキップする。そして、拡大縮小の認識処理は終了する。 On the other hand, in step S84, it is determined that the attention set does not exist in the t-th frame, or the event “delete” has not been issued in the t + 1 frame for any of the two targets of the attention set. In the case where it is detected, the process skips Steps S85 to S89. Then, the enlargement / reduction recognition process ends.

ステップＳ８６において、イベント生成部１４２は、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であるかを判定する。ステップＳ８６において、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であると判定された場合、ステップＳ８７において、イベント生成部１４２は、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eと、始点座標としての注目セットの２つのターゲットのそれぞれの開始フレームの代表座標を付加情報とするイベント「拡大」を発行する。そして、拡大縮小の認識処理は終了する。 In step S86, the event generation unit 142 determines whether the expansion rate E of the distance between the two targets of the target set obtained in step S85 is equal to or greater than a predetermined threshold. In step S86, when it is determined that the expansion rate E of the distance between the two targets of the target set obtained in step S85 is equal to or greater than a predetermined threshold value, in step S87, the event generation unit 142 obtains in step S85. The event “enlargement” is issued with additional information including the enlargement ratio E of the distance between the two targets of the target set and the representative coordinates of the start frames of the two targets of the target set as the start point coordinates. Then, the enlargement / reduction recognition process ends.

一方、ステップＳ８６において、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の拡大率Eが所定の閾値以上でないと判定された場合、ステップＳ８８において、イベント生成部１４２は、注目セットの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であるかを判定する。ステップＳ８８において、注目セットの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であると判定された場合、ステップＳ８９において、イベント生成部１４２は、ステップＳ８５で求めた注目セットの２つのターゲットの間の距離の縮小率Rと、始点座標としての注目セットの２つのターゲットのそれぞれの開始フレームの代表座標を付加情報とするイベント「縮小」を発行する。そして、拡大縮小の認識処理は終了する。 On the other hand, when it is determined in step S86 that the magnification E of the distance between the two targets of the target set obtained in step S85 is not greater than or equal to a predetermined threshold value, in step S88, the event generation unit 142 determines that the target set is the target set. It is determined whether the reduction ratio R of the distance between the two targets is equal to or less than a predetermined threshold value. If it is determined in step S88 that the reduction ratio R of the distance between the two targets of the target set is equal to or smaller than the predetermined threshold, in step S89, the event generation unit 142 determines 2 of the target set obtained in step S85. An event “reduction” is issued with additional information on the reduction ratio R of the distance between the two targets and the representative coordinates of the start frames of the two targets of the target set as the start point coordinates. Then, the enlargement / reduction recognition process ends.

一方、ステップＳ８８において、縮小率Rが所定の閾値以下でないと判定された場合、拡大縮小の認識処理は終了する。 On the other hand, if it is determined in step S88 that the reduction ratio R is not less than or equal to the predetermined threshold value, the enlargement / reduction recognition process ends.

開始フレームの２つのターゲットの間の距離を基準とした、第tフレームの２つのターゲットの間の距離の拡大率Eが所定の閾値以上であるかを判定することにより、２つのターゲットの間の距離の拡大率が小さい場合にイベント「拡大」が誤って認識されることが抑制される。また、開始フレームの２つのターゲットの間の距離を基準とした、第tフレームの２つのターゲットの間の距離の縮小率Rが所定の閾値以下であるかを判定することにより、２つのターゲットの間の距離の縮小率が大きい場合にイベント「縮小」が誤って認識されることが抑制される。 By determining whether the magnification E of the distance between the two targets in the t-th frame is greater than or equal to a predetermined threshold relative to the distance between the two targets in the start frame, The event “enlargement” is prevented from being erroneously recognized when the distance enlargement ratio is small. Further, by determining whether the reduction ratio R of the distance between the two targets in the t-th frame with respect to the distance between the two targets in the start frame is equal to or less than a predetermined threshold, The event “reduction” is prevented from being erroneously recognized when the reduction ratio of the distance between them is large.

このように、拡大縮小の認識処理を行うことにより、開始フレームの２つのターゲットの間の距離を基準として、第tフレームにおける２つのターゲットの間の距離が所定の閾値以上または以下の拡大率または縮小率で拡大または縮小するというイベントを認識することが可能となる。 In this way, by performing the enlargement / reduction recognition process, the distance between the two targets in the t-th frame is greater than or less than a predetermined threshold, or the enlargement ratio, based on the distance between the two targets in the start frame. It becomes possible to recognize an event of enlargement or reduction at a reduction rate.

ここで、認識処理により認識されるイベントの他の例について簡単に説明する。 Here, another example of the event recognized by the recognition process will be briefly described.

例えば、ユーザが表示画面に指を近接または接触させたまま移動させた場合、すなわち、ターゲットが移動した場合、イベント生成部１４２は、イベント「移動」を発行する。 For example, when the user moves his / her finger close to or in contact with the display screen, that is, when the target moves, the event generation unit 142 issues an event “move”.

また、例えば、ユーザが表示画面に近接または接触させたまま移動させていた指を停止した場合、すなわち、ターゲットが停止した場合、イベント生成部１４２は、イベント「停止」を発行する。 Further, for example, when the user stops the finger that has been moved in proximity to or in contact with the display screen, that is, when the target stops, the event generation unit 142 issues an event “stop”.

さらに、例えば、ユーザが表示画面に対する指の近接または接触を開始し、近接または接触を継続しながら指を移動して、指の近接および接触を解除した場合に、近接または接触を開始したときの指の位置と近接および接触を終了したときの指の位置との間の距離が閾値以上であるときに、すなわち、ターゲットが所定の距離以上移動して消滅した場合、イベント生成部１４２は、イベント「投射」を発行する。 Further, for example, when the user starts the proximity or contact of the finger to the display screen, moves the finger while continuing the proximity or contact, and releases the proximity or contact of the finger. When the distance between the finger position and the finger position when the proximity and the contact are finished is equal to or greater than a threshold value, that is, when the target moves beyond a predetermined distance and disappears, the event generation unit 142 Issue a “projection”.

さらに、例えば、ユーザが表示画面に対する２本の指の近接または接触を開始し、近接または接触を継続しながら、表示画面上のある点を中心とした同心円を描くように２本の指を移動して、２本の指の近接および接触を解除した場合に、近接または接触を開始したときの２本の指のそれぞれの表示画面上の位置を結ぶ直線に対して、第tフレームの２本の指のそれぞれの表示画面上の位置を結ぶ直線が回転する回転角の絶対値が所定の閾値以上であるときに、すなわち、２つのターゲットが生成されてから消滅するまでの間にターゲット間を結ぶ直線の回転角の絶対値が所定の閾値以上である場合、イベント生成部１４２は、イベント「回転」を発行する。 Further, for example, the user starts approaching or touching two fingers with respect to the display screen, and moves the two fingers so as to draw a concentric circle around a certain point on the display screen while continuing to approach or touch. Then, when the proximity and contact of the two fingers are released, two lines in the t-th frame with respect to the straight line connecting the positions on the display screen of the two fingers when the proximity or contact is started. When the absolute value of the rotation angle at which the straight line connecting the positions on the display screen of each finger rotates is greater than or equal to a predetermined threshold, that is, between the generation of the two targets and the disappearance between the targets. When the absolute value of the rotation angle of the connecting straight line is equal to or greater than a predetermined threshold, the event generation unit 142 issues an event “rotation”.

また、例えば、ユーザが表示画面に対する３本の指の近接または接触を開始し、近接または接触を継続しながら、表示画面上のある点を中心とした同心円を描くように３本の指を移動して、３本の指の近接および接触を解除した場合に、近接または接触を開始したときの３本の指のうちの２本ずつの指の表示画面上の位置を結ぶ直線に対して、第tフレームの３本の指のうちの同じ２本ずつの指の表示画面上の位置を結ぶ直線が回転する回転角を、３本の指のうちの３通りの２本ずつの指のセット（組）について平均した回転角の絶対値が、所定の閾値以上であるときに、すなわち、３つのターゲットが生成されてから消滅するまでの間に各ターゲット間を結ぶ直線の回転角の平均値の絶対値が所定の閾値以上である場合、イベント生成部１４２は、イベント「３点回転」を発行する。 In addition, for example, the user starts approaching or touching three fingers with respect to the display screen, and moves the three fingers so as to draw a concentric circle around a certain point on the display screen while continuing to approach or touch. Then, when the proximity and contact of the three fingers are cancelled, with respect to the straight line connecting the positions on the display screen of two fingers of the three fingers when the proximity or contact is started, Set the rotation angle of the rotation of the straight line connecting the positions of the same two fingers on the display screen of the three fingers of the t-th frame to two of the three fingers. When the absolute value of the rotation angle averaged for (group) is equal to or greater than a predetermined threshold value, that is, the average value of the rotation angles of the straight lines connecting the targets between the generation and disappearance of the three targets. When the absolute value of is greater than or equal to a predetermined threshold, the event generator 14 2 issues the event “3-point rotation”.

次に、図１５のフローチャートを参照して、図４のステップＳ７の表示制御処理の一例として、インデックス画面の表示制御処理について説明する。 Next, an index screen display control process will be described as an example of the display control process of step S7 of FIG. 4 with reference to the flowchart of FIG.

なお、以下、図１６に示される、インデックスデータが格子状に配置されたインデックス画面を例に挙げながら説明する。図１６は、最大表示数が縦４個×横４個の１６個であるインデックス画面の例を示している。インデックス画面２０１Ｖは、インデックスデータが左上隅から縦方向に順に配置されたインデックス画面の例を示し、インデックス画面２０１Ｈは、インデックスデータが左上隅から横方向に配置されたインデックス画面の例を示している。なお、以下、インデックス画面２０１Ｖのように、インデックスデータが左上隅から縦方向に順に配置されたインデックス画面を例に挙げながら説明する。 In the following description, an index screen shown in FIG. 16 in which index data is arranged in a grid pattern will be described as an example. FIG. 16 shows an example of an index screen in which the maximum number of displays is 16 (4 vertical x 4 horizontal). The index screen 201V shows an example of an index screen in which the index data is arranged in the vertical direction from the upper left corner, and the index screen 201H shows an example of the index screen in which the index data is arranged in the horizontal direction from the upper left corner. . In the following description, an index screen in which index data is arranged in the vertical direction from the upper left corner as in the index screen 201V will be described as an example.

ステップＳ１０１において、受信部１７１は、イベント「拡大」または「縮小」が発行されたかを判定する。受信部１７１は、上述した図１４のステップＳ８８において発行されたイベント「拡大」、または、ステップＳ８９において発行されたイベント「縮小」の情報をイベント生成部１４２から受信した場合、イベント「拡大」または「縮小」が発行されたと判定し、処理はステップＳ１０２に進む。 In step S101, the reception unit 171 determines whether an event “enlargement” or “reduction” has been issued. When the reception unit 171 receives the event “enlargement” issued in step S88 of FIG. 14 described above or the event “reduction” issued in step S89 from the event generation unit 142, the reception unit 171 It is determined that “reduction” has been issued, and the process proceeds to step S102.

ステップＳ１０２において、受信部１７１は、インデックス画面が表示されているかを判定する。受信部１７１は、入出力ディスプレイ１３２にインデックス画面が表示されていると判定した場合、ステップＳ１０１において受信したイベント「拡大」または「縮小」の情報を基準データ設定部１７２および表示数設定部１７３に供給し、処理はステップＳ１０３に進む。 In step S102, the receiving unit 171 determines whether an index screen is displayed. If the receiving unit 171 determines that the index screen is displayed on the input / output display 132, the information on the event “enlarged” or “reduced” received in step S101 is sent to the reference data setting unit 172 and the display number setting unit 173. Then, the process proceeds to step S103.

ステップＳ１０３において、基準データ設定部１７２は、指示中心上にインデックスデータが表示されているかを判定する。基準データ設定部１７２は、イベント「拡大」または「縮小」の情報に含まれる指示中心の座標が、表示中のインデックス画面内のインデックスデータのうちのいずれかの表示領域に含まれる場合、指示中心上にインデックスデータが表示されていると判定し、処理はステップＳ１０４に進む。 In step S103, the reference data setting unit 172 determines whether index data is displayed on the instruction center. The reference data setting unit 172 displays the indication center when the coordinates of the indication center included in the event “enlargement” or “reduction” information are included in any display area of the index data in the index screen being displayed. It is determined that the index data is displayed above, and the process proceeds to step S104.

ステップＳ１０４において、基準データ設定部１７２は、指示中心上のインデックスデータを基準データに設定する。基準データ設定部１７２は、設定した基準データを示す情報を配置設定部１７４に供給する。 In step S104, the reference data setting unit 172 sets the index data on the instruction center as reference data. The reference data setting unit 172 supplies information indicating the set reference data to the arrangement setting unit 174.

例えば、図１７の左側に示されるように、最大表示数が縦３個×横３個の９個のインデックス画面２１１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₁₁と位置B₁₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₁₁から距離d₁₂に拡げてから２本の指の近接および接触を解除したとき、位置A₁₁の代表座標と位置B₁₁の代表座標を結ぶ線分の中点である指示中心C₁₁上に表示されている８番のインデックスデータが基準データに設定される。 For example, as shown on the left side of FIG. 17, when nine index screens 211 having a maximum display number of 3 × 3 are displayed on the display screen of the input / output display 132, ₁₁ to the position B ₁₁ in starts proximity or contact of the two fingers, the proximity or contact of two while continuing the distance between the fingers from the distance d ₁₁ distance from spreading to the d ₁₂ of the two fingers when releasing the proximity and contact, setting the representative coordinates and the midpoint of a line connecting the representative coordinates instructed center C ₁₁ index data reference data No. 8 being displayed on the position B ₁₁ position a ₁₁ Is done.

また、図１８の左側に示されるように、最大表示数が縦２個×横２個の４個のインデックス画面２２１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₂₁と位置B₂₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₂₁から距離d₂₂に狭めてから２本の指の近接および接触を解除したとき、位置A₂₁の代表座標と位置B₂₁の代表座標を結ぶ線分の中点である指示中心C₂₁上に表示されている８番のインデックスデータが基準データに設定される。 As shown on the left side of FIG. 18, when the four index screens 221 having a maximum display number of 2 × 2 are displayed on the display screen of the input / output display 132, ₂₁ and start the proximity or contact of two fingers at the position B _21, the proximity or contact two while continuing to the distance between the fingers from the distance d ₂₁ from narrowing the distance d ₂₂ of two fingers when releasing the proximity and contact, setting the representative coordinates and instructions center C of the eighth being displayed on ₂₁ the index data is the reference data is the midpoint of a line connecting the representative coordinates of the position B ₂₁ of the position a ₂₁ Is done.

その後、処理はステップＳ１０７に進む。 Thereafter, the process proceeds to step S107.

一方、ステップＳ１０３において、基準データ設定部１７２は、イベント「拡大」または「縮小」の情報に含まれる指示中心の座標が、表示中のインデックス画面内のどのインデックスデータの表示領域にも含まれない場合、指示中心上にインデックスデータが表示されていないと判定し、処理はステップＳ１０５に進む。 On the other hand, in step S103, the reference data setting unit 172 does not include the coordinates of the instruction center included in the event “enlargement” or “reduction” information in any index data display area in the displayed index screen. In this case, it is determined that the index data is not displayed on the instruction center, and the process proceeds to step S105.

例えば、図１９の左側に示されるように、最大表示数が縦２個×横２個の４個のインデックス画面２３１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₃₁と位置B₃₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₃₁から距離d₃₂に狭めてから２本の指の近接および接触を解除したとき、位置A₃₁の代表座標と位置B₃₁の代表座標を結ぶ線分の中点である指示中心C₃₁上にはインデックスデータが表示されていないため、ステップＳ１０３において、指示中心上にインデックスデータが表示されていないと判定される。 For example, as shown on the left side of FIG. 19, when four index screens 231 having a maximum display number of 2 × 2 are displayed on the display screen of the input / output display 132, ₃₁ and start the proximity or contact of two fingers at the position B _31, the proximity or contact two while continuing to the distance between the fingers from the distance d ₃₁ from narrowing the distance d ₃₂ of two fingers when releasing the proximity and contact, because on the instruction center C ₃₁ is the midpoint of a line connecting the representative coordinates of the representative coordinates as position B ₃₁ position a ₃₁ is not displayed index data, in step S103, It is determined that the index data is not displayed on the instruction center.

ステップＳ１０５において、基準データ設定部１７２は、最大表示数を変更するかを判定する。例えば、指示中心上にインデックスデータが表示されていなくても、最大表示数を変更するように設定されている場合、基準データ設定部１７２は、最大表示数を変更すると判定し、処理はステップＳ１０６に進む。なお、指示中心上にインデックスデータが表示されていない場合に、最大表示数を変更するか否かは、例えば、設計者の設計方針やユーザの設定などに基づいて決定される。 In step S105, the reference data setting unit 172 determines whether to change the maximum display number. For example, even if the index data is not displayed on the instruction center, if the maximum display number is set to be changed, the reference data setting unit 172 determines that the maximum display number is to be changed, and the processing is step S106. Proceed to Note that, when index data is not displayed on the instruction center, whether or not to change the maximum display number is determined based on, for example, a designer's design policy or user settings.

ステップＳ１０６において、基準データ設定部１７２は、指示中心から最も近いインデックスデータを基準データに設定する。基準データ設定部１７２は、設定した基準データを示す情報を配置設定部１７４に供給する。 In step S106, the reference data setting unit 172 sets the index data closest to the instruction center as reference data. The reference data setting unit 172 supplies information indicating the set reference data to the arrangement setting unit 174.

例えば、上述した図１９の左側のインデックス画面２３１の場合、指示中心C₃₁に最も近い７番のインデックスデータが基準データに設定される。 For example, in the case of the index screen 231 on the left side of FIG. 19 described above, the seventh index data closest to the instruction center C ₃₁ is set as the reference data.

ステップＳ１０７において、表示数設定部１７３は、最大表示数を設定する。具体的には、表示数設定部１７３は、現在のインデックス画面の最大表示数、および、イベント「拡大」の情報に示される拡大率またはイベント「縮小」の情報に示される縮小率に基づいて、最大表示数を設定する。 In step S107, the display number setting unit 173 sets the maximum display number. Specifically, the display number setting unit 173 is based on the maximum display number of the current index screen and the enlargement rate indicated in the event “enlargement” information or the reduction rate indicated in the event “reduction” information. Set the maximum number of displays.

例えば、表示数設定部１７３は、現在のインデックス画面の最大表示数が縦３個×横３個の９個である場合、拡大率が所定の第１の閾値より大きく所定の第２の閾値以下のとき、最大表示数を縦２個×横２個の４個に設定し、拡大率が第２の閾値より大きいとき、最大表示数を縦１個×横１個の１個に設定し、縮小率が所定の第３の閾値より小さく所定の第４の閾値以上のとき、最大表示数を縦４個×横４個の１６個に設定し、縮小率が第４の閾値より小さいとき、最大表示数を縦５個×横５個の２５個に設定する。すなわち、イベント「拡大」の拡大率またはイベント「縮小」の縮小率が、インデックスデータの増加または減少の指示、および、増加または減少させる度合いを示しており、表示数設定部１７３は、拡大率または縮小率の値に基づいて、最大表示数を設定する。 For example, when the maximum display number of the current index screen is 9 (3 vertical × 3 horizontal), the display number setting unit 173 has an enlargement ratio larger than a predetermined first threshold value and below a predetermined second threshold value. In this case, the maximum display number is set to 4 vertical 2 × 2 horizontal, and when the enlargement ratio is larger than the second threshold, the maximum display number is set to 1 vertical 1 × horizontal 1 When the reduction ratio is smaller than the predetermined third threshold and equal to or greater than the predetermined fourth threshold, the maximum display number is set to 16 vertical 4 × horizontal 4 and when the reduction ratio is smaller than the fourth threshold, The maximum number of displays is set to 25 (5 vertical x 5 horizontal). That is, the enlargement rate of the event “enlargement” or the reduction rate of the event “reduction” indicates an instruction to increase or decrease the index data and the degree of increase or decrease, and the display number setting unit 173 displays the enlargement rate or The maximum number of displays is set based on the reduction ratio value.

なお、拡大率または縮小率の値の大小に関わらず、最大表示数を１段階だけ増加または減少させるようにするようにしてもよい。 Note that the maximum display number may be increased or decreased by one step regardless of the value of the enlargement ratio or reduction ratio.

表示数設定部１７３は、設定した最大表示数を示す情報を配置設定部１７４に供給する。 The display number setting unit 173 supplies information indicating the set maximum display number to the arrangement setting unit 174.

ステップＳ１０８において、配置設定部１７４は、インデックスデータの配置を設定する。具体的には、配置設定部１７４は、表示数設定部１７３により設定された最大表示数に応じた形式に基づいてインデックスデータを配置するとともに、最大表示数を変更した後のインデックス画面において、基準データが指示中心上または指示中心の近傍に表示されるようにインデックスデータの配置を設定する。 In step S108, the arrangement setting unit 174 sets the arrangement of the index data. Specifically, the arrangement setting unit 174 arranges the index data based on the format corresponding to the maximum display number set by the display number setting unit 173, and displays the reference data on the index screen after changing the maximum display number. The arrangement of the index data is set so that the data is displayed on the indication center or in the vicinity of the indication center.

ここで、具体例として、図２０に示されるように、最大表示数が縦３個×横３個の９個のインデックス画面２４１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₄₁と位置B₄₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₄₁から距離d₄₂に拡げてから２本の指の近接および接触を解除し、最大表示数が９個から縦２個×横２個の４個に減らされたたときについて考える。このとき、位置A₄₁の代表座標と位置B₄₁の代表座標を結ぶ線分の中点である指示中心C₄₁上に表示されている９番のインデックスデータが基準データに設定される。 Here, as a specific example, as shown in FIG. 20, when nine index screens 241 having a maximum display number of 3 × 3 are displayed on the display screen of the input / output display 132, Starts approaching or contacting two fingers at position A ₄₁ and position B ₄₁ , and increases the distance between the two fingers from distance d ₄₁ to distance d ₄₂ while continuing proximity or contact. Let us consider a case where the proximity and contact of the finger is released and the maximum number of displays is reduced from 9 to 4 (2 vertical x 2 horizontal). In this case, the index data of the number 9, which is displayed on the instruction center C ₄₁ is the midpoint of a line connecting the representative coordinates of the representative coordinates as position B ₄₁ position A ₄₁ is set in the reference data.

例えば、配置設定部１７４は、最大表示数を変更した後のインデックス画面において、指示中心を含むインデックスデータの行および列に、基準データが表示されるようにインデックスデータを配置する。すなわち、図２０のインデックス画面２４２のように、指示中心C₄₁上に９番のインデックスデータが表示されるようにインデックスデータが配置される。 For example, the arrangement setting unit 174 arranges the index data so that the reference data is displayed in the row and the column of the index data including the instruction center on the index screen after changing the maximum display number. That is, as in the index screen 242 in FIG. 20, the index data is arranged as index data # 9 on the instruction center C ₄₁ is displayed.

あるいは、例えば、配置設定部１７４は、最大表示数を変更した後のインデックス画面において、指示中心を含むインデックスデータの行または列の少なくとも一方に基準データが表示されるようにインデックスデータを配置する。すなわち、基準データである９番のインデックスデータが、図２０のインデックス画面２４３のように、指示中心C₄₁を含む右端の列上のいずれかの行に表示されるか、図示はしていないが、指示中心C₄₁を含む下端の行上のいずれかの列に表示されるようにインデックスデータが配置される。 Alternatively, for example, the arrangement setting unit 174 arranges the index data so that the reference data is displayed in at least one of the rows or columns of the index data including the instruction center on the index screen after changing the maximum display number. That is, although the 9th index data as the reference data is displayed in any row on the rightmost column including the instruction center C ₄₁ as shown in the index screen 243 in FIG. , the index data is arranged to appear in any column on the row of bottom end including an indication center C _41.

なお、例えば、先に参照した図１７の例においては、元のインデックス画面２１１において基準データに設定された８番のインデックスデータが、最大表示数を縦２個×横２個の４個に減らした後のインデックス画面２１２において、指示中心C₁₁を含む右端の列の一番下の行に表示されるようにインデックスデータが配置される。 For example, in the example of FIG. 17 referred to earlier, the number 8 index data set as the reference data in the original index screen 211 reduces the maximum display number to 4 pieces of 2 vertical x 2 horizontal. in index screen 212 after the index data is arranged to be displayed on the bottom line of the rightmost column containing instruction center C _11.

また、例えば、先に参照した図１８の例においては、元のインデックス画面２２１において基準データに設定された８番のインデックスデータが、最大表示数を縦３個×横３個の９個に増やした後のインデックス画面２２２において、指示中心C₂₁上に表示されるようにインデックスデータが配置されるようにインデックスデータが配置される。 Further, for example, in the example of FIG. 18 referred to earlier, the number 8 index data set as the reference data in the original index screen 221 increases the maximum display number to 9 (3 × 3). in index screen 222 after the index data is arranged as index data to be displayed on the instruction center C ₂₁ is arranged.

さらに、例えば、先に参照した図１９の例においては、元のインデックス画面２３１において基準データに設定された７番のインデックスデータが、最大表示数を３個×３個の９個に増やした後のインデックス画面２３２において、指示中心C₃₁を含む右端の列の一番上の行に表示されるようにインデックスデータが配置されるようにインデックスデータが配置される。 Further, for example, in the example of FIG. 19 referred to earlier, after the seventh index data set as the reference data in the original index screen 231 increases the maximum display number to 9 of 3 × 3. in index screen 232, index data as index data is arranged to be displayed on the top line of the rightmost column containing instruction center C ₃₁ is disposed.

なお、最大表示数を変更した後のインデックス画面において、指示中心を含むインデックスデータの行および列に基準データを表示しようとした場合、インデックス画面の先頭の行または列にインデックスデータが表示されない空白のマスができる場合がある。 In the index screen after changing the maximum number of displays, if you try to display the reference data in the row and column of the index data including the center of indication, the index data is not displayed in the first row or column of the index screen. There may be a mass.

例えば、図２１に示されるように、最大表示数が縦４個×横４個の１６個のインデックス画面２５１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₅₁と位置B₅₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を狭めてから２本の指の近接および接触を解除し、最大表示数が縦５個×横５個の２５個に変更されたときについて考える。このとき、位置A₅₁の代表座標と位置B₅₁の代表座標を結ぶ線分の中点である指示中心C₅₁上に表示されている６番のインデックスデータが基準データに設定されるが、最大表示数を２５個に増やした後のインデックス画面２５２において、指示中心C₅₁を含むインデックスデータの行および列に基準データである６番のインデックスデータを表示しようとした場合、左端の列の先頭に空白のマスができてしまう。この場合、インデックス画面２５２をそのまま表示するようにしてもいいし、あるいは、先頭の空白のマスを埋めるように、インデックスデータを詰めて表示するようにしてもよい。 For example, as shown in FIG. 21, when the maximum display number of vertical × 4 horizontal four sixteen index screen 251 is displayed on the display screen of the input-output display 132, the user and the position A ₅₁ Start proximity or contact of two fingers at position B ₅₁ , reduce the distance between the two fingers while continuing proximity or contact, and then release the proximity and contact of the two fingers. Is considered to be changed to 25 vertical 5 × 5 horizontal 25. At this time, the index data of the number 6, which is displayed on the instruction center C ₅₁ is the midpoint of a line connecting the representative coordinates of the representative coordinates as position B ₅₁ position A ₅₁ is set to the reference data, the maximum in index screen 252 after increasing the number of display into 25, when trying to view the index data of No. 6 is the reference data in rows and columns of the index data including the instruction center C _51, the head of the leftmost column A blank cell is created. In this case, the index screen 252 may be displayed as it is, or index data may be packed and displayed so as to fill a blank space at the beginning.

インデックスデータを詰めて表示するようにした場合、左端の列に１乃至５番のインデックスデータが表示され、左から２番目の列に６乃至１０番のインデックスデータが表示され、左から３番目の列に１１乃至１５番のインデックスデータが表示され、左から４番目の列に１６乃至２０番のインデックスデータが表示され、右端の列に２１乃至２５番のインデックスデータが表示される（ただし、２４，２５番のインデックスデータがない場合には表示されない）。 When index data is packed and displayed, the first to fifth index data are displayed in the leftmost column, the sixth to tenth index data are displayed in the second column from the left, and the third from the left. The 11th to 15th index data are displayed in the columns, the 16th to 20th index data are displayed in the fourth column from the left, and the 21st to 25th index data are displayed in the rightmost column (however, 24 , Is not displayed when there is no 25th index data).

配置設定部１７４は、設定したインデックスデータの配置を示す情報を画像データ生成部１７５に供給する。 The arrangement setting unit 174 supplies information indicating the arrangement of the set index data to the image data generation unit 175.

ステップＳ１０９において、画像データ生成部１７５は、インデックス画面の画像データを生成し、インデックス画面の表示制御処理は終了する。具体的には、画像データ生成部１７５は、配置設定部１７４により設定された配置に従ってインデックスデータを再配置した画像データを生成し、表示信号処理部１３１に供給する。これにより、上述した図４のステップＳ８において、最大表示数の変更に伴いインデックスデータが再配置されたインデックス画面が入出力ディスプレイ１３２の表示画面に表示される。 In step S109, the image data generation unit 175 generates image data of the index screen, and the index screen display control process ends. Specifically, the image data generation unit 175 generates image data in which the index data is rearranged according to the arrangement set by the arrangement setting unit 174 and supplies the generated image data to the display signal processing unit 131. As a result, in step S8 of FIG. 4 described above, the index screen on which the index data is rearranged in accordance with the change in the maximum display number is displayed on the display screen of the input / output display 132.

一方、ステップＳ１０５において、例えば、指示中心上にインデックスデータが表示されていない場合、最大表示数を変更しないように設定されている場合、基準データ設定部１７２は、最大表示数を変更しないと判定し、ステップＳ１０６乃至Ｓ１０９の処理はスキップされ、インデックス画面の表示制御処理は終了する。 On the other hand, in step S105, for example, when the index data is not displayed on the instruction center, and when it is set not to change the maximum display number, the reference data setting unit 172 determines not to change the maximum display number. Then, the processes of steps S106 to S109 are skipped, and the index screen display control process ends.

この場合、例えば、図１９の例においては、図内のほぼ中央の下側の矢印により画面遷移が示されるように、インデックス画面２３１がそのまま継続して入出力ディスプレイ１３２の表示画面に表示される。 In this case, for example, in the example of FIG. 19, the index screen 231 is continuously displayed on the display screen of the input / output display 132 as indicated by the arrow at the lower center of the center in the figure. .

また、ステップＳ１０２において、インデックス画面が表示されていないと判定された場合、ステップＳ１０３乃至Ｓ１０９の処理はスキップされ、インデックス画面の表示制御処理は終了する。 If it is determined in step S102 that the index screen is not displayed, the processes in steps S103 to S109 are skipped, and the index screen display control process ends.

さらに、ステップＳ１０１において、イベント「拡大」または「縮小」が発行されていないと判定された場合、ステップＳ１０２乃至Ｓ１０９の処理はスキップされ、インデックス画面の表示制御処理は終了する。 Furthermore, if it is determined in step S101 that the event “enlarge” or “reduction” has not been issued, the processes in steps S102 to S109 are skipped, and the display control process for the index screen ends.

このようにして、インデックス画面の最大表示数を変更した後も、変更前に指示中心上または指示中心の近傍に表示されていた所望のインデックスデータを確実に表示することができる。また、最大表示数を変更した後のインデックス画面において、所望のインデックスデータが指示中心上または指示中心の近傍に表示されるので、ユーザは、所望のインデックスデータを迅速に見つけることができる。 In this way, even after the maximum number of display on the index screen is changed, the desired index data displayed on the indication center or in the vicinity of the indication center before the change can be reliably displayed. Further, since the desired index data is displayed on the indication center or in the vicinity of the indication center on the index screen after changing the maximum display number, the user can quickly find the desired index data.

なお、以上の説明では、インデックスデータが縦方向と横方向に同じ数だけ格子上に配置されたインデックス画面を例に挙げたが、もちろん、縦方向と横方向のインデックスデータの数が異なっている場合にも本発明を適用することが可能である。また、インデックスデータが格子状に配置されたインデックス画面以外のインデックス画面についても本発明を適用することが可能である。ここで、図２２乃至図２５を参照して、そのようなインデックス画面の例について説明する。 In the above description, the index screen in which the same number of index data is arranged on the grid in the vertical and horizontal directions is taken as an example, but of course, the number of index data in the vertical and horizontal directions is different. Even in this case, the present invention can be applied. Further, the present invention can be applied to index screens other than index screens in which index data is arranged in a grid pattern. Here, an example of such an index screen will be described with reference to FIGS.

図２２および図２３には、インデックスデータを日付毎に分類して表示したインデックス画面の例が示されている。 22 and FIG. 23 show examples of index screens in which index data is classified and displayed for each date.

図２２のインデックス画面２６１においては、左端には日付が表示されており、より具体的には、６月１１日と６月１２日の日付が表示されている。また、各日付の右側には、その日付に対応するインデックスデータ、例えば、その日に撮影された画像のサムネイルが表示されている。インデックス画面２６１においては、６月１１日の日付の右側に、インデックス番号が１番から６番までのインデックスデータが２行にわたって表示されており、１行目に左から順番に１番から４番までのインデックスデータが横方向に整列されて表示され、２行目には左から順番に５番から６番までのインデックスデータが横方向に整列されて表示されている。また、インデックス画面２６１の６月１２日の日付の右側には、インデックス番号が７番から１３番までのインデックスデータが２行にわたって表示されており、１行目（インデックス画面２６１全体では上から３行目）には左から順番に７番から１０番までのインデックスデータが横方向に整列されて表示され、２行目（インデックス画面２６１全体では上から４行目）には左から順番に１１番から１３番までのインデックスデータが横方向に整列されて表示されている。 In the index screen 261 of FIG. 22, the date is displayed at the left end, and more specifically, the dates of June 11 and June 12 are displayed. On the right side of each date, index data corresponding to the date, for example, thumbnails of images taken on that date are displayed. In the index screen 261, index data with index numbers 1 to 6 are displayed over two lines on the right side of the date of June 11, and the first line is the first to fourth in order from the left in the first line. Index data up to and including are displayed in the horizontal direction. On the second line, index data from No. 5 to No. 6 are displayed in the horizontal direction in order from the left. In addition, on the right side of the date of June 12 on the index screen 261, index data with index numbers 7 to 13 are displayed over two lines. The first line (the index screen 261 as a whole is 3 from the top). In the second line), the index data from No. 7 to No. 10 are arranged in the horizontal direction in order from the left. The second line (the fourth line from the top in the entire index screen 261) is displayed in order from the left. Index data from No. 13 to No. 13 are displayed in the horizontal direction.

例えば、インデックス画面２６１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₆₁と位置B₆₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₆₁から距離d₆₂に狭めてから２本の指の近接および接触を解除したときについて考える。 For example, when the index screen 261 is displayed on the display screen of the input / output display 132, the user starts approaching or contacting two fingers at the position A ₆₁ and the position B ₆₁ , and continues the approaching or contacting. Consider a case where the proximity and contact of two fingers are released after the distance between the two fingers is reduced from the distance d ₆₁ to the distance d ₆₂ .

このとき、位置A₆₁の代表座標と位置B₆₁の代表座標を結ぶ線分の中点である指示中心C₆₁上に表示されている８番のインデックスデータが基準データに設定される。また、インデックス画面２６１からインデックス画面２６２に入出力ディスプレイ１３２の表示が遷移する。 In this case, the index data of the number 8, which is displayed on the instruction center C ₆₁ is the midpoint of a line connecting the representative coordinates of the representative coordinates as position B ₆₁ position A ₆₁ is set in the reference data. In addition, the display of the input / output display 132 transitions from the index screen 261 to the index screen 262.

インデックス画面２６２においては、インデックス画面２６１と同様に、６月１１日と６月１２日の日付が表示され、日付の右側には、その日付に対応するインデックスデータが表示されている。ただし、インデックス画面２６２においては、インデックス画面２６１と比較して、最大表示数が減少し、インデックスデータの表示サイズが大きくなっている。インデックス画面２６２においては、６月１１日の日付の右側に、インデックス番号が１番から６番までのインデックスデータが２行にわたって表示されており、１行目には左から順番に１番から３番までのインデックスデータが横方向に整列されて表示され、２行目には左から順番に４番から６番までのインデックスデータが横方向に整列されて表示されている。また、インデックス画面２６２の６月１２日の日付の右側には、インデックス番号が７番から９番までのインデックスデータが左から順番に１行分だけ表示されるとともに、指示中心C₆₁上に基準データであるインデックス番号が８番のインデックスデータが表示されている。インデックス画面２６１において表示されていたインデックス番号が１０番から１３番のインデックスデータは、インデックス画面２６２においては表示されていない。 On the index screen 262, as with the index screen 261, the dates of June 11 and June 12 are displayed, and the index data corresponding to the date is displayed on the right side of the date. However, the index screen 262 has a smaller maximum display number and a larger index data display size than the index screen 261. In the index screen 262, index data with index numbers 1 to 6 is displayed over two lines on the right side of the date of June 11, and the first line is displayed in order from the left to the first line. Index data up to No. 4 are arranged in the horizontal direction and displayed on the second line, and index data No. 4 through No. 6 are arranged in the horizontal direction in order from the left. On the right side of the date of June 12, the index screen 262, together with the index data to 9th from index number 7 No. is displayed by one line in order from the left, the reference on the instruction center C ₆₁ Index data with index number 8 as data is displayed. The index data with the index numbers 10 to 13 displayed on the index screen 261 is not displayed on the index screen 262.

次に、図２３に示されるように、インデックス画面２６２が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₇₁と位置B₇₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₇₁から距離d₇₂に狭めてから２本の指の近接および接触を解除したときについて考える。 Next, as shown in Figure 23, when the index screen 262 is displayed on the display screen of the input-output display 132, start the proximity or contact of two fingers users at position B ₇₁ and position A ₇₁ and, consider when released while continuing two proximity and contact distance from narrowed from the distance d ₇₁ a distance d ₇₂ of two fingers between the fingers proximity or contact.

このとき、位置A₇₁の代表座標と位置B₇₁の代表座標を結ぶ線分の中点である指示中心C₇₁上に表示されている８番のインデックスデータが基準データに設定される。また、最大表示数が増加するとともに、基準データであるインデックス番号が８番のインデックスデータが指示中心C₇₁上に表示されるように、インデックス画面２６２からインデックス画面２６１と同じ画面であるインデックス画面２６３に入出力ディスプレイ１３２の表示が遷移する。 In this case, the index data of the number 8, which is displayed on the instruction center C ₇₁ is the midpoint of a line connecting the representative coordinates of the representative coordinates as position B ₇₁ position A ₇₁ is set in the reference data. Further, the maximum display number increases, as the index of the index number eighth data is the reference data is displayed on the instruction center C _71, index screen 263 is the same screen as the index screen 261 from the index screen 262 The display on the input / output display 132 changes.

図２４および図２５には、インデックスデータが曲名であり、収録されているアルバム毎に各曲名を分類して表示したインデックス画面の例が示されている。 24 and 25 show an example of an index screen in which the index data is a song name and each song name is classified and displayed for each recorded album.

図２４のインデックス画面２８１においては、アルバム名１およびアルバム名２の２つのアルバム名が画面の左端から表示されている。アルバム名１とアルバム名２の間には、アルバム名１のアルバムに収録されている曲名１乃至曲名５のインデックスデータが縦方向に並べて表示され、アルバム名２の下側には、アルバム名２のアルバムに収録されている曲名１乃至曲名５のインデックスデータが縦方向に並べて表示されている。また、各曲名は、アルバム名の表示が開始される位置よりも右方向にずれた位置から表示が開始されている。 In the index screen 281 of FIG. 24, two album names, album name 1 and album name 2, are displayed from the left end of the screen. Between album name 1 and album name 2, the index data of song names 1 to 5 recorded in the album of album name 1 are displayed side by side in the vertical direction, and album name 2 is displayed below album name 2. Index data of song titles 1 to 5 recorded in the album are displayed in the vertical direction. In addition, the display of each song name is started from a position shifted to the right from the position where the album name display is started.

例えば、インデックス画面２８１が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₈₁と位置B₈₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₈₁から距離d₈₂に狭めてから２本の指の近接および接触を解除したときについて考える。 For example, when the index screen 281 is displayed on the display screen of the input / output display 132, the user starts approaching or touching two fingers at the position A ₈₁ and the position B ₈₁ while continuing the approach or contact. consider when the narrowing the distance between the two fingers from the distance d ₈₁ a distance d ₈₂ releases the proximity and contact of the two fingers.

このとき、位置A₈₁の代表座標と位置B₈₁の代表座標を結ぶ線分の中点である指示中心C₈₁上に表示されているアルバム１の曲名２が基準データに設定される。また、インデックス画面２８１からインデックス画面２８２に入出力ディスプレイ１３２の表示が遷移する。 At this time, Song 2 albums 1 being displayed on instruction center C ₈₁ is the midpoint of a line connecting the representative coordinates of the representative coordinates as position B ₈₁ position A ₈₁ is set in the reference data. In addition, the display on the input / output display 132 transitions from the index screen 281 to the index screen 282.

インデックス画面２８２においては、最大表示数が減少し、各データの文字が拡大されて表示されている。また、基準データであるアルバム１の曲名２が指示中心C₈₁上に表示され、アルバム１の曲名２を中心に、各アルバム名および各曲名がインデックス画面２８１と同じ順序で表示される。従って、インデックス画面２８２において、アルバム名１、および、アルバム名２の曲名１乃至４は表示されなくなり、アルバム１の曲名１乃至５の表示される文字数も短くなる。 On the index screen 282, the maximum number of displays is reduced, and characters of each data are enlarged and displayed. Also, the song name 2 of the album 1 which is the reference data is displayed on the instruction center C ₈₁ , and the album name and each song name are displayed in the same order as the index screen 281 around the song name 2 of the album 1. Accordingly, on the index screen 282, the song names 1 to 4 of the album name 1 and the album name 2 are not displayed, and the number of characters displayed for the song names 1 to 5 of the album 1 is also shortened.

なお、図２４および図２５において、インデックス画面２８２からはみ出している文字は、説明を分かりやすくするために記載しているものであり、実際にはユーザから見えない文字である。 In FIG. 24 and FIG. 25, the characters protruding from the index screen 282 are described for easy understanding of the explanation, and are actually characters that cannot be seen by the user.

次に、図２５に示されるように、インデックス画面２８２が入出力ディスプレイ１３２の表示画面に表示されている場合に、ユーザが位置A₉₁と位置B₉₁で２本の指の近接または接触を開始し、近接または接触を継続しながら２本の指の間の距離を距離d₉₁から距離d₉₂に狭めてから２本の指の近接および接触を解除したときについて考える。 Next, as shown in FIG. 25, when the index screen 282 is displayed on the display screen of the input / output display 132, the user starts approaching or touching two fingers at the position A ₉₁ and the position B _91. and, consider when released while continuing two proximity and contact distance from narrowed from the distance d ₉₁ a distance d ₉₂ of two fingers between the fingers proximity or contact.

このとき、位置A₉₁の代表座標と位置B₉₁の代表座標を結ぶ線分の中点である指示中心C₉₁上に表示されているアルバム１の曲名２が基準データに設定される。また、最大表示数が増加するとともに、基準データであるアルバム１の曲名２が指示中心C₉₁上に表示されるように、インデックス画面２８２からインデックス画面２８１と同じ画面であるインデックス画面２８３に入出力ディスプレイ１３２の表示が遷移する。 At this time, the title 2 of the album 1 displayed on the designated center C ₉₁ which is the midpoint of the line segment connecting the representative coordinates of the position A _{91 and} the representative coordinates of the position B ₉₁ is set as the reference data. In addition, as the maximum number of displays is increased, the index screen 282 is input to and output from the index screen 283 which is the same screen as the index screen 281 so that the song name 2 of the album 1 as the reference data is displayed on the instruction center C ₉₁ The display on the display 132 changes.

図２６は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。 FIG. 26 is a block diagram showing a configuration example of another embodiment of a display system to which the present invention is applied.

図２６の表示システム３０１では、図１における制御部１１２に、入出力パネル１１６の生成部１３５が移動されている。 In the display system 301 of FIG. 26, the generation unit 135 of the input / output panel 116 is moved to the control unit 112 in FIG.

すなわち、図２６において、アンテナ３１０、信号処理部３１１、記憶部３１３、操作部３１４、通信部３１５、表示制御部３２１、表示信号処理部３３１、入出力ディスプレイ３３２、光センサ３３２Ａ、受光信号処理部３３３、画像処理部３３４、及び生成部３３５は、図２におけるアンテナ１１０、信号処理部１１１、記憶部１１３、操作部１１４、通信部１１５、表示制御部１２１、表示信号処理部１３１、入出力ディスプレイ１３２、光センサ１３２Ａ、受光信号処理部１３３、画像処理部１３４、及び生成部１３５と同様に構成されるので、表示システム３０１は、図２における表示システム１０１と同様に表示受光制御処理を行うことができる。ただし、図２の生成部１３５の記憶部１４３として、図２６では、記憶部３１３が使用されている。 26, the antenna 310, the signal processing unit 311, the storage unit 313, the operation unit 314, the communication unit 315, the display control unit 321, the display signal processing unit 331, the input / output display 332, the optical sensor 332A, and the received light signal processing unit. 333, the image processing unit 334, and the generation unit 335 are the antenna 110, the signal processing unit 111, the storage unit 113, the operation unit 114, the communication unit 115, the display control unit 121, the display signal processing unit 131, and the input / output display in FIG. 132, the optical sensor 132A, the light reception signal processing unit 133, the image processing unit 134, and the generation unit 135 are configured in the same manner, so that the display system 301 performs display light reception control processing in the same manner as the display system 101 in FIG. Can do. However, in FIG. 26, the storage unit 313 is used as the storage unit 143 of the generation unit 135 in FIG.

図２７は、本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。 FIG. 27 is a block diagram showing a configuration example of another embodiment of a display system to which the present invention is applied.

図２７の表示システム４０１では、図１における制御部１１２に、入出力パネル１１６の生成部１３５と画像処理部１３４が移動されている。 In the display system 401 in FIG. 27, the generation unit 135 and the image processing unit 134 of the input / output panel 116 are moved to the control unit 112 in FIG.

すなわち、図２７において、アンテナ４１０、信号処理部４１１、記憶部４１３、操作部４１４、通信部４１５、表示制御部４２１、表示信号処理部４３１、入出力ディスプレイ４３２、光センサ４３２Ａ、受光信号処理部４３３、画像処理部４３４、及び生成部４３５は、図２におけるアンテナ１１０、信号処理部１１１、記憶部１１３、操作部１１４、通信部１１５、表示制御部１２１、表示信号処理部１３１、入出力ディスプレイ１３２、光センサ１３２Ａ、受光信号処理部１３３、画像処理部１３４、及び生成部１３５と同様に構成されるので、表示システム４０１は、図２における表示システム１０１と同様に表示受光制御処理を行うことができる。 27, the antenna 410, the signal processing unit 411, the storage unit 413, the operation unit 414, the communication unit 415, the display control unit 421, the display signal processing unit 431, the input / output display 432, the optical sensor 432A, and the received light signal processing unit. 433, the image processing unit 434, and the generation unit 435 are the antenna 110, the signal processing unit 111, the storage unit 113, the operation unit 114, the communication unit 115, the display control unit 121, the display signal processing unit 131, and the input / output display in FIG. 132, the optical sensor 132A, the light reception signal processing unit 133, the image processing unit 134, and the generation unit 135 are configured in the same manner, so that the display system 401 performs display light reception control processing in the same manner as the display system 101 in FIG. Can do.

図２８は、本発明を適用した入出力パネル６０１の外観の構成の例を示している。図２８に示されるように、入出力パネル６０１はフラット型のモジュール形状をしている。入出力パネル６０１においては、例えば、絶縁性の基板６１１上に、液晶素子、薄膜トランジスタ、薄膜容量、受光素子等からなる画素をマトリックス状に集積形成した画素アレイ部６１３が設けられる。また、この画素アレイ部６１３を囲むように接着剤を配し、ガラス等の対向基板６１２が貼り付けられる。さらに、入出力パネル６０１には、外部から画素アレイ部６１３への信号等を入出力するためのコネクタ６１４Ａおよび６１４Ｂが設けられる。コネクタ６１４Ａおよび６１４Ｂは、例えば、ＦＰＣ（フレキシブルプリントサーキット）により構成される。 FIG. 28 shows an example of an external configuration of an input / output panel 601 to which the present invention is applied. As shown in FIG. 28, the input / output panel 601 has a flat module shape. In the input / output panel 601, for example, a pixel array unit 613 in which pixels formed of a liquid crystal element, a thin film transistor, a thin film capacitor, a light receiving element, and the like are integrated and formed in a matrix on an insulating substrate 611 is provided. Further, an adhesive is disposed so as to surround the pixel array portion 613, and a counter substrate 612 such as glass is attached. Further, the input / output panel 601 is provided with connectors 614A and 614B for inputting / outputting signals to / from the pixel array unit 613 from the outside. The connectors 614A and 614B are configured by, for example, an FPC (flexible printed circuit).

以上に説明した本発明における入出力パネルは、例えば、フラットパネル形状を有し、例えば、デジタルカメラ、ノート型パーソナルコンピュータ、携帯電話機、ビデオカメラなど、電子機器に入力された、または、電子機器内で生成した映像信号を、画像または映像として表示するあらゆる分野の電子機器のディスプレイに適用することが可能である。以下この様な入出力パネルが適用された電子機器の例を示す。 The input / output panel according to the present invention described above has a flat panel shape, for example, and is input to an electronic device such as a digital camera, a notebook personal computer, a mobile phone, a video camera, or the like. It is possible to apply to the display of the electronic device of all the fields which display the video signal produced | generated by 1 as an image or an image | video. Examples of electronic devices to which such an input / output panel is applied are shown below.

図２９には、本発明が適用されたテレビジョン受像機の一実施の形態が示されている。図２９のテレビジョン受像機６２１は、フロントパネル６３１Ａ、フィルターガラス６３１Ｂ等から構成される映像表示部６３１を含み、例えば、映像表示部６３１に本発明の入出力パネルが適用される。 FIG. 29 shows an embodiment of a television receiver to which the present invention is applied. The television receiver 621 in FIG. 29 includes a video display unit 631 including a front panel 631A, a filter glass 631B, and the like. For example, the input / output panel of the present invention is applied to the video display unit 631.

図３０には、本発明が適用されたデジタルカメラの一実施の形態が示されており、上が正面図で下が背面図である。図３０のデジタルカメラ６４１は、撮像レンズ、フラッシュ用の発光部６５１、表示部６５２、コントロールスイッチ、メニュースイッチ、シャッター６５３等を含み、例えば、表示部６５２に本発明の入出力パネルが適用される。 FIG. 30 shows an embodiment of a digital camera to which the present invention is applied, in which the top is a front view and the bottom is a rear view. A digital camera 641 in FIG. 30 includes an imaging lens, a flash light emitting unit 651, a display unit 652, a control switch, a menu switch, a shutter 653, and the like. For example, the input / output panel of the present invention is applied to the display unit 652. .

図３１には、本発明が適用されたノート型パーソナルコンピュータの一実施の形態が示されている。図３１のパーソナルコンピュータ６６１の本体部６６１Ａは、文字等を入力するとき操作されるキーボード６７１を含み、本体カバー部６６１Ｂは、画像を表示する表示部６７２を含んでいる。例えば、表示部６７２に本発明の入出力パネルが適用される。 FIG. 31 shows an embodiment of a notebook personal computer to which the present invention is applied. The main body 661A of the personal computer 661 in FIG. 31 includes a keyboard 671 operated when inputting characters and the like, and the main body cover 661B includes a display 672 for displaying images. For example, the input / output panel of the present invention is applied to the display portion 672.

図３２には、本発明が適用された携帯端末装置の一実施の形態が示されており、左側の図が携帯端末装置を開いた状態を表し、右側の図が携帯端末装置を閉じた状態を表している。図３２の携帯端末装置６８１は、上側筐体６８１Ａと下側筐体６８１Ｂがヒンジ部６８１により連結され、ディスプレイ６９１、サブディスプレイ６９２、ピクチャーライト６９３、カメラ６９４等を含む。例えば、ディスプレイ６９１やサブディスプレイ６９２に本発明の入出力パネルが適用される。 FIG. 32 shows an embodiment of a mobile terminal device to which the present invention is applied. The left diagram shows a state in which the mobile terminal device is opened, and the right diagram shows a state in which the mobile terminal device is closed. Represents. 32 includes a display 691, a sub display 692, a picture light 693, a camera 694, and the like, in which an upper housing 681A and a lower housing 681B are connected by a hinge portion 681. For example, the input / output panel of the present invention is applied to the display 691 and the sub display 692.

図３３には、本発明が適用されたビデオカメラの一実施の形態が示されている。図２５のビデオカメラ７０１は、本体部７１１、前方を向いた側面に被写体撮影用のレンズ７１２、撮影時のスタート／ストップスイッチ７１３、モニタ７１４等を含み、例えば、モニタ７１４に本発明の入出力パネルが適用される。 FIG. 33 shows an embodiment of a video camera to which the present invention is applied. A video camera 701 in FIG. 25 includes a main body 711, a lens 712 for shooting an object on the side facing forward, a start / stop switch 713 at the time of shooting, a monitor 714, and the like. Panel is applied.

なお、本発明は、この他にも、例えば、音楽プレイヤー、ビデオレコーダなど、インデックス画面を表示する装置に適用することが可能である。 In addition, the present invention can also be applied to devices that display an index screen, such as a music player and a video recorder.

なお、以上の説明では、入出力ディスプレイ上の２点を指示し、その２点間の中点を指示中心とする例を示したが、入出力ディスプレイ上の１点を指示中心として指またはペンなどで直接指示するようにしてもよい。この場合、上述したイベント「拡大」の拡大率、または、イベント「縮小」の縮小率に相当する値、すなわち、最大表示数の増加または減少の度合いを示す値を、例えば、ボタン、スイッチ、ポインティングスティック、円盤状のホイールなどの入力手段を用いて入力し、入力された値に基づいて、インデックス画面の最大表示数を設定するようにすることが考えられる。また、これらの入力手段に相当するボタンなどの入力インタフェースを入出力ディスプレイ上に表示するようにしてもよい。 In the above description, an example is shown in which two points on the input / output display are indicated and the midpoint between the two points is indicated as the indication center. You may make it instruct | indicate directly by. In this case, a value corresponding to the above-described enlargement rate of the event “enlargement” or the reduction rate of the event “reduction”, that is, a value indicating the degree of increase or decrease of the maximum display number, for example, a button, switch, pointing It is conceivable to input using an input means such as a stick or a disk-shaped wheel, and to set the maximum display number of the index screen based on the input value. Further, an input interface such as a button corresponding to these input means may be displayed on the input / output display.

また、この場合、パネル上で指示される点の数が１つなので、例えば、入出力パネルの代わりにタッチパネルを表示手段として適用することも可能である。図３４は、入出力パネルの代わりにタッチパネルを表示手段として適用した場合の表示システムの一実施の形態を示すブロック図である。なお、図中、図２と対応する部分については下２桁が同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。 In this case, since the number of points designated on the panel is one, for example, a touch panel can be applied as a display means instead of the input / output panel. FIG. 34 is a block diagram showing an embodiment of a display system when a touch panel is applied as a display means instead of the input / output panel. In the figure, portions corresponding to those in FIG. 2 are denoted by the same reference numerals in the last two digits, and description of portions having the same processing will be omitted because it will be repeated.

図３４の表示システム８０１は、アンテナ８１０、信号処理部８１１、制御部８１２、記憶部８１３、操作部８１４、通信部８１５、及び、タッチパネルモジュール付表示パネル８１６から構成される。 The display system 801 in FIG. 34 includes an antenna 810, a signal processing unit 811, a control unit 812, a storage unit 813, an operation unit 814, a communication unit 815, and a display panel 816 with a touch panel module.

制御部８１２は、表示制御部８２１を含み、表示制御部８２１は、信号処理部８１１から供給される画像データ等をタッチパネルモジュール付表示パネル８１６に供給する。また、表示制御部８２１は、タッチパネルモジュール付表示パネル８１６から供給される点情報、および、操作部８１４から供給される操作信号に基づいて、必要に応じて、画像データを、タッチパネルモジュール付表示パネル８１６のディスプレイ（表示部）８４１に供給することにより、ディスプレイ８４１の表示状態を変更させる等の表示制御を行う。 The control unit 812 includes a display control unit 821, and the display control unit 821 supplies the image data and the like supplied from the signal processing unit 811 to the display panel 816 with a touch panel module. In addition, the display control unit 821 displays image data as needed on the display panel with a touch panel module based on the point information supplied from the display panel with touch panel module 816 and the operation signal supplied from the operation unit 814. Display control such as changing the display state of the display 841 by supplying it to the display (display unit) 841 of 816 is performed.

この表示制御には、図１５乃至図２５を参照して上述したインデックス画面の表示制御が含まれる。すなわち、表示制御部８２１は、ディスプレイ８４１の表示面全体を覆うように配置されたタッチパネルモジュール８４２上において指示された１点を指示中心とし、操作部８１４からの操作信号に基づいて、最大表示数の増加または減少の度合いを設定し、さらに、インデックス画面の最大表示数を設定し、図１５乃至図２５を参照して上述したインデックス画面の表示制御を行う。 This display control includes the display control of the index screen described above with reference to FIGS. That is, the display control unit 821 sets the maximum number of displays based on an operation signal from the operation unit 814 with one point designated on the touch panel module 842 arranged so as to cover the entire display surface of the display 841 as an instruction center. The degree of increase or decrease is set, the maximum number of index screens is set, and the display control of the index screen described above with reference to FIGS. 15 to 25 is performed.

操作部８１４は、例えば、ボタン、スイッチ、ポインティングスティック、円盤状のホイール等から構成される。操作部８１４は、ユーザによって操作されることにより、その操作に対応する操作信号を生成し、制御部８１２に供給する。 The operation unit 814 includes, for example, a button, a switch, a pointing stick, a disk-shaped wheel, and the like. When operated by the user, the operation unit 814 generates an operation signal corresponding to the operation and supplies the operation signal to the control unit 812.

タッチパネルモジュール付表示パネル８１６は、制御部８１２から供給される画像データに対応する画像をディスプレイ８４１に表示するとともに、タッチパネルモジュール８４２に指等の物体を接触させることにより入力される点情報を制御部８１２に供給する。 The touch panel module-equipped display panel 816 displays an image corresponding to the image data supplied from the control unit 812 on the display 841, and controls the point information input by bringing an object such as a finger into contact with the touch panel module 842. 812.

タッチパネルモジュール付表示パネル８１６は、表示信号処理部８３１、ディスプレイ８４１、および、タッチパネルモジュール８４２から構成される。 The display panel with touch panel module 816 includes a display signal processing unit 831, a display 841, and a touch panel module 842.

表示信号処理部８３１は、制御部８１２から供給される画像データに対して、ディスプレイ８４１に表示するための処理を施し、その結果得られる画像データを、ディスプレイ８４１に供給する。 The display signal processing unit 831 performs processing for displaying the image data supplied from the control unit 812 on the display 841, and supplies the resulting image data to the display 841.

ディスプレイ８４１は、表示信号処理部８３１から供給される画像データに対応する画像を表示する。 The display 841 displays an image corresponding to the image data supplied from the display signal processing unit 831.

タッチパネルモジュール８４２は、指等の物体が接触している部分（領域）を、外部からの入力があった入力部分として検出し、その入力部分の点情報を制御部８１２に供給する。 The touch panel module 842 detects a portion (area) in contact with an object such as a finger as an input portion in which an external input has been made, and supplies point information of the input portion to the control unit 812.

図３５および図３６は、タッチパネルモジュール付表示パネル８１６が抵抗膜式タッチパネルにより構成される場合のタッチパネルモジュール８４２の構成の例を示す図である。 35 and 36 are diagrams showing an example of the configuration of the touch panel module 842 in the case where the display panel with touch panel module 816 is configured by a resistive film type touch panel.

このタッチパネルモジュール８４２は、上部基板８６１ａおよび上部透明電極８６２ａから構成される上部パネル８５１Ａ、並びに、下部基板８６１ｂおよび下部透明電極８６２ｂから構成される下部パネル８５１Ｂから構成される。上部パネル８５１Ａと下部パネル８５１Ｂの間には非常に小さなスペーサ８７１が挟まれており、上部パネル８５１Ａ及び下部パネル８５１Ｂの対面する表面には、縦及び横の直交するITO（Indium Tin Oxide）の抵抗膜による上部透明電極８６２ａ、下部透明電極８６２ｂがそれぞれ設けられている。 The touch panel module 842 includes an upper panel 851A including an upper substrate 861a and an upper transparent electrode 862a, and a lower panel 851B including a lower substrate 861b and a lower transparent electrode 862b. An extremely small spacer 871 is sandwiched between the upper panel 851A and the lower panel 851B, and vertical and horizontal ITO (Indium Tin Oxide) resistances are formed on the facing surfaces of the upper panel 851A and the lower panel 851B. An upper transparent electrode 862a and a lower transparent electrode 862b are provided by a film.

通常状態ではスペーサ８７１によって上部透明電極８６２ａと下部透明電極８６２ｂが分離されているため電気は流れていない。一方、図３５に示すように、ペン先などで上部パネル８５１Ａを押下すると、その圧力で上部透明電極８６２ａと下部透明電極８６２ｂが接触して通電する。このとき、導通点を境に上部透明電極８６２ａ及び下部透明電極８６２ｂ上で生じる各抵抗値に基づく電圧比を測定することで、導通点のタッチパネル上の位置が検出される。 In a normal state, electricity does not flow because the upper transparent electrode 862a and the lower transparent electrode 862b are separated by the spacer 871. On the other hand, as shown in FIG. 35, when the upper panel 851A is pushed down with a pen tip or the like, the upper transparent electrode 862a and the lower transparent electrode 862b are brought into contact with each other by the pressure to energize. At this time, the position of the conduction point on the touch panel is detected by measuring the voltage ratio based on each resistance value generated on the upper transparent electrode 862a and the lower transparent electrode 862b at the conduction point.

図３６は、抵抗膜式タッチパネルの構造及び動作回路を簡略化して例示した図である。上部透明電極８６２ａの抵抗膜によってＸ方向、下部透明電極８６２ｂの抵抗膜によってＹ方向の分圧比が測定されており、上部パネル８５１Ａの点Ａ（入力点）が押下されると、その圧力で上部透明電極８６２ａと下部透明電極８６２ｂが接触して通電する。 FIG. 36 is a diagram illustrating a simplified structure and an operation circuit of a resistive touch panel. The voltage division ratio in the X direction is measured by the resistance film of the upper transparent electrode 862a and the voltage in the Y direction is measured by the resistance film of the lower transparent electrode 862b, and when the point A (input point) of the upper panel 851A is pressed, The transparent electrode 862a and the lower transparent electrode 862b are in contact with each other and energized.

このとき、上部透明電極８６２ａにおいて、点Ａ（入力点）を境に生じる抵抗値Ｒｘ１とＲｘ２に応じた直流電圧Ｖｘ１及びＶｘ２が測定され、下部透明電極８６２ｂにおいて、点Ａ（入力点）を境に生じる抵抗値Ｒｙ１とＲｙ２に応じた直流電圧Ｖｙ１及びＶｙ２が測定される。 At this time, DC voltages Vx1 and Vx2 corresponding to the resistance values Rx1 and Rx2 generated at the point A (input point) are measured at the upper transparent electrode 862a, and the point A (input point) is defined at the lower transparent electrode 862b. The DC voltages Vy1 and Vy2 corresponding to the resistance values Ry1 and Ry2 generated in the above are measured.

そして、測定した上部透明電極８６２ａ（Ｘ方向）の電圧比Ｖｘ１／Ｖｘ２、下部透明電極８６２ｂ（Ｙ方向）の電圧比Ｖｙ１／Ｖｙ２によって、タッチパネル上の点Ａ（入力点）の位置を検出することができる。 The position of the point A (input point) on the touch panel is detected based on the measured voltage ratio Vx1 / Vx2 of the upper transparent electrode 862a (X direction) and the voltage ratio Vy1 / Vy2 of the lower transparent electrode 862b (Y direction). Can do.

さらに、例えば、入出力パネルやタッチパネルの代わりに、パネル上の点に対する入力をできない表示手段を適用して、マウス、トラックパッド、トラックボールなどのポインティングデバイスを用いて画面内に表示されるカーソルなどにより指示中心を指示するようすることも可能である。 Furthermore, for example, instead of an input / output panel or touch panel, a display means that cannot input points on the panel is applied, and a cursor displayed on the screen using a pointing device such as a mouse, trackpad, or trackball, etc. It is also possible to indicate the instruction center by using.

また、本発明の実施の形態においては、最大表示数を増減する前のインデックスデータの配置を記憶しておき、最大表示数を変更した後に最大表示数を元に戻した場合、最大表示数を増減する前と同様にインデックスデータを配置して表示するようにしてもよい。 In the embodiment of the present invention, the arrangement of the index data before increasing or decreasing the maximum display number is stored, and when the maximum display number is restored after changing the maximum display number, the maximum display number is changed. The index data may be arranged and displayed as before the increase / decrease.

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。 The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, the program that configures the software executes various functions by installing a computer built into dedicated hardware or various programs. For example, it is installed from a program recording medium in a general-purpose personal computer or the like.

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program stored in the program recording medium is not limited to the processing performed in time series in the described order, but is not necessarily performed in time series. Or the process performed separately is also included.

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。 Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。 The embodiment of the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

従来のインデックス画面の例を示す図である。It is a figure which shows the example of the conventional index screen. 本発明を適用した表示システムの一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of the display system to which this invention is applied. 表示制御部の機能的構成の一部の例を示すブロック図である。It is a block diagram which shows the example of a part of functional structure of a display control part. 表示システムによる表示受光制御処理を説明するフローチャートである。It is a flowchart explaining the display light reception control processing by a display system. 表示受光制御処理を行うソフトウエアの構成を説明する図である。It is a figure explaining the structure of the software which performs a display light reception control process. 時刻tの第tフレームに存在するターゲットを表す図である。It is a figure showing the target which exists in the t-th frame of the time t. 第t+1フレームの統合処理前の入力部分を表す図である。It is a figure showing the input part before the integration process of the t + 1 frame. 第tフレームと第t+1フレームとを重ね合わせた状態を表す図である。It is a figure showing the state which overlap | superposed the t frame and the t + 1 frame. 受光画像を示す図である。It is a figure which shows a light reception image. 図４のステップＳ４の統合処理を説明するフローチャートである。It is a flowchart explaining the integration process of step S4 of FIG. 生成部から出力されるターゲットとイベントの情報の例を表す図である。It is a figure showing the example of the information of the target output from a production | generation part, and an event. 生成部から出力されるターゲットとイベントの情報の他の例を表す図である。It is a figure showing the other example of the target and event information output from a production | generation part. 拡大縮小の認識処理を説明するための図である。It is a figure for demonstrating the recognition process of expansion / contraction. 図４のステップＳ５の認識処理としての拡大縮小の認識処理を説明するフローチャートである。It is a flowchart explaining the recognition process of expansion / contraction as a recognition process of FIG.4 S5. 図４のステップＳ７の表示制御処理としてのインデックス画面の表示制御処理を説明するフローチャートである。6 is a flowchart for explaining display control processing for an index screen as display control processing in step S7 of FIG. 4. インデックス画面の例を示す図である。It is a figure which shows the example of an index screen. インデックス画面の画面遷移の例を示す図である。It is a figure which shows the example of the screen transition of an index screen. インデックス画面の画面遷移の他の例を示す図である。It is a figure which shows the other example of the screen transition of an index screen. インデックス画面の画面遷移のさらに他の例を示す図である。It is a figure which shows the further another example of the screen transition of an index screen. インデックス画面の画面遷移のさらに他の例を示す図である。It is a figure which shows the further another example of the screen transition of an index screen. インデックス画面の画面遷移のさらに他の例を示す図である。It is a figure which shows the further another example of the screen transition of an index screen. インデックス画面の第２の例の画面遷移の例を示す図である。It is a figure which shows the example of the screen transition of the 2nd example of an index screen. インデックス画面の第２の例の画面遷移の他の例を示す図である。It is a figure which shows the other example of the screen transition of the 2nd example of an index screen. インデックス画面の第３の例の画面遷移の例を示す図である。It is a figure which shows the example of the screen transition of the 3rd example of an index screen. インデックス画面の第３の例の画面遷移の他の例を示す図である。It is a figure which shows the other example of the screen transition of the 3rd example of an index screen. 本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of other one Embodiment of the display system to which this invention is applied. 本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of other one Embodiment of the display system to which this invention is applied. 本発明にかかる入出力パネルのモジュール構成を示す平面図である。It is a top view which shows the module structure of the input-output panel concerning this invention. 本発明にかかる入出力パネルを備えたテレビジョンセットを示す斜視図である。It is a perspective view which shows the television set provided with the input-output panel concerning this invention. 本発明にかかる入出力パネルを備えたデジタルカメラを示す斜視図である。It is a perspective view which shows the digital camera provided with the input-output panel concerning this invention. 本発明にかかる入出力パネルを備えたノート型パーソナルコンピュータを示す斜視図である。1 is a perspective view showing a notebook personal computer including an input / output panel according to the present invention. 本発明にかかる入出力パネルを備えた携帯端末装置を示す模式図である。It is a schematic diagram which shows the portable terminal device provided with the input-output panel concerning this invention. 本発明にかかる入出力パネルを備えたビデオカメラを示す斜視図である。It is a perspective view which shows the video camera provided with the input-output panel concerning this invention. 本発明を適用した表示システムの他の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of other one Embodiment of the display system to which this invention is applied. 抵抗膜式タッチパネルの構造を説明するための説明図である。It is explanatory drawing for demonstrating the structure of a resistive touch panel. 抵抗膜式タッチパネルの動作原理を説明するための模式図及び回路図である。It is the schematic diagram and circuit diagram for demonstrating the principle of operation of a resistive film type touch panel.

符号の説明Explanation of symbols

１０１表示システム，１１６入出力パネル，１２１表示制御部，１３２入出力ディスプレイ，１３２Ａ光センサ，１６１インデックス表示制御部，１７１受信部，１７２基準データ設定部，１７３表示数設定部，１７４配置設定部，１７５画像データ生成部，３０１表示システム，３１６入出力パネル，３２１表示制御部，３３２入出力ディスプレイ，３３２Ａ光センサ，４０１表示システム，４１６入出力パネル，４２１表示制御部，４３２入出力ディスプレイ，４３２Ａ光センサ，６０１入出力パネル，６２１テレビジョン受像機，６３１映像表示部，６４１デジタルカメラ，６５２表示部，６６１パーソナルコンピュータ，６７２表示部，６８１携帯端末装置，６９１ディスプレイ，６９２サブディスプレイ，７０１ビデオカメラ，７１４モニタ，８０１表示システム，８１６タッチパネルモジュール付表示パネル，８２１表示制御部，８４１ディスプレイ，８４２タッチパネルモジュール 101 display system, 116 input / output panel, 121 display control unit, 132 input / output display, 132A optical sensor, 161 index display control unit, 171 reception unit, 172 reference data setting unit, 173 display number setting unit, 174 arrangement setting unit, 175 Image data generation unit, 301 display system, 316 input / output panel, 321 display control unit, 332 input / output display, 332A optical sensor, 401 display system, 416 input / output panel, 421 display control unit, 432 input / output display, 432A light Sensor, 601 input / output panel, 621 television receiver, 631 video display unit, 641 digital camera, 652 display unit, 661 personal computer, 672 display unit, 681 mobile phone End device, 691 display, 692 sub-display, 701 a video camera, 714 monitor, 801 display system, a display panel with 816 touch module, 821 display control unit, 841 display, 842 touch panel module

Claims

表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御装置において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、
前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、
前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる表示制御手段と
を含む表示制御装置。 A display for controlling the display by the display device of an index screen in which the maximum display number, which is the maximum value of the number of displayed data, can be changed and data is arranged and displayed in a predetermined format according to the maximum display number In the control device,
An acquisition unit that acquires an instruction position that is an instructed position on the index screen, and increase / decrease information indicating an instruction to increase or decrease the maximum display number;
Display number setting means for setting the maximum display number of the data based on the increase / decrease information;
The data is arranged based on the format corresponding to the set maximum display number, and the data displayed at the position closest to the indicated position on the index screen before the maximum display number is changed, In the index screen after changing the maximum display number, arrangement setting means for setting the arrangement of the data to be arranged on the indication position or in the vicinity of the indication position;
Display control means for displaying the index screen after changing the maximum display number on the display device.

前記インデックス画面においては、前記データが格子状に配置されており、
前記配置設定手段は、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定する
請求項１に記載の表示制御装置。 In the index screen, the data is arranged in a grid pattern,
The arrangement setting means is configured such that the data displayed at a position closest to the designated position on the index screen before the maximum display number is changed is displayed on the index screen after the maximum display number is changed. The display control apparatus according to claim 1, wherein the arrangement of the data is set so as to be arranged in a row or a column including a position.

前記表示装置は、表示画面上の複数の点に対する入力が可能であり、
前記取得手段は、前記表示画面上において指示された点の位置を前記指示位置として取得する
請求項１に記載の表示制御装置。 The display device can input a plurality of points on a display screen,
The display control apparatus according to claim 1, wherein the acquisition unit acquires a position of an indicated point on the display screen as the indicated position.

前記表示装置は、画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力部を有し、
前記取得手段は、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得し、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得する
請求項１に記載の表示制御装置。 The display device displays an image and detects light input from the outside, and has an input / output unit capable of inputting to a plurality of points on the display screen,
The acquisition means acquires, as the indicated position, the position of the midpoint of the first point and the second point when the indication of the first point and the second point is started on the display screen. , The distance between the first point and the second point when the indication of the first point and the second point is started, and the first point and the second point The display control apparatus according to claim 1, wherein a change amount between the first point and the distance between the second point when the instruction ends is acquired as the increase / decrease information.

表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御する表示制御方法において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し、
前記増減情報に基づいて、前記データの最大表示数を設定し、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し、
前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる
ステップを含む表示制御方法。 A display for controlling the display by the display device of an index screen in which the maximum display number, which is the maximum value of the number of displayed data, can be changed and data is arranged and displayed in a predetermined format according to the maximum display number In the control method,
Obtaining an indication position which is an indicated position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number;
Based on the increase / decrease information, set the maximum display number of the data,
The data is arranged based on the format corresponding to the set maximum display number, and the data displayed at the position closest to the indicated position on the index screen before the maximum display number is changed, In the index screen after changing the maximum display number, the arrangement of the data is set to be arranged on the indication position or in the vicinity of the indication position,
A display control method comprising: displaying the index screen after changing the maximum display number on the display device.

表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面の表示装置による表示を制御するコンピュータに実行させるプログラムにおいて、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得し、
前記増減情報に基づいて、前記データの最大表示数を設定し、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定し、
前記最大表示数を変更した後の前記インデックス画面を前記表示装置に表示させる
ステップを含むプログラム。 A computer that can change the maximum display number, which is the maximum value of the number of displayed data, and controls display by the display device of an index screen in which data is arranged and displayed in a predetermined format according to the maximum display number In the program to be executed
Obtaining an indication position which is an indicated position on the index screen and increase / decrease information indicating an instruction to increase or decrease the maximum display number;
Based on the increase / decrease information, set the maximum display number of the data,
The data is arranged based on the format corresponding to the set maximum display number, and the data displayed at the position closest to the indicated position on the index screen before the maximum display number is changed, In the index screen after changing the maximum display number, the arrangement of the data is set to be arranged on the indication position or in the vicinity of the indication position,
A program comprising a step of causing the display device to display the index screen after changing the maximum display number.

表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示装置において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、
前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、
前記最大表示数を変更した後の前記インデックス画面を表示させる表示制御手段と
を含む表示装置。 In a display device for displaying an index screen on which data can be changed and displayed in a predetermined format according to the maximum display number, the maximum display number that is the maximum value of the number of displayed data can be changed.
An acquisition unit that acquires an instruction position that is an instructed position on the index screen, and increase / decrease information indicating an instruction to increase or decrease the maximum display number;
Display number setting means for setting the maximum display number of the data based on the increase / decrease information;
The data is arranged based on the format corresponding to the set maximum display number, and the data displayed at the position closest to the indicated position on the index screen before the maximum display number is changed, In the index screen after changing the maximum display number, arrangement setting means for setting the arrangement of the data so as to be arranged on the indication position or in the vicinity of the indication position;
Display control means for displaying the index screen after changing the maximum display number.

前記インデックス画面においては、前記データが格子状に配置されており、
前記配置設定手段は、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置を含む行または列に配置されるように前記データの配置を設定する
請求項７に記載の表示装置。 In the index screen, the data is arranged in a grid pattern,
The arrangement setting means is configured such that the data displayed at a position closest to the designated position on the index screen before the maximum display number is changed is displayed on the index screen after the maximum display number is changed. The display device according to claim 7, wherein the arrangement of the data is set so as to be arranged in a row or a column including a position.

表示画面上の複数の点に対する入力が可能であり、
前記取得手段は、前記表示画面上において指示された点の位置を前記指示位置として取得する
請求項７に記載の表示装置。 Input to multiple points on the display screen is possible,
The display device according to claim 7, wherein the acquisition unit acquires a position of an indicated point on the display screen as the indicated position.

画像の表示と外部から入力される光の検出を行い、表示画面上の複数の点に対する入力が可能な入出力手段を
さらに含み、
前記取得手段は、前記表示画面上において第１の点および第２の点の指示が開始されたときの前記第１の点と前記第２の点の中点の位置を前記指示位置として取得し、前記第１の点と前記第２の点の指示が開始されたときの前記第１の点と前記第２の点との間の距離と、前記第１の点と前記第２の点の指示が終了したときの前記第１の点と前記第２の点との間の距離との間の変化量を前記増減情報として取得する
請求項７に記載の表示装置。 It further includes input / output means for displaying an image and detecting light input from the outside and capable of inputting to a plurality of points on the display screen,
The acquisition means acquires, as the indicated position, the position of the midpoint of the first point and the second point when the indication of the first point and the second point is started on the display screen. , The distance between the first point and the second point when the indication of the first point and the second point is started, and the first point and the second point The display device according to claim 7, wherein a change amount between the distance between the first point and the second point when the instruction ends is acquired as the increase / decrease information.

表示されるデータの数の最大値である最大表示数の変更が可能で、前記最大表示数に応じて所定の形式でデータが配置されて表示されるインデックス画面を表示する表示部を有する撮像装置において、
前記インデックス画面上において指示された位置である指示位置、および、前記最大表示数の増加または減少の指示を示す増減情報を取得する取得手段と、
前記増減情報に基づいて、前記データの最大表示数を設定する表示数設定手段と、
設定された前記最大表示数に応じた形式に基づいて前記データを配置するとともに、前記最大表示数を変更する前の前記インデックス画面において前記指示位置に最も近い位置に表示されているデータが、前記最大表示数を変更した後の前記インデックス画面において、前記指示位置上または前記指示位置の近傍に配置されるように前記データの配置を設定する配置設定手段と、
前記最大表示数を変更した後の前記インデックス画面を前記表示部に表示させる表示制御手段と
を含む撮像装置。 An imaging device having a display unit for displaying an index screen in which a maximum display number, which is a maximum value of the number of displayed data, can be changed, and data is arranged and displayed in a predetermined format according to the maximum display number In
An acquisition unit that acquires an instruction position that is an instructed position on the index screen, and increase / decrease information indicating an instruction to increase or decrease the maximum display number;
Display number setting means for setting the maximum display number of the data based on the increase / decrease information;
The data is arranged based on the format corresponding to the set maximum display number, and the data displayed at the position closest to the indicated position on the index screen before the maximum display number is changed, In the index screen after changing the maximum display number, arrangement setting means for setting the arrangement of the data to be arranged on the indication position or in the vicinity of the indication position;
Display control means for displaying the index screen after changing the maximum display number on the display unit.