JP2010146506A - Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device - Google Patents
Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device Download PDFInfo
- Publication number
- JP2010146506A JP2010146506A JP2008326274A JP2008326274A JP2010146506A JP 2010146506 A JP2010146506 A JP 2010146506A JP 2008326274 A JP2008326274 A JP 2008326274A JP 2008326274 A JP2008326274 A JP 2008326274A JP 2010146506 A JP2010146506 A JP 2010146506A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- finger
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、二つの入力面から入力する入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置に関する。 The present invention relates to an input device that inputs from two input surfaces, an input device control method, an input device control program, a computer-readable recording medium, and an information terminal device.
近年、タッチパネル式の入力装置が、携帯電話機、ＰＤＡなどに代表されるモバイル機器（携帯端末）において広く普及している。その一例として、入力面に対して、指が接触していない状態から、接触している状態に変化したときに、接触した指の位置に応じた入力が行われる入力装置が知られている（例えば、特許文献１）。 2. Description of the Related Art In recent years, touch panel type input devices are widely used in mobile devices (portable terminals) represented by mobile phones, PDAs and the like. As an example, there is known an input device that performs input according to the position of the touched finger when the input surface changes from a state where the finger is not in contact to a state where the finger is in contact ( For example, Patent Document 1).
また、単にタッチパネル式で入力を受け付けるのみならず、用途に応じて、より便利な入力が可能な入力装置が提案されている。例えば、携帯用端末機器において、ユーザは、表示画面上のアイコンに指を接触させて、次にアイコンを移動させたい方向にその指を動かすことにより、そのアイコンを表示画面中の好みの位置に移動させることができる。さらに、表示画面上のフォルダを指でダブルクリックすることにより、そのフォルダを開けることもできる（例えば、特許文献２）。
しかしながら、上記従来の入力装置は、何れも一つの入力面から入力する方式（以下、一面入力式とする）であって、裏表両面に配設された二つの入力面から入力する方式（以下、両面入力式とする）の入力装置は、そもそも存在しなかった。 However, each of the conventional input devices is a method of inputting from one input surface (hereinafter referred to as a single-sided input method), and a method of inputting from two input surfaces arranged on the front and back surfaces (hereinafter referred to as a single-sided input method). In the first place, there was no input device of a double-sided input type.
従って、ユーザは、両面入力式の入力装置によって実現される多彩で立体的な操作と、その優れた利便性及び操作性を、従来の一面入力式の入力装置では経験することができなかった。 Therefore, the user cannot experience the various three-dimensional operations realized by the double-sided input type input device and the excellent convenience and operability of the conventional single-sided input type input device.
さらに、従来の入力装置には次のような問題があった。つまり、一面入力式の入力装置では、ユーザが気付かないうちに意図しない操作が行われる可能性を排除できない。具体的には、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触し、アイコンを表示画面上のどこか別の場所にドラッグしてしまうことがある。そのドラッグした先がゴミ箱フォルダであった場合には、そのアイコンは、ユーザの知らない間に消去されてしまうという事態に陥る。このように、従来の入力装置には、一つの入力面から入力を行うことによって生じる固有の問題もあった。 Further, the conventional input device has the following problems. That is, in the one-side input type input device, the possibility that an unintended operation is performed without the user's knowledge cannot be excluded. Specifically, the user's finger may unintentionally touch the icon on the touch panel and drag the icon to somewhere else on the display screen. If the dragged destination is a trash folder, the icon is deleted without the user's knowledge. As described above, the conventional input device also has an inherent problem caused by inputting from one input surface.
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、ユーザにとって利便性及び操作性の高い入力装置、入力装置の制御方法、入力装置の制御プログラム、コンピュータ読取可能な記録媒体、および情報端末装置を提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an input device that is convenient and easy to operate for a user, an input device control method, an input device control program, and a computer-readable recording. It is to provide a medium and an information terminal device.
本発明の入力装置は、前記課題を解決するために、近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置であって、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備えることを特徴としている。 In order to solve the above problems, the input device according to the present invention is a plate-like input device in which surface members for detecting nearby images are arranged on both the front and back surfaces, and the surface members on both the front and back surfaces. Detecting and determining means for determining whether or not both of the finger images have been detected, and when the detection determining means determines that both of the surface members on both the front and back surfaces have detected finger images, And an input detection means for generating an input signal associated with the movement of the finger image detected by each of the planar members.
また、本発明の入力装置の制御方法は、近傍の像を検知する面状部材が、表裏両面にそれぞれ配設された板状の入力装置の制御方法であって、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含むことを特徴としている。 The input device control method of the present invention is a plate-like input device control method in which the planar members for detecting a nearby image are arranged on both the front and back surfaces, and the planar members on both the front and back surfaces. And both of the front and back sides when it is determined by the detection and judgment step that both the front and back surface members have detected finger images. And an input detection step of generating an input signal associated with the movement of the finger image by detecting the movement of the finger image detected by each of the planar members.
これにより、本発明に係る入力装置および入力装置の制御方法では、表裏両面にそれぞれ配設された近傍の像を検知する面状部材が共に指の像を検知した場合に、指の像の動きに対応付けられた入力信号が入力検出手段によって生成される。そして、その入力信号は、表裏両面の面状部材が検知した指の像の動きに対応付けられた信号である。 Thereby, in the input device and the control method of the input device according to the present invention, the movement of the finger image is detected when both of the planar members that detect the adjacent images respectively disposed on the front and back surfaces detect the finger image. An input signal associated with is generated by the input detection means. The input signal is a signal associated with the movement of the finger image detected by the planar members on both the front and back surfaces.
従って、表裏両面の面状部材が様々な指の像の動きを検出することによって、従来の入力装置では実現できなかった多彩で立体的な操作が行われ、また、そのような操作によって、優れた利便性及び操作性がユーザに提供される。しかも板状の入力装置の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。 Therefore, the surface members on both the front and back sides detect various finger image movements, and thus various and three-dimensional operations that cannot be realized with conventional input devices are performed. Convenience and operability are provided to the user. In addition, since the operation is performed so that the screen is sandwiched between the front and back surfaces of the plate-like input device with a finger, the user can use the device very easily.
加えて、表裏両面の面状部材のうち何れか一方の面状部材が指の像を検知しただけでは、その指の像の動きに対応付けられた入力信号が生成されることはない。そのため、例えばユーザの指がタッチパネル上のアイコンに無意識のうちに接触しても、その指の像が検知されて入力信号が生成され、何らかの処理が実行されてしまうという事態を回避することができる。それゆえ、入力面に誤って触って、意図せず操作してしまうリスクが軽減される。 In addition, if only one of the planar members on both the front and back sides detects the finger image, an input signal associated with the movement of the finger image is not generated. Therefore, for example, even when a user's finger unintentionally touches an icon on the touch panel, a situation in which an image of the finger is detected and an input signal is generated and some processing is executed can be avoided. . Therefore, the risk of accidentally touching the input surface and operating it unintentionally is reduced.
このように、本発明に係る入力装置および入力装置の制御方法は、優れた操作性及び利便性をユーザに提供することができる。 Thus, the input device and the control method for the input device according to the present invention can provide the user with excellent operability and convenience.
さらに、本発明に係る入力装置では、前記の構成において、前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、前記入力信号に対応する命令を、前記動作実行装置に送信する動作制御手段を備える構成としてもよい。 Furthermore, in the input device according to the present invention, in the above-described configuration, the input signal is based on finger-command correspondence information in which the input signal is associated with a command for causing the operation execution device to execute a predetermined operation. It is good also as a structure provided with the operation control means which transmits the instruction | command corresponding to to the said operation execution apparatus.
前記の構成によれば、本発明に係る入力装置では、入力検出手段が、表裏両面の面状部材が共に指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する。そして、前記入力信号と、動作実行装置に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応付けられた命令が動作実行装置に送信され、動作実行装置がその命令に従って所定の動作を実行する。 According to the above configuration, in the input device according to the present invention, the input detection unit detects the movement of the finger image on both the front and back surface members, and inputs corresponding to the movement of the finger image. Generate a signal. Then, based on the finger-command correspondence information in which the input signal is associated with a command for causing the motion execution device to execute a predetermined motion, the command associated with the input signal is transmitted to the motion execution device, The operation execution device executes a predetermined operation in accordance with the instruction.
従って、表裏両面の面状部材が様々な指の像の動きを検出することによって、動作実行装置は、ユーザが所望する動作を実行することができる。 Therefore, when the planar members on both the front and back surfaces detect the movements of various finger images, the operation executing device can execute the operation desired by the user.
なお、動作実行装置は、１つであっても複数であってもよく、また入力装置と一体に構成されていてもよく、さらに入力装置から物理的に離れた位置に存在していてもよい。 Note that there may be one or a plurality of operation execution devices, the operation execution devices may be integrated with the input device, or may be present at a position physically separated from the input device. .
さらに、本発明に係る入力装置では、前記の構成において、前記入力検出手段は、前記表裏両面の面状部材が、該表裏両面の面状部材上の所定の領域において指の像を検知した場合に、前記入力信号を生成する構成としてもよい。 Furthermore, in the input device according to the present invention, in the configuration described above, the input detection unit may detect the image of the finger in a predetermined region on the front and back surface members on the front and back surfaces. In addition, the input signal may be generated.
前記の構成によれば、本発明に係る入力装置では、入力検出手段が、表裏両面の面状部材上の所定の領域において指の像を検知した場合に入力信号を生成し、表裏両面の面状部材上の前記所定の領域とは異なる他の領域に指がタッチした場合には入力信号を生成しない。このようにして、入力検出手段は、表裏両面の面状部材上の操作領域を制限することができる。 According to the above configuration, in the input device according to the present invention, the input detection unit generates an input signal when detecting an image of a finger in a predetermined area on the surface member on both the front and back surfaces, and the surfaces on both the front and back surfaces. When the finger touches another area different from the predetermined area on the member, no input signal is generated. In this way, the input detection means can limit the operation area on the front and back surface members.
従って、ユーザは、表裏両面の面状部材上の前記所定の領域とは異なる他の領域に指をタッチしても、入力信号が生成されて入力面に誤って操作してしまう事態を回避することができる。また、ユーザにとって操作しやすい領域に前記所定の領域が設定されることにより、本発明に係る入力装置は、さらに優れた操作性及び利便性をユーザに提供することができる。 Therefore, even if the user touches another area different from the predetermined area on the surface member on both the front and back surfaces, the situation where the input signal is generated and the input surface is erroneously operated is avoided. be able to. In addition, by setting the predetermined area as an area that is easy for the user to operate, the input device according to the present invention can provide the user with better operability and convenience.
さらに、本発明に係る入力装置では、前記表裏両面の面状部材において、前記所定の領域に画像を表示させる画像表示制御手段を備え、前記入力検出手段は、前記画像に対応付けられた前記入力信号を生成する構成としてもよい。 Furthermore, the input device according to the present invention further comprises image display control means for displaying an image in the predetermined area on the surface members on both the front and back surfaces, and the input detection means includes the input associated with the image. It is good also as a structure which produces | generates a signal.
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段が所定の領域に画像を表示する。また、入力検出手段は、所定の領域において指の像が検知された場合に、当該画像に対応付けられた入力信号を生成する。 According to the above configuration, in the input device according to the present invention, the image display control means displays an image in a predetermined area. Further, when a finger image is detected in a predetermined area, the input detection unit generates an input signal associated with the image.
つまり、画像表示制御手段が画像を表示することによって操作可能な範囲（操作対象）がユーザに明示され、ユーザは、当該画像を裏表両面から指で挟持することにより、前記動作実行装置に所定の動作を実行させることができる。 In other words, the range (operation target) that can be operated by displaying an image by the image display control means is clearly indicated to the user, and the user holds the image with the finger from both the front and back sides, thereby allowing the operation execution apparatus to have a predetermined range. The action can be executed.
それとは逆に、入力検出手段は、表裏両面の面状部材上の画像が表示された領域とは異なる他の領域に指がタッチした場合であっても、入力信号を生成することはない。それゆえ、当該画像が表示されている所定の領域とは異なる領域を誤って触って、意図せず操作してしまうという事態を回避できる。 On the other hand, the input detection means does not generate an input signal even when the finger touches another area different from the area where the images on the front and back planar members are displayed. Therefore, it is possible to avoid a situation in which a region different from the predetermined region where the image is displayed is accidentally touched and the operation is performed unintentionally.
さらに、本発明に係る入力装置では、前記の構成において、前記画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を、前記面状部材に表示させる構成としてもよい。 Furthermore, in the input device according to the present invention, in the configuration described above, the image display control unit may display an image based on a result of the predetermined operation executed by the operation execution device on the planar member. Good.
前記の構成によれば、本発明に係る入力装置では、画像表示制御手段は、前記動作実行装置が実行した前記所定の動作の結果に基づく画像を前記面状部材に表示させる。 According to the above configuration, in the input device according to the present invention, the image display control means causes the planar member to display an image based on the result of the predetermined operation executed by the operation execution device.
従って、画像表示制御手段は、ユーザの指の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。 Therefore, the image display control means can display the result of the operation executed in association with the movement of the user's finger on the screen and allow the user to confirm the result.
なお、その動作後の画像に対してさらに何らかの動作を与えたいときは、前記表裏両面の面状部材に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。 In addition, when it is desired to give some operation to the image after the operation, a desired movement of the finger image may be detected by the planar members on both the front and back surfaces. That is, the user can continuously perform the next operation by checking the operation result on the screen.
なお、前記入力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記各手段として動作させることにより前記入力装置をコンピュータにて実現させる入力装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、前記の入力装置を備えた情報端末装置も、本発明の範疇に入る。 The input device may be realized by a computer. In this case, an input device control program for causing the input device to be realized by a computer by causing the computer to operate as the respective means, and the program recorded therein. Computer-readable recording media are also within the scope of the present invention. An information terminal device provided with the input device also falls within the scope of the present invention.
本発明に係る入力装置は、以上のように、表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備える構成である。 In the input device according to the present invention, as described above, the detection determination means for determining whether or not the surface members on both the front and back surfaces have both detected the image of the finger, and the detection determination means include the surfaces on both the front and back surfaces. When it is determined that the finger-like member has detected the finger image, the movement of the finger image detected by the front and back surface members is detected, and an input signal associated with the finger image movement is detected. And an input detection means for generating.
また、本発明に係る入力装置の制御方法は、以上のように、前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含む構成である。 In addition, as described above, the control method of the input device according to the present invention includes the detection determination step for determining whether or not the surface members on both the front and back surfaces have both detected a finger image, and the detection determination step. When it is determined that both the front and back planar members have detected a finger image, the movement of the finger image detected by each of the front and rear planar members is detected, and the movement of the finger image is detected. And an input detection step for generating an associated input signal.
それゆえ、二つの入力面から入力する、操作性及び利便性に優れた入力装置および入力装置の制御方法をユーザに提供することができる。 Therefore, it is possible to provide the user with an input device that is input from two input surfaces and has excellent operability and convenience, and an input device control method.
本実施の形態について図１〜図２７に基づいて説明すると以下の通りである。 This embodiment will be described below with reference to FIGS.
本実施の形態に係るデータ表示／センサ装置１００（入力装置）は、概略的に言えば、近傍の像を検知する第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂ（表裏両面の面状部材）が表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０（検知判定手段）と、検知判定部８１０が、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出部８３０（入力検出手段）と、を備える装置である。
Generally speaking, the data display / sensor device 100 (input device) according to the present embodiment roughly includes a first display /
そこで、まず、データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
First, an outline of the sensor built-in
（センサ内蔵液晶パネルの概要）
前記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置の検出や、印刷物等の画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
(Outline of LCD panel with built-in sensor)
The sensor built-in
図２を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図２は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
The structure of the sensor built-in
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
As shown in the figure, the sensor built-in
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
The
次に、図３（ａ）および図３（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置を検出する２種類の方法について説明する。
Next, with reference to FIGS. 3A and 3B, two types of methods for detecting the position where the user touches the sensor built-in
図３（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指などの対象物６４により反射された光６３を検知する。これにより、対象物６４の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
FIG. 3A is a schematic diagram illustrating a state in which a position touched by the user is detected by detecting a reflected image. When the light 63 is emitted from the
また、図３（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図３（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
FIG. 3B is a schematic diagram illustrating a state in which a position touched by the user is detected by detecting a shadow image. As shown in FIG. 3B, the
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、前記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
As described above, the
（データ表示／センサ装置の要部構成）
次に、図４を参照しながら、前記データ表示／センサ装置１００の要部構成について説明する。図４は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、表示／光センサ部３００を２つ（第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂ）備えているものとして説明する。なお、第１表示／光センサ部３００Ａおよび第２表示／光センサ部３００Ｂを区別しないときは、表示／光センサ部３００と表記する。
(Data display / sensor configuration)
Next, the configuration of the main part of the data display /
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置でｄｆある。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
The display / light sensor unit 300 is a so-called light sensor built-in liquid crystal display device and has a df. The display / light sensor unit 300 includes a sensor built-in
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
The sensor built-in
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
The
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
The liquid crystal
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
The optical
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
The
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
The
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
The
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
Next, the
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
The
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
The
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
The
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
In addition, the
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
The
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
When the data display /
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
Next, the
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
The
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、前記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
The display
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
The sensor
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
The sensor
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）等で構成される一次記憶部９０２に読み出して実行する。
Next, the
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行わせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
An application program executed by the
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリ等で構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
The
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
Next, the
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
Next, the
なお、前記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
As an example of the switch, a hardware switch such as a
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカ等の音声出力部９０８、音声信号を入力するためのマイク等の音声入力部９０９などを適宜備えていてもよい。
In addition, the data display /
（コマンドの詳細）
次に、図５および図６を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図５は、コマンドのフレーム構造の一例を模式的に示す図である。また、図６は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
(Command details)
Next, details of commands transmitted from the
図５に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図６に示す値が指定可能である。 As shown in FIG. 5, the commands are “header”, “data acquisition timing”, “data type”, “scan method”, “scan image gradation”, “scan resolution”, “scan panel”, “display panel”. "And" Reserve "fields. In each field, for example, values shown in FIG. 6 can be designated.
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。 The “header” field is a field indicating the start of a frame. As long as it is possible to identify the “header” field, the value of the “header” field may be any value.
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
Next, the “data acquisition timing” field is a field for designating a timing at which data should be transmitted to the
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
Here, “sense” designates that the latest data is transmitted immediately. Therefore, when the sensor
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
The “event” designates transmission at a timing when a change occurs in the image data received from the
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、前記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
“All” designates data transmission at a predetermined cycle. Therefore, when the sensor
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
Next, the “data type” field is a field for designating the type of data acquired from the sensor
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
When the sensor
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
In addition, when the sensor
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記代表座標とは、例えば、前記部分画像データの中心の座標、前記部分画像データの重心の座標などが挙げられる。
Further, when the sensor
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、前記代表座標の全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、前記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標を検出し、当該代表座標を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
Next, when receiving a command whose value of the “data type” field is “coordinate”, the sensor
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。 Specific examples of the whole image data, the partial image data, and the coordinate data will be described later with reference to schematic diagrams.
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
Next, the “scan method” field is a field for designating whether or not the
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
“Reflection” designates that scanning is performed with the
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
“Transmission” specifies that scanning is performed with the
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。 Next, the “scanned image gradation” field is a field for designating gradations of the partial image data and the entire image data. In the “scanned image gradation” field, for example, values of “00” (binary) and “01” (multivalue) can be designated.
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
When the sensor
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
When the sensor
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。 Next, the “scan resolution” field is a field for designating the resolution of the partial image data and the entire image data. In the “resolution” field, for example, values of “0” (high) and “1” (low) can be designated.
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
Here, “high” designates a high resolution. Therefore, when the sensor
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置等が分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
“Low” designates a low resolution. Therefore, when the sensor
次に、「スキャンパネル」フィールドは、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
Next, the “scan panel” field is a field for designating which display / light sensor unit 300 is to scan the object. In the “scan panel” field, for example, values “001” (first display /
ここで、センサデータ処理部７０３は、「スキャンパネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａの光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
When the sensor
次に、「表示パネル」フィールドは、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（第１表示／光センサ部３００Ａ）、“010”（第２表示／光センサ部３００Ｂ）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、“第１表示／光センサ部３００Ａ”と“第２表示／光センサ部３００Ｂ”とを同時に指定する場合、“011”と指定することができる。
Next, the “display panel” field is a field for designating which display / light sensor unit 300 displays the display data. In the “display panel” field, for example, values of “001” (first display /
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が“第１表示／光センサ部３００Ａ”であるコマンドを受信すると、第１表示／光センサ部３００Ａに表示データを表示させるために、第１表示／光センサ部３００Ａの液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
Here, for example, when the display
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。 Next, the “reserved” field is a field that is appropriately specified when it is necessary to further specify information other than information that can be specified in the above-described fields.
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
Note that an application executed by the
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、前記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
When the user wants to acquire coordinate data of a position touched with a finger or pen, a command specifying “coordinate” in the “data type” field is transmitted to the
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
Further, when “coordinate” is specified in the “data type” field of the command, for example, when the user touches the sensor built-in
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
When acquiring image data of an object such as a document, a command specifying “whole image” in the “data type” field is transmitted to the
（全体画像データ／部分画像データ／座標データ）
次に、図７を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図７（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図７（ｂ）に示す画像データは、ユーザが指でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
(Whole image data / Partial image data / Coordinate data)
Next, the whole image data, the partial image data, and the coordinate data will be described with reference to FIG. The image data shown in FIG. 7A is image data obtained as a result of scanning the entire sensor built-in
ユーザが指でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
When the user touches the sensor built-in
図７（ｂ）に示す画像データでは、図７（ａ）に示す画像データと比べると、ユーザの指に該当する部分の画素値の明度が高くなっている。そして、図７（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。 In the image data shown in FIG. 7B, the brightness of the pixel value of the portion corresponding to the user's finger is higher than that in the image data shown in FIG. In the image data shown in FIG. 7B, the smallest rectangular area (area PP) that includes all pixel values whose lightness changes more than a predetermined threshold is “partial image data”.
なお、領域ＡＰで示される画像データが、“全体画像データ”である。 The image data indicated by the area AP is “whole image data”.
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。 Also, the coordinate data in the whole image data (area AP) of the representative coordinates Z of the partial image data (area PP) is (Xa, Ya), and the coordinate data in the partial image data (area PP) is (Xp, Yp). It is.
（センサ内蔵液晶パネルの構成）
次に、図８を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図８は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
(Configuration of sensor built-in liquid crystal panel)
Next, the configuration of the sensor built-in
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称して用いる。
The sensor built-in
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
The
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
In order to set the light transmittance of the
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
Next, the
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
In order for the
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
Next, the liquid crystal
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
The liquid crystal
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
The scanning signal
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
Based on the display data D (DR, DG, and DB) received from the
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
The optical
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
〔実施の形態１〕
本発明の主な特徴は、データ表示／センサ装置１００では、近傍の像を検知する第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが表裏両面にそれぞれ配設されており、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが、共に指の像を検知したか否かを判定する検知判定部８１０と、検知判定部８１０が第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定した場合に、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して入力信号を生成する入力検出部８３０と、を備える点にある。
The sensing data output signal lines SP1 to SPn are grouped into p groups (p is an integer of 1 to n), and the sensing data output signal lines belonging to each group are connected via a
[Embodiment 1]
The main feature of the present invention is that in the data display /
これにより、データ表示／センサ装置１００では、表裏両面に配設された第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、入力検出部８３０が入力信号を生成する。
Thereby, in the data display /
従って、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの一方のみが指の像を検出しても、それにより入力信号が生成されることはない。それゆえ、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂが様々な指の像の動きを検出することにより、従来の入力装置では実現できなかった多彩で立体的な操作を可能とする。また、データ表示／センサ装置１００は、そのような操作によって優れた利便性及び操作性をユーザに提供する。
Therefore, even if only one of the first display /
さらに、データ表示／センサ装置１００では、ユーザの指がタッチパネル上のアイコンに無意識のうちに接触して、アイコンを表示画面上のどこか別の場所にドラッグしてしまうといった事態を避けることができる。従って、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂという二つの入力面からの入力により入力信号が生成されるため、第１表示／光センサ部３００Ａ、及び第２表示／光センサ部３００Ｂに対して誤って操作してしまうリスクが軽減される。
（データ表示／センサ装置の動作説明）
実施の形態１に係るデータ表示／センサ装置１００について、図１、図９〜図１８、図２８〜図３０を参照して説明する。
Furthermore, in the data display /
(Description of data display / sensor device operation)
The data display /
なお、まず最初に、データ表示／センサ装置１００が実行する種々の動作の具体例を図９〜図１８を参照して説明する。次に、データ表示／センサ装置１００の構成を図１を参照して説明する。そして、種々の動作を実現する処理の流れを図２０を参照して説明する。
First, specific examples of various operations performed by the data display /
ここで、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ、あるいは第２表示／光センサ部３００Ｂの何れに画像を表示させてもよいが、本実施の形態では、第１表示／光センサ部３００Ａに画像を表示するものとして説明する。なお、第１表示／光センサ部３００Ａは、図９〜図１８において図面手前側に位置する。
Here, the data display /
また、ユーザは、右手あるいは左手の何れでもデータ表示／センサ装置１００を操作することができるが、本実施の形態では、右手で操作するものとして説明する。
（表示画像に対して実行される動作）
以下、図９〜図１８の概要を説明する。
In addition, although the user can operate the data display /
(Operations performed on the display image)
The outline of FIGS. 9 to 18 will be described below.
図９（ａ）は、第１表示／光センサ部３００Ａに矩形の画像２５ａが表示され、かつ、ユーザが、矩形の画像２５ａを上面から親指２０でタッチすると共に、第２表示／光センサ部３００Ｂに矩形の画像２５ａの裏面が表示されているとしたならば、その矩形の画像２５ａの裏面が表示されているであろう領域を人差し指２１でタッチしている。
FIG. 9A shows that the
なお、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａが、実際に下面から人差し指２１でタッチされることはないものの、説明の便宜上、本実施の形態に係る以降の説明では、この状態を「上面から親指２０で、下面から人差し指２１で、それぞれタッチする」と表現する。このことは、図１０〜図１９を参照して説明する記載においても同様である。
In addition, although the
図９（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動させて、複数の矩形の画像２５ａが扇状に拡がった状態で第１表示／光センサ部３００Ａに表示された様子を示す図である。つまり、図９（ａ）では、複数の矩形の画像２５ａはあたかも短冊が束になって閉じた状態にあり、図９（ｂ）では、それら複数の矩形の画像２５ａが扇状に拡がった状態にある。
In FIG. 9B, the
図１０（ａ）は、第１表示／光センサ部３００Ａに円形の画像２６ａを表示し、かつ、円形の画像２６ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１０（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、第１表示／光センサ部３００Ａに、より大きな寸法の円形の画像２６ｂを表示させた図である。
FIG. 10A shows a state in which a
図１１（ａ）は、第１表示／光センサ部３００Ａに略正方形の画像２７ａを表示し、かつ、略正方形の画像２７ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１１（ｂ）は、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、略正方形の画像２７ａを第１表示／光センサ部３００Ａの画面の外側へ移動させつつある状態を示す図である。
FIG. 11A shows a substantially
図１２（ａ）は、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像２８ａを第１表示／光センサ部３００Ａに表示し、かつ、パイプ形状の画像２８ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１２（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、パイプ軸に直交する方向にパイプ形状の画像２８ａを回転させている様子を示す図である。
12A shows a pipe-shaped
図１３（ａ）は、第１表示／光センサ部３００Ａの画面上端付近に矩形の画像２９ａ〜２９ｄを図面横方向に一列に並べて表示し、かつ、そのうちの一つの矩形の画像２９ｃを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１３（ｂ）は、親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させて、矩形の画像２９ｃを下側に引き出す動作により、矩形の画像２９ｃが図面縦方向に引き伸ばされて、帯状の画像２９ｃ’となった様子を示す図である。
FIG. 13A shows
図１４（ａ）は、第１表示／光センサ部３００Ａに矩形の画像３０ａを表示し、かつ、第１表示／光センサ部３００Ａの表示画面を、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１４（ｂ）は、矩形の画像３０ａを分断するように親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させて、矩形の画像３０ａを左右２つの矩形の画像３０ｂに分割した様子を示す図である。
FIG. 14A shows a
図１５（ａ）は、第１表示／光センサ部３００Ａに複数の矩形の画像３１ａを円周状に配置して表示し、かつ、円の中心点付近を上面から親指２０で、画像３１ａを下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１５（ｂ）は、親指２０を動かさずに、人差し指２１を図面下側へ移動させて、複数の矩形の画像３１ａを前記円の円周に沿って反時計回りに回転させている様子を示す図である。
FIG. 15A shows a plurality of
図１６（ａ）は、第１表示／光センサ部３００Ａに、円形の画像３２ａと矩形の画像３２ｂとが結合してなる画像３２ｃを表示し、かつ、円形の画像３２ａの中心点付近を上面から親指２０で、矩形の画像３２ｂを下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１６（ｂ）は、親指２０を動かさずに、人差し指２１を図面左側へ移動させて、あたかも円形の画像３２ａの中心点付近を支点とした振り子のように、矩形の画像３２ｂを左側へ移動させた様子を示す図である。
FIG. 16A shows an
図１７（ａ）は、第１表示／光センサ部３００Ａのほぼ画面全体に亘って矩形の画像３３ａを表示し、かつ、矩形の画像３３ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている様子を示す図である。図１７（ｂ）は、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、図面下側から矩形の画像３３ｂを出現させ、画像３３ａと画像３３ｂとを図面縦方向に並べて表示した様子を示す。図１７（ｃ）は、さらに親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、画面に表示される画像が、画像３３ａから画像３３ｂに切り替えられた様子を示す図である。
FIG. 17A shows a
図１８（ａ）は、第１表示／光センサ部３００Ａに略正方形の画像３４ａを表示した様子を示す。図１８（ｂ）は、略正方形の画像３４ａを、上面から人差し指２１で、下面から中指２２で、それぞれタッチして、略正方形の画像３４ａが「選択」状態となった様子を示す図である。
（表示画像に対して実行される動作の具体的説明）
次に、図９〜図１８を参照して説明した上記各動作をより具体的に説明する。
FIG. 18A shows a state in which a substantially
(Specific description of operation performed on display image)
Next, the operations described above with reference to FIGS. 9 to 18 will be described more specifically.
図９（ａ）に示すように、第１表示／光センサ部３００Ａには矩形の画像２５ａが表示されている。そして、ユーザは、その矩形の画像２５ａを、上面側（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面側（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれタッチする。
As shown in FIG. 9A, a
なお、上記説明したとおり、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａは、上面から親指２０でタッチされることはあっても、下面から人差し指２１で実際にタッチされることはない。しかしながら、本実施の形態に係る以降の説明では、説明の便宜上、このような状態のことを、「上面から親指２０で、下面から人差し指２１で、それぞれタッチする」と表現している。このことは、図１０〜図１８を参照して説明する記載においても同様である。
As described above, the
また、親指２０及び人差し指２１が表裏両面から矩形の画像２５ａをタッチするものとして説明しているが、どの指を使用してもよい。つまり、何れかの指を使って、表裏両面から矩形の画像２５ａを挟持すればよく、そのことが、矩形の画像２５ａに対して所定の動作を実行する前提となる。それゆえ、上面あるいは下面の何れか一方のみから矩形の画像２５ａをタッチしても、それだけでは矩形の画像２５ａに対して所定の動作を実行することはできない。また、画像（あるいは画面）を指でタッチするものとして説明しているが、実際に画像をタッチしている必要はなく、表示／光センサ部３００がその指の像を検知すればよい。
In addition, although it has been described that the
また、図中の星印は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、指の像を検知しているおおよその場所を示す。なお、以降の説明では、説明の便宜のため、上面側から親指２０で、下面側から人差し指２１で、画像２５ａをタッチするものとして説明する。このことは、図１０〜図１８についても同様である。
In addition, the asterisk in the figure indicates an approximate location where the first display /
さらに、画像２５ａは矩形であるとして説明しているが、画像２５ａは正方形であってもよく、任意の形状とすることができる。但し、本実施の形態では、画像２５ａは矩形であるとして説明する。同様に、図１０〜図１８において、各画像の形状を円形、正方形、あるいはパイプ形状等として説明しているが、それらの形状はあくまで例示であり、記載した形状に限られない。
Furthermore, although the
また、親指２０と人差し指２１の指の動きの速度については特に言及しないが、その指の像の動きに対応付けられた動作は、指の動きの速度に応じて実行される。
Further, although the speed of movement of the finger of the
次に、図９（ｂ）に示すように、ユーザは、親指２０と人差し指２１を反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動させる。この指の動きによって、複数の矩形の画像２５ａが扇状に拡がった状態で第１表示／光センサ部３００Ａに表示される。つまり、図９（ａ）では、複数の矩形の画像２５ａはあたかも短冊が束になって閉じた状態にあり、図９（ｂ）では、それら複数の矩形の画像２５ａが扇状に拡がった状態にある。
Next, as shown in FIG. 9B, the user moves the
なお、上述した扇状の拡がり具合は、親指２０及び人差し指２１の移動距離に応じて決まる。従って、図９（ｂ）では、親指２０及び人差し指２１が表示画面の端部付近まで移動しているため、扇状の拡がりは表示画面の全体に及んでいる。
The fan-shaped spreading condition described above is determined according to the movement distance of the
また、次のような方法によって、上述したのとは逆の動き、つまり、扇状に拡がった複数の矩形の画像２５ａを、短冊が束になって閉じたように表示することができる。
In addition, by the following method, the movement opposite to that described above, that is, a plurality of
まず、ユーザは、扇状に広がった複数の矩形の画像２５ａを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。このとき、親指２０及び人差し指２１がタッチする位置は、図９（ｂ）に示すように、それぞれ異なる位置である。つまり、親指２０は最外部付近（図面左側）に位置する画像２５ａをタッチし、人差し指２１は他方の最外部付近（図面右側）に位置する画像２５ａをタッチする。次に、親指２０と人差し指２１を反対方向（図面横方向において、親指２０を左方向、人差し指２１を右方向）へ移動させる。つまり、図９（ａ）から図９（ｂ）へ至る指の動きと逆の動きをする。これにより、扇状に拡がった複数の矩形の画像２５ａが短冊が束になって閉じたように表示される。このようにして、データ表示／センサ装置１００は、図９（ａ）及び図９（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
First, the user touches a plurality of
ここで、矩形の画像２５ａは、図９（ａ）の図面縦方向にその長手方向が配置され、扇状の拡がりは、図９（ｂ）の図面横方向に向かって記載されている。しかしながら、矩形の画像２５ａが、図９（ａ）の図面横方向にその長手方向が配置され、扇状の画像２５ａが、図９（ｂ）の図面縦方向に拡がるように表示されることも可能である。また、矩形の画像２５ａの配置方向は、図９（ａ）の縦・横方向に限らず、任意の方向で配置してよく、図９（ａ）はあくまで一例である。
Here, the
図９（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、複数の矩形の画像２５ａがそれぞれ「ニュース」、「ブログ」、「ショッピング」等のアドレスを示す画像（オブジェクト）として割り当てられているとする。そして、上述した親指２０、及び人差し指２１の動作により、短冊が束になって閉じたように表示されていた複数の矩形の画像２５ａが扇状に拡がって表示される。これにより、ユーザは、扇状に拡がったオブジェクトの中から、所望のアドレスを容易に、かつ迅速に画面上から探し出すことができる。しかも、アドレス先を示すオブジェクトが扇状に拡がることで、デザイン性に優れた動作を実現でき、データ表示／センサ装置１００は、高い満足度をユーザに提供することができる。なお、扇状に拡がった幾つかのオブジェクトの中から、所望のオブジェクトを選択する方法は、例えば図１８を参照して説明する方法によって実現される。
As examples of use of the operations described in FIGS. 9A and 9B, the following embodiments can be considered. For example, it is assumed that a plurality of
次に、図１０について説明する。図１０（ａ）に示すように、第１表示／光センサ部３００Ａには円形の画像２６ａが表示されている。そして、ユーザは、その円形の画像２６ａを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。
Next, FIG. 10 will be described. As shown in FIG. 10A, a
次に、図１０（ｂ）に示すように、ユーザは、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を略上方向、人差し指２１を略下方向）へ移動させる。この指の動作によって、円形の画像２６ａは、より大きな寸法の円形の画像２６ｂとなって第１表示／光センサ部３００Ａに表示される。
Next, as shown in FIG. 10B, the user moves the
なお、寸法が拡大される程度は、親指２０及び人差し指２１の移動距離に応じて決まる。従って、図１０（ｂ）では、ユーザは、親指２０及び人差し指２１を大きく移動させたため、画像２６ｂは、一部が画面からはみ出して表示されている。
Note that the extent to which the dimensions are enlarged is determined according to the movement distance of the
また、次のような方法によって、第１表示／光センサ部３００Ａに、円形の画像２６ｂよりもサイズが小さくなった円形の画像２６ａを表示させることができる。
Further, the
まず、ユーザは、円形の画像２６ｂを、上面側から親指２０で、下面側から人差し指２１で、それぞれタッチする。このとき、親指２０及び人差し指２１が画像２６ｂをタッチする位置は、図１０（ｂ）に示すように、それぞれ異なる位置である。なお、図１０（ｂ）で示す例では、親指２０は画像２６ｂの上端部付近を、人差し指２１は画像２６ｂの下端部付近を、それぞれタッチしている。
First, the user touches the
次に、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を略下方向、人差し指２１を略下上方向）へ移動させる。この指の動作によって、円形の画像２６ｂは、より小さな寸法の円形の画像２６ａとなって第１表示／光センサ部３００Ａに表示される。つまり、図１０（ａ）から図１０（ｂ）へ至る指の動きと逆の動きをすることにより、円形の画像２６ｂは、より小さな寸法の円形の画像２６ａとなって第１表示／光センサ部３００Ａに表示される。このようにして、ユーザは、画像の拡大・縮小を容易に、かつ迅速に実行できる。
Next, the
なお、親指２０と人差し指２１を互いに反対方向に動かす場合に、その方向は、前記説明した図面垂直方向に限らず、どの方向であってもよい。ここで挙げた例はあくまで一例である。
When the
図１０（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば円形の画像２６ａが写真画像である場合、ユーザは、拡大した状態でその画像を鑑賞したい場合がある。そのような場合に、上述した親指２０、及び人差し指２１の動作により、その写真画像を拡大して表示することができ、データ表示／センサ装置１００は、拡大した画像を鑑賞したいというユーザの要求に応えることができる。
As examples of use of the operations described in FIGS. 10A and 10B, the following embodiments can be considered. For example, when the
次に、図１１について説明する。図１１（ａ）では、第１表示／光センサ部３００Ａに正方形の画像２７ａが表示され、その正方形の画像２７ａが、上面から親指２０で、下面から人差し指２１で、それぞれタッチされている。そして、図１１（ｂ）に示すように、ユーザは、親指２０と人差し指２１を同一方向（図面横方向において、右方向）へ移動させて、画面の外部へ正方形の画像２７ａを移動させている。つまり、ユーザは、この指の動きにより、その指の動く距離に応じて正方形の画像２７ａを移動させることができる。そして、表示画面の外部まで正方形の画像２７ａを移動させた場合に正方形の画像２７ａのファイルが削除される、という動作を予め割り当てておけば、正方形の画像２７ａのファイルは容易に削除される。このようにして、ユーザは、画像の移動、削除をより簡単に、かつ迅速に実行することができる。
Next, FIG. 11 will be described. In FIG. 11A, a
なお、図１１（ａ）・（ｂ）では、図面横方向において、親指２０及び人差し指２１を共に右側に移動させるものとして説明した。しかしながら、親指２０及び人差し指２１を移動させる方向はこれに限らず、いかなる方向であってもよい。従って、ユーザは、任意の場所に画像を移動させることができる。
11A and 11B, it has been described that both the
図１１（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、画面に表示された任意のファイル（あるいはフォルダ）を移動したい場合に、そのファイルを表裏両面から挟持して、所望の移動先まで親指及び人差し指を移動することにより、その位置にファイルを移動させることができる。また、画面に表示されたファイルを削除したい場合には、そのファイルを表裏両面から挟持して、画面の外側へ移動させればよい。このようにして、データ表示／センサ装置１００は、ファイルを削除・移動したいというユーザの要求に応えることができる。
As examples of use of the operations described in FIGS. 11A and 11B, the following embodiments can be considered. For example, when the user wants to move an arbitrary file (or folder) displayed on the screen, the user holds the file from both the front and back sides and moves the thumb and index finger to the desired destination to move to that position. You can move files. In addition, when deleting a file displayed on the screen, the file may be sandwiched from both the front and back sides and moved to the outside of the screen. In this way, the data display /
次に、図１２について説明する。図１２（ａ）に示すように、図面横方向をパイプ軸（管長）方向とするパイプ形状の画像２８ａが第１表示／光センサ部３００Ａに表示されている。そして、ユーザは、そのパイプ形状の画像２８ａを、上面から親指２０で、下面から人差し指２１で、それぞれタッチしている。そして、図１０（ｂ）に示すように、親指２０と人差し指２１を反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、第１表示／光センサ部３００Ａには、パイプ軸に直交する方向（図面下から上方向）にパイプ形状の画像２８ａが回転する様子が表示される。
Next, FIG. 12 will be described. As shown in FIG. 12A, a pipe-shaped
なお、親指２０と人差し指２１を前記とはそれぞれ逆の方向（図面縦方向において、親指２０を下方向、人差し指２１を上方向）に移動させことにより、パイプ形状の画像２８ａは、前記とは逆の方向、つまり、図面上から下方向に回転する。このように、親指２０と人差し指２１の移動方向によって、パイプ形状の画像２８ａの回転方向が任意に選択され、データ表示／センサ装置１００は、図１２（ａ）及び図１２（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
By moving the
図１２（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。図１２（ａ）では、パイプ形状の画像２８ａは、図面横方向に延びる複数の矩形の画像２８ｂによって形成されている。そこで、各矩形の画像２８ｂが、例えば「ニュース」、「ブログ」、「ショッピング」等のアドレスを示す画像（オブジェクト）であり、パイプ形状の画像２８ａを回転させて、ユーザから見て正面に位置するオブジェクト（画面に対して正面に表示されるオブジェクト）が「選択されるオブジェクト」と設定しておく。そして、ユーザが、上述した親指２０、及び人差し指２１の動作によってパイプ形状の画像２８ａを回転させ、さらに、選択したいオブジェクトを画面に対して正面（選択位置Ｐ）に移動させることで、所望のオブジェクトが容易に、かつ迅速に選択される。しかも、アドレス先を示すオブジェクトが回転することにより、データ表示／センサ装置１００は、デザイン性に優れた動作を実現でき、高い満足度をユーザに提供することができる。
As examples of use of the operations described in FIGS. 12A and 12B, the following embodiments can be considered. In FIG. 12A, the pipe-shaped
次に、図１３について説明する。図１３（ａ）では、第１表示／光センサ部３００Ａの画面上端付近に、矩形の画像２９ａ〜２９ｄが図面横方向に一列に並べて表示されている。そして、矩形の画像２９ｃは、上面から親指２０で、下面から人差し指２１で、それぞれ挟持されている。そして、図１３（ｂ）では、親指２０と人差し指２１がそれぞれ同じ方向（図面下方向）に移動して、それにより矩形の画像２９ｃは、図面縦方向に引き伸ばされて、帯状の画像２９ｃ’となって表示されている。
Next, FIG. 13 will be described. In FIG. 13A,
なお、帯状となった画像２９ｃ’の図面縦方向の長さは、親指２０及び人差し指２１の移動距離に応じて決まる。つまり、帯状となった画像２９ｃ’の図面縦方向の長さは、親指２０及び人差し指２１の移動距離に応じて異なる。
Note that the length of the
また、帯状の画像２９ｃ’が表示された状態において、ユーザが、上面から親指２０で、下面から人差し指２１で、それぞれ帯状の画像２９ｃ’の図面下側の位置を挟持して、親指２０と人差し指２１をそれぞれ同じ方向（図面上方向）へ移動させる。この動作により、帯状の画像２９ｃ’は、引き延ばされる前の画像である矩形の画像２９ｃに戻る。その結果、第１表示／光センサ部３００Ａの画面上端付近に矩形の画像２９ｃが表示される。このように、親指２０及び人差し指２１が図面縦方向に上下することにより、第１表示／光センサ部３００Ａには、矩形の画像２９ｃと帯状の画像２９ｃ’とが切り替わって表示される。
In the state where the band-shaped
なお、図１３（ａ）では、第１表示／光センサ部３００Ａの画面上端付近に画像２９ａ〜２９ｄを表示しているが、この位置に限らず、第１表示／光センサ部３００Ａの画面下端、右端、左端付近に画像２９ａ〜２９ｄを表示してもよい。
In FIG. 13A,
図１３（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。ユーザによっては、画面に表示されるオブジェクトをできるだけ少なくしておきたいという要望を持つことがある。そのような場合に、画面の上端、下端、右端、あるいは左端付近にオブジェクトを寄せておき、必要な時にのみ、上述した親指２０、及び人差し指２１の動作により帯状の画像２９ｃ’を引き出すことができれば、画面内のスペースを有効に活用することができ、また、画面に表示されるオブジェクトをできるだけ少なくしておきたいというユーザの要望にも応えることができる。
As examples of use of the operations described in FIGS. 13A and 13B, the following embodiments can be considered. Some users have a desire to keep the number of objects displayed on the screen as small as possible. In such a case, if an object is brought close to the upper end, lower end, right end, or near the left end of the screen, and the band-
次に、図１４について説明する。図１４（ａ）では、第１表示／光センサ部３００Ａに矩形の画像３０ａが表示され、かつ、ユーザは、上面から親指２０で、下面から人差し指２１で、それぞれ表示／光センサ部３００をタッチしている。そして、図１４（ｂ）に示すように、矩形の画像３０ａを分断するように親指２０と人差し指２１をそれぞれ同じ方向（図面下方向）へ移動させることにより、矩形の画像３０ａは、左右２つの画像３０ｂに分割される。なお、後述する指−命令対応情報テーブルに予め設定しておくことにより、親指２０と人差し指２１の移動方向に応じて、矩形の画像３０ａは上下、あるいは斜め方向に分割される。
Next, FIG. 14 will be described. In FIG. 14A, a
図１４（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、矩形の画像３０ａを２つに分割した場合に当該画像３０ａのファイルが削除される、という動作を予め割り当てておけば、上述した指の動きにより、矩形の画像３０ａのファイルを容易に削除することができる。
As examples of use of the operations described in FIGS. 14A and 14B, the following embodiments can be considered. For example, if the operation that the file of the
次に、図１５について説明する。図１５（ａ）では、第１表示／光センサ部３００Ａに複数の画像３１ａが円周状に配置して表示され、かつ、ユーザは、その円の中心点付近を上面から親指２０で、画像３１ａを下面から人差し指２１で、それぞれタッチしている。そして、図１５（ｂ）に示すように、親指２０を動かさずに、人差し指２１を図面下側へ移動させることにより、複数の画像３１ａが、前記円の円周に沿って反時計回りに回転している。なお、図示していないが、人差し指２１を図面上側へ移動することにより、複数の画像３１ａは、円の円周に沿って時計回りに回転する。
Next, FIG. 15 will be described. In FIG. 15A, a plurality of
このようにして、複数の画像３１ａは、第１表示／光センサ部３００Ａに回転した状態で表示される。また、ユーザは、指の動きを停止して、その回転を停止させることができる。従って、回転を止めたときに、画面上の所定の場所に位置する画像（オブジェクト）を「選択されるオブジェクト」と設定しておくことにより、従来にはない斬新な方法によってオブジェクトが選択される。しかも人差し指の動きの速度に応じて複数の画像が回転するように設定することにより、所望のオブジェクトは、容易に、かつ迅速に第１表示／光センサ部３００Ａに表示され、さらに選択される。そして、データ表示／センサ装置１００は、デザイン性にも優れた動作を実現できるため、高い満足度をユーザに提供することができる。
In this manner, the plurality of
次に、図１６について説明する。図１６（ａ）では、第１表示／光センサ部３００Ａに、円形の画像３２ａと矩形の画像３２ｂとが結合してなる画像３２ｃが表示され、かつ、ユーザが、画像３２ａの中心付近を上面から親指２０で、画像３２ｂを下面から人差し指２１で、それぞれタッチしている。
Next, FIG. 16 will be described. In FIG. 16 (a), an
次に、図１６（ｂ）に示すように、親指２０を動かさずに、人差し指２１が図面左側へ移動することにより、あたかも画像３２ａの中心点付近を支点とした振り子のように、画像３２ｂが左側に移動する。
Next, as shown in FIG. 16 (b), the
なお、上述した画像３２ｂの移動は、人差し指２１の移動距離に応じて決まる。また、人差し指２１の移動方向を逆方向（図面右方向）へ移動させることにより、画像３２ｂは、人差し指２１の移動距離に応じて、画像３２ａの中心点付近を支点として移動する。
The movement of the
このようにして、データ表示／センサ装置１００は、図１６（ａ）及び図１６（ｂ）によって示される多彩で立体的な動作を、容易かつ迅速に実現することができる。
In this way, the data display /
なお、図１６では、画像３２ｂは画像３２ａの図面上側に表示されているが、その位置は任意に選択される。また、図１６では、画像３２ａ、３２ｂは１つのみ表示されているが、これらが複数表示されてよい。
In FIG. 16, the
図１６（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、データ表示／センサ装置１００から出力される音量を画面上の簡単な操作によって調節したいという要望を持つ場合がある。このような場合に、例えば人差し指２１が図面左右方向に動き、画像３２ｂがそれに伴い左右に移動し、その移動量に伴って音量がリニアに調節される、という動作を予め割り当てておけば、例えば画像３２ｂを左側に移動させて、これによりデータ表示／センサ装置１００から出力される音量を下がることが可能となる。あるいは、画像３２ｂを右側に移動させて、これによりデータ表示／センサ装置１００から出力される音量を上げることができる。
As examples of use of the operations described in FIGS. 16A and 16B, the following embodiments can be considered. For example, the user may have a desire to adjust the volume output from the data display /
次に、図１７について説明する。図１７（ａ）では、第１表示／光センサ部３００Ａのほぼ画面全体に亘って矩形の画像３３ａが表示され、かつ、ユーザが、上面から親指２０で、下面から人差し指２１でその画像３３ａをタッチしている。
Next, FIG. 17 will be described. In FIG. 17A, a
そして、図１７（ｂ）に示すように、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、図面下側から矩形の画像３３ｂが出現し、矩形の画像３３ａと矩形の画像３３ｂとが図面縦方向に並んで表示される。そして、図１７（ｃ）に示すように、さらに親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させることにより、画面に表示される画像が、画像３３ａから画像３３ｂに切り替わる。
Then, as shown in FIG. 17 (b), the
つまり、上述した親指２０及び人差し指２１の動きにより、画面に表示される画像が、画像３３ａから画像３３ｂに切り替わる。しかも、その切り替えが完全に行われる前に指の動きを停止することにより、矩形の画像３３ａ及び画像３３ｂが図面縦方向に並んで表示される。また、指の動きの速度に応じて、矩形の画像３３ａから画像３３ｂへの切り替えが所望の速度で行われる。さらに、親指２０及び人差し指２１の動きを前記とは逆の方向にすることにより、画像３３ｂから矩形の画像３３ａの方向に画像の切り替えが行われる。
That is, the image displayed on the screen is switched from the
図１７（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、電子アルバム化された複数の写真を順次鑑賞したい場合を考える。そのような場合に、画面に表示された写真（画像３３ａ）から、次の写真（画像３３ｂ）に移りたいときに、上述した親指２０、及び人差し指２１の動作により、ユーザは、画像３３ａから画像３３ｂへの切り替えを容易に、かつ迅速に行うことができる。このように、データ表示／センサ装置１００は、画像を切り替えて次の画像を見たいというユーザの要求に確実に応えることができる。
As examples of use of the operations described in FIGS. 17A and 17B, the following embodiments can be considered. For example, let us consider a case where the user wants to sequentially view a plurality of photographs in an electronic album. In such a case, when the user wants to move from the photograph (
なお、図１７では、画像の切り替えを図面縦方向に行っているが、図面横方向に行うことも可能である。 In FIG. 17, the image switching is performed in the vertical direction of the drawing, but can be performed in the horizontal direction of the drawing.
次に、図１８について説明する。図１８（ａ）では、第１表示／光センサ部３００Ａに略正方形の画像３４が表示されている。そして、図１８（ｂ）に示すように、親指２０と人差し指２１が表裏両面からほぼ同時に略正方形の画像３４にタッチして、略正方形の画像３４が選択された状態となる。
Next, FIG. 18 will be described. In FIG. 18A, a substantially
つまり、ユーザは、親指２０と人差し指２１を表裏両面からほぼ同時に略正方形の画像３４をタッチすることにより、略正方形の画像３４を選択することができる。従って、親指２０あるいは人差し指２１の動きのみでは略正方形の画像３４は選択されず、また、第１表示／光センサ部３００Ａが親指２０の像を検知して暫く時間が経ってから第２表示／光センサ部３００Ｂが人差し指２１の像を検知したとしても、略正方形の画像３４は選択されない。
That is, the user can select the substantially
従って、ユーザは、親指２０及び人差し指２１を表裏両面からほぼ同時に略正方形の画像３４にタッチしない限り、所望のオブジェクトを選択することができず、その分だけ、誤入力のリスクは軽減される。
Therefore, the user cannot select a desired object unless the
なお、第１表示／光センサ部３００Ａが親指２０の像を検知してから第２表示／光センサ部３００Ｂが人差し指２１の像を検知する（あるいは、第２表示／光センサ部３００Ｂが人差し指２１の像を検知してから第１表示／光センサ部３００Ａが親指２０の像を検知する）までの経過時間は適宜設定してよい。但し、経過時間を「０」としたのでは、容易にオブジェクトの選択をすることができず、ユーザは不便を感じることが多い。また、経過時間が長すぎたのでは、誤入力となってしまう可能性もある。そこで、経過時間を適宜設定しうる構成とすることにより、ユーザは、不便を感じることなく、かつ、誤入力のリスクを軽減することができる。
The second display /
一方、経過時間を設定せず、親指２０及び人差し指２１が表裏両面から略正方形の画像３４にタッチすることで、略正方形の画像３４が選択された状態とすることも可能である。これにより、ユーザは、経過時間を気にしながら表裏両面から略正方形の画像３４をタッチする必要がなくなる。
On the other hand, the substantially
なお、経過時間の設定は、ユーザが外部から入力し、その入力値を記憶部９０１に記憶させておけばよい。そして、入力検出部８３０がその入力値を記憶部９０１から読み出して、自身が測定した実測値と比較することにより、経過時間が経過したかどうかの判定が行われる。なお、経過時間の実測値が入力値を超える場合は、入力検出部８３０が入力信号を生成しない構成とすることも可能である。なお、入力検出部８３０、及び記憶部９０１の詳細は後ほど説明する。
The elapsed time may be set by the user inputting from the outside and the input value stored in the
また、後述する指−命令対応情報テーブルに予め登録しておくことにより、親指２０と人差し指２１が略正方形の画像３４を表裏両面からダブルクリックした場合に、その画像３４が選択される構成とすることも可能である。この場合、上記の経過時間は、最初のクリックから２回目のクリックまでの時間とすることもできる。
Further, by registering in advance in a finger-command correspondence information table, which will be described later, when the
以上、図９〜図１８を参照して、指の像の動きに対応して実行される種々の動作の具体例を説明した。なお、前記説明では、親指２０と人差し指２１の移動方向と実行される動作とを対応付けて説明したが、実行される動作は、前記の各動作に限定されない。つまり、指の像の動きと実行される動作とを対応付けて後述する指−命令対応情報テーブルに予め登録しておけば、同じ指の動きであっても、異なる動作を実行することが可能となる。
The specific examples of various operations executed in response to the movement of the finger image have been described above with reference to FIGS. In the above description, the movement direction of the
例えば、図１１を参照して説明した正方形の画像２７ａを移動する動作は、親指２０と人差し指２１をそれぞれ同じ方向へ移動させることにより実行される。しかしながら、親指２０と人差し指２１をそれぞれ同じ方向へ移動する動きを、画像を拡大（縮小）する動作に対応付けておくことにより、同じ指の動きであっても、異なる動作を実行することができる。あるいは、親指２０と人差し指２１をそれぞれ同じ方向へ移動させることにより、円形の画像の場合には画像の拡大という動作を割り当て、矩形の画像の場合には移動という動作を割り当てておくことにより、同じ指の動きであっても、画像の形状に応じて、異なる動作を実行することができる。
For example, the operation of moving the
ここで、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識し、その指の像の動きに対応付けられた所定の動作を実行するためには、次のような方法が考えられる。 Here, in order to recognize the movement of a specific finger image from among the numerous changes in the movement of the finger image that can be counted, and to execute a predetermined operation associated with the movement of the finger image The following methods are conceivable.
第１の方法は、第１表示／光センサ部３００Ａが検知した指の像の動きと、第２表示／光センサ部３００Ｂが検知した指の像の動きとの関係から、特定の指の動きを認識する方法である。この方法は、例えば、表裏両面における指の像が、同一方向に移動すればオブジェクトが移動、反対方向に移動すればオブジェクトが拡大、近づく方向に移動すればオブジェクトが縮小、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
The first method is based on the relationship between the movement of the finger image detected by the first display /
第２の方法は、上述した第１の方法に加えて、データ表示／センサ装置１００との位置関係を考慮するものであり、データ表示／センサ装置１００に対する指の像の動きの角度から、特定の指の動きを認識する方法である。この方法は、データ表示／センサ装置１００の基準座標（Ｘ・Ｙ軸）を定めておき、表裏両面の像が、Ｘ軸の反対方向に移動すればオブジェクトが拡大、Ｙ軸の反対方向に移動すればオブジェクトが回転、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。
The second method considers the positional relationship with the data display /
第３の方法は、アプリケーション、モード等の動作する状態（場面）に応じて、特定の指の動きを認識する方法である。この方法は、あるアプリケーションの場合は、表裏両面の指の像を反対方向に移動させればオブジェクトが扇状に展開、他のアプリケーションの場合は、表裏面の指の像を反対方向に移動させればオブジェクトが拡大、さらに他のアプリケーションの場合は、表裏面の指の像を同一方向に移動させればオブジェクトが拡大、といった動きを予め対応付けておくことにより、数多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識するというものである。 The third method is a method for recognizing the movement of a specific finger in accordance with the operating state (scene) of the application, mode, or the like. In some applications, moving the finger images on the front and back sides in the opposite direction will cause the object to fan out, and in other applications the finger images on the front and back sides can be moved in the opposite direction. For example, in the case of another application, the movement of the finger image that exists in large numbers can be obtained by associating in advance the movement that the object is enlarged if the finger images on the front and back surfaces are moved in the same direction. It recognizes the movement of a specific finger image from among the changes.
そして、どの方法を採用するかを予め設定しておけば、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きが認識されて、その指の像の動きに対応付けられた所定の動作が実行される。 And if you decide which method to use in advance, the movement of a specific finger image is recognized from among the many changes in finger image movements that can be counted, and the image of that finger is recognized. A predetermined action associated with the movement is performed.
また、前記３つの方法に限らず、それらを組み合わせてもよく、あるいは、前記以外の方法により、数え切れないほど多く存在する指の像の動きの変化の中から、ある特定の指の像の動きを認識し、その指の像の動きに対応付けられた所定の動作を実行してもよい。 In addition to the above three methods, they may be combined, or by a method other than the above, the movement of a specific finger image from among the many changes in the number of finger images that can be counted. May be recognized and a predetermined action associated with the movement of the image of the finger may be executed.
このようにして、特定の指の像の動きに対応付けられた所定の動作が実行される。そして、その所定の動作とは、図９〜図１８を参照して説明した、画像（オブジェクト）の選択、拡大、縮小、回転、扇状への展開、他の画像への切り替え、移動、削除、引き伸ばし、あるいは分割などが挙げられる。そして、第１表示／光センサ部３００Ａには、上記動作結果が表示される。
In this manner, a predetermined operation associated with the movement of the specific finger image is executed. The predetermined operation is the selection, enlargement, reduction, rotation, fanning, switching to another image, movement, deletion, image (object) described with reference to FIGS. For example, enlargement or division. The operation result is displayed on the first display /
なお、実行される所定の動作は、上述した各動作に限らず、種々の動作が可能である。また、図９〜図１８を参照して説明した各動作を適宜組み合わせて得られる動作も実行可能である。 The predetermined operation to be executed is not limited to the above-described operations, and various operations are possible. Moreover, the operation | movement obtained by combining suitably each operation | movement demonstrated with reference to FIGS. 9-18 is also executable.
ここで、他の動作の一例を図１１（ａ）・（ｂ）を参照して説明する。図１１（ａ）・（ｂ）では、上面から親指２０で、下面から人差し指２１で、それぞれ略正方形の画像２７ａをタッチして、さらに親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させている。この指の動きにより、略正方形の画像２７ａが第１表示／光センサ部３００Ａの画面の外側へと移動する。
Here, an example of another operation will be described with reference to FIGS. 11 (a) and 11 (b), touch the substantially
このとき、第１表示／光センサ部３００Ａの画面の外側へ略正方形の画像２７ａが移動し終わる前に親指２０及び／又は人差し指２１が略正方形の画像２７ａから離れた場合、画像が最初の位置（状態）に戻るようデータ表示／センサ装置が構成されていたとする。この場合、ユーザは、当該装置を使用することにより、親指２０及び／又は人差し指２１を略正方形の画像２７ａから離すことで略正方形の画像２７ａを最初の位置（状態）に戻すことができる。つまり、ユーザは、指を離す動作によって所定の動作（画像の移動）をキャンセルすることができる。
At this time, if the
つまり、データ表示／センサ装置が上記のように構成されていれば、画像を最初の状態に戻すための他の動作を必要とせず、ユーザの負担が軽減される。そして、所定の動作をキャンセルする操作は、図９等を参照して説明した他の実施例にも適用することが可能である。 That is, if the data display / sensor device is configured as described above, another operation for returning the image to the initial state is not required, and the burden on the user is reduced. The operation of canceling the predetermined operation can be applied to the other embodiments described with reference to FIG.
このように、指の動きと所定の動作とを種々のパターンで関連付けることができる。そして、実行される所定の動作は、上述した各動作に限らず、種々の動作が可能である。 In this way, the movement of the finger and the predetermined action can be associated with various patterns. And the predetermined | prescribed operation | movement performed is not restricted to each operation | movement mentioned above, A various operation | movement is possible.
（データ表示／センサ装置の要部説明）
次に、図１を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００の動作については説明を省略する。ただし、正確には、画像の表示および画像の検知を行うにあたり、主制御部８００の入力インターフェース制御部８０５が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
(Explanation of main parts of data display / sensor device)
Next, a more detailed configuration of the data display /
図１は、データ表示／センサ装置１００の要部構成を表すブロック図である。図示のように、主制御部８００は、入力インターフェース制御部８０５と、アプリケーション実行部８５０（動作実行装置）と、を備える。また、入力インターフェース制御部８０５は、検知判定部８１０と、重畳判定部８２０と、入力検出部８３０と、動作制御部８４０（動作制御手段）と、画像表示制御部８６０（画像表示制御手段）と、を備える。
FIG. 1 is a block diagram showing a main configuration of the data display /
検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知したかどうかを判定する。より具体的に説明すると、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したとき、座標データ、全体画像データ、部分画像データがデータ制御部７００から検知判定部８１０に送信される。従って、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを受信した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することができる。なお、検知判定部８１０は、座標データ、全体画像データ、部分画像データのうち少なくとも何れか１つを受信することで、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定することもできる。
The
ここで、図１では、データ処理部７００から検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データが実線及び破線で記載されている。これは、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方から座標データ、全体画像データ、部分画像データを取得するためであり、第１表示／光センサ部３００Ａから検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データを実線で、第２表示／光センサ部３００Ｂから検知判定部８１０（及び、重畳判定部８２０、入力検出部８３０）へ送信される座標データ、全体画像データ、部分画像データを破線で、それぞれ記載している。
Here, in FIG. 1, the coordinate data, the entire image data, and the partial image data transmitted from the
次に、検知判定部８１０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した」ことを示す判定結果を入力検出部８３０に出力する。従って、第１表示／光センサ部３００Ａのみ、あるいは第２表示／光センサ部３００Ｂのみが指の像を検知した場合、若しくは第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知しなかった場合には、検知判定部８１０は、「第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、共に指の像を検知しなかった」ことを示す判定結果を入力検出部８３０に出力する。若しくは、検知判定部８１０は、入力検出部８３０に対して何も出力しない。
Next, the
重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。なお、表示／光センサ部３００のうち、第１表示／光センサ部３００Ａに画像が表示され、第２表示／光センサ部３００Ｂには画像が表示されていないものとして説明する。
The
より具体的に説明すると、重畳判定部８２０は、データ制御部７００から座標データ、全体画像データ、部分画像データを取得し、それら座標データ、全体画像データ、部分画像データから像領域を特定する。また、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出す。その画像情報には、当該画像に係る表示画像領域が座標により特定されているため、重畳判定部８２０は、記憶部９０１から画像情報を読み出すことにより表示画像領域を特定することができる。
More specifically, the
一例として、図２８、及び図２９を参照して画像情報について説明する。図２８は、図１０に係る円形の画像２６ａ、２６ｂについての画像情報を説明するための図である。また、図２９は、図１１に係る矩形の画像２７ａについての画像情報を説明するための図である。
As an example, image information will be described with reference to FIGS. 28 and 29. FIG. 28 is a diagram for explaining the image information about the
図２８（ａ）に示すように、円形の画像２６ａは、座標（Ａ、Ｂ）を中心点として、直径φＴ１で示される円である。また、図１０を参照して説明した方法によって得られた、図２８（ｂ）におけるより大きな寸法に拡大した円形の画像２６ｂは、座標（Ａ、Ｂ）を中心点として、直径φＴ２で示される円である。なお、ここでは円形の画像２６ａ・２６ｂに係る表示画像領域は、座標（Ａ、Ｂ）、及び直径φＴ１、φＴ２によって特定されているが、円形の画像２６ａ・２６ｂの各円周の座標によって特定する態様であっても構わない。何れの態様であれ、円形の画像２６ａ・２６ｂに係る表示画像領域が特定されるためである。
As shown in FIG. 28A, the
また、図２９（ａ）に示すように、矩形の画像２７ａは、（Ａ、Ｂ１）という位置を画像の中心として、一辺が長さＣで表される正方形の画像である。また、図１１を参照して説明した方法によって得られた、図２９（ｂ）における図面右側に移動した画像２７ａは、（Ａ、Ｂ２）を画像の中心として、一辺が長さＣで表される正方形の画像である。なお、ここでは正方形の画像２７ａは、座標（Ａ、Ｂ１）、（Ａ、Ｂ２）、及び長さＣで特定されるが、正方形の画像２７ａの４辺を示す座標によって特定する態様であっても構わない。何れの態様であれ、正方形の画像２７ａに係る表示画像領域が特定されるためである。
As shown in FIG. 29A, the
このように、図２８で言えば座標（Ａ、Ｂ）及びφＴ１、φＴ２という情報を、また図２９で言えば座標（Ａ、Ｂ１）、（Ａ、Ｂ２）、及びＣという情報を、それぞれ画像情報として扱うことにより、重畳判定部８２０は、記憶部９０１からその画像情報を読み出すことによって表示画像領域を特定することができる。
As described above, the coordinates (A, B) and information of φT1 and φT2 in FIG. 28 and the information of coordinates (A, B1), (A, B2), and C in FIG. By treating the information as information, the
上記の方法により、重畳判定部８２０は、像領域および表示画像領域を特定することができ、従って、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。そして、重畳判定部８２０は、その判定結果を入力検出部８３０に出力する。なお、前記の重畳領域が存在しないと判定した場合に、重畳判定部８２０がその判定結果を入力検出部８３０に出力せず、そのことにより重畳領域が存在しないことの判定結果とすることもできる。
By the above method, the
また、前記の説明では、重畳判定部８２０はデータ制御部７００から座標データ、全体画像データ、部分画像データを取得するものとして説明した。しかしながら、重畳判定部８２０は、検知判定部８１０を介して、データ制御部７００から座標データ、全体画像データ、部分画像データを取得してもよい。
In the above description, the
なお、重畳領域が存在するか否かの判定では、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域とが重畳するか否かを判定してもよい。これにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂの両方の像領域と表示画像領域とが重畳するか否かを判定する場合よりも、「重畳領域が存在する」と判定される条件を緩和することができる。
In determining whether or not there is a superimposition region, the
ここで、具体例を用いて、重畳判定の条件を緩和することが好ましい理由を説明する。図９（ａ）では、ユーザは、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａに対応する第２表示／光センサ部３００Ｂ上の領域を人差し指２１でタッチしている。つまり、第２表示／光センサ部３００Ｂに矩形の画像２５ａが表示されているとしたならば、その矩形の画像２５ａが表示されているであろう領域を、人差し指２１がタッチする。
Here, the reason why it is preferable to relax the condition for superimposition determination will be described using a specific example. In FIG. 9A, the user touches the area on the second display / light sensor unit 300 </ b> B corresponding to the
このとき、第２表示／光センサ部３００Ｂは矩形の画像２５ａを画面上に表示していないため、ユーザは、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａに対応する第２表示／光センサ部３００Ｂ上の領域を感覚的に認識して、その上で、その領域をタッチしている。つまり、人差し指２１による当該領域へのタッチは、感覚的に行われるものであり、常に正確に行われるものではない。
At this time, since the second display /
従って、少なくとも第１表示／光センサ部３００Ａあるいは第２表示／光センサ部３００Ｂのうち、何れか一方が検知した指の像の領域である像領域が表示画像領域と重畳することにより「重畳領域が存在する」と判定されるのであれば、データ表示／センサ装置１００は、より優れた操作性及び利便性をユーザに提供することができる。
Accordingly, an image region, which is a region of a finger image detected by at least one of the first display /
入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が重畳領域が存在すると判定した場合には、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
The
このとき、入力検出部８３０は、さらにアプリケーション、モード等の動作する状態（場面）、あるいは画像の属性にも対応付けて入力信号を生成する。これにより、後述するアプリケーション実行部８５０は、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行することができる。なお、入力検出部８３０は、記憶部９０１から直接、もしくは重畳判定部８２０を介して当該画像等に係る画像情報を取得することができる。これにより、入力検出部８３０は、第１表示／光センサ部３００Ａに表示された画像に対応付けされた入力信号を生成することができる。
At this time, the
ここで、入力検出部８３０が生成する入力信号について、図９の動作を例に具体的に説明する。
Here, the input signal generated by the
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは、反対方向へ移動する親指２０の像と人差し指２１の像を検知する。このとき、入力検出部８３０は、データ制御部７００から親指２０の像と人差し指２１の像の移動前後における全体画像データ、部分画像データ、及び座標データを取得する。そして、入力検出部８３０は、それらのデータから、それぞれの指の像の移動量、及び移動方向を算出する。
The first display /
より具体的に説明すると、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）で表され、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）として表される。従って、入力検出部８３０は、親指２０の像及び人差し指２１の像の移動前後における上記座標データをそれぞれ取得して、その座標データの差分を計算することにより、それぞれの指の像の移動量、及び移動方向を算出することができる。
More specifically, the coordinate data in the entire image data (region AP) of the representative coordinates Z of the partial image data (region PP) is represented by (Xa, Ya), and the coordinate data in the partial image data (region PP). Is represented as (Xp, Yp). Accordingly, the
このようにして、入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂがそれぞれ検知した指の像の動きを検出して、各指の座標移動量、座標移動方向（単独ベクトル）を算出する。そして、入力検出部８３０は、各指の単独ベクトルから、各指が互いにどの方向に、どの程度移動したかを示す相対ベクトルを算出する。これにより、入力検出部８３０は、単独ベクトル、及び相対ベクトルを算出し、かつ、単独ベクトル、及び相対ベクトルに対応付けられた入力信号を生成する。
In this way, the
さらに、入力検出部８３０は、以下の種々の項目に対応付けられた入力信号、つまり、記憶部９０１から読み出した画像情報に基づいて、アプリケーション、モード等の動作する状態（場面）ごとに対応付けされた入力信号、図１９を参照して後述する「経過時間」に対応付けられた入力信号、あるいは指の動きの速度に対応付けられた入力信号、を生成する。なお、入力信号は、ここで挙げた項目すべてに対応付けて生成される必要はなく、これらのうち一部に対応付けられて生成されてもよい。
Further, the
このように、入力検出部８３０は、上記種々の項目に対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
As described above, the
動作制御部８４０は、入力検出部８３０が生成した入力信号を受信して、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた指−命令対応情報に基づいて、アプリケーション実行部８５０に動作実行命令を送信する。
The
より具体的に説明すると、動作制御部８４０は、入力検出部８３０が生成した入力信号を受信する。そして、動作制御部８４０は、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた指−命令対応情報を記憶部９０１から読み出し、その指−命令対応情報に基づいて、当該入力信号に対応する動作実行命令をアプリケーション実行部８５０に送信する。
More specifically, the
ここで、指−命令対応情報についてより具体的に説明する。指−命令対応情報とは、入力検出部８３０が生成する入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられた情報である。例えば、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が同じ方向に移動すると、選択した画像を同じ方向に移動させる、あるいは、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が互いに反対方向に移動すると、選択した画像を拡大する（縮小する）、というように、指−命令対応情報は、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とに対応付けられている（図３０参照）。さらに、これに加え、入力検出部８３０は、単独ベクトル、相対ベクトル、アプリケーション・モード等の動作する状態（場面）、経過時間、あるいは指の動きの速度といった種々の項目に対応付けられた入力信号を生成する。従って、指−命令対応情報は、上記種々の項目、及び実行すべき所定の動作とが関連付けてなるものである。
Here, the finger-command correspondence information will be described more specifically. The finger-command correspondence information is information associated with an input signal generated by the
なお、図３０は、図９〜図１９を参照して説明する、画像の形状、指の動き、及び得られる動作を関連付けた指−命令対応情報の一例を示すテーブルである。従って、ここで示す各項目はあくまで一例であって、これに限られるものではない。 FIG. 30 is a table illustrating an example of finger-command correspondence information that associates the shape of an image, the movement of a finger, and the obtained action, which will be described with reference to FIGS. 9 to 19. Accordingly, each item shown here is merely an example, and the present invention is not limited to this.
アプリケーション実行部８５０は、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
The
例えば、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像が同じ方向に移動した場合（仮にＡ点からＢ点へ移動したとする）であって、その指の像の動きに対応付けられた動作が、「表示画像をＡ点からＢ点へ移動させる」という動作である場合、アプリケーション実行部８５０は、当該表示画像の表示位置をＡ点からＢ点に移動する処理を行う。そして、アプリケーション実行部８５０は、「表示画像をＡ点からＢ点へ移動する処理を行った」ことを示す動作結果情報を画像表示制御部８６０に送信する。
For example, when the image of the finger detected by the first display /
このように、アプリケーション実行部８５０は、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行し、さらに、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
In this way, the
なお、図１において、アプリケーション実行部８５０は主制御部８００に含まれる構成である。しかしながら、主制御部８００の外部にアプリケーション実行部８５０を設けて、外部通信部９０７を介して、所定の動作を実行する構成としてもよい。また、アプリケーション実行部８５０は、１または複数のアプリケーションを有してよい。
In FIG. 1, the
画像表示制御部８６０は、アプリケーション実行部８５０から動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。
Upon receiving the operation result information from the
従って、「表示画像をＡ点からＢ点へ移動させる」という動作がアプリケーション実行部８５０によって実行された場合、画像表示制御部８６０は、データ処理部７００にそのことを示す表示データを送信して、その結果、第１表示／光センサ部３００Ａに動作結果が表示される。つまり、表示画像がＡ点からＢ点へ移動する様子が第１表示／光センサ部３００Ａに表示される。
Therefore, when the operation of “moving the display image from point A to point B” is executed by the
また、図１では、記憶部９０１は、主制御部８００の外部に設けられているが、主制御部８００の内部に設けられる構成であってもよい。
In FIG. 1, the
また、検知判定部８１０、重畳判定部８２０、及び入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに、指の像の全体画像データ、部分画像データ、及び座標データを送信するようデータ処理部７００に要求している。これは、主制御部８００で実行されるアプリケーションプログラムが、指の像の全体画像データ、部分画像データ、及び座標データを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂごとに送信するようデータ処理部７００を制御することにより行われる。
In addition, the
（フローチャート説明）
次に、図９〜図１８、及び図２０を参照しながら、データ表示／センサ装置１００の処理の流れ、及び、入力インターフェース制御部８０５からデータ処理部７００に送信されるコマンドの詳細について説明する。
(Flowchart explanation)
Next, the processing flow of the data display /
図２０は、データ表示／センサ装置１００の処理の流れを表すフローチャートである。
FIG. 20 is a flowchart showing the flow of processing of the data display /
まず、データ表示／センサ装置１００の電源がオフの状態にあるとき、ユーザが電源スイッチ９０５を押下することにより、データ表示／センサ装置１００は電源オンとなる（Ｓ１１）。
First, when the data display /
そして、ステップＳ１３では、ユーザが電源スイッチ９０５を押下することにより、表示／光センサ部３００に画像が表示される。なお、ここでは、第１表示／光センサ部３００Ａに画像が表示されるものとする。この状態で、データ表示／センサ装置１００は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが指の像を検出するまで待機する。
In step S <b> 13, when the user presses the
ここで、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として両画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
Here, when displaying an image on the first display /
また、この段階では、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。前記検知を行うために、「データ取得タイミング」フィールドに、“イベント”を指定し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
Further, at this stage, it is assumed that the display / light sensor unit 300 is in a state in which a nearby image can be detected. To perform the detection, a command in which “event” is specified in the “data acquisition timing” field and both “coordinate” and “whole image” are specified (“101” is specified) in the “data type” field is specified. The data is output from the input
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
Further, in order to perform the detection in the first display /
これにより、センサ内蔵液晶パネル３０１が近傍の像を検知した場合に、検知判定部８１０、重畳判定部８２０、及び入力検出部８３０は、データ処理部７００から座標データ、全体画像データ、部分画像データを取得することができる。
Thus, when the sensor built-in
つまり、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにユーザの指がタッチしたとき、光センサ回路３２が、タッチした指の影像および反射像の少なくとも何れかを検知する。その結果、データ処理部７００がセンサ制御部６０２から取得する画像データに変化が生じる。
That is, when the user's finger touches the first display /
このようにして、検知判定部８１０は、前記画像データに変化が生じた際にデータ処理部７００から出力されてくる、座標データ、全体画像データ、部分画像データを取得することにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したことを認識できる。
In this manner, the
そして、ステップＳ１５では、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したかどうかを判定する。つまり、表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データがデータ処理部７００から検知判定部８１０に入力されることにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定される。なお、図２０では、便宜のため、第１表示／光センサ部３００Ａを「Ａ」と称し、第２表示／光センサ部３００Ｂを「Ｂ」と称している。
In step S15, the
第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合（ステップＳ１５でＹｅｓ）、ステップＳ１７に進む。ステップＳ１７では、重畳判定部８２０が、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。つまり、データ処理部７００から表示／光センサ部３００ごとの座標データ、全体画像データ、部分画像データを取得することにより、重畳判定部８２０は、座標データ、全体画像データ、及び部分画像データと、第１表示／光センサ部３００Ａに表示された画像の領域である表示画像領域とを比較して、重畳する領域（重畳領域）が存在するかどうかを判定する。なお、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出している。
When both the first display /
重畳領域が存在すると判定された場合（ステップＳ１７でＹｅｓ）、ステップＳ１９に進む。ステップＳ１９では、入力検出部８３０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
If it is determined that the overlapping area exists (Yes in step S17), the process proceeds to step S19. In step S19, the
続いて、ステップＳ２１では、動作制御部８４０が、その入力信号を入力検出部８３０から受信して、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出す。
Subsequently, in step S21, the
動作制御部８４０は、記憶部９０１から指−命令対応情報を読み出して、その指−命令対応情報に基づいて、アプリケーション実行部８５０に動作実行命令を送信する。
The
続いて、ステップＳ２３では、アプリケーション実行部８５０が、動作制御部８４０から動作実行命令を受信して、その命令によって示される動作を実行する。そして、アプリケーション実行部８５０は、その動作が行われたことを示す動作結果情報を画像表示制御部８６０に送信する。
Subsequently, in step S23, the
そして、ステップＳ２５では、画像表示制御部８６０が、アプリケーション実行部８５０から動作結果情報を受信して、データ処理部７００に表示データを送信する。その表示データは、アプリケーション実行部８５０によって実行された動作結果を第１表示／光センサ部３００Ａに表示するようデータ処理部７００に促すものである。その結果、第１表示／光センサ部３００Ａには、アプリケーション実行部８５０が動作制御部８４０から受信した動作実行命令に基づいて実行した動作結果が表示される。
In step S <b> 25, the image
このとき、第１表示／光センサ部３００Ａに画像を表示させる場合は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。なお、第２表示／光センサ部３００Ｂに画像を表示させる場合は、「表示パネル」フィールドの値として下画面（“010”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。ここでは、第１表示／光センサ部３００Ａに画像を表示させるため、「表示パネル」フィールドの値として両画面（“001”）を指定したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
At this time, when displaying an image on the first display /
一方、ステップＳ１５、及びステップＳ１７で「Ｎｏ」に進む場合は、再びステップＳ１５に戻る。なお、ステップＳ１５の次にステップＳ１７の処理を行う順序で説明したが、同時に行っても、あるいは逆の順序で行ってもよい。 On the other hand, when it progresses to "No" by step S15 and step S17, it returns to step S15 again. In addition, although demonstrated in the order which performs the process of step S17 after step S15, you may carry out simultaneously or in reverse order.
なお、後述の図２３を参照して説明する例では、第１表示／光センサ部３００Ａに画像が表示されていない場合であっても、所望の動作を実行することができる。従って、この場合には、重畳領域が存在するか否か（ステップＳ１７）の判定を経ることなく、入力検出部８３０が入力信号を生成するステップ（ステップＳ１９）に進む。
In the example described with reference to FIG. 23 described later, a desired operation can be executed even when an image is not displayed on the first display /
ここで、前記各ステップ（ステップＳ１１〜ステップＳ２５）の処理の流れを図９を参照して説明する。 Here, the processing flow of each of the steps (steps S11 to S25) will be described with reference to FIG.
図９（ａ）では、第１表示／光センサ部３００Ａに矩形の画像２５ａが表示されている。これは、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに画像２５ａが表示されたものである。
In FIG. 9A, a
なお、既にこの段階で、「データ取得タイミング」フィールドに、“イベント”を指定し、「データ種別」フィールドに“座標”および“全体画像”の両方を指定（“101”を指定）したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力され、表示／光センサ部３００は近傍の像を検知可能な状態にあるものとする。なお、“座標”または“全体画像”のみを指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力されてもよい。
At this stage, a command that has already specified “event” in the “data acquisition timing” field and both “coordinate” and “whole image” (specified “101”) in the “data type” field. It is output from the input
また、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂにおいて前記検知を行うために、「スキャンパネル」フィールドに両方の表示／光センサ部３００を指定（“011”）したコマンドが、入力インターフェース制御部８０５からデータ処理部７００に出力される。
In addition, in order to perform the detection in the first display /
このような状態において、ユーザが、上面（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれその矩形の画像２５ａをタッチする。そして、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂは共に指の像を検知することができる状態にあるため、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが、共に指の像を検知していると判定し、その判定結果を入力検出部８３０に出力する。
In such a state, the user uses the
また、図９（ａ）に示すように、第１表示／光センサ部３００Ａに表示された画像２５ａの領域を示す表示画像領域と、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した親指２０、人差し指２１の指の像の領域である像領域とは重畳している。従って、重畳判定部８２０は、表示画像領域と像領域とが重畳する重畳領域が存在すると判定し、その判定結果を入力検出部８３０に出力する。
Further, as shown in FIG. 9A, a display image area showing an area of an
なお、重畳判定部８２０は、データ制御部７００から指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから前記の像領域を特定する。また、重畳判定部８２０は、第１表示／光センサ部３００Ａに表示された画像に係る画像情報を記憶部９０１から読み出すことにより、画像２５ａの表示画像領域を特定している。このようにして、重畳判定部８２０は、像領域および表示画像領域を特定することができるため、像領域と表示画像領域との間に重畳する重畳領域が存在するか否かを判定することができる。
The
入力検出部８３０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと検知判定部８１０が判定し、かつ、重畳判定部８２０が重畳領域が存在すると判定したことにより、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出する。
In the
ここで、図９（ｂ）では、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を右方向、人差し指２１を左方向）へ移動しているため、入力検出部８３０は、その指の像の動きを検出し、その指の像の動きに対応付けられた入力信号を生成する。また、入力検出部８３０は、記憶部９０１から直接、もしくは重畳判定部８２０を介して矩形の画像２５ａに係る画像情報を取得しており、入力信号は、矩形の画像２５ａに対応付けて生成されている。そして、入力検出部８３０はその入力信号を動作制御部８４０に出力する。
Here, in FIG. 9B, the
動作制御部８４０は、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出し、次に、動作実行命令をアプリケーション実行部８５０に送信する。ここで、第１表示／光センサ部３００Ａに表示された画像が矩形の画像２５ａであって、データ表示／センサ装置１００の表裏両面で検出された指の像の動きがそれぞれ反対方向へ移動する場合には、指−命令対応情報は、矩形の画像２５ａを扇状の画像２５ａに変化させる動作に対応付けられている。
The
従って、アプリケーション実行部８５０は、矩形の画像２５ａを扇状の画像２５ａに拡げる処理を行い、その上で、「矩形の画像２５ａを扇状の画像２５ａに拡げる処理を行った」ことを示す動作結果情報を画像表示制御部８６０に送信する。
Therefore, the
画像表示制御部８６０は、アプリケーション実行部８５０から前記の動作結果情報を受信すると、データ処理部７００に表示データを送信する。その表示データとは、矩形の画像２５ａを扇状の画像２５ａに拡げて表示することを指示するデータである。そして、データ処理部７００は、画像表示制御部８６０から送信された表示データに基づいて、第１表示／光センサ部３００Ａに表示された矩形の画像２５ａを扇状の画像２５ａへ展開した画像を表示させる。
Upon receiving the operation result information from the
なお、扇状の画像２５ａの表示は、「表示パネル」フィールドの値として上画面（“001”）を指定したコマンドが入力インターフェース制御部８０５からデータ処理部７００に出力された結果、第１表示／光センサ部３００Ａに扇状の画像２５ａが表示されたものである。
The fan-shaped
このようにして、図９（ａ）・（ｂ）を参照して説明した動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
In this manner, the operation described with reference to FIGS. 9A and 9B is executed, and the execution result is displayed on the first display /
これと同様の処理の流れによって、図１０〜図１８を参照して説明した種々の動作が実行され、その実行結果が第１表示／光センサ部３００Ａに表示される。
Various operations described with reference to FIGS. 10 to 18 are executed by the same processing flow, and the execution results are displayed on the first display /
なお、ここでは、右手について説明しているが、左手についても、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１に記憶させておけば、第１表示／光センサ部３００Ａに表示された表示画像に対して、所望の動作を実行させることができる。
Here, the right hand is described, but for the left hand, the finger-command correspondence information in which the input signal and the command for causing the
また、ここでは第１表示／光センサ部３００Ａに表示画像を表示するものとして説明したが、第２表示／光センサ部３００Ｂに画像を表示させてもよい。
Further, here, the display image is displayed on the first display /
さらに、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂによる検知の対象として親指２０及び人差し指２１を用いることとして説明したが、検知の対象とする指の種類は、これらの指に限定されず、中指、薬指、小指であってもよい。指の種類ではなく、検知した指の像の動きに基づいて、第１表示／光センサ部３００Ａに表示された画像に対して所定の動作を実行させるためである。
Furthermore, although it has been described that the
データ表示／センサ装置１００の前記処理によって得られる効果を説明すると以下の通りである。
The effects obtained by the processing of the data display /
データ表示／センサ装置１００は、前記構成を備えることにより、表裏両面にそれぞれ配設された近傍の像を検知する第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知した場合に、指の像の動きに対応付けられた入力信号が入力検出部８３０によって生成される。つまり、第１表示／光センサ部３００Ａ、第２表示／光センサ部３００Ｂのうち何れか一方の表示／光センサ部３００が指の像を検知しただけでは、その指の像の動きに対応付けられた入力信号が生成されることはない。
Since the data display /
このように、データ表示／センサ装置１００では、表裏両面の表示／光センサ部３００という二つの入力面からの入力によって入力信号が生成される。そして、その入力信号は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きに対応付けられた信号である。従って、ユーザは、様々な指の像の動きを第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂに検出させることによって、従来の入力装置では実現できなかった多彩で立体的な操作を行うことができ、また、そのような操作によって、優れた利便性及び操作性がもたらされる。しかも板状のデータ表示／センサ装置１００の裏表両面から画面を指で挟持するように操作するため、ユーザは、極めて容易に当該装置を使用することができる。
As described above, in the data display /
そして、二つの入力面からの入力によって入力信号が生成されるため、例えばユーザの指がタッチパネル上のアイコンに無意識のうちに接触しても、その指の像が検知されて入力信号が生成され、何らかの処理が実行されてしまうという事態を回避することができる。その結果、入力面に誤って操作してしまうリスクが軽減される。 And since an input signal is generated by input from two input surfaces, even if a user's finger unintentionally touches an icon on the touch panel, the image of the finger is detected and an input signal is generated. It is possible to avoid a situation in which some processing is executed. As a result, the risk of erroneous operation on the input surface is reduced.
このように、データ表示／センサ装置１００では、優れた操作性及び利便性をユーザに提供することができる。
Thus, the data display /
さらに、データ表示／センサ装置１００では、前記の構成において、入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応する命令を、アプリケーション実行部８５０に送信する動作制御部８４０を備える構成である。
Further, in the data display /
従って、表裏両面の表示／光センサ部３００が指の像の動きを検出して、該指の像の動きに対応付けられた入力信号が入力検出部８３０によって生成される。そして、その入力信号と、アプリケーション実行部８５０に所定の動作を実行させる命令とが対応付けられた、指−命令対応情報に基づいて、入力信号に対応付けられた命令がアプリケーション実行部８５０に送信され、アプリケーション実行部８５０は、入力信号に対応する命令を実行する。
Accordingly, the display / light sensor unit 300 on both the front and back surfaces detects the movement of the finger image, and the input signal associated with the movement of the finger image is generated by the
従って、データ表示／センサ装置１００のユーザは、様々な指の像の動きを表裏両面の表示／光センサ部３００に検出させることによって、アプリケーション実行部８５０に所望の動作を実行させることができる。
Therefore, the user of the data display /
さらに、データ表示／センサ装置１００では、前記の構成において、入力検出部８３０は、表裏両面の表示／光センサ部３００が、表裏両面の表示／光センサ部３００上の所定の領域において指の像を検知した場合に、前記入力信号を生成する構成とすることができる。そして、表裏両面の表示／光センサ部３００において、所定の領域に画像を表示させる画像表示制御部８６０を備え、入力検出部８３０は、当該画像に対応付けられた前記入力信号を生成する構成とすることができる。
Further, in the data display /
前記の構成によれば、データ表示／センサ装置１００では、表裏両面の表示／光センサ部３００上の所定の領域において指の像が検知された場合に入力信号が生成される。
According to the above configuration, the data display /
従って、入力検出部８３０は、表裏両面の表示／光センサ部３００上の所定の領域とは異なる他の領域に指がタッチした場合には入力信号を生成しない。
Therefore, the
それゆえ、ユーザは、表裏両面の表示／光センサ部３００上の所定の領域とは異なる他の領域に指をタッチした場合であっても、入力信号が生成されるという事態を回避することができる。 Therefore, even when the user touches his / her finger on another area different from the predetermined area on the display / light sensor unit 300 on both the front and back sides, the situation where an input signal is generated can be avoided. it can.
さらに、データ表示／センサ装置１００では、画像表示制御部８６０が所定の領域に画像を表示させる。また、入力検出部８３０は、所定の領域において指の像が検知された場合に、当該画像に対応付けられた入力信号を生成する。
Further, in the data display /
従って、ユーザは、当該画像を裏表両面から指で挟持することにより、アプリケーション実行部８５０に所定の動作を実行させることができる。逆に、当該画像が表示されている所定の領域とは異なる領域では、入力検出部８３０は入力信号を生成しないため、ユーザは、当該画像が表示されている所定の領域とは異なる領域をタッチしても、入力面に誤って操作してしまうという事態を回避できる。
Therefore, the user can cause the
それゆえ、所定の領域に表示された画像のみを対象として、ユーザは所望の動作を実現することができ、その結果、データ表示／センサ装置１００は、優れた操作性及び利便性をユーザに提供することができる。
Therefore, the user can realize a desired operation only for an image displayed in a predetermined area, and as a result, the data display /
さらに、データ表示／センサ装置１００では、画像表示制御部８６０は、アプリケーション実行部８５０が実行した所定の動作の結果に基づく画像を、第１表示／光センサ部３００Ａに表示させる構成とすることができる。
Further, in the data display /
つまり、画像表示制御部８６０は、アプリケーション実行部８５０が実行した所定の動作の結果に基づく画像を第１表示／光センサ部３００Ａに表示させることができる。
That is, the image
従って、画像表示制御部８６０は、ユーザの指の動きに対応付けられて実行された動作の結果を画面上に表示して、その結果をユーザに確認させることができる。
Therefore, the image
なお、ユーザは、自身の指の動きに基づいて実行された動作の結果を画面上で確認することができる。そして、その動作後の画像に対してさらに何らかの動作を与えたいときは、表裏両面の表示／光センサ部３００に対して所望の指の像の動きを検出させればよい。つまり、ユーザは、動作の結果を画面上で確認することにより、次の動作を連続的に行うことができる。 In addition, the user can confirm the result of the operation performed based on the movement of his / her finger on the screen. Then, when it is desired to give some operation to the image after the operation, it is only necessary to cause the display / light sensor unit 300 on both the front and back surfaces to detect the desired movement of the finger image. That is, the user can continuously perform the next operation by checking the operation result on the screen.
このように、データ表示／センサ装置１００は、より優れた操作性および利便性をユーザにも提供することができる。
Thus, the data display /
（変形例１）
次に、図１９、図２１、図２２を参照してデータ表示／センサ装置１００の一変形例であるデータ表示／センサ装置１１０を説明する。なお、図１、図９〜図１８、図２０を参照して説明した内容と同様の内容は説明を省略する。
(Modification 1)
Next, a data display /
図１９（ａ）は、第１表示／光センサ部３００Ａに矩形の画像３４ａが表示されている様子を示す図である。図１９（ｂ）は、人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、画像３４ａから画像３４ｂへの切り替えを徐々に行う様子を示し、図１９（ｃ）は、さらに人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、画面に表示される画像を、画像３４ａから画像３４ｂへ切り替えた様子を示す図である。
FIG. 19A is a diagram illustrating a state in which a
図１９（ａ）では、第１表示／光センサ部３００Ａに矩形の画像３４ａが表示され、かつ、ユーザは、上面から人差し指２１で、下面から中指２２で画像３４ａをタッチしている。このとき、人差し指２１及び中指２２は、指先に加えて、指の腹や側面によりデータ表示／センサ装置１１０を表裏両面から挟持している。従って、人差し指２１及び中指２２と表示／光センサ部３００との接触面積は、指先のみで表示／光センサ部３００を挟持する場合に比べて大きくなる。
In FIG. 19A, a
次に、図１９（ｂ）に示すように、ユーザは、データ表示／センサ装置１１０に対して人差し指２１と中指２２をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、図面左側から画像３４ｂを出現させ、画像３４ａと画像３４ｂとを並べて表示させている。つまり、画像３４ａから画像３４ｂへの切り替えが、人差し指２１及び中指２２の移動に伴って行われる。なお、画像３４ａから画像３４ｂへの切り替えは、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の接触面積よりも大きいことをトリガにして行われる。従って、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の接触面積よりも小さい場合は、画像３４ａから画像３４ｂへの切り替えは実行されない。この点が、図１７を参照して説明した画像３３ａから画像３３ｂへの切り替えと異なる点である。なお、所定の接触面積は、特に決まった数値である必要はなく、任意に設定することができ、その値は記憶部９０１に記憶される。
Next, as shown in FIG. 19B, the user moves the
続いて、図１９（ｃ）に示すように、さらに人差し指２１と中指２２を同じ方向（図面横方向において、右方向）へ移動させて、画像３４ａから画像３４ｂへの切り替えを完了させている。
Subsequently, as shown in FIG. 19C, the
このように、データ表示／センサ装置１１０及びその制御方法では、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして、前記の人差し指２１及び中指２２の動きに応じて、画像３４ａから画像３４ｂへの切り替えが行われる。それゆえ、単に指先で裏表両面から画像３４ａを挟持するだけでは画像３４ａから画像３４ｂへの切り替えは実行されず、ユーザは、意識的に指の腹や側面を使う操作を求められる。つまり、データ表示／センサ装置１１０は、敢えてこのような操作をユーザに求めることにより誤操作のリスクを軽減している。
Thus, in the data display /
なお、画像３４ａから画像３４ｂへの切り替えが完全に行われる前に指の動きを停止することにより、画像３４ａと画像３４ｂとが並んで表示された状態を維持しうる。また、指の動きの速度に応じて、画像３４ａから画像３４ｂへの切り替えを所望の速度で実行することができる。さらに、人差し指２１及び中指２２の動きを前記とは逆の方向にすることにより、画像３４ｂから画像３４ａの方向に画像を切り替えることも可能である。そして、画像３４ａと画像３４ｂとの境目の移動方向は、図面横方向でも、図面縦方向でも、あるいはその他の方向であってもよく、適宜変更しうる。なお、ここで説明した様々な動作は、予め指−命令対応情報を設定しておき、その指−命令対応情報を参照することにより実現される。
Note that by stopping the movement of the finger before the switching from the
図１９（ａ）・（ｂ）で説明した動作の使用例として、次のような実施例が考えられる。例えば、ユーザが、電子アルバム化された複数の写真を順次鑑賞したい場合を考える。そのような場合に、画面に表示された写真（画像３４ａ）から、次の写真（画像３４ｂ）に移りたいときに、上述した人差し指２１、及び中指２２の動作により、ユーザは、画像３４ａから画像３４ｂへの切り替えを容易に、かつ迅速に行うことができる。このように、データ表示／センサ装置１１０は、画像を切り替えて次の画像を見たいというユーザの要求に確実に応えることができる。
As examples of use of the operations described in FIGS. 19A and 19B, the following embodiments can be considered. For example, let us consider a case where the user wants to sequentially view a plurality of photographs in an electronic album. In such a case, when the user wants to move from the photograph (
上述したように、画像３４ａから画像３４ｂへの切り替えは、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が所定の面積よりも大きいことをトリガにして行われる。従って、図１９（ｂ）に記載される画面の切り替えを実現するデータ表示／センサ装置１１０は、人差し指２１及び中指２２と表示／光センサ部３００との接触面積を算出することが可能な構成を備える必要がある。そこで、データ表示／センサ装置１１０の構成を図２１を参照して説明する。なお、図１を参照して前述した構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
As described above, the switching from the
図２１は、データ表示／センサ装置１１０の要部構成を表すブロック図である。図示のように、入力インターフェース制御部８０５は、さらに面積算出判定部８７０を備える。
FIG. 21 is a block diagram illustrating a main configuration of the data display /
面積算出判定部８７０は、データ処理部７００から部分画像データを取得し、取得した指の像の面積（以降、接触面積と称する）を算出する。そして、予め設定された所定の面積（以降、設定面積と称する）を記憶部９０１から読み出して、接触面積と設定面積とを比較する。その後、面積算出判定部８７０は、その判定結果を入力検出部８３０に出力する。なお、面積の算出方法は、従来の画像処理ソフトで行われる一般的な方法でよい。
The area
入力検出部８３０は、検知判定部８１０が第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、重畳判定部８２０が重畳領域が存在すると判定した場合、かつ、面積算出判定部８７０が、接触面積が設定面積よりも大きいと判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
The
従って、面積算出判定部８７０が、接触面積は設定面積よりも小さいと判定した場合には、入力検出部８３０は入力信号を生成しない。そして、その結果、ユーザがいかに指を動かしたとしても、画像３４ａから画像３４ｂへの切り替えを実行することはできない。
Therefore, when the area
このように、データ表示／センサ装置１１０は、画像３４ａから画像３４ｂへの切り替えを、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして行っている。
As described above, the data display /
次に、図１９、及び図２２を参照しながら、データ表示／センサ装置１１０の処理の流れについて説明する。図２２は、データ表示／センサ装置１１０の処理の流れを表すフローチャートである。なお、図２０を参照して説明したデータ表示／センサ装置１００の処理の流れと同一のステップには同一のステップ番号を付している。従って、これらのステップの詳細な説明は省略する。
Next, a processing flow of the data display /
重畳判定部８２０が、重畳領域が存在すると判定した場合（ステップＳ１７でＹｅｓ）、ステップＳ１８に進む。ステップＳ１８では、面積算出判定部８７０が、データ処理部７００から部分画像データを取得し、取得した指の像の面積（接触面積）を算出する。そして、面積算出判定部８７０は、予め設定された所定の面積（設定面積）を記憶部９０１から読み出して、接触面積が設定面積よりも大きいか否かを判定する。
If the
なお、重畳判定部８２０による接触面積と設定面積との比較は、第１表示／光センサ部３００Ａが検知した指の像の接触面積と設定面積との比較、あるいは第２表示／光センサ部３００Ｂが検知した指の像の接触面積と設定面積との比較のどちらでもよい。若しくは、２つの表示／光センサ部３００が検知した指の像の接触面積の大きい方（若しくは、小さい方）と設定面積とを比較する構成であってもよい。
The comparison between the contact area and the set area by the
一方、ステップＳ１８で「Ｎｏ」に進む場合は、再びステップＳ１５に戻る。なお、ステップＳ１５、ステップＳ１７、ステップＳ１８の順に処理を行うこととして説明したが、ここで説明した処理の順序に限定されず、適宜変更してよい。 On the other hand, when it progresses to "No" at step S18, it returns to step S15 again. In addition, although demonstrated as performing a process in order of step S15, step S17, and step S18, it is not limited to the order of the process demonstrated here, You may change suitably.
このように、データ表示／センサ装置１１０及びその制御方法では、人差し指２１及び中指２２と表示／光センサ部３００との接触面積が設定面積よりも大きいことをトリガにして、前記の人差し指２１及び中指２２の動きに応じて、画像３４ａから画像３４ｂへの切り替えが行われる。それゆえ、単に指先で裏表両面から画像３４ａを挟持するだけでは画像３４ａから画像３４ｂへの切り替えは実行されず、ユーザは、意識的に指の腹や側面を使う操作を求められる。つまり、データ表示／センサ装置１１０は、敢えてこのような操作をユーザに求めることにより誤操作のリスクを軽減している。
Thus, in the data display /
（変形例２）
次に、図２３、図２４を参照して、他の変形例について説明する。
(Modification 2)
Next, another modification will be described with reference to FIGS.
図２３（ａ）〜（ｃ）は、表示／光センサ部３００に画像が表示されていない状態で、画面の背景の色彩が段階的に変化していく様子を示す図である。また、図２４は、本発明の一実施形態に係るデータ表示／センサ装置１２０の要部構成を表すブロック図である。
FIGS. 23A to 23C are diagrams showing how the background color of the screen changes stepwise in a state where no image is displayed on the display / light sensor unit 300. FIG. FIG. 24 is a block diagram showing a main configuration of the data display /
以下、図２３、図２４を参照して、データ表示／センサ装置１２０について説明する。なお、図面に記載されている側を第１表示／光センサ部３００Ａとして説明する。また、図１等を参照して前述した構成要素と同一の構成要素には同一の参照符号を付している。従って、これらの構成要素の詳細な説明は省略する。
Hereinafter, the data display /
図２３に図示するように、第１表示／光センサ部３００Ａは、画面の下端部付近に信号生成領域１７０を有する。そして、重畳判定部８２０は、信号生成領域１７０を示す座標を記憶部９０１から読み取る（図２４参照）。なお、信号生成領域１７０は、第１表示／光センサ部３００Ａに表示されていても、表示されていなくても、何れでもよい。
As shown in FIG. 23, the first display /
ここで、重畳判定部８２０は、信号生成領域１７０と、第１表示／光センサ部３００Ａ及び／あるいは第２表示／光センサ部３００Ｂが検知した指の像の領域である像領域とが重畳するか否かを判定する。
Here, the
より具体的に説明すると、重畳判定部８２０は、データ制御部７００から２つの表示／光センサ部３００で検知された指の像の座標データ、全体画像データ、部分画像データを取得し、それらのデータから像領域を特定する。さらに、重畳判定部８２０は、座標によって示される信号生成領域１７０を記憶部９０１から読み取る。そして、重畳判定部８２０は、像領域と信号生成領域１７０との間に重畳する重畳領域が存在するか否かを判定し、その判定結果を入力検出部８３０に出力する。
More specifically, the
入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成し、その入力信号を動作制御部８４０に出力する。
The
従って、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の領域が信号生成領域１７０に重畳していない場合、入力検出部８３０は入力信号を生成しない。つまり、ユーザが信号生成領域１７０とは異なる領域に指でタッチしても、所望の動作を実現することはできない。
Accordingly, when the finger image areas detected by the first display /
なお、図２３では、信号生成領域１７０は図面下側に設けられている。しかしながら、信号生成領域１７０を設ける位置、大きさ、範囲は、任意に設定してよい。図２３は、あくまでその一例である。
In FIG. 23, the
図２３で説明した動作の使用例として、次のような実施例が考えられる。 The following embodiment can be considered as an example of using the operation described in FIG.
ユーザは、上面（第１表示／光センサ部３００Ａが配設された側）から親指２０で、下面（第２表示／光センサ部３００Ｂが配設された側）から人差し指２１で、それぞれ信号生成領域１７０をタッチする。これにより、検知判定部８１０は、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定する。
The user generates a signal with the
そして、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させる。これにより、入力検出部８３０は、その指の像の動きに対応付けられた入力信号を動作制御部８４０に出力する。ここで、親指２０と人差し指２１をそれぞれ反対方向へ移動させるという指の動き（正確には、その指の動きによる指の像の動き）と、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化するという動作が対応付けられているとする。すると、動作制御部８４０は、その入力信号と、アプリケーション９５０に所定の動作を実行させる命令とが対応付けられた指−命令対応情報を記憶部９０１から読み出し、当該入力信号に対応する動作実行命令をアプリケーション実行部８５０に送信する。ここで、その動作実行命令は、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化するという動作をアプリケーション実行部８５０に実行させる命令である。それゆえ、最終的に、図１を参照して説明した処理の流れに従って、第１表示／光センサ部３００Ａの画面の背景の色彩が段階的に変化していく。
Then, the
このように、データ表示／センサ装置１２０では、たとえ第１表示／光センサ部３００Ａに画像が表示されていない状態であっても、ユーザは、所望の動作をデータ表示／センサ装置１２０に実行させることができる。
As described above, in the data display /
また、データ表示／センサ装置１２０は、表裏両面の表示／光センサ部３００上の信号生成領域１７０において指の像が検知された場合に入力信号が生成される構成である。従って、ユーザは、表裏両面の表示／光センサ部３００上の信号生成領域１７０とは異なる他の領域に指をタッチしても、入力信号が生成されるという事態を回避することができる。
The data display /
それゆえ、信号生成領域１７０をユーザにとって操作しやすい領域に設定することにより、データ表示／センサ装置１２０は、優れた操作性及び利便性をユーザに提供することができる。なお、ユーザがデータ表示／センサ装置１２０を保持する際に、親指と人差し指が位置する近辺に信号生成領域１７０を設けておくことにより、ユーザが信号生成領域１７０をタッチする操作がさらに容易になり、ユーザにとって利便性及び操作性がより一層向上する。
Therefore, the data display /
また、データ表示／センサ装置１２０では、ユーザは、信号生成領域１７０の位置、大きさ、範囲を適宜設定することができるが、他のユーザの使用を制限するために、意図的に信号生成領域１７０を特定の領域に設定することもできる。これにより、他のユーザが勝手にデータ表示／センサ装置１２０を使用するといった事態を回避しうる。このように、データ表示／センサ装置１２０は、利便性及び操作性に優れた装置をユーザに提供することができる。
Further, in the data display /
ここで、本変形例から派生する実施例として、さらに次のような実施例も考えられる。以下、その使用例を説明する。 Here, as an example derived from this modification, the following example is also conceivable. An example of its use will be described below.
第１表示／光センサ部３００Ａは、画面の下端部付近に信号生成領域１７０を有する。ここで、第１表示／光センサ部３００Ａの信号生成領域１７０とは異なる領域に、図９を参照して説明した、矩形の画像２５ａが表示されていると仮定する。なお、矩形の画像２５ａの表示領域は、座標によって記憶部９０１に記録されている。
The first display /
そして、入力検出部８３０は、検知判定部８１０が、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが共に指の像を検知したと判定し、かつ、重畳判定部８２０が、像領域と信号生成領域１７０との間に重畳する重畳領域が存在すると判定した場合に、第１表示／光センサ部３００Ａ及び第２表示／光センサ部３００Ｂが検知した指の像の動きを検出して、その指の像の動きに対応付けられた入力信号を生成する。
Then, the
このとき、入力検出部８３０は、記憶部９０１から矩形の画像２５ａの表示領域を読み出しており、矩形の画像２５ａの表示領域に対して所定の動作を実行するように対応付けられた入力信号を動作制御部８４０に出力する。
At this time, the
このようにして、ユーザは、信号生成領域１７０において第１表示／光センサ部３００Ａに指の像の動きを検出させることにより、信号生成領域１７０とは異なる領域に表示された矩形の画像２５ａに所定の動作を実行することができる。つまり、ユーザは、矩形の画像２５ａが表示された領域を指でタッチすることなく、矩形の画像２５ａに対して所定の動作を実行することもできる。
In this way, the user causes the first display / light sensor unit 300 </ b> A to detect the movement of the finger image in the
それゆえ、ユーザは、たとえ矩形の画像２５ａが指から遠い位置に表示されていて、表裏両面から矩形の画像２５ａを挟持することが困難な場合であっても、信号生成領域１７０において指を動かすことにより、矩形の画像２５ａに対して所定の動作を実行することができる。これにより、データ表示／センサ装置１２０は、利便性及び操作性に優れた装置をユーザに提供することができる。
〔実施の形態２〕
次に、図２５〜図２７を参照して、本実施の形態に係るデータ表示／センサ装置１３０の実施例を説明する。なお、ここで説明する内容は、図９〜図２４を参照して説明した種々の動作を組み合わせることにより、ユーザが、所望の動作を実現するというものである。従って、図９〜図２４を参照して説明した動作の詳細、その動作を実現する処理の詳細、本実施の形態に係るデータ表示／センサ装置１３０によって得られる効果については、詳細説明を省略する。
Therefore, the user moves his / her finger in the
[Embodiment 2]
Next, an example of the data display /
図２５、図２６は、データ表示／センサ装置１３０の実施例を示す図である。図２５（ａ）は、表示／光センサ部３００に「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が表示された様子を示す。図２５（ｂ）は、メニュー画面から「ＴＶ」を示す画像が挟持されて、図面右側に引き出された様子を示す図である。図２５（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。図２５（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図である。
25 and 26 are diagrams showing an embodiment of the data display /
続いて、図２６（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。図２６（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図である。図２６（ｃ）は、「民放」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。図２６（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図である。 Next, FIG. 26A is a diagram showing a state in which the channel for private broadcasting is switched from “CH01” to “CH02”. FIG. 26B is a diagram illustrating a state when “CH02” is being viewed. FIG. 26 (c) is a diagram illustrating a state where “private broadcasting” is switched to “CS CH02”. FIG. 26D is a diagram showing a state when “CS CH02” is being viewed.
また、図２７は、ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。 FIG. 27 is a conceptual diagram of CS, commercial broadcasting, BS broadcasting, and channel selection in each broadcast radio wave in the TV menu.
まずは、図２５、図２６を参照して、データ表示／センサ装置１３０の実施例を具体的に説明する。
First, an embodiment of the data display /
図２５（ａ）には、第１表示／光センサ部３００Ａに「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」が示されている。なお、本図ではメニュー画面としてＴＥＬ／ＴＶ／ＷＥＢを用いて説明しているが、選択する項目はここに記載した項目に限らず、写真、動画などのメニューであってよい。
FIG. 25A shows the “menu screen (TEL / TV / WEB)” on the first display /
この状態は、ユーザが、メニュー画面からＴＥＬ、ＴＶ、あるいはＷＥＢのうちの何れかの項目を選択しうる状態であり、図１３（ａ）を参照して説明した、第１表示／光センサ部３００Ａの画面上端付近に画像２９ａ〜２９ｄが表示されているのと同様の状態である。
This state is a state in which the user can select any one of TEL, TV, and WEB from the menu screen. The first display / light sensor unit described with reference to FIG. This is the same state as when the
そして、図２５（ｂ）は、メニュー画面から「ＴＶ」を示す画像部分を挟持して引き出した様子を示す図である。つまり、図２５（ｂ）では、第１表示／光センサ部３００Ａの画面左端付近に表示された「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」から、ユーザが、上面から親指２０で、下面から人差し指２１で所望のメニューを挟持して、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させる。これにより、例えば「ＴＶ」を選択した場合に、図２５（ｂ）に示すように、ＴＶを示す画像が右方向へ引き伸ばされる。
FIG. 25B is a diagram illustrating a state in which an image portion indicating “TV” is sandwiched and pulled out from the menu screen. That is, in FIG. 25B, from the “menu screen (TEL / TV / WEB)” displayed near the left end of the screen of the first display /
なお、図示のように、ＴＶにはさらに「ＣＳ／民放／ＢＳ」という項目（放送電波の種類）が含まれる。従って、ユーザは、この項目の中から所望の放送電波を選択することができる。なお、ここでは「ＣＳ／民放／ＢＳ」という項目により説明を行うが、他の項目を含んでもよい。 As shown in the figure, the TV further includes an item “CS / commercial broadcasting / BS” (type of broadcast wave). Therefore, the user can select a desired broadcast radio wave from this item. Here, the description will be made with the item “CS / private / BS”, but other items may be included.
図２５（ｃ）は、ＴＶメニューから「民放」が選択された様子を示す図である。この状態は、ユーザが、「ＣＳ／民放／ＢＳ」から「民放」を選択した状態であり、図１８を参照して説明した、親指２０と人差し指２１が表裏両面から同時に画像３４をタッチして、画像３４を選択する動作に該当する。つまり、図２６（ｃ）の段階では、第１表示／光センサ部３００Ａに「ＣＳ／民放／ＢＳ」を表示しておき、ユーザは、上面から親指２０で、下面から人差し指２１で所望のメニューをタッチする。これにより、例えば「民放」を選択した場合に、図２５（ｃ）に示すように民放が選択されて、図２５（ｄ）の状態に移る。
FIG. 25C is a diagram showing a state in which “Private release” is selected from the TV menu. This state is a state in which the user selects “CS / Private Release / BS” from “CS / PB”, and the
図２５（ｄ）は、民放「ＣＨ０１」が視聴されている時の様子を示す図であり、「民放」を選択した結果、民放「ＣＨ０１」を視聴することができるようになったものである。 FIG. 25 (d) is a diagram showing a state in which the private broadcast “CH01” is being viewed. As a result of selecting “public broadcast”, the private broadcast “CH01” can be viewed. .
続いて、図２６（ａ）は、民放のチャンネルを「ＣＨ０１」から「ＣＨ０２」に切り替えている様子を示す図である。ユーザは、「ＣＨ０１」から「ＣＨ０２」にチャンネルを切り替えたくなった場合には、図示のように、親指２０と人差し指２１をそれぞれ反対方向（図面縦方向において、親指２０を上方向、人差し指２１を下方向）へ移動させて、「ＣＨ０１」から「ＣＨ０２」への切り替えを行う。これは、図１７を参照して説明した、親指２０と人差し指２１をそれぞれ反対方向へ移動させて、画像３３ａから画像３３ｂへの切り替えを行う動作に該当する。
Next, FIG. 26A is a diagram showing a state in which the channel for private broadcasting is switched from “CH01” to “CH02”. When the user wants to switch the channel from “CH01” to “CH02”, as shown in the figure, the
図２６（ｂ）は、「ＣＨ０２」が視聴されている時の様子を示す図であり、「ＣＨ０１」から「ＣＨ０２」への切り替えを行った結果、民放の「ＣＨ０２」を視聴することができるようになったものである。 FIG. 26B is a diagram illustrating a state in which “CH02” is being viewed. As a result of switching from “CH01” to “CH02”, it is possible to view “CH02” which is a commercial broadcast. It is like that.
図２６（ｃ）は、「民放 ＣＨ０２」から「ＣＳ ＣＨ０２」に切り替えている様子を示す図である。ユーザは、「民放」から「ＣＳ」に放送電波を切り替えたくなった場合には、図示のように、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させて、「民放」から「ＣＳ ＣＨ０２」に切り替えを図っている。これは、図１１を参照して説明した、親指２０と人差し指２１をそれぞれ同じ方向へ移動させて、画像を移動させる動作に該当する。あるいは、この動作は、図１３を参照して説明した画像を引き伸ばしする動作に類似する。
FIG. 26 (c) is a diagram showing a state where “private channel CH02” is switched to “CS CH02”. When the user wants to switch the broadcast radio wave from “private broadcasting” to “CS”, the user moves the
図２６（ｄ）は、「ＣＳ ＣＨ０２」が視聴されている時の様子を示す図であり、「ＣＨ０１」から「ＣＨ０２」への切り替えを行った結果、「ＣＨ０２」を視聴することができるようになったものである。 FIG. 26 (d) is a diagram showing a state when “CS CH02” is being viewed. As a result of switching from “CH01” to “CH02”, “CH02” can be viewed. It has become.
ここで、図２５、図２６を参照して説明した処理の流れを、図２７を用いて概略的に説明する。図２７は、ＴＶメニューにおける、ＣＳ、民放、及びＢＳ放送、及びそれら各放送電波におけるチャンネル選択の概念図である。なお、図示した状態は、すでに「メニュー画面（ＴＥＬ／ＴＶ／ＷＥＢ）」から「ＴＶ」が選択された状態にある。 Here, the flow of processing described with reference to FIGS. 25 and 26 will be schematically described with reference to FIG. FIG. 27 is a conceptual diagram of CS, commercial broadcasting, and BS broadcasting in the TV menu, and channel selection for each of these broadcasting radio waves. In the illustrated state, “TV” has already been selected from the “menu screen (TEL / TV / WEB)”.
ここで、図２５、図２６を参照して説明した処理の流れを理解するために、図２７に示すように、「ＣＳ／民放／ＢＳ」という項目（放送電波の種類）が図面横方向に並び、かつ、各項目ごとに「チャンネル」がリング状に並んでいる状態を考える。 Here, in order to understand the flow of processing described with reference to FIGS. 25 and 26, as shown in FIG. 27, the item “CS / private broadcasting / BS” (type of broadcast radio wave) is shown in the horizontal direction of the drawing. Consider a state where “channels” are arranged in a ring shape for each item.
ユーザは、視聴したい放送電波を選択する際には、横方向の指の動きを求められる。例えば、ユーザは、「民放」から「ＣＳ」に切り替えたい場合に、第１表示／光センサ部３００Ａに表示された画像を上面から親指２０で、下面から人差し指２１で挟持し、親指２０と人差し指２１をそれぞれ同じ方向（図面横方向において、右方向）へ移動させる。これにより、第１表示／光センサ部３００Ａに「ＣＳ」の放送が表示される。また、「民放」から「ＢＳ」に切り替えたい場合には、「民放」から「ＣＳ」に切り替えた時とは逆の指の動きを行う。これにより、第１表示／光センサ部３００Ａに「ＢＳ」の放送が表示される。つまり、図２７に図示する、横方向に並んだ「ＣＳ／民放／ＢＳ」という項目を切り替える場合には、指を横方向に移動させることにより、所望の放送電波を選択することが可能となる。
The user is required to move the finger in the horizontal direction when selecting a broadcast wave to be viewed. For example, when the user wants to switch from “commercial service” to “CS”, the image displayed on the first display /
そして、ユーザは、視聴したいチャンネルを切り替える際には、縦方向の指の動きを求められる。例えば、ユーザは、「ＣＨ０１」から「ＣＨ０２」に切り替えたい場合に、第１表示／光センサ部３００Ａに表示された画像を上面から親指２０で、下面から人差し指２１で挟持し、親指２０と人差し指２１をそれぞれ反対方向（図面横方向において、親指２０を上方向、人差し指２１を下方向）へ移動させる。これにより、第１表示／光センサ部３００Ａに「ＣＨ０２」の放送が表示される。また、「ＣＨ０２」から「ＣＨ０１」に切り替えたい場合には、「ＣＨ０１」から「ＣＨ０２」に切り替えた時とは逆の指の動きを行う。これにより、第１表示／光センサ部３００Ａに「ＣＨ０１」の放送が表示される。つまり、図２７に図示する、縦方向に並んだ「チャンネル」を切り替える場合には、指を縦方向に指を移動することにより、所望のチャンネルに切り替えることができる。
The user is required to move the finger in the vertical direction when switching the channel to be viewed. For example, when the user wants to switch from “CH01” to “CH02”, the user holds the image displayed on the first display /
このように、各機能（ＴＥＬ／ＴＶ／ＷＥＢ）ごとに、あるいは、所望の機能を選択した状態での表示画面ごとに、予め設定された指−命令対応情報を参照することにより、指の動き（より正確には、表示／光センサ部３００が検知する指の像の動き）と、それに対応付けられた動作が実行される。これにより、ユーザは、所望の画面を第１表示／光センサ部３００Ａに表示させることができる。そして図２５、図２６を参照して説明したように、図９〜図１９で説明した種々の動作を適宜組み合わせることにより、ユーザは、所望の動作を実現することができる。
Thus, by referring to the finger-command correspondence information set in advance for each function (TEL / TV / WEB) or for each display screen in a state where a desired function is selected, the movement of the finger (To be more precise, the movement of the finger image detected by the display / light sensor unit 300) and the operation associated therewith are executed. Thereby, the user can display a desired screen on the first display /
なお、発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims, and the embodiments can be obtained by appropriately combining technical means disclosed in different embodiments. The form is also included in the technical scope of the present invention.
また、本発明に係る入力装置を備えた携帯電話等の情報端末装置も、本発明の技術的範囲に含まれる。 An information terminal device such as a mobile phone provided with the input device according to the present invention is also included in the technical scope of the present invention.
（プログラム、コンピュータ読み取り可能な記録媒体）
最後に、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０の各ブロック、特に入力インターフェース制御部８０５の検知判定部８１０、重畳判定部８２０、入力検出部８３０、動作制御部８４０、アプリケーション実行部８５０、及び画像表示制御部８６０、並びにデータ表示／センサ装置１１０の面積算出判定部８７０は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
(Program, computer-readable recording medium)
Finally, each block of the data display /
すなわち、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（Central Processing Unit）、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるデータ表示／センサ装置１００、１１０、１２０、１３０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記データ表示／センサ装置１００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
That is, the data display /
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。 Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
また、本実施形態に係るデータ表示／センサ装置１００、１１０、１２０、１３０を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
The data display /
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.
本発明は、二つの入力面から入力する携帯電話機、ＰＤＡなどのモバイル機器（携帯端末）に適用できる。特に、像検知装置を備えた携帯端末に好適である。 The present invention can be applied to mobile devices (portable terminals) such as mobile phones and PDAs that input from two input surfaces. In particular, it is suitable for a portable terminal equipped with an image detection device.
１００、１１０、１２０、１３０ データ表示／センサ装置（入力装置）
１７０ 信号生成領域（所定の領域）
８００ 主制御部
８０５ 入力インターフェース制御部
８１０ 検知判定部（検知判定手段）
８２０ 重畳判定部（重畳判定手段）
８３０ 入力検出部（入力検出手段）
８４０ 動作制御部（動作制御手段）
８５０ アプリケーション実行部（動作実行装置）
８６０ 画像表示制御部（画像表示制御手段）
８７０ 面積算出判定部
９０１ 記憶部
100, 110, 120, 130 Data display / sensor device (input device)
170 Signal generation area (predetermined area)
800
820 Superimposition determination unit (superimposition determination means)
830 Input detection unit (input detection means)
840 Operation control unit (operation control means)
850 application execution unit (operation execution device)
860 Image display control unit (image display control means)
870 Area
Claims (9)
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定手段と、
前記検知判定手段が、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出手段と、を備えることを特徴とする入力装置。 The planar member that detects the image in the vicinity is a plate-like input device disposed on both the front and back surfaces,
Detection determination means for determining whether or not both of the surface members on both the front and back surfaces have detected a finger image;
When the detection determination unit determines that both the front and back surface members have detected finger images, the detection unit detects movements of the finger images detected by the front and back surface members, respectively. And an input detection means for generating an input signal associated with the movement of the image.
前記入力検出手段は、前記画像に対応付けられた前記入力信号を生成することを特徴とする請求項３に記載の入力装置。 In the planar members on both the front and back surfaces, image display control means for displaying an image in the predetermined area,
The input device according to claim 3, wherein the input detection unit generates the input signal associated with the image.
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、
前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、を含むことを特徴とする入力装置の制御方法。 A planar member for detecting a nearby image is a method for controlling a plate-like input device arranged on both the front and back surfaces,
A detection determination step for determining whether or not the planar members on both the front and back surfaces have both detected a finger image;
When it is determined in the detection determination step that both the front and back surface members have detected finger images, the movements of the finger images respectively detected by the front and back surface members are detected, and the finger images are detected. And an input detection step of generating an input signal associated with the movement of the image.
前記表裏両面の面状部材が、共に指の像を検知したか否かを判定する検知判定ステップと、
前記検知判定ステップによって、前記表裏両面の面状部材が共に指の像を検知したと判定した場合に、前記表裏両面の面状部材がそれぞれ検知した指の像の動きを検出して、該指の像の動きに対応付けられた入力信号を生成する入力検出ステップと、をコンピュータに実行させるための入力装置の制御プログラム。 The planar member for detecting a nearby image is a control program for a plate-shaped input device disposed on both the front and back surfaces,
A detection determination step for determining whether or not the planar members on both the front and back surfaces have both detected a finger image;
When it is determined in the detection determination step that both the front and back surface members have detected finger images, the movements of the finger images respectively detected by the front and back surface members are detected, and the finger images are detected. An input device control program for causing a computer to execute an input detection step of generating an input signal associated with the motion of the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008326274A JP2010146506A (en) | 2008-12-22 | 2008-12-22 | Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008326274A JP2010146506A (en) | 2008-12-22 | 2008-12-22 | Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010146506A true JP2010146506A (en) | 2010-07-01 |
| JP2010146506A5 JP2010146506A5 (en) | 2012-02-16 |
Family
ID=42566839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008326274A Pending JP2010146506A (en) | 2008-12-22 | 2008-12-22 | Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010146506A (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011076233A (en) * | 2009-09-29 | 2011-04-14 | Fujifilm Corp | Image displaying device, image displaying method, and program |
| JP2012037979A (en) * | 2010-08-04 | 2012-02-23 | Sony Corp | Information processor, information processing method, and computer program |
| WO2012026395A1 (en) * | 2010-08-24 | 2012-03-01 | 京セラ株式会社 | Mobile terminal and unlocking method |
| JP2012084137A (en) * | 2010-09-15 | 2012-04-26 | Kyocera Corp | Portable electronic device, screen control method and screen control program |
| JP2012095069A (en) * | 2010-10-27 | 2012-05-17 | Kyocera Corp | Portable terminal, lock state control program and lock state control method |
| JP2012141869A (en) * | 2011-01-05 | 2012-07-26 | Sony Corp | Information processing apparatus, information processing method, and computer program |
| JP2012174252A (en) * | 2011-02-24 | 2012-09-10 | Kyocera Corp | Electronic device, contact operation control program, and contact operation control method |
| JP2012208758A (en) * | 2011-03-30 | 2012-10-25 | Brother Ind Ltd | Input apparatus and image display apparatus |
| JP2013008340A (en) * | 2011-06-27 | 2013-01-10 | Kyocera Corp | Portable terminal device, program, and display control method |
| WO2013065214A1 (en) * | 2011-10-31 | 2013-05-10 | 株式会社ソニー・コンピュータエンタテインメント | Input control device, input control method, and input control program |
| JP2013089202A (en) * | 2011-10-21 | 2013-05-13 | Sony Computer Entertainment Inc | Input control unit, input control method and input control program |
| JP2013117885A (en) * | 2011-12-02 | 2013-06-13 | Nintendo Co Ltd | Information processing program, information processing equipment, information processing system and information processing method |
| JP2013140416A (en) * | 2011-12-28 | 2013-07-18 | Alpine Electronics Inc | Scroll controller and scroll control method |
| JP2014029673A (en) * | 2012-07-04 | 2014-02-13 | Canon Inc | Display device and method for controlling the same |
| JP2014063319A (en) * | 2012-09-20 | 2014-04-10 | Sharp Corp | Information processing apparatus, control method, control program, and recording medium |
| WO2014054424A1 (en) * | 2012-10-01 | 2014-04-10 | Canon Kabushiki Kaisha | Operation reception device and method for receiving operation |
| JP2014531688A (en) * | 2011-09-30 | 2014-11-27 | マイクロソフト コーポレーション | Omni-directional gesture input |
| JP2015133124A (en) * | 2015-02-05 | 2015-07-23 | 京セラ株式会社 | Portable terminal and locked-state releasing method |
| JP2016054005A (en) * | 2010-09-15 | 2016-04-14 | 京セラ株式会社 | Portable electronic device, screen control method, and screen control program |
| JPWO2014003012A1 (en) * | 2012-06-29 | 2016-06-02 | 日本電気株式会社 | Terminal device, display control method, and program |
| JP2017215814A (en) * | 2016-05-31 | 2017-12-07 | 日本電信電話株式会社 | Data display device, data display method, and program |
| US9983700B2 (en) | 2011-07-14 | 2018-05-29 | Nec Corporation | Input device, image display method, and program for reliable designation of icons |
| US11334222B2 (en) | 2014-02-10 | 2022-05-17 | Samsung Electronics Co., Ltd. | User terminal device and displaying method Thereof |
| US11347372B2 (en) | 2014-02-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | User terminal device and displaying method thereof |
| US11543940B2 (en) | 2014-02-10 | 2023-01-03 | Samsung Electronics Co., Ltd. | User terminal device and displaying method thereof |
| WO2024027158A1 (en) * | 2022-08-02 | 2024-02-08 | 摩星半导体(广东)有限公司 | Photosensitive recognition circuit, photosensitive positioning method, and display device |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000163031A (en) * | 1998-11-25 | 2000-06-16 | Seiko Epson Corp | Portable information equipment and information storage medium |
| JP2000293280A (en) * | 1999-04-07 | 2000-10-20 | Sharp Corp | Information input device |
| JP2003330611A (en) * | 2002-05-16 | 2003-11-21 | Sony Corp | Input method and input device |
| JP2003345511A (en) * | 2002-05-24 | 2003-12-05 | Canon Inc | Image recorder/reproducer with touch panel |
| JP2006244446A (en) * | 2005-02-03 | 2006-09-14 | Toshiba Matsushita Display Technology Co Ltd | Display device |
| JP2007141029A (en) * | 2005-11-21 | 2007-06-07 | Matsushita Electric Ind Co Ltd | Portable information device |
| JP2009223426A (en) * | 2008-03-13 | 2009-10-01 | Sharp Corp | Information display device and method |
-
2008
- 2008-12-22 JP JP2008326274A patent/JP2010146506A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000163031A (en) * | 1998-11-25 | 2000-06-16 | Seiko Epson Corp | Portable information equipment and information storage medium |
| JP2000293280A (en) * | 1999-04-07 | 2000-10-20 | Sharp Corp | Information input device |
| JP2003330611A (en) * | 2002-05-16 | 2003-11-21 | Sony Corp | Input method and input device |
| JP2003345511A (en) * | 2002-05-24 | 2003-12-05 | Canon Inc | Image recorder/reproducer with touch panel |
| JP2006244446A (en) * | 2005-02-03 | 2006-09-14 | Toshiba Matsushita Display Technology Co Ltd | Display device |
| JP2007141029A (en) * | 2005-11-21 | 2007-06-07 | Matsushita Electric Ind Co Ltd | Portable information device |
| JP2009223426A (en) * | 2008-03-13 | 2009-10-01 | Sharp Corp | Information display device and method |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8830184B2 (en) | 2009-09-29 | 2014-09-09 | Fujifilm Corporation | Image displaying device, image displaying method, and program for displaying images |
| JP2011076233A (en) * | 2009-09-29 | 2011-04-14 | Fujifilm Corp | Image displaying device, image displaying method, and program |
| CN102375597A (en) * | 2010-08-04 | 2012-03-14 | 索尼公司 | Information processing apparatus, information processing method, and computer program |
| JP2012037979A (en) * | 2010-08-04 | 2012-02-23 | Sony Corp | Information processor, information processing method, and computer program |
| WO2012026395A1 (en) * | 2010-08-24 | 2012-03-01 | 京セラ株式会社 | Mobile terminal and unlocking method |
| US9398463B2 (en) | 2010-08-24 | 2016-07-19 | Kyocera Corporation | Portable terminal and lock state canceling method |
| US9154954B2 (en) | 2010-08-24 | 2015-10-06 | Kyocera Corporation | Portable terminal and lock state canceling method |
| JP2012084137A (en) * | 2010-09-15 | 2012-04-26 | Kyocera Corp | Portable electronic device, screen control method and screen control program |
| JP2016054005A (en) * | 2010-09-15 | 2016-04-14 | 京セラ株式会社 | Portable electronic device, screen control method, and screen control program |
| JP2012095069A (en) * | 2010-10-27 | 2012-05-17 | Kyocera Corp | Portable terminal, lock state control program and lock state control method |
| JP2012141869A (en) * | 2011-01-05 | 2012-07-26 | Sony Corp | Information processing apparatus, information processing method, and computer program |
| JP2012174252A (en) * | 2011-02-24 | 2012-09-10 | Kyocera Corp | Electronic device, contact operation control program, and contact operation control method |
| JP2012208758A (en) * | 2011-03-30 | 2012-10-25 | Brother Ind Ltd | Input apparatus and image display apparatus |
| US8866737B2 (en) | 2011-03-30 | 2014-10-21 | Brother Kogyo Kabushiki Kaisha | Input device and image display apparatus |
| JP2013008340A (en) * | 2011-06-27 | 2013-01-10 | Kyocera Corp | Portable terminal device, program, and display control method |
| US9983700B2 (en) | 2011-07-14 | 2018-05-29 | Nec Corporation | Input device, image display method, and program for reliable designation of icons |
| JP2014531688A (en) * | 2011-09-30 | 2014-11-27 | マイクロソフト コーポレーション | Omni-directional gesture input |
| JP2013089202A (en) * | 2011-10-21 | 2013-05-13 | Sony Computer Entertainment Inc | Input control unit, input control method and input control program |
| WO2013065214A1 (en) * | 2011-10-31 | 2013-05-10 | 株式会社ソニー・コンピュータエンタテインメント | Input control device, input control method, and input control program |
| CN103890703A (en) * | 2011-10-31 | 2014-06-25 | 索尼电脑娱乐公司 | Input control device, input control method, and input control program |
| EP2752745A4 (en) * | 2011-10-31 | 2015-06-03 | Sony Computer Entertainment Inc | Input control device, input control method, and input control program |
| JP2013097563A (en) * | 2011-10-31 | 2013-05-20 | Sony Computer Entertainment Inc | Input control device, input control method, and input control program |
| US9433857B2 (en) | 2011-10-31 | 2016-09-06 | Sony Corporation | Input control device, input control method, and input control program |
| JP2013117885A (en) * | 2011-12-02 | 2013-06-13 | Nintendo Co Ltd | Information processing program, information processing equipment, information processing system and information processing method |
| JP2013140416A (en) * | 2011-12-28 | 2013-07-18 | Alpine Electronics Inc | Scroll controller and scroll control method |
| US10394366B2 (en) | 2012-06-29 | 2019-08-27 | Nec Corporation | Terminal device, display control method, and program |
| JPWO2014003012A1 (en) * | 2012-06-29 | 2016-06-02 | 日本電気株式会社 | Terminal device, display control method, and program |
| JP2014029673A (en) * | 2012-07-04 | 2014-02-13 | Canon Inc | Display device and method for controlling the same |
| JP2014063319A (en) * | 2012-09-20 | 2014-04-10 | Sharp Corp | Information processing apparatus, control method, control program, and recording medium |
| US9594445B2 (en) | 2012-10-01 | 2017-03-14 | Canon Kabushiki Kaisha | Operation reception device and method for receiving operation on page image, storage medium, and image forming apparatus for use with operation reception device |
| WO2014054424A1 (en) * | 2012-10-01 | 2014-04-10 | Canon Kabushiki Kaisha | Operation reception device and method for receiving operation |
| US11334222B2 (en) | 2014-02-10 | 2022-05-17 | Samsung Electronics Co., Ltd. | User terminal device and displaying method Thereof |
| US11347372B2 (en) | 2014-02-10 | 2022-05-31 | Samsung Electronics Co., Ltd. | User terminal device and displaying method thereof |
| US11543940B2 (en) | 2014-02-10 | 2023-01-03 | Samsung Electronics Co., Ltd. | User terminal device and displaying method thereof |
| US11789591B2 (en) | 2014-02-10 | 2023-10-17 | Samsung Electronics Co., Ltd. | User terminal device and displaying method thereof |
| US11960705B2 (en) | 2014-02-10 | 2024-04-16 | Samsung Electronics Co., Ltd. | User terminal device and displaying method thereof |
| JP2015133124A (en) * | 2015-02-05 | 2015-07-23 | 京セラ株式会社 | Portable terminal and locked-state releasing method |
| JP2017215814A (en) * | 2016-05-31 | 2017-12-07 | 日本電信電話株式会社 | Data display device, data display method, and program |
| WO2024027158A1 (en) * | 2022-08-02 | 2024-02-08 | 摩星半导体(广东)有限公司 | Photosensitive recognition circuit, photosensitive positioning method, and display device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010146506A (en) | Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device | |
| CN103729157B (en) | Multi-display equipment and its control method | |
| RU2604990C2 (en) | Method of operating terminal based on multiple inputs and portable terminal supporting same | |
| JP5367339B2 (en) | MENU DISPLAY DEVICE, MENU DISPLAY DEVICE CONTROL METHOD, AND MENU DISPLAY PROGRAM | |
| JP2010108081A (en) | Menu display device, method of controlling the menu display device, and menu display program | |
| WO2011102038A1 (en) | Display device with touch panel, control method therefor, control program, and recording medium | |
| JP2010140300A (en) | Display, control method, control program and recording medium | |
| JP5095574B2 (en) | Image display / image detection apparatus, image display method, image display program, and recording medium recording the program | |
| JP5322163B2 (en) | Display device, display method, and display program | |
| JP2010122972A (en) | Image display/detection device, selection method, and program | |
| JP5306780B2 (en) | Input device | |
| JP2010108088A (en) | Content display device, content display method and content display program | |
| JP5185086B2 (en) | Display device, display device control method, display device control program, and computer-readable recording medium storing the program | |
| JP2010204945A (en) | Input device and input method | |
| JP5254753B2 (en) | Numerical input device, numerical input method, numerical input program, and computer-readable recording medium | |
| JP2010122383A (en) | Display apparatus | |
| JP2010256969A (en) | User interface device and method for controlling the same | |
| WO2010050567A1 (en) | Data transmission support device, electronic equipment and data transmission support device control method | |
| JP2010122444A (en) | Map display apparatus, method for controlling map display apparatus, program for controlling map display apparatus, and computer readable recording medium | |
| JP2010160689A (en) | Input device and method of controlling the same | |
| JP2010109947A (en) | Processing execution command device, electronic equipment, and method of controlling processing execution command device | |
| JP2010108446A (en) | Information processor, control method of information processor, and information processing program | |
| JP2010117841A (en) | Image detection device, recognition method of input position and program | |
| JP5171572B2 (en) | Image display device, control method for image display device, program, and recording medium | |
| WO2010050562A1 (en) | Processing control unit, processing execution unit, information processing device, control method, control program, and computer-readable recording medium containing the control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131022 |