JP2010128566A - Image detection device, recognition method for input region, and program - Google Patents
Image detection device, recognition method for input region, and program Download PDFInfo
- Publication number
- JP2010128566A JP2010128566A JP2008299624A JP2008299624A JP2010128566A JP 2010128566 A JP2010128566 A JP 2010128566A JP 2008299624 A JP2008299624 A JP 2008299624A JP 2008299624 A JP2008299624 A JP 2008299624A JP 2010128566 A JP2010128566 A JP 2010128566A
- Authority
- JP
- Japan
- Prior art keywords
- region
- sensor
- data
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、像検知装置、及び該装置における入力領域の認識方法に関するものである。また、当該像検知装置を動作させるためのプログラムに関する。 The present invention relates to an image detection apparatus and an input region recognition method in the apparatus. The present invention also relates to a program for operating the image detection apparatus.
情報化社会の発展に伴い、様々な場面において情報機器が利用される。そのため、情報機器とそのユーザとの対話を円滑化する技術は非常に重要である。特に、近年、低コストでかつデザイン性に優れるという観点から、タッチパネル式の入力キーを備えた情報機器が増加しているが、誤入力の問題も生じやすい。そのため、とりわけ、情報機器に対する、ユーザによる情報入力を円滑化する技術の開発がもとめられている。 With the development of the information society, information equipment is used in various situations. Therefore, a technique for facilitating a dialogue between an information device and its user is very important. In particular, in recent years, from the viewpoint of low cost and excellent design, information devices equipped with touch panel type input keys are increasing, but the problem of erroneous input is likely to occur. For this reason, in particular, development of a technology for facilitating information input by a user for information equipment has been sought.
例えば、特許文献１には、情報機器の表示／入力画面に指でタッチした場合に、当該タッチ位置を中心として環状に複数のメニュー項目を表示してユーザを補助する技術が開示されている。
For example,
また、特許文献２には、片手で操作がなされる情報機器において、ユーザが左右どちらの手で当該機器を持っているかを検知して、検知結果に応じて表示／入力画面上の入力キーの配列を変更してユーザを補助する技術が開示されている。
しかしながら、特許文献１及び２に記載の技術では、ユーザによる情報入力は十分には円滑とはならず、さらなる改良がもとめられている。
However, in the techniques described in
とりわけ、情報機器の小型化に伴い、入力キー自身もより小さくなり、かつ片手で操作を行うユーザが増加したため、誤入力の問題がより生じ易くなっている現状がある。 In particular, with the downsizing of information equipment, the number of input keys themselves has become smaller and the number of users who operate with one hand has increased.
本発明は、上記課題に鑑みてなされたものであり、特に情報機器に対するユーザの入力を円滑化する技術を提供することを主たる目的とする。 The present invention has been made in view of the above problems, and it is a main object of the present invention to provide a technique for facilitating user input to an information device.
本発明に係る像検知装置は、上記の課題を解決するために、像を検知する面状部材と、面状部材が検知した対象物の像から対象物の向きを検出する向き検出手段と、面状部材が検知した対象物の像に基づいて、選択された当該面状部材上の領域Ａを検出する選択領域検出手段と、当該領域Ａの、上記向きに沿った先端側の点と後端側の点とを検出する領域端検出手段と、先端側の点と後端側の点との間の距離を領域Ａの幅として検出する領域幅検出手段と、先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、面状部材に対する入力領域として認識する入力領域認識手段と、を備えることを特徴としている。 In order to solve the above-described problems, an image detection device according to the present invention includes a planar member that detects an image, and a direction detection unit that detects the orientation of the object from the image of the object detected by the planar member; Based on the image of the object detected by the planar member, the selected region detecting means for detecting the region A on the selected planar member, the point on the tip side of the region A along the direction, and the rear A region end detecting means for detecting the end point, a region width detecting means for detecting the distance between the tip end point and the rear end point as the width of the region A, and the tip point or An input area recognition means for recognizing the input area for the planar member by combining the area B having the center of gravity and the maximum width equal to or less than the width of the area A and the area A selected by the object; It is characterized by that.
上記の構成によれば、対象物による現実の選択領域（領域Ａ）と、当該対象物の向きの先端側に位置する所定の最大幅を持つ領域Ｂとを合わせて面状部材に対する入力領域として認識する。これにより、対象物の向きに応じた、より正確な入力操作を実現することができる。 According to the above configuration, the actual selection area (area A) by the object and the area B having the predetermined maximum width located on the leading end side of the direction of the object are combined as an input area for the planar member. recognize. Thereby, more accurate input operation according to the direction of the object can be realized.
また、通常、上記先端側の点と後端側の点との間の距離が短いほど、対象物の先端部による正確な入力である可能性がより高い。したがって、上記の構成によれば、対象物の向きに沿った選択領域の幅、すなわち入力の確からしさを考慮して、上記領域Ｂの最大幅の上限を決定することができる。 In general, the shorter the distance between the tip end point and the rear end point, the higher the possibility that the input is accurate by the tip of the object. Therefore, according to said structure, the upper limit of the maximum width of the said area | region B can be determined in consideration of the width | variety of the selection area | region along the direction of a target object, ie, the probability of input.
なお、本発明において「領域Ｂの最大幅」とは、領域Ｂ内に位置する任意の二点間の距離のうち最大になる長さを指す。例えば、領域Ｂが円形の場合はその直径が、楕円形の場合はその長軸の長さが最大幅に相当する。また、領域ＢがＮ角形（ここでＮは３以上の整数）の場合は任意の二つの頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。また、領域Ｂが角丸Ｎ角形（ここでＮは３以上の整数）の場合は任意の二つの丸い頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。 In the present invention, the “maximum width of the region B” refers to the maximum length of the distance between any two points located in the region B. For example, when the region B is circular, the diameter corresponds to the maximum width, and when the region B is elliptical, the length of the major axis corresponds to the maximum width. When the region B is an N-gon (where N is an integer of 3 or more), the length of the longest line segment connecting two arbitrary vertices corresponds to the maximum width. In the case where the region B is rounded N (where N is an integer of 3 or more), the length of the longest line segment connecting two arbitrary round vertices corresponds to the maximum width.
本発明に係る像検知装置では、領域Ｂの最大幅が、上記領域Ａの幅に正比例して変動する構成であってもよい。 The image detection apparatus according to the present invention may be configured such that the maximum width of the region B varies in direct proportion to the width of the region A.
通常、上記領域Ａの幅が長いほど不正確な入力である可能性が高く、当該幅が短いほど正確な入力である可能性がより高い。 In general, the longer the width of the region A, the higher the possibility of an incorrect input, and the shorter the width, the higher the possibility of an accurate input.
上記の構成によれば、上記領域Ａの幅が長いほど入力領域として認識される領域Ｂの最大幅が長くなり、領域Ａの幅が短いほど当該領域Ｂの最大幅が短くなるので、入力の確からしさを踏まえたより正確な入力操作を実現することができる。 According to the above configuration, the longer the width of the area A, the longer the maximum width of the area B recognized as the input area, and the shorter the width of the area A, the shorter the maximum width of the area B. A more accurate input operation based on the certainty can be realized.
本発明に係る像検知装置では、面状部材に複数の入力キーが設けられており、上記領域Ｂの最大幅が、隣接する入力キーのキーピッチ以下である構成であってもよい。 In the image detection apparatus according to the present invention, the planar member may be provided with a plurality of input keys, and the maximum width of the region B may be equal to or smaller than the key pitch of the adjacent input keys.
上記の構成によれば、キーピッチに応じて上記領域Ｂの最大幅の上限を決定し、より正確な入力操作を実現することができる。 According to said structure, the upper limit of the maximum width of the said area | region B is determined according to a key pitch, and more exact input operation can be implement | achieved.
なお、上記キーピッチとは、隣接する入力キーの重心間距離である。 The key pitch is a distance between the centers of gravity of adjacent input keys.
本発明に係る像検知装置では、さらに、面状部材が画像を表示する機能を有し、領域Ｂを示すポインタを面状部材に表示する構成であってもよい。 In the image detection apparatus according to the present invention, the planar member may further have a function of displaying an image, and the pointer indicating the region B may be displayed on the planar member.
上記の構成によれば、入力領域と認識される上記領域Ｂの範囲がポインタで示されるため、ユーザの入力操作を補助することができる。 According to said structure, since the range of the said area | region B recognized as an input area is shown with a pointer, a user's input operation can be assisted.
本発明に係る像検知装置では、上記領域Ｂが、上記先端側の点を中心とし、かつ直径が上記領域Ａの幅以下の円形領域であってもよい。 In the image detection apparatus according to the present invention, the region B may be a circular region having a point on the tip side as a center and a diameter equal to or smaller than the width of the region A.
本発明に係る像検知装置では、面状部材がフォトダイオード群を備え、当該フォトダイオード群が検出した受光量の変化に基づいて上記像を検知する構成であってもよい。 In the image detection apparatus according to the present invention, the planar member may include a photodiode group, and the image may be detected based on a change in the amount of received light detected by the photodiode group.
本発明に係る入力領域の認識方法は、上記の課題を解決するために、像を検知する面状部材を備えてなる像検知装置における入力領域の認識方法であって、当該像から面状部材に対する対象物の向きを検出する向き検出工程と、当該像に基づいて対象物により選択された面状部材上の領域Ａを検出する選択領域検出工程と、当該領域Ａの、上記向きに沿った先端側の点と後端側の点とを検出する領域端検出工程と、先端側の点と後端側の点との間の距離を領域Ａの幅として検出する領域幅検出工程と、先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、上記面状部材に対する入力領域として認識する入力領域認識工程と、を含むことを特徴としている。 An input area recognition method according to the present invention is a method for recognizing an input area in an image detection apparatus including a planar member that detects an image, in order to solve the above-described problem. A direction detecting step for detecting the orientation of the object relative to the object, a selection region detecting step for detecting the region A on the planar member selected by the object based on the image, and the region A along the direction. A region end detecting step for detecting a point on the front end side and a point on the rear end side, a region width detecting step for detecting a distance between the point on the front end side and the point on the rear end side as the width of the region A, An input that is recognized as an input area for the planar member by combining the area B having the center point or the center of gravity and the maximum width equal to or less than the width of the area A together with the area A selected by the object And a region recognition step.
上記の構成によれば、本発明に係る像検知装置と同様の作用効果を奏する。 According to said structure, there exists an effect similar to the image detection apparatus which concerns on this invention.
また、本発明に係る像検知装置を動作させるためのプログラムであって、コンピュータを上記の各手段として駆動させることを特徴とするプログラムおよび該プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に含まれる。 Further, a program for operating the image detection apparatus according to the present invention, which is characterized in that the computer is driven as each of the above-described means, and a computer-readable recording medium storing the program are also included in the present invention. Included in the category.
本発明によれば、像を検知する面状部材における、対象物による現実の選択領域（領域Ａ）と、当該対象物の向きの先端側に位置する所定の最大幅の領域Ｂとを合わせて面状部材に対する入力領域として認識する。これにより、対象物の向きに応じた、より正確な入力操作を実現することができる。 According to the present invention, the actual selection region (region A) by the object in the planar member for detecting an image is combined with the region B having a predetermined maximum width located on the leading end side in the direction of the object. Recognized as an input area for a planar member. Thereby, more accurate input operation according to the direction of the object can be realized.
（データ表示／センサ装置の動作の概要）
図１は、本発明の一実施形態に係るデータ表示／センサ装置１００の外観を模式的に示す図である。図１に示すように、データ表示／センサ装置１００は筐体の一面にセンサ内蔵液晶パネル（面状部材）３０１が配設されており、その長方形状のパネル面（表示面）にて画像の表示及び情報の入力を受付けるタッチパネル式の入力／表示装置である。データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１が配されないグリップ部１００ａを有し、ユーザが当該グリップ部１００ａを片手で握り持ちながら、片手の親指（対象物）６４により情報の入力などの操作がなされる。
(Outline of data display / sensor device operation)
FIG. 1 is a diagram schematically showing an appearance of a data display /
図２は、図１に記載のデータ表示／センサ装置１００の動作の一例を模式的に示す図である。一例において、センサ内蔵液晶パネル３０１の表示面には、複数の入力キー３５０から構成されるスクリーンキーボード３５１が表示されている。
FIG. 2 is a diagram schematically illustrating an example of the operation of the data display /
ここで、指６４が上記表示面上の特定の領域（選択領域３６０（領域Ａに相当））を選択したとき、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に対する指６４の向きに基づいて、当該選択領域３６０の先端側の領域端点３６０ａと後端側の領域端点３６０ｂとを検出する。より具体的には、図２では、センサ内蔵液晶パネル３０１の下端部側から上端部側に指６４が向いており、データ表示／センサ装置１００は、指６４の向きに沿った選択領域３６０の領域端点３６０ａ・３６０ｂのうち、センサ内蔵液晶パネル３０１のより上部側に位置する領域端点３６０ａを先端側の領域端点と認識する。
Here, when the
そして、データ表示／センサ装置１００は、先端側の領域端点３６０ａを中心とし、かつその直径が二つの領域端点３６０ａ・３６０ｂ間距離以下の所定の長さの円形領域（領域Ｂに相当）と、上記選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する入力領域として認識する。また、上記円形領域には、必要に応じてその位置を示す目印であるポインタ３６１が表示される。
The data display /
なお、本明細書において「選択領域」とは、「指６４により実際に選択された表示面上の領域」を指し、当該「選択領域」と上記「円形領域」とを合わせた領域として定義付けられる上記「入力領域」とは区別される。
In this specification, the “selected area” refers to an “area on the display surface that is actually selected by the
一般にスクリーンキーボードに対する入力では、ユーザの指が入力キーの中心を正確に触れることは少ない。また、光センサを用いて入力の有無を検知する方式では、ユーザの指がスクリーンキーボードに所定距離まで近接した状態をもって入力有りと検知する場合がある。そのため、入力キーを押し込むタイプの通常のキーボード入力と比較して誤入力の問題が生じ易い。しかしながら、本発明に係るデータ表示／センサ装置１００では、指６４による現実の選択領域３６０と、指６４の向きの先端側に位置する所定の直径の円形領域とを合わせてセンサ内蔵液晶パネル３０１に対する入力領域として認識する。これにより、指６４の向きに応じた、より正確な入力操作を実現することができ、誤入力の発生が低減する。
In general, when inputting to a screen keyboard, the user's finger rarely touches the center of the input key accurately. Further, in the method of detecting the presence or absence of input using an optical sensor, it may be detected that there is an input when the user's finger is close to a screen keyboard up to a predetermined distance. Therefore, a problem of erroneous input is likely to occur as compared with a normal keyboard input type in which an input key is pressed. However, in the data display /
さらに、必要に応じて、上記円形領域に対応してポインタ３６１が表示されるので、ユーザは入力領域として認識されている領域を容易に知ることができ、スクリーンキーボード３５１を介した入力を円滑に行なうことができる。
Furthermore, since the
なお、入力の実行は、センサ内蔵液晶パネル３０１の表示面に指６４が接触又は近接したと同時に行われてもよく、或いは、指６４を当該表示面に一旦接触又は近接させた後、離す動作（アップ動作）がなされる際に行われてもよい。アップ動作時に入力が実行される構成では、ポインタ３６１の位置を指標にしたより正確な入力が実現可能である。
The input may be performed simultaneously with the
なお、ユーザは、指６４の他にも、タッチペンなどの遮光物を用いてセンサ内蔵液晶パネル３０１上を指示してもよい。
In addition to the
以下、上述した機能を実現する各部材の構成について詳細に説明する。まず、上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１の概要について説明する。
Hereinafter, the structure of each member which implement | achieves the function mentioned above is demonstrated in detail. First, an outline of the sensor built-in
（センサ内蔵液晶パネルの概要）
上記データ表示／センサ装置１００が備えるセンサ内蔵液晶パネル３０１は、データの表示に加え、対象物の画像検出が可能な液晶パネルである。ここで、対象物の画像検出とは、例えば、ユーザが指やペンなどでポインティング（タッチ）した位置（すなわち選択領域）の検出や、印刷物などの画像の読み取り（スキャン）である。なお、表示に用いるデバイスは、液晶パネルに限定されるものではなく、有機ＥＬ（Electro Luminescence）パネルなどであってもよい。
(Outline of LCD panel with built-in sensor)
The sensor built-in
図３を参照しながら、センサ内蔵液晶パネル３０１の構造について説明する。図３は、センサ内蔵液晶パネル３０１の断面を模式的に示す図である。なお、ここで説明するセンサ内蔵液晶パネル３０１は一例であり、表示面と読取面とが共用されているものであれば、任意の構造のものが利用できる。
The structure of the sensor built-in
図示のとおり、センサ内蔵液晶パネル３０１は、背面側に配置されるアクティブマトリクス基板５１Ａと、表面側に配置される対向基板５１Ｂとを備え、これら基板の間に液晶層５２を挟持した構造を有している。アクティブマトリクス基板５１Ａには、画素電極５６、データ信号線５７、光センサ回路３２（図示せず）、配向膜５８、偏光板５９などが設けられる。対向基板５１Ｂには、カラーフィルタ５３ｒ（赤）、５３ｇ（緑）、５３ｂ（青）、遮光膜５４、対向電極５５、配向膜５８、偏光板５９などが設けられる。また、センサ内蔵液晶パネル３０１の背面には、バックライト３０７が設けられている。
As shown in the figure, the sensor built-in
なお、光センサ回路３２に含まれるフォトダイオード６は、青のカラーフィルタ５３ｂを設けた画素電極５６の近傍に設けられているが、この構成に限定されるものではない。赤のカラーフィルタ５３ｒを設けた画素電極５６の近傍に設けてもよいし、緑のカラーフィルタ５３ｇを設けた画素電極５６の近傍に設けてもよい。
The
次に、図４（ａ）および図４（ｂ）を参照しながら、ユーザが、指やペンで、センサ内蔵液晶パネル３０１上をタッチした位置（選択領域）を検出する２種類の方法について説明する。
Next, with reference to FIG. 4A and FIG. 4B, two types of methods for detecting a position (selection region) where the user touches the sensor built-in
図４（ａ）は、反射像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。バックライト３０７から光６３が出射されると、フォトダイオード６を含む光センサ回路３２は、指６４などの対象物により反射された光６３を検知する。これにより、指６４などの対象物の反射像を検知することができる。このように、センサ内蔵液晶パネル３０１は、反射像を検知することにより、タッチした位置を検出することができる。
FIG. 4A is a schematic diagram showing how the position touched by the user is detected by detecting the reflected image. When the light 63 is emitted from the
また、図４（ｂ）は、影像を検知することにより、ユーザがタッチした位置を検出する様子を示す模式図である。図４（ｂ）に示すように、フォトダイオード６を含む光センサ回路３２は、対向基板５１Ｂなどを透過した外光６１を検知する。しかしながら、ペンなどの対象物６２がある場合は、外光６１の入射が妨げられるので、光センサ回路３２が検知する光量が減る。これにより、対象物６２の影像を検知することができる。このように、センサ内蔵液晶パネル３０１は、影像を検知することにより、タッチした位置を検出することもできる。
FIG. 4B is a schematic diagram showing a state in which a position touched by the user is detected by detecting a shadow image. As shown in FIG. 4B, the
上述のように、フォトダイオード６は、バックライト３０７より出射された光の反射光（影像）を検知してもよいし、外光による影像を検知してもよい。また、上記２種類の検知方法を併用して、影像と反射像とを両方を同時に検知するようにしてもよい。
As described above, the
（データ表示／センサ装置の要部構成）
次に、図５を参照しながら、上記データ表示／センサ装置１００の要部構成について説明する。図５は、データ表示／センサ装置１００の要部構成を示すブロック図である。図示のように、データ表示／センサ装置１００は、１または複数の表示／光センサ部３００、回路制御部６００、データ処理部７００、主制御部８００、記憶部９０１、一次記憶部９０２、操作部９０３、外部通信部９０７、音声出力部９０８、および音声入力部９０９を備えている。ここでは、データ表示／センサ装置１００は、単一の表示／光センサ部３００を備えているものとして説明するが、複数備えていてもかまわない。
(Data display / sensor configuration)
Next, the configuration of the main part of the data display /
表示／光センサ部３００は、いわゆる光センサ内蔵液晶表示装置である。表示／光センサ部３００は、センサ内蔵液晶パネル３０１、バックライト３０７、それらを駆動するための周辺回路３０９を含んで構成される。
The display / light sensor unit 300 is a so-called liquid crystal display device with a built-in light sensor. The display / light sensor unit 300 includes a sensor built-in
センサ内蔵液晶パネル３０１は、マトリクス状に配置された複数の画素回路３１および光センサ回路３２を含んで構成される。センサ内蔵液晶パネル３０１の詳細な構成については後述する。
The sensor built-in
周辺回路３０９は、液晶パネル駆動回路３０４、光センサ駆動回路３０５、信号変換回路３０６、バックライト駆動回路３０８を含む。
The
液晶パネル駆動回路３０４は、回路制御部６００の表示制御部６０１からのタイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）に従って、制御信号（Ｇ）およびデータ信号（Ｓ）を出力し、画素回路３１を駆動する回路である。画素回路３１の駆動方法の詳細については後述する。
The liquid crystal
光センサ駆動回路３０５は、回路制御部６００のセンサ制御部６０２からのタイミング制御信号（ＴＣ２）に従って、信号線（Ｒ）に電圧を印加し、光センサ回路３２を駆動する回路である。光センサ回路３２の駆動方法の詳細については後述する。
The optical
信号変換回路３０６は、光センサ回路３２から出力されるセンサ出力信号（ＳＳ）をデジタル信号（ＤＳ）に変換し、該変換後の信号をセンサ制御部６０２に送信する回路である。
The
バックライト３０７は、複数の白色ＬＥＤ（Light Emitting Diode）を含んでおり、センサ内蔵液晶パネル３０１の背面に配置される。そして、バックライト駆動回路３０８から電源電圧が印加されると、バックライト３０７は点灯し、センサ内蔵液晶パネル３０１に光を照射する。なお、バックライト３０７は、白色ＬＥＤに限らず、他の色のＬＥＤを含んでいてもよい。また、バックライト３０７は、ＬＥＤに代えて、例えば、冷陰極管（ＣＣＦＬ：Cold Cathode Fluorescent Lamp）を含むものであってもよい。
The
バックライト駆動回路３０８は、回路制御部６００のバックライト制御部６０３からの制御信号（ＢＫ）がハイレベルであるときは、バックライト３０７に電源電圧を印加し、逆に、バックライト制御部６０３からの制御信号がローレベルであるときは、バックライト３０７に電源電圧を印加しない。
The backlight driving circuit 308 applies a power supply voltage to the
次に、回路制御部６００について説明する。回路制御部６００は、表示／光センサ部３００の周辺回路３０９を制御するデバイスドライバとしての機能を備えるものである。回路制御部６００は、表示制御部６０１、センサ制御部６０２、バックライト制御部６０３、および表示データ記憶部６０４を備えている。
Next, the
表示制御部６０１は、データ処理部７００の表示データ処理部７０１から表示データを受信するとともに、表示データ処理部７０１からの指示に従って、表示／光センサ部３００の液晶パネル駆動回路３０４に、タイミング制御信号（ＴＣ１）およびデータ信号（Ｄ）を送信し、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。
The
なお、表示制御部６０１は、表示データ処理部７０１から受信した表示データを、表示データ記憶部６０４に一次記憶させる。そして、当該一次記憶させた表示データに基づいて、データ信号（Ｄ）を生成する。表示データ記憶部６０４は、例えば、ＶＲＡＭ（video random access memory）などである。
The
センサ制御部６０２は、データ処理部７００のセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００の光センサ駆動回路３０５に、タイミング制御信号（ＴＣ２）を送信し、センサ内蔵液晶パネル３０１にてスキャンを実行させる。
The
また、センサ制御部６０２は、信号変換回路３０６からデジタル信号（ＤＳ）を受信する。そして、センサ内蔵液晶パネル３０１に含まれる全ての光センサ回路３２から出力されたセンサ出力信号（ＳＳ）に対応するデジタル信号（ＤＳ）に基づいて、画像データを生成する。つまり、センサ内蔵液晶パネル３０１の読み取り領域全体で読み取った画像データを生成する。そして、該生成した画像データをセンサデータ処理部７０３に送信する。
In addition, the
バックライト制御部６０３は、表示データ処理部７０１およびセンサデータ処理部７０３からの指示に従って、表示／光センサ部３００のバックライト駆動回路３０８に制御信号（ＢＫ）を送信し、バックライト３０７を駆動させる。
The
なお、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備える場合、表示制御部６０１は、データ処理部７００から、どの表示／光センサ部３００にて表示データを表示するかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の液晶パネル駆動回路３０４を制御する。また、センサ制御部６０２は、データ処理部７００から、どの表示／光センサ部３００にて対象物のスキャンを行なうかの指示を受けたとき、当該指示に応じた表示／光センサ部３００の光センサ駆動回路３０５を制御するとともに、当該指示に応じた表示／光センサ部３００の信号変換回路３０６からデジタル信号（ＤＳ）を受信する。
When the data display /
次に、データ処理部７００について説明する。データ処理部７００は、主制御部８００から受信する「コマンド」に基づいて、回路制御部６００に指示を与えるミドルウェアとしての機能を備えるものである。なお、コマンドの詳細については後述する。
Next, the
データ処理部７００は、表示データ処理部７０１およびセンサデータ処理部７０３を備えている。そして、データ処理部７００が、主制御部８００からコマンドを受信すると、該受信したコマンドに含まれる各フィールド（後述する）の値に応じて、表示データ処理部７０１およびセンサデータ処理部７０３の少なくとも一方が動作する。
The
表示データ処理部７０１は、主制御部８００から表示データを受信するとともに、データ処理部７００が受信したコマンドに従って、表示制御部６０１およびバックライト制御部６０３に指示を与え、上記受信した表示データをセンサ内蔵液晶パネル３０１に表示させる。なお、コマンドに応じた、表示データ処理部７０１の動作については、後述する。
The display
センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
The sensor
また、センサデータ処理部７０３は、センサ制御部６０２から画像データを受信し、当該画像データをそのまま画像データバッファ７０４に格納する。そして、センサデータ処理部７０３は、データ処理部７００が受信したコマンドに従って、画像データバッファ７０４に記憶されている画像データに基づいて、「全体画像データ」、「部分画像データ（部分画像の座標データを含む）」、および「座標データ」の少なくともいずれか１つを、主制御部８００に送信する。なお、全体画像データ、部分画像データ、および座標データについては、後述する。また、コマンドに応じた、センサデータ処理部７０３の動作については、後述する。
The sensor
次に、主制御部８００は、アプリケーションプログラムを実行するものである。主制御部８００は、記憶部９０１に格納されているプログラムを、例えばＲＡＭ（Random Access Memory）などで構成される一次記憶部９０２に読み出して実行する。
Next, the
主制御部８００で実行されるアプリケーションプログラムは、センサ内蔵液晶パネル３０１に表示データを表示させたり、センサ内蔵液晶パネル３０１にて対象物のスキャンを行なわせるために、データ処理部７００に対して、コマンドおよび表示データを送信する。また、コマンドに「データ種別」を指定した場合は、当該コマンドの応答として、全体画像データ、部分画像データ、および座標データの少なくともいずれか１つを、データ処理部７００から受信する。
An application program executed by the
なお、回路制御部６００、データ処理部７００、および主制御部８００は、それぞれ、ＣＰＵ（Central Processing Unit）およびメモリなどで構成することができる。また、データ処理部７００は、ＡＳＩＣ（application specific integrate circuit）などの回路で構成されていてもよい。
The
次に、記憶部９０１は、図示のように、主制御部８００が実行するプログラムおよびデータを格納するものである。なお、主制御部８００が実行するプログラムは、アプリケーション固有のプログラムと、各アプリケーションが共用可能な汎用プログラムとに分離されていてもよい。
Next, the
次に、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作を受けつけるものである。操作部９０３は、例えば、スイッチ、リモコン、マウス、キーボードなどの入力デバイスで構成される。そして、操作部９０３は、データ表示／センサ装置１００のユーザの入力操作に応じた制御信号を生成し、該生成した制御信号を主制御部８００へ送信する。
Next, the
なお、上記スイッチの例としては、電源のオンとオフとを切り替える電源スイッチ９０５、予め所定の機能が割り当てられているユーザスイッチ９０６などのハードウェアスイッチを想定している。
As an example of the switch, a hardware switch such as a
その他、データ表示／センサ装置１００は、無線／有線通信によって外部装置と通信を行なうための外部通信部９０７、音声を出力するためのスピーカなどの音声出力部９０８、音声信号を入力するためのマイクなどの音声入力部９０９などを適宜備えていてもよい。
In addition, the data display /
（コマンドの詳細）
次に、図６および図７を参照しながら、主制御部８００からデータ処理部７００に送信されるコマンドの詳細について説明する。図６は、コマンドのフレーム構造の一例を模式的に示す図である。また、図７は、コマンドに含まれる各フィールドに指定可能な値の一例、および、その概要を説明する図である。
(Command details)
Next, details of commands transmitted from the
図６に示すように、コマンドは、「ヘッダ」、「データ取得タイミング」、「データ種別」、「スキャン方式」、「スキャン画像階調」、「スキャン解像度」、「スキャンパネル」、「表示パネル」、および「予備」の各フィールドを含んでいる。そして、各フィールドには、例えば、図７に示す値が指定可能である。 As shown in FIG. 6, the commands are “header”, “data acquisition timing”, “data type”, “scan method”, “scan image gradation”, “scan resolution”, “scan panel”, “display panel”. "And" Reserve "fields. In each field, for example, values shown in FIG. 7 can be designated.
「ヘッダ」フィールドは、フレームの開始を示すフィールドである。「ヘッダ」フィールドであることが識別可能であれば、「ヘッダ」フィールドの値は、どのような値であってもよい。 The “header” field is a field indicating the start of a frame. As long as it is possible to identify the “header” field, the value of the “header” field may be any value.
次に、「データ取得タイミング」フィールドは、データを主制御部８００へ送信すべきタイミングを指定するフィールドである。「データ取得タイミング」フィールドには、例えば、“00”（センス）、“01”（イベント）、および“10”（オール）という値が指定可能である。
Next, the “data acquisition timing” field is a field for designating a timing at which data should be transmitted to the
ここで、“センス”は、最新のデータを直ちに送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“センス”であるコマンドを受信すると、「データ種別」フィールドにて指定されている最新のデータを、直ちに、主制御部８００に送信する。
Here, “sense” designates that the latest data is transmitted immediately. Therefore, when the sensor
また、“イベント”は、センサ制御部６０２から受信する画像データに変化が生じたタイミングで送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“イベント”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、センサ制御部６０２から受信する画像データに、所定の閾値より大きい変化が生じたタイミングで、主制御部８００に送信する。
The “event” designates transmission at a timing when a change occurs in the image data received from the
また、“オール”は、所定周期でデータを送信することを指定するものである。よって、センサデータ処理部７０３は、「データ取得タイミング」フィールドの値が“オール”であるコマンドを受信すると、「データ種別」フィールドにて指定されているデータを、所定周期で、主制御部８００に送信する。なお、上記所定周期は、光センサ回路３２にてスキャンを行なう周期と一致する。
“All” designates data transmission at a predetermined cycle. Therefore, when the sensor
次に、「データ種別」フィールドは、センサデータ処理部７０３から取得するデータの種別を指定するフィールドである。なお、「データ種別」フィールドには、例えば、“001”（座標）、“010”（部分画像）、および“100”（全体画像）という値が指定可能である。さらに、これらの値を加算することによって、“座標”と、“部分画像”／“全体画像”とを、同時に指定可能である。例えば、“座標”と“部分画像”とを同時に指定する場合、“011”と指定することができる。
Next, the “data type” field is a field for designating the type of data acquired from the sensor
センサデータ処理部７０３は、「データ種別」フィールドの値が“全体画像”であるコマンドを受信すると、画像データバッファ７０４に記憶している画像データそのものを主制御部８００に送信する。画像データバッファ７０４に記憶している画像データそのものを、「全体画像データ」と称する。
When the sensor
また、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信すると、センサ制御部６０２から受信する画像データから、所定の閾値より大きい変化が生じた部分を含む領域を抽出し、該抽出した領域の画像データを主制御部８００に送信する。ここで、当該画像データを、「部分画像データ」と称する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出されたそれぞれの部分画像データを主制御部８００に送信する。
In addition, when the sensor
さらに、センサデータ処理部７０３は、「データ種別」フィールドの値が“部分画像”であるコマンドを受信したとき、部分画像データにおける代表座標を検出し、当該代表座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記代表座標とは、例えば、上記部分画像データの中心の座標、上記部分画像データの重心の座標などが挙げられる。
Further, when the sensor
加えて、センサデータ処理部７０３は、上記部分画像データに含まれる代表座標以外の座標も検出し、当該座標の部分画像データにおける位置を示す座標データを主制御部８００に送信する。代表座標以外の座標の例としては、部分画像データの輪郭部分を構成する画素に対応した座標（「端点座標」と称する）も含まれる。
In addition, the sensor
次に、センサデータ処理部７０３は、「データ種別」フィールドの値が“座標”であるコマンドを受信すると、上記代表座標及び端点座標等の、全体画像データにおける位置を示す座標データを主制御部８００に送信する。なお、上記部分画像データが複数抽出された場合、センサデータ処理部７０３は、該抽出された、それぞれの部分画像データの、全体画像データにおける代表座標及び端点座標等を検出し、当該代表座標及び端点座標等を示す座標データのそれぞれを主制御部８００に送信する（多点検出）。
Next, when the sensor
なお、全体画像データ、部分画像データ、および座標データの具体例については、模式図を参照しながら後述する。 Specific examples of the whole image data, the partial image data, and the coordinate data will be described later with reference to schematic diagrams.
次に、「スキャン方式」フィールドは、スキャン実行時に、バックライト３０７を点灯するか否かを指定するフィールドである。「スキャン方式」フィールドには、例えば、“00”（反射）、“01”（透過）、および“10”（反射／透過）という値が指定可能である。
Next, the “scan method” field is a field for designating whether or not the
“反射”は、バックライト３０７を点灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“反射”であるコマンドを受信すると、光センサ駆動回路３０５とバックライト駆動回路３０８とが同期して動作するように、センサ制御部６０２とバックライト制御部６０３とに指示を与える。
“Reflection” designates that scanning is performed with the
また、“透過”は、バックライト３０７を消灯した状態でスキャンを行なうことを指定するものである。よって、センサデータ処理部７０３は、「スキャン方式」フィールドの値が“透過”であるコマンドを受信すると、光センサ駆動回路３０５を動作させ、バックライト駆動回路３０８と動作させないようにセンサ制御部６０２とバックライト制御部６０３とに指示を与える。なお、“反射／透過”は、“反射”と“透過”とを併用してスキャンを行なうことを指定するものである。
“Transmission” specifies that scanning is performed with the
次に、「スキャン画像階調」フィールドは、部分画像データおよび全体画像データの階調を指定するフィールドである。「スキャン画像階調」フィールドには、例えば、“00”（２値）、および“01”（多値）という値が指定可能である。 Next, the “scanned image gradation” field is a field for designating gradations of the partial image data and the entire image data. In the “scanned image gradation” field, for example, values of “00” (binary) and “01” (multivalue) can be designated.
ここで、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“２値”であるコマンドを受信すると、部分画像データおよび全体画像データをモノクロデータとして、主制御部８００に送信する。
When the sensor
また、センサデータ処理部７０３は、「スキャン画像階調」フィールドの値が“多値”であるコマンドを受信すると、部分画像データおよび全体画像データを多階調データとして、主制御部８００に送信する。
When the sensor
次に、「スキャン解像度」フィールドは、部分画像データおよび全体画像データの解像度を指定するフィールドである。「解像度」フィールドには、例えば、“0”（高）および“1”（低）という値が指定可能である。 Next, the “scan resolution” field is a field for designating the resolution of the partial image data and the entire image data. In the “resolution” field, for example, values of “0” (high) and “1” (low) can be designated.
ここで、“高”は、高解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“高”であるコマンドを受信すると、部分画像データおよび全体画像データを高解像度で主制御部８００に送信する。例えば、画像認識などの画像処理を行なう対象の画像データ（指紋などの画像データ）には、“高”を指定することが望ましい。
Here, “high” designates a high resolution. Therefore, when the sensor
また、“低”は、低解像度を指定するものである。よって、センサデータ処理部７０３は、「スキャン解像度」フィールドの値が“低”であるコマンドを受信すると、部分画像データおよび全体画像データを低解像度で主制御部８００に送信する。例えば、タッチした位置などが分かる程度でよい画像データ（タッチした指や手の画像データなど）には、“低”を指定することが望ましい。
“Low” designates a low resolution. Therefore, when the sensor
次に、「スキャンパネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて対象物のスキャンを行なうかを指定するフィールドである。「スキャンパネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010”（二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
Next, in the “scan panel” field, when the data display /
ここで、センサデータ処理部７０３は、受信したコマンドの「スキャンパネル」フィールドの値に従って、指定された表示／光センサ部３００の光センサ駆動回路３０５およびバックライト駆動回路３０８を制御するように、センサ制御部６０２およびバックライト制御部６０３に指示を与える。
Here, the sensor
次に、「表示パネル」フィールドは、データ表示／センサ装置１００が、複数の表示／光センサ部３００を備えているときに、どの表示／光センサ部３００にて表示データを表示させるかを指定するフィールドである。「表示パネル」フィールドには、例えば、“001”（一番目の表示／光センサ部３００）、“010” （二番目の表示／光センサ部３００）という値が指定可能である。なお、これらの値を加算することによって、複数の表示／光センサ部３００を同時に指定可能である。例えば、一番目と二番目の両方の表示／光センサ部３００を同時に指定する場合、“011”と指定することができる。
Next, the “display panel” field specifies which display / light sensor unit 300 displays the display data when the data display /
ここで、表示データ処理部７０１は、例えば、「表示パネル」フィールドの値が表示／光センサ部３００であるコマンドを受信すると、表示／光センサ部３００に表示データを表示させるために、表示／光センサ部３００の液晶パネル駆動回路３０４およびバックライト駆動回路３０８を制御するように、表示制御部６０１およびバックライト制御部６０３に指示を与える。
Here, for example, when the display
次に、「予備」フィールドは、上述したフィールドにて指定可能な情報以外の情報をさらに指定する必要がある場合に、適宜指定されるフィールドである。 Next, the “reserved” field is a field that is appropriately specified when it is necessary to further specify information other than information that can be specified in the above-described fields.
なお、主制御部８００にて実行されるアプリケーションは、コマンドを送信するにあたり、上述したフィールドを全て使用する必要はなく、使用しないフィールドには無効値（ＮＵＬＬ値など）を設定しておけばよい。
Note that an application executed by the
また、ユーザが指やペンなどでタッチした位置の座標データを取得したいときは、「データ種別」フィールドに“座標”を指定したコマンドをデータ処理部７００に送信することとなるが、指やペンなどは動きがあるため、さらに、当該コマンドの「データ取得タイミング」フィールドに“オール”を指定し、座標データを取得するようにすることが望ましい。また、タッチした位置の座標データが取得できればよいため、スキャンの精度は高くなくてもよい。したがって、上記コマンドの「解像度」フィールドの値は“低”を指定しておけばよい。
When the user wants to acquire coordinate data of a position touched with a finger or pen, a command specifying “coordinate” in the “data type” field is transmitted to the
また、コマンドの「データ種別」フィールドに“座標”を指定した場合において、例えば、ユーザが、複数の指やペンなどでセンサ内蔵液晶パネル３０１を同時にタッチした場合は、該タッチした位置の座標データのそれぞれを取得することができる（多点検出）。
Further, when “coordinate” is specified in the “data type” field of the command, for example, when the user touches the sensor built-in
また、原稿などの対象物の画像データを取得する場合、「データ種別」フィールドに“全体画像”を指定したコマンドをデータ処理部７００に送信することとなるが、原稿などの対象物は、通常、静止させた状態でスキャンを実行することが一般的であるため、周期的にスキャンを実行する必要はない。従って、この場合は、「データ取得タイミング」フィールドに“センス”または“イベント”を指定することが望ましい。なお、原稿などの対象物をスキャンするときは、ユーザが文字を読みやすいように、スキャン精度は高い方が望ましい。したがって、「解像度」フィールドには“高”を指定することが望ましい。
When acquiring image data of an object such as a document, a command specifying “whole image” in the “data type” field is transmitted to the
（全体画像データ／部分画像データ／座標データ）
次に、図８を参照しながら、全体画像データ、部分画像データ、および座標データについて、例を挙げて説明する。図８（ａ）に示す画像データは、対象物がセンサ内蔵液晶パネル３０１上に置かれていないときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。また、図８（ｂ）に示す画像データは、ユーザが指６４でセンサ内蔵液晶パネル３０１をタッチしているときに、センサ内蔵液晶パネル３０１全体をスキャンした結果として得られる画像データである。
(Whole image data / Partial image data / Coordinate data)
Next, the whole image data, the partial image data, and the coordinate data will be described with reference to FIG. The image data shown in FIG. 8A is image data obtained as a result of scanning the entire sensor-equipped
ユーザが指６４でセンサ内蔵液晶パネル３０１をタッチしたとき、当該タッチした近傍の光センサ回路３２が受光する光量が変化するため、当該光センサ回路３２が出力する電圧に変化が生じ、その結果として、センサ制御部６０２が生成する画像データのうち、ユーザがタッチした部分の画素値の明度に変化が生じることとなる。
When the user touches the sensor-equipped
図８（ｂ）に示す画像データでは、図８（ａ）に示す画像データと比べると、ユーザの指６４に該当する部分の画素値の明度が高くなっている。そして、図８（ｂ）に示す画像データにおいて、明度が所定の閾値より大きく変化している画素値を全て含む最小の矩形領域（領域ＰＰ）が、“部分画像データ”である。
In the image data shown in FIG. 8B, the brightness of the pixel value of the portion corresponding to the user's
なお、領域ＡＰで示される画像データが、“全体画像データ”である。 The image data indicated by the area AP is “whole image data”.
また、部分画像データ（領域ＰＰ）の代表座標Ｚの、全体画像データ（領域ＡＰ）における座標データは（Ｘａ,Ｙａ）であり、部分画像データ（領域ＰＰ）における座標データは（Ｘｐ,Ｙｐ）である。 Also, the coordinate data in the whole image data (area AP) of the representative coordinates Z of the partial image data (area PP) is (Xa, Ya), and the coordinate data in the partial image data (area PP) is (Xp, Yp). It is.
なお、本発明において、上記の部分画像データに含まれる、明度が所定の閾値より大きく変化している画素からなる領域は選択領域３６０（図２参照）に相当する。 In the present invention, an area composed of pixels whose lightness changes more than a predetermined threshold included in the partial image data corresponds to the selection area 360 (see FIG. 2).
また、上記選択領域３６０において、指６４の向き（図８（ｂ）中に矢印で示す）とのなす２つの交点のうち、当該向きに沿って先端側に位置する点が領域端点３６０ａに相当し、後端側に位置する点が領域端点３６０ｂに相当する（図２も参照のこと）。
In the
また、データ表示／センサ装置１００では、ユーザの使用時におけるセンサ内蔵液晶パネル３０１（図１、図２、図５参照）の左右方向をＸ軸、上下方向（すなわち縦方向）をＹ軸として座標軸が設定されており、当該ＸＹ座標軸にかかる情報は記憶部９０１（図５参照）に格納されている。すなわち、データ表示／センサ装置１００では、その長手方向とＹ軸方向とが一致しており、幅方向とＸ軸方向とが一致している。また、データ表示／センサ装置１００では、ユーザの使用時において、Ｘ軸は複数の入力キー３５０（図２参照）の横並び方向に一致し、Ｙ軸は複数の入力キー３５０の縦並び方向に一致している。
Further, in the data display /
なお、Ｘ軸とＹ軸との交点、すなわち座標軸の原点は、センサ内蔵液晶パネル３０１のパネル面の重心に固定してもよいが、例えば、上記選択位置の位置座標が原点となるように設定することもできる。
The intersection of the X axis and the Y axis, that is, the origin of the coordinate axis may be fixed at the center of gravity of the panel surface of the sensor-equipped
（センサ内蔵液晶パネルの構成）
次に、図９を参照しながら、センサ内蔵液晶パネル３０１の構成、および、センサ内蔵液晶パネル３０１の周辺回路３０９の構成について説明する。図９は、表示／光センサ部３００の要部、特に、センサ内蔵液晶パネル３０１の構成および周辺回路３０９の構成を示すブロック図である。
(Configuration of sensor built-in liquid crystal panel)
Next, the configuration of the sensor built-in
センサ内蔵液晶パネル３０１は、光透過率（輝度）を設定するための画素回路３１、および、自身が受光した光の強度に応じた電圧を出力する光センサ回路３２を備えている。なお、画素回路３１は、赤色、緑色、青色のカラーフィルタのそれぞれに対応するＲ画素回路３１ｒ、Ｇ画素回路３１ｇ、Ｂ画素回路３１ｂの総称として用いる。
The sensor built-in
画素回路３１は、センサ内蔵液晶パネル３０１上の列方向（縦方向）にｍ個、行方向（横方向）に３ｎ個配置される。そして、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂの組が、行方向（横方向）に連続して配置される。この組が１つの画素を形成する。
The
画素回路３１の光透過率を設定するには、まず、画素回路３１に含まれるＴＦＴ（Thin Film Transistor）３３のゲート端子に接続される走査信号線Ｇiにハイレベル電圧（ＴＦＴ３３をオン状態にする電圧）を印加する。その後、Ｒ画素回路３１ｒのＴＦＴ３３のソース端子に接続されているデータ信号線ＳＲｊに、所定の電圧を印加する。同様に、Ｇ画素回路３１ｇおよびＢ画素回路３１ｂについても、光透過率を設定する。そして、これらの光透過率を設定することにより、センサ内蔵液晶パネル３０１上に画像が表示される。
In order to set the light transmittance of the
次に、光センサ回路３２は、一画素毎に配置される。なお、Ｒ画素回路３１ｒ、Ｇ画素回路３１ｇ、およびＢ画素回路３１ｂのそれぞれの近傍に１つずつ配置されてもよい。
Next, the
光センサ回路３２にて光の強度に応じた電圧を出力させるためには、まず、コンデンサ３５の一方の電極に接続されているセンサ読み出し線ＲＷiと、フォトダイオード３６のアノード端子に接続されているセンサリセット線ＲＳiとに所定の電圧を印加する。この状態において、フォトダイオード３６に光が入射されると、入射した光量に応じた電流がフォトダイオード３６に流れる。そして、当該電流に応じて、コンデンサ３５の他方の電極とフォトダイオード３６のカソード端子との接続点（以下、接続ノードＶ）の電圧が低下する。そして、センサプリアンプ３７のドレイン端子に接続される電圧印加線ＳＤｊに電源電圧ＶＤＤを印加すると、接続ノードＶの電圧は増幅され、センサプリアンプ３７のソース端子からセンシングデータ出力線ＳＰｊに出力される。そして、当該出力された電圧に基づいて、光センサ回路３２が受光した光量を算出することができる。
In order for the
次に、センサ内蔵液晶パネル３０１の周辺回路である、液晶パネル駆動回路３０４、光センサ駆動回路３０５、およびセンサ出力アンプ４４について説明する。
Next, the liquid crystal
液晶パネル駆動回路３０４は、画素回路３１を駆動するための回路であり、走査信号線駆動回路３０４１およびデータ信号線駆動回路３０４２を含んでいる。
The liquid crystal
走査信号線駆動回路３０４１は、表示制御部６０１から受信したタイミング制御信号ＴＣ１に基づいて、１ライン時間毎に、走査信号線Ｇ１〜Ｇｍの中から１本の走査信号線を順次選択し、該選択した走査信号線にハイレベル電圧を印加するとともに、その他の走査信号線にローレベル電圧を印加する。
The scanning signal
データ信号線駆動回路３０４２は、表示制御部６０１から受信した表示データＤ（ＤＲ、ＤＧ、およびＤＢ）に基づいて、１ライン時間毎に、１行分の表示データに対応する所定の電圧を、データ信号線ＳＲ１〜ＳＲｎ、ＳＧ１〜ＳＧｎ、ＳＢ１〜ＳＢｎに印加する（線順次方式）。なお、データ信号線駆動回路３０４２は、点順次方式で駆動するものであってもよい。
Based on the display data D (DR, DG, and DB) received from the
光センサ駆動回路３０５は、光センサ回路３２を駆動するための回路である。光センサ駆動回路３０５は、センサ制御部６０２から受信したタイミング制御信号ＴＣ２に基づいて、センサ読み出し信号線ＲＷ１〜ＲＷｍの中から、１ライン時間毎に１本ずつ選択したセンサ読み出し信号線に所定の読み出し用電圧を印加するとともに、その他のセンサ読み出し信号線には、所定の読み出し用電圧以外の電圧を印加する。また、同様に、タイミング制御信号ＴＣ２に基づいて、センサリセット信号線ＲＳ１〜ＲＳｍの中から、１ライン時間毎に１本ずつ選択したセンサリセット信号線に所定のリセット用電圧を印加するとともに、その他のセンサリセット信号線には、所定のリセット用電圧以外の電圧を印加する。
The optical
センシングデータ出力信号線ＳＰ１〜ＳＰｎはｐ個（ｐは１以上ｎ以下の整数）のグループにまとめられ、各グループに属するセンシングデータ出力信号線は、時分割で順次オン状態になるスイッチ４７を介して、センサ出力アンプ４４に接続される。センサ出力アンプ４４は、スイッチ４７により接続されたセンシングデータ出力信号線のグループからの電圧を増幅し、センサ出力信号ＳＳ（ＳＳ１〜ＳＳｐ）として、信号変換回路３０６へ出力する。
The sensing data output signal lines SP1 to SPn are grouped into p groups (p is an integer of 1 to n), and the sensing data output signal lines belonging to each group are connected via a switch 47 that is sequentially turned on in time division. And connected to the
（データ表示／センサ装置のより詳細な構成）
次に、図１０を参照しながら、データ表示／センサ装置１００のより詳細な構成について説明する。なお、ここでは、説明を分かりやすくするために、主制御部８００と表示／光センサ部３００との間に位置するデータ処理部７００および回路制御部６００（図５参照）の動作については説明を省略する。ただし、正確には、データの表示および対象物のスキャンを行うにあたり、主制御部８００の各部が、データ処理部７００にコマンドを送信し、データ処理部７００がコマンドに基づいて回路制御部６００を制御し、回路制御部６００が表示／光センサ部３００に対して信号を送信する。また、主制御部８００は、データ処理部７００に対して送信したコマンドに対する応答として、データ処理部７００から、全体画像データ、部分画像データ、および座標データを取得する。
(Data display / more detailed configuration of sensor device)
Next, a more detailed configuration of the data display /
図１０は、本実施形態に係るデータ表示／センサ装置１００の構成を主制御部８００および記憶部９０１を中心に示すブロック図である。図１０に示すように、主制御部８００は、被指示画面表示制御部１１、選択領域検出部（選択領域検出手段）１２、補助画像表示制御部１３、向き検出部（向き検出手段）１４、入力領域認識部（入力領域認識手段）１５、および選択領域端・領域幅検出部（領域端検出手段／領域幅検出手段）１６を備えている。また、記憶部９０１は、被指示画面データ記憶部２１、補助画像データ記憶部２３を備えている。
FIG. 10 is a block diagram showing the configuration of the data display /
次に、図１０及び図１１を参照しながら、データ表示／センサ装置１００の動作の一例について説明する。図１１は、本実施形態に係るデータ表示／センサ装置１００の動作を説明するフローチャートである。
Next, an example of the operation of the data display /
ステップＳ１では、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上に被指示画面、すなわち指６４による入力を受付けるための入力キーを含んだ画面を表示する。一実施形態において、被指示画面表示制御部１１が、センサ内蔵液晶パネル３０１に、複数の入力キー３５０によって構成されるスクリーンキーボード３５１を表示させる（図２も参照）。
In step S <b> 1, the data display /
詳しく述べれば、まず、被指示画面表示制御部１１は、被指示画面データ記憶部２１からデータを呼び出して、表示すべき画像データを取得する。被指示画面データ記憶部２１から呼び出すデータは、例えば、各入力キー３５０の座標、寸法、ならびに画像データであり、すべての入力キー３５０の画像データをそれぞれの座標および寸法に基づいて合成することにより、表示すべき全体画像のデータを生成することができる。また、表示すべき全体画像（スクリーンキーボード３５１の全体画像）のデータをそのまま被指示画面データ記憶部２１から呼び出してもよい。
More specifically, first, the instructed screen display control unit 11 retrieves data from the instructed screen
次に、被指示画面表示制御部１１は、上記のように得た表示すべき全体画面のデータを表示データ処理部７０１に送るとともに、「表示パネル」を表示／光センサ部３００とした上記コマンドをデータ処理部７００に送る。データ処理部７００は、上述したように、表示制御部６０１およびバックライト制御部６０３を制御してセンサ内蔵液晶パネル３０１上にスクリーンキーボード３５１を表示させる（図２、図５も参照）。
Next, the instructed screen display control unit 11 sends the data of the entire screen to be displayed obtained as described above to the display
なお、ステップＳ１は、必要に応じて開始されればよく、例えば、アプリケーションの開始とともに開始される。 Note that step S <b> 1 may be started as necessary, for example, when the application is started.
次に、ステップＳ２において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上の、指６４により選択された領域（選択領域３６０に相当（図２、図８（ｂ）参照）を検出する。一実施形態において、選択領域検出部１２が、センサデータ処理部７０３から選択領域３６０に含まれる代表座標Ｚ及びその他の座標（前記端点座標を含む）の座標データを取得するとともに、これら座標データを選択領域端・領域幅検出部１６での検出処理及び入力領域認識部１５での認識処理に供する。
Next, in step S2, the data display /
詳しく述べれば、選択領域検出部１２は、データ処理部７００に対して、「データ種別」を”座標”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。選択領域検出部１２は、上記コマンドの応答としてセンサデータ処理部７０３から得られた上記座標データにより、センサ内蔵液晶パネル３０１の表示面内における選択領域３６０の位置を認識する。次いで、この座標データを、選択領域端・領域幅検出部１６での検出処理及び入力領域認識部１５での認識処理に供する。なお、選択領域検出部１２が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。
More specifically, the selection
なお、ステップＳ２は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。 Note that step S2 is started together with the start of the application, for example, similarly to step S1.
次に、ステップＳ３において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１に対する指６４の向きを検出する。一実施形態において、向き検出部１４が、センサデータ処理部７０３から全体画像データを取得し、当該全体画像データに基づいて指６４の向きを検出する。
Next, in step S <b> 3, the data display /
詳しく述べれば、向き検出部１４は、データ処理部７００に対して、「データ種別」を”全体画像”、「データ取得タイミング」を、”イベント”とした上記コマンドを送る。次いで、向き検出部１４は、取得した全体画像データに基づき、センサ内蔵液晶パネル３０１の表示面内（パネル面内）における指６４の向きにかかる情報を検出し、この情報を選択領域端・領域幅検出部１６での領域端点の検出処理に供する。
More specifically, the
ここで、指６４の向きは、上記全体画像に含まれる指６４の画像の形状及び明度の相違から検知することができる。例えば、図８（ｂ）の例においては、明度が所定の閾値より大きく変化している部分（選択領域３６０）に含まれる代表座標Ｚを終点側とし、指６４の画像の長手中心方向に沿う方向が、指６４の向きとなる（図８（ｂ）中に矢印で示す）。
Here, the orientation of the
なお、向き検出部１４が、データ取得のタイミングおよび取得データの変化の判定を行なう場合には、上記コマンドの「データ取得タイミング」は、”オール”または”センス”としてもよい。
When the
なお、ステップＳ３は、ステップＳ１と同様、例えば、アプリケーションの開始とともに開始される。また、ステップＳ２とステップＳ３とは実行順序を入れ替えることもできる。 Note that step S3 is started together with the start of the application, for example, similarly to step S1. Further, the order of execution of step S2 and step S3 can be switched.
次に、ステップＳ４において、データ表示／センサ装置１００は、選択領域３６０の輪郭部分を構成する端点のうち、指６４の向きに沿ったものを検出する。一実施形態において、選択領域端・領域幅検出部１６が、選択領域検出部１２から供された選択領域３６０の端点座標のデータと、向き検出部１４から供された指６４の向きに係る情報とを比較して、当該指６４の向きに沿って位置する二つの端点（領域端点３６０ａ・３６０ｂに相当（図２、図８（ｂ）参照））の座標データを検出する。次いで、この座標データを、後述するステップＳ５の検出処理、及び入力領域認識部１５での認識処理に供する。
Next, in step S <b> 4, the data display /
次に、ステップＳ５において、データ表示／センサ装置１００は、選択領域３６０の幅を検出する。ここで検出する選択領域３６０の幅とは、選択領域３６０の、指６４の向きに沿った先端側の点（領域端点３６０ａ）と後端側の点（領域端点３６０ｂ）との間の距離である。一実施形態において、選択領域端・領域幅検出部１６が、上記ステップＳ４にて取得した領域端点３６０ａ・３６０ｂの座標データから両領域端点間の距離をもとめる。
Next, in step S <b> 5, the data display /
ステップＳ６において、データ表示／センサ装置１００は、ステップＳ５で検出した選択領域３６０の幅が２センチメートル（ｃｍ）以下であるか否かを判定する。そして、当該幅が２ｃｍ以下の場合には、領域端点３６０ａを中心とした円形領域と、選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する入力領域と認識する。
In step S6, the data display /
一実施形態において、選択領域３６０の幅が２ｃｍ以下の場合、入力領域認識部１５は、二つの領域端点３６０ａ・３６０ｂのうち、指６４の向きに沿ってより先端側に位置する領域端点３６０ａを中心とした所定の直径を有する円形領域と、選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する入力領域と認識する。そして、この認識結果を、データ処理部７００での処理、及び補助画像表示制御部１３での処理に供する。
In one embodiment, when the width of the
一方、選択領域３６０の幅が２ｃｍを超える場合、入力領域認識部１５は、指６４による選択領域３６０のみを入力領域として認識するか、或いは指６４による入力がエラーであると認識する。そして、入力領域認識部１５は、この認識結果を、データ処理部７００での処理、及び補助画像表示制御部１３での処理に供する。以降は、ステップＳ２に戻り、ユーザの新たな指示を待つ。
On the other hand, when the width of the
次に、ステップＳ７において、データ表示／センサ装置１００は、センサ内蔵液晶パネル３０１上における上記円形領域にポインタ３６１を表示する。一実施形態において、補助画像表示制御部（ポインタ表示手段）１３が、補助画像データ記憶部２３から表示すべき補助画像（ポインタ３６１）の画像データを呼び出し、当該画像データをデータ処理部７００に供する。
Next, in step S <b> 7, the data display /
データ処理部７００では、ポインタ３６１の画像データと、スクリーンキーボード３５１の画像データとを周知の画像合成技術により合成し、センサ内蔵液晶パネル３０１上に、領域端点３６０ａを中心点としたポインタ３６１を表示する。
The
以降は、ステップＳ２に戻り、ユーザの新たな指示を待つ。 Thereafter, the process returns to step S2 and waits for a new instruction from the user.
なお、上記ステップＳ１において表示する被指示画面は、スクリーンキーボード３５１である必要はなく、種々の入力キーとすることができる。例えば、それぞれ特定の機能（例えば、ＯＫボタン、キャンセルボタンなど）に対応する入力キーを表示させてもよい。
The instructed screen displayed in step S1 does not need to be the
また、ここでは、センサ内蔵液晶パネル３０１上にスクリーンキーボード３５１が液晶表示される形態を例示したが、センサ内蔵液晶パネルの面内に、少なくとも一部の入力キーを予めプリントした構成であってもよい。特に、文字、又は一桁の数字のような汎用される入力キーのみを予めプリントした構成であってもよい。なお、予めプリントした入力キーを用いる場合にはステップＳ１は省略される。
In addition, here, the
また、ここでは、ステップＳ６において、選択領域の幅が所定値以下の場合のみ、上記円形領域を含めて指６４による入力領域と認識する構成を例示したが、選択領域の幅によらず、常時、円形領域を含めて入力領域と認識する構成としてもよい。
In addition, here, in step S6, only the case where the width of the selection area is equal to or smaller than the predetermined value is exemplified as the input area including the circular area as an input area by the
また、ここでは、ステップＳ７において、ユーザを補助するための補助画像（円形のポインタ３６１）を表示する形態を例示したが、場合によっては、Ｓ７を省略してもよい。 In addition, here, an example is shown in which an auxiliary image (circular pointer 361) for assisting the user is displayed in step S7. However, in some cases, S7 may be omitted.
（入力領域の認識の詳細）
以下、上記ステップＳ６にて説明した、データ表示／センサ装置１００による入力領域の認識の詳細例について、図１２及び図１３に基づき具体的に説明する。なお、図１２及び図１３に示す例では、Ｘ軸方向及びＹ軸方向に隣接する入力キー間のキーピッチ（隣接する入力キーの重心間距離）はいずれも３０ｍｍである。また、対象物により選択された領域（図中、選択領域３６０）の幅として、指６４の向きに沿った先端側の点と後端側の点との間の距離を採用する。
(Details of input area recognition)
Hereinafter, a detailed example of the recognition of the input area by the data display /
図１２は、図１に記載のデータ表示／センサ装置１００の動作の他の一例を模式的に示す図面であり、ここでは、ユーザが右手にてデータ表示／センサ装置１００のグリップ部１００ａ（図１参照）を持ち、右手の親指６４にて複数の入力キー３５０に対する操作を行っている。
FIG. 12 is a diagram schematically illustrating another example of the operation of the data display /
指６４は、ユーザから見てセンサ内蔵液晶パネル３０１の右側から進入しており、当該センサ内蔵液晶パネル３０１上の選択領域３６０を選択している。センサ内蔵液晶パネル３０１の表示面内における、指６４の向きは、図１２中の二点ＱＰを結び、点Ｐを終点側とする方向である。なお、二点ＰＱは、順に、選択領域３６０における、指６４の向きに沿った先端側の点（領域端点３６０ａ）と後端側の点（領域端点３６０ｂ）とに相当する。
The
ここで、選択領域３６０の幅、すなわち二点ＰＱ間の距離は１ｃｍであり、当該幅が２ｃｍ以下というステップＳ６の実行条件を満たす（図１１も参照）。したがって、入力領域認識部１５（図１０参照）は、点Ｐを中心とする円形領域と選択領域３６０とを合わせて、センサ内蔵液晶パネル３０１に対する指６４の入力領域として認識する。また、当該円形領域には、ポインタ３６１が表示される。
Here, the width of the
入力領域認識部１５が決定する上記円形領域の直径は、固定値であってもよく、又は選択領域３６０の幅に応じて変動する値であってもよい。なお、何れの場合でも、直径の上限は、意図しない入力を防止するという理由から、選択領域３６０の幅以下でなければならない。一方、当該直径の下限は、特に限定されないが、スタイラスの先端直径が１ｍｍ程度であるという理由から１ｍｍ以上であることが好ましい。
The diameter of the circular area determined by the input
また、上記円形領域の直径は、選択領域３６０の幅以下で、かつ隣接する入力キー３５０・３５０のキーピッチ以下であることが好ましい。当該直径がこの範囲内にあれば、原則として、当該円形領域が二以上の入力キー３５０の重心を同時に含むことを防止できる。
The diameter of the circular area is preferably equal to or smaller than the width of the
さらに、上記円形領域の直径を、選択領域３６０の幅に応じて変動させる場合には、当該幅に正比例して変動させる構成が好ましい。
Further, when the diameter of the circular region is changed according to the width of the
通常、選択領域３６０の幅が短いほど、指６４の先端部のみにて正確な入力が行われている可能性がより高い。一方、選択領域３６０の幅が長いほど、指６４の先端部と指６４の腹とによる不正確な入力が行われている可能性がより高い。
In general, the shorter the width of the
したがって、円形領域の直径を、選択領域３６０の幅に正比例して変動させれば、当該幅が長いほど入力領域として認識される円形領域の直径が大きくなり、当該幅が短いほど円形領域の直径が小さくなるので、入力の確からしさを踏まえたより正確な入力操作を実現することができる。
Therefore, if the diameter of the circular region is changed in direct proportion to the width of the
図１２に示す例では、選択領域３６０の幅を（Ｗ：単位ｃｍ）、上記円形領域の直径を（２Ｒ：単位ｃｍ）、比例定数を（α：αは１以下の正の数）とした場合、（２Ｒ）＝（Ｗ）×αの関係式を満たすように設定されている。ここで、特に限定されないが、比例定数αは、正確な入力がなされている際にユーザの邪魔をしないという理由により０．３〜１．０の範囲内の数であることが好ましく、０．４〜０．６の範囲内であることがより好ましく、０．５であることが特に好ましい。
In the example shown in FIG. 12, the width of the
上記関係式において比例定数αが０．５のとき、図１２に示す場合では、０．５ｃｍ（すなわち、選択領域３６０の幅１ｃｍ×０．５）が、円形領域の直径となる。
When the proportionality constant α is 0.5 in the above relational expression, in the case shown in FIG. 12, 0.5 cm (that is, the width of the
一方、図１３は、図１に記載のデータ表示／センサ装置１００の動作のさらに他の一例を模式的に示す図面であり、ユーザが、センサ内蔵液晶パネル３０１の表示面上を指６４でドラッグした場合を表す。なお、この例でも、円形領域の直径は、上記関係式を満たしかつ当該関係式において比例定数αが０．５となるように設定されている。また、表示の便宜上、センサ内蔵液晶パネル３０１の表示面内にある選択領域３６０とポインタ３６１・３６１’とを、当該表示面外に表記している。
On the other hand, FIG. 13 is a diagram schematically showing still another example of the operation of the data display /
図１３において、指６４を手前にドラッグする前は、ユーザは、指６４の先端部と腹とでセンサ内蔵液晶パネル３０１の表示面を選択しており、選択領域３６０の幅は２ｃｍある。この場合、当該選択領域３６０の先端部に、直径１ｃｍの円形領域に相当するポインタ３６１が表示される。
In FIG. 13, before the
一方、指６４を手前にドラッグした後は、ユーザは指６４の先端部のみでセンサ内蔵液晶パネル３０１の表示面を選択しており、選択領域３６０’（領域Ａに相当）の幅は１ｃｍとなる。この場合、当該選択領域３６０’の先端部に、直径０．５ｃｍの円形領域（領域Ｂに相当）に相当するポインタ３６１’が表示される。
On the other hand, after dragging the
したがって、図１３に示す構成では、選択領域３６０の幅が長いほど（すなわち、不正確な入力の可能性が高いほど）、入力領域の一部を構成する円形領域が大きくなり、その結果、入力の確からしさを踏まえたより正確な入力操作を実現することができる。 Therefore, in the configuration shown in FIG. 13, the longer the width of the selection region 360 (that is, the higher the possibility of incorrect input), the larger the circular region that constitutes a part of the input region. It is possible to realize a more accurate input operation based on the certainty.
加えて、センサ内蔵液晶パネル３０１は、円形領域の大きさに対応したポインタ３６１・３６１’を表示するので、入力の確からしさをユーザに認識させることができる。すなわち、ユーザは、ポインタ３６１・３６１’の大きさが相対的に小さいほど、入力が確からしいと把握することができる。
In addition, the sensor built-in
なお、上記の例示では、領域Ｂが円形領域である場合のみを説明をしたが、特にこれに限定されない。すなわち、当該領域Ｂは、対象物により選択された上記領域Ａ（選択領域３６０・３６０’に相当）における上記先端側の点（点Ｐに相当）を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域であればその形状は限定されず、円形以外にも、例えば、楕円形領域；三角形領域；正方形領域、長方形領域などのＮ角形領域（Ｎは４以上の整数）；角丸Ｎ角形（頂点が丸いＮ角形を指し、Ｎは３以上の整数である）；等であってよい。
In the above example, only the case where the region B is a circular region has been described, but the present invention is not particularly limited thereto. That is, the region B is centered or centered on a point on the tip side (corresponding to the point P) in the region A (corresponding to the
また、本発明において「領域Ｂの最大幅」とは、領域Ｂ内に位置する任意の二点間の距離のうち最大になる長さを指す。例えば、領域Ｂが円形の場合はその直径が、楕円形の場合はその長軸の長さが最大幅に相当する。また、領域ＢがＮ角形（ここでＮは３以上の整数）の場合は任意の二つの頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。また、領域Ｂが角丸Ｎ角形（Ｎは３以上の整数）の場合は任意の二つの丸い頂点を結んだ線分のうち最長のものの長さが、最大幅に相当する。なお、特に限定されないが、領域Ｂは、その最大幅が、上記向き検出手段により検出された上記対象物の向きに沿った方向にて測定されるように配されることが好ましい。例えば、領域Ｂが楕円形状の場合には、その長軸が上記対象物の向きに沿っていることが好ましい。 In the present invention, the “maximum width of the region B” refers to the maximum length of the distance between any two points located in the region B. For example, when the region B is circular, the diameter corresponds to the maximum width, and when the region B is elliptical, the length of the major axis corresponds to the maximum width. When the region B is an N-gon (where N is an integer of 3 or more), the length of the longest line segment connecting two arbitrary vertices corresponds to the maximum width. Further, when the region B is a rounded N-square (N is an integer of 3 or more), the length of the longest line segment connecting two arbitrary round vertices corresponds to the maximum width. In addition, although it does not specifically limit, It is preferable to distribute | arrange the area | region B so that the maximum width may be measured in the direction along the direction of the said target object detected by the said direction detection means. For example, when the region B has an elliptical shape, it is preferable that the major axis thereof is along the direction of the object.
また、以上のように、本発明に係る像検知装置は、近傍に位置する対象物の像を検知する面状部材と、面状部材が検知した対象物の像から当該面状部材に対する対象物の向きを検出する向き検出手段と、面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域を検出する選択領域検出手段と、選択領域検出手段が検出した上記領域の、対象物の向きに沿った先端側の点を検出する領域端検出手段と、選択領域検出手段が検出した上記領域の幅を検出する領域幅検出手段と、上記先端側の点を中心とし、かつ直径が上記領域の幅に正比例した円形のポインタを面状部材に表示するポインタ表示手段とを備える構成であってもよい。 In addition, as described above, the image detection device according to the present invention includes a planar member that detects an image of an object located in the vicinity, and an object for the planar member from the image of the object detected by the planar member. Direction detection means for detecting the orientation of the object, selection area detection means for detecting an area on the planar member selected by the object based on the image of the object detected by the planar member, and selection area detection A region end detection unit that detects a point on the tip side of the region detected by the unit along the direction of the object, a region width detection unit that detects a width of the region detected by the selection region detection unit, and the tip A pointer display means for displaying a circular pointer centered on the side point and having a diameter directly proportional to the width of the region on the planar member may be used.
本発明に係る像検知装置は、上記の構成において、円形のポインタの直径が、選択領域検出手段が検出した上記領域の、対象物の向きに沿った先端側の点と後端側の点との間の距離に正比例するものであってもよい。 In the image detection device according to the present invention, in the configuration described above, the diameter of the circular pointer has a point on the front end side and a point on the rear end side along the direction of the object in the region detected by the selection region detection unit. May be directly proportional to the distance between.
（プログラムおよび記録媒体）
最後に、データ表示／センサ装置１００に含まれている回路制御部６００、データ処理部７００、および主制御部８００は、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。
(Program and recording medium)
Finally, the
すなわち、回路制御部６００、データ処理部７００および主制御部８００は、各機能を実現するプログラムの命令を実行するＭＰＵなどのＣＰＵ、このプログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを実行可能な形式に展開するＲＡＭ（Random Access Memory）、および、上記プログラムおよび各種データを格納するメモリなどの記憶装置（記録媒体）を備えている。
That is, the
そして、本発明の目的は、回路制御部６００、データ処理部７００および主制御部８００のプログラムメモリに固定的に担持されている場合に限らず、上記プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、または、ソースプログラム）を記録した記録媒体をデータ表示／センサ装置１００に供給し、データ表示／センサ装置１００が上記記録媒体に記録されている上記プログラムコードを読み出して実行することによっても、達成可能である。
The object of the present invention is not limited to the case where the program memory of the
上記記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープなどのテープ系、フロッピー（登録商標）ディスク／ハードディスクなどの磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒなどの光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭなどの半導体メモリ系などとすることができる。 The recording medium is not limited to a specific structure or type. That is, the recording medium includes, for example, a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. System, a card system such as an IC card (including a memory card) / optical card, or a semiconductor memory system such as a mask ROM / EPROM / EEPROM / flash ROM.
また、回路制御部６００、データ処理部７００および主制御部８００（またはデータ表示／センサ装置１００）を通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して回路制御部６００、データ処理部７００および主制御部８００に供給する。この通信ネットワークは回路制御部６００、データ処理部７００および主制御部８００にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえばインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網などであればよい。
The object of the present invention can be achieved even if the
この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえばＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線などの有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網などの無線でも利用可能である。なお本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。 The transmission medium constituting the communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type. For example, even with wired lines such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL (Asymmetric Digital Subscriber Line) line, infrared rays such as IrDA and remote control, Bluetooth (registered trademark), 802.11 wireless, HDR, mobile phone It can also be used by radio such as a telephone network, a satellite line, and a terrestrial digital network. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
以上、本発明を実施形態に基づいて具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲において種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention has been specifically described above based on the embodiments. However, the present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims, and different implementations are possible. Embodiments obtained by appropriately combining the technical means disclosed in each form are also included in the technical scope of the present invention.
本発明は、各種情報機器において利用することができる。 The present invention can be used in various information devices.
６ フォトダイオード
１２ 選択領域検出部（選択領域検出手段）
１４ 向き検出部（向き検出手段）
１５ 入力領域認識部（入力領域認識手段）
１６ 選択領域端・領域幅検出部（領域端検出手段、領域幅検出手段）
６４ 指（対象物）
１００ データ表示／センサ装置（像検知装置）
３０１ センサ内蔵液晶パネル（面状部材）
３５０ 入力キー
３６０ 選択領域（対象物により選択された面状部材上の領域）
３６０ａ 領域端点（先端側の点）
３６０ｂ 領域端点（後端側の点）
３６１ ポインタ
6
14 Direction detection unit (direction detection means)
15 Input area recognition unit (input area recognition means)
16 Selection area edge / area width detection unit (area edge detection means, area width detection means)
64 fingers (object)
100 Data display / sensor device (image detection device)
301 Liquid crystal panel with built-in sensor (planar member)
350
360a Area end point (point on the tip side)
360b Area end point (point on the rear end side)
361 pointer
Claims (8)
上記面状部材が検知した対象物の像から当該面状部材に対する対象物の向きを検出する向き検出手段と、
上記面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域Ａを検出する選択領域検出手段と、
上記選択領域検出手段が検出した上記領域Ａの、上記対象物の向きに沿った先端側の点と後端側の点とを検出する領域端検出手段と、
上記先端側の点と後端側の点との間の距離を、上記領域Ａの幅として検出する領域幅検出手段と、
上記先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、上記面状部材に対する入力領域として認識する入力領域認識手段と、
を備えることを特徴とする像検知装置。 A planar member for detecting an image of an object located in the vicinity;
Orientation detecting means for detecting the orientation of the object relative to the planar member from the image of the object detected by the planar member;
Selection area detecting means for detecting an area A on the planar member selected by the object based on the image of the object detected by the planar member;
Area edge detection means for detecting a point on the front end side and a point on the rear end side along the direction of the object in the area A detected by the selection area detection means;
Area width detecting means for detecting the distance between the front end point and the rear end point as the width of the area A;
The region B having the point on the tip side as the center or the center of gravity and the maximum width equal to or less than the width of the region A and the region A selected by the object are recognized as an input region for the planar member. Input area recognition means for
An image detection apparatus comprising:
前記領域Ｂの最大幅が、隣接する入力キーのキーピッチ以下であることを特徴とする請求項１又は２に記載の像検知装置。 A plurality of input keys are provided on the planar member,
The image detection apparatus according to claim 1, wherein a maximum width of the region B is equal to or less than a key pitch of adjacent input keys.
上記面状部材が検知した対象物の像から当該面状部材に対する対象物の向きを検出する向き検出工程と、
上記面状部材が検知した対象物の像に基づいて、当該対象物により選択された当該面状部材上の領域Ａを検出する選択領域検出工程と、
上記選択領域検出工程にて検出した上記領域Ａの、上記対象物の向きに沿った先端側の点と後端側の点とを検出する領域端検出工程と、
上記先端側の点と後端側の点との間の距離を、上記領域Ａの幅として検出する領域幅検出工程と、
上記先端側の点を中心又は重心とし、かつ最大幅が上記領域Ａの幅以下となる領域Ｂと、対象物により選択された上記領域Ａとを合わせて、上記面状部材に対する入力領域として認識する入力領域認識工程と、
を含むことを特徴とする入力領域の認識方法。 A method for recognizing an input area in an image detection apparatus comprising a planar member for detecting an image of an object located in the vicinity,
An orientation detection step of detecting the orientation of the object relative to the planar member from the image of the object detected by the planar member;
A selection area detecting step of detecting an area A on the planar member selected by the object based on an image of the object detected by the planar member;
A region end detection step of detecting a point on the front end side and a point on the rear end side along the direction of the object in the region A detected in the selection region detection step;
A region width detection step of detecting the distance between the tip end point and the rear end point as the width of the region A;
The region B having the point on the tip side as the center or the center of gravity and the maximum width equal to or less than the width of the region A and the region A selected by the object are recognized as an input region for the planar member. An input area recognition process to perform,
An input region recognition method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008299624A JP2010128566A (en) | 2008-11-25 | 2008-11-25 | Image detection device, recognition method for input region, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008299624A JP2010128566A (en) | 2008-11-25 | 2008-11-25 | Image detection device, recognition method for input region, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010128566A true JP2010128566A (en) | 2010-06-10 |
Family
ID=42328942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008299624A Pending JP2010128566A (en) | 2008-11-25 | 2008-11-25 | Image detection device, recognition method for input region, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010128566A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015527662A (en) * | 2012-07-30 | 2015-09-17 | フェイスブック，インク． | Methods, storage media and systems, particularly with respect to touch gesture offsets |
| JP2019211859A (en) * | 2018-05-31 | 2019-12-12 | 株式会社東海理化電機製作所 | Display input device |
-
2008
- 2008-11-25 JP JP2008299624A patent/JP2010128566A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015527662A (en) * | 2012-07-30 | 2015-09-17 | フェイスブック，インク． | Methods, storage media and systems, particularly with respect to touch gesture offsets |
| JP2016186808A (en) * | 2012-07-30 | 2016-10-27 | フェイスブック，インク． | Method, storage medium, and system on touch gesture offset, especially |
| US9753574B2 (en) | 2012-07-30 | 2017-09-05 | Facebook, Inc. | Touch gesture offset |
| JP2019211859A (en) * | 2018-05-31 | 2019-12-12 | 株式会社東海理化電機製作所 | Display input device |
| JP7005429B2 (en) | 2018-05-31 | 2022-02-04 | 株式会社東海理化電機製作所 | Display input device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5367339B2 (en) | MENU DISPLAY DEVICE, MENU DISPLAY DEVICE CONTROL METHOD, AND MENU DISPLAY PROGRAM | |
| JP2010146506A (en) | Input device, method for controlling input device, program for controlling input device, computer-readable recording medium, and information terminal device | |
| JP2010140300A (en) | Display, control method, control program and recording medium | |
| WO2011102038A1 (en) | Display device with touch panel, control method therefor, control program, and recording medium | |
| WO2011052261A1 (en) | Pointing device | |
| JP5095574B2 (en) | Image display / image detection apparatus, image display method, image display program, and recording medium recording the program | |
| WO2010100798A1 (en) | Display device, television receiver, and pointing system | |
| JP2010122972A (en) | Image display/detection device, selection method, and program | |
| JP5306780B2 (en) | Input device | |
| JP2010109467A (en) | Image display/image detection apparatus | |
| JP5254753B2 (en) | Numerical input device, numerical input method, numerical input program, and computer-readable recording medium | |
| JP2010204945A (en) | Input device and input method | |
| JP2010123082A (en) | Display device, control method of the same, display device control program, and computer readable recording medium recording the program | |
| JP2010117841A (en) | Image detection device, recognition method of input position and program | |
| JP2010128566A (en) | Image detection device, recognition method for input region, and program | |
| JP2010122383A (en) | Display apparatus | |
| JP5567776B2 (en) | Color detection / color output device, color detection / color output program, computer-readable recording medium, and color detection / color output method | |
| JP2010118018A (en) | Position identifying device, position identification program, computer-readable storage medium, and position identification method | |
| WO2011121842A1 (en) | Display device with input unit, control method for same, control program and recording medium | |
| JP2010160689A (en) | Input device and method of controlling the same | |
| JP2010109947A (en) | Processing execution command device, electronic equipment, and method of controlling processing execution command device | |
| JP2010122444A (en) | Map display apparatus, method for controlling map display apparatus, program for controlling map display apparatus, and computer readable recording medium | |
| WO2010050567A1 (en) | Data transmission support device, electronic equipment and data transmission support device control method | |
| JP2010119064A (en) | Color detection device, color detection program, computer readable recording medium, and color detection method | |
| JP2010108446A (en) | Information processor, control method of information processor, and information processing program |