JP6906892B2 - Display with gesture input function - Google Patents
Display with gesture input function Download PDFInfo
- Publication number
- JP6906892B2 JP6906892B2 JP2015196466A JP2015196466A JP6906892B2 JP 6906892 B2 JP6906892 B2 JP 6906892B2 JP 2015196466 A JP2015196466 A JP 2015196466A JP 2015196466 A JP2015196466 A JP 2015196466A JP 6906892 B2 JP6906892 B2 JP 6906892B2
- Authority
- JP
- Japan
- Prior art keywords
- thin film
- film optical
- optical sensor
- display
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、ディスプレイ前方に規定した三次元空間内における検出対象物の位置検出機能により、非接触のジェスチャー入力機能を実現することのできるジェスチャー入力機能付きディスプレイに関する。 The present invention relates to a display with a gesture input function capable of realizing a non-contact gesture input function by a position detection function of a detection object in a three-dimensional space defined in front of the display.
ディスプレイに操作情報を入力する機能を付加したものとして、タッチパネルがある。このようなタッチパネルには、静電容量、抵抗、光などのセンサが適用されているが、基本的には、ディスプレイ表面に指などが密着・圧着した状態で、その位置を検出するものである。 There is a touch panel as an addition to the function of inputting operation information to the display. Sensors such as capacitance, resistance, and light are applied to such a touch panel, but basically, the position is detected when a finger or the like is in close contact with or crimped to the display surface. ..
一方、ディスプレイから離れた位置で検出するＨｏｖｅｒ入力の実施例もある。具体例としては、静電容量方式でディスプレイ表面から数ｍｍ〜１ｃｍ程度離れた位置での検出を行うもの、あるいはディスプレイを含む装置に超音波デバイスを取り付けてＨｏｖｅｒ入力を実施するものがある On the other hand, there is also an example of Hover input that detects at a position away from the display. As a specific example, there is a capacitance method that detects at a position several mm to 1 cm away from the display surface, or an ultrasonic device attached to a device including the display to perform Hover input.
また、上述したような具体例とは別に、ディスプレイに薄膜光センサを付加する試みがある（例えば、非特許文献１、２参照）。図７は、非特許文献１において薄膜光センサをディスプレイに付加した具体例を示した図であり、図８は、非特許文献２において薄膜光センサをディスプレイに付加した具体例を示した図である。
In addition to the specific examples described above, there is an attempt to add a thin film optical sensor to the display (see, for example, Non-Patent
薄膜光センサをディスプレイに付加するに当たっては、全部または一部の表示画素内に、薄膜光センサを埋め込む、表示画素の一部を薄膜光センサ画素で置き換える、表示画素と薄膜光センサ画素とを混在させる、あるいは薄膜光センサのみを有する画素を別途設けるなどが試みられている。薄膜光センサは、密着型の画像スキャナや指紋センサタッチパネル、あるいは使用環境の明るさ測定といった機能を、ディスプレイに併せ持たせるために使用される。 When adding a thin film optical sensor to a display, the thin film optical sensor is embedded in all or part of the display pixels, a part of the display pixels is replaced with the thin film optical sensor pixels, and the display pixels and the thin film optical sensor pixels are mixed. Attempts have been made to make it possible, or to separately provide a pixel having only a thin film optical sensor. The thin-film optical sensor is used to provide a display with functions such as a close-contact image scanner, a fingerprint sensor touch panel, and brightness measurement of a usage environment.
しかしながら、従来技術には、以下のような課題がある。
上述したように、ディスプレイに組み込まれた薄膜光センサは、指紋センサやタッチといったディスプレイに検出対象を密着させる場合の情報入力に対しては、適用されている。ただし、Ｈｏｖｅｒ入力のような非接触の情報入力には適用されていない。
However, the prior art has the following problems.
As described above, the thin film optical sensor incorporated in the display is applied to information input when the detection target is brought into close contact with the display such as a fingerprint sensor and a touch. However, it is not applied to non-contact information input such as Hover input.
これに対して、静電容量方式のＨｏｖｅｒ入力の場合には、ディスプレイ表面から検出対象までの距離が、数ｍｍ〜１ｃｍ程度と短い。このため、使い勝手や操作性は、決して良好ではない。 On the other hand, in the case of the capacitance type Hover input, the distance from the display surface to the detection target is as short as several mm to 1 cm. Therefore, the usability and operability are not good at all.
また、超音波デバイスを用いる場合には、部品点数の増加に伴う機器の大型化やコスト増加の問題がある。 Further, when an ultrasonic device is used, there is a problem that the size of the device increases and the cost increases due to the increase in the number of parts.
ここで、薄膜光センサをディスプレイに組み込む従来技術における問題点について説明する。従来技術において、薄膜光センサの上方は、より多くの入射光を得るために、広く開口させていた。そのため、１個の薄膜光センサに対して広範囲の方向からの光が混ざって入射していた。 Here, problems in the prior art of incorporating a thin film optical sensor into a display will be described. In the prior art, the upper part of the thin film light sensor is wide open in order to obtain more incident light. Therefore, light from a wide range of directions is mixed and incident on one thin film optical sensor.
すなわち、薄膜光センサアレイにおいては、薄膜光センサアレイより離れた位置に物体がある場合、その物体の非常に広範囲の情報が１個の薄膜光センサに入射することによって、物体の像を結ぶのが困難であった。通常のカメラであれば、フォーカスが全く合っていない状態と同様である。 That is, in a thin film optical sensor array, when an object is located at a position distant from the thin film optical sensor array, a very wide range of information on the object is incident on one thin film optical sensor to form an image of the object. Was difficult. With a normal camera, it is the same as when the camera is out of focus at all.
通常のカメラとは異なって、ディスプレイの前面に集光レンズの設置が困難であることもまた、薄膜光センサアレイにおける精細な画像の撮影を妨げる大きな要因である。 Unlike ordinary cameras, the difficulty of installing a condenser lens in front of the display is also a major factor that hinders the acquisition of fine images in the thin film optical sensor array.
さらに、通常のカメラの場合であれば、撮影した高精細な画像を解析して、必要な情報を抽出するといった画像処理に基づく情報取得手法が適用される。しかしながら、ディスプレイに組み込んだ薄膜光センサの場合には、こういった従来の画像処理ベースの情報取得手法は、適用困難である。 Further, in the case of a normal camera, an information acquisition method based on image processing such as analyzing a captured high-definition image and extracting necessary information is applied. However, in the case of a thin film optical sensor incorporated in a display, such a conventional image processing-based information acquisition method is difficult to apply.
すなわち、薄膜光センサを用いた非接触の情報入力機能を実現するためには、薄膜光センサに光検出の指向性を付与し、さらに、薄膜光センサの特性に合った、従来の画像処理ベースの手法とは異なる入力情報取得手法を、併せて適用することが必要である。 That is, in order to realize a non-contact information input function using a thin film optical sensor, a conventional image processing base that imparts photodetection directivity to the thin film optical sensor and further matches the characteristics of the thin film optical sensor. It is necessary to apply an input information acquisition method different from the method of.
本発明は、前記のような課題を解決するためになされたものであり、薄膜光センサの集光特性を改善するとともに、改善された薄膜光センサが組み込まれたディスプレイを用いた機器において、ディスプレイに非接触な状態でのジェスチャー入力機能を実現することのできる、ジェスチャー入力機能付きディスプレイを得ることを目的とする。 The present invention has been made to solve the above-mentioned problems, and is used in a device using a display incorporating an improved thin film optical sensor while improving the light-collecting characteristics of the thin film optical sensor. The purpose is to obtain a display with a gesture input function that can realize a gesture input function in a non-contact state.
本発明に係るジェスチャー入力機能付きディスプレイは、光電変換領域を備え、光電変換領域での受光量に応じて光検出を行うとともに、受光面である光電変換領域の上方に、光検出に指向性を持たせる構造体をさらに備えた薄膜光センサが、任意の端辺領域に列状配置を有するように複数配置されたディスプレイであって、製造段階において、受光面と対向する平面内で、光電変換領域に対する構造体の相対的な位置関係を所望の位置に変位させることで、指向性を持たせた光検出の主検出方向が所望の方向に設定された複数配置された薄膜光センサを有するディスプレイと、所望の方向に設定された各薄膜光センサのそれぞれの主検出方向によってディスプレイの前方の空間内に規定された検出空間において、各薄膜光センサの組合せによる検出結果に基づいて検出空間内での検出対象の位置を特定することで、ディスプレイに非接触な状態でのジェスチャー入力を読み取る検出部とを備えるものである。 The display with a gesture input function according to the present invention is provided with a photoelectric conversion region, performs photodetection according to the amount of light received in the photoelectric conversion region, and provides directivity for light detection above the photoelectric conversion region which is a light receiving surface. A plurality of thin film photosensors further provided with a structure to be held are arranged so as to have a row arrangement in an arbitrary end region, and photoelectric conversion is performed in a plane facing the light receiving surface at the manufacturing stage. A display having a plurality of arranged thin film photosensors in which the main detection direction of photodetection having directionality is set in a desired direction by displacing the relative positional relationship of the structure with respect to a region to a desired position. In the detection space defined in the space in front of the display by each main detection direction of each thin film optical sensor set in a desired direction, in the detection space based on the detection result by the combination of each thin film optical sensor. It is provided with a detection unit that reads a gesture input in a non-contact state with the display by specifying the position of the detection target.
本発明によれば、光検出に指向性を持たせる構造を備えた薄膜光センサを実現できるとともに、主薄膜光センサと複数の副薄膜光センサからなる基本ユニットをディスプレイ端辺に列状に複数配置する構造を備えることで、検出面内での位置検出機能を併せ持つディスプレイを実現できる。この結果、薄膜光センサの集光特性を改善するとともに、改善された薄膜光センサが組み込まれたディスプレイを用いた機器において、ディスプレイに非接触な状態でのジェスチャー入力機能を実現することのできる、ジェスチャー入力機能付きディスプレイを得ることができる。 According to the present invention, it is possible to realize a thin film optical sensor having a structure that gives directivity to photodetection, and a plurality of basic units consisting of a main thin film optical sensor and a plurality of sub thin film optical sensors are arranged in a row on the edge of the display. By providing a structure for arranging the display, it is possible to realize a display having a position detection function in the detection surface. As a result, it is possible to improve the light-collecting characteristics of the thin-film optical sensor and realize a gesture input function in a state of non-contact with the display in a device using a display incorporating the improved thin-film optical sensor. You can get a display with a gesture input function.
以下、本発明のジェスチャー入力機能付きディスプレイの好適な実施の形態につき、図面を用いて説明する。
本発明は、ディスプレイに埋め込まれる薄膜光センサにおいて光検出の指向性を付与したこと、および、指向性が付与された薄膜光センサに基づいてディスプレイに非接触な状態でのジェスチャー入力機能を実現すること、を技術的特徴とするものである。
Hereinafter, preferred embodiments of the display with the gesture input function of the present invention will be described with reference to the drawings.
The present invention realizes a directivity for photodetection in a thin film optical sensor embedded in a display, and a gesture input function in a state of non-contact with the display based on the thin film optical sensor to which the directivity is given. That is a technical feature.
実施の形態１．
図１は、本発明の実施の形態１における、光検出の指向性を有する薄膜光センサの構造例を示した図である。図１に示した薄膜光センサ素子１０は、Ｎ型領域などに相当する第１導電領域１１（斜めのハッチングで示された部分）と、Ｐ型領域などに相当する第２導電領域１２（縦のハッチングで示された部分）との間に、ＰＮ接合の空乏層などに相当する光電変換領域１３（白抜きで示された部分）を備えて構成されている。なお、図１（ｂ）中のｎＡ、ｎＢは、屈折率を意味している。
FIG. 1 is a diagram showing a structural example of a thin film optical sensor having directivity for light detection according to the first embodiment of the present invention. The thin film
そして、指向性を持たせるために、本実施の形態１では、薄膜光センサ素子１０における光電変換領域１３の上方（ディスプレイ表面側）において、図１（ａ）に示すように、微小孔２１を有する遮光層２０を設ける、あるいは、図１（ｂ）に示すように、光学的に凹レンズのような特性（中央付近ではレンズの特性がなくてもよい）を有する構造３０（以下、凹レンズ構造３０と称す）を形成する、などの構成を備えている。
Then, in order to provide directivity, in the first embodiment, as shown in FIG. 1A, the
光電変換領域の直上に、上述した構成を形成することにより、ディスプレイ表面と鉛直な方向（θ＝０°）の光は、従来どおり光電変換領域に入射して検出される。さらに、斜め方向（｜θ｜＞０°）の光は、光電変換領域に入射が困難で、検出され難く、よって、鉛直方向の指向性が付与されることとなる。 By forming the above-described configuration directly above the photoelectric conversion region, light in a direction (θ = 0 °) perpendicular to the display surface is incident on the photoelectric conversion region and detected as before. Further, the light in the oblique direction (| θ |> 0 °) is difficult to enter into the photoelectric conversion region and is difficult to detect, so that the directivity in the vertical direction is imparted.
また、鉛直方向（θ＝０°）だけではなく、微小孔２１あるいは凹レンズ構造３０の位置を水平（ディスプレイ表面と平行）に変位させることにより、光検出の方向を、鉛直からずれた斜め方向に制御できる。換言すると、ディスプレイの製造段階での作り込みにより、ディスプレイの任意の端辺領域に列状配置されるそれぞれの薄膜光センサの光検出方向を、所望の方向に設定することができる。
Further, by displacing the position of the microhole 21 or the
図２は、本発明の実施の形態１に係る薄膜光センサにおいて、微小孔２１の位置を変位させることで、光検出の指向性を所望の方向に設定する方法を示した説明図である。図２（ａ）〜（ｃ）は、図２の紙面上で左右方向に相当するｘ方向に微小孔２１の位置を変位させることで、θｘに指向性を持たせることができる状態を示している。同様に、図２（ｄ）〜（ｆ）は、図２の紙面上で上下方向に相当するｙ方向に微小孔２１の位置を変位させることで、θｙに指向性を持たせることができる状態を示している。
FIG. 2 is an explanatory diagram showing a method of setting the directivity of photodetection in a desired direction by displacing the position of the
図３は、本発明の実施の形態１において、ディスプレイへの薄膜光センサの埋め込みと、それによって実現されるジェスチャー入力機能の概要に関する説明図である。ディスプレイ１の端辺１ａにおける１〜２画素程度の幅の画素列内で、薄膜光センサが適宜埋め込まれている。
FIG. 3 is an explanatory diagram relating to the embedding of the thin film optical sensor in the display and the outline of the gesture input function realized by the embedding in the first embodiment of the present invention. A thin film optical sensor is appropriately embedded in a pixel array having a width of about 1 to 2 pixels on the edge 1a of the
そして、この端辺１ａの前面に奥行き方向（ディスプレイ表面から離れる方向）を含む２次元の検出平面をＸ−Ｚ平面２として規定し、これと交差する物体（例えば、指）の位置を非接触で検出する。図３において、各薄膜光センサの光検出方向については、鉛直方向を０°として、検出平面に沿って各薄膜光センサにおける指向性の角度θが所望の方向に設定されることとなる。
Then, a two-dimensional detection plane including the depth direction (direction away from the display surface) is defined as the
図４は、本発明の実施の形態１における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性（１）を示した図である。この図４では、ある薄膜光センサの位置を、基準点ｘ＝０（かつｚ＝０）として、その直上θ＝０°に、薄膜光センサからある距離ｚ離れた位置に検出対象がある場合に、画素列に沿って基準点から｜ｘ｜だけずれた位置における５通りの異なるθ（０°、ｓｍａｌｌ、ｍｉｄｄｌｅ、ｌａｒｇｅ、およびｌａｒｇｅｒ）での薄膜光センサによる検出値を、物理的シミュレーションによって検証したものである。なお、背景は、黒としている。 FIG. 4 is a diagram showing the photodetection characteristics (1) under various conditions of the thin film photosensor imparted with the photodetection directivity according to the first embodiment of the present invention. In FIG. 4, the position of a thin film optical sensor is set to a reference point x = 0 (and z = 0), and a detection target is located at a position z away from the thin film optical sensor at θ = 0 ° directly above the reference point x = 0 (and z = 0). In addition, the detected values by the thin film photosensor at five different θ (0 °, small, middle, large, and large) at positions shifted by | x | from the reference point along the pixel sequence are obtained by physical simulation. It has been verified. The background is black.
さらに、図５は、本発明の実施の形態１における光検出指向性を付与した薄膜光センサの、諸条件における光検出特性（２）を示した図である。より具体的には、先の図４より、以下の組合せＡによる薄膜光センサのデータを抽出したものが図５（ａ）であり、以下の組合せＢによる薄膜光センサのデータを抽出したものが図５（ｂ）である。
組合せＡ：｛θ＝０°、ｘ＝０｝、｛θ：ｍｉｄｄｌｅ、ｘ＝６｝、｛θ：ｍｉｄｄｌｅ、ｘ＝１０｝、｛θ：ｍｉｄｄｌｅ、ｘ＝１４｝。
組合せＢ：｛θ＝０°、ｘ＝０｝、｛θ：ｍｉｄｄｌｅ、ｘ＝１６｝、｛θ：ｌａｒｇｅ、ｘ＝１６｝、｛θ：ｌａｒｇｅｒ、ｘ＝１６｝。
Further, FIG. 5 is a diagram showing the photodetection characteristics (2) under various conditions of the thin film photosensor imparted with the photodetection directivity according to the first embodiment of the present invention. More specifically, from FIG. 4, the data of the thin film optical sensor according to the combination A below is extracted from FIG. 5A, and the data of the thin film optical sensor according to the combination B below is extracted. FIG. 5 (b).
Combination A: {θ = 0 °, x = 0}, {θ: middle, x = 6}, {θ: middle, x = 10}, {θ: middle, x = 14}.
Combination B: {θ = 0 °, x = 0}, {θ: middle, x = 16}, {θ: range, x = 16}, {θ: ranger, x = 16}.
すなわち、適切な薄膜光センサの組合せにおいて、検出平面内の位置検出が可能であり、例えば、次のような組合せＡあるいは組合せＢを採用することで、図５のような特性に従って、適切に位置検出を行うことができる。
組合せＡ：θ＝０°の薄膜光センサ（主薄膜光センサ）と、そこから異なるずれ量ｘの位置にあって同一θの複数個の薄膜光センサ（副薄膜光センサ）とを組合せたもの。
組合せＢ：θ＝０°の薄膜光センサ（主薄膜光センサ）と、そこからほぼ同じずれ量ｘの位置にあって異なるθを有する複数個の薄膜光センサ（副薄膜光センサ）とを組合せたもの。
That is, it is possible to detect the position in the detection plane with an appropriate combination of thin film optical sensors. For example, by adopting the following combination A or B, the position is appropriately determined according to the characteristics as shown in FIG. Detection can be performed.
Combination A: A combination of a thin film optical sensor (main thin film optical sensor) with θ = 0 ° and a plurality of thin film optical sensors (secondary thin film optical sensors) having the same θ at different positions of deviation amounts x. ..
Combination B: A combination of a thin film optical sensor with θ = 0 ° (main thin film optical sensor) and a plurality of thin film optical sensors (secondary thin film optical sensors) having approximately the same deviation amount x and different θs. The thing.
なお、複数箇所の位置検出も可能である。また、位置検出は、次の手順に従って多段処理を行うことで、効率よく実行することができる。
ステップ１：θ＝０°の各薄膜光センサ（主薄膜光センサ）出力値より、上記画素列内における位置Ｘを特定する。
ステップ２：上記組合せＡあるいは組合せＢに基づいて、位置Ｘの近傍にあるθ＝０°の薄膜光センサとの組み合わせにある複数個の薄膜光センサ（副薄膜光センサ）の出力値より、あらかじめ求めておいた図５のような特性に従って、奥行き位置Ｚを算出する。
It is also possible to detect the position of a plurality of locations. Further, the position detection can be efficiently executed by performing the multi-stage processing according to the following procedure.
Step 1: The position X in the pixel sequence is specified from the output value of each thin film optical sensor (main thin film optical sensor) at θ = 0 °.
Step 2: Based on the combination A or B, the output values of a plurality of thin film light sensors (secondary thin film light sensors) in combination with the thin film light sensor of θ = 0 ° in the vicinity of the position X are obtained in advance. The depth position Z is calculated according to the obtained characteristics as shown in FIG.
このような手順を採用することで、ステップ２において出力値を調べるべき薄膜光センサの数を、ステップ１による前処理に基づいて大幅に絞り込んで減らすことができる。このため、全薄膜光センサの出力値を調べる場合よりも、演算量・演算時間が大きく削減できる。これにより、速い動きのあるジェスチャー入力にも対応可能である。
By adopting such a procedure, the number of thin film optical sensors whose output value should be examined in
図６は、本発明の実施の形態１における薄膜光センサの配置例を示す図である。具体的には、上述した組合せＡ、Ｂに沿った、上記画素列全体における薄膜光センサの配置例を示したものである。各矢印の始点に薄膜光センサが配置され、それぞれの薄膜光センサによる光検出の方向を矢印で示している。 FIG. 6 is a diagram showing an arrangement example of the thin film optical sensor according to the first embodiment of the present invention. Specifically, an example of arranging the thin film optical sensor in the entire pixel array along the above-mentioned combinations A and B is shown. A thin film photosensor is arranged at the start point of each arrow, and the direction of light detection by each thin film photosensor is indicated by an arrow.
θ＝０°の薄膜光センサを挟んで左右両側から、θやｘの異なる薄膜光センサを配置した基本型を、上記画素列に沿って適度な間隔で配列させている。左右両側に配置することで、検出精度を高めることができる。ただし、上記画素列の端部付近では、全ての位置に配置できない場合もある。 Basic types in which thin film optical sensors having different θ and x are arranged are arranged at appropriate intervals along the pixel array from the left and right sides of the thin film optical sensor with θ = 0 °. By arranging them on both the left and right sides, the detection accuracy can be improved. However, it may not be possible to arrange the pixels at all positions near the end of the pixel array.
なお、図６中に○で示した場所のように、薄膜光センサの位置が互いに重なる場合には、その薄膜光センサあるいは基本型の位置を、上記画素列の幅方向も含めて１画素程度ずらしている。ただし、薄膜光センサは、上記画素列内の全画素に配置する必要はない。 When the positions of the thin film optical sensors overlap each other as shown by the circles in FIG. 6, the position of the thin film optical sensor or the basic type is about one pixel including the width direction of the pixel array. It is staggered. However, the thin film optical sensor does not have to be arranged in all the pixels in the pixel array.
なお、θについて、上記画素列に平行な方向の成分と、上記画素列およびθ＝０°の鉛直方向と垂直な成分をそれぞれθｘ、θｙとした場合、上述の例では、簡単のためにθｙ＝０°で検出平面はディスプレイに対して垂直であるとして説明した。しかしながら、本発明はこのような場合に限定されず、上述におけるθをθｘに置き換えることで、｜θｙ｜＞０°、すなわち、検出平面がディスプレイに対して傾いている場合にも、鉛直方向の場合と同様に、実現可能である。なお、θｙをｘ方向に沿って変えることで、湾曲した検出面を規定することもできる。 Regarding θ, when the component in the direction parallel to the pixel array and the component perpendicular to the pixel array and the vertical direction of θ = 0 ° are θx and θy, respectively, in the above example, θy is for simplicity. It was explained that the detection plane is perpendicular to the display at = 0 °. However, the present invention is not limited to such a case, and by replacing θ in the above with θx, | θy |> 0 °, that is, even when the detection plane is tilted with respect to the display, in the vertical direction. As in the case, it is feasible. It is also possible to define a curved detection surface by changing θy along the x direction.
また、基本型についても、上記画素列内の位置に応じて、θｘ＝０°の条件を変えてもよい。例えば、上記画素列端部ほど｜θｘ｜を大きくする、あるいはその逆に、画素列端部ほど｜θｘ｜を小さくして、検出平面の有効範囲を変えることも可能である。その場合には、基本型内の他の薄膜光センサのθやｘについても、調整が必要である。 Further, also for the basic type, the condition of θx = 0 ° may be changed according to the position in the pixel array. For example, it is possible to change the effective range of the detection plane by increasing | θx | toward the end of the pixel row, or conversely, decreasing | θx | toward the end of the pixel row. In that case, it is necessary to adjust θ and x of other thin film optical sensors in the basic type.
さらに、薄膜光センサを埋め込む画素列について、上述ではディスプレイの４端辺のうちのいずれか１辺のみである場合について説明したが、これは１辺に限るものではない。 Further, regarding the pixel sequence in which the thin film optical sensor is embedded, the case where only one of the four end sides of the display is used has been described above, but this is not limited to one side.
上述した本実施の形態１に係る薄膜光センサを備えることによる、ジェスチャー入力機能付きディスプレイの効果を整理すると、以下のようになる。
・ディスプレイ前方に規定した検出面内における位置検出機能を併せ持つディスプレイが実現できる。この結果、これまでにはない非接触のジェスチャー入力機能が実現できる。
・本方式は、静電容量方式によるＨｏｖｅｒ入力の場合よりも、離れた位置での操作が可能である。さらに、本方式は。超音波デバイスを用いたＨｏｖｅｒ入力のように、部品点数が増加することがなく、複数箇所の検出にも対応可能である。
・このようなディスプレイは、例えば、モバイル機器用として好適であり、そのモバイル機器の使い勝手を大きく向上させることができる。さらに、超音波デバイスなどを付加した場合に発生する、機器の大型化やコスト増加といった問題も抑制できる。
The effects of the display with the gesture input function by providing the thin film optical sensor according to the first embodiment described above can be summarized as follows.
-It is possible to realize a display that also has a position detection function within the detection surface specified in front of the display. As a result, a non-contact gesture input function that has never existed can be realized.
-This method can be operated at a distant position than the case of Hover input by the capacitance method. Furthermore, this method is. Unlike the Hover input using an ultrasonic device, the number of parts does not increase, and it is possible to detect a plurality of locations.
-Such a display is suitable for, for example, a mobile device, and the usability of the mobile device can be greatly improved. Furthermore, problems such as upsizing of equipment and cost increase that occur when an ultrasonic device or the like is added can be suppressed.
以上のように、実施の形態１によれば、光検出に指向性を持たせる構造を備えた薄膜光センサを実現できる。具体的には、光検出指向性の付与は、光電変換領域の上方に（ａ）微小孔を有する遮光層を設ける、あるいは（ｂ）凹レンズのような光学特性を有する構造を設ける、といった手法により実現している。さらに、このような構造の水平位置を変位させることで、光検出方向を、製造段階での作り込みにより、所望の方向に設定することが可能となる。 As described above, according to the first embodiment, it is possible to realize a thin film optical sensor having a structure that gives directivity to light detection. Specifically, the light detection directivity is imparted by a method such as (a) providing a light-shielding layer having micropores above the photoelectric conversion region, or (b) providing a structure having optical characteristics such as a concave lens. It has been realized. Further, by displacing the horizontal position of such a structure, the light detection direction can be set to a desired direction by making it in the manufacturing stage.
さらに、本願の薄膜光センサによる列を、ディスプレイ端辺の画素列に埋め込むことで、ディスプレイ前方に規定した三次元空間内でのジェスチャー入力機能を併せ持つディスプレイを実現できる。具体的には、光検出方向と位置の異なる複数の薄膜光センサを、ディスプレイの１端辺あるいは複数の端辺に沿って配置し、あらかじめ組み合わせた複数の薄膜光センサの出力値に応じて、非接触でジェスチャー入力による位置検出を行うことができる。なお、このような位置検出を行う際には、各薄膜光センサの配置方法に合った多段処理による位置検出手法を適用することができる。 Further, by embedding the row by the thin film optical sensor of the present application in the pixel row at the edge of the display, it is possible to realize a display having a gesture input function in the three-dimensional space defined in front of the display. Specifically, a plurality of thin film light sensors having different light detection directions and positions are arranged along one end side or a plurality of end sides of the display, and are combined in advance according to the output values of the plurality of thin film light sensors. Position detection can be performed by gesture input without contact. When performing such position detection, a position detection method by multi-stage processing suitable for the arrangement method of each thin film optical sensor can be applied.
この結果、本願の薄膜光センサをモバイル機器などのディスプレイに組み込むことで、ディスプレイに非接触な状態でのジェスチャー入力機能が実現でき、機器の大型化やコスト増加を抑制したジェスチャー入力機能付きディスプレイを得ることができる。 As a result, by incorporating the thin-film optical sensor of the present application into a display such as a mobile device, a gesture input function can be realized in a state of non-contact with the display, and a display with a gesture input function that suppresses the increase in size and cost of the device can be realized. Obtainable.
１ ディスプレイ、１ａ 水平端辺、２ Ｘ−Ｚ平面（検出平面）、１０ 薄膜光センサ素子（薄膜光センサ）、１１ 第１導電領域、１２ 第２導電領域、１３ 光電変換領域、２０ 遮光層、２１ 微小孔、３０ 凹レンズ構造。 1 display, 1a horizontal edge, 2 XZ plane (detection plane), 10 thin film optical sensor element (thin film optical sensor), 11 first conductive region, 12 second conductive region, 13 photoelectric conversion region, 20 light-shielding layer, 21 micropores, 30 concave lens structure.
Claims (2)
前記所望の方向に設定された各薄膜光センサのそれぞれの主検出方向によって前記ディスプレイの前方の空間内に規定された検出空間において、前記各薄膜光センサの組合せによる検出結果に基づいて前記検出空間内での検出対象の位置を特定することで、前記ディスプレイに非接触な状態でのジェスチャー入力を読み取る検出部と
を備え、
前記構造体は、光学的に凹レンズの特性を備え、
前記薄膜光センサは、１つの主薄膜光センサと、前記主薄膜光センサの光検出方向と異なる方向に光検出方向を有する複数の副薄膜光センサとで構成される基本ユニットを長手方向に複数配置した構成として、前記列状配置が形成されており、
前記基本ユニット内において、前記複数の副薄膜光センサのそれぞれは、前記複数の副薄膜光センサの光検出方向が前記主薄膜光センサの光検出方向と交差するように配置されており、
前記複数の副薄膜光センサは、前記主薄膜光センサからのずれ量が同じであり、光検出方向が異なる、ジェスチャー入力機能付きディスプレイ。 A photoelectric conversion region is provided, light detection is performed according to the amount of light received in the photoelectric conversion region, and a structure for giving directivity to the light detection is further provided above the photoelectric conversion region, which is a light receiving surface. A plurality of thin-film optical sensors are arranged so as to have a row arrangement in an arbitrary end region, and in the manufacturing stage, the structure of the structure with respect to the photoelectric conversion region in a plane facing the light receiving surface. A display having the plurality of arranged thin film optical sensors in which the main detection direction of the photodetector having the directivity is set to a desired direction by displacing the relative positional relationship to a desired position, and
In the detection space defined in the space in front of the display by the main detection direction of each thin film optical sensor set in the desired direction, the detection space is based on the detection result by the combination of the thin film optical sensors. It is equipped with a detection unit that reads the gesture input in a non-contact state with the display by specifying the position of the detection target inside.
The structure optically has the characteristics of a concave lens .
The thin film optical sensor includes a plurality of basic units in the longitudinal direction, which are composed of one main thin film optical sensor and a plurality of sub thin film optical sensors having a light detection direction different from the light detection direction of the main thin film optical sensor. As the arranged configuration, the row arrangement is formed.
In the basic unit, each of the plurality of sub-thin film optical sensors is arranged so that the photodetection direction of the plurality of sub-thin film optical sensors intersects the photodetection direction of the main thin film optical sensor.
Wherein the plurality of sub-thin film optical sensor is a displacement amount is the same from the main thin film optical sensor, the light detecting direction that Do different, gesture input function display.
それぞれの前記基本ユニット内の主薄膜光センサの出力値を解析し、反応のあった主薄膜光センサの特定を行う第１処理と、
前記第１処理の実行により、前記反応のあった主薄膜光センサが存在する基本ユニット内に存在する複数の副薄膜光センサに絞り込み、絞り込んだ前記複数の副薄膜光センサの出力値の解析を行う第２処理とによる多段階処理を実行する
請求項１に記載のジェスチャー入力機能付きディスプレイ。 The detection unit
The first process of analyzing the output value of the main thin film optical sensor in each of the basic units and identifying the main thin film optical sensor with which the reaction occurred, and
By executing the first process, the reaction is narrowed down to a plurality of sub-thin film optical sensors existing in the basic unit in which the main thin-film optical sensor with the reaction exists, and the output values of the narrowed-down sub-thin film optical sensors are analyzed. The display with a gesture input function according to claim 1 , which executes multi-step processing according to the second processing to be performed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015196466A JP6906892B2 (en) | 2015-10-02 | 2015-10-02 | Display with gesture input function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015196466A JP6906892B2 (en) | 2015-10-02 | 2015-10-02 | Display with gesture input function |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017068775A JP2017068775A (en) | 2017-04-06 |
| JP6906892B2 true JP6906892B2 (en) | 2021-07-21 |
Family
ID=58495040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015196466A Active JP6906892B2 (en) | 2015-10-02 | 2015-10-02 | Display with gesture input function |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6906892B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7391851B2 (en) | 2018-08-09 | 2023-12-05 | 株式会社半導体エネルギー研究所 | display device |
-
2015
- 2015-10-02 JP JP2015196466A patent/JP6906892B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017068775A (en) | 2017-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11082605B2 (en) | Method of photography processing for camera module, terminal, using same and storage medium implementing same | |
| CN109690567B (en) | Fingerprint identification device and electronic equipment | |
| KR20180081097A (en) | Optical sensor for integration on display backplane | |
| CN110062931A (en) | Fingerprint identification device, fingerprint identification method and electronic equipment | |
| US10310675B2 (en) | User interface apparatus and control method | |
| JP2016536837A (en) | System and method for geometrically reconstructing captured image data in three dimensions | |
| WO2020062781A1 (en) | Method for detecting biometric information, biometric sensor, and display apparatus | |
| US8982101B2 (en) | Optical touch system and optical touch-position detection method | |
| KR20080089115A (en) | Touch-screen using cmos-array | |
| JP7024736B2 (en) | Image processing equipment, image processing method, and program | |
| CN112417942A (en) | Display device, method of authenticating fingerprint, and fingerprint detector | |
| KR102283423B1 (en) | Image pick-up apparatus, portable terminal including the same and image pick-up method using the apparatus | |
| CN110163150B (en) | Fingerprint identification method, display device and computer readable storage medium | |
| JP5015097B2 (en) | Image processing apparatus, image processing program, computer-readable recording medium, electronic apparatus, and image processing method | |
| JP6906892B2 (en) | Display with gesture input function | |
| US9247121B2 (en) | Image sensor, electric device using the same and focusing method of the electric device | |
| KR101575964B1 (en) | Sensor array included in dual aperture camera | |
| TWI582672B (en) | An optical touch device and touch detecting method using the same | |
| CN104571726A (en) | Optical touch system, touch detection method and computer program product | |
| US20130241882A1 (en) | Optical touch system and optical touch position detecting method | |
| JP6703387B2 (en) | Mobile display with thin film photosensor, 2D array sensor and fingerprint sensor | |
| JP6584898B2 (en) | Display with position detection function in 3D space | |
| TWI762007B (en) | Gesture recognition system and gesture recognition method | |
| US11756330B2 (en) | Biometric sensor, display apparatus, and method for detecting biometric information | |
| US20230144032A1 (en) | Electronic equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20180531 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180612 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180704 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180704 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190509 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190905 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191205 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200421 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200421 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200507 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200512 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200710 |
|
| C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200714 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201203 |
|
| C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210318 |
|
| C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210506 |
|
| C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210603 |
|
| C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210603 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210630 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6906892 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |