JP2015045943A - Blink detecting device - Google Patents
Blink detecting device Download PDFInfo
- Publication number
- JP2015045943A JP2015045943A JP2013175754A JP2013175754A JP2015045943A JP 2015045943 A JP2015045943 A JP 2015045943A JP 2013175754 A JP2013175754 A JP 2013175754A JP 2013175754 A JP2013175754 A JP 2013175754A JP 2015045943 A JP2015045943 A JP 2015045943A
- Authority
- JP
- Japan
- Prior art keywords
- eyes
- blink
- blinking
- conscious
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像処理を用いてまばたきを検出する装置に関する。 The present invention relates to an apparatus for detecting blinking using image processing.
従来から、体がほとんど動かなくなり、しゃべることあるいは顔や手を動かすことができなくなった、重度の肢体不自由者が、意思を伝えるための装置として、例えば、下記特許文献１に示されるような、意思伝達装置があった．意思伝達装置は外観上の本体は一般的なパーソナルコンピュータで、画面に表示された文字や単語の上をカーソルが一定時間間隔で順番に移動していき、入力したい文字や単語の場所にカーソルが来た時に、操作スイッチを操作することでその文字や単語を選択し、この操作を繰り返すことで言葉を綴り、意思を伝える装置である。
Conventionally, as a device for a severely handicapped person who can hardly talk and speak or move a face or hand to communicate his intention, for example, as shown in
しかし、最重度の肢体不自由者のなかには指をわずかに動かしたり、呼吸したりすることすらできず、日常的に人工呼吸器を装着している人もいる。こうした人たちでも、まばたきは可能な人がいるため、まばたきを検出してスイッチ操作の代替として用いることにより、意思を伝えることができるようになる。そのため、例えば、下記非特許文献１に示されるような、メガネにセンサを取り付けてまばたきを検出し、操作スイッチの代替とする方法が提案されていた。
However, some of the most severely handicapped people cannot move their fingers slightly or even breathe, and some people wear ventilators on a daily basis. Even with these people, there are people who can blink, so they can communicate their intentions by detecting the blink and using it as an alternative to switch operation. Therefore, for example, as shown in
ただし、この方法には、センサを取り付けたメガネが重く、使用者によっては負担を感じ、あるいはセンサからのびている電線が邪魔になるという問題があった。
こうしたわずらわしさを避ける方法として、例えば、下記非特許文献２に示されるような、ビデオカメラで撮影した顔画像を処理してまばたきを検出する方法も提案されている。この方法は、デジタルビデオカメラで目および目の周辺の画像を取得し、上下のまぶたのふちの間の距離を計算、この距離から目の開閉を判定し、その結果をもとにまばたきを検出する、という方法である。
However, this method has a problem that the glasses with the sensor attached are heavy, and some users feel a burden, or the electric wire extending from the sensor becomes an obstacle.
As a method of avoiding such annoyance, for example, a method of detecting a blink by processing a face image taken by a video camera as shown in Non-Patent Document 2 below has been proposed. This method acquires images of the eyes and their surroundings with a digital video camera, calculates the distance between the upper and lower eyelid edges, determines the opening and closing of the eyes from this distance, and detects blinks based on the results It is a method of doing.
また、上下のまぶたのふちの間の距離を求める方法としては、例えば、下記非特許文献３に示されるような、目および目の周辺の画像の垂直方向の明度の微分を求めてまぶたのふちを検出して、上下のまぶたのふちの間の距離を計算する方法が従来からあった．けれども、この方法は微分を用いているため、目の周辺のしわやたるみなどで明度の変化があると、まぶたのふちと誤認して、目の開閉の判定に誤りを生じ、その結果、まばたきの検出を誤るという問題があった。 In addition, as a method for obtaining the distance between the upper and lower eyelid edges, for example, as shown in Non-Patent Document 3 below, the eye brightness is obtained by obtaining the differentiation of the brightness in the vertical direction of the image of the eyes and the surroundings of the eyes. There is a conventional method to detect the distance and calculate the distance between the upper and lower eyelid edges. However, since this method uses differentiation, if there is a change in brightness due to wrinkles or sagging around the eye, it will be mistaken for the eyelid edge, causing an error in the eye open / close judgment, and as a result, blinking will occur. There was a problem of erroneous detection.
また、まばたきを検出して疑似的なスイッチ操作を行う場合、意識的なまばたきと無意識のまばたきの判別が必要になる。なぜなら、無意識に行っているまばたきまで、スイッチ操作を行うための意識的なまばたきであると判定してしまうと、誤動作が多発し、意思伝達装置の使用者に大きなストレスを与えてしまうからである。 In addition, when performing a pseudo switch operation by detecting blinking, it is necessary to distinguish between conscious blinking and unconscious blinking. This is because if it is determined that it is a conscious blink for performing a switch operation until an unconscious blink is performed, malfunctions occur frequently and give a great stress to the user of the communication device. .
意識的なまばたきと無意識のまばたきとを判別する方法としては、例えば、非特許文献１、特許文献２に示されるような、目を閉じている時間の長さの相違で判別する方法があった。
As a method for discriminating between conscious blink and unconscious blink, for example, as shown in
しかし、非特許文献２によれば、こうした目を閉じている時間は個人差が大きく、意識的なまばたきと無意識のまばたきとを判別することに使うことは難しいとされている。そのため、非特許文献２では、目を閉じている時間や目の開閉速度などから、まばたきが意識的か無意識的かを総合的に判断する方法を提案している。 However, according to Non-Patent Document 2, it is considered difficult to use such a time when the eyes are closed to discriminate between a conscious blink and an unconscious blink. Therefore, Non-Patent Document 2 proposes a method for comprehensively determining whether blinking is conscious or unconscious from the time when the eyes are closed, the opening / closing speed of the eyes, and the like.
けれども、この方法でも、目を閉じている時間や目の開閉速度は使用者により異なるため、使用者ごとに異なる判断基準を設ける必要があった。また、使用者が同一でも、使用者の体調の変化などにより判断基準を変える必要が生じることがあり、使い勝手が悪かった。 However, even in this method, the time for closing the eyes and the opening / closing speed of the eyes vary depending on the user, and therefore it is necessary to provide different judgment criteria for each user. In addition, even if the user is the same, it may be necessary to change the judgment standard due to a change in the physical condition of the user, and the usability is poor.
解決しようとする問題点は、目の周辺にしわやたるみなどがあると、まばたきの検出に誤りを生じるという問題点と、意識的なまばたきと無意識のまばたきの判別をするためには、使用者ごとに設定を変える必要があり、使い勝手が悪いという問題点である。 The problem to be solved is that if there are wrinkles or sagging around the eyes, an error will occur in the detection of blinks, and the user must be able to distinguish between conscious blinks and unconscious blinks. It is necessary to change the setting every time, which is a problem that the usability is bad.
本発明は、デジタルビデオカメラで取得した目および目の周辺の画像に対し、積分処理を行い、その結果をもとにまばたきを検出することをもっとも主要な特徴とする。 The most important feature of the present invention is that an integration process is performed on an eye and an image around the eye acquired by a digital video camera, and blinking is detected based on the result.
本発明のまばたき検出方法は、積分処理をおこなっているため、目の周辺のしわやたるみなどで明度の変化があっても、目の開閉の判定に誤りを生じにくく、まばたきの検出を誤ることも少ない。また、意識的なまばたきと無意識のまばたきとの画像のわずかな違いを的確に判定してまばたきを検出できるため、使用者ごとに設定を変えることなく、意識的なまばたきのみを検出できるので、使い勝手が良い。 Since the blink detection method of the present invention performs an integration process, even if there is a change in brightness due to wrinkles or sagging around the eyes, it is difficult to make an error in determining whether to open or close the eyes, and the blink detection is incorrect. There are few. In addition, since it is possible to detect blinks by accurately judging the slight difference between conscious and unconscious blinks, it is possible to detect only conscious blinks without changing settings for each user. Is good.
図１は本発明のまばたき検出を意思伝達装置に応用した時の図である。利用者は超小型ビデオカメラ１１０を内蔵したタブレット型パソコン１００の映像と向かい合い、タブレット型パソコンの表示部１２０に表示された選択肢１２１を目視する。表示される選択肢１２１は、タブレット型パソコン１００に内蔵された情報処理装置で選択肢１２１の映像データを構成した後、表示部１２０に送られて表示される。情報処理装置で構成され、表示部１２０で表示された映像には、前記選択肢１２１のほかに選択肢を自動的かつ一定時間間隔で走査するカーソル１２２が表示されている。利用者はカーソル１２２が希望する選択肢のところに来たとき、まばたきを行うことにより、希望する選択肢を選択する。例えば、選択肢１２１としてひらがなの５０音が表示されていて、ひらがなの「ふ」を選択したい場合には、「ふ」の場所にカーソル１２２が移動してきたときにまばたきを行うことにより、次に述べるようにして、「ふ」を選択する。
FIG. 1 is a diagram when the blink detection of the present invention is applied to a communication device. The user faces an image of the tablet
超小型ビデオカメラ１１０は、タブレット型パソコン１００に内蔵し、該表示部の映像と向かい合う利用者の目およびその周辺の画像を撮影できるような位置および向きに設置されている。超小型ビデオカメラ１１０を用いて撮影した目およびその周辺の画像を、タブレット型パソコン１００に内蔵された情報処理装置に送り込む。情報処理装置は前記画像を画像処理してまばたきを検出する。そして、表示部１２０に表示された選択肢のうち、まばたきを行ったちょうどその時にカーソルがあった位置の選択肢が選択される。前記５０音が表示されている場合には、まばたきを行ったときカーソルがあった位置に文字「ふ」があれば、「ふ」が選択される。この選択処理は情報処理装置によって行われる。
The ultra-small
以上説明した操作を繰り返し、まばたきにより、例えば、「ふ」「と」「ん」「を」「か」「け」「て」というふうに順次文字を選択する。この選択結果は情報処理装置により表示器１２０に表示されるので、意思を伝えたい相手にこの表示を読んでもらうことにより、意思を伝達する。このような操作は、情報処理装置に直接スイッチを接続し、そのスイッチをオンオフしても行うことができる。けれども、手足がまったく動かせない最重度肢体不自由者は、スイッチを操作できないので、まばたきを検出して疑似的なスイッチ操作として用いることにより、意思を伝えている。
The operations described above are repeated, and characters are sequentially selected by blinking, for example, “fu” “to” “n” “to” “ka” “ke” “te”. Since the selection result is displayed on the
意思伝達装置において、まばたきを検出して疑似的なスイッチ操作を行うため、ビデオカメラ１１０で撮影した目およびその周辺の画像（以下「目周辺画像」と呼ぶ）を処理してまばたきを検出する方法としては、従来から次のような方法があった。すなわち、目周辺画像の垂直方向の明度の微分を求めてまぶたのふちを検出して、上下のまぶたのふちの間の距離を計算、この距離から目の開閉を判定し、その結果をもとにまばたきを検出する、という方法である。けれども、この方法は、微分を用いているため、目の周辺のしわやたるみなどで明度の変化があると、まぶたのふちと誤認して、目の開閉の判定に誤りを生じる、という問題があった。
A method of detecting blinks by processing eyes and surrounding images (hereinafter referred to as “eye periphery images”) captured by the
本発明では、目周辺画像の明度の積分値を計算することにより、まばたきを検出して疑似的なスイッチ操作を行っている。本発明の方法を用いれば、目の周辺のしわやたるみなどで明度の変化があったとしても、積分によりその影響が拡散されるので、微分法で生じたような誤判定を起こさない。 In the present invention, by calculating the integral value of the brightness of the image around the eye, blinking is detected and a pseudo switch operation is performed. If the method of the present invention is used, even if there is a change in brightness due to wrinkles or sagging around the eyes, the influence is diffused by integration, so that erroneous determinations caused by the differential method do not occur.
以下、本発明のまばたき検出方法について、具体的に説明する。まず、目周辺画像は次のようにして取得している。最初に、超小型ビデオカメラ１１０を用いて利用者の顔および顔周辺を撮影する。次に撮影した画像から顔検出ソフトで顔を検出し、その後、左目に対するテンプレートマッチング法で左目の位置を算出し、この位置をもとに図２のような長方形をした左目とその周辺画像を取得する。
Hereinafter, the blink detection method of the present invention will be described in detail. First, the eye periphery image is acquired as follows. First, the user's face and the vicinity of the face are photographed using the
次にこの目周辺画像の明度の積分値を計算する。この目周辺画像はデジタル画像であり、ここで用いている画像の記述方法について説明する。この画像を表す座標系を図３に示す。この画像は水平方向にＭ個、垂直方向にＮ個の総計Ｍ×Ｎ個の画素で構成されている。この画像を、左下隅の画素を原点とし、その座標を( 0, 0 ) とするｘｙ座標系で表す。例えば、ｘ＝ｉ、ｙ＝ｊの画素の座標は (ｉ，ｊ)である。また、もっとも暗い画素の明度を０で表し、もっとも明るい画素の明度を２５５で表すとし、各画素はその明るさに応じて０から２５５の間の整数の値の明度を持つものとする。座標 (ｉ，ｊ) の画素の明度はｐ(ｉ，ｊ)で表すとする。 Next, the integrated value of the brightness of the image around the eye is calculated. This eye peripheral image is a digital image, and the description method of the image used here will be described. A coordinate system representing this image is shown in FIG. This image is composed of a total of M × N pixels of M in the horizontal direction and N in the vertical direction. This image is represented by an xy coordinate system in which the pixel at the lower left corner is the origin and the coordinates are (0, 0). For example, the coordinates of a pixel with x = i and y = j are (i, j). The brightness of the darkest pixel is represented by 0, and the brightness of the brightest pixel is represented by 255. Each pixel has an integer value between 0 and 255 according to the brightness. The brightness of the pixel at coordinates (i, j) is represented by p (i, j).
この画像において、ｙ＝ｊで一定であるとしたときの画素は、横方向に並んだ画素の列になる。そのため、ｙ＝ｊ のときの画素の列の明度の積分Ｓｒ(ｊ)を次式のような離散積分により計算することができる。 In this image, pixels when y = j is constant are pixels arranged in the horizontal direction. Therefore, the integral Sr (j) of the brightness of the column of pixels when y = j can be calculated by discrete integration as shown in the following equation.
図４（ａ）に目を開いているときの目周辺画像を示す。また、この画像の横方向の画素の列の積分を計算した結果を図４（ｂ）に示す。図４（ｂ）の縦軸は計算した列ｊを表し、横軸は積分を計算した結果Ｓｒ(ｊ)を表す。図４（ｂ）に示されるように、明度の積分Ｓｒ(ｊ)はjで表される列が目周辺の瞳付近にある場合、もっとも小さくなる。この値を最小値１とする。なぜもっとも小さくなるかというと、この列は暗い画素が多いため、明度が０に近い画素が多く、したがって、その積分も小さくなるからである。 FIG. 4A shows an eye periphery image when the eyes are open. FIG. 4B shows the result of calculating the integration of the pixel rows in the horizontal direction of the image. In FIG. 4B, the vertical axis represents the calculated column j, and the horizontal axis represents the result Sr (j) of the integral calculation. As shown in FIG. 4B, the lightness integral Sr (j) is the smallest when the column represented by j is near the pupil around the eyes. This value is a minimum value of 1. The reason why it is the smallest is that this column has many dark pixels, so there are many pixels whose brightness is close to 0, and therefore the integral is also small.
図５（ａ）は目を意識的に閉じたとき、すなわちまばたきをしたときの目周辺画像である。この画像の横方向の画素の列の積分を計算した結果を図５（ｂ）に示す。この図に示されるように、上まぶたと下まぶたが合わさった付近の列の積分値がもっとも小さくなる。この値を最小値２とする。最小値２は最小値１ほど小さくはならない。なぜなら、上まぶたと下まぶたが合わさった、もっとも暗い部分は曲線を描いているおり、横方向の列の積分を計算しても、暗い部分が占める割合が、目を開いている場合より小さくなるからである。
FIG. 5A is an image around the eyes when the eyes are consciously closed, that is, when the eyes are blinked. FIG. 5B shows the result of calculating the integration of the pixel rows in the horizontal direction of this image. As shown in this figure, the integral value of the column in the vicinity where the upper and lower eyelids are combined is the smallest. This value is set to the minimum value 2. The minimum value 2 is not as small as the
このように、目を開いている場合と目を意識的に閉じた場合で、明度の積分Ｓｒ(ｊ)の最小値が異なるため、これを用いて、目を開けているか、閉じているかを判定することができる。具体的には、閾値ＴＨを定めて、明度の積分Ｓｒ(ｊ)の最小値が閾値ＴＨより小さければ、目を開けていると判定し、大きければ、目を閉じていると判定する。本方式では、この目を開いているか、閉じているかの判定結果から、まばたきを判定している。例えば、目を閉じている状態から、目を閉じた状態に移行した時をまばたきと判定する、といった方法を採用している。 Thus, since the minimum value of the lightness integral Sr (j) differs between when the eyes are open and when the eyes are consciously closed, this is used to determine whether the eyes are open or closed. Can be determined. Specifically, the threshold value TH is determined, and if the minimum value of the lightness integral Sr (j) is smaller than the threshold value TH, it is determined that the eyes are open, and if it is larger, it is determined that the eyes are closed. In this method, blinking is determined from the determination result of whether the eyes are open or closed. For example, a method is adopted in which it is determined that the eye blinks when the eye is closed from the closed state.
ところで、まばたきを検出して疑似的なスイッチ操作を行う場合、意識的なまばたきと無意識のまばたきの判別が必要になる。なぜなら、無意識に行っているまばたきを、スイッチ操作を行うための意識的なまばたきであると判定してしまうと、誤動作が多発し、意思伝達装置の使用者に大きなストレスを与えてしまうからである。 By the way, when a blink is detected and a pseudo switch operation is performed, it is necessary to distinguish between a conscious blink and an unconscious blink. This is because if it is determined that the blinking that is performed unconsciously is a conscious blink for performing the switch operation, malfunctions frequently occur and a large stress is applied to the user of the communication device. .
以下、本発明により、意識的なまばたきと無意識のまばたきを判別する方法について説明する。図６（ａ）は目を無意識的に閉じたときの目周辺画像である。この画像の横方向の画素の列の積分を計算した結果を図６（ｂ）に示す。この図に示されるように、上まぶたと下まぶたが合わさったあたりの列の積分値がもっとも小さくなる。この値を最小値３とする。最小値３は最小値１とほとんど変わらず、最小値２より明らかに小さい。なぜなら、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続いているため、横方向の列の積分を計算すると、暗い部分が占める割合が、意識的に目を閉じた場合より大きく、目を開いている場合とほぼ同じになるからである。
Hereinafter, a method for discriminating between conscious and unconscious blinks according to the present invention will be described. FIG. 6A shows an image around the eyes when the eyes are closed unconsciously. FIG. 6B shows the result of calculating the integral of the pixel rows in the horizontal direction of this image. As shown in this figure, the integral value of the row where the upper and lower eyelids are combined is the smallest. This value is a minimum value of 3. The minimum value 3 is almost the same as the
無意識的に目を閉じたときの積分の最小値３は、目を開けているときの最小値１とほぼ同じなため、先に述べたような方法で判定すると、目を開けていると判定される。そのため、意識的に目を閉じたときだけ、まばたきが検出されることになる。
Since the minimum integral value 3 when the eyes are closed unconsciously is almost the same as the
このように本発明のまばたき検出方法では、図５（ａ）に示した目を意識的に閉じたときの目周辺画像と、図６（ａ）に示した目を無意識に閉じたときの目周辺画像との間のわずかな違いを的確に認識して、意識的なまばたきと無意識のまばたきを判別している。 As described above, in the blink detection method of the present invention, the eye peripheral image when the eye is consciously closed shown in FIG. 5A and the eye when the eye shown in FIG. By accurately recognizing slight differences from surrounding images, it discriminates between conscious and unconscious blinks.
従来の微分法を用いたまばたき検出では、上まぶたと下まぶたの間の距離を測定して、まばたきを検出しているため、微分法自体には、意識的なまばたきと無意識のまばたきを判別する機能はない。そのため、例えば、目を閉じている時間が長いか短いかなどの他の要素を加味して、意識的か無意識的かを判断する必要があった。しかし、こうした目を閉じている時間などは個人差が大きく、また、体調などにより変化することも多い。そのため、使用者ごとに、時には体調に合わせて設定を変える必要があり、使い勝手が悪かった。 In the blink detection using the conventional differential method, the distance between the upper eyelid and the lower eyelid is measured to detect the blink, so the differential method itself distinguishes between conscious blink and unconscious blink. There is no function. For this reason, for example, it is necessary to determine whether it is conscious or unconscious by taking into account other factors such as whether the time during which the eyes are closed is long or short. However, the time during which these eyes are closed varies greatly among individuals, and often changes depending on physical condition. Therefore, it is necessary to change the setting depending on the physical condition for each user, and the usability is bad.
それに対して、本発明の判別方法は、意識的なまばたきと無意識のまばたきの目周辺画像のわずかな違いを的確に認識して判別を行っているので、こうした個人差や体調による変化が少なく、使用者ごとに、あるいは体調に合わせて設定を変える必要がないため、使い勝手が良い方法である。 On the other hand, since the discrimination method of the present invention accurately discriminates the slight difference between the conscious blink and the unconscious blink around the eyes, there is little change due to such individual differences and physical condition, This method is easy to use because it is not necessary to change the setting for each user or according to the physical condition.
以上、本発明について、左目の画像を処理してまばたきを検出する方法について述べてきたが、右目の画像を用いても同様にしてまばたきを検出できる。また、左右両目の画像を用いた場合も同様にしてまばたきを検出できる。 As described above, the method for detecting the blink by processing the image of the left eye has been described above. However, the blink can be detected in the same manner using the image of the right eye. Also, blinking can be detected in the same manner when images of the left and right eyes are used.
また、本発明のまばたき検出法では、無意識のまばたきにより目を閉じた場合、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続いていることをもとに、意識的なまばたきと無意識のまばたきを判別している。
そのため、もっとも暗い部分が直線状に続いたとしても、それが水平方向ではなく、水平方向からある一定の角度ＡＧをもって、斜めの方向に直線状に続いている場合には、以上説明してきた方法では、意識的なまばたきと無意識のまばたきの判別が難しくなる。
顔が傾いていたり、あるいはデジタルカメラが傾いて設置されていたりする場合、こうしたことが起こりうる。
In the blink detection method of the present invention, when the eyes are closed by unconscious blink, the darkest part of the image around the eyes, where the upper and lower eyelids are combined, continues in a straight line in the horizontal direction. Based on the above, it discriminates between conscious and unconscious blinks.
Therefore, even if the darkest part continues in a straight line, the method described above is not used in the horizontal direction but is continued in a straight line in an oblique direction with a certain angle AG from the horizontal direction. Then, it becomes difficult to distinguish between conscious and unconscious blinks.
This can happen if the face is tilted or the digital camera is tilted.
この場合でも、傾き角ＡＧの補正を行ってから、以上説明してきた方法により判定を行えば、意識的なまばたきと無意識のまばたきの判別は可能である。この傾き角ＡＧの補正方法としては、例えば、つぎのような方法が考えられる。
まず、手入力にて、補正すべき角度ＣＡＧ＝−ＡＧを入力する。次に、目周辺画像を角度ＣＡＧだけ回転させれば、顔の傾きが補正され、無意識のまばたきにより目を閉じた場合、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続くようになるため、意識的なまばたきと無意識のまばたきの判別が可能になる。
Even in this case, if the inclination angle AG is corrected and then determined by the method described above, it is possible to discriminate between conscious blink and unconscious blink. As a method for correcting the tilt angle AG, for example, the following method can be considered.
First, the angle CAG = −AG to be corrected is input manually. Next, if the image around the eyes is rotated by an angle CAG, the inclination of the face is corrected, and when the eyes are closed by unconscious blinking, the darkest image in which the upper and lower eyelids are combined in the image around the eyes Since the part continues in a straight line in the horizontal direction, it is possible to distinguish between conscious and unconscious blinks.
また、この角度補正を自動的に行う方法としては、次のような方法がある。
目を開いた状態の左目の目周辺画像の明度の積分Ｓｒ(ｊ)はj ＝ｊｌのとき、最小となり、右目は同様にj ＝jｒのとき、最小となるとする。もっとも暗い部分が水平方向に直線状に続く場合には、ｊｌ＝jｒとなるが、斜め方向に続く場合にはｊｌとjｒは等しくならない。このことを利用し、ｊｌ＝jｒとなるように目周辺画像を回転させるような処理を自動的に行うようにすれば、角度補正を自動的に行って、無意識のまばたきにより目を閉じた場合、その目周辺の画像において、上まぶたと下まぶたが合わさった、もっとも暗い部分が水平方向に直線状に続くようになるため、意識的なまばたきと無意識のまばたきの判別が可能になる。
In addition, as a method of automatically performing this angle correction, there are the following methods.
It is assumed that the brightness integral Sr (j) of the image around the left eye with the eyes open is minimum when j = jl, and the right eye is also minimum when j = jr. When the darkest part continues linearly in the horizontal direction, jl = jr. However, when it continues in the oblique direction, jl and jr are not equal. If this process is used to automatically rotate the eye periphery image so that jl = jr, the angle correction is automatically performed and the eyes are closed by unconscious blinking. In the image around the eye, since the darkest part where the upper eyelid and the lower eyelid are combined continues linearly in the horizontal direction, it is possible to discriminate between conscious blink and unconscious blink.
本発明のまばたき検出方法は、以上述べてきたような、重度肢体不自由者向けの意思伝達装置に応用する以外に、健常者が手を使わずにまばたきでなんらかの操作を行う場合にも応用できる。例えばテレビのチャンネルの切り替え、エアコンのオンオフ、携帯電話の通話開始終了、などの操作にも用いることができる。 The blink detection method of the present invention can be applied to a case where a healthy person performs some operation by blinking without using a hand, in addition to being applied to a communication device for a severely physically handicapped person as described above. . For example, it can also be used for operations such as switching TV channels, turning on / off an air conditioner, and starting and ending a mobile phone call.
１００ タブレット型パソコン
１１０ 超小型デジタルビデオカメラ
１２０ 液晶表示器
１２１ 液晶表示器に表示された選択肢
１２２ 液晶表示器に表示されたカーソル
１３０ 情報処理機器
100
130 Information processing equipment
Claims (4)
When the eyes are closed by unconscious blinking, if the darkest part of the image around the eyes, where the upper and lower eyelids are combined, continues in a straight line, but the line is not horizontal, Rotate the image so that it is horizontal, and then calculate the integral of the brightness of the pixels aligned in the horizontal direction of the image acquired by the digital video camera and the surroundings of the eye. It is characterized by recognizing the difference between the images of the eyes and around the eyes in the case of blinking and unconscious blinking, distinguishing between conscious blinking and unconscious blinking, and detecting only conscious blinking. A blink detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013175754A JP2015045943A (en) | 2013-08-27 | 2013-08-27 | Blink detecting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013175754A JP2015045943A (en) | 2013-08-27 | 2013-08-27 | Blink detecting device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015045943A true JP2015045943A (en) | 2015-03-12 |
Family
ID=52671418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013175754A Pending JP2015045943A (en) | 2013-08-27 | 2013-08-27 | Blink detecting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015045943A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190125267A (en) * | 2018-01-18 | 2019-11-06 | 에어런딜 모바일 인코포레이티드 | User authentication method using biometrics technology and authentication device |
| CN112137622A (en) * | 2020-09-11 | 2020-12-29 | 东南大学 | Method and device for judging intentional blinking and unintentional blinking |
-
2013
- 2013-08-27 JP JP2013175754A patent/JP2015045943A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190125267A (en) * | 2018-01-18 | 2019-11-06 | 에어런딜 모바일 인코포레이티드 | User authentication method using biometrics technology and authentication device |
| KR102132613B1 (en) | 2018-01-18 | 2020-07-10 | 에어런딜 모바일 인코포레이티드 | User authentication method using biometrics technology and authentication device |
| CN112137622A (en) * | 2020-09-11 | 2020-12-29 | 东南大学 | Method and device for judging intentional blinking and unintentional blinking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3293620B1 (en) | Multi-screen control method and system for display screen based on eyeball tracing technology | |
| CN107831904B (en) | Electronic device and operation method thereof | |
| US10248197B2 (en) | Systems and methodologies for real time eye tracking for electronic device interaction | |
| US8379059B2 (en) | Portable electronic device and method for adjusting display orientation of the portable electronic device | |
| JP6450709B2 (en) | Iris authentication device, iris authentication method, and program | |
| US11360605B2 (en) | Method and device for providing a touch-based user interface | |
| WO2012137801A1 (en) | Input device, input method, and computer program | |
| US11693475B2 (en) | User recognition and gaze tracking in a video system | |
| US11163995B2 (en) | User recognition and gaze tracking in a video system | |
| KR20150048623A (en) | Screen Operation Apparatus and Screen Operation Method Cross-Reference to Related Application | |
| JP6123694B2 (en) | Information processing apparatus, information processing method, and program | |
| EP3175325B1 (en) | Reflection-based control activation | |
| WO2010142455A2 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| US9148537B1 (en) | Facial cues as commands | |
| JP2015045943A (en) | Blink detecting device | |
| EP2261772A1 (en) | Method for controlling an input device based on the detection of attitude or eye gaze | |
| JP4088282B2 (en) | Computer input method and apparatus | |
| JP6971788B2 (en) | Screen display control method and screen display control system | |
| EP2261857A1 (en) | Method for determining the position of an object in an image, for determining an attitude of a persons face and method for controlling an input device based on the detection of attitude or eye gaze | |
| JP6161244B2 (en) | Portable terminal device, program, and input method | |
| KR102325684B1 (en) | Eye tracking input apparatus thar is attached to head and input method using this | |
| KR102118505B1 (en) | System and method for measurement of visual acuity based on the analysis of user eye movements | |
| KR101782476B1 (en) | Method for rotating output of display automatically based on user's eye gaze | |
| Wachner et al. | Towards gaze-based mobile device interaction for the disabled | |
| Montanini et al. | Real time message composition through head movements on portable Android devices |