JP2013120954A - Sleeping face recognition device - Google Patents
Sleeping face recognition device Download PDFInfo
- Publication number
- JP2013120954A JP2013120954A JP2011266440A JP2011266440A JP2013120954A JP 2013120954 A JP2013120954 A JP 2013120954A JP 2011266440 A JP2011266440 A JP 2011266440A JP 2011266440 A JP2011266440 A JP 2011266440A JP 2013120954 A JP2013120954 A JP 2013120954A
- Authority
- JP
- Japan
- Prior art keywords
- face
- eye
- sleeping
- person
- meditation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、寝顔認識装置、撮像装置、方法及びプログラムに関する。 The present invention relates to a sleeping face recognition device, an imaging device, a method, and a program.
人物の目の瞑り度合いを算出する手段が種々提案されている。例えば、特許文献１では、目重心近傍領域において、輝度値が所定以下となる画素数を計数することにより、瞳孔領域の露出量を算出し、眼瞑り度を算出する方法が示されている。 Various means for calculating the degree of meditation of a person's eyes have been proposed. For example, Patent Document 1 discloses a method of calculating the degree of eye-meditation by calculating the amount of exposure of the pupil region by counting the number of pixels whose luminance value is equal to or less than a predetermined value in the region near the center of gravity of the eye.
また、特許文献２に示すような、所定時間内に占める閉眼状態の割合が閾値以上となることによって、人物の睡眠を判定する手段が提案されている。 Further, as shown in Patent Document 2, a means for determining a person's sleep when the ratio of the closed eye state in a predetermined time is equal to or greater than a threshold value has been proposed.
しかしながら、上述の特許文献に開示された従来技術では、人物が覚醒状態にも関わらず、睡眠状態の顔、すなわち寝顔と認識されてしまう場合があった。例えば、覚醒状態で目を開いている人物の顔が、正面向きから下向き方向に変化し、そのままの顔向きを維持し続けた場合、顔向きの変化によって、瞳孔領域の露出量が減少してしまうため、誤って閉眼と判定されてしまう。そして、その顔向きが維持された結果、所定時間内に占める閉眼状態の割合が閾値に達し、誤って寝顔と認識されてしまう恐れがあった。図１（ａ）に、正面向き・目開きの顔と、図１（ｂ）に下向き・目開きの顔を示す。下向き・目開きの顔の方では、瞳孔領域の露出量が減少していることがわかる。 However, in the related art disclosed in the above-mentioned patent documents, a person may be recognized as a sleeping face, that is, a sleeping face, regardless of the awake state. For example, if the face of a person with open eyes in an awake state changes from the front direction to the downward direction and continues to maintain the same face direction, the amount of exposure in the pupil region decreases due to the change in the face direction. Therefore, the eye is erroneously determined to be closed. As a result of maintaining the face orientation, the ratio of the closed eye state within a predetermined time reaches a threshold value, and there is a possibility that the face is erroneously recognized as a sleeping face. FIG. 1A shows a face facing forward and with an opening, and FIG. 1B shows a face facing downward and with an opening. It can be seen that the amount of exposure in the pupil region is decreasing in the face of the face that faces downward and has an opening.
上記目的を達成するために、本発明は、人物の顔を検出する顔検出手段と、前記顔検出手段が検出した人物の目の瞑り度合いを判定する目瞑り度判定手段を有し、複数回にわたって目瞑り度を監視した情報に基づいて、人物の顔を寝顔と判定する手段において、目瞑り度が所定値以下となる場合、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、所定条件を満たす間は、同一の人物を寝顔と判定されないように制御することを特徴とすることを特徴とする。 In order to achieve the above object, the present invention comprises face detection means for detecting a person's face and eye meditation level determination means for determining the degree of meditation of the person's eyes detected by the face detection means. In the means for determining the person's face as a sleeping face based on the information that monitors the degree of eye meditation over a wide range, there is an eye opening determination means for determining that the person's eyes are open when the degree of eye meditation is below a predetermined value. However, when the opening is determined, control is performed so that the same person is not determined to be a sleeping face while a predetermined condition is satisfied.
本発明によれば、寝顔認識の精度を向上させることができる。 According to the present invention, sleeping face recognition accuracy can be improved.
＜撮像装置の構成＞
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図２は、本発明の実施の一形態に係わる寝顔認識装置１０の構成の一例を示す図である。
<Configuration of imaging device>
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. FIG. 2 is a diagram showing an example of the configuration of the sleeping face recognition apparatus 10 according to the embodiment of the present invention.
寝顔認識装置１０には、コンピュータが組み込まれている。コンピュータには、ＣＰＵ等の主制御部、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶部が具備される。また、コンピュータには、例えば、各種ボタン、ディスプレイ又はタッチパネル等の入出力部、ネットワークカード等の通信部等も具備される。なお、これら各構成部は、バス等により接続され、主制御部が記憶部に記憶されたプログラムを実行することで制御される。 The sleeping face recognition apparatus 10 has a built-in computer. The computer includes a main control unit such as a CPU and a storage unit such as a ROM (Read Only Memory) and a RAM (Random Access Memory). The computer also includes various buttons, an input / output unit such as a display or a touch panel, and a communication unit such as a network card. These components are connected by a bus or the like, and are controlled by the main control unit executing a program stored in the storage unit.
ここで、寝顔認識装置１０は、その機能的な構成として、画像入力部１０００と、顔検出部１００１と、目瞑り評価値算出部１００２と、寝顔認識部１００３とを具備して構成される。これら機能的な構成の一部又は全ては、ＣＰＵがメモリ等に格納されたプログラム（例えば、表情認識プログラム）を実行することで実現される。なお、ハードウェア構成により実現されてもよい。 Here, the sleeping face recognition apparatus 10 includes an image input unit 1000, a face detection unit 1001, an eye meditation evaluation value calculation unit 1002, and a sleeping face recognition unit 1003 as functional configurations. Some or all of these functional configurations are realized by the CPU executing a program (for example, facial expression recognition program) stored in a memory or the like. It may be realized by a hardware configuration.
画像入力部１０００は、レンズ、ＣＭＯＳセンサ、ＣＣＤなどの撮像素子、アナログ／デジタル（Ａ／Ｄ）変換器、画像処理回路などから成る撮像装置により構成され、画像信号を生成し、それをデジタル画像（以下、単に画像と言う）として入力する。画像入力部１０００では、例えば、人物の顔を含む画像を入力する。なお、画像は、静止画、動画を含むデータである。 The image input unit 1000 includes an image pickup device including a lens, a CMOS sensor, an image pickup device such as a CCD, an analog / digital (A / D) converter, an image processing circuit, and the like. (Hereinafter simply referred to as an image). In the image input unit 1000, for example, an image including a human face is input. The image is data including a still image and a moving image.
顔検出部１００１は、入力された画像から人物の顔を検出する。この顔検出には公知のアルゴリズムを用いればよい。例えば、エッジのような低次特徴から眼や口のような高次特徴を階層的に検出し、最終的に顔の重心位置を検出するコンボリューションニューラルネットワークが知られている。コンボリューションニューラルネットワークを用いることにより、眼や口の重心位置も求めることができる。 The face detection unit 1001 detects a human face from the input image. A known algorithm may be used for this face detection. For example, a convolution neural network that hierarchically detects higher-order features such as the eyes and mouth from lower-order features such as edges and finally detects the position of the center of gravity of the face is known. By using a convolution neural network, the center of gravity of the eyes and mouth can also be obtained.
画像正規化部１００２は、顔検出部１００１により検出された顔、眼、口の重心位置に基づき画像入力部１０００により入力された画像に対して正規化処理を行なう。具体的には、図４に示すように、入力された画像１３００から顔画像を切り出し、その画像に対して回転や拡大・縮小等の正規化処理を行う。この正規化処理では、正規化画像１３０１、１３０２に示すように、左右眼位置を結ぶ直線が水平でかつ、左右眼位置の距離が所定距離（例えば、４０ピクセル）となるようにアフィン変換が行なわれる。なお、拡大縮小処理における補間には、どのような技術を採用してもよく、例えば、バイキュービック法を用いればよい。 The image normalization unit 1002 performs normalization processing on the image input by the image input unit 1000 based on the gravity center positions of the face, eyes, and mouth detected by the face detection unit 1001. Specifically, as shown in FIG. 4, a face image is cut out from the input image 1300, and normalization processing such as rotation, enlargement / reduction, and the like is performed on the image. In this normalization processing, as shown in the normalized images 1301 and 1302, affine transformation is performed so that the straight line connecting the left and right eye positions is horizontal and the distance between the left and right eye positions is a predetermined distance (for example, 40 pixels). It is. Note that any technique may be employed for interpolation in the enlargement / reduction processing, for example, a bicubic method may be used.
目瞑り評価値算出部１００３は、顔検出部１００１により検出された顔に基づき、目の瞑り度合いの評価値を算出する。目瞑り評価値の算出方法は、例えば以下のような方法がある。まず、図５に示すように、顔検出部１００１により検出された左右の眼重心位置を中心として矩形領域１２００を設定する。矩形領域は、例えば、左右の眼重心位置を中心として所定範囲（上下１０ピクセル、左右１０ピクセル）とする。次に、矩形領域１２００に対して閾値処理を行い、２値化画像を生成する。例えば、矩形領域１２００が８ビット階調（０−２５５階調）である場合には、閾値を１００等に設定する。そして、矩形領域１２００を構成する画素の輝度値が１００以上の画素は輝度値を２５５にし、逆に画素の輝度値が１００より小さい画素は輝度値を０にする。その後、矩形領域１２００内の輝度値が０の画素数をカウントする。図５には、輝度値が０の画素数についてのグラフが示されており、眼を開いた状態では、瞳孔領域が存在するため輝度値が０の画素数が多い。これに対して眼を閉じた状態では、瞳孔領域が隠れてしまうため、輝度値が０の画素数は少なくなる。このことを利用して眼瞑り度の算出を行う（図６参照）。図６に示す目瞑り度は、輝度値が０の画素数を眼瞑り度に変換する関数（例えば、８ビット（０−２５５階調））を用いて算出したものである。この場合、眼瞑り度が２５５に近いほど眼を閉じていることになり、眼瞑り度が０に近いほど眼を開いていることになる。なお、上述した閾値には、画像等に応じた任意の値を設ければよい。 The eye meditation evaluation value calculation unit 1003 calculates an evaluation value of the degree of eye meditation based on the face detected by the face detection unit 1001. For example, there are the following methods for calculating the eye meditation evaluation value. First, as shown in FIG. 5, a rectangular area 1200 is set around the center of gravity of the left and right eyes detected by the face detection unit 1001. The rectangular area is, for example, a predetermined range (upper and lower 10 pixels, left and right 10 pixels) with the center of gravity of the left and right eyes as the center. Next, threshold processing is performed on the rectangular area 1200 to generate a binarized image. For example, when the rectangular area 1200 has an 8-bit gradation (0-255 gradation), the threshold is set to 100 or the like. A pixel having a luminance value of 100 or more constituting the rectangular area 1200 has a luminance value of 255, and conversely, a pixel having a luminance value of less than 100 has a luminance value of 0. Thereafter, the number of pixels having a luminance value of 0 in the rectangular area 1200 is counted. FIG. 5 shows a graph with respect to the number of pixels having a luminance value of 0. When the eyes are opened, the number of pixels having a luminance value of 0 is large because there is a pupil region. On the other hand, when the eyes are closed, the pupil region is hidden, so the number of pixels having a luminance value of 0 is reduced. This is used to calculate the degree of eye meditation (see FIG. 6). The degree of eye meditation shown in FIG. 6 is calculated using a function (for example, 8 bits (0-255 gradations)) that converts the number of pixels having a luminance value of 0 to the degree of eye meditation. In this case, the closer the eye meditating degree is to 255, the closer the eye is, and the closer the eye meditating degree is to 0, the more open the eye is. In addition, what is necessary is just to provide arbitrary values according to an image etc. in the threshold value mentioned above.
眼瞑り度が２５５となる時の画素数Ｔｈ１は、例えば、大量の眼を閉じた画像から輝度値０の画素数の平均値を算出することにより決められる。また、眼瞑り度が０となる時の画素数Ｔｈ２は、例えば、大量の眼を開いた画像から輝度値０の画素数の平均値を算出することにより決められる。なお、眼瞑り度が２５５となる時の画素数Ｔｈ１、眼瞑り度が０となる時の画素数Ｔｈ２は、これ以外の方法により決めるようにしてもよい。 The number of pixels Th1 when the degree of meditation is 255 is determined, for example, by calculating an average value of the number of pixels with a luminance value of 0 from an image with a large number of eyes closed. The number of pixels Th2 when the degree of meditation is 0 is determined, for example, by calculating an average value of the number of pixels having a luminance value of 0 from an image with a large number of eyes open. Note that the pixel number Th1 when the degree of meditation is 255 and the number Th2 when the degree of meditation is 0 may be determined by other methods.
寝顔認識部１００４は、顔検出部１００１により検出された顔が寝顔であるかどうかを認識し、寝顔認識結果を出力する。ここで、寝顔認識部１００４は、図３に示すように、目開き判定部１４００と、目開きフラグ制御部１４０１と、寝顔判定部１４０２とを具備して構成される。 The sleeping face recognition unit 1004 recognizes whether the face detected by the face detection unit 1001 is a sleeping face and outputs a sleeping face recognition result. Here, the sleeping face recognition unit 1004 includes an opening determination unit 1400, an opening flag control unit 1401, and a sleeping face determination unit 1402, as shown in FIG.
目開き判定部１４００は、目瞑り評価値算出部１００３による目瞑り評価値算出結果に基づき目が開いているかどうかを判定する。具体的には、目瞑り評価値算出部１００３により算出された目瞑り評価値が、目開き判定用閾値Ｔｈ＿ｅｙｅＯｐｅｎ以下となった場合、目開きと判定する。 The eye opening determination unit 1400 determines whether or not the eyes are open based on the result of the eye meditation evaluation value calculation by the eye meditation evaluation value calculation unit 1003. Specifically, when the eye-meditation evaluation value calculated by the eye-meditation evaluation value calculation unit 1003 is equal to or less than the eye-opening determination threshold Th_eyeOpen, it is determined that the eyes are opening.
目開きフラグ制御部１４０１は、目開き判定部１４００による目開き判定結果と、不図示の同一顔追跡部の同一顔追跡結果に基づき、目開きフラグの制御を行う。具体的には、目開き判定部１４００によって目開きと判定された場合、目開きフラグをＴＲＵＥとする。また、不図示の同一顔追跡部によって、同一の顔の追跡が途絶えた場合、目開きフラグをＦＡＬＳＥとする。同一顔追跡部による同一顔追跡は、種々の公知の方法を使用すればよい。例えば、連続フレーム間で検出された顔のサイズと座標の変動を監視し、変動が所定値以下の場合、同一の顔の追跡に成功したと判定し、変動が所定値以上又は顔が検出されなかった場合、同一の顔の追跡に失敗したと判定する方法を使用する。 The opening flag control unit 1401 controls the opening flag based on the opening determination result by the opening determination unit 1400 and the same face tracking result of the same face tracking unit (not shown). Specifically, when it is determined that the opening is determined by the opening determination unit 1400, the opening flag is set to TRUE. If the same face tracking unit (not shown) stops tracking the same face, the opening flag is set to FALSE. For the same face tracking by the same face tracking unit, various known methods may be used. For example, the variation in face size and coordinates detected between consecutive frames is monitored, and if the variation is less than or equal to a predetermined value, it is determined that tracking of the same face has succeeded, and the variation is greater than a predetermined value or a face is detected If not, a method of determining that tracking of the same face has failed is used.
寝顔判定部１４０２は、目開きフラグ制御部１４０１によって制御された目開きフラグと、目瞑り評価値算出部１００３による目瞑り評価値算出結果に基づき、顔検出部１００１により検出された顔が寝顔であるかどうかを判定する。具体的には、目瞑り評価値算出部１００３による目瞑り評価値算出結果の最新の履歴を最大Ｎ回分保持し、各回の目瞑り評価値が、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅを上回るかどうかを判定し、上回った回をカウントする。これを目瞑りカウントＥｙｅＣｌｏｓｅＣｏｕｎｔとする。ＥｙｅＣｌｏｓｅＣｏｕｎｔが、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ回以上あり、かつ、目開きフラグ制御部１４０１によって制御された目開きフラグがＦＡＬＳＥで有った場合、顔検出部１００１により検出された顔が寝顔であると判定する。また、目瞑り評価値算出結果の履歴は、上述の目開きフラグ制御部１４０１における同一顔追跡部で同一顔の追跡に失敗した場合、消去される。 The sleeping face determination unit 1402 determines that the face detected by the face detection unit 1001 is a sleeping face based on the eye opening flag controlled by the eye opening flag control unit 1401 and the eye closing evaluation value calculation result by the eye closing evaluation value calculating unit 1003. Determine if it exists. Specifically, the latest history of eye meditation evaluation value calculation results by the eye meditation evaluation value calculation unit 1003 is retained for a maximum of N times, and it is determined whether each time the eye meditation evaluation value exceeds the eye meditation evaluation threshold Th_eyeClose. And count the number of times that exceeded. This is the eye closed count EyeCloseCount. When EyeCloseCount is equal to or greater than the sleeping face determination count threshold Th_SleepCount and the opening flag controlled by the opening flag control unit 1401 is FALSE, the face detected by the face detection unit 1001 is a sleeping face. judge. Also, the history of the eye-meditation evaluation value calculation result is deleted when the same face tracking unit in the above-described eye opening flag control unit 1401 fails to track the same face.
＜寝顔認識処理フロー＞
次に、図７を用いて、図２に示す寝顔認識装置１０における寝顔認識処理の流れについて説明する。
（ステップＳ１００）
画像入力部１０００において、画像入力が行われる。
（ステップＳ１０１）
顔検出部１００１において、ステップＳ１００で入力された画像から上述した所定の顔検出アルゴリズムを用いた顔検出が行なわれる。
（ステップＳ１０２）
ステップＳ１０１で人物の顔が検出されなかった場合には、ステップＳ１０６へ進み、処理の終了または次の画像入力が行われることになるが、人物の顔が検出された場合には、ステップＳ１０３へ進む。
（ステップＳ１０３）
画像正規化部１１００において、ステップＳ１０２で検出された人物の顔の画像を、上述した方法で正規化する。
（ステップＳ１０４）
目瞑り評価値算出部１００３において、ステップＳ１０３で正規化された人物の顔の画像で、目の瞑り度合いの評価値を算出する。
（ステップＳ１０５）
寝顔認識部１００４において、顔が寝顔であるかどうかを認識する。目開き判定部１４００において、顔検出部１００１により検出された顔が目開きかどうかが判定される。続いて、目開きフラグ制御部１４０１において、目開きフラグ制御が行われる。最後に、寝顔判定部１４０２において、上述の方法によって寝顔判定が行われる。
（ステップＳ１０６）
寝顔認識処理を終了する場合、そのままこの処理を終了するが、そうでない場合には、ステップＳ１００へ進み、次の画像入力がなされる。
<Sleeping face recognition processing flow>
Next, the flow of the sleeping face recognition process in the sleeping face recognition apparatus 10 shown in FIG. 2 will be described with reference to FIG.
(Step S100)
In the image input unit 1000, image input is performed.
(Step S101)
The face detection unit 1001 performs face detection using the predetermined face detection algorithm described above from the image input in step S100.
(Step S102)
If the face of the person is not detected in step S101, the process proceeds to step S106, and the process ends or the next image input is performed. If the face of the person is detected, the process proceeds to step S103. move on.
(Step S103)
The image normalization unit 1100 normalizes the human face image detected in step S102 by the method described above.
(Step S104)
The eye meditation evaluation value calculation unit 1003 calculates an evaluation value of the degree of meditation on the face image normalized in step S103.
(Step S105)
The sleeping face recognition unit 1004 recognizes whether the face is a sleeping face. The opening determination unit 1400 determines whether the face detected by the face detection unit 1001 is an opening. Subsequently, the opening flag control unit 1401 performs opening flag control. Finally, the sleeping face determination unit 1402 performs sleeping face determination by the above-described method.
(Step S106)
If the sleeping face recognition process is to be terminated, this process is terminated as it is. If not, the process proceeds to step S100, and the next image is input.
＜実施例＞
次に、本実施例の実施に好適な撮影シーンの一例においての、寝顔認識処理を説明する。
<Example>
Next, a sleeping face recognition process in an example of a shooting scene suitable for the implementation of the present embodiment will be described.
図８は、覚醒して目を開いている人物Ａと、睡眠状態の人物Ｂの居るシーンを連続して撮影した画像を時系列に並べたものである。フレーム１〜フレーム７は、人物Ａが撮影されている。フレーム１〜フレーム２では、人物Ａは正面を向き、目を開けている。フレーム３〜フレーム７では、人物Ａは下を向き、目を開けている。フレーム８では、画角が変更され、人物Ａはフレームアウトし、画角内に居る人物はいなくなる。フレーム９〜１３では、人物Ｂが撮影されている。人物Ｂは睡眠状態のため、目は継続して閉じられている。 FIG. 8 is a time series of images obtained by continuously capturing a scene where a person A who has awakened and opened his eyes and a person B in a sleeping state is present. In the frames 1 to 7, the person A is photographed. In frame 1 to frame 2, person A faces the front and opens his eyes. In frames 3 to 7, person A faces down and has his eyes open. In the frame 8, the angle of view is changed, the person A is out of the frame, and no person is present within the angle of view. In frames 9 to 13, the person B is photographed. Since person B is in a sleep state, his eyes are continuously closed.
図９は、このフレーム１〜フレーム１３が順次画像入力された場合における、寝顔認識処理結果を示している。時系列の順にこれを説明する。 FIG. 9 shows the sleeping face recognition processing result when the frames 1 to 13 are sequentially input. This will be described in chronological order.
説明のため、上述の各種閾値について、目開き判定用閾値Ｔｈ＿ｅｙｅＯｐｅｎ＝２０、目瞑り評価値算出結果の最新の履歴の最大保存回数Ｎ＝１０、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅ＝１８０、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ＝５とする。 For the purpose of explanation, for the various thresholds described above, the threshold value for eye opening determination Th_eyeOpen = 20, the maximum number of times the latest history of eye-meditation evaluation value calculation results is stored N = 10, the threshold value for eye-meditation determination Th_eyeClose = 180, the count for sleeping face determination The threshold value Th_SleepCount = 5.
まず、ステップＳ１００〜ステップＳ１０４において、フレーム１が画像入力され、顔が検出され、正規化を経て目瞑り評価値が算出される。フレーム１では、人物は正面を向き、目を開いているので、目瞑り度は０と算出される。 First, in step S100 to step S104, an image of frame 1 is input, a face is detected, and an eye meditation evaluation value is calculated through normalization. In frame 1, the person faces front and has eyes open, so the degree of eye meditation is calculated as zero.
続いて、ステップＳ１０５において、顔が寝顔であるかどうかが認識される。ステップＳ１０５では、まずはじめに、目開き判定部１４００において、目開き判定が行われる。ステップＳ１０４において算出された目瞑り評価値は０であるため、目開き判定用閾値Ｔｈ＿ｅｙｅＯｐｅｎ以下となり、目開きと判定される。そのため、これに続いて実行される、目開きフラグ制御部１４０１における目開きフラグ制御において、目開きフラグがＴＲＵＥとなる。そして、寝顔判定部１４０２において、寝顔判定処理が実行される。ステップＳ１０４において算出された目瞑り評価値は０であるため、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅ以下となり、またこの時点で履歴は存在しないため、ＥｙｅＣｌｏｓｅＣｏｕｎｔ＝０となる。すなわち、寝顔と認識されない。 Subsequently, in step S105, it is recognized whether or not the face is a sleeping face. In step S105, first, the opening determination unit 1400 performs opening determination. Since the eye-meditation evaluation value calculated in step S104 is 0, the eye-opening determination threshold value Th_eyeOpen is equal to or less than that, and it is determined that the eyes are open. Therefore, in the opening flag control in the opening flag control unit 1401 that is executed subsequently, the opening flag becomes TRUE. Then, the sleeping face determination unit 1402 executes a sleeping face determination process. Since the eye meditation evaluation value calculated in step S104 is 0, it is equal to or less than the eye meditation determination threshold Th_eyeClose, and since no history exists at this time, EyeCloseCount = 0. That is, it is not recognized as a sleeping face.
そして、ステップＳ１０６にて、寝顔認識処理終了が選択されないので、ステップＳ１００へ進み、次の画像であるフレーム２が入力され、処理される。フレーム２も、１と同様の画像のため、フレーム１と同じ目瞑り評価値算出結果となる。その為、この時点で、依然としてＥｙｅＣｌｏｓｅＣｏｕｎｔ＝０で、目開きフラグ＝ＴＲＵＥのため、寝顔と認識されていない。 In step S106, since the end of the sleeping face recognition process is not selected, the process proceeds to step S100, and the next image, frame 2, is input and processed. Since frame 2 is also the same image as frame 1, the same eye-meditation evaluation value calculation result as frame 1 is obtained. Therefore, at this time point, EyeCloseCount = 0 and the opening flag = TRUE, it is not recognized as a sleeping face.
続いて、フレーム３〜７の処理に至る。フレーム３は、下向き顔のため、ステップＳ１０４において、目瞑り評価値が２００と算出される。そのため、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅを上回り、ＥｙｅＣｌｏｓｅＣｏｕｎｔ＝１となる。同様に、フレーム４〜７においても、目瞑り評価値が２００と算出されつづけ、フレーム７においてＥｙｅＣｌｏｓｅＣｏｕｎｔが５に達し、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ以上という条件を満たしてしまう。しかし、目開きフラグがＴＲＵＥのため、寝顔と判定する条件は満たされず、寝顔でないと認識される。 Subsequently, the processing of frames 3 to 7 is reached. Since frame 3 is a downward face, the eye-meditation evaluation value is calculated as 200 in step S104. Therefore, the eye closing determination threshold Th_eyeClose is exceeded, and EyeCloseCount = 1. Similarly, in the frames 4 to 7, the eye meditation evaluation value is continuously calculated as 200, and the EyeCloseCount reaches 5 in the frame 7 and satisfies the condition that the sleeping face determination count threshold Th_SleepCount or more. However, since the opening flag is TRUE, the condition for determining a sleeping face is not satisfied, and it is recognized that the sleeping face is not a sleeping face.
次に、フレーム８の処理に至る。フレーム８では、人物Ａはフレームアウトしてしまうため、顔が検出されない。よって、ステップＳ１０５の目開きフラグ制御における同一顔追跡において、同一顔の追跡に失敗したと判定され、目開きフラグがＦＡＬＳＥとなる。また、上述の通り、目瞑り評価値算出結果の履歴も消去される。このため、ＥｙｅＣｌｏｓｅＣｏｕｎｔは０となる。 Next, processing of frame 8 is reached. In frame 8, since person A is out of frame, no face is detected. Therefore, in the same face tracking in the opening flag control in step S105, it is determined that tracking of the same face has failed, and the opening flag becomes FALSE. Further, as described above, the history of the eye-meditation evaluation value calculation result is also deleted. For this reason, EyeCloseCount becomes 0.
次に、フレーム９〜１３の処理に至る。フレーム９では、人物Ｂは目を瞑っているため、ステップＳ１０４において、目瞑り評価値が２５５と算出される。そのため、目瞑り判定用閾値Ｔｈ＿ｅｙｅＣｌｏｓｅを上回り、ＥｙｅＣｌｏｓｅＣｏｕｎｔ＝１となる。同様に、フレーム１０〜１３においても、目瞑り評価値が２５５と算出されつづけ、フレーム１３においてＥｙｅＣｌｏｓｅＣｏｕｎｔが５に達し、寝顔判定用カウント閾値Ｔｈ＿ＳｌｅｅｐＣｏｕｎｔ以上という条件を満たす。同時に、目開き判定フラグはＦＡＬＳＥのままであるため、ステップＳ１０５において、寝顔と認識される。 Next, processing of frames 9 to 13 is reached. In frame 9, since the person B is meditating, the eye mutilation evaluation value is calculated as 255 in step S104. Therefore, the eye closing determination threshold Th_eyeClose is exceeded, and EyeCloseCount = 1. Similarly, in the frames 10 to 13, the eye comfort evaluation value is continuously calculated as 255, and the EyeCloseCount reaches 5 in the frame 13, and the condition that the sleeping face determination count threshold Th_SleepCount is satisfied is satisfied. At the same time, since the opening determination flag remains FALSE, it is recognized as a sleeping face in step S105.
以上説明した通り、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、同一顔追跡条件を満している間は、同一の人物を寝顔と認識されないように制御することによって、顔の向きが変化した場合でも寝顔の誤認識を防止し、適切に寝顔を認識することが可能となる。 As described above, there is an opening determination unit that determines that a person's eyes are open, and when the opening is determined, the same person is not recognized as a sleeping face while the same face tracking condition is satisfied. By controlling in this way, it is possible to prevent erroneous recognition of the sleeping face even when the orientation of the face changes, and to recognize the sleeping face appropriately.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。例えば、前記同一顔追跡部の同一顔追跡手段について、実施例として、連続フレーム間で検出された顔のサイズと座標の変動を監視し、変動が所定値以下の場合、同一の顔の追跡に成功したと判定し、変動が所定値以上又は顔が検出されなかった場合、同一の顔の追跡に失敗したと判定する方法を上げた。しかし、前記変動を監視する対象は、一回前の顔検出結果としても良いし、所定フレーム周期毎に実行するとしても良い。これによって、変動監視の実行回数が減少し、システム負荷を減少させることが出来る。また、前記同一顔追跡手段について、顔特徴により個人を識別する顔識別手段を使用し、同一人物の顔が識別され続けている間、前記同一人物の顔の追跡が成功したと判定するとしてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. Moreover, you may combine suitably a part of above-mentioned embodiment. For example, with respect to the same face tracking unit of the same face tracking unit, as an example, the face size and coordinate fluctuations detected between successive frames are monitored, and if the fluctuations are below a predetermined value, the same face is tracked. A method for determining that the tracking of the same face has failed when it was determined that the change was successful and the fluctuation was not less than a predetermined value or a face was not detected was raised. However, the object for monitoring the variation may be the previous face detection result, or may be executed every predetermined frame period. As a result, the number of executions of fluctuation monitoring is reduced, and the system load can be reduced. Further, as for the same face tracking means, it is possible to use face identification means for identifying an individual by facial features and determine that the tracking of the face of the same person has succeeded while the face of the same person continues to be identified. Good.
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention. Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention. In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS. As a recording medium for supplying the program, for example, a magnetic recording medium such as a hard disk or a magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory may be used. As a program supply method, a computer program that forms the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.
１０００ 画像入力部
１００１ 顔検出部
１００２ 画像正規化部
１００３ 目瞑り評価値算出部
１００４ 寝顔認識部
1000 Image input unit 1001 Face detection unit 1002 Image normalization unit 1003 Eye meditation evaluation value calculation unit 1004 Sleeping face recognition unit
Claims (4)
前記顔検出手段が検出した人物の目の瞑り度合いを判定する目瞑り度判定手段を有し、
複数回にわたって目瞑り度を監視した情報に基づいて、人物の顔を寝顔と判定する手段において、
目瞑り度が所定値以下となる場合、人物の目が開いていると判定する目開き判定手段を有し、目開き判定された場合、所定条件を満たす間は、同一の人物を寝顔と判定されないように制御することを特徴とすることを特徴とする寝顔認識装置。 Face detection means for detecting a person's face;
Eye meditation degree determination means for determining the degree of meditation of the person detected by the face detection means,
In the means for determining a person's face as a sleeping face based on information obtained by monitoring the degree of meditation multiple times,
When the degree of eye meditation is less than or equal to a predetermined value, there is an opening determination unit that determines that a person's eyes are open, and when the opening is determined, the same person is determined to be a sleeping face while the predetermined condition is satisfied The sleeping face recognition apparatus is characterized by being controlled so as not to be performed.
前記同一人物の顔を追跡する手段は、前記顔識別手段により、同一人物の顔が識別され続けている間、前記同一人物の顔の追跡が成功したと判定することを特徴とする請求項２に記載の寝顔認識装置。
A face identifying means for identifying the face detected by the face detecting means by a facial feature;
3. The means for tracking the face of the same person determines that the face of the same person has been successfully tracked while the face of the same person continues to be identified by the face identifying means. The sleeping face recognition device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011266440A JP2013120954A (en) | 2011-12-06 | 2011-12-06 | Sleeping face recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011266440A JP2013120954A (en) | 2011-12-06 | 2011-12-06 | Sleeping face recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013120954A true JP2013120954A (en) | 2013-06-17 |
Family
ID=48773427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011266440A Pending JP2013120954A (en) | 2011-12-06 | 2011-12-06 | Sleeping face recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013120954A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9230343B2 (en) | 2013-08-23 | 2016-01-05 | Brother Kogyo Kabushiki Kaisha | Image processing apparatus and storage medium |
| WO2019142243A1 (en) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | Image diagnosis support system and image diagnosis support method |
| US10460421B2 (en) | 2013-08-23 | 2019-10-29 | Brother Kogyo Kabushiki Kaisha | Image processing apparatus and storage medium |
-
2011
- 2011-12-06 JP JP2011266440A patent/JP2013120954A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9230343B2 (en) | 2013-08-23 | 2016-01-05 | Brother Kogyo Kabushiki Kaisha | Image processing apparatus and storage medium |
| US10460421B2 (en) | 2013-08-23 | 2019-10-29 | Brother Kogyo Kabushiki Kaisha | Image processing apparatus and storage medium |
| WO2019142243A1 (en) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | Image diagnosis support system and image diagnosis support method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9258482B2 (en) | Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium | |
| JP5567853B2 (en) | Image recognition apparatus and method | |
| EP3382601A1 (en) | Face verifying method and apparatus | |
| JP5127583B2 (en) | Object determination apparatus and program | |
| US20120189160A1 (en) | Line-of-sight detection apparatus and method thereof | |
| US20190102905A1 (en) | Head pose estimation from local eye region | |
| US9501691B2 (en) | Method and apparatus for detecting blink | |
| JP3063504B2 (en) | Image data feature detection device | |
| JP2013228930A (en) | Subject area detection device, method and program for controlling the same, imaging device and display device | |
| RU2667790C1 (en) | Method of automatic adjustment of exposition for infrared camera and user computer device using this method | |
| EP2966591A1 (en) | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information | |
| JP6399311B2 (en) | Dozing detection device | |
| JPWO2018078857A1 (en) | Gaze estimation apparatus, gaze estimation method, and program recording medium | |
| US10621424B2 (en) | Multi-level state detecting system and method | |
| JP5648452B2 (en) | Image processing program and image processing apparatus | |
| JP2013120954A (en) | Sleeping face recognition device | |
| CN111639582A (en) | Living body detection method and apparatus | |
| CN113903078A (en) | Human eye gaze detection method, control method and related equipment | |
| JP6729510B2 (en) | Monitoring support system and control method thereof | |
| JP2004192551A (en) | Eye opening/closing determining apparatus | |
| JP2010003116A (en) | Object deciding device and program | |
| CN114529962A (en) | Image feature processing method and device, electronic equipment and storage medium | |
| JP6098133B2 (en) | Face component extraction device, face component extraction method and program | |
| TWI466070B (en) | Method for searching eyes, and eyes condition determining device and eyes searching device using the method | |
| JP6399122B2 (en) | Face detection apparatus and control method thereof |