JP4322537B2

JP4322537B2 - Mask wearing judgment device

Info

Publication number: JP4322537B2
Application number: JP2003102449A
Authority: JP
Inventors: 伸征白木; 道則安藤; 芳樹二宮; 勇彦田中
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2003-04-07
Filing date: 2003-04-07
Publication date: 2009-09-02
Anticipated expiration: 2023-04-07
Also published as: JP2004310397A

Description

【０００１】
【発明の属する技術分野】
本発明は、個人認証や人の状態検知のために人の顔の画像を処理する装置において、人がマスクをしているか否かを判定するマスク着用判定装置に関する。
【０００２】
【従来の技術】
従来、人の頭部の位置や姿勢を検出する装置として、被験者を２台のカメラで撮影して特徴点を抽出・追跡し、それらの３次元位置を求める計測装置が開示されている（特許文献１）。
【０００３】
また、特許文献２には対象となるユーザの顔の向きを検出して、その顔の向きに応じた顔認識を実行して個人認証を行う認証装置が開示されている。ここではユーザを事前に各種角度から撮影して照合用画像データベースを作成し、そのデータベースと比較することによって個人認証を行っている。
【０００４】
【特許文献１】
特開平１１−６３９２７号公報（特許請求の範囲）
【０００５】
【特許文献２】
特開２００２−２８８６７０号公報（特許請求の範囲）
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の技術は人の顔が全て見えていることを前提に処理されるため、人がマスクを着用している場合には正確な認証や検出をすることができない。
【０００７】
本願発明は、撮影した画像から人がマスクを着用しているか否かを容易に且つ正確に判定することを目的とする。人がマスクを着用しているという判定が可能になると、個人認証や人の状態検知のために人の顔の画像を処理する装置において、マスク着用を前提とした画像処理が可能となり、認証や検出の精度を向上させることが可能となる。さらに、自動車の運転者においては、マスクを着用していることが風邪をひいていることの明示的な現れであるので、そのマスク着用を検出することによって運転者の体調をも考慮した自動車の制御が可能となる。
【０００８】
【課題を解決するための手段】
上記目的を達成するための本願発明は、人の顔を撮影して撮影画像を取得する撮像手段と、前記撮影画像において、人の顔の上下中心を検出する上下中心検出部と、前記上下中心の上部と下部とにおける所定領域の画像情報を比較することによって、人がマスクを着用しているか否かを判定するマスク着用判定部とを有することを特徴とするマスク着用判定装置である。
【０００９】
また、本願発明において、前記マスク着用判定部は、前記上下中心の上部と下部とにおける所定領域の画像情報を比較する際に、前記撮影画像における輝度、色、エッジ部の量のうち、少なくとも１つを利用することが好ましい。
【００１０】
【作用】
本願発明によると、人の顔において、上下中心の上部と下部とにおける所定領域の画像情報を比較することによって、人がマスクを着用しているか否かを判定することが可能となる。この判定を用いることによって、人がマスクをしていることを前提とした画像処理が可能となり、個人認証や人の状態検出を高精度に実施することが可能となる。
【００１１】
また、人の顔の上部と下部との画像情報を比較する際に、当該画像情報として撮影画像の輝度、色、エッジ部の量のうち、少なくとも１つを利用するため、より精度良く容易にマスク着用の有無を判定することができる。
【００１２】
【発明の実施の形態】
【００１３】
以下に、本願発明の実施の形態を説明する。図１は本願発明のマスク着用判定装置の処理フローを示す図である。撮像手段１１０では人の顔を含む撮影画像を取得する。ここではＣＣＤカメラやＣＭＯＳカメラなどを利用することが可能である。次に上下中心検出部１２０において、撮影画像内の顔の上下中心を検出する。上下中心とは、撮影画像における顔の上下方向の中心位置であり、具体的には図２に示す横線２１２が上下中心となる。図２においては、顔２２０の上半分にはマスクは無く、下半分にはマスク２５０を見ることができる。この上下中心の検出においては、画像の輝度の微分値より顔の輪郭を検出し、最上部２１１と最下部２１３を特定したうえで、これら２つの線（２１１，２１３）の中心を上下中心２１２とすることが可能である。
【００１４】
ただし、上下中心は必ずしも顔の最上部２１１と最下部２１３との中心にある必要はなく、着用しているマスクがほぼ上下中心より下側に位置し、マスクのない顔がほぼ上下中心より上側に検出することができる範囲で任意に設定することが可能である。
【００１５】
上下中心が検出されると、次にマスク着用判定部１３０においてマスクが着用されているか否かが判定される。その際、上下中心２１２の上部の所定領域２３０と、同下部の所定領域２４０との画像情報を比較することによって、マスク着用の有無を判定する。マスクを着用している人の顔においては、上下中心２１２の上部の所定領域２３０と、同下部の所定領域２４０とでは、輝度や色、エッジ部の量が異なるため、これらの画像情報を分析することによって、マスク着用の有無を判定することができるのである。
【００１６】
このような手段で上部の所定領域２３０と下部の所定領域２４０とを比較すると、人がマスクを着用している場合には、下部の所定領域２４０の輝度が高くなる。また、同様にマスク着用時には下部の所定領域２４０の色は、より白色に近い色を示す。一般的には、マスクは白色のためである。したがって、輝度処理部１３１や色処理部１３２において、２つの所定領域２３０と２４０とを比較し、人がマスクを着用しているか否かを判定することが可能となる。
【００１７】
さらに、上部の所定領域２３０と下部の所定領域２４０とにおいて画像の輝度を微分処理し、輝度の値が変化するエッジ部を検出することができる。マスクを着用している場合には、下部の所定領域２４０においてはこのエッジ部はほとんど検出されない。マスクにはエッジ部がないためである。一方、上部の所定領域２３０には目や眉毛などに起因するエッジ部が多数検出される。したがって、２つの所定領域２３０と２４０に含まれるエッジ部の量を比較することによって、人がマスクを着用しているか否かを判定することができる。この処理はエッジ処理部１３３で行われる。
【００１８】
図１においては、マスク着用判定部１３０には、輝度処理部１３１と色処理部１３２、エッジ処理部１３３が記載されているが、実際にはこれらのうちの少なくとも１つを用いればよい。また、複数用いてより精度を向上させることも可能である。
【００１９】
以上説明した手段でマスク着用の有無を判定し、最後にその判定結果を出力する（１４０）。この判定は個人認証や人の状態検出には不可欠のものであり、マスク着用の有無を明確にすることによって個人認証の精度が向上し、また人の状態も正確に検知することができるので、自動車の運転制御支援等にも利用することが可能である。
【００２０】
以下に、輝度を用いたマスク着用の判定処理をより詳しく説明する。図３はこの処理のフローを示す図である。まず撮像手段１１０で撮影した撮影画像を取り込む（３０１）。次に、その撮影画像の顔における上下中心２１２を検出し（３０２）、上下中心の上部及び下部の所定領域２３０および２４０を切り出す（３０３）。そして、これらの所定領域における輝度の平均値を計算し（３０４）、両者を比較する（３０５）。ここでの比較においては、上下中心２１２より下部の所定領域２４０における輝度平均値から同上部の所定領域２３０における輝度平均値を差引き、当該差分が所定値より大きい場合には、マスク着用と判断され（３０６）、小さい（すなわちほぼ同じ輝度）場合にはマスクを着用していないと判断される（３０７）。
【００２１】
ここでの輝度平均値を算出する上下の所定領域２３０および２４０の位置は、マスクが着用されていない箇所と、着用されている箇所を正確に処理できるよう設定すると良い。ただし、少なくとも両者は上下中心２１２を挟む位置に設定される。言い換えれば、上下中心２１２は、マスクがある下部とマスクがない上部とを分割する位置に設定されるべきである。実際には顔の最上部２１１と最下部２１３との中心が適当である。
【００２２】
また、マスク着用の判定を行う判定部３０５における所定値とは、人の顔とマスクとの差に起因する輝度の差を目安に任意に設定することができる。
【００２３】
以上の説明と同様に、上部と下部の所定領域における色の差やエッジ部の量の差を検出し、マスク着用の有無を判定することが可能である。
【発明の効果】
本願発明によると、撮影した画像のみを用いて被撮影者がマスクを着用しているか否かを判定することが可能となる。これには複雑な処理を要しないため、自動車や携帯用の端末のように処理能力が制限されている場合であっても、容易にマスク着用の有無を判定できる。この判定結果を用いると、マスク着用を前提とした画像処理が可能となり、個人認証の精度が向上し、また人の状態も正確に検知することができるので、自動車の運転制御支援等にも利用することが可能となる。
【図面の簡単な説明】
【図１】本願発明のマスク着用判定装置の処理フローを示す図である。
【図２】撮影画像の処理の一例を示した図である。
【図３】輝度を用いたマスク着用判定のフローを示した図である。
【符号の説明】
１１０撮像手段
１２０上下中心検出部
１３０マスク着用判定部
１３１輝度処理部
１３２色処理部
１３３エッジ処理部
２１１顔の最上部
２１２顔の上下中心
２１３顔の最下部
２３０，２４０画像情報が比較される上部と下部の所定領域
２５０着用しているマスク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mask wearing determination apparatus for determining whether or not a person is wearing a mask in an apparatus that processes an image of a person's face for personal authentication or human state detection.
[0002]
[Prior art]
Conventionally, as a device for detecting the position and posture of a person's head, a measuring device is disclosed in which a subject is photographed with two cameras, feature points are extracted and tracked, and their three-dimensional position is obtained (patent) Reference 1).
[0003]
Patent Document 2 discloses an authentication device that detects the orientation of a target user's face, performs face recognition according to the face orientation, and performs personal authentication. Here, a user is photographed from various angles in advance, a collation image database is created, and personal authentication is performed by comparing with the database.
[0004]
[Patent Document 1]
JP-A-11-63927 (Claims)
[0005]
[Patent Document 2]
JP 2002-288670 A (Claims)
[0006]
[Problems to be solved by the invention]
However, since the conventional technique is processed on the assumption that all the faces of a person are visible, accurate authentication and detection cannot be performed when a person is wearing a mask.
[0007]
It is an object of the present invention to easily and accurately determine whether a person is wearing a mask from a photographed image. When it is possible to determine that a person is wearing a mask, image processing on the premise of wearing a mask is possible in an apparatus that processes an image of a person's face for personal authentication or detection of a person's condition. It is possible to improve detection accuracy. In addition, in the driver of a car, wearing a mask is an explicit manifestation of catching a cold. Therefore, by detecting the wearing of the mask, Control becomes possible.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides an imaging means for capturing a captured image by capturing a human face, a vertical center detecting unit for detecting a vertical center of the human face in the captured image, and the vertical center. A mask wear determination device comprising: a mask wear determination unit that determines whether or not a person is wearing a mask by comparing image information of a predetermined region in an upper part and a lower part of the mask.
[0009]
In the invention of the present application, the mask wearing determination unit may compare at least one of luminance, color, and amount of edge in the captured image when comparing image information of a predetermined area between the upper and lower centers of the vertical center. It is preferable to use one.
[0010]
[Action]
According to the present invention, it is possible to determine whether or not a person is wearing a mask by comparing image information of a predetermined area in the upper and lower center of the person's face. By using this determination, it is possible to perform image processing on the premise that a person is wearing a mask, and it is possible to carry out personal authentication and human state detection with high accuracy.
[0011]
In addition, when comparing the image information of the upper and lower parts of a person's face, since at least one of the brightness, color, and edge amount of the captured image is used as the image information, it is easier and more accurate. Whether or not a mask is worn can be determined.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
[0013]
Embodiments of the present invention will be described below. FIG. 1 is a diagram showing a processing flow of the mask wearing determination apparatus of the present invention. The imaging unit 110 acquires a captured image including a human face. Here, a CCD camera, a CMOS camera, or the like can be used. Next, the vertical center detection unit 120 detects the vertical center of the face in the captured image. The vertical center is the center position in the vertical direction of the face in the captured image. Specifically, the horizontal line 212 shown in FIG. 2 is the vertical center. In FIG. 2, there is no mask in the upper half of the face 220, and the mask 250 can be seen in the lower half. In the detection of the vertical center, the contour of the face is detected from the differential value of the luminance of the image, the uppermost part 211 and the lowermost part 213 are specified, and the center of these two lines (211, 213) is set as the vertical center 212. Is possible.
[0014]
However, the vertical center does not necessarily have to be at the center between the uppermost portion 211 and the lowermost portion 213 of the face, the mask being worn is positioned below the vertical center, and the face without the mask is approximately above the vertical center. It is possible to arbitrarily set as long as it can be detected.
[0015]
When the vertical center is detected, it is next determined whether or not the mask is worn by the mask wear determination unit 130. At this time, the presence / absence of wearing a mask is determined by comparing the image information of the predetermined area 230 at the upper part of the vertical center 212 and the predetermined area 240 at the lower part thereof. In the face of a person wearing a mask, the predetermined area 230 in the upper part of the vertical center 212 and the predetermined area 240 in the lower part differ in luminance, color, and amount of edge portion, and thus the image information is analyzed. By doing so, the presence or absence of wearing a mask can be determined.
[0016]
When the upper predetermined area 230 and the lower predetermined area 240 are compared by such means, the luminance of the lower predetermined area 240 increases when a person is wearing a mask. Similarly, when the mask is worn, the color of the predetermined area 240 at the bottom shows a color closer to white. In general, the mask is white. Therefore, the luminance processing unit 131 and the color processing unit 132 can compare the two predetermined areas 230 and 240 to determine whether or not a person is wearing a mask.
[0017]
Furthermore, the luminance of the image is differentiated in the upper predetermined area 230 and the lower predetermined area 240, and an edge portion where the luminance value changes can be detected. When the mask is worn, this edge portion is hardly detected in the predetermined region 240 below. This is because the mask has no edge. On the other hand, a large number of edge portions due to eyes, eyebrows and the like are detected in the upper predetermined region 230. Therefore, it is possible to determine whether or not a person is wearing a mask by comparing the amounts of edge portions included in the two predetermined areas 230 and 240. This processing is performed by the edge processing unit 133.
[0018]
In FIG. 1, the mask wearing determination unit 130 includes a luminance processing unit 131, a color processing unit 132, and an edge processing unit 133, but actually, at least one of them may be used. It is also possible to improve accuracy by using a plurality.
[0019]
The means described above is used to determine whether or not the mask is worn, and finally the determination result is output (140). This determination is indispensable for personal authentication and human condition detection, and by clarifying the presence or absence of wearing a mask, the accuracy of personal authentication is improved, and the human condition can also be accurately detected. It can also be used for driving control support of automobiles.
[0020]
Hereinafter, the determination process of wearing a mask using luminance will be described in more detail. FIG. 3 shows the flow of this process. First, a captured image captured by the imaging means 110 is captured (301). Next, the vertical center 212 in the face of the photographed image is detected (302), and predetermined regions 230 and 240 above and below the vertical center are cut out (303). Then, the average value of luminance in these predetermined areas is calculated (304), and both are compared (305). In this comparison, the luminance average value in the predetermined region 230 above the upper and lower center 212 is subtracted from the luminance average value in the upper predetermined region 230. If the difference is larger than the predetermined value, it is determined that the mask is worn. If it is small (that is, approximately the same brightness), it is determined that the mask is not worn (307).
[0021]
Here, the positions of the upper and lower predetermined regions 230 and 240 for calculating the luminance average value are preferably set so that a portion where the mask is not worn and a portion where the mask is worn can be accurately processed. However, at least both of them are set at a position sandwiching the vertical center 212. In other words, the vertical center 212 should be set to a position that divides the lower portion where the mask is present and the upper portion where the mask is not present. In practice, the center of the uppermost portion 211 and the lowermost portion 213 of the face is appropriate.
[0022]
The predetermined value in the determination unit 305 that determines whether or not to wear a mask can be arbitrarily set based on a difference in luminance caused by a difference between a human face and a mask.
[0023]
Similarly to the above description, it is possible to determine whether or not a mask is worn by detecting a difference in color and a difference in the amount of edge portions in the upper and lower predetermined regions.
【The invention's effect】
According to the present invention, it is possible to determine whether or not the subject is wearing a mask using only the captured image. Since this does not require complicated processing, it is possible to easily determine whether or not a mask is worn even when the processing capability is limited as in an automobile or a portable terminal. By using this judgment result, it is possible to perform image processing on the premise of wearing a mask, improve the accuracy of personal authentication, and accurately detect the state of a person, so it can also be used for driving control support of automobiles, etc. It becomes possible to do.
[Brief description of the drawings]
FIG. 1 is a diagram showing a processing flow of a mask wearing determination apparatus according to the present invention.
FIG. 2 is a diagram illustrating an example of processing of a captured image.
FIG. 3 is a diagram showing a flow of mask wearing determination using luminance.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 110 Image pickup means 120 Vertical center detection part 130 Mask wearing determination part 131 Luminance processing part 132 Color processing part 133 Edge processing part 211 The uppermost part of the face 212 The upper and lower center of the face 213 The lowest part of the face 230,240 The upper part where the image information is compared And a predetermined area 250 under the mask

Claims

人の顔を撮影して撮影画像を取得する撮像手段と、
前記撮影画像において、人の顔の上下中心を検出する上下中心検出部と、
前記上下中心の上部であって目又は眉毛を含む領域の画像情報と、前記上下中心の下部であって口を含む領域の画像情報とを比較することによって、人がマスクを着用しているか否かを判定するマスク着用判定部とを有することを特徴とするマスク着用判定装置。Imaging means for capturing a captured image by capturing a human face;
In the captured image, a vertical center detection unit that detects a vertical center of a human face;
Whether or not a person is wearing a mask by comparing the image information of the area above the upper and lower centers and including eyes or eyebrows with the image information of the area below the upper and lower centers and including the mouth The mask wearing determination apparatus characterized by having a mask wearing determination part which determines these.

前記マスク着用判定部は、前記上下中心の上部と下部とにおける所定領域の画像情報を比較する際に、前記撮影画像における輝度、色、エッジ部の量のうち、少なくとも１つを利用することを特徴とする請求項１に記載のマスク着用判定装置。 The mask wearing determination unit uses at least one of luminance, color, and amount of an edge portion in the photographed image when comparing image information of a predetermined region at the upper and lower centers of the vertical center. The mask wearing determination apparatus according to claim 1, wherein the apparatus is a mask wearing determination apparatus.