JP2569420B2 - Face direction discrimination device - Google Patents

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【産業上の利用分野】この発明は顔方向判別装置に関
し、特にたとえば非接触で顔面上の特定の計測部位の皮
膚表面温度を検知する装置などに用いられる、顔方向判
別装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a face direction discriminating apparatus, and more particularly to a face direction discriminating apparatus used for, for example, a device for detecting a skin surface temperature of a specific measurement site on a face without contact.

【０００２】[0002]

【従来の技術】顔の向きを認識する第１の従来技術とし
ては、１９９１年電子情報通信学会春季全国大会論文ｐ
７−３０８のＤ−５９６「特定方向を向く人物像の実時
間抽出」に記載されたものがある。この第１の従来技術
では、顔を白黒カメラで撮影して、その画像データを２
値化し、目，鼻および口を含む１つの領域の重心と頭部
輪郭の重心との距離で、顔が正面を向いている人物を見
つける。2. Description of the Related Art A first conventional technique for recognizing a face direction is described in the 1991 IEICE Spring National Convention paper p.
7-308, D-596 "Real-time extraction of a person image facing a specific direction". In this first conventional technique, a face is photographed with a black-and-white camera, and the image data is
A person whose face is facing forward is found from the distance between the center of gravity of one region including the eyes, nose and mouth and the center of gravity of the head contour.

【０００３】第２の従来技術としては、電子情報通信学
会論文誌Ｄ−II Vol.Ｊ７２−Ｄ−II No. ９ pp.１４
４１−１４４７（１９８９年９月）の「単眼視画像によ
る顔の向き検出法の指示入力への応用」に記載されたも
のがある。この第２の従来技術では、顔を３個の特徴的
な点で構成される三角形としてモデル化し、各３点間の
距離を既知情報として与え、これら３点の単眼視画像へ
の投影から３点の３次元位置を求め、この三角形の重心
位置と法線方向とを３次元空間中での顔の向きとして検
出する。[0003] As a second prior art, the IEICE Transactions D-II Vol.J72-D-II No. 9 pp.14
41-1447 (September 1989), "Application of Face Direction Detection Method Using Monocular Image to Instruction Input". In this second conventional technique, a face is modeled as a triangle composed of three characteristic points, the distance between each of the three points is given as known information, and the distance from the projection of these three points to a monocular image is 3 The three-dimensional position of the point is obtained, and the position of the center of gravity and the normal direction of the triangle are detected as the direction of the face in the three-dimensional space.

【０００４】[0004]

【発明が解決しようとする課題】これらの従来技術で
は、いずれも、顔の向きの変化範囲が正面から±２０〜
３０°程度なら顔の向きを識別できるが、顔面上の特定
部位の皮膚表面温度を非接触で計測する装置では、顔が
真横を向いている場合でもその状態を正確に追尾して認
識できなければならない。したがって、上述の第１およ
び第２のいずれの従来技術も、このような目的のために
は用いることができなかった。In each of these prior arts, the range of change of the face direction is ± 20 to ± 20 degrees from the front.
A face angle of about 30 ° can identify the direction of the face, but a device that measures the skin surface temperature of a specific part of the face without contact must be able to accurately track and recognize the state of the face, even when the face is facing sideways. Must. Therefore, none of the first and second prior arts described above can be used for such a purpose.

【０００５】それゆえに、この発明の主たる目的は、全
く新しい考え方で顔の向きを広範囲にかつ正確に認識で
きる、顔方向判別装置を提供することである。[0005] Therefore, a main object of the present invention is to provide a face direction discriminating apparatus capable of recognizing a face direction in a wide range and accurately with a completely new concept.

【０００６】[0006]

【課題を解決するための手段】この発明は、髪形に応じ
て決定される測定高さ，顔の露出角および髪の厚みを含
む複数のパラメータセット，パラメータセット毎の顔領
域幅と頭髪領域幅との第１データならびにパラメータセ
ット毎の頭髪領域幅および顔領域幅の比率と顔の回転角
との対応関係を含む第１モデルを記憶する記憶手段、人
物の赤外画像から頭髪領域幅および顔領域幅を測定して
その第１比率を求める測定手段、測定手段によって測定
された顔領域幅および頭髪領域幅を記憶手段の第１デー
タと比較することによって最適なパラメータセットを選
択する選択手段、および最適なパラメータセットの第１
モデルを参照して第１比率から顔の回転角を検出する検
出手段を備える、顔方向判別装置である。According to the present invention, there are provided a plurality of parameter sets including a measurement height determined according to a hairstyle, a face exposure angle and a hair thickness, a face area width and a hair area width for each parameter set. Storage means for storing a first model including the first data of the first model and the correspondence between the ratio of the head area width and the face area width for each parameter set and the rotation angle of the face, and the head area width and the face from the infrared image of the person. Measuring means for measuring the area width to obtain a first ratio thereof; selecting means for selecting an optimal parameter set by comparing the face area width and the hair area width measured by the measuring means with the first data in the storage means; And the first of the optimal parameter set
A face direction discriminating apparatus including a detecting unit that detects a face rotation angle from a first ratio with reference to a model.

【０００７】[0007]

【作用】選択手段で、測定手段によって求められた顔領
域幅および頭髪領域幅と記憶手段に記憶される第１デー
タとを比較して複数のパラメータセットの中から最適な
パラメータセットを選択する。そして、最適なパラメー
タセットの第１モデルを参照して、測定手段によって求
められた第１比率から検出手段で顔の回転角を検出す
る。すなわち、第１比率に対応する顔の回転角を第１モ
デルの中から選び、その顔の回転角を被測定者の顔の回
転角とする。また、第２モデルが記憶手段に記憶された
場合には、測定手段によって測定された第２比率と第２
モデルとを検出手段で比較することで、さらに精度よく
顔の回転角がわかる。The selection means compares the face area width and the hair area width obtained by the measurement means with the first data stored in the storage means, and selects an optimum parameter set from a plurality of parameter sets. Then, the rotation angle of the face is detected by the detection unit from the first ratio obtained by the measurement unit with reference to the first model of the optimal parameter set. That is, the rotation angle of the face corresponding to the first ratio is selected from the first model, and the rotation angle of the face is set as the rotation angle of the face of the subject. When the second model is stored in the storage unit, the second ratio measured by the measurement unit and the second ratio
By comparing the model with the detection means, the rotation angle of the face can be found with higher accuracy.

【０００８】[0008]

【発明の効果】この発明によれば、顔領域幅および頭髪
領域幅と顔の回転角との対応関係を利用することによっ
て、より広範囲に顔方向を検出することができる。ま
た、複数のパラメータセットを用いることによって、顔
方向判別がより正確となる。したがって、非接触温度計
測装置等に適用可能な顔方向判別装置が得られる。According to the present invention, the face direction can be detected over a wider range by utilizing the correspondence between the face region width and the hair region width and the face rotation angle. Further, by using a plurality of parameter sets, the face direction determination becomes more accurate. Therefore, a face direction discrimination device applicable to a non-contact temperature measurement device or the like is obtained.

【０００９】この発明の上述の目的，その他の目的，特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。The above objects, other objects, features and advantages of the present invention will become more apparent from the following detailed description of embodiments with reference to the drawings.

【００１０】[0010]

【実施例】図１を参照して、この実施例の顔方向判別装
置１０はサーモビュア１２を含む。サーモビュア１２
は、人物の顔から放射される赤外線を画像データとして
測定する。サーモビュア１２は、サーモビュアコントロ
ーラ１４によって制御される。そして、サーモビュア１
２から得られた画像データは、サーモビュアコントロー
ラ１４によって、たとえば０．１秒毎にＣＰＵ１６に供
給される。ＣＰＵ１６には、ＲＯＭ１８，ＲＡＭ２０，
モニタ２２，およびモニタ２２に画像表示するためのた
とえばビットマップ式の画像記憶装置２４が接続され
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Referring to FIG. 1, a face direction discriminating apparatus 10 of this embodiment includes a thermoviewer 12. Thermoviewer 12
Measures infrared light emitted from a person's face as image data. The thermoviewer 12 is controlled by a thermoviewer controller 14. And Thermoviewer 1
2 is supplied to the CPU 16 by the thermoviewer controller 14, for example, every 0.1 seconds. The CPU 16 includes a ROM 18, a RAM 20,
A monitor 22 and an image storage device 24 of, for example, a bitmap type for displaying an image on the monitor 22 are connected.

【００１１】このように構成される顔方向判別装置１０
において注目すべきは、図２に示すように作成された頭
部モデルを利用することである。この頭部モデルによっ
て、顔領域幅Ｗ，左頭髪領域幅Ｌおよび右頭髪領域幅Ｒ
と、顔の回転角θとの関係が求められる。図２に示す頭
部モデルは、頭部の任意の高さにおける水平方向断面を
示している。頭部断面形状は、短径／２を１、長径／２
をαとする楕円の周囲に、厚さβの頭髪が、顔の露出角
（頭部水平方向断面における髪の毛以外の顔の部分を角
度で表現したもの）ψを除く範囲で存在するものとす
る。また、赤外画像の場合には、測定方向が赤外線の放
射面の法線方向からずれるに従って見掛け上の放射率が
低下するため、あたかも温度が変化したようになり正確
に温度が測定できなくなる。そのため、形状により測定
温度が低下する領域（形状放射率の影響領域）を考慮す
る必要がある。この頭部モデルでは、赤外線の投影角度
すなわち顔領域の接線角（接線ａとＸ軸との角度）が臨
界角φ（たとえば６０°）を超えた場合には顔領域では
なく頭髪領域の温度帯に含まれると仮定した。また、ｈ
は髪の厚みを考慮しない頭髪領域幅，ｋは形状放射率の
影響領域幅，ｔ１およびｔ２は髪の厚み分の幅を示す。The face direction discriminating apparatus 10 constructed as described above
Is to use a head model created as shown in FIG. According to this head model, a face region width W, a left head region width L, and a right head region width R
And the rotation angle θ of the face are determined. The head model shown in FIG. 2 shows a horizontal section at an arbitrary height of the head. The cross-sectional shape of the head is 1 for minor axis / 2 and 2 for major axis
It is assumed that hair of thickness β exists around the ellipse with α in the range excluding the exposure angle of the face (the angle of the face portion other than the hair in the horizontal cross section of the head) ψ. . Also, in the case of an infrared image, the apparent emissivity decreases as the measurement direction deviates from the normal direction of the infrared radiation surface, so that it is as if the temperature has changed and the temperature cannot be measured accurately. Therefore, it is necessary to consider a region where the measurement temperature is reduced due to the shape (a region where the shape emissivity is affected). In this head model, when the infrared projection angle, that is, the tangent angle of the face area (the angle between the tangent a and the X axis) exceeds the critical angle φ (for example, 60 °), the temperature zone of the hair area instead of the face area Was assumed to be included. Also, h
Indicates the width of the hair region without considering the thickness of the hair, k indicates the width of the affected region of the shape emissivity, and t1 and t2 indicate the widths corresponding to the thickness of the hair.

【００１２】以上より、顔を右にθ回転した際の顔領域
幅Ｗ，左頭髪領域幅Ｌおよび右頭髪領域幅Ｒは数１によ
って表される。As described above, the face area width W, the left hair area width L, and the right hair area width R when the face is rotated to the right by θ are represented by Equation 1.

【００１３】[0013]

【数１】 数１は、サーモビュアコントローラ１４からの画像デー
タに基づいて顔方向の判別処理を行うための以下に述べ
るようなプログラムとともに、ＲＯＭ１８に記憶され
る。この数１によって、顔の任意の回転角θと顔の領域
幅Ｗ，左頭髪領域幅Ｌおよび右頭髪領域幅Ｒとの対応関
係が明らかになる。したがって、顔領域幅Ｗと左頭髪領
域幅Ｌとの比率Ｌ／Ｗおよび左頭髪領域幅Ｌと右頭髪領
域幅Ｒとの比率Ｒ／Ｌと顔の回転角θとのそれぞれの対
応関係も求められ、この対応関係がモデルとしてＲＡＭ
２０に格納される。このモデルを参照することによっ
て、以下のようにして求められた比率Ｌ／ＷおよびＲ／
Ｌから、被測定者の顔の回転角θが求められる。(Equation 1) Equation 1 is stored in the ROM 18 together with a program described below for performing face direction determination processing based on image data from the thermoviewer controller 14. The relationship between the arbitrary rotation angle θ of the face and the area width W of the face, the width L of the left hair area, and the width R of the right hair area becomes clear from Equation 1. Therefore, the corresponding relationship between the ratio L / W of the face region width W and the left head region width L, the ratio R / L of the left head region width L and the right head region width R, and the face rotation angle θ are also determined. This correspondence is used as a model in RAM
20. By referring to this model, the ratios L / W and R / W determined as follows:
From L, the rotation angle θ of the face of the subject is obtained.

【００１４】被測定者について、画像処理によって比率
Ｌ／Ｗおよび比率Ｒ／Ｌを求めるには、まず、たとえば
椅子に座らせた被測定者をサーモビュア１２に対して、
０〜９０°の範囲で椅子ごと回転させる。そして、サー
モビュア１２によって、１０°毎に得られた顔の赤外画
像をサンプルとする。このように赤外画像が用いられる
のは、背景からの人物抽出や皮膚領域と頭髪領域との分
割処理を、少ない処理プロセスで行うことができるから
である。In order to obtain the ratio L / W and the ratio R / L by image processing for the subject, first, for example, a subject sitting in a chair is moved to the thermoviewer 12.
Rotate the whole chair in the range of 0 to 90 °. Then, the infrared image of the face obtained every 10 ° by the thermoviewer 12 is used as a sample. The reason why the infrared image is used is that the extraction of a person from the background and the division of the skin region and the hair region can be performed with a small number of processing processes.

【００１５】そして、赤外画像から頭髪領域と顔領域と
を領域分割するためには、頭髪温度帯と皮膚温度帯との
閾値を決定する必要がある。この閾値を決定するには、
まず、３２〜３８℃程度の温度領域であるか否かによっ
て２値化処理を行い、大まかな頭部位置が求められる。
そして、頭部を横切る水平ラインの温度ヒストグラムに
従って、閾値は決定される。顔の温度と環境温度とは、
頭髪領域の温度分布に比べて均一であるため、温度ヒス
トグラムには図３に示すように２つの明瞭なピークが現
れ、その間に頭髪領域の温度帯が分布する。顔の各回転
角毎の赤外画像について、頭髪温度帯による閾値処理を
行った結果を図４に示す。In order to divide the hair region and the face region from the infrared image, it is necessary to determine threshold values for the hair temperature zone and the skin temperature zone. To determine this threshold,
First, a binarization process is performed depending on whether the temperature is in a temperature range of about 32 to 38 ° C., and a rough head position is obtained.
Then, the threshold value is determined according to the temperature histogram of the horizontal line crossing the head. The temperature of the face and the ambient temperature
Since the temperature distribution is uniform compared to the temperature distribution in the hair region, two distinct peaks appear in the temperature histogram as shown in FIG. 3, and the temperature band in the hair region is distributed therebetween. FIG. 4 shows the result of performing threshold processing on the infrared image at each rotation angle of the face based on the hair temperature zone.

【００１６】そして、図５に示すように、水平方向に延
びた長方形のウインドウを用いて頭髪画像を抽出し、各
頭髪温度帯および皮膚温度帯で閾値処理した後、膨張・
収縮，ラベリングおよびソート等の処理を経て得られた
領域の面積から、左頭髪領域幅Ｌおよび右頭髪領域幅Ｒ
が求められる。得られた結果から、比率Ｌ／Ｗおよび比
率Ｒ／Ｌが求められる。なお、比率Ｒ／Ｌは、比率Ｌ／
Ｗの変化が少ない低角度領域での顔の回転角検出の信頼
性を増すために用いられる。Then, as shown in FIG. 5, a hair image is extracted using a rectangular window extending in the horizontal direction, and threshold processing is performed in each hair temperature zone and skin temperature zone.
From the area of the area obtained through the processing such as shrinkage, labeling, and sorting, the left hair area width L and the right hair area width R
Is required. From the obtained result, the ratio L / W and the ratio R / L are obtained. Note that the ratio R / L is the ratio L /
It is used to increase the reliability of detecting the rotation angle of the face in a low angle region where the change in W is small.

【００１７】ここで、具体例を挙げて、モデルの精度を
説明する。「楕円の長径／短径」α＝１．１，頭髪の厚
さβ＝５％，顔の露出角ψ＝１２０°，頭頂からの測定
高さを「５」として、数１を用いて比率Ｌ／Ｗおよび比
率Ｒ／Ｌと顔の回転角とのそれぞれの対応関係を示すモ
デルを生成する。なお、αの値は、髪形も含めた頭部形
状の、幅（短径）：奥行き（長径）比を実測して得られ
た平均的な値を採用している。また、顔の露出角ψは、
こめかみのラインで測定するとほぼ１２０°であるが、
髪が顔面に被さった場合には多少狭くなる。測定高さに
ついては後述する。Here, the accuracy of the model will be described with a specific example. “Elongation / short diameter of ellipse” α = 1.1, hair thickness β = 5%, face exposure angle ψ = 120 °, measurement height from the top of the crown as “5”, ratio using Equation 1 A model is generated that indicates the corresponding relationship between L / W and the ratio R / L and the face rotation angle. As the value of α, an average value obtained by actually measuring the width (minor axis): depth (major axis) ratio of the head shape including the hairstyle is adopted. In addition, the face's exposure angle 顔
It is almost 120 ° when measured on the temple line,
When the hair covers the face, it becomes slightly narrow. The measurement height will be described later.

【００１８】このように特定人に対して、測定高さ，顔
の露出角ψおよび頭髪の厚さβを最適化して求めたモデ
ルと実測値（比率Ｌ／Ｗおよび比率Ｒ／Ｌと顔の回転角
θとの対応関係についての）とを比較した結果を図６に
示す。図６より、モデルと実測値とはよく対応してお
り、モデルは精度よくかつ妥当であることがわかる。た
だし、モデルを参照して、頭部画像の計測結果から顔の
回転角θを求める場合には、基本的には、比率Ｌ／Ｗと
顔の回転角θとの対応関係に従えばよいが、顔の回転角
θが０〜４０°の低角度領域すなわち回転角θに対する
比率Ｌ／Ｗの変位が小さい領域では、モデルと実測値と
の誤差が大きくなる場合があるため、補助的に比率Ｒ／
Ｌと顔の回転角θとの対応関係をも用いる。このように
比率Ｌ／Ｗの値によって、比率Ｌ／Ｗを用いるのか、比
率Ｒ／Ｌをも用いるのかが決定される。As described above, for a specific person, a model obtained by optimizing the measurement height, the face exposure angle ψ and the hair thickness β and the actually measured values (the ratio L / W and the ratio R / L and the face FIG. 6 shows the result of comparison with the rotation angle θ). FIG. 6 shows that the model and the measured value correspond well, and that the model is accurate and valid. However, when the rotation angle θ of the face is obtained from the measurement result of the head image with reference to the model, basically, the correspondence between the ratio L / W and the rotation angle θ of the face may be followed. In a low angle region where the face rotation angle θ is 0 to 40 °, that is, in a region where the displacement of the ratio L / W to the rotation angle θ is small, the error between the model and the actually measured value may increase. R /
The correspondence between L and the face rotation angle θ is also used. Thus, whether the ratio L / W or the ratio R / L is used is determined based on the value of the ratio L / W.

【００１９】また、図７に、顔の各回転角におけるモデ
ルと実測値との角度誤差を示す。顔の回転角θが０〜４
０°の領域には比率Ｒ／Ｌによる角度誤差の値が示さ
れ、顔の回転角θが４０〜９０°の領域には比率Ｌ／Ｗ
による角度誤差の値が示される。角度誤差は、顔の回転
角θが２０〜６０°の場合には２°以下であり、他の回
転角領域でも１０°以下に収まっている。すなわち、こ
のモデルを用いれば、０〜９０°の任意の角度において
最大誤差１０°以下で顔の向きを判別できる。FIG. 7 shows the angle error between the model and the measured value at each rotation angle of the face. Face rotation angle θ is 0-4
The value of the angle error due to the ratio R / L is shown in the region of 0 °, and the ratio L / W in the region of the face rotation angle θ of 40 to 90 °.
Are shown. The angle error is 2 ° or less when the face rotation angle θ is 20 to 60 °, and is within 10 ° or less in other rotation angle regions. That is, using this model, the face direction can be determined with a maximum error of 10 ° or less at an arbitrary angle of 0 to 90 °.

【００２０】しかし、上述のモデルでは、特定人にしか
適用できない。それは以下の理由による。まず、測定高
さは、最も安定的に認識できる部位、たとえばこめかみ
の部分であるが、ここで確実に認識できるのは、「短髪
かつ刈上げていない男性」に限られ、女性などはこの部
分が隠れてしまっているため、こめかみ部分は見えな
い。したがって、この測定高さを変える必要がある。However, the above model can be applied only to a specific person. It is for the following reasons. First, the measurement height is the site that can be recognized most stably, for example, the temple part, but here the only one that can be reliably recognized is limited to "men with short hair and not trimmed", women and others Is hidden, so the temples are not visible. Therefore, it is necessary to change the measurement height.

【００２１】また、顔の露出角ψについては、「刈上
げ」の場合には、刈上げた部分は皮膚領域であるとみな
されるので、顔の露出角ψを大きくする必要がある。さ
らに、人物によって髪の厚みがモデルと合わないことが
あるため、適宜髪の厚みβを変える必要がある。これら
の理由から、モデルに一義的なパラメータを与えるだけ
では、求められる顔の回転角θは人物によって不正確に
なってしまう。Regarding the face exposure angle ψ, in the case of “cutting”, the cut portion is regarded as a skin region, so that it is necessary to increase the face exposure angle ψ. Furthermore, since the hair thickness may not match the model depending on the person, it is necessary to appropriately change the hair thickness β. For these reasons, simply giving a unique parameter to the model may result in an incorrect face rotation angle θ depending on the person.

【００２２】そこで、髪形に応じて、最適な測定高さ，
顔の露出角ψおよび髪の厚みβを決定し、これらをパラ
メータセットにして、たとえば複数の測定高さの顔領域
幅Ｗ，右頭髪領域幅Ｒおよび左頭髪領域幅Ｌから最適な
パラメータセットを選択する。これらのパラメータセッ
トならびに顔領域幅Ｗ，右頭髪領域幅Ｒおよび左頭髪領
域幅Ｌは、ＲＡＭ２０に記憶される。また、各パラメー
タセットについて、比率Ｌ／Ｗおよび比率Ｒ／Ｌと顔の
回転角θとのそれぞれの対応関係を含むモデルもＲＡＭ
２０に記憶される。Therefore, the optimum measurement height,
The face exposure angle ψ and the hair thickness β are determined, and these are set as a parameter set. For example, an optimal parameter set is determined from the face area width W, the right head hair area width R and the left head hair area width L of a plurality of measurement heights. select. The parameter set, the face area width W, the right head hair area width R, and the left head hair area width L are stored in the RAM 20. Also, for each parameter set, a model including the correspondence between the ratio L / W and the ratio R / L and the face rotation angle θ is also stored in the RAM.
20 is stored.

【００２３】具体的にはパラメータセットは、たとえば
以下のように６種類準備される。「短髪（耳が出てい
る）かつ刈上げなし」，「短髪（耳が出ている）刈上
げあり」，「耳が隠れている長髪」の各場合につい
て、たとえばθ＝６０°を境にして各２セットずつ準備
する。たとえば、〜のそれぞれについて、正面およ
び真横における顔領域幅Ｗ，顔領域幅Ｗと右頭髪領域幅
Ｒとの差（Ｗ−Ｒ）および左頭髪領域幅Ｌの合計６パタ
ーンのデータをＲＡＭ２０に記憶する。Specifically, six types of parameter sets are prepared, for example, as follows. In each case of "short hair (ears are out) and no trimming", "short hair (ears are out) and trimming", and "long hair with hidden ears", for example, at θ = 60 ° Prepare two sets for each. For example, data of a total of six patterns of the face area width W in front and right beside, the difference (WR) between the face area width W and the right hair area width R, and the left hair area width L are stored in the RAM 20. I do.

【００２４】すなわち、まず、図８に示すように人物の
頭頂から首の根元付近までを２０等分して、各頭部水平
断面における顔領域幅Ｗ，左頭髪領域幅Ｌおよび右頭髪
領域幅Ｒを測定し、図９ないし図１４に示すようなグラ
フを生成する。図９ないし図１４における横軸は、それ
ぞれ頭部水平断面の位置すなわち測定高さを２０の領域
によって示しており、「１」は頭頂の領域を示し、「２
０」は首の根元付近の領域を示し、１から２０に向かう
に従って、頭頂から首の根元付近に向かっていく（図８
参照）。また、図９ないし図１４における縦軸は、顔領
域幅や頭髪領域幅の大きさの程度を示す。さらに、図９
ないし図１４に示すグラフにおいて、実線は顔領域幅Ｗ
を示し、２点鎖線は顔領域幅と右頭髪領域幅との差（Ｗ
−Ｒ）を示し、破線は左頭髪領域幅Ｌを示す。このよう
に、Ｗ，（Ｗ−Ｒ），Ｌを２０の位置についてプロット
していき、各プロット点の位置データとしてＲＡＭ２０
に記憶させる。すなわち、Ｗは顔の輪郭線，（Ｗ−Ｒ）
およびＬは顔と髪との境界線を形成する。That is, first, as shown in FIG. 8, the area from the top of the person to the vicinity of the base of the neck is divided into 20 equal parts, and the face area width W, the left hair area width L, and the right hair area width in each head horizontal section R is measured to generate graphs as shown in FIGS. The horizontal axis in each of FIGS. 9 to 14 indicates the position of the horizontal section of the head, that is, the measurement height, in the region of 20. “1” indicates the region of the top of the head, and “2”
“0” indicates an area near the base of the neck, and goes from the top to the vicinity of the base of the neck as going from 1 to 20 (FIG. 8).
reference). The vertical axis in FIGS. 9 to 14 indicates the size of the face region width or the hair region width. Further, FIG.
14, the solid line indicates the face area width W.
And the two-dot chain line indicates the difference between the face area width and the right hair area width (W
-R), and the dashed line indicates the left hair region width L. In this manner, W, (WR), and L are plotted for 20 positions, and the RAM 20 is used as position data of each plot point.
To memorize. That is, W is the contour of the face, (WR)
And L form the boundary between face and hair.

【００２５】また、図９に、「短髪かつ刈上げなし」の
男性について、顔の回転角が０°（正面を向いている）
パターンを示し、図１０に、「短髪かつ刈上げなし」の
男性について、顔の回転角が９０°（真横を向いてい
る）パターンを示す。図１１に、「短髪かつ刈上げあ
り」の男性について、顔の回転角が０°のパターンを示
し、図１２に、「短髪かつ刈上げあり」の男性につい
て、顔の回転角が９０°のパターンを示す。図１３に、
「長髪」の女性について、顔の回転角が０°のパターン
を示し、図１４に、「長髪」の女性について、顔の回転
角が９０°のパターンを示す。図９，図１１および図１
３は、顔の回転角が主に低角度領域の場合に用いられ、
図１０，図１２および図１４は、顔の回転角が主に高角
度領域の場合に用いられる。FIG. 9 shows a face rotation angle of 0 ° (front view) for a man with "short hair and no reaping".
FIG. 10 shows a pattern in which the rotation angle of the face is 90 ° (directly sideways) for a man with “short hair and no cutting”. FIG. 11 shows a pattern in which the face rotation angle is 0 ° for a “short-haired and trimmed” man, and FIG. 12 shows a face rotation angle of 90 ° for a “short-haired and trimmed” man. Indicates a pattern. In FIG.
FIG. 14 shows a pattern in which the face rotation angle is 90 ° for the “long hair” woman, and FIG. 14 shows a pattern in which the face rotation angle is 90 ° for the “long hair” woman. 9, 11 and 1
3 is used when the face rotation angle is mainly in a low angle area,
FIGS. 10, 12, and 14 are used when the face rotation angle is mainly in a high angle region.

【００２６】これらの６種類のパターンについてパラメ
ータセットの測定高さ，顔の露出角ψおよび髪の厚みβ
を最適に決定しておく。そして、数１によって求めた比
率Ｌ／Ｗおよび比率Ｌ／Ｒと顔の回転角θとの対応関係
をモデルとして、各パラメータセット毎にＲＡＭ２０に
記憶しておく。このような顔方向判別装置１０は、図１
５に示すように動作する。For these six patterns, the measurement height of the parameter set, the face exposure angle ψ, and the hair thickness β
Is determined optimally. Then, the relationship between the ratio L / W and the ratio L / R obtained by Equation 1 and the face rotation angle θ is stored as a model in the RAM 20 for each parameter set. FIG.
It operates as shown in FIG.

【００２７】まず、図１５に示すステップＳ１におい
て、顔方向を判別したい人物の各頭部水平断面における
顔領域幅Ｗ、左頭髪領域幅Ｌおよび右頭髪領域幅Ｒを顔
の回転角に拘わらず、赤外画像から測定する。そして、
その測定データから、図９ないし図１４に示すものと同
様なグラフを生成する。そして、ステップＳ３におい
て、作成されたグラフのパターンと図９ないし図１４に
示す６種類のグラフのパターンとを比較し、作成された
グラフのパターンがいずれのパターンに最も近似してい
るかを判断する。そして、ステップＳ５において、最も
近似しているパターンを決定し選択する。すなわち、顔
方向を判別したい人物に最適なパターンが、図９ないし
図１４のいずれかから選択される。First, in step S1 shown in FIG. 15, the face area width W, left head hair area width L and right head hair area width R in each head horizontal cross section of the person whose face direction is to be determined are determined regardless of the rotation angle of the face. , Measured from an infrared image. And
From the measurement data, graphs similar to those shown in FIGS. 9 to 14 are generated. Then, in step S3, the created graph pattern is compared with the six types of graph patterns shown in FIGS. 9 to 14 to determine which pattern is closest to the created graph pattern. . Then, in step S5, the closest pattern is determined and selected. That is, a pattern most suitable for a person whose face direction is to be determined is selected from any of FIGS. 9 to 14.

【００２８】そして、ステップＳ７において、選択した
パターンに対応してパラメータが選択される。このパラ
メータには、最適な測定高さ，顔の露出角ψおよび髪の
厚みβが用いられ、各パターンに対して一義的に決定さ
れている。なお、比率Ｌ／Ｗと比率Ｌ／Ｒとの重み比率
をパラメータの１つとして用いてもよい。この重み比率
を用いることによって、人物の顔方向をより正確に判別
できる。Then, in step S7, parameters are selected corresponding to the selected pattern. For this parameter, the optimum measurement height, face exposure angle ψ, and hair thickness β are used, and are uniquely determined for each pattern. Note that a weight ratio between the ratio L / W and the ratio L / R may be used as one of the parameters. By using this weight ratio, the face direction of a person can be determined more accurately.

【００２９】そして、ステップＳ９において比率Ｌ／Ｗ
および比率Ｌ／Ｒを算出する。次いで、ステップＳ１１
において、ＲＡＭ２０に記憶されたモデルの比率Ｌ／Ｗ
および比率Ｌ／Ｒと顔の回転角θとのそれぞれの対応関
係を参照して、ステップＳ９で算出された結果から適当
な顔の回転角θを検出する。このように、複数のパラメ
ータセットを準備して、最適なパラメータセットを選択
する顔方向判別装置１０を用いれば、以下のように不特
定人に対しても精度よく汎用的に広範囲の顔方向判別が
できる。Then, in step S9, the ratio L / W
And the ratio L / R is calculated. Next, step S11
, The model ratio L / W stored in the RAM 20
With reference to the corresponding relationship between the ratio L / R and the face rotation angle θ, an appropriate face rotation angle θ is detected from the result calculated in step S9. As described above, if a plurality of parameter sets are prepared and the face direction discriminating apparatus 10 that selects an optimal parameter set is used, a wide range of face direction discrimination can be performed with high accuracy even for unspecified persons as follows. Can be.

【００３０】すなわち、複数のパラメータセットを用い
ず、特定人用のモデル（図６と同じモデル）を用いて、
任意の人物の顔方向判別を行ったところ、図１６のよう
な結果となり、モデルから求めた顔の回転角θと実測に
よって求めた顔の回転角θとに大きなばらつきが見られ
た。一方、６種類のパラメータを準備して、最適なパラ
メータセットを選択した場合には、図１７に示すように
改善された。図１７は、図９ないし図１４に示すパター
ンのうち図１４を選択し、図１４のパラメータセット用
のモデルを用いて、求めた顔の回転角θと実測によって
求めた顔の回転角θとを表したグラフである。図１７か
らわかるように、両者はほぼ近似しており、図１６に比
べて大幅に判別精度が改善されていることがわかる。な
お、図１７に示すパラメータは、顔の露出角ψ＝１２０
°，頭頂からの測定高さ「１２」，髪の厚みβ＝１０％
とされる。That is, instead of using a plurality of parameter sets, using a model for a specific person (the same model as in FIG. 6),
When the face direction of an arbitrary person was determined, the result was as shown in FIG. 16, and a large variation was observed between the face rotation angle θ obtained from the model and the face rotation angle θ obtained by actual measurement. On the other hand, when six types of parameters were prepared and the optimal parameter set was selected, the improvement was achieved as shown in FIG. FIG. 17 shows a case in which FIG. 14 is selected from the patterns shown in FIGS. 9 to 14 and the face rotation angle θ obtained by actual measurement and the face rotation angle θ obtained by using the parameter set model of FIG. It is a graph showing. As can be seen from FIG. 17, the two are almost similar, and it can be seen that the discrimination accuracy is greatly improved as compared with FIG. The parameter shown in FIG. 17 is the face exposure angle ψ = 120
°, measurement height from the crown "12", hair thickness β = 10%
It is said.

【００３１】なお、パラメータセットは顔の輪郭等に応
じて準備されてもよい。また、比率Ｌ／Ｗの代わりに顔
領域幅Ｗと右頭髪領域幅Ｒとの比率Ｒ／Ｗを用い、比率
Ｒ／Ｌの代わりに比率Ｌ／Ｒを用いてもよい。さらに、
ＲＡＭ２０に記憶するようにしたパラメータセット，各
パラメータセットの幅Ｗ，Ｒ，Ｌおよび各パラメータセ
ットのモデルを予め決定しておき、ＲＯＭ１８に記憶す
るようにしてもよい。The parameter set may be prepared according to the contour of the face. Further, the ratio R / W between the face region width W and the right head hair region width R may be used instead of the ratio L / W, and the ratio L / R may be used instead of the ratio R / L. further,
The parameter sets stored in the RAM 20, the widths W, R, and L of each parameter set, and the model of each parameter set may be determined in advance and stored in the ROM 18.

【図面の簡単な説明】[Brief description of the drawings]

【図１】この発明の一実施例を示すブロック図である。FIG. 1 is a block diagram showing one embodiment of the present invention.

【図２】頭部モデルの概略を示す図解図である。FIG. 2 is an illustrative view schematically showing a head model;

【図３】頭部の温度ヒストグラムを示すグラフである。FIG. 3 is a graph showing a temperature histogram of a head.

【図４】顔の各回転角の頭髪温度領域を示す図解図であ
る。FIG. 4 is an illustrative view showing a hair temperature region at each rotation angle of the face;

【図５】頭髪領域幅の計測状態を示す図解図である。FIG. 5 is an illustrative view showing a measurement state of a hair region width;

【図６】モデルによる比率と顔の回転角との対応関係お
よび実測による比率と顔の回転角との対応関係を比較し
た結果を示すグラフである。FIG. 6 is a graph showing a comparison result between a model-based ratio and a face rotation angle and a comparison between an actually measured ratio and a face rotation angle.

【図７】図６に示す比較結果に基づいて、モデルによる
顔の回転角と実測による顔の回転角との角度誤差を示す
グラフである。7 is a graph showing an angle error between a face rotation angle by a model and a face rotation angle by an actual measurement based on the comparison result shown in FIG. 6;

【図８】測定高さを示す図解図である。FIG. 8 is an illustrative view showing a measurement height;

【図９】短髪かつ刈上げなしの男性が正面を向いている
場合の各領域幅を示すグラフである。FIG. 9 is a graph showing the width of each region when a short-haired, uncut man is facing the front.

【図１０】短髪かつ刈上げなしの男性が真横を向いてい
る場合の各領域幅を示すグラフである。FIG. 10 is a graph showing the width of each region when a short-haired, uncut man is facing right beside.

【図１１】短髪かつ刈上げありの男性が正面を向いてい
る場合の各領域幅を示すグラフである。FIG. 11 is a graph showing the width of each area when a man with short hair and a haircut is facing the front.

【図１２】短髪かつ刈上げありの男性が真横を向いてい
る場合の各領域幅を示すグラフである。FIG. 12 is a graph showing the width of each area when a man with short hair and a haircut is facing right beside.

【図１３】長髪の女性が正面を向いている場合の各領域
幅を示すグラフである。FIG. 13 is a graph showing each region width when a long-haired woman faces the front.

【図１４】長髪の女性が真横を向いている場合の各領域
幅を示すグラフである。FIG. 14 is a graph showing the width of each region when a long-haired woman is facing sideways.

【図１５】この発明の一実施例の動作を示すフロー図で
ある。FIG. 15 is a flowchart showing the operation of one embodiment of the present invention.

【図１６】特定人用のモデルを用いて顔方向判別した結
果を示すグラフである。FIG. 16 is a graph showing a result of face direction discrimination using a model for a specific person.

【図１７】最適なパラメータセットのモデルを用いて顔
方向判別した結果を示すグラフである。FIG. 17 is a graph showing a result of face direction discrimination using a model of an optimal parameter set.

【符号の説明】 １０ …顔方向判別装置 １２ …サーモビュア １６ …ＣＰＵ １８ …ＲＯＭ ２０ …画像記憶装置 ２２ …ＲＡＭ Ｗ …顔領域幅 Ｌ …左頭髪領域幅 Ｒ …右頭髪領域幅 θ …顔の回転角 ψ …顔の露出角 β …髪の厚み[Description of Signs] 10: Face direction determination device 12: Thermoviewer 16: CPU 18: ROM 20: Image storage device 22: RAM W: Face region width L: Left head hair region width R: Right head hair region width θ: Face rotation Angle ψ… face exposure angle β… hair thickness

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】髪型に応じて決定される測定高さ、顔の露
出角および髪の厚みを含む複数のパラメータセット、前
記パラメータセット毎の顔領域幅および左頭髪領域幅あ
るいは右頭髪領域幅の第１データならびに前記パラメー
タセット毎の顔領域幅に対する左頭髪領域幅あるいは右
頭髪領域幅の比率と顔の回転角との対応関係を含む第１
モデルを記憶する記憶手段、 人物の赤外画像から左頭髪領域幅あるいは右頭髪領域幅
および顔領域幅を測定して左頭髪領域幅あるいは右頭髪
領域幅と顔領域幅との比である第１比率を求める測定手
段、 前記測定手段によって測定された顔領域幅および左頭髪
領域幅あるいは右頭髪領域幅を前記記憶手段の前記第１
データと比較することによって最適なパラメータセット
を選択する選択手段、および 前記最適なパラメータセットの前記第１モデルを参照し
て前記第１比率から顔の回転角を検出する検出手段を備
える、顔方向判別装置。1. A plurality of parameter sets including a measurement height determined according to a hairstyle, an exposure angle of a face and a hair thickness, and a width of a face area and a width of a left head hair area or a width of a right head hair area for each of the parameter sets. A first data and a first relation including a ratio of a ratio of the width of the left hair region or the width of the right hair region to the width of the face region for each parameter set and a rotation angle of the face;
A storage unit for storing a model, a first hair area width or a right hair area width and a face area width, which are measured by measuring a left hair area width or a right hair area width and a face area width from an infrared image of a person; Measuring means for obtaining a ratio, the face area width and the left hair area width or the right hair area width measured by the measuring means are stored in the first area of the storage means.
Face direction, comprising: selecting means for selecting an optimal parameter set by comparing with data; and detecting means for detecting a face rotation angle from the first ratio with reference to the first model of the optimal parameter set. Discriminator. 【請求項２】前記頭髪領域幅は左頭髪領域幅および右頭
髪領域幅を含み、 前記記憶手段には前記パラメータセット毎の左頭髪領域
幅および右頭髪領域幅の比率と顔の回転角との対応関係
を含む第２モデルが記憶され、 前記測定手段によって左頭髪領域幅および右頭髪領域幅
の比である第２比率が求められ、 前記検出手段はさらに前記第２モデルと前記第２比率と
の比較結果を考慮して顔の回転角を検出する、請求項１
記載の顔方向判別装置。2. The head area width includes a left head area width and a right head area width. The storage means stores the ratio of the left head area width and the right head area width for each of the parameter sets to the face rotation angle. A second model including a correspondence relationship is stored, and a second ratio that is a ratio between a left hair region width and a right hair region width is obtained by the measurement unit. The detection unit further includes the second model and the second ratio. 2. A face rotation angle is detected in consideration of a result of the comparison.
The face direction discriminating apparatus as described in the above.