JP6652263B2 - Mouth region detection device and mouth region detection method - Google Patents

Mouth region detection device and mouth region detection method Download PDF

Info

Publication number
JP6652263B2
JP6652263B2 JP2017510200A JP2017510200A JP6652263B2 JP 6652263 B2 JP6652263 B2 JP 6652263B2 JP 2017510200 A JP2017510200 A JP 2017510200A JP 2017510200 A JP2017510200 A JP 2017510200A JP 6652263 B2 JP6652263 B2 JP 6652263B2
Authority
JP
Japan
Prior art keywords
mouth
pupil
image
region
calculation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017510200A
Other languages
Japanese (ja)
Other versions
JPWO2016159255A1 (en
Inventor
嘉伸 海老澤
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Publication of JPWO2016159255A1 publication Critical patent/JPWO2016159255A1/en
Application granted granted Critical
Publication of JP6652263B2 publication Critical patent/JP6652263B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、人の顔画像から口の領域を検出する口領域検出装置及び口領域検出方法に関する。   The present invention relates to a mouth area detection device and a mouth area detection method for detecting a mouth area from a human face image.

近年、自閉症診断装置等において注視点検出技術が利用されてきている。一般に、健常乳幼児が人間と対面したときは相手の眼を見る傾向があるのに対して、自閉症乳幼児は口などの動く部分を見る傾向にある。また、健常乳幼児は、口を見ることがあってもすぐに視線が目に戻る傾向にあるが、自閉症乳幼児は、口を見続ける傾向にある。   In recent years, gaze point detection technology has been used in autism diagnosis devices and the like. Generally, a healthy infant tends to look at the other eye when facing a human, whereas an autistic infant tends to look at a moving part such as a mouth. In addition, healthy infants tend to return their eyes immediately after seeing the mouth, whereas autistic infants tend to keep looking at the mouth.

上記の性質を利用した診断装置としては、下記特許文献１記載の装置がある。この装置では、カメラで取得した付添者等の顔の動画像をリアルタイムでモニタ画面に映しながら、その動画像を乳幼児に見せたときに乳幼児が顔の動画像中のどこを見ているかを計測する手法が採用されている。この手法では、顔の動画像中のどこに口が位置しているかを検出することが不可欠である。下記非特許文献１に記載の装置では、顔を写したカラー画像中で検出した２つの瞳孔の座標とそれらを結ぶ直線の傾きを用いて、瞳孔座標から所定の距離に位置する口領域を算出している。   As a diagnostic device utilizing the above properties, there is a device described in Patent Document 1 below. With this device, while displaying the moving image of the face of the attendant etc. acquired by the camera on the monitor screen in real time, when the moving image is shown to the infant, it measures where the infant is looking in the moving image of the face Is adopted. In this method, it is essential to detect where the mouth is located in the moving image of the face. The device described in Non-Patent Document 1 below calculates the mouth region located at a predetermined distance from the pupil coordinates using the coordinates of two pupils detected in a color image of a face and the inclination of a straight line connecting the coordinates. are doing.

一方、下記非特許文献２には、カメラで取得した入力画像から顔領域を検出し、この顔領域から口の位置を検出することにより***動作を認識する技術が記載されている。詳細には、***動作を認識するために、画像中の唇領域の重心を求め、その重心を用いて検出された顔の大きさに対応して認識範囲を決定する。   On the other hand, Non-Patent Document 2 below discloses a technique for detecting a face region from an input image acquired by a camera and detecting a mouth position from the face region to recognize a lip movement. Specifically, in order to recognize the lip movement, the center of gravity of the lip region in the image is obtained, and the recognition range is determined in accordance with the size of the face detected using the center of gravity.

特開２０１１−２０６５４２号公報JP 2011-206542 A

T.Maeda, K.Fukumoto, Y.Ebisawa，「顔動画像上の注視点に基づく乳幼児自閉症診断補助装置の提案」， ライフエンジニアリング部門シンポジウム2013， 2C1-2， pp.299-304，2013年9月12日-14日T.Maeda, K.Fukumoto, Y.Ebisawa, "A Proposal of an Aid for Autism Diagnosis Based on Gaze Points in Facial Video", Life Engineering Symposium 2013, 2C1-2, pp.299-304, 2013 September 12-14 高橋真人 他，「口領域の形状特徴と低解像度画像を特徴量とした***動作認識」，日本機械学会ロボティクス・メカトロニクス講演会２０１０講演論文集，１Ａ２−Ｇ０２，２０１０年６月Masato Takahashi et al., "Recognition of Lip Motion Using Shape Features of Mouth Region and Low-Resolution Image as Feature", Proc. Of JSME Conference on Robotics and Mechatronics 2010, 1A2-G02, June 2010

しかしながら、上述した従来の装置では、顔画像中における顔のサイズはカメラから顔までの距離が変化すれば変化するし、そもそも顔の形状及び大きさは個人差があり、２つの瞳孔に対する口の位置も個人差がある。そのため、正確に顔画像中の口の領域を決定することには限界がある。また、画像中から唇領域の重心を求め、その重心を基に口の位置を検出する方法では、唇は発声中には動作が激しいために口の位置を安定して切り出して正確に検出することは限界がある。   However, in the above-described conventional apparatus, the size of the face in the face image changes when the distance from the camera to the face changes, and the shape and size of the face varies from person to person, and the mouth of the pupil relative to the two pupils is different. There are also individual differences in location. Therefore, there is a limit in accurately determining the mouth area in the face image. Also, in the method of calculating the center of gravity of the lip region from the image and detecting the position of the mouth based on the center of gravity, the lip moves rapidly during vocalization, so that the position of the mouth is stably cut out and accurately detected. That has its limits.

本発明は、上記課題に鑑みて為されたものであり、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することが可能な口領域検出装置及び口領域検出方法を提供することを目的とする。   The present invention has been made in view of the above problems, and has a mouth area detection method capable of accurately detecting an image of a mouth area in a face image acquired under different shooting conditions for various subjects. It is an object of the present invention to provide a device and a method for detecting a mouth area.

上記課題を解決するため、本発明の一形態にかかる口領域検出装置は、対象者の顔を撮像することで顔画像を取得する画像取得部と、顔画像を基に対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、右の瞳孔の位置及び左の瞳孔の位置を基に、対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、口領域に相当する範囲の顔画像を用いて、対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、を備える。   In order to solve the above problem, an mouth region detection device according to an aspect of the present invention includes an image acquisition unit that acquires a face image by imaging a face of a subject, and a right pupil of the subject based on the face image. A pupil position calculation unit that calculates the position of the subject and the position of the left pupil, and calculates the position and size of a mouth region that is a region including the subject's mouth based on the position of the right pupil and the position of the left pupil. And a mouth image generation unit that generates a normalized mouth image having a predetermined number of pixels including the mouth of the subject using a face image in a range corresponding to the mouth region.

或いは、本発明の他の形態にかかる口領域検出方法は、画像取得部が、対象者の顔を撮像することで顔画像を取得するステップと、瞳孔位置算出部が、顔画像を基に対象者の右の瞳孔の位置と左の瞳孔の位置とを算出するステップと、領域算出部が、右の瞳孔の位置及び左の瞳孔の位置を基に、対象者の口を含む領域である口領域の位置及びサイズを算出するステップと、口画像生成部が、口領域に相当する範囲の顔画像を用いて、対象者の口を含む既定の画素数の正規化口画像を生成するステップと、を備える。   Alternatively, in the mouth region detection method according to another aspect of the present invention, the image acquisition unit acquires a face image by imaging the face of the subject, and the pupil position calculation unit performs the target Calculating the position of the right pupil and the position of the left pupil of the subject; and the region calculating unit determines the position of the mouth including the mouth of the target person based on the position of the right pupil and the position of the left pupil. Calculating the position and size of the region, and the mouth image generating unit generating a normalized mouth image having a predetermined number of pixels including the mouth of the subject using the face image in a range corresponding to the mouth region. , Is provided.

上記形態の口領域検出装置或いは口領域検出方法によれば、対象者の顔を撮像することで顔画像が取得され、その顔画像から右の瞳孔の位置と左の瞳孔の位置とが算出され、それらの位置を基に対象者の口領域の位置及びサイズが算出され、算出された口領域に相当する顔画像から正規化口画像が生成される。これにより、顔画像を撮像する画像取得部と対象者の顔との距離が変化したり、対象者が様々入れ替わった場合であっても、正確に口領域の画像を得ることができる。なおかつ、正規化された画像を生成することで、その画像に対する処理も安定して実行させることができる。   According to the mouth region detection device or the mouth region detection method of the above-described embodiment, a face image is obtained by imaging the face of the subject, and the position of the right pupil and the position of the left pupil are calculated from the face image. The position and size of the mouth area of the subject are calculated based on the positions, and a normalized mouth image is generated from the face image corresponding to the calculated mouth area. This makes it possible to accurately obtain an image of the mouth area even when the distance between the image acquisition unit that captures the face image and the target person's face changes, or when the target person is variously replaced. In addition, by generating a normalized image, it is possible to stably execute processing on the image.

本発明の一形態によれば、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出することができる。   According to an embodiment of the present invention, it is possible to accurately detect an image of a mouth region in a face image obtained under different shooting conditions for various subjects.

本発明の第１実施形態に係る自閉症乳幼児診断装置の全体構成を示す概略構成図である。It is a schematic structure figure showing the whole structure of the autism infants diagnostic device concerning a 1st embodiment of the present invention. 図１のカラーカメラ及び瞳孔位置検出光学系の配置を示す平面図である。FIG. 2 is a plan view showing an arrangement of a color camera and a pupil position detecting optical system in FIG. 1. 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。FIG. 2 is a diagram illustrating an image of a mouth area window on a face image calculated by a pupil position calculation unit 11 in FIG. 1. 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。FIG. 2 is a diagram illustrating an image of a mouth area window on a face image calculated by a pupil position calculation unit 11 in FIG. 1. 図１の瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。FIG. 2 is a diagram illustrating an image of a mouth area window on a face image calculated by a pupil position calculation unit 11 in FIG. 1. 本発明の第２実施形態に係る瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。It is a figure showing the image of the mouth area window on the face image calculated by pupil position calculation part 11 concerning a 2nd embodiment of the present invention. 本発明の第３実施形態に係る瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。It is a figure showing the image of the mouth area window on the face image calculated by pupil position calculation part 11 concerning a 3rd embodiment of the present invention. 本発明の第４実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見たイメージを示す図である。It is a figure showing the image which looked at the mouth field window calculated in three-dimensional space by pupil position calculation part 11 concerning a 4th embodiment of the present invention from the horizontal direction of the face. 本発明の第４実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の正面方向から見たイメージを示す図である。It is a figure showing the image which looked at the mouth area window calculated in three-dimensional space by pupil position calculation part 11 concerning a 4th embodiment of the present invention from the front direction of the face. 本発明の第４実施形態に係るデータ解析部７によって口領域ウィンドウを基に生成される正規化口画像のイメージを示す図である。FIG. 14 is a diagram illustrating an image of a normalized mouth image generated based on a mouth region window by a data analysis unit 7 according to a fourth embodiment of the present invention. 本発明の第５実施形態に係る瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウのイメージを示す図である。It is a figure showing the image of the mouth area window calculated in three-dimensional space by pupil position calculation part 11 concerning a 5th embodiment of the present invention. 本発明の第６実施形態に係るデータ解析部７による処理対象の正規化口画像のイメージを示す図である。It is a figure showing an image of a normalized mouth image of a processing object by data analysis part 7 concerning a 6th embodiment of the present invention.

以下、図面を参照しつつ本発明に係る口領域検出装置及び口領域検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。   Hereinafter, preferred embodiments of a mouth region detection device and a mouth region detection method according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same or corresponding parts will be denoted by the same reference characters, without redundant description.

［第１実施形態］
口領域検出装置の第１実施形態にかかる自閉症診断支援用装置は、母親等の付添者（対象者）の顔を撮影して顔画像をディスプレイ（被験者が相対して見る対象）に表示しながら乳幼児（被験者）の注視点検出を行うことにより乳幼児の自閉症を診断する装置である。[First Embodiment]
The device for assisting diagnosis of autism according to the first embodiment of the mouth region detection device captures a face of an attendant (subject) such as a mother and displays a face image on a display (a subject to be viewed by the subject). This is a device for diagnosing autism in infants by detecting the gazing point of the infant (subject) while doing so.

図１には、本実施形態にかかる自閉症乳幼児診断装置１の概略構成を示している。同図に示すように、自閉症乳幼児診断装置１は、乳幼児Ａの注視点を実時間で計測できる注視点検出部２と、母親Ｍの顔の画像を撮影するカラーカメラ（画像取得部）３と、母親Ｍの瞳孔の空間座標を実時間計測するための瞳孔位置検出部４と、母親Ｍの顔を映す表示用ディスプレイ５と、光源発光回路６と、データ解析部７とを備える。注視点検出部２の構成としては、本願発明者による特許公報US 7,533,989に記載の三次元視点計測装置の構成を採用できる。具体的には、注視点検出部２は、注視点検出光学系２ａと注視点検出演算部２ｂとによって構成される。また、瞳孔位置検出部４としては、本願発明者による国際公開公報WO 2007/023798に記載の瞳孔検出装置及び瞳孔検出方法を採用できる。   FIG. 1 shows a schematic configuration of an autism infant diagnostic apparatus 1 according to the present embodiment. As shown in FIG. 1, the autism infant diagnostic apparatus 1 includes a fixation point detection unit 2 that can measure the fixation point of the infant A in real time, and a color camera (image acquisition unit) that captures an image of the face of the mother M. 3, a pupil position detector 4 for measuring the spatial coordinates of the pupil of mother M in real time, a display 5 for displaying the face of mother M, a light source light emitting circuit 6, and a data analyzer 7. As the configuration of the gazing point detection unit 2, the configuration of the three-dimensional viewpoint measuring apparatus described in Patent Publication US 7,533,989 by the present inventor can be adopted. More specifically, the gazing point detection unit 2 includes a gazing point detection optical system 2a and a gazing point detection calculation unit 2b. The pupil position detection unit 4 can employ the pupil detection device and the pupil detection method described in International Publication WO 2007/023798 by the present inventor.

このような構成によって、表示用ディスプレイ５上の母親の目の位置からの乳幼児の注視点のずれが即座に容易に定量化できる。また、表示の対象として、必ずしも検診に同伴している母親ではなく予め撮影した人の顔画像を用いる場合においても、顔画像の撮影時に顔画像上における目の位置が正確に検出できる。   With such a configuration, the shift of the gazing point of the infant from the position of the mother's eyes on the display 5 can be immediately and easily quantified. Further, even when a face image of a previously photographed person is used as a display target, not necessarily a mother accompanying a medical examination, the position of an eye on the face image can be accurately detected at the time of capturing the face image.

図２には、カラーカメラ３及び瞳孔位置検出部４の光学系の配置を示している。カラーカメラ３は、母親Ｍの顔を撮像することで顔画像をカラー画像として取得する。このカラーカメラ３と、瞳孔位置検出部４を構成する瞳孔座標計測用の瞳孔位置検出用光学系８とは、同図に示すように母親Ｍと相対するように配置されている。この瞳孔位置検出用光学系８は、赤外線光に感度を持つカメラ（瞳孔検出用カメラ）９と近赤外光源１０とを組み合わせた構成を２組有する。また、瞳孔位置検出部４として瞳孔位置算出部１１（図１参照）も含まれており、瞳孔位置算出部１１は、ステレオ較正された瞳孔位置検出用光学系８からの出力画像（顔画像）を基に、母親Ｍの右の瞳孔及び左の瞳孔のそれぞれの３次元座標（位置）を算出する。また、母親Ｍの顔を撮影するためのカラーカメラ３は、２組の瞳孔位置検出用光学系８によって挟まれた位置に配置される。   FIG. 2 shows an arrangement of an optical system of the color camera 3 and the pupil position detection unit 4. The color camera 3 acquires a face image as a color image by imaging the face of the mother M. The color camera 3 and a pupil position detecting optical system 8 for measuring pupil coordinates constituting the pupil position detecting section 4 are arranged so as to face the mother M as shown in FIG. The pupil position detecting optical system 8 has two sets of a combination of a camera (pupil detecting camera) 9 having sensitivity to infrared light and a near-infrared light source 10. The pupil position calculation unit 11 (see FIG. 1) is also included as the pupil position detection unit 4, and the pupil position calculation unit 11 outputs an output image (face image) from the stereo-calibrated pupil position detection optical system 8. , The three-dimensional coordinates (position) of each of the right pupil and the left pupil of the mother M are calculated. The color camera 3 for photographing the face of the mother M is arranged at a position sandwiched between two sets of pupil position detecting optical systems 8.

なお、カラーカメラ３、及び２つの瞳孔検出用カメラ９は、それらの位置関係が、それぞれが得た画像上に母親Ｍの顔のほぼ同じ範囲が映るように、最初に設定される。これらの瞳孔検出用カメラ９とカラーカメラ３とは、本実施形態における顔画像を取得する画像取得部として機能する。   Note that the color camera 3 and the two pupil detection cameras 9 are initially set so that their positional relationship is such that substantially the same range of the face of the mother M appears on the obtained images. The pupil detection camera 9 and the color camera 3 function as an image acquisition unit that acquires a face image in the present embodiment.

瞳孔検出用カメラ９及びカラーカメラ３は、それぞれ予めカメラ較正が行われている。カメラ較正では、カメラの位置を表す３自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズF値）、ひずみなどが同時に計測される。カメラ較正においては、世界座標系における座標（XW,YW,ZW）と各カメラのカメラ座標系における座標（XC,YC,ZC）との間には（式１）の関係があると仮定され、

Figure 0006652263

（式２）で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。
Figure 0006652263
 The pupil detection camera 9 and the color camera 3 are each calibrated in advance. In the camera calibration, three degrees of freedom indicating the position of the camera, three degrees of freedom indicating the direction of the camera, the number of pixels of the camera, an aperture ratio value (lens F value), distortion, and the like are simultaneously measured. In the camera calibration, the relationship (Equation 1) between the coordinates (X W , Y W , Z W ) in the world coordinate system and the coordinates (X C , Y C , Z C ) in the camera coordinate system of each camera is given. Is assumed to be
Figure 0006652263
The elements of the rotation matrix R and the translation vector T represented by (Equation 2) are determined for each camera.
Figure 0006652263

瞳孔位置算出部１１は、カメラ較正の結果を利用して、２台の瞳孔検出用カメラ９を含む瞳孔位置検出用光学系８で瞳孔の世界座標系における３次元座標（位置）を算出した後に、３次元座標をカラーカメラ３に関する（式１）に相当する式に代入することで、カラーカメラ３のカメラ座標系における瞳孔の座標（位置）を算出する。瞳孔位置算出部１１は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことで母親Ｍのカラー画像中の瞳孔位置を定める。もしくは、カラーカメラ３のカメラ座標系を上述の世界座標系に置き換えて、そのカメラ座標系における他の瞳孔検出用カメラ９のカメラ較正値を求めるカメラ較正法を用いてもよい。その場合、２台の瞳孔検出用カメラ９によって求まる瞳孔の３次元座標は、カラーカメラ３のカメラ座標系における座標として求まる。それをカラーカメラ３のカラー画像中の座標に変換することで母親Ｍの瞳孔位置が定められる。このとき、瞳孔位置算出部１１は、上述した処理を繰り返すことによりカラー画像中における右の瞳孔及び左の瞳孔の座標（位置）を算出する。   The pupil position calculation unit 11 calculates three-dimensional coordinates (positions) of the pupil in the world coordinate system using the pupil position detection optical system 8 including the two pupil detection cameras 9 using the camera calibration result. The coordinates (position) of the pupil in the camera coordinate system of the color camera 3 are calculated by substituting the three-dimensional coordinates into an equation corresponding to (Equation 1) for the color camera 3. The pupil position calculation unit 11 further determines the pupil position in the color image of the mother M by further converting the coordinates into coordinates in the image (from the real unit system to the pixel unit system of the image). Alternatively, the camera coordinate system of the color camera 3 may be replaced with the above-described world coordinate system, and a camera calibration method for obtaining a camera calibration value of another pupil detection camera 9 in the camera coordinate system may be used. In that case, the three-dimensional coordinates of the pupil obtained by the two pupil detection cameras 9 are obtained as coordinates in the camera coordinate system of the color camera 3. The pupil position of the mother M is determined by converting it into coordinates in the color image of the color camera 3. At this time, the pupil position calculation unit 11 calculates the coordinates (position) of the right pupil and the left pupil in the color image by repeating the above-described processing.

また、データ解析部７は、注視点検出部２から乳幼児の注視点座標の入力を受け、その注視点座標をカラーカメラ３によって撮影されたカラー画像中の座標に変換する。さらに、データ解析部７は、瞳孔位置検出部４から母親の右の瞳孔及び左の瞳孔の座標を得て、注視点座標と右の瞳孔の位置と左の瞳孔の位置とカラー画像とを利用して各種演算を行って、演算結果を外部のデータ表示ディスプレイ１２に表示させる。ここでの演算は、例えば、注視点座標と瞳孔の位置とから両者の距離を演算したり、注視点座標と口領域との関係をカラー画像を用いて演算したり、母親Ｍのカラー画像上に注視点軌跡を表示させたり、２次元瞳孔座標系上に注視点の２次元分布を表示させることが考えられる。そのため、データ解析部７は、カラー画像中から規定の縦横の画素数の母親の口を含む正規化口画像を生成し、その正規化口画像を利用して口の動きのタイミング又は口の中心位置を解析する。   In addition, the data analysis unit 7 receives the coordinates of the gazing point of the infant from the gazing point detection unit 2 and converts the gazing point coordinates into coordinates in a color image captured by the color camera 3. Further, the data analysis unit 7 obtains the coordinates of the right pupil and the left pupil of the mother from the pupil position detection unit 4, and uses the gaze point coordinates, the position of the right pupil, the position of the left pupil, and the color image. Then, various calculations are performed, and the calculation results are displayed on the external data display 12. Here, for example, the distance between the gazing point coordinates and the position of the pupil is calculated from the gazing point coordinates, the relationship between the gazing point coordinates and the mouth area is calculated using a color image, or the calculation is performed on the color image of the mother M. It is conceivable to display the trajectory of the gazing point on the display or to display the two-dimensional distribution of the gazing point on the two-dimensional pupil coordinate system. Therefore, the data analysis unit 7 generates a normalized mouth image including the mother's mouth having a prescribed number of vertical and horizontal pixels from the color image, and uses the normalized mouth image to determine the timing of mouth movement or the center of the mouth. Analyze the location.

上記の瞳孔位置算出部１１、注視点検出演算部２ｂ、及びデータ解析部７は、画像データを演算処理する演算回路及びメモリを内蔵するパーソナルコンピュータ等の画像処理装置であり、１つの画像処理装置内で実現されてもよいし、複数の画像処理装置上に分散されて実現されてもよい。   The pupil position calculation unit 11, the gazing point detection calculation unit 2b, and the data analysis unit 7 are image processing devices such as a personal computer including a calculation circuit for processing image data and a memory. Or may be realized by being distributed on a plurality of image processing apparatuses.

次に、瞳孔位置算出部１１及びデータ解析部７における正規化口画像の生成に係る機能について詳細に説明する。   Next, functions of the pupil position calculation unit 11 and the data analysis unit 7 relating to generation of a normalized mouth image will be described in detail.

瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９のそれぞれで撮影された母親Ｍの顔画像を対象に、顔画像上の母親Ｍの口を含む領域である口領域の位置及びサイズを算出する領域算出部としても機能する。詳細には、瞳孔位置算出部１１は、顔画像上で母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、それらの位置を基に口領域の境界を示す口領域ウィンドウの位置及びサイズを算出する。   The pupil position calculation unit 11 determines the position and size of the mouth region, which is the region including the mouth of the mother M on the face image, for the face image of the mother M captured by each of the two pupil detection cameras 9. It also functions as a region calculation unit for calculation. In detail, the pupil position calculation unit 11 calculates the position of the right pupil and the position of the left pupil of the mother M on the face image, and calculates the position of the mouth region window indicating the boundary of the mouth region based on those positions. Calculate position and size.

図３は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、瞳孔位置算出部１１は、顔画像Ｇ１上で検出した右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２の間の距離ＷＰを算出する。また、瞳孔位置算出部１１は、顔画像Ｇ１上の右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２の間の中点の位置ＰＭを算出し、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２を結ぶ直線に垂直な位置ＰＭを通る直線上において、位置ＰＭから下記（式３）で計算される距離ＤＰＭほど離れた点の位置ＭＣを算出し、その位置ＭＣを口元の中心の位置とする（ａ１は予め設定された定数）。
ＤＰＭ＝ａ１×ＷＰ …（式３）FIG. 3 is a diagram showing an image of a mouth area window on the face image calculated by pupil position calculation section 11. As shown in the figure, the pupil position calculation unit 11 calculates the distance W P between positions P 2 position P 1 and the left pupil of the right pupil was detected on the face image G 1. Furthermore, the pupil position calculation unit 11 calculates the position P M of the midpoint between the position P 2 position P 1 and the left pupil of the right pupil of the face image G 1, the position P 1 and the left pupil of the right pupil on a straight line to the straight line connecting the position P 2 passing through the vertical position P M, calculates the position M C of point spaced about a distance D PM is calculated from the position P M by the following equation (3), the position M C to the position of the center of the mouth (a 1 is preset constant).
D PM = a 1 × W P (Equation 3)

さらに、瞳孔位置算出部１１は、算出した口元の中心位置ＭＣを基準とした位置において、縦横のサイズが距離ＷＰを基に下記（式４）及び下記（式５）で計算されたサイズを有する長方形の口領域ウィンドウＷＤ１を設定する。すなわち、瞳孔位置算出部１１は、口領域ウィンドウＷＤ１の水平方向のサイズＨＭを下記（式４）；
ＨＭ＝ａ２×ＷＰ …（式４）
により算出し（ａ２は予め設定された定数）、口領域ウィンドウＷＤ１の垂直方向のサイズＶＭを下記（式５）；
ＶＭ＝ａ３×ＷＰ …（式５）
により算出する（ａ３は予め設定された定数）。Furthermore, the pupil position calculation unit 11 in relative to the center position M C of the calculated mouth position, calculated size of the vertical and horizontal based on the distance W P by the following equation (4) and the following (Equation 5) Size setting the rectangular mouth area window WD 1 having. That is, the pupil position calculation unit 11, the size H M horizontal mouth area window WD 1 below (Equation 4);
H M = a 2 × W P (Equation 4)
Calculated by (a 2 are preset constant), the following size V M in the vertical direction of the mouth area window WD 1 (Equation 5);
V M = a 3 × W P ... ( Equation 5)
Is calculated by (a 3 is preset constant).

従って、瞳孔位置算出部１１は、図４（ａ）に示すように、母親Ｍと瞳孔検出用カメラ９との距離が離れた際には、その距離に対応して中点の位置ＰＭからの距離ＤＰＭ及び縦横のサイズが調整された口領域ウィンドウＷＤ１を設定する。これにより、母親Ｍと瞳孔検出用カメラ９との距離が変わっても口を正確に含む口領域ウィンドウＷＤ１を設定することが可能である。また、瞳孔位置算出部１１は、図４（ｂ）に示すように、母親Ｍの顔の向きが傾いて右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２を結ぶ直線が角度θだけ水平線ＬＨから傾いた場合には、口領域ウィンドウＷＤ１も角度θだけ水平線ＬＨから傾くように設定する。これにより、母親Ｍの顔の向きが瞳孔検出用カメラ９の光軸に垂直な面に沿って傾いても、口を正確に含む口領域ウィンドウＷＤ１を設定することが可能である。なお、瞳孔位置算出部１１は、必ずしも口領域ウィンドウＷＤ１の中心が口元の中心位置に一致するように設定する必要は無い。口領域ウィンドウＷＤ１の中心が口元の中心位置に一致するように設定された場合、口の動きが小さいときは比較的口領域ウィンドウＷＤ１のサイズが小さくても口がその口領域ウィンドウＷＤ１内に収まる（図５（ａ））。これに対して、同様の場合に、口の動きが大きいときは下唇が大きく上下するので、口領域ウィンドウＷＤ１のサイズを大きくしないと口がその口領域ウィンドウＷＤ１内に収まらない（図５（ｂ））。そこで、瞳孔位置算出部１１は、口領域ウィンドウＷＤ１の中心が口元の中心位置から下にずれるように設定することが好ましい。Therefore, the pupil position calculation unit 11, as shown in FIG. 4 (a), when the distance between the mother M and the pupil detection camera 9 away from the position P M of the midpoint corresponding to the distance distance D size of the PM and aspect of setting the by mouth area window WD 1 adjustment. Thus, it is possible to set the mouth area window WD 1 including mouth accurately be varied distance between the mother M and the pupil detection camera 9. Furthermore, the pupil position calculation unit 11, as shown in FIG. 4 (b), the straight line is the angle connecting the position P 2 position P 1 and the left pupil of the right pupil inclined orientation of the face of the mother M theta only horizontal lines L If inclined from H is the mouth area window WD 1 also by an angle θ set to be inclined from the horizontal line L H. Thus, even inclined orientation of the face of the mother M is along a plane perpendicular to the optical axis of the pupil detection camera 9, it is possible to set the mouth area window WD 1 including mouth accurately. Incidentally, pupil position calculation section 11, need not be set always to the center of the mouth area window WD 1 coincides with the center position of the mouth. When the center of the mouth area window WD 1 is set to match the center position of the mouth, a relatively mouth area window mouth the size of WD 1 is small its mouth region when the movement of the mouth is smaller window WD 1 (FIG. 5A). When contrast, similar, since when the movement of the mouth is large the lower lip up and down greatly, mouth unless increase the size of the mouth area window WD 1 does not fit in the mouth area window WD 1 (FIG. 5 (b)). Therefore, the pupil position calculation unit 11, it is preferable that the center of the mouth area window WD 1 is set so as to shift down from the center of the mouth.

そして、瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９から得られた顔画像それぞれについて、口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲を算出する。さらに、瞳孔位置算出部１１は、上述した瞳孔の座標の算出と同様にして、カメラ較正の結果を利用して、２つの顔画像それぞれから得られた口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲を、カラーカメラ３のカラー画像中の座標に変換する。そして、瞳孔位置算出部１１は、変換した口元の中心位置ＭＣの座標と、変換した口領域ウィンドウＷＤ１の位置範囲とをデータ解析部７に引き渡す。The pupil position calculation unit 11, for each obtained face image obtained from two pupil detection camera 9, and calculates the center position M C and the position range of the mouth area window WD 1 of the mouth. Furthermore, the pupil position calculation unit 11, as in the calculation of the coordinates of the pupil as described above, using the result of camera calibration, the center position of the lips resulting from each of the two face images M C and mouth area window WD The position range 1 is converted into coordinates in the color image of the color camera 3. The pupil position calculation unit 11 passes the coordinates of the center position M C of the converted mouth, and a position range of the converted mouth area window WD 1 to the data analysis unit 7.

データ解析部７は、瞳孔位置算出部１１から引き渡されたカラー画像上の口領域ウィンドウＷＤ１の位置範囲を参照することにより、口領域ウィンドウＷＤ１に相当する範囲のカラー画像を抽出する。そして、データ解析部７は、抽出したカラー画像を画像変換して母親Ｍの口を含む正規化口画像を生成する。すなわち、データ解析部７は、本実施形態における口画像生成部として機能する。そして、データ解析部７は、時系列で連続的に取得された顔画像を対象に時系列で連続的に生成された複数の正規化口画像を画像解析することにより、母親Ｍの口の動きのタイミングを計算する。さらに、データ解析部７は、そのタイミング、及びカラー画像中の口元の中心位置ＭＣを利用することにより、自閉症の診断結果を生成する。Data analysis unit 7 refers to the position range of the mouth area window WD 1 on the color image transferred from the pupil position calculation unit 11 extracts the color image range corresponding to the mouth area window WD 1. Then, the data analysis unit 7 performs image conversion on the extracted color image to generate a normalized mouth image including the mouth of the mother M. That is, the data analysis unit 7 functions as a mouth image generation unit in the present embodiment. The data analysis unit 7 performs image analysis on a plurality of normalized mouth images that are continuously generated in time series with respect to face images that are continuously obtained in time series, so that the mouth movement of the mother M is performed. Calculate the timing of Furthermore, the data analyzing unit 7, by utilizing the timing, and the center position M C of mouth in the color image to generate a diagnostic result autism.

具体的には、データ解析部７は、口領域ウィンドウＷＤ１の範囲内のカラー画像を対象に、平行移動処理、拡大処理、縮小処理、及び回転処理を含むアフィン変換を施すことにより、縦横が既定の画素数の正規化口画像を生成する。その際、データ解析部７は、既定の画素数の画像を得るために、必要に応じて、バイリニア補間等の画像補間処理も併せて実行する。さらに、データ解析部７は、時系列で得られた複数フレームの正規化口画像を対象にして、前後のフレーム間で画像差分および絶対値演算を実行することで絶対値差分画像を生成し、その差分画像を２値化を行うことによりフレーム間で唇が動いた部分を抽出することができる。また、データ解析部７は、時系列で得られた差分画像の絶対値を求め、所定回数分（例えば１２０回分）の加算平均等を行った後に２値化を行い、その結果得られた２値化画像の重心を求めれば正確な口元の中心を検出することができる。なお、上述の口領域の重心を求める場合は、瞳孔検出カメラから得られた画像において重心を求め、それをカラー画像中に変換しても用いてもよいし、カラー画像において直接、重心を求めてもよい。さらに、最初は、前者の方法で求め、その後、後者の方法を利用するなどしてもよい。Specifically, the data analysis unit 7, the target color image within the mouth area window WD 1, translation processing, enlargement processing, reduction processing, and by performing affine transformations including rotation processing, the aspect A normalized mouth image having a predetermined number of pixels is generated. At that time, the data analysis unit 7 also executes an image interpolation process such as bilinear interpolation as necessary to obtain an image having a predetermined number of pixels. Further, the data analysis unit 7 generates an absolute difference image by executing an image difference and an absolute value calculation between the previous and next frames for the normalized mouth images of a plurality of frames obtained in time series, By binarizing the difference image, a portion where the lips move between frames can be extracted. Further, the data analysis unit 7 obtains the absolute value of the difference image obtained in time series, performs averaging for a predetermined number of times (for example, 120 times), performs binarization, and performs the binarization. If the barycenter of the binarized image is obtained, the center of the mouth can be accurately detected. When the center of gravity of the above-described mouth region is obtained, the center of gravity may be obtained in an image obtained from the pupil detection camera, and may be used after being converted into a color image, or the center of gravity may be obtained directly in a color image. You may. Further, at first, the former method may be used, and then the latter method may be used.

ここで、瞳孔位置算出部１１は、時系列で瞳孔検出用カメラ９によって取得された複数フレームの顔画像を利用して、顔画像上の口領域ウィンドウＷＤ１の位置を補正してもよい。すなわち、瞳孔位置算出部１１は、複数フレームの顔画像Ｇ１上で設定した口領域ウィンドウＷＤ１の範囲内の顔画像Ｇ１を対象に、データ解析部７の処理と同様にして正規化口画像を生成する。さらに、瞳孔位置算出部１１は、データ解析部７の上記処理と同様にして、顔画像Ｇ１上の口元の中心位置を算出し、その位置を口元の中心位置ＭＣの座標とする。そして、瞳孔位置算出部１１は、中点の位置ＰＭと口元の中心位置ＭＣとの距離ＤＰＭを算出し、距離ＤＰＭを用いて上記（式３）を逆算することにより、定数ａ１を補正する。その後、瞳孔位置算出部１１は、後続するフレームの顔画像Ｇ１の処理においては、上記の補正後のａ１を利用して口領域ウィンドウＷＤ１の位置を算出することにより、その位置を補正する。このような複数フレームの顔画像Ｇ１を対象とした処理においては、瞳孔位置算出部１１は、最初に設定する口領域ウィンドウＷＤ１のサイズを大きめに設定してもよい。Here, the pupil position calculation unit 11, time series by using a face image of a plurality of frames acquired by the pupil detection camera 9 may correct the position of the mouth area window WD 1 of the face image. That is, the pupil position calculation unit 11, a target face image G 1 in the range of the mouth area window WD 1 set on the face image G 1 of a plurality of frames, normalizing the mouth in the same manner as the processing of the data analyzing section 7 Generate an image. Furthermore, the pupil position calculation unit 11, similarly to the above processing of the data analyzing section 7, calculates the center position of the mouth on the face image G 1, to its position as the center position M C coordinates of the mouth. The pupil position calculation unit 11, by calculating the distance D PM of the center position M C position P M and mouth midpoint is calculated back to the equation (3) using the distance D PM, the constant a Correct 1 Thereafter, the pupil position calculation unit 11, in the process of the face image G 1 subsequent frames, by calculating the position of the mouth area window WD 1 utilizing a 1 after the above correction, correct the position I do. In the processing of such targeting the face image G 1 of a plurality of frames, the pupil position calculator 11 may set slightly larger size of the mouth area window WD 1 to be set first.

また、データ解析部７は、瞳孔位置算出部１１が顔画像Ｇ１上で口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲を算出する代わりに、カラー画像上の座標に変換された左右の瞳孔の位置を用いて、カラー画像上で口元の中心位置ＭＣ及び口領域ウィンドウＷＤ１の位置範囲の両方を算出してもよい。また、データ解析部７は、カラー画像上の座標に変換された左右の瞳孔の位置及び口元の中心位置ＭＣを用いて、カラー画像上で口領域ウィンドウＷＤ１の位置範囲のみを算出してもよい。Also, the data analysis unit 7, instead of the pupil position calculation unit 11 calculates a position range of the center position M C and mouth area window WD 1 of mouth on the face image G 1, are converted into coordinates on a color image using the position of the left and right pupils may calculate both of the center position M C and the position range of the mouth area window WD 1 of mouth on the color image. Further, the data analyzer 7 uses the center position M C position and mouth of the pupils of the left and right that are converted into coordinates on the color image, to calculate only the position range of the mouth area window WD 1 on a color image Is also good.

次に、上述した自閉症乳幼児診断装置１における瞳孔位置算出部１１及びデータ解析部７を利用した口領域検出方法の手順について説明する。   Next, a procedure of a mouth region detection method using the pupil position calculation unit 11 and the data analysis unit 7 in the above-described autism infant and child diagnosis apparatus 1 will be described.

まず、自閉症乳幼児診断装置１による診断処理が開始されると、時間的に連続してカラーカメラ３及び瞳孔検出用カメラ９による母親Ｍの顔画像が取得される。それに合わせて、注視点検出部２による乳幼児Ａの注視点の計測と、瞳孔位置検出部４による母親Ｍの右瞳孔と左瞳孔の３次元空間内での座標の計測が開始される。その後、瞳孔位置検出部４を構成する瞳孔位置算出部１１により、カラーカメラ３によって取得されるカラー画像上での口元の中心位置ＭＣ、及びカラー画像上で口領域ウィンドウＷＤ１の位置範囲が算出される。さら、データ解析部７によって、口領域ウィンドウＷＤ１の位置範囲に相当する範囲のカラー画像を用いて正規化口画像が生成される。このような正規化口画像の生成は、カラーカメラ３及び瞳孔検出用カメラ９による顔画像の連続的な取得に応じて、連続して繰り返される。First, when the diagnosis processing by the autism infant and child diagnosis apparatus 1 is started, a face image of the mother M is continuously obtained in time by the color camera 3 and the pupil detection camera 9. At the same time, measurement of the gazing point of the infant A by the gazing point detection unit 2 and measurement of the coordinates of the right pupil and the left pupil of the mother M in the three-dimensional space by the pupil position detection unit 4 are started. After that, the pupil position calculation unit 11 constituting the pupil position detection unit 4 determines the center position M C of the mouth on the color image acquired by the color camera 3 and the position range of the mouth area window WD 1 on the color image. Is calculated. Further, the data analyzing section 7, normalized Kakuchi image is generated using a range color image corresponding to the position range of the mouth area window WD 1. Generation of such a normalized mouth image is continuously repeated according to continuous acquisition of a face image by the color camera 3 and the pupil detection camera 9.

以上説明した自閉症乳幼児診断装置１による口領域検出方法によれば、母親Ｍの顔を撮像することで顔画像が取得され、その顔画像から右の瞳孔の位置と左の瞳孔の位置とが算出され、それらの位置を基に顔画像における母親Ｍの口領域の位置及びサイズが算出され、算出された口領域に相当する顔画像から正規化口画像が生成される。これにより、顔画像を撮像する画像取得部と母親Ｍの顔との距離が変化したり、母親Ｍが様々入れ替わった場合であっても、正確に母親Ｍの口を含む口領域の画像を得ることができる。なおかつ、正規化された画像を生成することで、その画像に対する自閉症診断のための解析処理も安定して実行させることができる。特に、カラー画像から正規化口画像を生成することで、口の動きの検出等の解析処理の検出精度を向上させることができる。正規化口画像を解析することで母親Ｍの口が動いたタイミングが分かるので、乳幼児Ａの口の動きに対する反応の傾向（口の動きに対する視線方向の傾向）が分析でき、自閉症診断の精度も向上させることができる。一般に、母親Ｍが乳幼児Ａに話しかけたりあやすときには、母親Ｍの口が発声により動くだけでなく、母親の顔が前後及び上下に動いたりするが、そのような状況下でも、自閉症乳幼児診断装置１によれば母親の口領域の画像を実時間で正確に捉えることができる。   According to the mouth region detection method by the autism infant / child diagnostic apparatus 1 described above, a face image is obtained by imaging the face of the mother M, and the right pupil position and the left pupil position are obtained from the face image. Are calculated, the position and size of the mouth area of the mother M in the face image are calculated based on those positions, and a normalized mouth image is generated from the face image corresponding to the calculated mouth area. Thereby, even when the distance between the image acquisition unit that captures the face image and the face of the mother M changes, or when the mother M is variously replaced, an image of the mouth region including the mouth of the mother M is accurately obtained. be able to. In addition, by generating a normalized image, analysis processing for autism diagnosis on the image can be stably executed. In particular, by generating a normalized mouth image from a color image, the detection accuracy of analysis processing such as detection of mouth movement can be improved. By analyzing the normalized mouth image, the timing of the movement of the mouth of the mother M can be known, so that the tendency of the infant A to react to the movement of the mouth (the tendency of the line of sight to the movement of the mouth) can be analyzed. Accuracy can also be improved. Generally, when the mother M talks to the infant A or easies, not only the mouth of the mother M moves by vocalization, but also the face of the mother M moves back and forth and up and down. According to the device 1, an image of the mouth area of the mother can be accurately captured in real time.

ここで、瞳孔位置算出部１１は、複数の顔画像に対応して生成された複数の正規化口画像を用いて特定された口の位置を用いて口領域の位置を補正する。これにより、母親Ｍが様々入れ替わった場合であっても、より正確に口領域の画像を得ることができる。   Here, the pupil position calculation unit 11 corrects the position of the mouth region using the position of the mouth specified using the plurality of normalized mouth images generated corresponding to the plurality of face images. Thereby, even when the mother M is variously replaced, an image of the mouth region can be obtained more accurately.

また、瞳孔位置算出部１１は、瞳孔検出用カメラ９によって撮像された顔画像上の母親Ｍの右の瞳孔の位置と左の瞳孔の位置とを算出し、その顔画像上の口領域の位置及びサイズを算出し、データ解析部７は、口領域内のカラー画像を画像変換することにより正規化口画像を生成する。これにより、顔画像上で口領域の計算が行われるので、計算が簡素化され、安定して口領域の画像を得ることができる。   The pupil position calculation unit 11 calculates the position of the right pupil and the position of the left pupil of the mother M on the face image captured by the pupil detection camera 9, and calculates the position of the mouth area on the face image. Then, the data analysis unit 7 converts the color image in the mouth area into an image to generate a normalized mouth image. As a result, the calculation of the mouth region is performed on the face image, so that the calculation is simplified and an image of the mouth region can be obtained stably.

また、瞳孔位置算出部１１は、顔画像上の右の瞳孔と左の瞳孔との距離を算出し、当該距離から、右の瞳孔及び左の瞳孔を基準とした口領域の位置及び口領域のサイズを算出する。この場合には、画像取得部と母親Ｍの顔との距離が変化した場合に顔画像中の口領域をその距離に応じて正確に切り出すことができる。加えて、顔の大きさが異なる母親Ｍに入れ替わっても顔画像中の口領域をその顔の大きさに応じて正確に切り出すことができる。さらには、母親の画像取得部に対する顔の傾きが変わっても正確に口領域の画像を切り出すことができる。   In addition, the pupil position calculation unit 11 calculates the distance between the right pupil and the left pupil on the face image, and calculates the position of the mouth region and the position of the mouth region based on the right pupil and the left pupil from the distance. Calculate the size. In this case, when the distance between the image acquisition unit and the face of the mother M changes, the mouth region in the face image can be accurately cut out according to the distance. In addition, even if the mother M is replaced with a different face size, the mouth region in the face image can be accurately cut out according to the face size. Furthermore, even if the inclination of the face with respect to the image acquisition unit of the mother changes, an image of the mouth region can be accurately cut out.

［第２実施形態］
次に、本発明の第２実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。[Second embodiment]
Next, the configuration of the autism infant diagnostic apparatus according to the second embodiment of the present invention will be described. The configuration of the autism infant diagnosis apparatus according to the present embodiment is different from the configuration of the autism infant diagnosis apparatus 1 according to the first embodiment in the following points.

すなわち、第２実施形態にかかる瞳孔位置算出部１１は、以下のようにして、瞳孔検出用カメラ９によって取得された顔画像上で口領域ウィンドウの位置及びサイズを算出する。上述した第１実施形態では、口元の中心位置が不明な初期のタイミングでは、対象者によってパラメータａ１の値が異なるため、口を確実に含む正規化口画像を生成するためには口領域ウィンドウのサイズを大きめに設定する必要がある。また、口の下唇付近の動きが大きくなりがちなので、口を確実に含む正規化口画像を生成するための口領域ウィンドウの位置を、様々な顔形状の対象者に対応して設定するのは難しい。また、対象者の顔の方向が変わった場合にその顔の方向に対応して口ウィンドウの位置を設定することも難しい。特に、顔の左右の傾きだけでなく顔の縦方向及び横方向の回転に対して口ウィンドウの位置を設定することも難しい。正しい位置に口ウィンドウを設定できない場合、特に顔の背景や鼻孔を口ウィンドウ内に含むことが多くなり、誤検出につながりやすくなるか、複雑な画像処理をしなければならなくなる。そこで、本実施形態では、顔画像上で右の鼻孔の位置と左の鼻孔の位置をさらに算出して、それらの位置を利用して口領域ウィンドウの位置及びサイズを算出する。That is, the pupil position calculation unit 11 according to the second embodiment calculates the position and size of the mouth area window on the face image acquired by the pupil detection camera 9 as described below. In the first embodiment described above, the unknown initial timing center position of the mouth, the value of the parameter a 1 is different depending on the subject, in order to generate a regular Kakuchi image containing reliably mouth mouth area window Needs to be set larger. Also, since the movement near the lower lip of the mouth tends to be large, it is necessary to set the position of the mouth area window for generating a normalized mouth image including the mouth surely according to the subject having various face shapes. Is difficult. Further, when the direction of the target person's face changes, it is also difficult to set the position of the mouth window corresponding to the direction of the face. In particular, it is difficult to set the position of the mouth window not only for the right and left inclination of the face but also for the vertical and horizontal rotation of the face. If the mouth window cannot be set at the correct position, the background and the nostrils of the face are often included in the mouth window, which may easily lead to erroneous detection or require complicated image processing. Therefore, in the present embodiment, the position of the right nostril and the position of the left nostril are further calculated on the face image, and the position and size of the mouth region window are calculated using those positions.

図６は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、瞳孔位置算出部１１は、顔画像Ｇ１上で、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２に加えて、右の鼻孔の位置Ｎ１及び左の鼻孔の位置Ｎ２を算出する。また、瞳孔位置算出部１１は、顔画像Ｇ１上において、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２の間の中点の位置ＰＭに加えて、右の鼻孔の位置Ｎ１及び左の鼻孔の位置Ｎ２の間の中点の位置ＮＭを算出し、中点の位置ＰＭと中点の位置ＮＭとの間の距離ＤＰＮを算出する。そして、瞳孔位置算出部１１は、右瞳孔の位置Ｐ１及び左瞳孔の位置Ｐ２を結ぶ直線に垂直な位置ＰＭを通る直線上において、位置ＰＭから下記（式６）で計算される距離ＤＰＭほど離れた点の位置ＭＣを算出し、その位置ＭＣを口元の中心の位置とする（ａ１は予め設定された定数）。この際、瞳孔位置算出部１１は、顔画像から鼻孔位置を検出する手法としては、本願発明者らによる文献「“Face Pose Estimation Based on 3D Detection of Pupils and Nostrils”， Proceedings of the VECIMS 2005 - 2005 IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems,pp.92-97（2005）」に記載の手法を用いる。
ＤＰＭ＝ａ１×ＤＰＮ …（式６）FIG. 6 is a diagram showing an image of the mouth area window on the face image calculated by pupil position calculation section 11. As shown in the figure, the pupil position calculation unit 11, on the face image G 1, in addition to the position P 2 position P 1 and the left pupil of the right pupil, position N 1 and the left nostril of the right nostril calculating the position N 2. Furthermore, the pupil position calculation unit 11, on the face image G 1, in addition to the position P M of the midpoint between the position P 2 position P 1 and the left pupil of the right pupil, position N 1 and the right nostril It calculates the position N M of the midpoint between the position N 2 of the left nostril, and calculates the distance D PN between the position N M position P M and the midpoint of the midpoint. The pupil position calculation unit 11, on a straight line passing through the straight line in a vertical position P M connecting the position P 2 position P 1 and the left pupil of the right pupil is calculated from the position P M by the following equation (6) A position M C of a point separated by a distance D PM is calculated, and the position M C is set as the position of the center of the mouth (a 1 is a preset constant). At this time, the pupil position calculation unit 11 employs a method of detecting a nostril position from a face image as described in the document “Face Pose Estimation Based on 3D Detection of Pupils and Nostrils”, Proceedings of the VECIMS 2005-2005 by the present inventors. The method described in IEEE International Conference on Virtual Environments, Human-Computer Interfaces, and Measurement Systems, pp. 92-97 (2005) ”is used.
D PM = a 1 × D PN (Equation 6)

さらに、瞳孔位置算出部１１は、算出した口元の中心位置ＭＣを基準とした位置において、縦横のサイズが左右の瞳孔間の距離ＷＰ、及び中点間の距離ＤＰＮを基に下記（式７）及び下記（式８）で計算されたサイズを有する長方形の口領域ウィンドウＷＤ２を設定する。すなわち、瞳孔位置算出部１１は、口領域ウィンドウＷＤ２の水平方向のサイズＨＭを下記（式７）；
ＨＭ＝ａ２×ＷＰ …（式７）
により算出し（ａ２は予め設定された定数）、口領域ウィンドウＷＤ２の垂直方向のサイズＶＭＵ，ＶＭＢを下記（式８）；
ＶＭＵ＝ａ３×ＤＰＮ， ＶＭＢ＝ａ４×ＤＰＮ …（式８）
により算出する（ａ３，ａ４は予め設定された定数）。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ２の基準位置である口元の中心位置ＭＣから上限までのサイズＶＭＵと、口元の中心位置ＭＣから下限までのサイズＶＭＢとを別に算出する。このように、サイズＨＭを瞳孔間距離と比例関係にあるとすることで、母親Ｍの頭部の横方向の回転を許容でき、サイズＶＭＵ，ＶＭＢを中点間の距離ＤＰＮと比例関係にあるとすることで、母親Ｍの頭部の縦方向の回転を許容できるようになる。Furthermore, the pupil position calculation unit 11, the reference position of the center position M C of the calculated mouth, following distance W P between vertical and horizontal sizes of the left and right pupils, and the distance D PN between the midpoint based on ( setting the equation 7) and the following (a rectangular mouth area window WD 2 having a size calculated by equation 8). That is, the pupil position calculation unit 11, the size H M horizontal mouth area window WD 2 below (Equation 7);
H M = a 2 × W P (Formula 7)
Calculated by (a 2 is previously set constant), the vertical size V MU mouth area window WD 2, the V MB following (Equation 8);
V MU = a 3 × D PN , V MB = a 4 × D PN (Equation 8)
(A 3 and a 4 are constants set in advance). At this time, the pupil position calculation unit 11, the size V MU from the center position M C of the mouth which is the reference position of the mouth area window WD 2 to the upper limit, the size V MB from the center position M C of mouth to the lower limit Calculate separately. As described above, by making the size H M proportional to the interpupillary distance, the head M's head can be allowed to rotate in the lateral direction, and the sizes V MU and V MB are set to the distance D PN between the midpoints. The proportional relationship allows the mother M's head to rotate in the vertical direction.

本実施形態によれば、瞳孔位置算出部１１が顔画像Ｇ１上の母親Ｍの右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、右の瞳孔及び左の瞳孔と、右の鼻孔及び左の鼻孔との位置関係を算出し、当該位置関係から、口領域の位置及び口領域のサイズを算出する。この場合には、母親Ｍの画像取得部に対する姿勢が変わっても、４点の位置関係を用いて口領域を算出することで、顔画像中の口領域を正確に切り出すことができる。特に、母親Ｍの頭部の左右の傾きだけでなく縦方向及び横方向の回転に対しても対応して正規化口画像を生成することができる。According to this embodiment, the pupil position calculation unit 11 further calculates the position of the left nostril of the right nostril mother M on the face image G 1, the right pupil and the left and the pupil, the right The positional relationship between the nostril and the left nostril is calculated, and the position of the mouth region and the size of the mouth region are calculated from the positional relationship. In this case, even if the posture of the mother M with respect to the image acquisition unit changes, the mouth region in the face image can be accurately cut out by calculating the mouth region using the positional relationship of the four points. In particular, it is possible to generate a normalized mouth image corresponding to not only the left and right inclination of the mother M's head but also the rotation in the vertical and horizontal directions.

［第３実施形態］
次に、本発明の第３実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。[Third embodiment]
Next, the configuration of an autism infant / diagnosis apparatus according to a third embodiment of the present invention will be described. The configuration of the autism infant diagnosis apparatus according to the present embodiment is different from the configuration of the autism infant diagnosis apparatus 1 according to the first embodiment in the following points.

すなわち、第３実施形態にかかる瞳孔位置算出部１１は、以下のようにして、瞳孔検出用カメラ９によって取得された顔画像上で口領域ウィンドウの位置及びサイズを算出する。上述した第１実施形態及び第２実施形態では、母親Ｍの頭部が瞳孔検出用カメラ９に対して正面を向いているのが前提であった。本実施形態では、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）において、口領域ウィンドウを口の範囲に応じて適切に設定することができる。   That is, the pupil position calculation unit 11 according to the third embodiment calculates the position and size of the mouth area window on the face image acquired by the pupil detection camera 9 as described below. In the first embodiment and the second embodiment described above, it is assumed that the head of the mother M is facing the front with respect to the pupil detection camera 9. In the present embodiment, when the camera is installed so as to face obliquely with respect to the front of the head of the mother M (for example, when the camera is installed so as to look up from a direction inclined by 30 degrees with respect to the front direction). The mouth area window can be set appropriately according to the range of the mouth.

図７は、瞳孔位置算出部１１によって算出された顔画像上の口領域ウィンドウのイメージを示す図である。同図に示すように、正面方向に対して斜め方向から見上げるように瞳孔検出用カメラ９を設置した場合、顔画像上では母親Ｍが水平方向を向いていたとしても２個の瞳孔の位置Ｐ１，Ｐ２を結ぶ直線に傾きが現れる。同時に、顔画像上では瞳孔の位置Ｐ１，Ｐ２を結ぶ直線と、瞳孔間中点と鼻孔間中点ＮＭとを結ぶ直線とは必ずしも垂直にはならない。そこで、瞳孔位置算出部１１は、顔画像Ｇ１上において、右瞳孔の位置Ｐ１、左瞳孔の位置Ｐ２、及び鼻孔間の中点の位置ＮＭから、それらの重心を顔中心の位置ＦＣとして算出し、その顔中心の位置ＦＣから真下の位置であって、線分Ｐ１，Ｐ２上から下記（式９）で計算される距離Ｄ´ＰＭの位置を口元の中心の位置ＭＣと算出する（ａ１は予め設定された定数、Ｄ´ＰＮは、線分Ｐ１Ｐ２と線分Ｎ１Ｎ２との垂直方向の距離）。
Ｄ´ＰＭ＝ａ１×Ｄ´ＰＮ …（式９）FIG. 7 is a diagram showing an image of a mouth area window on the face image calculated by pupil position calculation section 11. As shown in the figure, when the pupil detection camera 9 is installed so as to look up from an oblique direction with respect to the front direction, even if the mother M faces the horizontal direction on the face image, the positions P of the two pupils are set. 1, the slope appears in straight line connecting the P 2. At the same time, not necessarily in vertical and straight line connecting the position P 1, P 2 of the pupil on the facial image, a straight line connecting the pupillary center point and nostrils midpoint between N M. Therefore, the pupil position calculation unit 11, on the face image G 1, the position P 1 of the right pupil, the position P 2 of the left pupil, and from the position N M of the midpoint between the nostrils, the position of the face about their center of gravity F C , and the position of the distance D ′ PM , which is a position directly below the face center position F C and calculated from the line segments P 1 and P 2 by the following (Equation 9), is taken as the center of the mouth. calculating the position M C (a 1 is preset constant, D'PN is vertical distance between the line segment P 1 P 2 and line segment N 1 N 2).
D ′ PM = a 1 × D ′ PN (Equation 9)

さらに、瞳孔位置算出部１１は、算出した口元の中心位置ＭＣを基準とした位置において、縦横のサイズが左右の瞳孔間の水平方向の距離Ｗ´Ｐ、及び垂直方向の距離Ｄ´ＰＮを基に下記（式１０）及び下記（式１１）で計算されたサイズを有する平行四辺形ＡＢＣＤの口領域ウィンドウＷＤ３を設定する。ここで、平行四辺形ＡＢＣＤは、辺ＡＤ，ＢＣが線分Ｐ１Ｐ２と平行になり、辺ＡＢ，ＣＤが垂直方向となるように設定される。具体的には、瞳孔位置算出部１１は、口領域ウィンドウＷＤ３の口元の中心位置ＭＣから辺ＡＢ及び辺ＣＤまでの水平方向のサイズＨ´Ｍ／２を下記（式１０）；
ＨＭ＝ａ２×Ｗ´Ｐ …（式１０）
により算出し（ａ２は予め設定された定数、Ｗ´Ｐは、左右の瞳孔間の水平方向の距離）、口領域ウィンドウＷＤ３の口元の中心位置ＭＣからの垂直方向のサイズＶ´ＭＵ，Ｖ´ＭＢを下記（式１１）；
Ｖ´ＭＵ＝ａ３×Ｄ´ＰＮ， Ｖ´ＭＢ＝ａ４×Ｄ´ＰＮ …（式１１）
により算出する（ａ３，ａ４は予め設定された定数）。このとき、瞳孔位置算出部１１は、口元の中心位置ＭＣから上限までの垂直方向のサイズＶ´ＭＵと、口元の中心位置ＭＣから下限までの垂直方向のサイズＶ´ＭＢとを別に算出する。Furthermore, the pupil position calculation unit 11, the reference position of the center position M C of the calculated mouth, horizontal distance W'P between vertical and horizontal sizes of the left and right pupils, and the vertical distance D'PN setting the mouth area window WD 3 of parallelogram ABCD having the calculated size below based on equation (10) and the following (equation 11). Here, the parallelogram ABCD is the side AD, BC is parallel with the line segment P 1 P 2, the sides AB, CD are set to be perpendicular direction. Specifically, the pupil position calculation unit 11, the horizontal size H 'M / 2 the following (Equation 10) from the central position M C of mouth of the mouth area window WD 3 to the side AB and side CD;
H M = a 2 × W ′ P (Equation 10)
Calculated (constant a 2 is set in advance, W'P is the horizontal distance between the left and right pupils), the vertical size V'MU from the center position M C of mouth of the mouth area window WD 3 , V ′ MB by the following (formula 11):
V ′ MU = a 3 × D ′ PN , V ′ MB = a 4 × D ′ PN (Equation 11)
(A 3 and a 4 are constants set in advance). At this time, the pupil position calculation unit 11 calculates the vertical size V'MU from the center position M C of mouth to the upper limit, and a vertical size V'MB from the center position M C of the mouth to the lower limit separately I do.

これに対して、データ解析部７は、カラー画像上の口領域ウィンドウＷＤ３の位置範囲を基に正規化口画像を生成する際には、口領域ウィンドウＷＤ３に相当する範囲のカラー画像を抽出して、抽出したカラー画像を対象に拡大・縮小処理、及びスキュー（せん断）処理を含むアフィン変換を施すことにより、長方形の正規化口画像を生成する。In contrast, the data analysis unit 7, when generating a regular Kakuchi image based on the position range of the mouth area window WD 3 on the color image, a color image of a range corresponding to the mouth area window WD 3 By extracting and subjecting the extracted color image to affine transformation including enlargement / reduction processing and skew (shear) processing, a rectangular normalized mouth image is generated.

このような第３実施形態によれば、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合であっても（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）、口領域ウィンドウを母親Ｍの口の範囲を含むように適切に設定することができる。   According to the third embodiment, even when the camera is installed so as to face obliquely with respect to the front of the head of the mother M (for example, from a direction inclined by 30 degrees with respect to the front direction). When the camera is installed to look up), the mouth area window can be appropriately set to include the range of the mouth of the mother M.

［第４実施形態］
次に、本発明の第４実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第１実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。[Fourth embodiment]
Next, the configuration of an autism infant diagnostic apparatus according to a fourth embodiment of the present invention will be described. The configuration of the autism infant diagnosis apparatus according to the present embodiment is different from the configuration of the autism infant diagnosis apparatus 1 according to the first embodiment in the following points.

すなわち、第４実施形態にかかる瞳孔位置算出部１１は、以下のようにして、２つの瞳孔検出用カメラ９によって取得された顔画像を用いて３次元空間内で口領域ウィンドウの位置及びサイズを算出する。上述した第３実施形態では、母親Ｍの頭部が瞳孔検出用カメラ９に対して斜めを向いている場合にも対応していたが、頭部のカメラに対する傾きに対応して口領域ウィンドウを設定していなかった。本実施形態では、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合（例えば、正面方向に対して３０度傾いた方向から見上げるようにカメラを設置した場合）において、頭部の傾きに対応して口領域ウィンドウを適切に設定することができる。   That is, the pupil position calculation unit 11 according to the fourth embodiment determines the position and size of the mouth region window in the three-dimensional space using the face images acquired by the two pupil detection cameras 9 as follows. calculate. In the above-described third embodiment, the case where the head of the mother M is oblique to the camera 9 for pupil detection is supported. Not set. In the present embodiment, when the camera is installed so as to face obliquely with respect to the front of the head of the mother M (for example, when the camera is installed so as to look up from a direction inclined by 30 degrees with respect to the front direction). In addition, the mouth area window can be appropriately set according to the inclination of the head.

図８は、瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見たイメージを示す図、図９は、瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔のほぼ正面方向から見たイメージを示す図である。瞳孔位置算出部１１は、２台の瞳孔検出用カメラ９によって得られた顔画像を利用して、右の瞳孔および左の瞳孔の世界座標系における３次元空間内での座標を算出するとともに、同様にして、右の鼻孔および左の鼻孔の世界座標系における３次元空間内での３次元座標を算出する。そして、これらの図に示すように、世界座標系の座標を３次元空間内での顔座標系（基準座標系）ＸＦ−ＹＦ−ＺＦの座標に変換することにより、顔座標系ＸＦ−ＹＦ−ＺＦにおける右の瞳孔の位置Ｐ１、左の瞳孔の位置Ｐ２、右の鼻孔の位置Ｎ１、および左の鼻孔の位置Ｎ２を算出する。この顔座標系ＸＦ−ＹＦ−ＺＦは、その原点を左右の鼻孔間の中点の位置ＮＭとし、ＸＦ軸を左右の鼻孔を結ぶ直線（軸）Ｎ１Ｎ２に一致するようにし、ＹＦ軸を中点の位置ＮＭを通り左右の瞳孔間を結ぶ線分Ｐ１Ｐ２に垂直とするように設定される。このような顔座標系ＸＦ−ＹＦ−ＺＦにおいては、口の領域が固定されているため、頭部が回転または移動しても口領域の座標は変化しない。FIG. 8 is a diagram showing an image of the mouth region window calculated in the three-dimensional space by the pupil position calculation unit 11 viewed from the lateral direction of the face. FIG. 9 is a diagram showing the image calculated by the pupil position calculation unit 11 in the three-dimensional space. FIG. 11 is a diagram showing an image of the displayed mouth area window viewed from substantially the front of the face. The pupil position calculation unit 11 uses the face images obtained by the two pupil detection cameras 9 to calculate the coordinates of the right pupil and the left pupil in a three-dimensional space in the world coordinate system, Similarly, the three-dimensional coordinates of the right nostril and the left nostril in the three-dimensional space in the world coordinate system are calculated. As shown in these figures, by converting the coordinates of the world coordinate system face coordinate system in the three-dimensional space (reference coordinate system) to the coordinate of X F -Y F -Z F, face coordinate system X The position P 1 of the right pupil, the position P 2 of the left pupil, the position N 1 of the right nostril, and the position N 2 of the left nostril in F− Y F− Z F are calculated. The face coordinate system X F -Y F -Z F, the origin and location N M of the midpoint between the left and right nostrils, matching straight line (axis) N 1 N 2 for the X F axis connecting the left and right nostrils and thus, it is set so as to perpendicular to the line segment P 1 P 2 connecting the Y F street lateral position N M of the middle point shaft pupil. In such a face coordinate system X F -Y F -Z F, since the mouth area is fixed, the coordinates of the mouth area even head rotated or moved does not change.

そこで、瞳孔位置算出部１１は、顔座標系ＸＦ−ＹＦ−ＺＦを基準にして口領域ウィンドウＷＤ４の位置を算出する。具体的には、ＸＦＹＦ平面に対して角度δだけ傾斜した原点を通る平面を想定し、その平面から顔の後方に距離Ｄｇａｐだけ離れた平面上の所定位置に口領域ウィンドウＷＤ４の位置を設定する。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ４の位置を、顔座標系ＸＦ−ＹＦ−ＺＦ上の原点から距離Ｖｇａｐだけ顔の下方向に離れ、口領域ウィンドウＷＤ４の縦横方向のサイズＨＭ，ＶＭＵ，ＶＭＢが上記（式７）及び上記（式８）で算出した値になるように設定する。また、瞳孔位置算出部１１は、瞳孔間を結ぶ線分Ｐ１Ｐ２と、鼻孔間を結ぶ線分Ｎ１Ｎ２と、口領域ウィンドウＷＤ４の辺ＡＤ及び辺ＢＣとは平行になるように設定する。ただし、眼球回転（視線移動）が発生すると瞳孔位置Ｐ１，Ｐ２は上下左右に移動する。さらに、瞳孔位置算出部１１は、口領域ウィンドウＷＤ４の顔座標系ＸＦ−ＹＦ−ＺＦでの座標を、世界座標系を経由してカラー画像上での座標に変換する。Therefore, the pupil position calculation unit 11 calculates the position of the mouth area window WD 4 relative to the face coordinate system X F -Y F -Z F. Specifically, X F Y F assuming a plane passing through the origin and inclined by an angle δ to the plane, the mouth area window WD 4 from the plane at a predetermined position on apart planes distance D gap behind the face Set the position of. At this time, the pupil position calculation unit 11, the position of the mouth area window WD 4, from the origin of the face coordinate system X F -Y F -Z F Distance Vgap apart down the face, the mouth area window WD 4 The vertical and horizontal sizes H M , V MU , and V MB are set to be the values calculated by the above (Equation 7) and the above (Equation 8). Further, pupil position calculation section 11 makes line segment P 1 P 2 connecting the pupils, line segment N 1 N 2 connecting the nostrils, and side AD and side BC of mouth region window WD 4 parallel. Set to. However, when an eyeball rotation (line-of-sight movement) occurs, the pupil positions P 1 and P 2 move up, down, left, and right. Furthermore, the pupil position calculation unit 11 converts the coordinates of the mouth area window face coordinate system of WD 4 X F -Y F -Z F , via the world coordinate system to the coordinates on the color image.

これに対して、データ解析部７は、３次元空間内の座標からカラー画像上の座標に変換された口領域ウィンドウＷＤ４の位置範囲を基に、その位置範囲に相当する箇所のカラー画像を用いて正規化口画像を生成する。すなわち、データ解析部７は、カラー座標上の座標に変換された口領域ウィンドウＷＤ４の４つの頂点Ａ，Ｂ，Ｃ，Ｄの座標を取得し、それらの頂点に囲まれた四角形領域内の画像を画像変換することにより正規化口画像を生成する。その際には、カラー座標上の座標に変換された口領域ウィンドウＷＤ４は形状が歪んでいるので、所定の縦横の画素サイズの長方形の正規化口画像を生成するために射影変換を実行する。射影変換の手法は、文献「“認識で欠かせない！実用画像補正テクニック”、Ｉｎｔｅｒｆａｃｅ ２０１４年１月号、ｐ１５３−１５７」に記載の手法が採用される。In contrast, the data analysis unit 7, based on the position range of the converted mouth area window WD 4 from the coordinates in the three-dimensional space coordinates on a color image, a color image of an area corresponding to the position range Is used to generate a normalized mouth image. That is, the data analyzing unit 7, four vertices A mouth area window WD 4 which has been converted into coordinates on a color coordinate, B, C, and obtains the coordinates and D, in the rectangular area surrounded by those vertices A normalized mouth image is generated by performing image conversion on the image. At that time, the mouth area window WD 4 which has been converted into coordinates on the color coordinates because it distorted shape to perform projective transformation to generate a rectangular regular Kakuchi image pixel size of predetermined aspect . The method of projective transformation is described in the document "" Indispensable in recognition! The technique described in "Practical Image Correction Technique", Interface 2014, January 2014, p153-157 "is adopted.

また、データ解析部７は、次のようにして正規化口画像を生成してもよい。図１０に示すように、データ解析部７は、３次元空間内での口領域ウィンドウＷＤ４の長方形の範囲を、辺ＡＤ間を（ｍ−１）等分、辺ＡＢ間を（ｎ−１）等分（ｍ、ｎは所定の整数）するように区切ることにより、２次元状のグリッドで分けられたｍ×ｎ個の３次元空間内での座標を算出する。さらに、データ解析部７は、グリッドで区切られた３次元空間内のｍ×ｎ個の座標を順次カラー画像上の座標に変換し、変換された座標に相当する位置のカラー画像の画素値を求め、それらの画素値を順次ｍ×ｎの２次元配列の画像データに割り当てることで正規化口画像Ｇ２を生成する。このとき、データ解析部７は、変換したカラー画像上の座標は必ずしもカラー画像の画素の位置に一致しないため、必要に応じて、バイリニア補間などの補間処理を行うことによりその座標に相当する位置の画素値を求める。Further, the data analysis unit 7 may generate a normalized mouth image as follows. As shown in FIG. 10, the data analysis unit 7, a rectangular range of the mouth area window WD 4 in the three-dimensional space, between the side AD (m-1) equal parts, between the side AB (n-1 ) By dividing into equal parts (m and n are predetermined integers), coordinates in m × n three-dimensional spaces divided by a two-dimensional grid are calculated. Further, the data analysis unit 7 sequentially converts the m × n coordinates in the three-dimensional space separated by the grid into coordinates on the color image, and calculates the pixel values of the color image at a position corresponding to the converted coordinates. calculated, to generate a normalized Kakuchi image G 2 by assigning the image data of the two-dimensional array of these pixel values sequentially m × n. At this time, since the coordinates on the converted color image do not always coincide with the positions of the pixels of the color image, the data analysis unit 7 performs an interpolation process such as bilinear interpolation as necessary to obtain a position corresponding to the coordinates. Is obtained.

なお、ここでは、左右の瞳孔と左右の鼻孔の３次元座標を検出して、瞳孔検出用カメラ９で取得された白黒画像の顔画像Ｇ１を利用して正規化口画像を生成してもよい。Here, by detecting the three-dimensional coordinates of the left and right pupils nostril, and generate regular Kakuchi image using a face image G 1 of the obtained black-and-white image in the pupil detection camera 9 Good.

このような第４実施形態によれば、母親Ｍの頭部の正面に対して斜め方向を向くようにカメラを設置した場合において、頭部の傾きに対応して口領域ウィンドウを適切に設定することができる。また、顔座標系ＸＦ−ＹＦ−ＺＦで口領域ウィンドウＷＤ４の位置範囲を設定する際に、ＹＦ軸を鼻孔間の中点位置ＮＭから瞳孔間を結ぶ線分Ｐ１Ｐ２上の点ＰＰに下した垂線と一致するように設定することにより、視線が動いても顔姿勢に対する顔座標系ＸＦ−ＹＦ−ＺＦが安定して設定される。これは、鼻孔間の中心は頭部に対して固定されているのに対し、２つの瞳孔はそれらを結ぶ線の平行性は保ちながら上下左右に移動すると考えられるためである。そのため、頭部がどのように回転あるいは移動しても、鼻孔中心を原点とした顔座標系ＸＦ−ＹＦ−ＺＦを用いて口領域が正確に設定される。According to such a fourth embodiment, when the camera is installed so as to face obliquely with respect to the front of the head of the mother M, the mouth area window is appropriately set according to the inclination of the head. be able to. The face coordinate system X F -Y F -Z in setting the position range of the mouth area window WD 4 in F, the line segment P 1 connecting the pupils of Y F axis from the midpoint position N M between nostrils P by setting to match the perpendicular line beat the points P P on the 2, face coordinate system X F -Y F -Z F for face pose even moving line of sight is stably set. This is because the center between the nostrils is fixed to the head, while the two pupils are considered to move up, down, left, and right while maintaining the parallelism of the line connecting them. Therefore, even when rotated or moved how head, mouth area with the nasal center as an origin face coordinate system X F -Y F -Z F is set correctly.

［第５実施形態］
次に、本発明の第５実施形態にかかる自閉症乳幼児診断装置の構成について説明する。本実施形態にかかる自閉症乳幼児診断装置の構成は、第４実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。[Fifth Embodiment]
Next, the configuration of an autism infant diagnostic apparatus according to a fifth embodiment of the present invention will be described. The configuration of the autistic infant diagnostic apparatus according to the present embodiment is different from the configuration of the autistic infant diagnostic apparatus 1 according to the fourth embodiment in the following points.

すなわち、第５実施形態にかかる瞳孔位置算出部１１は、２つの瞳孔検出用カメラ９によって取得された顔画像を用いて３次元空間内で曲面によって形成される口領域ウィンドウの位置及びサイズを算出する。図１１（ａ）は、本実施形態にかかる瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の横方向から見た図であり、図１１（ｂ）は、本実施形態にかかる瞳孔位置算出部１１によって３次元空間内で算出された口領域ウィンドウを顔の上方向から見た図である。これらの図に示すように、瞳孔位置算出部１１は、第４実施形態のように長方形の口領域ウィンドウを算出する代わりに、円柱の側面形状を有する口領域ウィンドウを算出する。   That is, the pupil position calculation unit 11 according to the fifth embodiment calculates the position and size of the mouth area window formed by the curved surface in the three-dimensional space using the face images acquired by the two pupil detection cameras 9. I do. FIG. 11A is a diagram of the mouth region window calculated in the three-dimensional space by the pupil position calculation unit 11 according to the present embodiment as viewed from the lateral direction of the face, and FIG. FIG. 7 is a diagram of the mouth region window calculated in the three-dimensional space by the pupil position calculation unit 11 according to the form, as viewed from above the face. As shown in these figures, the pupil position calculation unit 11 calculates a mouth region window having a cylindrical side surface shape instead of calculating a rectangular mouth region window as in the fourth embodiment.

詳細には、瞳孔位置算出部１１は、ＹＦ軸に対してＹＦＺＦ平面に沿って角度δだけ傾斜した線に沿った中心軸を有する所定半径Ｒ１の円柱曲面上に、口領域ウィンドウＷＤ５の位置を設定する。このとき、瞳孔位置算出部１１は、口領域ウィンドウＷＤ５の位置範囲を、鼻孔間中点ＮＭから顔の下方に距離Ｖｇａｐだけ離れ、顔の上下方向（中心軸方向）に所定のサイズＶＭを有し、円柱側面の顔の水平方向の所定の中心角θ１に対応する範囲に設定する。In particular, the pupil position calculation unit 11, Y F Z on a predetermined radius R 1 of the cylindrical curved surface having a central axis along the only oblique line angle δ along the F plane relative Y F axis, the mouth area to set the position of the window WD 5. At this time, the pupil position calculation unit 11, a position range of the mouth area window WD 5, away from the nostrils midpoint between N M below the face by a distance V gap, the predetermined size in the vertical direction of the face (center axis direction) has a V M, set in a range corresponding to the horizontal direction of the predetermined center angle theta 1 of the face of the cylindrical side surface.

また、データ解析部７は、３次元空間内での口領域ウィンドウＷＤ５の円柱面上の範囲を、横方向に沿って（ｍ−１）等分、上下方向に（ｎ−１）等分（ｍ、ｎは所定の整数）するように区切ることにより、２次元状のグリッドで分けられたｍ×ｎ個の３次元空間内での座標を算出する。このとき、口領域ウィンドウＷＤ５を横方向に沿って区切る際には、中心角を等角度で区切ることができる。その後、第４実施形態と同様にして、データ解析部７は、カラー画像の画素値を用いて正規化口画像Ｇ２を生成する。Also, the data analysis unit 7, the range of the cylindrical surface of the mouth area window WD 5 in the 3-dimensional space, along the horizontal direction (m-1) equal parts, in the vertical direction (n-1) equal parts (M and n are predetermined integers) to calculate coordinates in m × n three-dimensional spaces divided by a two-dimensional grid. At this time, when the separate along the mouth area window WD 5 in the horizontal direction can separate the central angle equiangularly. Then, similarly to the fourth embodiment, the data analyzer 7 generates a regular Kakuchi image G 2 using the pixel values of the color image.

このような構成の第５実施形態によれば、平面の口領域ウィンドウを用いる場合に比べて、より高精度に正規化口画像を生成することができる。つまり、口領域ウィンドウを円柱側面上に張り付いていると仮定することで、実際の顔形状により一致して口の領域を正確に定めることができる。   According to the fifth embodiment having such a configuration, a normalized mouth image can be generated with higher accuracy than in the case of using a flat mouth region window. That is, assuming that the mouth region window is stuck on the side surface of the cylinder, the mouth region can be accurately determined according to the actual face shape.

［第６実施形態］
次に、本発明の第６実施形態にかかる装置の構成について説明する。本実施形態では、第１〜第５実施形態の構成の装置を口の動きを検出することにより読唇、すなわち会話内容の認識を実行する認識装置に応用する。本実施形態にかかる認識装置の構成は、第１〜第５実施形態にかかる自閉症乳幼児診断装置１の構成と下記の点で異なっている。[Sixth embodiment]
Next, the configuration of an apparatus according to a sixth embodiment of the present invention will be described. In the present embodiment, the apparatus having the configuration of the first to fifth embodiments is applied to a lip reading, that is, a recognition apparatus that executes recognition of conversation content by detecting movement of a mouth. The configuration of the recognition device according to the present embodiment is different from the configuration of the autism infant diagnosis device 1 according to the first to fifth embodiments in the following points.

すなわち、本実施形態の認識装置は、図１に示す構成のうち、認識対象者Ｓを撮影するカラーカメラ３と、認識対象者Ｓの瞳孔の空間座標を検出するための瞳孔位置検出部４と、光源発光回路６と、データ解析部７とを備える。データ解析部７は、上述した第１〜第５実施形態の手法によって得られた複数の時系列の正規化口画像の画像差分を用いて、認識対象者Ｓの唇の動きを検出する。   That is, the recognition apparatus of the present embodiment includes, of the configuration shown in FIG. 1, a color camera 3 that captures an image of the recognition target S, , A light source light emitting circuit 6 and a data analysis unit 7. The data analysis unit 7 detects the movement of the lips of the recognition target person S using the image differences of the plurality of time-series normalized mouth images obtained by the methods of the above-described first to fifth embodiments.

詳細には、データ解析部７は、画像差分により得られた差分画像を対象に、差分値の絶対値をＰタイル法等により予め設定された適切な閾値で二値化することにより、二値化画像を生成する。そして、データ解析部７は、取得した二値化画像中のエッジを検出することにより、上唇の下の境界ライン（上唇のエッジ）と、下唇の上の境界ライン（下唇のエッジ）を検出する。さらに、データ解析部７は、上唇のエッジと下唇のエッジとの距離を計測することにより、口の開き具合を数値化して検出する。このとき、データ解析部７は、正規化画像における口の横方向に沿った複数個所でエッジ間の距離を数値化する。例えば、図１２（ａ）及び図１２（ｂ）には、データ解析部７によるエッジ計測の対象となる正規化口画像の一例を示している。図１２（ａ）に示すように、認識対象者Ｓが「あ」、「い」を発音した際には口が横に広がった状態となり、図１２（ｂ）に示すように、認識対象者Ｓが「お」を発音した際には小さく丸まった状態となる。データ解析部７は、検出した上唇のエッジＥＵ及び下唇のエッジＥＬの距離を二値化画像において予め規定された横方向座標の５か所（図１２（ａ）及び図１２（ｂ）の矢印の箇所）で算出することにより、口の開き方の形状を認識する。そして、データ解析部７は、時系列の正規化画像に対して順次得られた複数の二値化画像に対して口形状の認識を繰り返すことにより、口の開き方の形状の時系列変化を認識する。その結果、データ解析部７は、認識対象者Ｓの会話内容を認識することができる。ここで、データ解析部７は、正規化画像を対象に認識処理を実行することで、図１２（ｃ）に示すように、カラーカメラ３で得られた画像において認識対象者Ｓの顔が回転していたような場合であっても、画像上で検出された認識対象者Ｓの瞳孔の位置Ｐ１，Ｐ２を基準に切り出された正規化口画像を基に、口の２つのエッジＥＵ、ＥＬ間の距離を測る方向及び位置を適切に定めることができる。More specifically, the data analysis unit 7 binarizes the absolute value of the difference value with an appropriate threshold value set in advance by the P tile method or the like for the difference image obtained by the image difference, thereby obtaining a binary image. Generate a coded image. Then, the data analysis unit 7 detects an edge in the obtained binarized image, thereby forming a boundary line below the upper lip (edge of the upper lip) and a boundary line above the lower lip (edge of the lower lip). To detect. Further, the data analysis unit 7 measures the distance between the edge of the upper lip and the edge of the lower lip, thereby digitizing and detecting the degree of opening of the mouth. At this time, the data analysis unit 7 quantifies the distance between edges at a plurality of locations along the lateral direction of the mouth in the normalized image. For example, FIGS. 12A and 12B show an example of a normalized mouth image to be subjected to edge measurement by the data analysis unit 7. As shown in FIG. 12A, when the person to be recognized S pronounced “A” or “I”, the mouth is in a state of being widened, and as shown in FIG. When S pronounces "O", it becomes small and rounded. Data analysis unit 7, five of the predefined transverse coordinates the distance of the edge E L of the detected upper lip edge E U and the lower lip in the binarized image (FIGS. 12 (a) and 12 (b The shape of how to open the mouth is recognized by calculating at ()). Then, the data analysis unit 7 repeats the recognition of the mouth shape for a plurality of binarized images sequentially obtained from the time-series normalized image, thereby detecting the time-series change in the shape of the opening of the mouth. recognize. As a result, the data analysis unit 7 can recognize the conversation content of the recognition target person S. Here, the data analysis unit 7 performs the recognition process on the normalized image, so that the face of the recognition target person S is rotated in the image obtained by the color camera 3 as shown in FIG. Even in such a case, two edges E of the mouth are determined based on the normalized mouth images cut out based on the pupil positions P 1 and P 2 of the recognition target person S detected on the image. U, the direction and position measure the distance between E L can be appropriately determined.

このような第６実施形態によれば、認識対象者Ｓの口の開き方の形状を時系列に認識することができる。例えば、「お」と発音したときの口が小さく丸まった状態と、「あ」、「い」と発音したときの口が横に広がった状態を正確に区別して認識することができる。また、「わ」と発音したときに最初に口を尖らせてその後に口を開く状態も認識することができる。その結果、発声により唇が動作する場合においても、口の位置が安定して切り出された正規化口画像を用いることにより、正確に認識対象者Ｓの唇の動きを検出することができる。ただし、認識対象者Ｓの照明状態が悪ければ、必ずしも、上唇の下の境界ライン（上唇のエッジ）と、下唇の上の境界ライン（下唇のエッジ）は検出できない場合も考えられる。例えば、下唇に関しては、下唇の下の境界ラインと上の境界ラインのほぼ中間位置などが検出される場合である。その場合でも、下唇の動きが検出できるだけでなく、前述のような形状もおよそ検出できる。さらに、本手法によれば、いつも同じ位置およびサイズの正規化口画像が得られるので、特にカラー画像からは、画像処理範囲を狭めながら、効率的な画像処理、または、色を考慮した画像処理が容易であり、唇のエッジが容易に検出できる。   According to the sixth embodiment, the shape of the mouth of the person S to be recognized can be recognized in chronological order. For example, it is possible to accurately distinguish and recognize a state in which the mouth when pronounced “O” is small and rounded, and a state in which the mouth when pronounced “A” or “I” is widened horizontally. Further, it is also possible to recognize a state where the mouth is first sharpened when "wa" is pronounced and then the mouth is opened. As a result, even when the lips move due to the utterance, the movement of the lips of the recognition target person S can be accurately detected by using the normalized mouth image in which the position of the mouth is stably cut out. However, if the illumination state of the recognition target person S is poor, the boundary line below the upper lip (edge of the upper lip) and the boundary line above the lower lip (edge of the lower lip) may not necessarily be detected. For example, regarding the lower lip, a case is detected where a substantially middle position between the lower boundary line and the upper boundary line of the lower lip is detected. Even in such a case, not only the movement of the lower lip can be detected, but also the shape as described above can be approximately detected. Furthermore, according to the present method, a normalized mouth image having the same position and size is always obtained. Therefore, particularly from a color image, while reducing the image processing range, efficient image processing or image processing in consideration of colors is possible. And the lip edge can be easily detected.

本発明は、上述した実施形態に限定されるものではない。   The present invention is not limited to the embodiments described above.

上記第１〜第６実施形態においては、２台の瞳孔位置検出用光学系８を用いて瞳孔或いは鼻孔の３次元空間内の３次元座標を検出していたが、１台のカメラを含む光学系で瞳孔或いは鼻孔の３次元座標を検出してもよい。このような構成としては、本発明者による特許第４４３１７４９号に記載の構成を採用できる。この構成の場合は、２台の瞳孔位置検出用光学系８を左右に離して配置して、これらの検出結果を統合することにより、母親Ｍあるいは認識対象者Ｓの顔姿勢の広い範囲で正規化口画像を生成することができる。その結果、母親Ｍあるいは認識対象者Ｓの顔の左右の大きな回転にも対応できる。母親Ｍあるいは認識対象者Ｓの顔の正面から大きく外れた方向から顔画像を撮影しその顔画像から正規化された口画像を生成すると、口角のあたりにおいては正規化された画像が正確ではない。しかし、その場合でも、第５実施形態のように曲面の口領域ウィンドウを設定することで精度を改善できる。   In the first to sixth embodiments, the two pupil position detecting optical systems 8 are used to detect the three-dimensional coordinates of the pupil or the nostril in the three-dimensional space. However, the optical system including one camera The system may detect three-dimensional coordinates of a pupil or a nostril. As such a configuration, the configuration described in Japanese Patent No. 4431749 by the present inventors can be adopted. In the case of this configuration, two pupil position detecting optical systems 8 are arranged apart from each other on the left and right, and the detection results are integrated, so that the normal posture of the mother M or the recognition target person S can be obtained over a wide range. A spout image can be generated. As a result, it is possible to cope with a large left and right rotation of the face of the mother M or the recognition target person S. If a face image is taken from a direction largely deviated from the front of the face of the mother M or the recognition target person S and a normalized mouth image is generated from the face image, the normalized image is not accurate around the corner of the mouth. . However, even in such a case, the accuracy can be improved by setting a curved mouth area window as in the fifth embodiment.

このように瞳孔位置検出用光学系を１台とした場合には、１つの光学系のみで白黒画像の正規化口画像を得ることができる。また、１台の瞳孔位置検出用光学系と１台のカラーカメラを用いることで、カラー画像の正規化口画像を得ることもできる。また、１台のカメラとして分割された画素ごとにカラー画像と白黒画像を得ることができるカメラを用いれば、１台のカメラでカラー画像の正規化口画像を得ることができる。このようにカラー画像の正規化口画像を得ることで、より正確に口の動きを検出できる。   When one pupil position detecting optical system is used as described above, a normalized mouth image of a black-and-white image can be obtained with only one optical system. Further, by using one pupil position detecting optical system and one color camera, a normalized mouth image of a color image can be obtained. In addition, if a camera that can obtain a color image and a black-and-white image for each divided pixel as one camera is used, a single camera can obtain a normalized mouth image of a color image. By obtaining the normalized mouth image of the color image in this way, the mouth movement can be detected more accurately.

第１実施形態に係るデータ解析部７は、カラー画像を用いて正規化口画像を生成する代わりに、瞳孔位置算出部１１によって設定された口領域ウィンドウＷＤ１の位置範囲内の顔画像Ｇ１を用いて、白黒画像から正規化口画像を生成してもよい。The data analysis unit 7 according to the first embodiment generates a face image G 1 in the position range of the mouth area window WD 1 set by the pupil position calculation unit 11 instead of generating a normalized mouth image using a color image. May be used to generate a normalized mouth image from a black-and-white image.

また、上記第４および第５実施形態においては、口領域ウィンドウとして平面状又は円柱の側面形状のウィンドウを算出していたが、このような形状には限定されず、様々な曲面、平面、あるいはそれらの組み合わせで構成されるウィンドウを算出してもよい。   In the fourth and fifth embodiments, a flat or cylindrical side window is calculated as the mouth area window. However, the window is not limited to such a shape, and various curved surfaces, flat surfaces, or A window composed of these combinations may be calculated.

ここで、上記実施形態において、画像取得部は、複数の顔画像を連続して取得し、領域算出部は、複数の顔画像に対応して生成された複数の正規化口画像を用いて、複数の正規化口画像における対象者の口の位置を特定し、特定した口の位置を用いて口領域の位置を補正することとしてもよい。この場合、対象者が様々入れ替わった場合であっても、より正確に口領域の画像を得ることができる。   Here, in the above embodiment, the image acquisition unit continuously acquires a plurality of face images, and the area calculation unit uses a plurality of normalized mouth images generated corresponding to the plurality of face images, The position of the mouth of the target person in the plurality of normalized mouth images may be specified, and the position of the mouth area may be corrected using the specified position of the mouth. In this case, an image of the mouth region can be obtained more accurately even when the subjects are variously replaced.

また、瞳孔位置算出部は、顔画像上の対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、領域算出部は、顔画像上の口領域の位置及びサイズを算出し、口画像生成部は、口領域内の顔画像を画像変換することにより正規化口画像を生成することとしてもよい。この場合には、顔画像上で口領域の計算が行われるので、計算が簡素化され、安定して口領域の画像を得ることができる。   Further, the pupil position calculation unit calculates the position of the right pupil and the position of the left pupil of the target person on the face image, the region calculation unit calculates the position and size of the mouth region on the face image, The mouth image generation unit may generate a normalized mouth image by performing image conversion on the face image in the mouth region. In this case, since the calculation of the mouth area is performed on the face image, the calculation is simplified, and an image of the mouth area can be obtained stably.

また、領域算出部は、顔画像上の右の瞳孔と左の瞳孔との距離を算出し、当該距離から、右の瞳孔及び左の瞳孔を基準とした口領域の位置及び口領域のサイズを算出することとしてもよい。この場合には、画像取得部と対象者の顔との距離が変化した場合に顔画像中の口領域をその距離に応じて正確に切り出すことができる。加えて、顔の大きさが異なる対象者に入れ替わっても顔画像中の口領域をその顔の大きさに応じて正確に切り出すことができる。   The area calculation unit calculates the distance between the right pupil and the left pupil on the face image, and calculates the position of the mouth area and the size of the mouth area based on the right pupil and the left pupil from the distance. It may be calculated. In this case, when the distance between the image acquisition unit and the face of the subject changes, the mouth region in the face image can be accurately cut out according to the distance. In addition, even if the subject is replaced by a subject having a different face size, the mouth region in the face image can be accurately cut out according to the face size.

また、瞳孔位置算出部は、顔画像上の対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、領域算出部は、右の瞳孔及び左の瞳孔と、右の鼻孔及び左の鼻孔との位置関係を算出し、当該位置関係から、口領域の位置及び口領域のサイズを算出することとしてもよい。この場合には、対象者の画像取得部に対する姿勢が変わっても、４点の位置関係を用いて口領域を算出することで、顔画像中の口領域を正確に切り出すことができる。   The pupil position calculation unit further calculates the position of the right nostril and the position of the left nostril of the subject on the face image, and the region calculation unit calculates the right pupil and the left pupil, and the right nose and the right nose. The positional relationship with the left nostril may be calculated, and the position of the mouth region and the size of the mouth region may be calculated from the positional relationship. In this case, even if the posture of the subject with respect to the image acquisition unit changes, the mouth region in the face image can be accurately cut out by calculating the mouth region using the positional relationship of the four points.

また、瞳孔位置算出部は、３次元空間内での対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、領域算出部は、３次元空間内での口領域の位置及びサイズを算出し、口画像生成部は、口領域に相当する箇所の顔画像を用いることにより正規化口画像を生成することとしてもよい。この場合、対象者の画像取得部に対する姿勢が変わっても、３次元空間内で口領域を算出することで、顔画像中の口領域をより正確に切り出すことができる。   The pupil position calculation unit calculates the position of the right pupil and the position of the left pupil of the subject in the three-dimensional space, and the region calculation unit calculates the position and size of the mouth region in the three-dimensional space. May be calculated, and the mouth image generation unit may generate the normalized mouth image by using the face image of the portion corresponding to the mouth region. In this case, even if the posture of the subject with respect to the image acquisition unit changes, the mouth region in the face image can be more accurately cut out by calculating the mouth region in the three-dimensional space.

また、瞳孔位置算出部は、３次元空間内での対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、領域算出部は、右の瞳孔、左の瞳孔、右の鼻孔、及び左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして口領域の位置を算出することとしてもよい。この場合は、対象者の画像取得部に対する姿勢が変わっても、４点の３次元の位置関係を用いて口領域を算出することで、顔画像中の口領域をより正確に切り出すことができる。   The pupil position calculation unit further calculates the position of the subject's right nostril and the position of the left nostril in the three-dimensional space, and the region calculation unit calculates the right pupil, the left pupil, and the right nostril. , And the positional relationship of the left nostril, the reference coordinate system may be determined, and the position of the mouth region may be calculated based on the reference coordinate system. In this case, even if the posture of the subject with respect to the image acquisition unit changes, the mouth region in the face image can be more accurately cut out by calculating the mouth region using the three-dimensional positional relationship of the four points. .

さらに、領域算出部は、右の鼻孔と左の鼻孔とを結ぶ軸を第１の座標軸とし、右の鼻孔と左の鼻孔との中点を通り、右の瞳孔と左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定することでもよい。こうすれば、対象者の視線変化により目が動いた場合であっても安定して対象者の顔姿勢が特定でき、その結果、視線変化にかかわらず顔画像中の口領域を正確に切り出すことができる。   Further, the region calculation unit uses the axis connecting the right nostril and the left nostril as a first coordinate axis, passes through the midpoint between the right nostril and the left nostril, and connects the right pupil and the left pupil. May be determined using a perpendicular to the second coordinate axis. In this way, even if the eyes move due to a change in the line of sight of the target person, the face posture of the target person can be specified stably, and as a result, the mouth region in the face image can be accurately cut out regardless of the change in the line of sight. Can be.

また、口画像生成部は、口領域に相当する箇所の顔画像を射影変換することにより正規化口画像を生成することでもよい。こうすれば、画像取得部に対する対象者の顔姿勢が変化しても、顔画像から正規化された口画像を生成することができる。   Further, the mouth image generating unit may generate a normalized mouth image by projective transforming a face image of a portion corresponding to a mouth region. In this way, a normalized mouth image can be generated from the face image even when the subject's face posture with respect to the image acquisition unit changes.

また、口画像生成部は、口領域をグリッド分けした複数の位置を顔画像上の複数の座標に変換し、変換した複数の座標のそれぞれにおける顔画像の画素値を割り当てることにより正規化口画像を生成することでもよい。こうすれば、画像取得部に対する対象者の顔姿勢が変化しても、顔画像から正規化された口画像を生成することができる。   Further, the mouth image generating unit converts the plurality of positions obtained by dividing the mouth region into grids into a plurality of coordinates on the face image, and assigns a pixel value of the face image at each of the plurality of converted coordinates to thereby obtain a normalized mouth image. May be generated. In this way, a normalized mouth image can be generated from the face image even when the subject's face posture with respect to the image acquisition unit changes.

さらに、領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出することでもよい。こうすれば、対象者の顔形状により一致した口画像を生成することができる。   Further, the region calculation unit may calculate the position and size of the mouth region having the side surface shape of the cylinder. This makes it possible to generate a mouth image that matches the shape of the face of the target person.

また、上記形態の口領域検出方法は、正規化口画像を利用することによって対象者以外の被験者の注視点と口領域との関係を演算する自閉症診断のためのステップをさらに備えていてもよい。また、正規化口画像を利用することによって対象者の上唇と下唇との間の距離を基に対象者の口形状の認識を行う読唇のためのステップをさらに備えていてもよい。   In addition, the mouth region detection method according to the above aspect further includes a step for autism diagnosis that calculates a relationship between a gazing point and a mouth region of a subject other than the subject by using the normalized mouth image. Is also good. The method may further include a lip reading step of recognizing the mouth shape of the subject based on the distance between the upper lip and the lower lip of the subject by using the normalized mouth image.

本発明の一側面は、口領域検出装置及び口領域検出方法を使用用途とし、様々な対象者を対象に異なる撮影条件で取得された顔画像中における口領域の画像を正確に検出するものである。   One aspect of the present invention uses a mouth region detection device and a mouth region detection method, and accurately detects an image of a mouth region in a face image acquired under different shooting conditions for various subjects. is there.

Ｍ…母親（対象者）、Ｓ…認識対象者、Ｎ１，Ｎ２…左右の鼻孔の位置、Ｐ１，Ｐ２…左右の瞳孔の位置、ＷＤ１，ＷＤ２，ＷＤ３，ＷＤ４，ＷＤ５…口領域ウィンドウ、１…自閉症乳幼児診断装置、３…カラーカメラ（画像取得部）、７…データ解析部（口画像生成部）、９…瞳孔検出用カメラ（画像取得部）、１１…瞳孔位置算出部（領域算出部）。M ... mother (subject), S ... recognized person, N 1, N 2 ... positions of the left and right nostrils, P 1, P 2 ... positions of the left and right pupils, WD 1, WD 2, WD 3, WD 4, WD 5 : Mouth area window, 1: Autism infant and child diagnostic apparatus, 3: Color camera (image acquisition unit), 7: Data analysis unit (mouth image generation unit), 9: Pupil detection camera (image acquisition unit), 11: Pupil position calculation unit (region calculation unit).

Claims (17)

対象者の顔を撮像することで顔画像を取得する画像取得部と、
前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、
前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、
前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、
を備え、
前記画像取得部は、複数の前記顔画像を連続して取得し、
前記領域算出部は、前記複数の顔画像に対応して生成された複数の正規化口画像を用いて、前記複数の正規化口画像における前記対象者の口の位置を特定し、特定した前記口の位置を用いて前記口領域の位置を補正する、
口領域検出装置。An image acquisition unit that acquires a face image by imaging the face of the target person,
A pupil position calculation unit that calculates a position of a right pupil and a position of a left pupil of the subject based on the face image,
Based on the position of the right pupil and the position of the left pupil, a region calculation unit that calculates the position and size of a mouth region that is a region including the subject's mouth,
A mouth image generation unit that generates a normalized mouth image having a predetermined number of pixels including the target person's mouth using the face image in a range corresponding to the mouth region,
With
The image acquisition unit continuously acquires a plurality of the face images,
The area calculation unit, using a plurality of normalized mouth images generated corresponding to the plurality of face images, specifies the position of the target person's mouth in the plurality of normalized mouth images, the identified Correcting the position of the mouth region using the position of the mouth,
Mouth area detection device. 対象者の顔を撮像することで顔画像を取得する画像取得部と、
前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、
前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、
前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、
を備え、
前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の瞳孔の位置と左の瞳孔の位置と、前記顔画像上の前記対象者の右の鼻孔の位置と左の鼻孔の位置とを算出し、
前記領域算出部は、前記右の瞳孔及び前記左の瞳孔と、前記右の鼻孔及び前記左の鼻孔との位置関係を算出し、当該位置関係から、前記顔画像上の前記口領域の位置及びサイズを算出し、
前記口画像生成部は、前記口領域内の前記顔画像を画像変換することにより前記正規化口画像を生成する、
口領域検出装置。An image acquisition unit that acquires a face image by imaging the face of the target person,
A pupil position calculation unit that calculates a position of a right pupil and a position of a left pupil of the subject based on the face image,
Based on the position of the right pupil and the position of the left pupil, a region calculation unit that calculates the position and size of a mouth region that is a region including the subject's mouth,
A mouth image generation unit that generates a normalized mouth image having a predetermined number of pixels including the target person's mouth using the face image in a range corresponding to the mouth region,
With
The pupil position calculation unit, the position of the right pupil and the position of the left pupil of the subject on the face image, the position of the right nose and the position of the left nose of the subject on the face image, Is calculated,
The region calculation unit calculates a positional relationship between the right pupil and the left pupil, the right nostril and the left nostril, and from the positional relationship, a position of the mouth region on the face image and Calculate the size,
The mouth image generating unit generates the normalized mouth image by performing image conversion on the face image in the mouth area,
Mouth area detection device. 対象者の顔を撮像することで顔画像を取得する画像取得部と、
前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出する瞳孔位置算出部と、
前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出する領域算出部と、
前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成する口画像生成部と、
を備え、
前記瞳孔位置算出部は、３次元空間内での前記対象者の右の瞳孔の位置と左の瞳孔の位置と、３次元空間内での前記対象者の右の鼻孔の位置と左の鼻孔の位置とを算出し、
前記領域算出部は、３次元空間内での前記口領域のサイズを算出し、前記右の瞳孔、前記左の瞳孔、前記右の鼻孔、及び前記左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして前記口領域の位置を算出し、
前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を用いることにより前記正規化口画像を生成する、
口領域検出装置。An image acquisition unit that acquires a face image by imaging the face of the target person,
A pupil position calculation unit that calculates a position of a right pupil and a position of a left pupil of the subject based on the face image,
Based on the position of the right pupil and the position of the left pupil, a region calculation unit that calculates the position and size of a mouth region that is a region including the subject's mouth,
A mouth image generation unit that generates a normalized mouth image having a predetermined number of pixels including the target person's mouth using the face image in a range corresponding to the mouth region,
With
The pupil position calculation unit calculates a position of a right pupil and a position of a left pupil of the subject in a three-dimensional space, and a position of a right nose and a left nose of the subject in a three-dimensional space. Calculate the position and
The region calculation unit calculates a size of the mouth region in a three-dimensional space, and determines a reference coordinate system from a positional relationship among the right pupil, the left pupil, the right nostril, and the left nostril. Then, the position of the mouth area is calculated based on the reference coordinate system,
The mouth image generating unit generates the normalized mouth image by using the face image of a portion corresponding to the mouth region,
Mouth area detection device. 前記領域算出部は、前記右の鼻孔と前記左の鼻孔とを結ぶ軸を第１の座標軸とし、前記右の鼻孔と前記左の鼻孔との中点を通り、前記右の瞳孔と前記左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定する、
請求項６に記載の口領域検出装置。The area calculation unit sets an axis connecting the right nostril and the left nostril as a first coordinate axis, passes through a midpoint between the right nostril and the left nostril, and passes the right pupil and the left nostril. Determining a coordinate system with a perpendicular to the line connecting the pupil as a second coordinate axis;
The mouth region detection device according to claim 6. 前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を射影変換することにより前記正規化口画像を生成する、
請求項６又は８のいずれか１項に記載の口領域検出装置。The mouth image generating unit generates the normalized mouth image by projective transformation of the face image of a portion corresponding to the mouth region,
The mouth region detection device according to claim 6. 前記口画像生成部は、前記口領域をグリッド分けした複数の位置を前記顔画像上の複数の座標に変換し、変換した前記複数の座標のそれぞれにおける前記顔画像の画素値を割り当てることにより前記正規化口画像を生成する、
請求項６又は８のいずれか１項に記載の口領域検出装置。The mouth image generating unit converts a plurality of positions obtained by dividing the mouth region into grids into a plurality of coordinates on the face image, and assigns a pixel value of the face image at each of the converted plurality of coordinates. Generate a normalized mouth image,
The mouth region detection device according to claim 6. 前記領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出する、
請求項６、８、９又は１０のいずれか１項に記載の口領域検出装置。The area calculation unit calculates the position and size of the mouth area of the side surface shape of the cylinder,
The mouth region detecting device according to claim 6, 8, 9, or 10. 画像取得部が、対象者の顔を撮像することで顔画像を取得するステップと、
瞳孔位置算出部が、前記顔画像を基に前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出するステップと、
領域算出部が、前記右の瞳孔の位置及び前記左の瞳孔の位置を基に、前記対象者の口を含む領域である口領域の位置及びサイズを算出するステップと、
口画像生成部が、前記口領域に相当する範囲の前記顔画像を用いて、前記対象者の口を含む既定の画素数の正規化口画像を生成するステップと、
前記正規化口画像を利用することによって前記対象者以外の被験者の注視点と前記口領域との関係を演算する自閉症診断のためのステップと、
を備える口領域検出方法。An image acquiring unit for acquiring a face image by imaging the face of the target person;
A pupil position calculation unit that calculates a position of a right pupil and a position of a left pupil of the subject based on the face image;
Area calculation unit, based on the position of the right pupil and the position of the left pupil, the step of calculating the position and size of the mouth area is an area including the mouth of the subject,
Mouth image generation unit, using the face image of the range corresponding to the mouth region, generating a normalized mouth image of a predetermined number of pixels including the mouth of the subject,
Steps for autism diagnosis to calculate the relationship between the gazing point of the subject other than the subject and the mouth area by using the normalized mouth image,
Mouth region detection method comprising: 前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、
前記領域算出部は、前記顔画像上の前記口領域の位置及びサイズを算出し、
前記口画像生成部は、前記口領域内の前記顔画像を画像変換することにより前記正規化口画像を生成する、
請求項１記載の口領域検出装置。The pupil position calculation unit calculates a position of a right pupil and a position of a left pupil of the subject on the face image,
The area calculation unit calculates a position and a size of the mouth area on the face image,
The mouth image generating unit generates the normalized mouth image by performing image conversion on the face image in the mouth area,
The mouth region detection device according to claim 1. 前記領域算出部は、前記顔画像上の前記右の瞳孔と前記左の瞳孔との距離を算出し、当該距離から、前記右の瞳孔及び前記左の瞳孔を基準とした前記口領域の位置及び前記口領域のサイズを算出する、
請求項１５記載の口領域検出装置。The area calculation unit calculates the distance between the right pupil and the left pupil on the face image, and from the distance, the position of the mouth area based on the right pupil and the left pupil and Calculating the size of the mouth area,
The mouth area detection device according to claim 15. 前記瞳孔位置算出部は、前記顔画像上の前記対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、
前記領域算出部は、前記右の瞳孔及び前記左の瞳孔と、前記右の鼻孔及び前記左の鼻孔との位置関係を算出し、当該位置関係から、前記口領域の位置及び前記口領域のサイズを算出する、
請求項１５記載の口領域検出装置。The pupil position calculation unit further calculates a position of a right nostril and a position of a left nostril of the subject on the face image,
The region calculation unit calculates a positional relationship between the right pupil and the left pupil, the right nostril and the left nostril, and, based on the positional relationship, a position of the mouth region and a size of the mouth region. Calculate
The mouth area detection device according to claim 15. 前記瞳孔位置算出部は、３次元空間内での前記対象者の右の瞳孔の位置と左の瞳孔の位置とを算出し、
前記領域算出部は、３次元空間内での前記口領域の位置及びサイズを算出し、
前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を用いることにより前記正規化口画像を生成する、
請求項１記載の口領域検出装置。The pupil position calculation unit calculates a position of a right pupil and a position of a left pupil of the subject in a three-dimensional space,
The area calculation unit calculates a position and a size of the mouth area in a three-dimensional space,
The mouth image generating unit generates the normalized mouth image by using the face image of a portion corresponding to the mouth region,
The mouth region detection device according to claim 1. 前記瞳孔位置算出部は、３次元空間内での前記対象者の右の鼻孔の位置と左の鼻孔の位置とをさらに算出し、
前記領域算出部は、前記右の瞳孔、前記左の瞳孔、前記右の鼻孔、及び前記左の鼻孔の位置関係から基準座標系を決定し、当該基準座標系を基準にして前記口領域の位置を算出する、
請求項１８記載の口領域検出装置。The pupil position calculation unit further calculates a position of a right nostril and a position of a left nostril of the subject in a three-dimensional space,
The area calculation unit determines a reference coordinate system from the positional relationship between the right pupil, the left pupil, the right nostril, and the left nostril, and determines the position of the mouth area based on the reference coordinate system. Calculate
19. The mouth region detection device according to claim 18. 前記領域算出部は、前記右の鼻孔と前記左の鼻孔とを結ぶ軸を第１の座標軸とし、前記右の鼻孔と前記左の鼻孔との中点を通り、前記右の瞳孔と前記左の瞳孔とを結ぶ線に対する垂線を第２の座標軸とした座標系を決定する、
請求項１９記載の口領域検出装置。The region calculation unit sets an axis connecting the right nostril and the left nostril as a first coordinate axis, passes through a middle point between the right nostril and the left nostril, and passes the right pupil and the left nostril. Determining a coordinate system with a perpendicular to the line connecting the pupil as a second coordinate axis;
The mouth area detection device according to claim 19. 前記口画像生成部は、前記口領域に相当する箇所の前記顔画像を射影変換することにより前記正規化口画像を生成する、
請求項１８記載の口領域検出装置。The mouth image generating unit generates the normalized mouth image by projective transformation of the face image of a portion corresponding to the mouth region,
19. The mouth region detection device according to claim 18. 前記口画像生成部は、前記口領域をグリッド分けした複数の位置を前記顔画像上の複数の座標に変換し、変換した前記複数の座標のそれぞれにおける前記顔画像の画素値を割り当てることにより前記正規化口画像を生成する、
請求項１８記載の口領域検出装置。The mouth image generating unit converts a plurality of positions obtained by dividing the mouth region into grids into a plurality of coordinates on the face image, and assigns a pixel value of the face image at each of the converted plurality of coordinates. Generate a normalized mouth image,
19. The mouth region detection device according to claim 18. 前記領域算出部は、円柱の側面形状の口領域の位置及びサイズを算出する、
請求項１８記載の口領域検出装置。The area calculation unit calculates the position and size of the mouth area of the side surface shape of the cylinder,
19. The mouth region detection device according to claim 18.
JP2017510200A 2015-03-31 2016-03-31 Mouth region detection device and mouth region detection method Active JP6652263B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015073089 2015-03-31
JP2015073089 2015-03-31
PCT/JP2016/060713 WO2016159255A1 (en) 2015-03-31 2016-03-31 Mouth region detection device and mouth region detection method

Publications (2)

Publication Number Publication Date
JPWO2016159255A1 JPWO2016159255A1 (en) 2018-02-01
JP6652263B2 true JP6652263B2 (en) 2020-02-19

Family

ID=57005949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017510200A Active JP6652263B2 (en) 2015-03-31 2016-03-31 Mouth region detection device and mouth region detection method

Country Status (2)

Country Link
JP (1) JP6652263B2 (en)
WO (1) WO2016159255A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6126290B1 (en) * 2016-10-17 2017-05-10 ヴィスコ・テクノロジーズ株式会社 Appearance inspection device
JP6456461B1 (en) * 2017-11-17 2019-01-23 株式会社アルム Nasal stenosis diagnostic device and nasal stenosis diagnostic system
CN111296946A (en) * 2020-04-07 2020-06-19 中国人民解放军陆军军医大学第一附属医院 Collecting protective mask for nasopharynx swab of fulminating infectious disease

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4537143B2 (en) * 2004-07-30 2010-09-01 キヤノン株式会社 Image processing apparatus and method, imaging apparatus, and program
WO2007074844A1 (en) * 2005-12-28 2007-07-05 Kao Corporation Detecting method and detecting system for positions of face parts
US8371693B2 (en) * 2010-03-30 2013-02-12 National University Corporation Shizuoka University Autism diagnosis support apparatus
JP4998637B1 (en) * 2011-06-07 2012-08-15 オムロン株式会社 Image processing apparatus, information generation apparatus, image processing method, information generation method, control program, and recording medium

Also Published As

Publication number Publication date
JPWO2016159255A1 (en) 2018-02-01
WO2016159255A1 (en) 2016-10-06

Similar Documents

Publication Publication Date Title
US11253171B2 (en) System and method for patient positioning
Zago et al. 3D tracking of human motion using visual skeletonization and stereoscopic vision
US11576645B2 (en) Systems and methods for scanning a patient in an imaging system
JP5858433B2 (en) Gaze point detection method and gaze point detection device
US8371693B2 (en) Autism diagnosis support apparatus
US11576578B2 (en) Systems and methods for scanning a patient in an imaging system
JP6014931B2 (en) Gaze measurement method
JP5158842B2 (en) Eye movement measuring method and eye movement measuring apparatus
JP6631951B2 (en) Eye gaze detection device and eye gaze detection method
CN110913751A (en) Wearable eye tracking system with slip detection and correction functions
JP7030317B2 (en) Pupil detection device and pupil detection method
CN111488775B (en) Device and method for judging degree of visibility
CN111933275A (en) Depression evaluation system based on eye movement and facial expression
JP6452235B2 (en) Face detection method, face detection device, and face detection program
JP6652263B2 (en) Mouth region detection device and mouth region detection method
Li et al. Gait analysis using stereo camera in daily environment
Yang et al. Sleep monitoring via depth video compression & analysis
JP5429885B2 (en) Feature point tracking method and feature point tracking device
JP6288770B2 (en) Face detection method, face detection system, and face detection program
JP7046347B2 (en) Image processing device and image processing method
JP4682372B2 (en) Gaze direction detection device, gaze direction detection method, and program for causing computer to execute gaze direction detection method
JP6452236B2 (en) Eyeball identification device and eyeball identification method
JP5559749B2 (en) POSITION DETECTION DEVICE, POSITION DETECTION METHOD, AND COMPUTER PROGRAM
Stahl et al. DirectFlow: A Robust Method for Ocular Torsion Measurement
Tran et al. Breath detection for enhancing quality of X-ray image

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20170418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200116

R150 Certificate of patent or registration of utility model

Ref document number: 6652263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250