JP6717424B2 - Heart rate estimation device - Google Patents

Heart rate estimation device Download PDF

Info

Publication number
JP6717424B2
JP6717424B2 JP2019508436A JP2019508436A JP6717424B2 JP 6717424 B2 JP6717424 B2 JP 6717424B2 JP 2019508436 A JP2019508436 A JP 2019508436A JP 2019508436 A JP2019508436 A JP 2019508436A JP 6717424 B2 JP6717424 B2 JP 6717424B2
Authority
JP
Japan
Prior art keywords
heartbeat
component
region
value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019508436A
Other languages
Japanese (ja)
Other versions
JPWO2018179150A1 (en
Inventor
旭美 梅松
旭美 梅松
剛範 辻川
剛範 辻川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018179150A1 publication Critical patent/JPWO2018179150A1/en
Application granted granted Critical
Publication of JP6717424B2 publication Critical patent/JP6717424B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/0245—Detecting, measuring or recording pulse rate or heart rate by using sensing means generating electric signals, i.e. ECG signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は心拍推定装置に関する。本発明は、特に、顔映像から心拍数を精度良く推定する装置に関する。 The present invention relates to a heartbeat estimation device. The present invention particularly relates to a device for accurately estimating a heart rate from a face image.

心拍の検出には心電計やウェアラブルセンサ等の生体に装着する計測機器が用いられることが多い。こうした計測機器を装着して生活するのは煩わしいという問題がある。そこで、生体に計測機器が接触していない状態でも心拍の検出を可能にするために、カメラで撮影した顔映像などから非接触で心拍を検出する方式が提案されている。 For the detection of the heartbeat, a measuring instrument such as an electrocardiograph or a wearable sensor attached to the living body is often used. There is a problem that it is troublesome to wear such a measuring device and live. Therefore, in order to enable the detection of the heartbeat even when the measuring device is not in contact with the living body, a method of detecting the heartbeat in a non-contact manner from a face image captured by a camera has been proposed.

例えば、血液中に含まれるヘモグロビンが緑色の光を吸収する特性に着目し、顔をカメラで撮影し、血流から生じる顔表面の輝度変化を捉えることで心拍を推定する方法が知られている。顔表面の輝度変化には心拍成分が含まれているため、顔領域の平均輝度値を算出し、その時間応答波形をＦＦＴ（Fast Fourier Transform、高速フーリエ変換）処理する。その結果得られたスペクトルの最大値を、心拍数として推定する。 For example, there is known a method of estimating a heartbeat by focusing on the characteristic that hemoglobin contained in blood absorbs green light, capturing an image of a face with a camera, and capturing a change in brightness on the face surface caused by blood flow. .. Since the change in the brightness of the face surface includes the heartbeat component, the average brightness value of the face area is calculated, and the time response waveform is subjected to FFT (Fast Fourier Transform) processing. The maximum value of the resulting spectrum is estimated as the heart rate.

この種の方法の一例が非特許文献１に記載されている。非特許文献１によれば、顔領域内の赤成分（Ｒ）、緑成分（Ｇ）、青成分（Ｂ）の各平均値を算出して独立成分分析(Independent component analysis、ICA)で処理した後に、１つの成分波形（第２成分波形）の周波数分析で得たピーク周波数から心拍数を推定する。 Non-Patent Document 1 describes an example of this type of method. According to Non-Patent Document 1, an average value of each of a red component (R), a green component (G), and a blue component (B) in a face area is calculated and processed by an independent component analysis (ICA). After that, the heart rate is estimated from the peak frequency obtained by the frequency analysis of one component waveform (second component waveform).

しかし、独立成分分析には、分離された独立信号の出現する順番を特定できない性質がある。すなわち、心拍信号を最も多く含むと推定される独立信号が、独立成分分析により、分離された複数の出力成分（第一出力成分〜第三出力成分）のいずれであるかを特定することができない。つまり、ＩＣＡ後の出力成分には成分間の順序不定性が存在する。 However, the independent component analysis has a property that the order of appearance of separated independent signals cannot be specified. That is, it is impossible to specify which of the plurality of separated output components (first output component to third output component) the independent signal estimated to contain the most heartbeat signal by the independent component analysis. .. That is, the output components after ICA have order ambiguity between the components.

非特許文献1では、第二出力成分を心拍成分として決定しているが、実際には、第一から第三出力成分までのいずれかに心拍成分が含まれており、それはＩＣＡを施すたびに異なる出力成分に心拍成分が出力されている。心拍成分を含む出力成分を特定できないと、時間方向で追随すべき出力成分も特定できず、心拍推定精度の向上には限界がある。 In Non-Patent Document 1, the second output component is determined as the heartbeat component, but in reality, the heartbeat component is included in any of the first to third output components, and this is every time ICA is performed. The heartbeat component is output to different output components. If the output component including the heartbeat component cannot be specified, the output component that should follow in the time direction cannot be specified, and there is a limit in improving the heartbeat estimation accuracy.

非特許文献1では、第二出力成分を心拍成分として決定しているが、実際には、第一から第三出力成分までのいずれかに心拍成分が含まれている。心拍成分を含む出力成分はＩＣＡを施すたびに異なる。心拍成分を含む出力成分を特定できないと、時間方向で追随すべき出力成分も特定できず、心拍推定精度の向上には限界がある。 In Non-Patent Document 1, the second output component is determined as the heartbeat component, but in reality, the heartbeat component is included in any of the first to third output components. The output components including the heartbeat component differ each time ICA is performed. If the output component including the heartbeat component cannot be specified, the output component that should follow in the time direction cannot be specified, and there is a limit in improving the heartbeat estimation accuracy.

特許文献1では、非特許文献1の原理を用いてＩＣＡを適用することにより、心拍数を推定する。特許文献1では、ＩＣＡ後の独立信号である出力信号に対して、スペクトル分布の波形類似度に基づいて、類似度が高い独立信号のスペクトル分布をペアリングして、区分化する。区分化されたスペクトル分布それぞれのピーク周波数を追跡し、一定時間経過後に周波数値軸上で出現位置が収束したピーク周波数の周波数値をもとに心拍数を推定する。このようにすることで、時間軸方向の連続性は担保される。なお、ここで言う「心拍」とは、血液の体積の変動、すなわち血流の増減を表す指標を指し、いわゆる心拍数や心拍波形などが含まれる。 In Patent Document 1, the heart rate is estimated by applying ICA using the principle of Non-Patent Document 1. In Patent Document 1, an output signal, which is an independent signal after ICA, is paired with a spectrum distribution of an independent signal having a high degree of similarity based on the waveform similarity of the spectrum distribution to perform partitioning. The peak frequency of each of the segmented spectral distributions is tracked, and after a certain period of time, the heart rate is estimated based on the frequency value of the peak frequency at which the appearance position converges on the frequency value axis. By doing so, continuity in the time axis direction is secured. The “heartbeat” referred to here is an index indicating fluctuation in blood volume, that is, increase/decrease in blood flow, and includes so-called heart rate and heartbeat waveform.

特許05672144号公報Patent 05672144

“Non-contact, automated cardiac pulse measurements using video imaging and blind source separation”, OPTICS EXPRESS Vol.18, No.10, 2010 (MIT)“Non-contact, automated cardiac pulse measurements using video imaging and blind source separation”, OPTICS EXPRESS Vol.18, No.10, 2010 (MIT)

特許文献1の方式では、出力成分の時間方向でのペアリングが出来ても、そもそもどの出力成分に心拍成分が多く含まれるかを特定することができない。そのため、ペアリングされた出力成分が心拍成分を最も多く含む出力成分であるのか判断ができない。 In the method of Patent Document 1, even if the output components can be paired in the time direction, it is not possible to specify which output component contains a large number of heartbeat components in the first place. Therefore, it is not possible to determine whether the paired output component is the output component that contains the most heartbeat component.

このように、特許文献1によれば、ＩＣＡ後の出力成分を時間方向でペアリングできたとしても、そもそもどの出力成分に心拍成分が表れるかを特定できないので、心拍推定精度が低い。なお、ＩＣＡには独立成分分析だけでなく、独立ベクトル分析を含むものとする。 As described above, according to Patent Document 1, even if the output component after ICA can be paired in the time direction, it is not possible to specify which output component the heartbeat component appears in the first place, and thus the heartbeat estimation accuracy is low. Note that ICA includes independent vector analysis as well as independent component analysis.

本発明はこのような状況に鑑みてなされたものであり、本発明が解決しようとする課題は、心拍成分が表れる出力成分を特定可能であって、出力成分方向の時間方向連続性を担保可能な心拍推定装置、方法、プログラムを提供することである。 The present invention has been made in view of such circumstances, and the problem to be solved by the present invention is to be able to specify an output component in which a heartbeat component appears, and to ensure time-direction continuity of the output component direction. To provide a simple heart rate estimating device, method and program.

上述の課題を解決するため、本発明は、その一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含み、前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、心拍推定装置を提供する。 In order to solve the above-mentioned problems, the present invention, as one aspect thereof, includes a region-of-interest detection unit that detects a region of interest including a face region of a subject from each of a plurality of temporally consecutive images, and a region of interest within the region of interest. The brightness value included in the image is calculated for each of the predetermined light wavelength components, and a separation matrix having a set of coefficients for each of the predetermined light wavelength components is used. By performing an independent component analysis on the luminance value, a heartbeat component enhancing unit that enhances a heartbeat component, and a heartbeat calculating unit that calculates a heart rate based on the heartbeat component enhanced by the heartbeat component enhancing unit are provided. The separation matrix comprises a heartbeat component in which an absolute value of a coefficient applied to a brightness value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a brightness value of the light wavelength component of another color. It looks including the consisting emphasis coefficient row, the heartbeat component enhancing section in the separating matrix, by using the heartbeat component enhancement factor at least an initial value, to apply the independent component analysis, to provide a heart rate estimating apparatus.

また、本発明は、他の一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含み、前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、心拍推定方法を提供する。 Further, as another aspect of the present invention, a region of interest detection step of detecting a region of interest including a subject's face region from each of a plurality of temporally consecutive images, and brightness included in the image in the region of interest. A value is calculated for each of the predetermined light wavelength components and a brightness value is calculated using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row. A heartbeat component emphasis step for emphasizing a heartbeat component by performing an independent component analysis, and a heartbeat calculation step for calculating a heartbeat rate based on the heartbeat component emphasized by the heartbeat component emphasis step. Is a line consisting of a heartbeat component emphasis coefficient, in which the absolute value of the coefficient of the luminance value of the light wavelength component of green is larger than the absolute value of the coefficient of the luminance value of the light wavelength component of another color. only including, the heartbeat component enhancement phase is in the separation matrix, using the heartbeat component enhancement factor at least an initial value, to apply the independent component analysis, to provide a heart rate estimation method.

また、本発明は、他の一態様として、時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含み、前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、プログラムを提供する。 Further, as another aspect of the present invention, a region-of-interest detection unit that detects a region of interest including a face region of a subject from each of a plurality of temporally consecutive images, and brightness included in the image within the region of interest. A value is calculated for each of the predetermined light wavelength components, and the brightness value is calculated by using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row. A program for causing a computer to execute a heartbeat component emphasizing means for emphasizing a heartbeat component by performing an independent component analysis, and a heartbeat calculating means for calculating a heartbeat rate based on the heartbeat component emphasizing by the heartbeat component emphasizing means. In the separation matrix, the absolute value of the coefficient applied to the luminance value of the light wavelength component of green is composed of a coefficient larger than the absolute value of the coefficient applied to the luminance value of the light wavelength component of another color, look including a line of heartbeat component enhancement factor, the heartbeat component emphasis means in said separation matrix, using the heartbeat component enhancement factor at least an initial value, to apply the independent component analysis, a program.

本発明によれば、心拍推定に有利な固定係数をＩＣＡの混合行列の初期値として用いることにより、心拍成分が表れる出力成分を特定することができる。 According to the present invention, it is possible to specify an output component in which a heartbeat component appears by using a fixed coefficient advantageous for heartbeat estimation as an initial value of the ICA mixing matrix.

また、本発明によれば、出力成分方向の時間方向連続性も担保できる。これにより、勤務中や運転中など日常生活中の被験者の動きや表情変化などを含む顔映像から、心拍を精度良く推定することができる。 Further, according to the present invention, the temporal continuity of the output component direction can be ensured. As a result, it is possible to accurately estimate the heartbeat from the facial image including the movement and facial expression changes of the subject during daily life such as working or driving.

本発明の第１実施形態である心拍推定装置１０００の構成を示すブロック図である。It is a block diagram which shows the structure of the heartbeat estimation apparatus 1000 which is 1st Embodiment of this invention. 心拍推定装置１０００の関心領域検出部１０１の構成を示すブロック図である。3 is a block diagram showing the configuration of a region of interest detection unit 101 of heartbeat estimation apparatus 1000. FIG. 心拍推定装置１０００の動作について説明するためのフローチャートである。7 is a flowchart for explaining the operation of heartbeat estimating apparatus 1000. 本発明の第２実施形態である心拍推定装置２０００の構成を示すブロック図である。It is a block diagram which shows the structure of the heartbeat estimation apparatus 2000 which is 2nd Embodiment of this invention. 本発明の第３実施形態である心拍推定装置３０００の構成を示すブロック図である。It is a block diagram which shows the structure of the heartbeat estimation apparatus 3000 which is 3rd Embodiment of this invention. 本発明の第４実施形態である状態検出装置１００００の構成を示すブロック図である。It is a block diagram which shows the structure of the state detection apparatus 10000 which is 4th Embodiment of this invention.

次に、本発明の実施の形態について図面を参照して詳細に説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings.

［第１実施形態］
本発明の第１実施形態としての心拍推定装置１０００について図１を用いて説明する。心拍推定装置１０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図１に示すように心拍推定装置１０００は、関心領域検出部１０１と輝度値算出部１０２と心拍成分強調部１０３と心拍算出部１０４を含む。
＜撮像装置Ｃ１＞
第1のカメラである撮像装置Ｃ１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載する撮像装置である。例えば、撮像装置Ｃ１には、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）などの複数の受光素子を搭載することができる。[First Embodiment]
A heartbeat estimating apparatus 1000 as a first embodiment of the present invention will be described with reference to FIG. The heartbeat estimation device 1000 is a device that accurately estimates the heartbeat from a face image of a subject who is in daily life such as working or driving. As shown in FIG. 1, the heartbeat estimation apparatus 1000 includes a region of interest detection unit 101, a brightness value calculation unit 102, a heartbeat component emphasis unit 103, and a heartbeat calculation unit 104.
<Imaging device C1>
The imaging device C1, which is the first camera, is an imaging device equipped with an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). For example, the image pickup device C1 can be equipped with a plurality of light receiving elements such as R (Red), G (Green), and B (Blue).

撮像装置Ｃ１は、時間的に連続した一連の画像を撮影し、出力する。出力する画像は静止画像であっても動画であってもよい。即ち、連続的に静止画像を撮影することにより、一連の複数の静止画像データを生成し、出力することとしてもよい。或いは、動画として撮影し、出力することとしてもよい。 The imaging device C1 captures and outputs a series of temporally continuous images. The output image may be a still image or a moving image. That is, a series of a plurality of still image data may be generated and output by continuously capturing still images. Alternatively, it may be captured as a moving image and output.

撮像装置Ｃ１の実装例としては、デジタルカメラやＷｅｂカメラを、外部端子を介して心拍推定装置１０００に接続することとしてもよい。なお、画像データ１１０を入力するデバイスはカメラ以外でもよく、また、画像データ１１０は、ビデオ、ＤＶＤなどのメディアやハードディスク上に格納されている動画ファイルから切り出した画像データであってもよい。 As an implementation example of the imaging device C1, a digital camera or a web camera may be connected to the heartbeat estimation device 1000 via an external terminal. The device for inputting the image data 110 may be other than a camera, and the image data 110 may be image data cut out from a moving image file stored on a medium such as a video or DVD or a hard disk.

また、他の実装例としては、カメラを製造時に搭載した装置を心拍推定装置１０００として用いる場合には、そのカメラ或いはアウトカメラを撮像装置Ｃ１として用いることとしてもよい。このような装置の例としては所謂インカメラ、アウトカメラ等のカメラを備えるスマートホンがある。 Further, as another implementation example, when a device equipped with a camera at the time of manufacture is used as the heartbeat estimation device 1000, the camera or the out-camera may be used as the imaging device C1. An example of such a device is a smart phone equipped with a camera such as a so-called in-camera or out-camera.

画像データ１１０は、例えば、横６４０画素×縦４８０画素の矩形で与えられる。１つの画素は、明るさの階調値（輝度）で与えられる。例えば、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素の輝度（Ｉ）の階調値は、８ｂｉｔのディジタル値Ｉ（ｉ，ｊ）などで与えられる。画像データ１１０がカラー画像である場合には、例えば、１つの画素は、Ｒ、Ｇ、Ｂの階調値で与えられる。このとき、整数ｉ、ｊで示される座標（ｉ，ｊ）の画素のＲ、Ｇ、Ｂの階調値は、例えばそれぞれ、ディジタル値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ）で与えられる。 The image data 110 is, for example, given as a rectangle of 640 horizontal pixels×480 vertical pixels. One pixel is given by a brightness gradation value (luminance). For example, the gradation value of the luminance (I) of the pixel at the coordinates (i,j) indicated by the integers i and j is given by an 8-bit digital value I(i,j). When the image data 110 is a color image, for example, one pixel is given by R, G, and B gradation values. At this time, the gradation values of R, G, B of the pixel at the coordinates (i, j) indicated by the integers i, j are, for example, digital values R(i, j), G(i, j), B, respectively. It is given by (i,j).

１つの画素を表す色のうち、分離に用いる色の数が後述する分離行列Ｗの列の数に対応する。本実施形態では、色の数がＲＧＢの３色であり、分離に用いるのも同じくＲＧＢの３色のため、１つの画素を表す色の数と分離行列Ｗの列の数とが一致している。しかし、本発明では、１つの画素を表す色の数と、分離に用いる色の数は必ずしも一致しなくともよい。例えば、ＲＧＢの３色に加えて、シアン、マゼンタの合計５色で１つの画素を表し、これら５色のうち、ＲＧＢの３色のみを分離に用いることとしてもよい。この場合、１つの画素を表す色の数は５であり、分離行列Ｗの列の数は３である。 Among the colors representing one pixel, the number of colors used for separation corresponds to the number of columns of the separation matrix W described later. In the present embodiment, the number of colors is three colors of RGB, and the colors used for separation are also three colors of RGB. Therefore, the number of colors representing one pixel and the number of columns of the separation matrix W are the same. There is. However, in the present invention, the number of colors representing one pixel and the number of colors used for separation do not necessarily match. For example, one pixel may be represented by a total of five colors of cyan and magenta in addition to the three colors of RGB, and among these five colors, only three colors of RGB may be used for separation. In this case, the number of colors representing one pixel is 5, and the number of columns of the separation matrix W is 3.

なお、画像データ１１０の階調値は、ＲＧＢの組み合わせ、またはＲＧＢ値を変換して求まる他の表色系（ＨＳＶ表色系、ＹＵＶ表色系など）を使用してもよい。以下、画像データ１１０がカラー画像であり、１つの画素がR、G、Bの階調値で与えられることを仮定する。
＜関心領域検出部１０１＞
関心領域検出部１０１では、撮像装置Ｃ１から得られた映像信号である画像データ１１０を入力とする。図２のように、関心領域検出部１０１は顔検出部１０１−１と顔特徴点検出部１０１−２から構成される。Note that the gradation value of the image data 110 may use a combination of RGB, or another color system (HSV color system, YUV color system, etc.) obtained by converting the RGB values. Hereinafter, it is assumed that the image data 110 is a color image and one pixel is given by R, G, and B gradation values.
<Region of Interest Detection Unit 101>
The ROI detection unit 101 receives the image data 110, which is a video signal obtained from the imaging device C1. As shown in FIG. 2, the region-of-interest detection unit 101 includes a face detection unit 101-1 and a face feature point detection unit 101-2.

顔検出部１０１−１では、画像データ１１０に含まれている人の顔の位置や大きさを検出して、顔を含む顔領域を抽出する。顔検出には、対象となる顔の位置と大きさを検出する既存の顔検出技術を用いる。次に、顔特徴点検出部１０１−２で顔特徴点検出を行う。顔検出によって検出された顔領域から特徴点を検出する。例えば、顔特徴点として、目、鼻、口、及び顔の輪郭等を検出する。なお、顔特徴点検出には検出された顔領域から特徴点を検出する任意のアルゴリズムを用いることができる。例えば、Ｈａａｒ特徴とＡｄａＢｏｏｓｔを利用した特徴点検出アルゴリズムを用いることができる。このようにして任意の特徴点検出アルゴリズムを用いて、顔領域画像からp個（pは１以上の整数）の特徴点の座標（ｕp，ｖp）を検出する。 The face detection unit 101-1 detects the position and size of the person's face included in the image data 110, and extracts the face area including the face. For face detection, existing face detection technology that detects the position and size of the target face is used. Next, the face feature point detection unit 101-2 detects face feature points. Feature points are detected from the face area detected by face detection. For example, eyes, a nose, a mouth, a contour of a face, and the like are detected as face feature points. Note that an arbitrary algorithm for detecting feature points from the detected face area can be used for the face feature point detection. For example, a feature point detection algorithm using Haar features and AdaBoost can be used. In this way, the coordinates (up, vp) of p feature points (p is an integer of 1 or more) are detected from the face area image using an arbitrary feature point detection algorithm.

次に、関心領域（ROI：Region of interest）の決定を行う。得られた顔特徴点から、顔特徴点を囲む領域を関心領域として決定する。その際に全ての顔特徴点を用いても良いし、一部の顔特徴点を用いてもよい。関心領域検出部１０１は決定した関心領域の画像データを出力する。
＜輝度値算出部１０２＞
輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データを入力とする。輝度値算出部１０２では、関心領域に対して、その領域の各画素におけるＲ、Ｇ、Ｂの輝度の階調値を求める。輝度の階調値から、関心領域のＲ、Ｇ、Ｂの各色成分について関心領域内の輝度の平均値を算出する。例えば、30fps（30フレーム/秒）で画像を取得していた場合には、1フレームごとの領域内平均値を算出する。ここで、フレームtにおける座標（i, j）におけるR、G、Bの輝度の階調値をRt（i, j）、Gt（i, j）、Bt（i, j）とする。関心領域の大きさがi=is〜ie、j=js〜jeの範囲内の座標であると仮定する。is、ie、js、jeはそれぞれ、画像データの画素のx座標の開始位置、x座標の終了位置、y座標の開始位置、y座標の終了位置を示す。その場合、関心領域内のG信号の輝度の平均値Gt_aveは下記の式(1)で算出する。Next, a region of interest (ROI) is determined. From the obtained facial feature points, a region surrounding the facial feature points is determined as a region of interest. At that time, all face feature points may be used, or some face feature points may be used. The ROI detecting unit 101 outputs image data of the determined ROI.
<Brightness value calculation unit 102>
The brightness value calculation unit 102 receives image data of a region of interest, which is a face portion region, obtained from the region of interest detection unit 101. The brightness value calculation unit 102 obtains the gradation values of the R, G, and B brightness of each pixel in the region of interest. From the brightness gradation value, the average value of the brightness in the ROI is calculated for each of the R, G, and B color components of the ROI. For example, when the image is acquired at 30 fps (30 frames/second), the average value in the area is calculated for each frame. Here, the gradation values of the brightness of R, G, and B at the coordinates (i, j) in frame t are Rt(i, j), Gt(i, j), and Bt(i, j). It is assumed that the size of the region of interest has coordinates within the range of i=i s to i e and j=j s to j e . i s , i e , j s , and j e respectively indicate the start position of the x coordinate, the end position of the x coordinate, the start position of the y coordinate, and the end position of the y coordinate of the pixel of the image data. In that case, the average value Gt_ave of the brightness of the G signal in the region of interest is calculated by the following formula (1).

Figure 0006717424
RとBに対しても同様に平均値Rt_ave、Bt_aveを計算できる。上記の例は、関心領域が矩形の場合を示しているが、これに限らない。輝度値算出部１０２は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを輝度値として出力する。
＜心拍成分強調部１０３＞
心拍成分強調部１０３は輝度値算出部１０２から得られた関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを入力とする。心拍信号強調には、独立成分分析を用いる。独立成分分析は、多変量解析の一手法であって、情報源となる信号が独立であると仮定し、複数の観測値の信号から、信号源を独立な成分に分離して抽出する計算手段である。
Figure 0006717424
 The average values Rt_ave and Bt_ave can be calculated similarly for R and B. In the above example, the region of interest has a rectangular shape, but the present invention is not limited to this. The brightness value calculation unit 102 outputs average values Rt_ave, Gt_ave, and Bt_ave of brightness of R, G, and B in the region of interest as brightness values.
<Heartbeat component emphasis unit 103>
The heartbeat component emphasizing unit 103 receives the average values Rt_ave, Gt_ave, and Bt_ave of the R, G, and B luminances in the region of interest obtained from the luminance value calculating unit 102. Independent component analysis is used for heartbeat signal enhancement. Independent component analysis is a method of multivariate analysis, and it is assumed that the signals that are information sources are independent, and a calculation means that separates the signal sources into independent components from the signals of a plurality of observed values and extracts them. Is.

独立成分分析のなかで、例えばブラインド信号分離法では、次のように定式化される。時刻tにおけるn個の信号源をs(t)とし、これらを未知とすると、次の式(2)で表される。 In the independent component analysis, for example, the blind signal separation method is formulated as follows. When n signal sources at time t are s(t) and these are unknown, they are expressed by the following equation (2).

Figure 0006717424
ここで
Figure 0006717424
 here

Figure 0006717424
は転置行列を表す。また、観測値x(t)がm×nの未知の混合行列Aを用いて、信号源s(t)から生成されるものとする。即ち、次の式(3)、(4)
Figure 0006717424
 Represents a transposed matrix. Further, it is assumed that the observation value x(t) is generated from the signal source s(t) using the unknown mixing matrix A of m×n. That is, the following equations (3) and (4)

Figure 0006717424
Figure 0006717424

Figure 0006717424
とする。時刻t=1,2,…において、観測値の系列x(1),x(2),…が観測された場合に、信号源の系列s(1),s(2),…を推定する。すなわち独立成分分析では、信号源の独立性を仮定し、分離行列の推定値Wを用いて、分離信号を求める。推定分離信号
Figure 0006717424
 And Estimate the sequence of signal sources s(1), s(2),... When the sequence of observations x(1),x(2),... Is observed at time t=1,2,... .. That is, in the independent component analysis, the independence of the signal sources is assumed, and the estimated value W of the separation matrix is used to obtain the separated signal. Estimated separated signal

Figure 0006717424
は以下の式(5)、(6)で与えられる。
Figure 0006717424
 Is given by the following equations (5) and (6).

Figure 0006717424
Figure 0006717424

Figure 0006717424
分離行列Wを正しく推定できれば、WAは単位行列となり、信号源sと一致する。
Figure 0006717424
 If the separation matrix W can be correctly estimated, WA becomes an identity matrix, which matches the signal source s.

以下、nを3として説明する。関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveに対して、ある一定時間1〜Tまで、例えばT=900（30fps(frames per second)の場合には30秒間）のR、G、Bの輝度の平均値のデータを取得する。Gの輝度の平均値のデータをGaveとすると、取得したデータは式(7)のようにかける。 In the description below, n is 3. For the average value Rt_ave, Gt_ave, Bt_ave of the brightness of R, G, B in the region of interest, for a certain period of time 1 to T, for example T = 900 (30 seconds in the case of 30 fps (frames per second)) Acquire the data of the average value of R, G, and B brightness. Assuming that the data of the average value of the G brightness is Gave, the acquired data is multiplied by equation (7).

Figure 0006717424
同様にR、Bに関しても、Rave、Baveを取得する。次に、その3つのR、G、Bの輝度の平均値のデータRave、Gave、Baveに対して、正規化を行う。正規化の方法としては、式(8)のように各色の輝度の平均値のデータ列の30秒の平均値で割る。
Figure 0006717424
 Similarly, for R and B, Rave and Bave are acquired. Next, normalization is performed on the data Rave, Gave, and Bave of the average values of the three R, G, and B luminances. The normalization method is to divide by the average value of 30 seconds of the data string of the average value of the brightness of each color as shown in Expression (8).

Figure 0006717424
このようにして得られた正規化後のR、G、Bの輝度の平均値のデータをRnormalize、Gnormalize、Bnormalizeとして、独立成分分析の入力、つまり観測信号x(t)とする。
Figure 0006717424
 The data of the average values of the luminances of R, G, and B after the normalization obtained in this way are set as Rnormalize, Gnormalize, and Bnormalize, and are used as the input of the independent component analysis, that is, the observation signal x(t).

Figure 0006717424
独立成分分析には、分離された独立信号の出現する順番が不定となる性質がある。つまり、心拍信号を最も多く含むと推定される独立信号が、独立成分分析により、分離された複数の出力成分（第一成分〜第三成分）のいずれであるかを特定することができない。
Figure 0006717424
 Independent component analysis has the property that the order of appearance of separated independent signals is indefinite. That is, it is not possible to specify which of the plurality of separated output components (first component to third component) the independent signal estimated to contain most heartbeat signals by the independent component analysis.

本発明では、心拍信号を最も多く含む出力後の独立信号を定めるために、分離行列Wのいずれか一行の係数を心拍強調可能な値に設定する。特に血液中に含まれるヘモグロビンは、緑色の光を吸収する特性があるため、緑色成分（G）に血流から生じる変化が最も表れている可能性が高い。分離行列Wは下記の式(10)のように書ける。 In the present invention, in order to determine the output independent signal containing the largest number of heartbeat signals, the coefficient of any one row of the separation matrix W is set to a value capable of heartbeat enhancement. In particular, hemoglobin contained in blood has a property of absorbing green light, and thus the change caused by blood flow is most likely to appear in the green component (G). The separation matrix W can be written as the following equation (10).

Figure 0006717424
ここで、第一出力成分に心拍成分を出力する例で、下記説明を行う。w11、w12、w13の係数はそれぞれ、Rnormalize、Gnormalize、Bnormalizeにかかる係数である。心拍強調可能な係数として、緑色の波長成分の輝度値にかかる係数の重み或いは係数の絶対値を大きくするような値を選び、w11、w12、w13に設定する。例えば、w11=-1.5、w12=3、w13=-1.5を用いる。ここで、R、G、Bそれぞれの光波長成分の輝度値にかかる係数の和は0になることが望ましい。
Figure 0006717424
 Here, the following description will be made with an example of outputting the heartbeat component as the first output component. The coefficients of w11, w12, and w13 are coefficients related to Rnormalize, Gnormalize, and Bnormalize, respectively. As the coefficient capable of emphasizing the heartbeat, a value that increases the weight of the coefficient for the luminance value of the green wavelength component or the absolute value of the coefficient is selected and set to w11, w12, and w13. For example, w11=-1.5, w12=3, w13=-1.5 are used. Here, it is desirable that the sum of the coefficients relating to the luminance values of the light wavelength components of R, G, and B is 0.

また、N個（R、G、Bの場合はＮ＝３）の光波長成分の輝度値が得られている場合、緑色（Ｇ）の光波長成分の輝度値と緑色以外の光波長成分（Ｒ，Ｂ）にかかる係数の比が（Ｎ−１）：−１になるように設定することが望ましい。 In addition, when the brightness values of N (N=3 in the case of R, G, and B) light wavelength components are obtained, the brightness values of the green (G) light wavelength components and the light wavelength components other than green ( It is desirable to set the ratio of the coefficients for R and B) to be (N-1):-1.

それ以外のw21〜w33の係数は任意の値を用いて良い。より望ましいw21〜w33の係数としては、[w11, w12, w13]の係数ベクトルに対して、正規直交になる係数を用いる。[w11, w12, w13]の係数ベクトルに対して正規直交になるw21〜w33の係数は例えば、グラム・シュミットの正規直交化法を用いて求める。 Any other value may be used for the coefficients of w21 to w33. As more desirable coefficients of w21 to w33, coefficients that are orthonormal to the coefficient vector of [w11, w12, w13] are used. The coefficients of w21 to w33 that are orthonormal to the coefficient vector of [w11, w12, w13] are obtained by using, for example, the Gram-Schmidt orthonormalization method.

N個の光波長成分があったと仮定した際に、それぞれの光波長成分から得られた信号を、C(1)〜C(N)とすると、観測信号x(t)は式(11)のように書ける。 Assuming that there are N light wavelength components, the signals obtained from the respective light wavelength components are C(1) to C(N), and the observed signal x(t) is given by the equation (11). Can be written as

Figure 0006717424
ここでC(2)が緑色の波長成分と仮定し、第一出力成分に心拍成分を出力する分離行列Wの一例は、例えば下記で求められる。
Figure 0006717424
 Here, assuming that C(2) is a green wavelength component, an example of the separation matrix W that outputs the heartbeat component to the first output component is obtained, for example, as follows.

Figure 0006717424
ここで、kは同一行のなかで0以外の数字が入っている個数である。混合行列Wをｌ行n列とすると、下記のようにまとめられる。ｌはｌ＞ｍなる自然数である。
Figure 0006717424
 Here, k is the number of numbers in the same line other than 0. If the mixing matrix W has l rows and n columns, it can be summarized as follows. l is a natural number l>m.

Figure 0006717424
ここでm=2としたものが式(12)に相当する。緑色成分が強調されるように、2列目の重みが大きくなる行を1行目のみに作り、他の行は2列目の重みが他の列と比較して小さくなるように係数を設定する。左記を満たすような1行目に直交する行列を2行目以降に用いた混合行列Wを設定する。実際には、[w11, w12,…, w1N]の係数ベクトルに対する、正規直交な係数ベクトルは複数取ることができるため、式(12)に限らないが、緑色成分Gnormalizeにかかる係数を大きくする一例として上記から求められる係数を用いることが望ましい。例えば、N=3の場合には、式(13)の数字を用いればよい。
Figure 0006717424
 Here, m=2 corresponds to the equation (12). In order to emphasize the green color component, make the row where the weight of the second column becomes large only in the first row, and set the coefficient so that the weights of the other columns become smaller in the second column compared to the other columns. To do. Set the mixing matrix W that uses the matrix orthogonal to the first row that satisfies the left column in the second and subsequent rows. Actually, since a plurality of orthonormal coefficient vectors can be taken for the coefficient vector of [w11, w12,..., w1N], it is not limited to the expression (12), but an example of increasing the coefficient applied to the green component Gnormalize is given. It is desirable to use the coefficient obtained from the above. For example, when N=3, the number in equation (13) may be used.

Figure 0006717424
このように分離行列Ｗを設定することで、心拍成j分を強調する成分が第一成分として出力でき、独立成分分析後に得られる第一出力成分が心拍信号を多く含む信号になることを決定できる。同様に、第二成分、第三成分に出力したい場合には、それぞれ、w11〜w1Nの代わりに、w21〜w2N、w31〜w3Nに対して、心拍強調可能な係数を定めればよい。
Figure 0006717424
 By setting the separation matrix W in this way, it is determined that the component that emphasizes the heartbeat component j can be output as the first component, and the first output component obtained after independent component analysis becomes a signal that contains many heartbeat signals. it can. Similarly, when it is desired to output to the second component and the third component, the coefficients capable of emphasizing the heartbeats may be set for w21 to w2N and w31 to w3N instead of w11 to w1N, respectively.

このように決定した分離行列Wを少なくとも初期値として用いて、独立成分分析を施し、出力信号成分 Independent component analysis is performed using at least the separation matrix W determined in this way as the initial value, and the output signal component

Figure 0006717424
を得る。この場合に、出力信号成分のうち、第一出力成分
Figure 0006717424
 To get In this case, of the output signal components, the first output component

Figure 0006717424
に心拍成分が多く含まれているため、心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
Figure 0006717424
 Since a large number of heartbeat components are included in the heartbeat component, the heartbeat component emphasizing unit 103 outputs the obtained first output signal component.

このように、本発明では心拍成分が含まれる出力成分を決定することができるため、最も多く心拍成分が含まれている出力成分を特定でき、その特定の出力成分、上記の例の場合には第一出力成分を追随することで時間方向の不連続性も解決でき、顔映像からより精度よく心拍を推定することが可能になる。
＜心拍算出部１０４＞
心拍算出部１０４は、心拍成分強調部１０３で得られた第一の出力信号成分を入力とする。まず、所定の時間長の第一の出力信号成分に対して、例えば、フーリエ変換などの周波数領域への変換を施し、周波数スペクトルに変換する。以下では、周波数スペクトルの一態様として、パワースペクトルが求められる場合を例示して説明を行うこととする。なお、周波数スペクトルへの変換には、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）、ウェーブレット変換などの任意の変換方法を用いることができる。所定の時間長は、３０秒間(30fpsなら900フレーム)や１分間(30fpsなら1800フレーム)とする。この時間長は、心拍成分強調部１０３で用いた時間長を用いても良いし、それに限らない。As described above, in the present invention, since the output component including the heartbeat component can be determined, the output component including the most heartbeat component can be specified, and in the case of the specific output component, the above example, By following the first output component, the discontinuity in the time direction can be resolved, and the heartbeat can be estimated more accurately from the face image.
<Heart rate calculator 104>
The heartbeat calculating unit 104 receives the first output signal component obtained by the heartbeat component emphasizing unit 103 as an input. First, for example, the first output signal component having a predetermined time length is subjected to conversion into the frequency domain, such as Fourier transform, to be converted into a frequency spectrum. In the following, a case where a power spectrum is obtained will be described as an example of the frequency spectrum. In addition, for the conversion into the frequency spectrum, any transform such as discrete Fourier transform (DFT: Discrete Fourier Transform), fast Fourier transform (FFT: Fast Fourier Transform), discrete cosine transform (DCT: Discrete Cosine Transform), or wavelet transform is used. Any method can be used. The predetermined time length is 30 seconds (900 frames at 30 fps) or 1 minute (1800 frames at 30 fps). This time length may use the time length used in the heartbeat component emphasis unit 103, but is not limited thereto.

得られた周波数スペクトルにおいて、人間の心拍数の取りうる範囲に対応する周波数領域、例えば、心拍数４０〜２４０[bpm：beats per minute]の範囲に対応する周波数領域(約０．７〜４[Hz])の周波数スペクトルの最大値を求める。求めた最大値に対応する周波数をfとすると、心拍数HRはHR=60fとして算出する。心拍算出部１０４はこのように算出された心拍数を顔映像から推定した推定心拍数として、出力する。 In the obtained frequency spectrum, a frequency range corresponding to a range of a human heart rate, for example, a frequency range corresponding to a range of a heart rate of 40 to 240 [bpm: beats per minute] (about 0.7 to 4[ Find the maximum value of the frequency spectrum of [Hz]). If the frequency corresponding to the obtained maximum value is f, the heart rate HR is calculated as HR=60f. The heart rate calculating unit 104 outputs the heart rate thus calculated as the estimated heart rate estimated from the face image.

このような構成をとることにより、非接触でありながら、顔映像から心拍数を高精度に推定することが可能になる。 By adopting such a configuration, it becomes possible to estimate the heart rate from the face image with high accuracy without contact.

次に、心拍推定装置１０００の動作について説明する。図３に示されるように、撮像装置Ｃ１を用いて画像データを取得する（ステップ（Ｓｔｅｐ：以下、単にＳと称する）１０１）。撮像装置Ｃ１は取得した画像データを関心領域検出部１０１へ出力する。 Next, the operation of the heartbeat estimation device 1000 will be described. As shown in FIG. 3, image data is acquired using the imaging device C1 (step (Step: hereinafter, simply referred to as S) 101). The imaging device C1 outputs the acquired image data to the ROI detecting unit 101.

関心領域検出部１０１は、入力された画像データに基づいて、所定の時間（たとえば、1フレーム）毎に顔領域を検出する（Ｓ１０２）。次に、関心領域検出部１０１は検出した顔領域から顔特徴点を検出する（Ｓ１０３）。次に、関心領域検出部１０１は、検出した顔特徴点を基に、関心領域を決定（Ｓ１０４）し、輝度値算出部１０２に出力する。 The region-of-interest detecting unit 101 detects a face region at predetermined time intervals (for example, one frame) based on the input image data (S102). Next, the region-of-interest detection unit 101 detects face feature points from the detected face region (S103). Next, the region-of-interest detection unit 101 determines a region of interest based on the detected facial feature points (S104) and outputs it to the brightness value calculation unit 102.

輝度値算出部１０２は、関心領域内の輝度値を算出し、心拍成分強調部１０３に出力する（Ｓ１０５）。 The brightness value calculation unit 102 calculates the brightness value in the region of interest and outputs it to the heartbeat component enhancement unit 103 (S105).

心拍成分強調部１０３では、一定フレーム数の入力があったかを確認し、一定フレーム数以上の輝度値が算出出来ている場合（Ｓ１０６、ＹＥＳ）に、独立成分分析を施す（Ｓ１０７）。具体的には、例えば一定時間として３０フレーム毎秒で映像を取得している場合には、３０秒分の９００フレームのＲ、Ｇ、Ｂの輝度値から、事前に定めた分離行列Wを用いて、独立成分分析を実施して、心拍算出部１０４に求めた成分を出力する。 The heartbeat component emphasizing unit 103 confirms whether a certain number of frames have been input, and when a luminance value equal to or more than the certain number of frames has been calculated (S106, YES), an independent component analysis is performed (S107). Specifically, for example, when an image is acquired at 30 frames per second for a fixed time, a predetermined separation matrix W is used from the R, G, and B brightness values of 900 frames for 30 seconds. , Independent component analysis is performed, and the obtained component is output to the heartbeat calculation unit 104.

最後に、心拍算出部１０４は、心拍成分強調部１０３による独立成分分析の出力成分から心拍数を算出する（Ｓ１０８）。そして、心拍数を出力し、処理が終了する。 Finally, the heartbeat calculation unit 104 calculates the heartbeat rate from the output component of the independent component analysis by the heartbeat component emphasis unit 103 (S108). Then, the heart rate is output and the process ends.

一方、一定フレーム数以上の輝度値が算出出来ていない場合（Ｓ１０６、ＮＯ）は、心拍推定装置１０００はＳ１０１以降の処理を繰り返す。以上で、心拍推定装置１０００の処理が終了する。 On the other hand, when the brightness value equal to or more than the fixed number of frames has not been calculated (S106, NO), the heartbeat estimation apparatus 1000 repeats the processing from S101. With that, the process of the heartbeat estimation apparatus 1000 is completed.

以上、第１実施形態によれば、分離行列Wの一行の係数を心拍強調可能な値に設定することにより、心拍信号を最も多く含む出力後の独立信号を定めることができる。心拍推定に有利な固定係数をＩＣＡの混合行列の初期値として用いることにより、心拍成分が表れる出力成分を特定することができる。 As described above, according to the first embodiment, by setting the coefficient of one row of the separation matrix W to a value that enables heartbeat enhancement, it is possible to determine the output independent signal that includes the most heartbeat signals. By using a fixed coefficient that is advantageous for heartbeat estimation as the initial value of the ICA mixing matrix, it is possible to specify the output component in which the heartbeat component appears.

また、出力成分方向の時間方向連続性も担保できる。これにより、勤務中や運転中など日常生活中の被験者の動きや表情変化などを含む顔映像から、心拍を精度良く推定することができる。 In addition, the temporal continuity of the output component direction can be ensured. As a result, the heartbeat can be accurately estimated from the facial image including the movement and facial expression changes of the subject during daily life such as working or driving.

［第１実施形態の変形例1］
第１実施形態の変形例1は図１のブロック図と構成は同様であるが、処理が異なるので以下説明する。本変形例１では、心拍成分強調部１０３で用いる混合行列Wの初期値を関心領域以外の輝度値の情報から決定する。
＜撮像装置Ｃ１＞
本変形例１における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
関心領域検出部１０１では、撮像装置Ｃ１から得られた映像信号である画像データ１１０を入力とする。第１実施形態と異なり、本変形例１では、関心領域検出部１０１の出力が決定した関心領域の画像データに加えて、関心領域以外の画像データも出力する。
＜輝度値算出部１０２＞
輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データと関心領域以外の画像データを入力とする。本変形例１では、第１実施形態での関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを輝度値として算出することに加え、関心領域以外の領域のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgも輝度値として算出する。輝度値算出部１０２は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveである輝度値と、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgである輝度値を出力する。
＜心拍成分強調部１０３＞
心拍成分強調部１０３は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveと、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgを入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。[Modification 1 of the first embodiment]
Modification 1 of the first embodiment has the same configuration as the block diagram of FIG. 1, but the processing is different, and will be described below. In the first modification, the initial value of the mixing matrix W used in the heartbeat component emphasizing unit 103 is determined from the information of the brightness value other than the region of interest.
<Imaging device C1>
The image pickup apparatus C1 according to the first modification is similar to that shown in FIG.
<Region of Interest Detection Unit 101>
The ROI detection unit 101 receives the image data 110, which is a video signal obtained from the imaging device C1. Unlike the first embodiment, in the first modified example, in addition to the image data of the ROI determined to be output by the ROI detecting unit 101, image data other than the ROI is also output.
<Brightness value calculation unit 102>
The brightness value calculation unit 102 receives the image data of the region of interest, which is the facial region obtained from the region of interest detection unit 101, and the image data other than the region of interest. In the first modification, in addition to calculating the average values Rt_ave, Gt_ave, and Bt_ave of the brightness of R, G, and B in the region of interest in the first embodiment as the brightness values, R and G of the regions other than the region of interest are calculated. , B average brightness values Rt_ave_bg, Gt_ave_bg, Bt_ave_bg are also calculated as brightness values. The brightness value calculation unit 102 calculates brightness values Rt_ave, Gt_ave, and Bt_ave which are average values of brightness of R, G, and B in the ROI and average brightness values Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg of R, G, and B other than the ROI. The brightness value is output.
<Heartbeat component emphasis unit 103>
The heartbeat component emphasizing unit 103 inputs the average values Rt_ave, Gt_ave, Bt_ave of the brightness of R, G, B in the ROI and the average values Rt_ave_bg, Gt_ave_bg, Bt_ave_bg of the brightness of R, G, B other than the ROI. .. Independent component analysis is used for the heartbeat signal enhancement as in the first embodiment.

本変形例1では、混合行列Wに用いる初期値を、関心領域以外の輝度値も用いて決定する。関心領域も関心領域以外も同じ光源を共有していると仮定できるため、照明変動は関心領域以外(背景)の輝度変化と関心領域の輝度変化には相関があると考えられる。そのため、例えば、心拍変動が最も表れやすい緑色に着目し、関心領域内の輝度値から関心領域以外の輝度の定数倍(式(14)のh)を引いた値GHRを求める。In this modified example 1, the initial value used for the mixing matrix W is also determined by using the brightness values other than the region of interest. Since it can be assumed that the region of interest and the region other than the region of interest share the same light source, it is considered that the illumination variation has a correlation between the luminance change outside the region of interest (background) and the luminance change in the region of interest. Therefore, for example, focusing on the green color in which the heartbeat fluctuation is most likely to appear, a value G HR is obtained by subtracting a constant multiple of the brightness outside the region of interest (h in Expression (14)) from the brightness value inside the region of interest.

Figure 0006717424
hの決定には、例えば、Normalized Least Mean Square (NLMS) adaptive filterを用いて決定する。ここで求めたhを分離行列Wの係数として用いる。観測信号をx(t)として、下記の式(15)、(16)を用いて独立成分分析を施す。
Figure 0006717424
 To determine h, for example, a Normalized Least Mean Square (NLMS) adaptive filter is used. The h obtained here is used as the coefficient of the separation matrix W. Independent component analysis is performed using the following equations (15) and (16) with the observed signal as x(t).

Figure 0006717424
Figure 0006717424

Figure 0006717424
係数をこのような値に設定することで、照明環境に頑健な心拍数の推定が可能になる。心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
＜心拍算出部１０４＞
本変形例１における心拍算出部１０４の動作は、図1と同様であるため、説明を省略する。
Figure 0006717424
 By setting the coefficient to such a value, it becomes possible to robustly estimate the heart rate in the lighting environment. The heartbeat component emphasizing unit 103 outputs the obtained first output signal component.
<Heart rate calculator 104>
The operation of the heartbeat calculation unit 104 in the first modification is the same as that in FIG.

以上、第１実施形態の変形例１によれば、関心領域以外の輝度値も用いる。このため、照明環境に頑健な心拍数の推定が可能になる As described above, according to the first modification of the first embodiment, the brightness value other than the region of interest is also used. This makes it possible to estimate the heart rate that is robust in the lighting environment.

［第１実施形態の変形例２］
第１実施形態の変形例２は図１のブロック図と構成は同様であるが、処理が異なるので以下説明する。本変形例２では、心拍成分強調部１０３で用いる独立成分分析を施す対象の信号を関心領域以外の輝度値の情報から補正して用いる。
＜撮像装置Ｃ１＞
本変形例２における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
本変形例２における関心領域検出部１０１は、第１実施形態の変形例1と同様、関心領域検出部１０１の出力が決定した関心領域の画像データに加えて、関心領域以外の画像データも出力する。
＜輝度値算出部１０２＞
輝度値算出部１０２は関心領域検出部１０１から得られた顔部分領域である関心領域の画像データと関心領域以外の画像データを入力とする。本変形例２における輝度値算出部１０２の動作は、第１実施形態の変形例1と同様であるため、説明を省略する。
＜心拍成分強調部１０３＞
心拍成分強調部１０３は関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveである輝度値と、関心領域以外のR、G、Bの輝度の平均値Rt_ave_bg、Gt_ave_bg、Bt_ave_bgである輝度値を入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。[Modification 2 of the first embodiment]
The second modification of the first embodiment has the same configuration as the block diagram of FIG. 1, but the processing is different, and therefore will be described below. In the second modified example, the signal to be subjected to the independent component analysis used in the heartbeat component emphasizing unit 103 is corrected from the information of the luminance value other than the region of interest and used.
<Imaging device C1>
The imaging device C1 in the second modification is similar to that in FIG.
<Region of Interest Detection Unit 101>
The region-of-interest detection unit 101 in Modification 2 outputs image data other than the region of interest in addition to the image data of the region of interest determined by the output of the region-of-interest detection unit 101, as in Modification 1 of the first embodiment. To do.
<Brightness value calculation unit 102>
The brightness value calculation unit 102 receives the image data of the region of interest, which is the facial region obtained from the region of interest detection unit 101, and the image data other than the region of interest. The operation of the brightness value calculation unit 102 in the second modification is the same as that in the first modification of the first embodiment, and thus the description thereof will be omitted.
<Heartbeat component emphasis unit 103>
The heartbeat component emphasizing unit 103 is a luminance value that is an average value Rt_ave, Gt_ave, and Bt_ave of the brightness of R, G, and B in the ROI and an average value Rt_ave_bg, Gt_ave_bg, and Bt_ave_bg of the brightness of R, G, and B other than the ROI. The input luminance value is. Independent component analysis is used for the heartbeat signal enhancement as in the first embodiment.

本変形例２では、関心領域以外の輝度値を用いてRt_ave、Gt_ave、Bt_aveを補正し、その信号に対して独立成分分析を施す。関心領域も関心領域以外も同じ光源を共有していると仮定できるため、照明変動は関心領域以外(背景)の輝度変化と関心領域の輝度変化には相関があると考えられる。そのため、例えば、心拍変動が最も表れやすい緑色に着目し、関心領域内の輝度値から関心領域以外の輝度の定数倍(式(14)のh)を引いた値GHRを求める。hの決定には、例えば、Normalized Least Mean Square (NLMS) adaptive filterを用いて決定する。Rt_ave、Bt_aveも同様にRHR、BHRを定める。In the second modification, Rt_ave, Gt_ave, and Bt_ave are corrected by using the brightness values other than the region of interest, and the independent component analysis is performed on the signal. Since it can be assumed that the region of interest and the region other than the region of interest share the same light source, it is considered that the illumination variation has a correlation between the luminance change outside the region of interest (background) and the luminance change in the region of interest. Therefore, for example, focusing on the green color in which the heartbeat fluctuation is most likely to appear, a value G HR is obtained by subtracting a constant multiple of the brightness outside the region of interest (h in Expression (14)) from the brightness value inside the region of interest. To determine h, for example, a Normalized Least Mean Square (NLMS) adaptive filter is used. Rt_ave and Bt_ave similarly define R HR and B HR .

このRHR、GHR、BHRを観測信号x(t)として、混合行列Wの係数は第１実施形態と同様の係数を用いて、独立成分分析を施す。観測信号x(t)に照明変動を除いた信号を用いることで、照明環境に頑健で高精度な心拍数の推定が可能になる。
心拍成分強調部１０３は得られた第一の出力信号成分を出力する。
＜心拍算出部１０４＞
本変形例２における心拍算出部１０４の動作は、図1と同様であるため、説明を省略する。The R HR , G HR , and B HR are used as the observed signal x(t), and the coefficients of the mixing matrix W are subjected to independent component analysis using the same coefficients as in the first embodiment. By using the signal excluding the illumination fluctuation as the observation signal x(t), it becomes possible to robustly estimate the heart rate in the illumination environment with high accuracy.
The heartbeat component emphasizing unit 103 outputs the obtained first output signal component.
<Heart rate calculator 104>
The operation of the heartbeat calculation unit 104 in the second modification is the same as that in FIG.

以上、第１実施形態の変形例２によれば、関心領域以外の輝度値を用いて信号を補正することにより、照明環境に頑健な心拍数の推定が可能になる。 As described above, according to the second modification of the first embodiment, it is possible to estimate the heart rate robust to the illumination environment by correcting the signal using the brightness value other than the region of interest.

［第２実施形態］
本発明の第２実施形態としての心拍推定装置２０００について、図４を用いて説明する。図４は本発明の第２の実施形態に係る心拍推定装置の構成を示すブロック図である。
心拍推定装置２０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図４に示すように心拍推定装置２０００は、関心領域検出部１０１と輝度値算出部１０２と心拍成分強調部２０１と心拍算出部１０４を含む。＜撮像装置Ｃ１＞
第２実施形態における撮像装置Ｃ１は、図1と同様であるため説明を省略する。
＜関心領域検出部１０１＞
第２実施形態における関心領域検出部１０１は、図１と同様であるため、説明を省略する。
＜輝度値算出部１０２＞
第２実施形態における輝度値算出部１０２は、図１と同様であるため、説明を省略する。
＜心拍成分強調部２０１＞
心拍成分強調部２０１は心拍成分強調処理部２０１−１と保存部２０１−２を備える。心拍成分強調処理部２０１−１は心拍成分を強調する。保存部２０１−２は式(10)の分離行列の係数を保存する。[Second Embodiment]
A heartbeat estimating apparatus 2000 as a second embodiment of the present invention will be described with reference to FIG. FIG. 4 is a block diagram showing the configuration of the heartbeat estimating apparatus according to the second embodiment of the present invention.
The heartbeat estimation device 2000 is a device that accurately estimates the heartbeat from a face image of a subject in daily life such as working or driving. As shown in FIG. 4, the heartbeat estimation device 2000 includes a region-of-interest detection unit 101, a brightness value calculation unit 102, a heartbeat component emphasis unit 201, and a heartbeat calculation unit 104. <Imaging device C1>
The image pickup apparatus C1 according to the second embodiment is the same as that shown in FIG.
<Region of Interest Detection Unit 101>
The region-of-interest detection unit 101 in the second embodiment is the same as that in FIG.
<Brightness value calculation unit 102>
The brightness value calculation unit 102 in the second embodiment is the same as that in FIG.
<Heartbeat component emphasis unit 201>
The heartbeat component enhancement unit 201 includes a heartbeat component enhancement processing unit 201-1 and a storage unit 201-2. The heartbeat component emphasis processing unit 201-1 emphasizes the heartbeat component. The storage unit 201-2 stores the coefficient of the separation matrix of Expression (10).

まず、心拍成分強調処理部２０１−１は輝度値算出部１０２から得られた関心領域内のR、G、Bの輝度の平均値Rt_ave、Gt_ave、Bt_aveを入力とする。心拍信号強調には、第１実施形態と同様に独立成分分析を用いる。 First, the heartbeat component enhancement processing unit 201-1 inputs the average values Rt_ave, Gt_ave, and Bt_ave of the brightness of R, G, and B in the region of interest obtained from the brightness value calculation unit 102. Independent component analysis is used for the heartbeat signal enhancement as in the first embodiment.

ここでも第１実施形態と同様、第一出力成分に心拍成分を出力する例で説明を行う。式(10)の分離行列Wについて、初期値を第１実施形態のようにw11=1.5、w12=-3、w13=1.5を正規化した値、例えば、[w11, w12, w13]=[0.408248, -0.81649655, 0.408248]に定めたとする。[w21, w22, w23]、[w31, w32, w33]は[w11, w12, w13]に正規直交する係数ベクトルとする。このように定めたWに対して、独立成分分析の更新において、出力成分が定まる傾向が見られるまで、分離行列Wの第一行目を固定したままにする。出力成分が定まった段階で、第一行目を解放する。その際、第二行目と第三行目も解放して、第一行目から第三行目まですべてを再学習してもよい。ただし、第二行目と第三行目は出力成分が定まった時点での値に固定したまま、第一行目のみを再学習することが望ましい。つまり、N行の場合には、固定した行を再学習する際には残りのN-1行を固定することが望ましい。 Here, similarly to the first embodiment, an example in which the heartbeat component is output as the first output component will be described. Regarding the separation matrix W of the formula (10), the initial value is a value obtained by normalizing w11=1.5, w12=-3, and w13=1.5 as in the first embodiment, for example, [w11, w12, w13]=[0.408248 , -0.81649655, 0.408248]. [w21, w22, w23] and [w31, w32, w33] are coefficient vectors that are orthonormal to [w11, w12, w13]. With respect to W determined in this way, the first row of the separation matrix W is fixed until the output component tends to be determined in updating the independent component analysis. The first line is released when the output component is determined. At that time, the second and third lines may be released, and all the first to third lines may be relearned. However, it is desirable to re-learn only the first row while keeping the output values of the second and third rows fixed at the time when the output components were determined. That is, in the case of N rows, it is desirable to fix the remaining N-1 rows when re-learning the fixed rows.

このようにすることで、心拍成分以外の成分は第二、第三成分に出力される可能性が高まり、心拍成分以外の出力成分が定まった段階で、再度心拍成分を強調する係数を再学習することで、環境に頑健な分離行列の決定ができる。そのため、照明変動や肌色の個人差によらず、環境に頑健に心拍成分を分離することが可能になる。 By doing this, the components other than the heartbeat component are more likely to be output to the second and third components, and when the output components other than the heartbeat component are determined, the coefficient for emphasizing the heartbeat component is relearned again. By doing so, a separation matrix that is robust to the environment can be determined. Therefore, it becomes possible to robustly separate the heartbeat component into the environment regardless of variations in illumination and individual differences in skin color.

なお、出力成分が定まったかどうかの判定には、例えば、出力成分間の相関を用いて、出力成分間の相関が振動し出したら、独立成分分析の学習は収束していると判定する。 To determine whether the output components have been determined, for example, the correlation between the output components is used, and if the correlation between the output components starts to oscillate, it is determined that the learning of the independent component analysis has converged.

保存部２０１−２には、分離行列Wの初期値として与えた値を保存しておく。 The storage unit 201-2 stores the value given as the initial value of the separation matrix W.

次に、独立成分分析の学習後に得られる分離行列Wに対して、初期値として与えた[w11,
w12, w13]に最も近い分離行列Wにかかる出力成分を、心拍成分の出力成分として選択する。その際に、保存部２０１−２に格納されている初期値で定めた心拍を強調する係数ベクトルを呼び出して、学習後に得られる分離行列Wの各行ベクトルと比較する。比較の方法としては、例えば、初期値で定めたベクトルと学習後の分離行列Wの書く行ベクトルとのコサイン類似度を用いて、1に近い行ベクトルにかかる出力成分を出力とする。心拍成分強調部２０１は選択した行ベクトルにかかる出力信号成分を出力する。
＜心拍算出部１０４＞
心拍算出部１０４は、心拍成分強調部２０１で選択した行ベクトルにかかる出力信号成分を入力とする。第２実施形態における心拍算出部１０４の動作は、図１と同様であるため、説明を省略する。Next, the separation matrix W obtained after learning the independent component analysis is given as an initial value [w11,
The output component of the separation matrix W closest to [w12, w13] is selected as the output component of the heartbeat component. At that time, the coefficient vector that emphasizes the heartbeat defined by the initial value stored in the storage unit 201-2 is called and compared with each row vector of the separation matrix W obtained after learning. As a comparison method, for example, the cosine similarity between the vector defined by the initial value and the row vector written in the separated matrix W after learning is used to output the output component related to the row vector close to 1. The heartbeat component emphasizing unit 201 outputs the output signal component associated with the selected row vector.
<Heart rate calculator 104>
The heartbeat calculation unit 104 receives the output signal component of the row vector selected by the heartbeat component enhancement unit 201. The operation of the heartbeat calculation unit 104 in the second embodiment is similar to that of FIG.

このように、第２実施形態では心拍成分を固定し学習を行う。これにより、心拍成分以外の成分は第二、第三成分に出力される可能性が高まる。また、心拍成分以外の出力成分が定まった段階で、再度心拍成分を強調する係数を再学習することで、環境に頑健な分離行列の決定ができる。そのため、照明変動や肌色の個人差によらず、環境に頑健に心拍成分を分離が可能になる。 As described above, in the second embodiment, learning is performed by fixing the heartbeat component. As a result, the components other than the heartbeat component are more likely to be output to the second and third components. Further, when the output components other than the heartbeat component are determined, the coefficient for emphasizing the heartbeat component is relearned again, so that the separation matrix that is robust to the environment can be determined. Therefore, it is possible to robustly separate the heartbeat component from the environment regardless of the variation in illumination and the individual difference in skin color.

［第２実施形態の変形例］
第２実施形態の変形例は、図4のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
第２実施形態の変形例における撮像装置Ｃ１は、図４と同様であるため説明を省略する。
＜関心領域検出部１０１＞
第２実施形態の変形例における関心領域検出部１０１は、図４と同様であるため、説明を省略する。
＜輝度値算出部１０２＞
第２実施形態の変形例における輝度値算出部１０２は、図４と同様であるため、説明を省略する。
＜心拍成分強調部２０１＞
心拍成分強調部２０１は心拍成分強調処理部２０１−１と保存部２０１−２から構成される。心拍成分強調処理部２０１−１は、心拍成分強調を行う。保存部２０１−２は式(10)の分離行列の係数が保存されている。第２実施形態の変形例における心拍成分強調部２０１の動作は、図４と同様である。[Modification of Second Embodiment]
The modified example of the second embodiment has the same configuration as the block diagram of FIG. 4, but the processing is different and will be described below.
<Imaging device C1>
The imaging device C1 in the modified example of the second embodiment is the same as that in FIG.
<Region of Interest Detection Unit 101>
The region-of-interest detection unit 101 according to the modified example of the second embodiment is the same as that shown in FIG.
<Brightness value calculation unit 102>
The brightness value calculation unit 102 in the modified example of the second embodiment is the same as that in FIG.
<Heartbeat component emphasis unit 201>
The heartbeat component emphasis unit 201 is composed of a heartbeat component emphasis processing unit 201-1 and a storage unit 201-2. The heartbeat component emphasis processing unit 201-1 performs heartbeat component emphasis. The storage unit 201-2 stores the coefficients of the separation matrix of Expression (10). The operation of the heartbeat component enhancing unit 201 in the modification of the second embodiment is the same as that in FIG.

ただし、本変形例は、心拍推定の対象となる人や、心拍推定を行う環境に応じた分離行列Wの係数を用いて心拍推定を行う点で上述の第２実施形態と異なる。本変形例では、分離行列Wの係数を人毎或いは環境毎に別々に保存部２０１−２に保存する。心拍成分強調処理部２０１−１は、心拍推定の対象となる人や、心拍推定を行う環境に対応する分離行列Wの係数を保存部２０１−２から読み出して独立成分分析を行う。 However, the present modified example is different from the above-described second embodiment in that the heartbeat estimation is performed using the coefficient of the separation matrix W according to the person who is the target of the heartbeat estimation and the environment in which the heartbeat estimation is performed. In this modification, the coefficients of the separation matrix W are separately stored in the storage unit 201-2 for each person or each environment. The heartbeat component enhancement processing unit 201-1 reads the coefficient of the separation matrix W corresponding to the person who is the target of the heartbeat estimation and the environment in which the heartbeat estimation is performed from the storage unit 201-2 and performs the independent component analysis.

人毎に最適な分離行列Wの係数は、例えば、心電図やウェアラブルセンサなどの脈波もしくは正解心拍数の結果と、本発明の映像からの推定心拍手法に基づく、複数の分離行列Wから推定した推定心拍数の結果とを照らし合わせ、最も差が小さいものを最適な係数として保持しておく。 The coefficient of the optimal separation matrix W for each person is estimated from a plurality of separation matrices W based on, for example, the result of the pulse wave or the correct heart rate of an electrocardiogram or a wearable sensor, and the estimated heartbeat method from the image of the present invention. The result of the estimated heart rate is checked and the one with the smallest difference is held as the optimum coefficient.

環境毎に最適な分離行列Wの係数は、例えば、オフィス環境、家庭環境、車内環境、屋外環境で最適な係数をそれそれで取得して、保存しておき、人や環境に合わせた係数を用いる。
＜心拍算出部１０４＞
第２実施形態における心拍算出部１０４の動作は、図４と同様であるため説明を省略する。As the coefficient of the separation matrix W that is optimal for each environment, for example, the coefficient that is optimal for the office environment, home environment, vehicle interior environment, and outdoor environment is acquired and stored, and the coefficient that is suitable for the person and environment is used. ..
<Heart rate calculator 104>
The operation of the heartbeat calculation unit 104 in the second embodiment is similar to that of FIG.

以上、第２実施形態の変形例によれば、人毎や環境毎に定めた値を分離行列Wに用いる。このため個人差や環境の違いに頑健な心拍推定が可能になる As described above, according to the modified example of the second embodiment, the value determined for each person or each environment is used for the separation matrix W. This makes it possible to estimate the heartbeat robustly to individual differences and environmental differences.

［第３実施形態］
本発明の第３実施形態としての心拍推定装置３０００について、図５を用いて説明する。心拍推定装置３０００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定する装置である。図５に示すように心拍推定装置３０００は、関心領域検出部３０１と信頼領域決定部３０２と輝度値算出部３０３と心拍成分フィルタ部３０４と心拍成分強調部３０５と心拍算出部３０６と外れ値除去部３０７を含む。
＜撮像装置Ｃ１＞
第３実施形態における撮像装置Ｃ１は、図１の第１実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
第３実施形態における関心領域検出部３０１の動作は、図１の関心領域検出部１０１と同様であるため、説明を省略する。関心領域検出部３０１は関心領域の画像データと顔特徴点の座標を出力する。
＜信頼領域決定部３０２＞
信頼領域決定部３０２は関心領域検出部３０１から得られた顔部分領域である関心領域の画像データと顔特徴点の座標を入力とする。信頼領域決定部３０２は、関心領域の画像データから関心領域の部分領域における信頼度を決定する。具体的には、関心領域のうち、心拍を高精度に推定できる部分領域の信頼度は高く、心拍の推定精度が低い部分領域の信頼度は低くなるように決定する。[Third Embodiment]
A heartbeat estimating apparatus 3000 as a third embodiment of the present invention will be described with reference to FIG. The heartbeat estimation device 3000 is a device that accurately estimates the heartbeat from a face image of a subject in daily life such as working or driving. As shown in FIG. 5, the heartbeat estimation device 3000 includes a region of interest detection unit 301, a confidence region determination unit 302, a brightness value calculation unit 303, a heartbeat component filter unit 304, a heartbeat component emphasis unit 305, a heartbeat calculation unit 306, and outlier removal. Including part 307.
<Imaging device C1>
The image pickup apparatus C1 in the third embodiment is similar to that in the first embodiment in FIG.
<Region of Interest Detection Unit 301>
The operation of the region-of-interest detection unit 301 in the third embodiment is similar to that of the region-of-interest detection unit 101 in FIG. The ROI detection unit 301 outputs the image data of the ROI and the coordinates of the facial feature points.
<Trusted area determination unit 302>
The confidence region determination unit 302 receives the image data of the region of interest, which is the face partial region, obtained from the region of interest detection unit 301 and the coordinates of the facial feature points. The reliability region determination unit 302 determines the reliability of the partial region of the region of interest from the image data of the region of interest. Specifically, of the region of interest, it is determined so that the reliability of the partial region in which the heartbeat can be estimated with high accuracy is high and the reliability of the partial region in which the heartbeat estimation accuracy is low is low.

まず、関心領域を顔特徴点の座標（ｕｐ，ｖｐ）を基に、Ｍ箇所（Ｍは１以上の整数）の顔部分領域に分ける。次に、部分領域ごとに信頼度を決定する。ここで、信頼度の決定方法の例として望ましい方法を３つ述べる。ただし、これらはあくまで一例であり、これに限らない。 First, the region of interest is divided into M face portions (M is an integer of 1 or more) based on the coordinates (up, vp) of the facial feature points. Next, the reliability is determined for each partial area. Here, three desirable methods will be described as examples of the reliability determination method. However, these are merely examples, and the present invention is not limited thereto.

１つは、生理的に脈拍の変化が取りやすいと考えられる領域の信頼度を高くする。人間の生理的な性質を考慮すると、顔領域のうち、特に血流量が多い箇所は顎から頬にかけての顔面動脈付近である。この顔面動脈を含む部分領域の信頼度を高く設定する。信頼度を例えば、0〜1までの値として、0だと信頼度が低い、1だと信頼度が高いとしておき、顎から頬にかけての顔面動脈を含む領域の信頼度を1、それ以外を0とする。なお、ここでは説明を簡単にするため、信頼度を0と1にするとしたが、顔面動脈からの距離をもとに信頼度を0.5などと設定してもよい。その他の生理的に脈拍の変化が取りやすい領域としては、皮膚の薄い領域がある。例えば、まぶたや目の下の領域は他の領域と比較して1/2〜1/4程度皮膚が薄いと言われている。そのため上記の領域を含む部分領域の信頼度を高く設定するのでも良い。 One is to increase the reliability of a region in which it is physiologically considered that a change in pulse is likely to occur. Considering the physiological characteristics of human beings, the part of the face area where the blood flow is particularly high is near the facial artery from the chin to the cheek. The reliability of the partial area including the facial artery is set high. For example, the reliability is set as a value from 0 to 1, 0 is low reliability, 1 is high reliability, and the reliability of the region including the facial artery from the jaw to the cheek is 1; Set to 0. Note that the reliability is set to 0 and 1 for simplification of description, but the reliability may be set to 0.5 or the like based on the distance from the facial artery. Another area where physiological change of the pulse is easily obtained is a thin area of the skin. For example, it is said that the skin of the eyelids and the area under the eyes is thinner by 1/2 to 1/4 than other areas. Therefore, the reliability of the partial area including the above area may be set to be high.

２つめに、平らな領域の信頼度を高くすることも心拍推定には効果的である。これは、凹凸のある領域は被験者の動きによる輝度変化が大きくなるため、心拍推定精度の低下が大きいためである。顔領域の中で平らな領域は額である。右目と左目の顔特徴点の位置から、左目と右目の間の画素数をPとして、P/4上部の領域から、P×2/Pで囲まれる領域を額領域として決定する。得られた額領域の信頼度を高くする。その他の平らな領域の決定法として、隣り合う画素値の輝度勾配を基に、輝度勾配が少ない箇所を平らな領域として決定するのでもよい。 Secondly, increasing the reliability of the flat area is also effective for heart rate estimation. This is because the unevenness of the region causes a large change in luminance due to the movement of the subject, and thus the accuracy of heartbeat estimation is greatly reduced. The flat area in the face area is the forehead. From the positions of the facial feature points of the right eye and the left eye, the number of pixels between the left eye and the right eye is set as P, and the area surrounded by P×2/P from the upper area of P/4 is determined as the forehead area. Increase the reliability of the obtained forehead region. As another method of determining a flat area, a portion having a small brightness gradient may be determined as a flat area based on the brightness gradients of adjacent pixel values.

３つめに、部分領域ごとの輝度値の分散から信頼度を算出する。ある一定時間1〜Tまで、例えばT=900、つまり30fpsの場合に30秒分のR、G、Bの輝度の平均値のデータを取得して、G成分ならその分散値Gνを下記の式(17)によって算出する。μは各色の輝度の平均値のデータ列の30秒の平均値とする。同様に、Rν、Bνを算出する。Thirdly, the reliability is calculated from the variance of the brightness value for each partial area. Until a certain time 1 to T, for example T = 900, i.e. R of 30 seconds in the case of 30fps, to obtain G, the data of the average value of the luminance of B, and the dispersion value G [nu below if G component It is calculated by equation (17). Let μ be the average value for 30 seconds of the data string of the average value of the brightness of each color. Similarly, R ν and B ν are calculated.

Figure 0006717424
得られた分散値に対して、ある閾値以下かどうか判定し、閾値以下である場合に、信頼度を高く設定する。また、分散値の逆数をそのまま信頼度としても用いても良い。
Figure 0006717424
 It is determined whether the obtained variance value is below a certain threshold value, and if it is below the threshold value, the reliability is set high. Further, the reciprocal of the variance value may be used as it is as the reliability.

顔の領域のなかで、動きの激しい領域、例えば、口元などは分散値が高くなる傾向がある。動きが激しいと、輝度変化も大きいため、心拍推定に用いると誤差が大きくなる可能性がある。そのため、分散値を基に信頼度を決定することで、心拍推定に有利な部分領域を抽出することが可能になる。 In the face area, the variance value tends to be high in an area with a lot of movement, such as the mouth. When the movement is intense, the change in brightness is large, and therefore the error may increase when it is used for heart rate estimation. Therefore, by determining the reliability based on the variance value, it becomes possible to extract a partial region advantageous for heartbeat estimation.

以上のように、信頼領域決定部１０２は、顔部分領域とその領域の信頼度を出力する。＜輝度値算出部３０３＞
輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。まず、輝度の階調値から、関心領域のＲ、Ｇ、Ｂの各色成分について顔部分領域内の輝度の平均値を算出する。例えば、30fps（30フレーム/秒）で画像を取得していた場合には、1フレームごとの平均値を算出する。ここで、フレームtにおける座標（i, j）におけるR、G、Bの輝度の階調値をRt（i, j）、Gt（i, j）、Bt（i, j）とする。関心領域の大きさがi=is〜ie、j=js〜jeの範囲内の座標であると仮定する。is、ie、js、jeはそれぞれ、画像データの画素のx座標の開始位置、x座標の終了位置、y座標の開始位置、y座標の終了位置を示す。その場合、関心領域内のG信号の輝度の平均値Gt_aveは式(1)で算出する。As described above, the confidence area determination unit 102 outputs the face part area and the reliability of the area. <Brightness value calculation unit 303>
The brightness value calculation unit 303 receives the face part region obtained from the confidence region determination unit 302 and the reliability of the region as inputs. First, the average value of the brightness in the face part region is calculated for each of the R, G, and B color components of the region of interest from the brightness gradation value. For example, when the image is acquired at 30 fps (30 frames/second), the average value for each frame is calculated. Here, the gradation values of the brightness of R, G, and B at the coordinates (i, j) in frame t are Rt(i, j), Gt(i, j), and Bt(i, j). It is assumed that the size of the region of interest has coordinates within the range of i=i s to i e and j=j s to j e . i s , i e , j s , and j e respectively indicate the start position of the x coordinate, the end position of the x coordinate, the start position of the y coordinate, and the end position of the y coordinate of the pixel of the image data. In that case, the average value Gt_ave of the brightness of the G signal in the region of interest is calculated by Expression (1).

RとBに対しても同様に平均値Rt_ave、Bt_aveを計算することができる。次に、Rt_ave、Gt_ave、Bt_aveに信頼領域決定部３０２で決定した信頼度をかける。簡単な例として、顔特徴点が、ｐ＝４、Ｍ＝３として右目、左目、鼻、口の中央の位置4箇所とする。信頼領域決定部３０２にて、その際の（ア)顔部分領域を右目、鼻、口を頂点とする三角形の領域、(イ)右目、鼻、左目を頂点とする三角形の領域、(ウ)左目、鼻、口を頂点とする三角形の領域の3箇所に顔部分領域を分けたとする。信頼領域決定部３０２にてそれぞれの(ア)と(ウ)の信頼度を1とし、(イ)が0として信頼度が得られたとする。この場合には、(ア)と(ウ)の領域のRt_ave、Gt_ave、Bt_aveには1をかけ、(イ)の領域のRt_ave、Gt_ave、Bt_aveには0をかけ、Rt_ave_r、Gt_ave_r、Bt_ave_rを得る。 The average values Rt_ave and Bt_ave can be calculated similarly for R and B. Next, Rt_ave, Gt_ave, and Bt_ave are multiplied by the reliability determined by the trust area determination unit 302. As a simple example, it is assumed that the facial feature points are p=4 and M=3, and there are four positions at the center of the right eye, the left eye, the nose, and the mouth. In the trust area determination unit 302, (a) a face area at that time is a triangular area having the right eye, nose, and mouth as vertices, (ii) a triangular area having the right eye, nose, and left eye as vertices, (c) It is assumed that the face area is divided into three areas, which are triangular areas having the left eye, nose, and mouth as vertices. It is assumed that the reliability area determination unit 302 sets the reliability of (a) and (c) to 1 and sets (a) to 0 to obtain the reliability. In this case, Rt_ave, Gt_ave, and Bt_ave in the areas (A) and (C) are multiplied by 1, and Rt_ave, Gt_ave, and Bt_ave in the area (A) are multiplied by 0, and Rt_ave_r, Gt_ave_r, and Bt_ave_r are obtained. ..

最後に、(ア)〜(ウ)の部分ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rの平均を求め、輝度値算出部３０３の出力として、顔部分領域に対する信頼度を加味したR、G、Bの輝度の平均値Rt_AVE、Gt_AVE、Bt_AVEを輝度値として出力する。
＜心拍成分フィルタ部３０４＞
心拍成分フィルタ部３０４は顔部分領域に対する信頼度を加味したR、G、Bの輝度の平均値Rt_AVE、Gt_AVE、Bt_AVEを入力とする。心拍成分フィルタ部３０４では心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。Finally, the average of Rt_ave_r, Gt_ave_r, and Bt_ave_r obtained for each of (a) to (c) is obtained, and as an output of the brightness value calculation unit 303, R, G, and B that consider the reliability of the face portion area are added. The average values Rt_AVE, Gt_AVE, and Bt_AVE of the brightness of are output as the brightness values.
<Heartbeat component filter unit 304>
The heartbeat component filter unit 304 inputs the average values Rt_AVE, Gt_AVE, and Bt_AVE of the brightness of R, G, and B in which the reliability for the face part region is added. In the heartbeat component filter unit 304, a bandpass filter that allows only the heartbeat component to pass is designed and filtered to attenuate signals other than the heartbeat component.

例えば、周波数スペクトルにおいて、人間の心拍数の取りうる範囲に対応する周波数領域、心拍数４０〜２４０[bpm：beats per minute]の範囲に対応する周波数領域(約０．７〜４[Hz])のみ通過するバンドパスフィルタをかける。その後、逆フーリエ変換を施し、時間領域の信号に戻し、Rt_AVE、Gt_AVE、Bt_AVEにバンドパスフィルタをかけた信号を得る。心拍成分フィルタ部３０４はバンドパスフィルタをかけた信号を出力する。 For example, in the frequency spectrum, a frequency range corresponding to a range of human heart rate, a frequency range corresponding to a range of heart rate 40 to 240 [bpm: beats per minute] (about 0.7 to 4 [Hz]) Apply a bandpass filter that only passes through. After that, inverse Fourier transform is performed to restore the signal in the time domain, and a signal obtained by applying a bandpass filter to Rt_AVE, Gt_AVE, and Bt_AVE is obtained. The heartbeat component filter unit 304 outputs a signal that has been bandpass filtered.

なお、呼吸信号を強調したい場合には、上記の周波数帯域ではなく、約０．０５〜１[Hz]の周波数帯域のバンドパスフィルタをかける。
＜心拍成分強調部３０５＞
心拍成分強調部３０５はバンドパスフィルタをかけた信号を入力として、独立成分分析を施す。第３実施形態における心拍成分強調部３０５の動作は、図４の心拍成分強調部２０１と同様であるため、説明を省略する。
＜心拍算出部３０６＞
第３実施形態における心拍算出部３０６は、図１の心拍算出部１０４と同様であるため、説明を省略する。
＜外れ値除去部３０７＞
外れ値除去部３０７は心拍算出部３０６から得られた心拍数を入力とする。外れ値除去部３０７では得られた心拍数の中から、生理的に起こりえない変化を除去する。具体的には、得られた心拍数の時系列で、例えば、1秒間で12bpm以上変化した心拍数を除く。除いた後の値には、前の時刻の心拍数か、前後の時刻の平均した心拍数で補完する。In addition, when it is desired to emphasize the respiratory signal, a band pass filter in a frequency band of about 0.05 to 1 [Hz] is applied instead of the above frequency band.
<Heartbeat component emphasis unit 305>
The heartbeat component emphasizing unit 305 receives the band-pass filtered signal as an input and performs an independent component analysis. The operation of the heartbeat component enhancing unit 305 in the third embodiment is similar to that of the heartbeat component enhancing unit 201 in FIG.
<Heart rate calculator 306>
The heartbeat calculation unit 306 in the third embodiment is the same as the heartbeat calculation unit 104 in FIG.
<Outlier removal unit 307>
The outlier removal unit 307 receives the heart rate obtained from the heart rate calculation unit 306 as an input. The outlier removal unit 307 removes physiologically unlikely changes from the obtained heart rate. Specifically, the obtained time-series of heart rate excludes, for example, a heart rate that changes by 12 bpm or more in 1 second. The value after removal is complemented with the heart rate at the previous time or the average heart rate at the previous and next times.

このように外れ値を除去することで、輝度値からの心拍推定を誤った際にも、補正することが可能になり、顔映像から心拍数を高精度に推定することが可能になる。 By removing the outliers in this way, it becomes possible to correct even when the heart rate estimation from the luminance value is erroneous, and it becomes possible to estimate the heart rate from the face image with high accuracy.

このような構成をとることにより、非接触でありながら、顔映像から心拍数を高精度に推定することが可能になる By adopting such a configuration, it becomes possible to estimate the heart rate from the face image with high accuracy while being non-contact.

［第３実施形態の変形例１］
第３実施形態の変形例１は、図５のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
第３実施形態の変形例１における撮像装置Ｃ１は、上述の第３実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
第３実施形態の変形例１における関心領域検出部３０１は、上述の第３実施形態と同様であるため、説明を省略する。
＜信頼領域決定部３０２＞
第３実施形態の変形例１における信頼領域決定部３０２は、上述の第３実施形態と同様であるため、説明を省略する。
＜輝度値算出部３０３＞
輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。輝度値算出部３０３はＭ個の顔部分領域ごとに求められた信頼度を加味したRt_ave_r、Gt_ave_r、Bt_ave_rを出力する。
＜心拍成分フィルタ部３０４＞
心拍成分フィルタ部３０４は輝度値算出部３０３から得られたＭ個の顔部分領域ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rを入力とする。心拍成分フィルタ部３０４ではRt_ave_r、Gt_ave_r、Bt_ave_rに対して、心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。心拍成分フィルタ部３０４はＭ個のRt_ave_r、Gt_ave_r、Bt_ave_rに対して、バンドパスフィルタをかけた信号を出力する。
＜心拍成分強調部３０５＞
第３実施形態の変形例１における心拍成分強調部３０５は、上述の第３実施形態と同様であるため、説明を省略する。心拍成分強調部３０５はＭ個の顔部分領域ごとのバンドパスフィルタをかけた信号を観測信号x(t)としてＭ個の顔部分領域ごとに、独立成分分析を施す。心拍成分強調部３０５は、Ｍ個の顔部分領域ごとの第一の出力成分を出力する。
＜心拍算出部３０６＞
第３実施形態の変形例１における心拍算出部３０６は、Ｍ個の顔部分領域ごとの第一の出力成分を入力として、第３実施形態で説明した心拍算出部３０６の心拍数算出法で、Ｍ個の部分領域ごとの心拍数を算出する。算出したＭ個の結果の心拍数の多数決を取り、最も多かった心拍数を心拍算出部３０６の出力とする。また、多数決に限らず、Ｍ個の部分領域ごとの心拍数の平均値や中央値から、心拍数を算出し、心拍算出部３０６の出力としても良い。
＜外れ値除去部３０７＞
外れ値除去部３０７は心拍算出部３０６から得られた心拍数を入力とする。第３実施形態の変形例１における心拍算出部３０７は、上述の第３実施形態と同様であるため、説明を省略する。[Modification 1 of the third embodiment]
Modification 1 of the third embodiment has the same configuration as the block diagram of FIG. 5, but the processing is different, and will be described below.
<Imaging device C1>
The imaging device C1 according to the first modification of the third embodiment is the same as that of the above-described third embodiment, and the description thereof will be omitted.
<Region of Interest Detection Unit 301>
The region-of-interest detection unit 301 in the modified example 1 of the third embodiment is the same as that in the above-described third embodiment, and thus the description thereof is omitted.
<Trusted area determination unit 302>
The trust region determination unit 302 in the modified example 1 of the third embodiment is the same as that in the above-described third embodiment, and thus the description thereof is omitted.
<Brightness value calculation unit 303>
The brightness value calculation unit 303 receives the face part region obtained from the confidence region determination unit 302 and the reliability of the region as inputs. The brightness value calculation unit 303 outputs Rt_ave_r, Gt_ave_r, and Bt_ave_r in which the reliability calculated for each of the M face part areas is added.
<Heartbeat component filter unit 304>
The heartbeat component filter unit 304 receives Rt_ave_r, Gt_ave_r, and Bt_ave_r obtained for each of the M face part areas obtained from the brightness value calculation unit 303. The heartbeat component filter unit 304 designs a bandpass filter that allows only the heartbeat component to pass through Rt_ave_r, Gt_ave_r, and Bt_ave_r, and applies a filter to attenuate signals other than the heartbeat component. The heartbeat component filter unit 304 outputs a band-pass filtered signal to M Rt_ave_r, Gt_ave_r, and Bt_ave_r.
<Heartbeat component emphasis unit 305>
The heartbeat component emphasizing unit 305 in the modified example 1 of the third embodiment is the same as that of the above-described third embodiment, and thus the description thereof will be omitted. The heartbeat component emphasizing unit 305 performs the independent component analysis for each of the M face part regions by using the band-pass filtered signal for each of the M face part regions as the observation signal x(t). The heartbeat component emphasizing unit 305 outputs the first output component for each of the M face part regions.
<Heart rate calculator 306>
The heartbeat calculating unit 306 according to the first modification of the third embodiment receives the first output component for each of the M face part regions as an input, and uses the heartbeat calculating method of the heartbeat calculating unit 306 described in the third embodiment, The heart rate is calculated for each of the M partial regions. The majority of the calculated M heart rates is taken, and the heart rate that has the largest number is output as the heart rate calculation unit 306. Further, the heart rate is not limited to the majority decision, and the heart rate may be calculated from the average value or the median value of the heart rate for each of the M partial regions, and may be output from the heart rate calculation unit 306.
<Outlier removal unit 307>
The outlier removal unit 307 receives the heart rate obtained from the heart rate calculation unit 306 as an input. The heartbeat calculation unit 307 in the modified example 1 of the third embodiment is the same as that in the above-described third embodiment, and thus the description thereof will be omitted.

以上、第３実施形態の変形例１によれば、Ｍ個の複数領域からの心拍算出結果を用いることにより、映像から心拍数を高精度に算出することができる。 As described above, according to the first modification of the third embodiment, it is possible to calculate the heart rate from the video with high accuracy by using the heart rate calculation results from the M regions.

［第３実施形態の変形例２］
第３実施形態の変形例２は、図５のブロック図と構成は同様であるが、処理が異なるので下記に説明する。
＜撮像装置Ｃ１＞
第３実施形態の変形例２における撮像装置Ｃ１は、上述の第３実施形態と同様であるため説明を省略する。
＜関心領域検出部３０１＞
第３実施形態の変形例２における関心領域検出部３０１は、上述の第３実施形態と同様であるため、説明を省略する。
＜信頼領域決定部３０２＞
第３実施形態の変形例２における信頼領域決定部３０２は、上述の第３実施形態と同様であるため、説明を省略する。
＜輝度値算出部３０３＞
輝度値算出部３０３は信頼領域決定部３０２から得られた顔部分領域とその領域の信頼度を入力とする。輝度値算出部３０３はＭ個の顔部分領域ごとに求められた信頼度を加味したRt_ave_r、Gt_ave_r、Bt_ave_rを出力する。
＜心拍成分フィルタ部３０４＞
心拍成分フィルタ部３０４は輝度値算出部３０３から得られたＭ個の顔部分領域ごとに求められたRt_ave_r、Gt_ave_r、Bt_ave_rを入力とする。心拍成分フィルタ部３０４ではRt_ave_r、Gt_ave_r、Bt_ave_rに対して、心拍成分のみを通すようなバンドパスフィルタを設計し、フィルタをかけることで、心拍成分以外の信号を減衰させる。心拍成分フィルタ部３０４はＭ個のRt_ave_r、Gt_ave_r、Bt_ave_rに対して、バンドパスフィルタをかけた信号を出力する。
＜心拍成分強調部３０５＞
第３実施形態の変形例１における心拍成分強調部３０５は、上述の第３実施形態と同様であるため、説明を省略する。心拍成分強調部３０５はＭ個の顔部分領域ごとのバンドパスフィルタをかけた信号を観測信号x(t)としてＭ個の顔部分領域ごとに、独立成分分析を施す。Ｍ個の部分領域の第一出力成分の中で、共通信号を抽出する。共通信号の抽出方法としては、正準相関分析などを用いる。得られた共通信号を心拍成分強調部３０５の出力とする。
＜心拍算出部３０６＞
心拍算出部３０６は心拍成分強調部３０５の出力である共通信号を入力とする。第３実施形態の変形例２における心拍算出部３０６は、上述の第３実施形態と同様であるため、説明を省略する。
＜外れ値除去部３０７＞
第３実施形態の変形例２における心拍算出部３０７は、上述の第３実施形態と同様であるため、説明を省略する。[Modification 2 of the third embodiment]
The second modification of the third embodiment has the same configuration as the block diagram of FIG. 5, but the processing is different, and will be described below.
<Imaging device C1>
The imaging device C1 according to the second modification of the third embodiment is similar to that of the above-described third embodiment, and therefore its description is omitted.
<Region of Interest Detection Unit 301>
The region-of-interest detection unit 301 according to the second modification of the third embodiment is similar to that of the above-described third embodiment, and thus the description thereof is omitted.
<Trusted area determination unit 302>
The trusted area determination unit 302 in the second modification of the third embodiment is the same as that in the above-described third embodiment, and thus the description thereof is omitted.
<Brightness value calculation unit 303>
The brightness value calculation unit 303 receives the face part region obtained from the confidence region determination unit 302 and the reliability of the region as inputs. The brightness value calculation unit 303 outputs Rt_ave_r, Gt_ave_r, and Bt_ave_r in which the reliability calculated for each of the M face part areas is added.
<Heartbeat component filter unit 304>
The heartbeat component filter unit 304 inputs Rt_ave_r, Gt_ave_r, and Bt_ave_r obtained for each of the M face part areas obtained from the luminance value calculation unit 303. The heartbeat component filter unit 304 designs a bandpass filter that allows only the heartbeat component to pass through Rt_ave_r, Gt_ave_r, and Bt_ave_r, and applies a filter to attenuate signals other than the heartbeat component. The heartbeat component filter unit 304 outputs a band-pass filtered signal to M Rt_ave_r, Gt_ave_r, and Bt_ave_r.
<Heartbeat component emphasis unit 305>
The heartbeat component enhancing unit 305 in the modified example 1 of the third embodiment is the same as that of the above-described third embodiment, and thus the description thereof will be omitted. The heartbeat component emphasizing unit 305 performs an independent component analysis for each of the M face part regions by using a signal subjected to the bandpass filter for each of the M face part regions as an observation signal x(t). The common signal is extracted from the first output components of the M partial regions. Canonical correlation analysis or the like is used as a method of extracting the common signal. The obtained common signal is output from the heartbeat component emphasizing unit 305.
<Heart rate calculator 306>
The heartbeat calculation unit 306 receives the common signal output from the heartbeat component enhancement unit 305 as an input. The heartbeat calculation unit 306 in the modified example 2 of the third embodiment is the same as that of the above-described third embodiment, and thus the description thereof will be omitted.
<Outlier removal unit 307>
The heartbeat calculation unit 307 in the modified example 2 of the third embodiment is the same as that in the above-described third embodiment, and thus the description thereof is omitted.

以上、第３実施形態の変形例２によれば、顔の複数領域から共通信号を抽出して心拍信号を強調することができる。このため映像から心拍成分を高精度に算出することができる。 As described above, according to the second modification of the third embodiment, it is possible to extract a common signal from a plurality of areas of the face and enhance the heartbeat signal. Therefore, the heartbeat component can be calculated with high accuracy from the video.

［第４実施形態］
ここでは、第１〜３実施形態の心拍推定装置で得られた心拍数を応用する例として、状態検出装置１００００を説明する。状態検出装置１００００は、勤務中や運転中など日常生活中の被験者が映る顔映像から心拍を精度良く推定することで、被験者の状態を精度よく推定する装置である。図６に示すように状態検出装置１００００は、心拍推定装置４０００と状態検出部４０１とを含む。
＜心拍推定装置４０００＞
実施形態４における心拍推定装置４０００は第１〜３実施形態、或いは、これら実施形態の変形例として説明した心拍推定装置１０００、２０００、３０００のいずれかである。心拍推定装置４０００は、第１〜第３実施形態で説明した測定を、一定期間、一定の間隔で繰り返して、心拍数の組、例えば、心拍数の時間的な変化を出力する。例えば、一定間隔の時刻t0, t1, t2, ..., tc（tcは現在時刻）のそれぞれにおいて心拍数B1, B2, ..., Bcを求め、時系列B1, B2, ..., Bcを出力する。
＜状態検出部４０１＞
状態検出部４０１は心拍推定装置４０００が出力する心拍数を入力とし、人の状態を示す情報を出力する。状態検出部４０１では、心拍推定装置４０００から得られた心拍数の時系列B1, B2, ..., Bcに基づいて、時刻tcにおける状態を検出する。状態の例としては、眠気や疲労度、ストレス、感情等である。ここではストレス状態を例に説明する。[Fourth Embodiment]
Here, the state detection device 10000 will be described as an example of applying the heart rate obtained by the heartbeat estimation devices of the first to third embodiments. The state detection device 10000 is a device that accurately estimates the state of the subject by accurately estimating the heartbeat from the face image of the subject in daily life such as working or driving. As shown in FIG. 6, state detection device 10000 includes heartbeat estimation device 4000 and state detection unit 401.
<Heart rate estimating device 4000>
The heartbeat estimation apparatus 4000 according to the fourth embodiment is one of the heartbeat estimation apparatuses 1000, 2000, and 3000 described as the first to third embodiments or modified examples of these embodiments. The heartbeat estimation device 4000 repeats the measurement described in the first to third embodiments at regular intervals for a fixed period, and outputs a set of heart rates, for example, a temporal change in the heart rate. For example, the heart rate B1, B2, ..., Bc is obtained at each of the times t0, t1, t2, ..., tc (tc is the current time) at regular intervals, and the time series B1, B2, ..., Output Bc.
<State detection unit 401>
The state detection unit 401 receives the heart rate output from the heart rate estimation device 4000 as an input and outputs information indicating the state of a person. The state detection unit 401 detects the state at time tc based on the time series B1, B2,..., Bc of the heart rate obtained from the heart rate estimation device 4000. Examples of the state include drowsiness, fatigue, stress, emotions, and the like. Here, a stress state will be described as an example.

ストレス状態の検出には、得られた心拍数の時系列をフーリエ変換などを用いて、周波数領域に変換する。得られた周波数領域のＬＦ（Low Frequency）値と、測定対象者のＨＦ（High Frequency）値からＬＦ／ＨＦ値を算出する。そして、ＬＦ／ＨＦ値の算出値と、ＬＦ／ＨＦ値の基準値とを比較した結果に基づいて、ストレス状態を判定する。 To detect the stress state, the obtained time series of the heart rate is transformed into the frequency domain using Fourier transform or the like. The LF/HF value is calculated from the obtained LF (Low Frequency) value in the frequency domain and the HF (High Frequency) value of the measurement subject. Then, the stress state is determined based on the result of comparison between the calculated value of the LF/HF value and the reference value of the LF/HF value.

なお、ＬＦ値は、測定対象者の交感神経の働きを示す値であって、血圧の変動と同期した脳幹の周期的活動（０．０４〜０．１５Ｈｚ、約１０秒周期）に代表される周期的活動に関する値をいう。ＨＦ値とは、測定対象者の副交感神経の働きを示す値であって、呼吸と同期した脳幹の周期的活動（０．１５〜０．４Ｈｚ、約４秒周期）に代表される周期的活動に関する値をいう。ここでＬＦ／ＨＦ値の基準値は、一般的に0.8〜2の値では正常、2以上の場合にはストレス負荷の大きい状態とされている。 The LF value is a value indicating the function of the sympathetic nerve of the measurement subject, and is represented by the cyclic activity of the brainstem (0.04 to 0.15 Hz, about 10 second cycle) in synchronization with the change in blood pressure. A value related to cyclical activity. The HF value is a value indicating the function of the parasympathetic nerve of the measurement subject, and is a periodic activity represented by the brain stem periodic activity (0.15-0.4 Hz, about 4 second cycle) synchronized with respiration. Refers to the value. Here, the reference value of the LF/HF value is generally normal when the value is 0.8 to 2, and is a state where the stress load is large when it is 2 or more.

状態検出部４０１では人の状態を検出した結果、上記の例ではＬＦ／ＨＦ値や基準値と照らし合わせたストレス状態検出結果を出力する。ストレス状態検出結果とは、例えば、ＬＦ／ＨＦ値が2以上の場合には高ストレス、0.8〜2では正常、0.8以下では低ストレスという結果のことを指す。 As a result of detecting the state of the person, the state detection unit 401 outputs a stress state detection result in comparison with the LF/HF value and the reference value in the above example. The stress state detection result refers to, for example, a result of high stress when the LF/HF value is 2 or more, normal when 0.8 to 2 and low stress when 0.8 or less.

サービスのイメージとしては、例えば、このように出されたストレス値を、オフィスのワーカーに対しての日々のストレスチェックに用いる。PCの前に座り、作業をしている間に、PCに付属するカメラから取得した映像から算出した心拍を基に、ストレス状態を測定する。測定したストレス状態をPCに表示したり、スマホでユーザーに通知したりする。ストレスが高い場合には、測定したストレス状態と併せて、休息を促すようなメッセージ、例えば「疲れているので、10分間リフレッシュしましょう」などを表示させることで、ユーザーに休憩を促す。このようにユーザー自身がストレス状態を把握し、ストレスケアを行うことで、生産性の低下を防げるとともに、疾病や休職の予防につながる。 As an image of the service, for example, the stress value thus issued is used for daily stress check for workers in the office. While sitting in front of the PC and working, the stress state is measured based on the heartbeat calculated from the image acquired from the camera attached to the PC. The measured stress status is displayed on the PC and the user is notified by the smartphone. When the stress is high, the user is encouraged to take a break by displaying a message prompting a rest, such as "I'm tired, let's refresh for 10 minutes" together with the measured stress state. In this way, the user himself/herself grasps the stress state and carries out the stress care, so that it is possible to prevent a decrease in productivity and prevent illness and leave.

その他にも施設の入場ゲートにてカメラを設置し、そのカメラに映る人物の映像から心拍数を測定し、得られた心拍から感情を推定することで、異常な心理状態の把握が可能になる。このように人の異常な心理状態を把握することで、例えば、一見異常でなくても、心理状態が異常な不審者の検出が可能になり、監視の効率化、安全の維持につながる。 In addition, by installing a camera at the entrance gate of the facility, measuring the heart rate from the image of the person reflected in the camera, and estimating the emotion from the obtained heart rate, it becomes possible to grasp the abnormal psychological state. .. By grasping the abnormal psychological state of a person in this way, for example, even if it is not abnormal at first glance, it is possible to detect a suspicious person whose psychological state is abnormal, which leads to efficient monitoring and maintenance of safety.

被験者の顔映像から高精度に心拍の推定が可能になることで、心拍数から算出される覚醒度、眠気、疲労度やストレス、感情などが、非接触かつ低負荷で精度よく測定できるようになる。 By enabling highly accurate heartbeat estimation from the face image of the subject, it becomes possible to accurately measure arousal, drowsiness, fatigue, stress, emotions, etc. calculated from the heart rate with non-contact and low load. Become.

上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、以下には限られない。 The whole or part of the exemplary embodiments disclosed above can be described as, but not limited to, the following supplementary notes.

（付記１）
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、
前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定装置。(Appendix 1)
A region-of-interest detection unit that detects a region of interest including a subject's face region from each of a plurality of temporally consecutive images,
A brightness value included in the image in the region of interest, a brightness value calculation unit that calculates for each of the predetermined light wavelength components,
By performing an independent component analysis on the luminance value using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row, a heartbeat component enhancement unit that enhances the heartbeat component,
Based on the heartbeat component emphasized by the heartbeat component emphasis unit, a heartbeat calculation unit for calculating the heart rate, and
The separation matrix is a heartbeat component emphasis coefficient, in which an absolute value of a coefficient applied to a luminance value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a luminance value of the light wavelength component of another color. Heart rate estimation device including a line consisting of.

（付記２）
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記１に記載の心拍推定装置。(Appendix 2)
In the separation matrix, any one row is composed of the heartbeat component emphasis coefficient,
The heartbeat component emphasis coefficient, the sum of each coefficient applied to the luminance value of the light wavelength component is zero,
Each row of the separation matrix consists of N (N is a natural number) coefficients relating to the luminance value of the light wavelength component,
The heartbeat component emphasis coefficient, the ratio of the coefficient applied to the luminance value of the light wavelength component of green and the coefficient applied to the luminance value of the light wavelength component other than green is (N-1): (-1) ,
2. The heartbeat estimating device according to appendix 1, wherein the heartbeat component emphasizing unit performs an independent component analysis on a value obtained by normalizing the brightness value.

（付記３）
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記１または付記２に記載の心拍推定装置。(Appendix 3)
3. The heartbeat estimation device according to appendix 1 or 2, wherein the heartbeat component emphasis unit uses the heartbeat component emphasis coefficient as at least an initial value in the separation matrix to apply independent component analysis.

（付記４）
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記１乃至付記３のいずれかに記載の心拍推定装置。(Appendix 4)
Note that the heartbeat component emphasizing unit uses a row vector that is orthonormal to the row vector composed of the heartbeat component emphasis coefficient in a row excluding the row vector composed of the heartbeat component emphasis coefficient in the separation matrix. The heartbeat estimation device according to any one of appendices 3.

（付記５）
前記心拍成分強調部は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記１乃至付記４のいずれかに記載の心拍推定装置。(Appendix 5)
The heartbeat component emphasis unit fixes the heartbeat component emphasis coefficient until the output component of the independent component analysis tends to be determined when updating the separation matrix when applying the independent component analysis. The heartbeat estimation device according to any one of 1.

（付記６）
前記心拍成分強調部は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記１、付記３乃至付記５のいずれかに記載の心拍推定装置。(Appendix 6)
The heartbeat component emphasis unit determines the heartbeat component emphasis coefficient on the basis of the difference between the brightness values of the region of interest and the light wavelength component other than the region of interest in the separation matrix. Supplementary note 1, Supplementary note 3 to Supplementary note 5 The heartbeat estimation device according to any one of 1.

（付記７）
前記心拍成分強調部は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記１乃至付記６のいずれかに記載の心拍推定装置。(Appendix 7)
In the supplementary matrix after learning, the heartbeat component emphasizing unit selects, as an output component of a heartbeat component, an output component associated with a row of the separation matrix that is closest to the heartbeat component enhancement coefficient. The heartbeat estimation device according to claim 1.

（付記８）
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定部を更に備え、
前記輝度値算出部は、前記信頼値を参照して輝度値を算出する
付記１乃至付記７のいずれかに記載の心拍推定装置。(Appendix 8)
The region of interest is further divided into partial regions, and further comprises a confidence region determination unit for calculating the reliability thereof,
The heartbeat estimation device according to any one of appendices 1 to 7, wherein the brightness value calculation unit calculates a brightness value with reference to the reliability value.

（付記９）
前記輝度値算出部の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ部を更に備える、付記１乃至付記８のいずれかに記載の心拍推定装置。(Appendix 9)
The heartbeat according to any one of appendices 1 to 8, further comprising a heartbeat component filter unit that passes only a predetermined frequency region based on a range that a human heart rate can take from the output of the brightness value calculation unit. Estimator.

（付記１０）
人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出部の出力から除去する外れ値除去部を更に備える、付記１乃至付記９のいずれかに記載の心拍推定装置。(Appendix 10)
The heartbeat estimation according to any one of appendices 1 to 9, further comprising an outlier removal unit that removes a physiologically impossible change that is predetermined based on human physiology from the output of the heartbeat calculation unit. apparatus.

（付記１１）
付記１乃至付記１０のいずれかに記載の心拍推定装置と、
前記心拍推定装置の出力に基づいて、人の状態を判定する状態検出部と
を備える、状態検出装置。(Appendix 11)
A heartbeat estimating device according to any one of appendices 1 to 10;
A state detection device comprising a state detection unit that determines the state of a person based on the output of the heartbeat estimation device.

（付記１２）
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、
前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
心拍推定方法。(Appendix 12)
A region-of-interest detection step of detecting a region of interest including a subject's face region from each of a plurality of temporally consecutive images,
A brightness value included in the image in the region of interest, a brightness value calculating step of calculating for each of the predetermined light wavelength components,
By performing an independent component analysis on the luminance value using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row, a heartbeat component enhancing step of enhancing a heartbeat component, and
A heartbeat calculating step of calculating a heart rate based on the heartbeat component emphasized by the heartbeat component emphasizing step,
The separation matrix is a heartbeat component emphasis coefficient, in which an absolute value of a coefficient applied to a luminance value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a luminance value of the light wavelength component of another color. Heartbeat estimation method including lines consisting of.

（付記１３）
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記１２に記載の心拍推定方法。(Appendix 13)
In the separation matrix, any one row is composed of the heartbeat component emphasis coefficient,
The heartbeat component emphasis coefficient, the sum of each coefficient applied to the luminance value of the light wavelength component is zero,
Each row of the separation matrix consists of N (N is a natural number) coefficients relating to the luminance value of the light wavelength component,
The heartbeat component emphasis coefficient, the ratio of the coefficient applied to the luminance value of the light wavelength component of green and the coefficient applied to the luminance value of the light wavelength component other than green is (N-1): (-1) ,
13. The heartbeat estimating method according to appendix 12, wherein the heartbeat component emphasizing unit performs an independent component analysis on the normalized luminance value.

（付記１４）
前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記１２または付記１３に記載の心拍推定方法。(Appendix 14)
14. The heartbeat estimation method according to supplementary note 12 or supplementary note 13, wherein in the heartbeat component emphasis step, an independent component analysis is applied using at least an initial value of the heartbeat component emphasis coefficient in the separation matrix.

（付記１５）
前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記１２乃至付記１４のいずれかに記載の心拍推定方法。(Appendix 15)
The heartbeat component emphasizing step uses a row vector that is orthonormal to the row vector composed of the heartbeat component emphasis coefficient in a row excluding the row vector composed of the heartbeat component emphasis coefficient in the separation matrix. 15. The heartbeat estimation method according to any one of appendix 14.

（付記１６）
前記心拍成分強調段階は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記１２乃至付記１５のいずれかに記載の心拍推定方法。(Appendix 16)
The heartbeat component emphasis step fixes the heartbeat component emphasis coefficient until the output component of the independent component analysis tends to be determined in updating the separation matrix when applying the independent component analysis. The heartbeat estimation method according to any one of 1.

（付記１７）
前記心拍成分強調段階は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記１２、付記１４乃至付記１６のいずれかに記載の心拍推定方法。(Appendix 17)
In the heartbeat component emphasis step, the heartbeat component emphasis coefficient is determined based on the difference between the brightness values of the region of interest and the light wavelength component other than the region of interest in the separation matrix. Appendix 12, Appendix 14 to Appendix 16 The heartbeat estimation method according to any one of 1.

（付記１８）
前記心拍成分強調段階は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記１２乃至付記１７のいずれかに記載の心拍推定方法。(Appendix 18)
In the supplemental matrix after learning, the heartbeat component emphasizing step selects, as an output component of a heartbeat component, an output component of a row of the separation matrix closest to the heartbeat component enhancement coefficient in the learned separation matrix. The heartbeat estimation method described in.

（付記１９）
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定段階を更に含み、
前記輝度値算出段階は、前記信頼値を参照して輝度値を算出する
付記１２乃至付記１８のいずれかに記載の心拍推定方法。(Appendix 19)
Dividing the region of interest into sub-regions, and further comprising a confidence region determining step of calculating the reliability thereof,
19. The heartbeat estimation method according to any one of appendices 12 to 18, wherein the brightness value calculating step calculates a brightness value with reference to the reliability value.

（付記２０）
前記輝度値算出段階の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ段階を更に含む、付記１２乃至付記１９のいずれかに記載の心拍推定方法。(Appendix 20)
20. The heartbeat according to any one of appendices 12 to 19, further comprising a heartbeat component filter step of passing only a predetermined frequency region based on a range that a human heart rate can take from the output of the luminance value calculation step. Estimation method.

（付記２１）
人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出段階の出力から除去する外れ値除去段階を更に含む、付記１２乃至付記２０のいずれかに記載の心拍推定方法。(Appendix 21)
21. The heartbeat estimation according to any one of appendices 12 to 20, further comprising an outlier removal step of removing a physiologically impossible change predetermined based on human physiology from the output of the heartbeat calculation step. Method.

（付記２２）
付記１２乃至付記２１のいずれかに記載の心拍推定方法によって心拍を推定する段階と、
前記推定した心拍に基づいて、人の状態を判定する段階と
を含む、状態検出方法。(Appendix 22)
Estimating a heartbeat by the heartbeat estimation method according to any one of supplements 12 to 21;
Determining the state of a person based on the estimated heartbeat.

（付記２３）
時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、
前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含む
プログラム。(Appendix 23)
Region-of-interest detecting means for detecting a region of interest including a subject's face region from each of a plurality of temporally continuous images,
A brightness value included in the image in the region of interest, a brightness value calculating means for calculating each of the predetermined light wavelength components,
Heartbeat component emphasizing means for emphasizing the heartbeat component by performing an independent component analysis on the luminance value by using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row,
Based on the heartbeat component emphasized by the heartbeat component emphasizing means, a program for causing a computer to execute a heartbeat calculating means for calculating a heart rate,
The separation matrix is a heartbeat component emphasis coefficient, in which an absolute value of a coefficient applied to a luminance value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a luminance value of the light wavelength component of another color. A program that contains a line consisting of.

（付記２４）
前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
付記２３に記載のプログラム。(Appendix 24)
In the separation matrix, any one row is composed of the heartbeat component emphasis coefficient,
The heartbeat component emphasis coefficient, the sum of each coefficient applied to the luminance value of the light wavelength component is zero,
Each row of the separation matrix consists of N (N is a natural number) coefficients relating to the luminance value of the light wavelength component,
The heartbeat component emphasis coefficient, the ratio of the coefficient applied to the luminance value of the light wavelength component of green and the coefficient applied to the luminance value of the light wavelength component other than green is (N-1): (-1) ,
24. The program according to appendix 23, wherein the heartbeat component enhancement unit performs independent component analysis on the normalized luminance value.

（付記２５）
前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、付記２３または付記２４に記載のプログラム。(Appendix 25)
25. The program according to supplementary note 23 or supplementary note 24, wherein the heartbeat component emphasizing unit applies the independent component analysis by using the heartbeat component emphasizing coefficient as at least an initial value in the separation matrix.

（付記２６）
前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、付記２３乃至付記２５のいずれかに記載のプログラム。(Appendix 26)
Note 23 to the heartbeat component emphasizing means uses a row vector that is orthonormal to the row vector composed of the heartbeat component emphasis coefficient in a row excluding the row vector composed of the heartbeat component emphasis coefficient in the separation matrix. The program according to any one of Appendix 25.

（付記２７）
前記心拍成分強調手段は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、付記２３乃至付記２６のいずれかに記載のプログラム。(Appendix 27)
The heartbeat component emphasis means fixes the heartbeat component emphasis coefficient until the output component of the independent component analysis tends to be determined in updating the separation matrix when applying the independent component analysis. The program described in any of.

（付記２８）
前記心拍成分強調手段は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、付記２３、付記２５乃至付記２７のいずれかに記載のプログラム。(Appendix 28)
The above-mentioned heartbeat component emphasis means determines the above-mentioned heartbeat component emphasis coefficient in the separation matrix based on the difference between the brightness values of the region of interest and the light wavelength component other than the region of interest. Appendix 23, Appendix 25 to Appendix 27 The program described in any of.

（付記２９）
前記心拍成分強調手段は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、付記２３乃至付記２８のいずれかに記載のプログラム。(Appendix 29)
Any of Supplementary Note 23 to Supplementary Note 28, wherein the heartbeat component emphasizing unit selects, as the output component of the heartbeat component, the output component associated with the row of the separation matrix closest to the heartbeat component enhancement coefficient in the learned separation matrix. The program described in Crab.

（付記３０）
前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定手段を更にコンピュータに実行させ、
前記輝度値算出手段は、前記信頼値を参照して輝度値を算出する
付記２３乃至付記２９のいずれかに記載のプログラム。(Appendix 30)
The region of interest is divided into partial regions, and the computer is further caused to execute trust region determination means for calculating the reliability thereof.
30. The program according to any one of appendices 23 to 29, wherein the brightness value calculating means calculates a brightness value with reference to the reliability value.

（付記３１）
前記輝度値算出手段の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ手段を更にコンピュータに実行させる、付記２３乃至付記３０のいずれかに記載のプログラム。(Appendix 31)
Any one of appendices 23 to 30, further causing the computer to execute a heartbeat component filter means for passing only a predetermined frequency region based on a range that a human heart rate can take from the output of the brightness value calculating means. The listed program.

（付記３２）
人間の生理に基づいて予め定められた、生理的に起こりえない変化を、前記心拍算出手段の出力から除去する外れ値除去手段を更にコンピュータに実行させる、付記２３乃至付記３１のいずれかに記載のプログラム。(Appendix 32)
32. The computer according to any one of supplementary notes 23 to 31, further causing the computer to execute an outlier removing unit that removes a physiologically impossible change that is predetermined based on human physiology from the output of the heartbeat calculating unit. Program of.

（付記３３）
前記心拍推定装置の出力に基づいて、人の状態を判定する状態検出手段を更にコンピュータに実行させる付記２３乃至付記３２のいずれかに記載のプログラム。(Appendix 33)
33. The program according to any one of appendices 23 to 32, which causes a computer to further execute a state detection unit that determines the state of a person based on the output of the heartbeat estimation device.

１０１、３０１ 関心領域検出部
１０１−１ 顔検出部
１０１−２ 顔特徴点検出部
１０２、３０３ 輝度値算出部
１０３、２０１、３０５ 心拍成分強調部
１０４、３０６ 心拍算出部
１１０ 画像データ
２０１−１ 心拍成分強調処理部
２０１−２ 保存部
３０２ 信頼領域決定部
３０４ 心拍成分フィルタ部
３０７ 外れ除去部
４０１ 状態検出部
１０００、２０００、３０００、４０００ 心拍推定装置
１００００ 状態検出装置

101, 301 ROI detection unit 101-1 Face detection unit 101-2 Face feature point detection unit 102, 303 Luminance value calculation unit 103, 201, 305 Heartbeat component enhancement unit 104, 306 Heartbeat calculation unit 110 Image data 201-1 Heartbeat Component enhancement processing unit 201-2 Storage unit 302 Confidence region determination unit 304 Heartbeat component filter unit 307 Deviation removal unit 401 State detection unit 1000, 2000, 3000, 4000 Heartbeat estimation device 10000 State detection device

Claims (10)

時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出部と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出部と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調部と、
前記心拍成分強調部によって強調した心拍成分に基づいて、心拍数を算出する心拍算出部とを備え、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含み、
前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、心拍推定装置。 A region-of-interest detection unit that detects a region of interest including a subject's face region from each of a plurality of temporally consecutive images,
A brightness value included in the image in the region of interest, a brightness value calculation unit that calculates for each of the predetermined light wavelength components,
By performing an independent component analysis on the luminance value using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row, a heartbeat component enhancement unit that enhances the heartbeat component,
Based on the heartbeat component emphasized by the heartbeat component emphasis unit, a heartbeat calculation unit for calculating the heart rate, and
The separation matrix is a heartbeat component emphasis coefficient, in which an absolute value of a coefficient applied to a luminance value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a luminance value of the light wavelength component of another color. the line that consists of only including,
The heartbeat estimation device , wherein the heartbeat component emphasis unit applies the independent component analysis by using the heartbeat component emphasis coefficient as at least an initial value in the separation matrix . 前記分離行列は、いずれか一行が前記心拍成分強調係数からなり、
前記心拍成分強調係数は、前記光波長成分の輝度値にかかる各係数の和がゼロであり、
前記分離行列の各行は、前記光波長成分の輝度値に係るN個（Nは自然数）の係数からなり、
前記心拍成分強調係数は、緑色の前記光波長成分の輝度値にかかる係数と、緑色以外の前記光波長成分の輝度値にかかる係数との比が(N-1):(-1)であり、
前記心拍成分強調部は前記輝度値を正規化した値に対して独立成分分析を行う
請求項１に記載の心拍推定装置。 In the separation matrix, any one row is composed of the heartbeat component emphasis coefficient,
The heartbeat component emphasis coefficient, the sum of each coefficient applied to the luminance value of the light wavelength component is zero,
Each row of the separation matrix consists of N (N is a natural number) coefficients relating to the luminance value of the light wavelength component,
The heartbeat component emphasis coefficient, the ratio of the coefficient applied to the luminance value of the light wavelength component of green and the coefficient applied to the luminance value of the light wavelength component other than green is (N-1): (-1) ,
The heartbeat estimation device according to claim 1, wherein the heartbeat component emphasis unit performs independent component analysis on a value obtained by normalizing the luminance value. 前記心拍成分強調部は、前記分離行列において、前記心拍成分強調係数からなる行ベクトルを除いた行に前記心拍成分強調係数からなる行ベクトルに対して正規直交になる行ベクトルを用いる、請求項１または請求項２に記載の心拍推定装置。 The heartbeat component emphasizing unit uses a row vector that is orthonormal to the row vector composed of the heartbeat component emphasis coefficient in a row excluding the row vector composed of the heartbeat component emphasis coefficient in the separation matrix. Alternatively, the heartbeat estimating device according to claim 2 . 前記心拍成分強調部は、独立成分分析を適用する際の、前記分離行列の更新において、独立成分分析の出力成分が定まる傾向が見られるまで前記心拍成分強調係数を固定する、請求項１乃至請求項３のいずれかに記載の心拍推定装置。 The heartbeat component emphasis unit fixes the heartbeat component emphasis coefficient until the output component of the independent component analysis tends to be determined in updating the separation matrix when applying the independent component analysis. Item 5. The heartbeat estimation device according to any one of items 3 . 前記心拍成分強調部は、前記分離行列において、前記関心領域と前記関心領域以外の前記光波長成分の輝度値の差分を基に、前記心拍成分強調係数を定める、請求項１、請求項３または請求項４に記載の心拍推定装置。 The heartbeat component enhancement unit, in the separation matrices, based on the difference between the luminance value of the light wavelength components other than the region of interest and the region of interest, defining said cardiac component enhancement factor, according to claim 1, claim 3 or The heartbeat estimation device according to claim 4 . 前記心拍成分強調部は、学習後の前記分離行列において、前記心拍成分強調係数に最も近い前記分離行列の行にかかる出力成分を、心拍成分の出力成分として選択する、請求項１乃至請求項５のいずれかに記載の心拍推定装置。 The heartbeat component enhancement unit, in the separation matrix after learning, the output component according to the line of closest the separating matrix to the heartbeat component enhancement factor is selected as the output component of the heartbeat component, claims 1 to 5 The heartbeat estimation device according to any one of 1. 前記関心領域を部分領域に分割し、その信頼度を算出する信頼領域決定部を更に備え、
前記輝度値算出部は、前記信頼値を参照して輝度値を算出する
請求項１乃至請求項６のいずれかに記載の心拍推定装置。 The region of interest is further divided into partial regions, and further comprises a confidence region determination unit for calculating the reliability thereof,
The luminance value calculating unit, heartbeat estimating apparatus according to any one of claims 1 to 6 to calculate the luminance value by referring to the confidence values. 前記輝度値算出部の出力から、人間の心拍数が取り得る範囲に基づいて予め定められた周波数領域のみを通過させる心拍成分フィルタ部を更に備える、請求項１乃至請求項７のいずれかに記載の心拍推定装置。The heartbeat component filter unit that allows only a predetermined frequency range to pass based on a range that a human heart rate can take from the output of the brightness value calculation unit is further included. Heart rate estimation device. 時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出段階と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出段階と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調段階と、
前記心拍成分強調段階によって強調した心拍成分に基づいて、心拍数を算出する心拍算出段階とを含み、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含み、
前記心拍成分強調段階は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、心拍推定方法。 A region-of-interest detection step of detecting a region of interest including a subject's face region from each of a plurality of temporally consecutive images,
A brightness value included in the image in the region of interest, a brightness value calculating step of calculating for each of the predetermined light wavelength components,
By performing an independent component analysis on the luminance value using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row, a heartbeat component enhancing step of enhancing a heartbeat component, and
A heartbeat calculating step of calculating a heart rate based on the heartbeat component emphasized by the heartbeat component emphasizing step,
The separation matrix is a heartbeat component emphasis coefficient, in which an absolute value of a coefficient applied to a luminance value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a luminance value of the light wavelength component of another color. the line that consists of only including,
A method of estimating a heartbeat , wherein the heartbeat component emphasis step uses the independent component analysis by using the heartbeat component emphasis coefficient as at least an initial value in the separation matrix . 時間的に連続した複数の画像のそれぞれから被験者の顔領域を含む関心領域を検出する関心領域検出手段と、
前記関心領域内の画像に含まれる輝度値を、予め定められた光波長成分の夫々について算出する輝度値算出手段と、
前記予め定められた光波長成分のそれぞれにかかる係数の一組を行とする分離行列を用いて前記輝度値に対して独立成分分析を行うことにより、心拍成分を強調する心拍成分強調手段と、
前記心拍成分強調手段によって強調した心拍成分に基づいて、心拍数を算出する心拍算出手段とをコンピュータに実行させるプログラムであって、
前記分離行列は、緑色の前記光波長成分の輝度値にかかる係数の絶対値が、他の色の前記光波長成分の輝度値にかかる係数の絶対値よりも大きい係数からなる、心拍成分強調係数からなる行を含み、
前記心拍成分強調手段は、前記分離行列において、前記心拍成分強調係数を少なくとも初期値に用いて、独立成分分析を適用する、プログラム。 Region-of-interest detecting means for detecting a region of interest including a subject's face region from each of a plurality of temporally continuous images,
A brightness value included in the image in the region of interest, a brightness value calculating means for calculating each of the predetermined light wavelength components,
Heartbeat component emphasizing means for emphasizing the heartbeat component by performing an independent component analysis on the luminance value by using a separation matrix having a set of coefficients for each of the predetermined light wavelength components as a row,
Based on the heartbeat component emphasized by the heartbeat component emphasizing means, a program for causing a computer to execute a heartbeat calculating means for calculating a heartbeat rate,
The separation matrix is a heartbeat component emphasis coefficient, in which an absolute value of a coefficient applied to a luminance value of the light wavelength component of green is larger than an absolute value of a coefficient applied to a luminance value of the light wavelength component of another color. the line that consists of only including,
The program , wherein the heartbeat component emphasis means applies an independent component analysis by using the heartbeat component emphasis coefficient as at least an initial value in the separation matrix .
JP2019508436A 2017-03-29 2017-03-29 Heart rate estimation device Active JP6717424B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/012954 WO2018179150A1 (en) 2017-03-29 2017-03-29 Heart rate estimation apparatus

Publications (2)

Publication Number Publication Date
JPWO2018179150A1 JPWO2018179150A1 (en) 2019-11-07
JP6717424B2 true JP6717424B2 (en) 2020-07-01

Family

ID=63674565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508436A Active JP6717424B2 (en) 2017-03-29 2017-03-29 Heart rate estimation device

Country Status (2)

Country Link
JP (1) JP6717424B2 (en)
WO (1) WO2018179150A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109793506B (en) * 2019-01-18 2022-03-22 合肥工业大学 Non-contact radial artery waveform extraction method
WO2020157972A1 (en) * 2019-02-01 2020-08-06 Nec Corporation Estimation apparatus, method and program
CN110269600B (en) * 2019-08-06 2021-12-21 合肥工业大学 Non-contact video heart rate detection method based on multivariate empirical mode decomposition and combined blind source separation
CN111743524A (en) * 2020-06-19 2020-10-09 联想(北京)有限公司 Information processing method, terminal and computer readable storage medium
CN115697193A (en) * 2020-11-04 2023-02-03 株式会社Leimac Non-contact blood vessel analysis device
WO2023184832A1 (en) * 2022-03-31 2023-10-05 上海商汤智能科技有限公司 Physiological state detection method and apparatus, electronic device, storage medium, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672144B2 (en) * 2011-05-20 2015-02-18 富士通株式会社 Heart rate / respiration rate detection apparatus, method and program
JP2014036801A (en) * 2012-08-20 2014-02-27 Olympus Corp Biological state observation system, biological state observation method and program
CN104755018B (en) * 2012-11-02 2017-05-24 皇家飞利浦有限公司 device and method for extracting physiological information
US9504391B2 (en) * 2013-03-04 2016-11-29 Microsoft Technology Licensing, Llc Determining pulse transit time non-invasively using handheld devices
JP6308161B2 (en) * 2015-03-31 2018-04-11 株式会社エクォス・リサーチ Pulse wave detection device and pulse wave detection program

Also Published As

Publication number Publication date
JPWO2018179150A1 (en) 2019-11-07
WO2018179150A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6717424B2 (en) Heart rate estimation device
Unakafov Pulse rate estimation using imaging photoplethysmography: generic framework and comparison of methods on a publicly available dataset
Rahman et al. Real time heart rate monitoring from facial RGB color video using webcam
JP6308161B2 (en) Pulse wave detection device and pulse wave detection program
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
Holton et al. Signal recovery in imaging photoplethysmography
EP3440991A1 (en) Device, system and method for determining a physiological parameter of a subject
KR101738278B1 (en) Emotion recognition method based on image
Rahman et al. Non-contact physiological parameters extraction using facial video considering illumination, motion, movement and vibration
KR102285999B1 (en) Heart rate estimation based on facial color variance and micro-movement
McDuff et al. Fusing partial camera signals for noncontact pulse rate variability measurement
JP6957929B2 (en) Pulse wave detector, pulse wave detection method, and program
JPWO2016159150A1 (en) Pulse wave detection device and pulse wave detection program
US20210186346A1 (en) Information processing device, non-transitory computer-readable medium, and information processing method
JP2022008806A5 (en)
Nooralishahi et al. Robust remote heart rate estimation from multiple asynchronous noisy channels using autoregressive model with Kalman filter
Alnaggar et al. Video-based real-time monitoring for heart rate and respiration rate
Gupta et al. Accurate heart-rate estimation from face videos using quality-based fusion
JP6455761B2 (en) Pulse wave detection device and pulse wave detection program
US10192307B2 (en) System and method for extracting a periodic signal from video
Birla et al. ALPINE: Improving remote heart rate estimation using contrastive learning
Oviyaa et al. Real time tracking of heart rate from facial video using webcam
JP6201520B2 (en) Gaze analysis system and method using physiological indices
Arppana et al. Real time heart beat monitoring using computer vision
Ben Salah et al. Contactless heart rate estimation from facial video using skin detection and multi-resolution analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200525

R150 Certificate of patent or registration of utility model

Ref document number: 6717424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150