JP7106821B2 - BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM - Google Patents
BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM Download PDFInfo
- Publication number
- JP7106821B2 JP7106821B2 JP2017137302A JP2017137302A JP7106821B2 JP 7106821 B2 JP7106821 B2 JP 7106821B2 JP 2017137302 A JP2017137302 A JP 2017137302A JP 2017137302 A JP2017137302 A JP 2017137302A JP 7106821 B2 JP7106821 B2 JP 7106821B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- fluctuation component
- frequency band
- component
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
本発明は、生体信号解析装置、生体信号解析方法及びプログラムに関するものである。 The present invention relates to a biosignal analysis device, biosignal analysis method, and program.
従来、生体から取得できる脈波等を解析して、生体の様々な状態を示す指標を評価する技術が知られている。例えば、指標は、脈拍数又は脈拍変動指標等である。 2. Description of the Related Art Conventionally, there has been known a technique of analyzing a pulse wave or the like that can be acquired from a living body and evaluating indices indicating various conditions of the living body. For example, the index is a pulse rate or pulse variability index.
また、脈拍変動指標は、脈拍のピーク間隔の揺らぎを評価する指標である。具体的には、脈拍変動指標には、０．０４Ｈｚ（ヘルツ）乃至０．１５Ｈｚ程度となる低周波成分の揺らぎを示すＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）値、０．１５Ｈｚ乃至０．４０Ｈｚ程度となる高周波成分の揺らぎを示すＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）値及びＬＦ値とＨＦ値の比であるＬＦ／ＨＦ値等の指標がある。そして、脈拍変動指標は、生体の自律神経の働きと関連するため、脈拍変動指標から、生体の自律神経の状態が評価できる。例えば、生体の自律神経の状態から、生体の疲れ又は病気等が把握できる。 The pulse variability index is an index for evaluating fluctuations in pulse peak intervals. Specifically, the pulse variability index includes an LF (Low Frequency) value indicating fluctuations in low frequency components of about 0.04 Hz (hertz) to 0.15 Hz, and a high frequency component of about 0.15 Hz to 0.40 Hz. There are indicators such as HF (High Frequency) value that indicates fluctuation of , and LF/HF value that is the ratio of LF value to HF value. Since the pulse variability index is related to the function of the autonomic nerves of the living body, the state of the autonomic nerves of the living body can be evaluated from the pulse variability index. For example, from the state of the autonomic nervous system of the living body, fatigue or illness of the living body can be grasped.
そして、まず、装置が、生体信号におけるピーク間隔の検出サンプル数を区間ごとにリサンプリングする。次に、装置が、リサンプリングされた信号を直交変換する。さらに、装置が、基本周波数成分及び高調波成分を抽出することで、ノイズとなる信号を確実に除去する方法が知られている（例えば、特許文献１等）。
First, the device resamples the number of detected samples between peak intervals in the biosignal for each section. The device then orthogonally transforms the resampled signal. Furthermore, a method is known in which a device extracts a fundamental frequency component and a harmonic component to reliably remove a signal that becomes noise (for example,
しかしながら、従来の技術では、高周波成分の揺らぎが精度良く抽出できない課題がある。 However, the conventional technique has a problem that fluctuations in high-frequency components cannot be accurately extracted.
本発明の１つの側面は、高周波成分の揺らぎを精度良く抽出することを目的としている。 One aspect of the present invention aims to accurately extract fluctuations in high-frequency components.
上述した課題を解決するために、本発明の一態様である、周期性を有し、かつ、周期に揺らぎのある脈波信号を解析する生体信号解析装置は、
前記脈波信号を示す第１信号を生成する第１信号生成部と、
前記第１信号の周波数スペクトルを算出する算出部と、
算出した周波数スペクトルに基づいて、前記第１信号における生体起因の周期の揺らぎのうち、０．１５Ｈｚ以下の第１周波数帯における揺らぎ成分である第１の揺らぎ成分を、前記第１信号のピーク周波数帯域とともに抽出する第１抽出部と、
前記第１揺らぎ成分が抽出された信号の脈拍間隔を該脈拍間隔の所定の固定値に合うように前記第１信号のサンプリング周期を補正することにより前記第１の揺らぎ成分を平坦化することで０．１５Ｈｚより高く、０．４０Ｈｚ以下の第２周波数帯における生体起因の周期の揺らぎ成分である第２の周期の揺らぎ成分を示す信号値を抽出し、前記第２揺らぎ成分に起因するピークが強調された第２信号を生成する第２信号生成部と、
前記第２信号が有する振幅のノイズ成分を除去するノイズ除去部と、
前記ノイズ除去部によりノイズ成分が除去された信号に対して、第２信号生成部で平坦化された第１揺らぎ成分を付与する非平坦化処理部と、
前記非平坦化処理部により第１揺らぎ成分が付与された信号から、少なくとも前記第２揺らぎ成分を抽出する第２抽出部と、
を備えることを特徴とする。
In order to solve the above-described problems, a biological signal analysis device that analyzes a pulse wave signal that has periodicity and fluctuates in the cycle, which is one aspect of the present invention, comprises:
a first signal generator that generates a first signal indicating the pulse wave signal;
a calculator that calculates the frequency spectrum of the first signal;
Based on the calculated frequency spectrum, the first fluctuation component, which is the fluctuation component in the first frequency band of 0.15 Hz or less, among the period fluctuations caused by the living body in the first signal, is calculated as the peak frequency of the first signal. a first extractor that extracts together with the band;
flattening the first fluctuation component by correcting the sampling period of the first signal so that the pulse interval of the signal from which the first fluctuation component is extracted matches a predetermined fixed value of the pulse interval; A signal value indicating a second cycle fluctuation component, which is a biologically-induced cycle fluctuation component, in a second frequency band of 0.40 Hz or less, which is higher than 0.15 Hz, is extracted, and the peak due to the second fluctuation component is extracted. a second signal generator that generates an enhanced second signal;
a noise removal unit that removes an amplitude noise component of the second signal;
a non-flattening processor that adds a first fluctuation component that has been flattened by a second signal generator to the signal from which noise components have been removed by the noise remover ;
a second extraction unit that extracts at least the second fluctuation component from the signal to which the first fluctuation component has been added by the non-flattening processing unit;
characterized by comprising
高周波成分の揺らぎが精度良く抽出できる。 Fluctuations in high-frequency components can be accurately extracted.
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付し、重複する説明を省略する。 Embodiments of the present invention will be described below with reference to the accompanying drawings. In the present specification and drawings, constituent elements having substantially the same functional configuration are denoted by the same reference numerals, and overlapping descriptions are omitted.
＜生体信号解析装置例＞
図１は、本発明の一実施形態に係る生体信号解析装置の一例を示す概略図である。
<Example of biosignal analyzer>
FIG. 1 is a schematic diagram showing an example of a biological signal analysis device according to one embodiment of the present invention.
本実施形態では、まず、生体信号解析装置の例である端末装置１００は、カメラ等の撮像装置１００Ｈ１を有する。そして、端末装置１００は、撮像装置１００Ｈ１によって、脈波等を測定する対象の生体１を撮像する。次に、撮像装置１００Ｈ１が撮像した画像に基づいて、端末装置１００は、生体１の脈波等を示す生体信号を取得する。
In this embodiment, first, a
＜ハードウェア構成例＞
図２は、本発明の一実施形態に係る生体信号解析装置のハードウェア構成の一例を示すブロック図である。図示するように、例えば、端末装置１００は、撮像装置１００Ｈ１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００Ｈ２と、記憶装置１００Ｈ３と、入力装置１００Ｈ４とを有する。さらに、端末装置１００は、出力装置１００Ｈ５と、Ｉ／Ｆ（ｉｎｔｅｒｆａｃｅ）１００Ｈ６とを有する。これらのハードウェアは、バス１００Ｈ７によって接続される。
<Hardware configuration example>
FIG. 2 is a block diagram showing an example of the hardware configuration of the biological signal analysis device according to one embodiment of the present invention. As illustrated, for example, the
撮像装置１００Ｈ１は、例えば、カメラ、光センサ又はこれらの組み合わせである。以下、撮像装置１００Ｈ１がカメラである例で説明する。また、この例では、カメラの色フィルタ構成は、例えば、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）（以下「Ｒ」、「Ｇ」及び「Ｂ」で各色を示す場合がある。）の３チャンネルの色信号を出力できるベイヤ（Ｂａｙｅｒ）構成等である。なお、カメラの色フィルタ構成は、１チャンネル以上の色信号を出力できる構成であればよい。 The imaging device 100H1 is, for example, a camera, an optical sensor, or a combination thereof. An example in which the imaging device 100H1 is a camera will be described below. Also, in this example, the color filter configuration of the camera may indicate, for example, R (Red), G (Green) and B (Blue) (hereinafter "R", "G" and "B"). ), which can output three-channel color signals. Note that the color filter configuration of the camera may be any configuration capable of outputting color signals of one or more channels.
また、カメラは、脈拍に基づく輝度変化を取得できるチャンネルを有するのが望ましい。脈拍に基づく輝度変化は、例えば、「Ｇ」又は近赤外（ＮＩＲ、Ｎｅａｒ－ｉｎｆｒａｒｅｄ）の光から取得しやすい。したがって、カメラは、近赤外のチャンネルを有してもよい。近赤外の光は、主に７５０ｎｍ（ナノメートル）乃至１．４μｍ（マイクロメートル）程度の波長である。 Also, the camera desirably has a channel capable of acquiring luminance changes based on the pulse. Pulse-based luminance changes are easy to obtain from, for example, "G" or near-infrared (NIR) light. Accordingly, the camera may have a near-infrared channel. Near-infrared light mainly has a wavelength of about 750 nm (nanometers) to 1.4 μm (micrometers).
なお、撮像装置１００Ｈ１が有する撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光センサである。 Note that the imaging device of the imaging device 100H1 is, for example, an optical sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor.
さらに、撮像装置１００Ｈ１は、カメラ等に限られない。例えば、撮像装置は、光を測定する光センサ等でもよい。すなわち、光センサは、生体から反射する光を測定できるセンサ等である。 Furthermore, the imaging device 100H1 is not limited to a camera or the like. For example, the imaging device may be an optical sensor or the like that measures light. That is, the optical sensor is a sensor or the like that can measure light reflected from a living body.
以下、撮像装置１００Ｈ１がカメラであって、ＲＧＢ画像を出力する例で説明する。 An example in which the imaging device 100H1 is a camera and outputs an RGB image will be described below.
ＣＰＵ１００Ｈ２は、中央処理装置である。すなわち、ＣＰＵ１００Ｈ２は、処理を実現するための演算及びデータの加工等を行う演算装置並びにハードウェアを制御する制御装置である。また、ＣＰＵ１００Ｈ２は、記憶装置１００Ｈ３等が記憶するプログラム等に基づいて、処理を実行する。 CPU 100H2 is a central processing unit. In other words, the CPU 100H2 is an arithmetic device that performs calculations and data processing for realizing processing, and a control device that controls hardware. The CPU 100H2 also executes processing based on programs and the like stored in the storage device 100H3 and the like.
記憶装置１００Ｈ３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク又はこれらの組み合わせである。すなわち、記憶装置１００Ｈ３は、主記憶装置及び補助記憶装置等である。 The storage device 100H3 is, for example, a RAM (Random Access Memory), a ROM (Read-Only Memory), a hard disk, or a combination thereof. That is, the storage device 100H3 is a main storage device, an auxiliary storage device, and the like.
入力装置１００Ｈ４は、ユーザによる操作を入力する装置である。例えば、入力装置１００Ｈ４は、キーボード、マウス又はこれらの組み合わせ等である。 The input device 100H4 is a device for inputting an operation by the user. For example, the input device 100H4 is a keyboard, mouse, or combination thereof.
出力装置１００Ｈ５は、ユーザに対して画像、各種処理結果又はこれらの組み合わせ等を表示する装置である。例えば、出力装置１００Ｈ５は、液晶ディスプレイ等である。 The output device 100H5 is a device that displays an image, various processing results, a combination thereof, or the like to the user. For example, the output device 100H5 is a liquid crystal display or the like.
なお、入力装置１００Ｈ４及び出力装置１００Ｈ５は、一体となっているタッチパネル等でもよい。 Note that the input device 100H4 and the output device 100H5 may be integrated with a touch panel or the like.
Ｉ／Ｆ１００Ｈ６は、外部装置と接続するためのインタフェースである。例えば、Ｉ／Ｆ１００Ｈ６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等である。また、Ｉ／Ｆ１００Ｈ６は、画像データ等を外部装置と入出力する。さらに、Ｉ／Ｆ１００Ｈ６は、ネットワーク等を介して外部装置と通信を行って、データを送受信してもよい。 The I/F 100H6 is an interface for connecting with an external device. For example, the I/F 100H6 is a USB (Universal Serial Bus) or the like. Also, the I/F 100H6 inputs and outputs image data and the like with an external device. Furthermore, the I/F 100H6 may communicate with an external device via a network or the like to transmit and receive data.
また、Ｉ／Ｆ１００Ｈ６は、記録媒体２００等からプログラム等を入力する。
Also, the I/F 100H6 inputs a program or the like from the
このように、端末装置１００は、スマートフォン又はＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理装置であり、コンピュータである。なお、端末装置１００は、情報処理装置と、情報処理装置に接続される撮像装置との組み合わせ等でもよい。
Thus, the
＜機能構成例＞
図３は、本発明の一実施形態に係る生体信号解析装置の機能構成の一例を示す機能ブロック図である。図示するように、端末装置１００は、第１信号生成部１００Ｆ１と、抽出部１００Ｆ２と、第２信号生成部１００Ｆ３と、ノイズ除去部１００Ｆ４とを備える。
<Example of functional configuration>
FIG. 3 is a functional block diagram showing an example of the functional configuration of the biological signal analysis device according to one embodiment of the present invention. As illustrated, the
第１信号生成部１００Ｆ１は、撮像装置等の測定装置により取得される生体１の画像データ等のデータに基づいて、生体信号を示す第１信号を生成する第１信号生成手順を行う。
The first signal generation unit 100F1 performs a first signal generation procedure of generating a first signal representing a biological signal based on data such as image data of the living
抽出部１００Ｆ２は、第１信号生成部１００Ｆ１が生成する第１信号が有する低周波揺らぎ成分を抽出する抽出手順を行う。 The extraction unit 100F2 performs an extraction procedure for extracting the low-frequency fluctuation component of the first signal generated by the first signal generation unit 100F1.
第２信号生成部１００Ｆ３は、抽出部１００Ｆ２が抽出する低周波揺らぎ成分を平坦化させて第２信号を生成する第２信号生成手順を行う。 The second signal generation unit 100F3 performs a second signal generation procedure of flattening the low-frequency fluctuation component extracted by the extraction unit 100F2 to generate a second signal.
ノイズ除去部１００Ｆ４は、第２信号生成部１００Ｆ３が生成する第２信号が有するノイズ成分を除去するノイズ除去手順を行う。 The noise removal unit 100F4 performs a noise removal procedure for removing noise components contained in the second signal generated by the second signal generation unit 100F3.
例えば、第１信号生成部１００Ｆ１と、抽出部１００Ｆ２と、第２信号生成部１００Ｆ３と、ノイズ除去部１００Ｆ４とは、ＣＰＵ１００Ｈ２等によって実現される。 For example, the first signal generator 100F1, the extractor 100F2, the second signal generator 100F3, and the noise remover 100F4 are implemented by the CPU 100H2 and the like.
なお、端末装置１００は、更に指標を計算する機能等を備えてもよい。
Note that the
＜全体処理例＞
図４は、本発明の一実施形態に係る生体信号解析装置による全体処理の一例を示すフローチャートである。図示するように、端末装置は、第１信号を生成するのに、ステップＳ０３乃至ステップＳ０５のように、撮像条件を調整して生体信号等を精度良く抽出できるようにするのが望ましい。以下、図示するように、撮像条件の変更等を行う場合を例に説明する。なお、図示するステップＳ０１乃至ステップＳ０２は、第１信号の生成例であり、第１信号は、図示する以外の処理によって生成されてもよい。
<Overall processing example>
FIG. 4 is a flowchart showing an example of overall processing by the biological signal analysis device according to one embodiment of the present invention. As shown in the figure, the terminal device preferably adjusts the imaging conditions to extract the biological signal and the like with high accuracy, as in steps S03 to S05, in order to generate the first signal. In the following, as shown in the drawings, an example of changing the imaging conditions and the like will be described. Note that the illustrated steps S01 and S02 are an example of generating the first signal, and the first signal may be generated by processes other than those illustrated.
＜生体の撮像例＞（ステップＳ０１）
ステップＳ０１では、端末装置は、生体を撮像する。例えば、ステップＳ０１では、端末装置は、生体を撮像し、生体を示す画像データを生成する。例えば、端末装置は、３０ｆｐｓ（フレーム毎秒）程度で撮像を行い、動画データを生成する。
<Example of Imaging of Living Body> (Step S01)
In step S01, the terminal device images a living body. For example, in step S01, the terminal device captures an image of a living body and generates image data representing the living body. For example, the terminal device captures images at about 30 fps (frames per second) to generate moving image data.
図５は、本発明の一実施形態に係る生体信号解析装置による撮像例を示す図である。端末装置は、生体１の部位のうち、図示する領域１１が中心となるように撮像するのが望ましい。具体的には、領域１１は、生体１の鼻及び頬を含む領域である。
FIG. 5 is a diagram showing an example of imaging by the biological signal analysis device according to one embodiment of the present invention. It is desirable for the terminal device to image an
この領域１１は、脈拍によって画素値が変化しやすい領域である。そのため、領域１１を含む画像に基づいて指標が計算されると、脈波変動指標等が精度良く計算できる。
This
さらに、領域１１は、髪又は衣服等によって肌が隠れる場合が少ない領域である。したがって、領域１１を含む画像に基づいて指標が計算されると、脈波変動指標等が精度良く計算できる。
Further, the
なお、端末装置は、脈拍による画素値の変化が観察できる領域であれば、領域１１以外の領域を撮像してもよい。例えば、端末装置は、額又は指先等の部位を撮像してもよい。
Note that the terminal device may capture an area other than the
また、端末装置は、生体に対して非接触であるのが望ましい。 Moreover, it is desirable that the terminal device is non-contact with the living body.
＜脈波信号の抽出例＞（ステップＳ０２）
図４に戻り、ステップＳ０２では、端末装置は、脈波信号を抽出する。
<Extraction Example of Pulse Wave Signal> (Step S02)
Returning to FIG. 4, in step S02, the terminal device extracts a pulse wave signal.
図６は、本発明の一実施形態に係る生体信号解析装置による脈波信号の抽出例を示すフローチャートである。図示する処理は、例えば、動画では、フレームごとに行われる。 FIG. 6 is a flow chart showing an example of pulse wave signal extraction by the biological signal analysis apparatus according to one embodiment of the present invention. The illustrated processing is performed, for example, for each frame in moving images.
＜顔における特徴点座標の算出例＞（ステップＳ２１）
ステップＳ２１では、端末装置は、顔における特徴点座標を算出する。具体的には、まず、端末装置は、撮像された画像から、目、口及び鼻等の特徴点の座標を検出する。なお、各部位の検出は、例えば、公知の顔認証技術等によって実現できる。
<Calculation example of feature point coordinates in face> (step S21)
In step S21, the terminal device calculates feature point coordinates on the face. Specifically, first, the terminal device detects coordinates of feature points such as the eyes, mouth, and nose from the captured image. Note that the detection of each part can be realized by, for example, a known face recognition technique or the like.
＜脈波信号の抽出に用いる画素の領域の設定例＞（ステップＳ２２）
ステップＳ２２では、端末装置は、脈波信号の抽出に用いる画素の領域を設定する。すなわち、端末装置は、領域１１から脈波信号が抽出できるように、設定を行う。具体的には、端末装置は、ステップＳ２１による算出結果に基づいて、生体の鼻及び頬を含む領域を設定する。また、この場合において、設定される領域は、目及び口が領域内に入らない程度に設定される。なお、領域の設定は、顔認証等に基づいて行われるに限られない。例えば、ユーザによる操作によって、領域の始点位置、幅及び高さ等が入力され、設定が行われてもよい。また、領域は、複数に分割されて設定されてもよい。例えば、領域は、鼻を含む領域と、左頬を含む領域と、右頬を含む領域とに分割されて設定されてもよい。
<Setting Example of Pixel Area Used for Pulse Wave Signal Extraction> (Step S22)
In step S22, the terminal device sets the pixel area used for extracting the pulse wave signal. That is, the terminal device is set so that the pulse wave signal can be extracted from the
＜領域内の画素値の平均化例＞（ステップＳ２３）
ステップＳ２３では、端末装置は、領域内の画素値を平均化する。具体的には、ステップＳ２３では、端末装置は、ステップＳ２２で設定される領域から生成される画像が有するＲ、Ｇ及びＢ等の画素値を平均化して、それぞれの平均値を計算する。
<Example of Averaging Pixel Values in Region> (Step S23)
In step S23, the terminal device averages the pixel values within the area. Specifically, in step S23, the terminal device averages the pixel values of R, G, B, etc. of the image generated from the area set in step S22, and calculates each average value.
生体の脈拍に起因する画素値の変化は、微小な変化である。そのため、１画素単位では、ノイズの影響が大きい。そこで、複数の画素が示すそれぞれの画素値を平均化すると、脈波信号に対するノイズの影響が低減できる。 A change in pixel value due to the pulse of a living body is a minute change. Therefore, the influence of noise is large in units of one pixel. Therefore, by averaging pixel values indicated by a plurality of pixels, the influence of noise on the pulse wave signal can be reduced.
＜脈波信号の生成例＞（ステップＳ２４）
ステップＳ２４では、端末装置は、脈波信号を生成する。例えば、端末装置は、ステップＳ２３で計算される平均値に基づいて、下記（１）式を計算して、脈波信号の値を生成する。
ｐ０（ｎ）＝ａｒ×ｒ（ｎ）＋ａｇ×ｇ（ｎ）＋ａｂ×ｂ（ｎ） （１）
上記（１）式では、「ｎ」は、フレーム番号を示す値である。また、「ｒ（ｎ）」は、「ｎ」フレーム目の画像が示すＲの画素値である。同様に、「ｇ（ｎ）」は、「ｎ」フレーム目の画像が示すＧの画素値である。さらに、「ｂ（ｎ）」は、「ｎ」フレーム目の画像が示すＢの画素値である。
<Generation Example of Pulse Wave Signal> (Step S24)
In step S24, the terminal device generates a pulse wave signal. For example, the terminal device calculates the following equation (1) based on the average value calculated in step S23 to generate the value of the pulse wave signal.
p0(n)=a r ×r(n)+a g ×g(n)+a b ×b(n) (1)
In the above formula (1), "n" is a value indicating a frame number. "r(n)" is the pixel value of R indicated by the image of the "n"th frame. Similarly, "g(n)" is the pixel value of G indicated by the image of the "n"th frame. Furthermore, "b(n)" is the pixel value of B indicated by the image of the "n"th frame.
また、上記（１）式では、「ａｒ」は、Ｒに対する重みとなる係数である。同様に、「ａｇ」は、Ｇに対する重みとなる係数である。さらに、「ａｂ」は、Ｂに対する重みとなる係数である。 Also, in the above equation (1), "a r " is a weighting factor for R. Similarly, "a g " is a weighting factor for G. Furthermore, “a b ” is a weighting factor for B.
例えば、「ａｒ」、「ａｇ」及び「ａｂ」は、あらかじめ「ａｒ＝０」、「ａｇ＝１」、「ａｂ＝０」と設定されると、端末装置は、Ｇの成分だけを抽出した脈波信号を生成できる。生体の脈拍に起因する画素値の変化は、Ｇの成分から観察できる。したがって、上記のような設定とすると、端末装置は、生体の脈拍に起因する画素値の変化を観察しやすい脈波信号を生成できる。 For example, when "a r ", "a g ", and " ab " are set in advance as "a r =0", "a g =1", and " ab =0", the terminal device A pulse wave signal can be generated by extracting only the component of A change in pixel value caused by the pulse of the living body can be observed from the G component. Therefore, with the above setting, the terminal device can generate a pulse wave signal that makes it easy to observe changes in pixel values caused by the pulse of the living body.
他にも、「ａｒ」、「ａｇ」及び「ａｂ」は、あらかじめ「ａｒ＝－ｋ」、「ａｇ＝１」、「ａｂ＝０」等と設定されてもよい。このような設定であると、脈波信号は、Ｇの成分から、「ｋ」で補正されたＲの成分を引いた値で生成される。このようにすると、端末装置は、Ｇの成分に含まれる体動等を起因とするノイズを低減させることができる。なお、ノイズは、例えば、周辺の光量の変化又は光源のちらつき等の周辺環境の変化が起因する場合もある。 Alternatively, “a r ”, “a g ”, and “a b ” may be set in advance to “a r =−k”, “a g =1”, “a b =0”, and the like. With such a setting, the pulse wave signal is generated by subtracting the R component corrected by "k" from the G component. In this way, the terminal device can reduce noise caused by body movements and the like contained in the G component. Noise may also be caused by changes in the surrounding environment, such as changes in the amount of ambient light or flickering of a light source.
したがって、「ｋ」は、ノイズとなる成分が少なくなるように設定される。なお、「ｋ」は、正の値である。また、「ｋ」は、例えば、フレームごとに設定されてもよい。 Therefore, "k" is set so that the noise component is reduced. Note that "k" is a positive value. Also, "k" may be set for each frame, for example.
また、領域が複数設定される場合がある。このような場合には、端末装置は、まず、領域ごとに、それぞれの脈波信号を生成する。そして、端末装置は、複数の脈波信号を合成して１つの脈波信号としてもよい。具体的には、端末装置は、加算平均等によって、複数の脈波信号を合成する。すなわち、端末装置は、領域ごとの脈波信号を平均して、合成してもよい。他にも、端末装置は、領域ごとの脈波信号に重み付けをして合成してもよい。 Also, multiple areas may be set. In such a case, the terminal device first generates a pulse wave signal for each region. Then, the terminal device may synthesize a plurality of pulse wave signals into one pulse wave signal. Specifically, the terminal device synthesizes a plurality of pulse wave signals by averaging or the like. That is, the terminal device may average and synthesize pulse wave signals for each region. Alternatively, the terminal device may weight and synthesize pulse wave signals for each region.
図７は、本発明の一実施形態に係る脈波信号の一例を示す図である。図では、横軸は、経過時間である。一方で、縦軸は、信号値である。 FIG. 7 is a diagram showing an example of a pulse wave signal according to one embodiment of the present invention. In the figure, the horizontal axis is elapsed time. On the other hand, the vertical axis is the signal value.
ステップＳ０１、すなわち、図６に示す処理が行われると、端末装置は、図示するような脈波信号を抽出できる。図示するように、脈波信号は、脈拍に応じて信号値が周期的に変化する時系列データである。 When step S01, that is, the processing shown in FIG. 6 is performed, the terminal device can extract the pulse wave signal as shown. As illustrated, the pulse wave signal is time-series data in which the signal value periodically changes according to the pulse.
なお、１フレームが「Δｔ」で一定、すなわち、「Δｔ」ごとに撮像が行われるとすると、時間は、「Δｔ×ｎ」となる。「ｎ」は、フレーム番号を示す値である。 Note that if one frame is constant at "Δt", that is, if an image is captured every "Δt", the time is "Δt×n". "n" is a value indicating a frame number.
＜ＳＮ比の計算例＞（ステップＳ０３）
図４に戻り、ステップＳ０３では、端末装置は、ＳＮ比を計算する。
<Calculation example of SN ratio> (step S03)
Returning to FIG. 4, in step S03, the terminal device calculates the SN ratio.
例えば、端末装置は、脈波信号のパワースペクトルに基づいて、まず、信号成分となる「Ｖｓ」と、ノイズ成分となる「Ｖｎ」とを計算する。そして、「Ｖｓ」と、「Ｖｎ」との比を計算すると、端末装置は、ＳＮ比を計算できる。 For example, the terminal device first calculates "Vs" as the signal component and "Vn" as the noise component based on the power spectrum of the pulse wave signal. Then, by calculating the ratio between "Vs" and "Vn", the terminal device can calculate the SN ratio.
また、「Ｖｓ」は、例えば、信号成分となる周波数帯域を決定し、脈波信号のパワースペクトルにおいて、信号成分となる周波数帯域に出力されるパワーの平均値を計算すると特定できる。同様に、「Ｖｎ」は、例えば、ノイズ成分となる周波数帯域を決定し、脈波信号のパワースペクトルにおいて、ノイズ成分となる周波数帯域に出力されるパワーの平均値を計算すると特定できる。なお、ＳＮ比は、上記以外の方法によって計算されてもよい。 Also, "Vs" can be specified, for example, by determining the frequency band of the signal component and calculating the average value of the power output to the frequency band of the signal component in the power spectrum of the pulse wave signal. Similarly, "Vn" can be specified, for example, by determining the frequency band of the noise component and calculating the average value of the power output in the frequency band of the noise component in the power spectrum of the pulse wave signal. Note that the SN ratio may be calculated by a method other than the above.
図８は、本発明の一実施形態に係るＳＮ比を計算する処理の一例を示すフローチャートである。 FIG. 8 is a flow chart showing an example of processing for calculating an SN ratio according to one embodiment of the present invention.
＜パワースペクトルの算出例＞（ステップＳ３１）
ステップＳ３１では、端末装置は、パワースペクトルを算出する。具体的には、ステップＳ３１では、まず、端末装置は、データ数が２の累乗となるように調整する。次に、端末装置は、調整されたデータに対して、高速フーリエ変換（ＦＦＴ、Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行う。続いて、端末装置は、各周波数におけるパワーをそれぞれ算出する。
<Calculation example of power spectrum> (step S31)
In step S31, the terminal device calculates a power spectrum. Specifically, in step S31, first, the terminal device adjusts the number of data to be a power of two. Next, the terminal device performs Fast Fourier Transform (FFT) on the adjusted data. Subsequently, the terminal device calculates the power at each frequency.
図９は、本発明の一実施形態に係るＳＮ比の計算において算出されるパワースペクトルの一例を示す図である。例えば、図示するグラフがステップＳ３１によって生成される。なお、図９では、縦軸は、パワーを示し、一方で、横軸は、周波数を示す。 FIG. 9 is a diagram showing an example of the power spectrum calculated in the SN ratio calculation according to one embodiment of the present invention. For example, the illustrated graph is generated by step S31. Note that in FIG. 9, the vertical axis indicates power, while the horizontal axis indicates frequency.
＜脈波周波数の検出例＞（ステップＳ３２）
図８に戻り、ステップＳ３２では、端末装置は、脈波周波数を検出する。以下、図９に示すパワースペクトルがステップＳ３１によって算出された例で説明する。この例では、脈波周波数Ｆｐは、図示するように検出される。
<Detection Example of Pulse Wave Frequency> (Step S32)
Returning to FIG. 8, in step S32, the terminal device detects the pulse wave frequency. An example in which the power spectrum shown in FIG. 9 is calculated in step S31 will be described below. In this example, the pulse wave frequency Fp is detected as shown.
生体が安静状態であると、脈拍数は、１分当たり３０乃至１２０回程度であることが多い。したがって、パワースペクトルでは、この脈拍数に応じた周期で、強いピークの基本波が検出される。すなわち、周波数が０．５乃至２．０Ｈｚとなる帯域で、端末装置は、パワースペクトルにおいて、最もパワーが大きくなる周波数を検出する。このようにすると、端末装置は、脈波周波数Ｆｐを図示するように検出できる。具体的には、図９に示す例では、周波数が１．０Ｈｚ程度となる周波数で、強いピークが検出される。したがって、この例では、周波数が１．０Ｈｚ程度となる周波数が脈波周波数Ｆｐと検出される。 When the body is at rest, the pulse rate is often about 30 to 120 beats per minute. Therefore, in the power spectrum, a fundamental wave with a strong peak is detected at a period corresponding to this pulse rate. That is, in the frequency band of 0.5 to 2.0 Hz, the terminal device detects the frequency with the largest power in the power spectrum. In this way, the terminal device can detect the pulse wave frequency Fp as shown. Specifically, in the example shown in FIG. 9, a strong peak is detected at a frequency of about 1.0 Hz. Therefore, in this example, a frequency of about 1.0 Hz is detected as the pulse wave frequency Fp.
＜信号及びノイズのそれぞれの周波数帯域の決定例＞（ステップＳ３３）
図８に戻り、ステップＳ３３では、端末装置は、信号及びノイズのそれぞれの周波数帯域を決定する。例えば、信号成分の周波数帯域は、ステップＳ３２で検出される脈波周波数を中心として決定される。具体的には、図９では、信号成分の周波数帯域Ｆｓは、「Ｆｐ－ΔＦ」乃至「Ｆｐ＋ΔＦ」の帯域と決定される例である。なお、図９では、「ΔＦ」は、０．２Ｈｚと設定された例である。また、「ΔＦ」は、あらかじめ設定される値である。例えば、「ΔＦ」は、パワースペクトルのピーク形状等を考慮して設定される。また、信号成分の周波数帯域Ｆｓには、脈波周波数Ｆｐの整数倍の周波数に現れる高調波のピークを含む周波数帯域が含まれてもよい。
<Example of Determining Frequency Bands of Signal and Noise> (Step S33)
Returning to FIG. 8, in step S33, the terminal device determines the respective frequency bands of the signal and noise. For example, the frequency band of the signal component is determined around the pulse wave frequency detected in step S32. Specifically, FIG. 9 shows an example in which the frequency band Fs of the signal component is determined as a band from "Fp-ΔF" to "Fp+ΔF". In addition, in FIG. 9, "ΔF" is an example set to 0.2 Hz. "ΔF" is a preset value. For example, "ΔF" is set in consideration of the peak shape of the power spectrum. Further, the frequency band Fs of the signal component may include a frequency band including harmonic peaks that appear at frequencies that are integral multiples of the pulse wave frequency Fp.
一方で、ステップＳ３３では、端末装置は、信号成分の周波数帯域Ｆｓ以外の周波数帯域をノイズ成分の周波数帯域Ｆｎと決定する。ただし、脈波周波数Ｆｐより低周波のパワーは、計測される際の生体の体動等によって影響を受ける。したがって、端末装置は、図９に示すように、信号成分の周波数帯域Ｆｓより高周波となる周波数帯域をノイズ成分の周波数帯域Ｆｎと決定してよい。なお、ノイズ成分の周波数帯域Ｆｎには、信号成分の周波数帯域Ｆｓより低周波の周波数帯域が含まれてもよい。また、ノイズ成分の周波数帯域Ｆｎの上限となる周波数は、（サンプリング周波数／２）である。すなわち、例えば、カメラのフレームレートが「３０ｆｐｓ（フレーム／秒）」とすると、ノイズ成分の周波数帯域Ｆｎの上限となる周波数は、「３０Ｈｚ／２＝１５Ｈｚ」である。 On the other hand, in step S33, the terminal device determines a frequency band other than the signal component frequency band Fs as the noise component frequency band Fn. However, the power of a frequency lower than the pulse wave frequency Fp is affected by the body motion of the living body and the like during measurement. Therefore, as shown in FIG. 9, the terminal device may determine a frequency band higher than the frequency band Fs of the signal component as the frequency band Fn of the noise component. Note that the frequency band Fn of the noise component may include a frequency band of lower frequencies than the frequency band Fs of the signal component. Also, the upper limit frequency of the frequency band Fn of the noise component is (sampling frequency/2). That is, for example, if the frame rate of the camera is "30 fps (frames/second)", the upper limit frequency of the frequency band Fn of the noise component is "30 Hz/2=15 Hz".
＜ＳＮ比の計算例＞（ステップＳ３４）
ステップＳ３４では、端末装置は、ＳＮ比を計算する。具体的には、ステップＳ３４では、まず、端末装置は、ステップＳ３３で決定される信号成分の周波数帯域と、ノイズ成分の周波数帯域とに基づいて、「Ｖｓ」及び「Ｖｎ」のパワーのそれぞれの平均値を計算する。次に、端末装置は、計算される「Ｖｓ」及び「Ｖｎ」の比を計算して、ＳＮ比を計算する。
<Calculation example of SN ratio> (step S34)
In step S34, the terminal device calculates the SN ratio. Specifically, in step S34, first, the terminal device determines powers of "Vs" and "Vn" based on the frequency band of the signal component and the frequency band of the noise component determined in step S33. Calculate the average value. The terminal then calculates the ratio of the calculated 'Vs' and 'Vn' to calculate the SN ratio.
＜ＳＮ比が閾値以上であるか否かの判断例＞（ステップＳ０４）
図４に戻り、ステップＳ０４では、端末装置は、ＳＮ比が閾値以上であるか否かを判断する。すなわち、端末装置は、ＳＮ比と、あらかじめ設定される閾値とを比較して、ＳＮ比が閾値以上であるか否かを判断する。
<Example of determining whether the SN ratio is equal to or greater than the threshold> (step S04)
Returning to FIG. 4, in step S04, the terminal device determines whether the SN ratio is greater than or equal to the threshold. That is, the terminal device compares the SN ratio with a preset threshold to determine whether the SN ratio is equal to or greater than the threshold.
ＳＮ比が閾値以上である脈波信号であると、端末装置は、脈波信号に基づいて精度良く指標を計算できる。したがって、ＳＮ比が閾値未満となる小さい値である場合には、端末装置は、撮像条件の変更等の調整を行う。 If the SN ratio of the pulse wave signal is equal to or greater than the threshold, the terminal device can accurately calculate the index based on the pulse wave signal. Therefore, when the SN ratio is a small value that is less than the threshold, the terminal device makes adjustments such as changing the imaging conditions.
次に、ＳＮ比が閾値以上であると判断されると（ステップＳ０４でＹＥＳ）、端末装置は、ステップＳ０６に進む。一方で、ＳＮ比が閾値以上ではないと判断されると（ステップＳ０４でＮＯ）、端末装置は、ステップＳ０５に進む。なお、ＳＮ比が閾値以上でないと判断された場合には、端末装置は、アラーム等を表示して、処理を中止してからステップＳ０５に進んでもよい。 Next, when it is determined that the SN ratio is equal to or greater than the threshold (YES in step S04), the terminal device proceeds to step S06. On the other hand, if it is determined that the SN ratio is not equal to or greater than the threshold (NO in step S04), the terminal device proceeds to step S05. Note that if it is determined that the SN ratio is not equal to or greater than the threshold, the terminal device may display an alarm or the like, stop the process, and then proceed to step S05.
図１０は、本発明の一実施形態に係る閾値の設定例を示す図である。なお、図１０は、ＳＮ比と、ピーク検出誤差との関係の一例を示す図である。 FIG. 10 is a diagram showing an example of setting thresholds according to an embodiment of the present invention. Note that FIG. 10 is a diagram showing an example of the relationship between the SN ratio and the peak detection error.
図では、横軸は、ＳＮ比を示す。一方で、縦軸は、端末装置による解析によって検出されるピーク間隔と、接触式等の脈波を計測する装置によって検出されるピーク間隔、すなわち、真のピーク間隔との誤差を示す。 In the figure, the horizontal axis indicates the SN ratio. On the other hand, the vertical axis indicates the error between the peak interval detected by the analysis by the terminal device and the peak interval detected by the contact-type pulse wave measuring device, that is, the true peak interval.
図示するように、ＳＮ比が小さい値であると、ピーク検出誤差は、増大する関係となる。したがって、まず、端末装置は、ピーク検出誤差と、ＳＮ比との関係を示す関係式ＦＲを算出する。なお、関係式ＦＲは、例えば、各点に基づいて最小二乗法等によって算出される。 As shown, when the SN ratio is small, the peak detection error increases. Therefore, first, the terminal device calculates a relational expression FR representing the relationship between the peak detection error and the SN ratio. Note that the relational expression FR is calculated, for example, by the method of least squares or the like based on each point.
次に、端末装置は、後段に行われる解析の目的等に合わせて、許容できるピーク検出誤差、すなわち、縦軸の値を決定する。続いて、端末装置は、関係式ＦＲに基づいて、決定される縦軸の値に対する値を閾値ＴＨと決定する。このようにして、端末装置は、閾値ＴＨを設定する。また、この決定によって定まる閾値ＴＨがあらかじめ端末装置に設定され、ステップＳ０４が行われる。 Next, the terminal device determines the permissible peak detection error, that is, the value of the vertical axis, according to the purpose of analysis performed later. Subsequently, the terminal device determines a value corresponding to the determined value of the vertical axis as the threshold value TH based on the relational expression FR. Thus, the terminal device sets the threshold TH. Also, the threshold TH determined by this determination is set in advance in the terminal device, and step S04 is performed.
＜撮像条件の変更例＞（ステップＳ０５）
図４に戻り、ステップＳ０５では、端末装置は、撮像条件を変更する。すなわち、端末装置は、ＳＮ比が改善するように、撮像条件を変更する。
<Example of Change of Imaging Conditions> (Step S05)
Returning to FIG. 4, in step S05, the terminal device changes the imaging conditions. That is, the terminal device changes the imaging conditions so as to improve the SN ratio.
撮像条件は、例えば、照明の明るさ、撮像装置と生体の距離、露光時間等のカメラパラメータ又はこれらの組み合わせである。したがって、端末装置は、例えば、照明の明るさが不足していることを知らせるメッセージを表示する等によって、ユーザに撮像条件を変更させる操作を行わせる。他にも、例えば、端末装置は、露光時間を変更する制御を行う。 The imaging conditions are, for example, brightness of illumination, distance between the imaging device and the living body, camera parameters such as exposure time, or a combination thereof. Therefore, the terminal device prompts the user to change the imaging conditions by, for example, displaying a message notifying that the brightness of the illumination is insufficient. In addition, for example, the terminal device performs control to change the exposure time.
図１１は、本発明の一実施形態に係る生体信号解析装置による制御の一例を示すタイミングチャートである。以下、シャッタスピードの初期設定等によって定まる露光時間が図１１（Ａ）に示す露光時間（以下「第１露光時間ＥＴ１」という。）である例で説明する。 FIG. 11 is a timing chart showing an example of control by the biological signal analysis device according to one embodiment of the present invention. An example will be described below in which the exposure time determined by the initial setting of the shutter speed is the exposure time shown in FIG. 11A (hereinafter referred to as "first exposure time ET1").
まず、初期設定等では、フレームレートが設定される。そして、フレームレートが定まると、サンプリング周期が定まる。以下、図１１（Ａ）に示すサンプリング周期（以下「第１サンプリング周期ＳＴ１」という。）であるとする。なお、露光時間は、カメラのシャッタが切られ、光が取り込まれている時間、すなわち、露光が行われている時間である。 First, the frame rate is set in initial settings and the like. Then, when the frame rate is determined, the sampling period is determined. Assume that the sampling period shown in FIG. 11A (hereinafter referred to as "first sampling period ST1") is used. Note that the exposure time is the time during which the shutter of the camera is turned off and light is taken in, that is, the time during which exposure is being performed.
次に、ＳＮ比が所定の閾値以上でないと判断されると、端末装置は、例えば、露光時間を図１１（Ｂ）に示す露光時間（以下「第２露光時間ＥＴ２」という。）に変更するように制御する。具体的には、端末装置は、シャッタスピードの設定値等を変更して露光時間が第２露光時間ＥＴ２となるように制御する。 Next, when it is determined that the SN ratio is not equal to or greater than the predetermined threshold, the terminal device changes the exposure time to, for example, the exposure time shown in FIG. 11B (hereinafter referred to as "second exposure time ET2"). to control. Specifically, the terminal device changes the set value of the shutter speed, etc., and controls the exposure time to become the second exposure time ET2.
図示するように、第２露光時間ＥＴ２は、第１露光時間ＥＴ１と比較すると、長い時間である。このように、露光時間が長くなると、１フレームにおける受光量が増加するため、パワースペクトルにおいて信号成分が強くなる場合が多い。すなわち、露光時間が長くなると、ＳＮ比を大きい値にすることができる。また、ＳＮ比と、ピーク検出誤差との関係は、図１０に示す関係にあることが多いため、ＳＮ比を大きい値にすると、ピーク検出誤差を減少させることができる。したがって、端末装置は、露光時間を変更してＳＮ比を大きい値にし、ピーク検出誤差を減少させることができる。 As shown, the second exposure time ET2 is longer than the first exposure time ET1. As described above, when the exposure time becomes longer, the amount of light received in one frame increases, so that the signal component often becomes stronger in the power spectrum. That is, the longer the exposure time, the larger the SN ratio. Also, since the relationship between the SN ratio and the peak detection error is often as shown in FIG. 10, the peak detection error can be reduced by increasing the SN ratio. Therefore, the terminal device can change the exposure time to increase the SN ratio and reduce the peak detection error.
また、端末装置は、脈波信号をサンプリングする周期の例であるフレームレートによって定まる周期を遅くしてもよい。図１１に示す例では、端末装置は、第１サンプリング周期ＳＴ１を図１１（Ｂ）に示すサンプリング周期（以下「第２サンプリング周期ＳＴ２」という。）に変更する制御を行う。露光時間は、１周期において、フレームレートによって定まる周期より、長く設定できない場合が多い。そこで、端末装置は、図１１（Ｂ）に示す第２サンプリング周期ＳＴ２のように、サンプリングする周期が長くなるようにフレームレート等を変更する制御を行う。例えば、変更前、すなわち、図１１（Ａ）では、フレームレートが「６０ｆｐｓ」であるとすると、端末装置は、フレームレートを「３０ｆｐｓ」とする。このように、フレームレートを遅くすると、１周期において、第１露光時間ＥＴ１を第２露光時間ＥＴ２とするように、端末装置は、露光時間を長くできる。 Also, the terminal device may slow down the period determined by the frame rate, which is an example of the period of sampling the pulse wave signal. In the example shown in FIG. 11, the terminal device performs control to change the first sampling period ST1 to the sampling period shown in FIG. 11B (hereinafter referred to as "second sampling period ST2"). In many cases, the exposure time cannot be set longer than the cycle determined by the frame rate in one cycle. Therefore, the terminal apparatus performs control to change the frame rate and the like so that the sampling period becomes longer, like the second sampling period ST2 shown in FIG. 11B. For example, before the change, that is, in FIG. 11A, if the frame rate is "60 fps", the terminal device sets the frame rate to "30 fps". By slowing down the frame rate in this way, the terminal device can lengthen the exposure time so that the first exposure time ET1 becomes the second exposure time ET2 in one cycle.
＜脈波解析例＞（ステップＳ０６）
図４に戻り、ステップＳ０６では、端末装置は、脈波を解析する。
<Example of pulse wave analysis> (step S06)
Returning to FIG. 4, in step S06, the terminal device analyzes the pulse wave.
図１２は、本発明の一実施形態に係る生体信号解析装置による脈波解析の一例を示すフローチャートである。 FIG. 12 is a flow chart showing an example of pulse wave analysis by the biological signal analysis device according to one embodiment of the present invention.
＜周波数スペクトルの算出例＞（ステップＳ６１）
ステップＳ６１では、端末装置は、第１信号の周波数スペクトルを算出する。例えば、端末装置は、第１信号の例である脈波信号の時系列データに対して、種々のスペクトル解析手法を適用すると、周波数スペクトルを算出できる。
<Calculation example of frequency spectrum> (step S61)
In step S61, the terminal device calculates the frequency spectrum of the first signal. For example, the terminal device can calculate the frequency spectrum by applying various spectrum analysis techniques to the time-series data of the pulse wave signal, which is an example of the first signal.
具体的には、ＦＦＴを用いると、端末装置は、振幅の周波数分布を示す振幅スペクトル、位相の周波数分布を示す位相スペクトル又はパワーの周波数分布を示すパワースペクトル等の周波数スペクトルを算出できる。 Specifically, by using FFT, the terminal device can calculate a frequency spectrum such as an amplitude spectrum that indicates the frequency distribution of amplitude, a phase spectrum that indicates the frequency distribution of phase, or a power spectrum that indicates the frequency distribution of power.
＜脈拍間隔の低周波揺らぎ成分の抽出例＞（ステップＳ６２）
ステップＳ６２では、端末装置は、ステップＳ６１による周波数スペクトルの算出結果に基づいて、第１周波数帯における揺らぎ成分の例である脈拍間隔の低周波揺らぎ成分（以下「ＬＦ揺らぎ成分」という。）を抽出する。
<Extraction Example of Low Frequency Fluctuation Component of Pulse Interval> (Step S62)
In step S62, the terminal device extracts a pulse interval low-frequency fluctuation component (hereinafter referred to as "LF fluctuation component"), which is an example of the fluctuation component in the first frequency band, based on the frequency spectrum calculation result in step S61. do.
ＬＦ揺らぎ成分とは、脈拍間隔の時系列データからパワースペクトルを算出すると、所定の周波数以下の周波数帯に含まれる成分である。所定の周波数は、例えば、０．１５Ｈｚである。 The LF fluctuation component is a component included in a frequency band below a predetermined frequency when a power spectrum is calculated from pulse interval time-series data. The predetermined frequency is, for example, 0.15 Hz.
また、ＬＦ揺らぎ成分は、例えば、振幅スペクトル又はパワースペクトルに対して所定の周波数帯のみを通すバンドパスフィルタを適用すると、抽出できる。なお、バンドパスフィルタが通す周波数帯は、脈波ピークの周波数帯を中心として幅が「±Δｆ」となる範囲等に設定される。具体的には、「±Δｆ」は、ＬＦ揺らぎ成分を確実に抽出するため、所定の周波数（例えば、０．１５Ｈｚである。）以上の値が設定されるのが望ましい。ＬＦ揺らぎ成分による影響は、脈波ピークの幅の広がりとして現れる。したがって、脈波ピークの周波数帯を中心として幅が「±Δｆ」となる範囲に設定されたバンドパスフィルタを振幅スペクトル又はパワースペクトルに対して適用すると、端末装置は、ＬＦ揺らぎ成分を抽出できる。 Also, the LF fluctuation component can be extracted, for example, by applying a band-pass filter that passes only a predetermined frequency band to the amplitude spectrum or power spectrum. The frequency band passed by the band-pass filter is set to a range having a width of "±Δf" around the frequency band of the pulse wave peak. Specifically, "±Δf" is desirably set to a value equal to or higher than a predetermined frequency (for example, 0.15 Hz) in order to reliably extract the LF fluctuation component. The influence of the LF fluctuation component appears as a widening of the width of the pulse wave peak. Therefore, by applying a band-pass filter with a width of "±Δf" around the frequency band of the pulse wave peak to the amplitude spectrum or power spectrum, the terminal device can extract the LF fluctuation component.
また、周波数スペクトルに白色ノイズによるオフセット成分等が含まれる場合には、端末装置は、スペクトルサブトラクション法（ｓｐｅｃｔｒａｌ ｓｕｂｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ）等のノイズ除去法を組み合わせてもよい。 In addition, when the frequency spectrum includes an offset component due to white noise, the terminal device may combine a noise removal method such as a spectral subtraction method.
＜時系列データに逆変換する例＞（ステップＳ６３）
ステップＳ６３では、端末装置は、ステップＳ６２で抽出したＬＦ揺らぎ成分の振幅スペクトルを時系列データに逆変換する。例えば、時系列データは、逆フーリエ変換（ＩＦＦＴ（Ｉｎｖｅｒｓｅ ＦＦＴ））等によって算出できる。この場合には、位相には、ステップＳ６１におけるＦＦＴで算出した位相が用いられるとよい。
<Example of inverse transformation to time-series data> (step S63)
In step S63, the terminal device inversely transforms the amplitude spectrum of the LF fluctuation component extracted in step S62 into time series data. For example, time-series data can be calculated by an inverse Fourier transform (IFFT (Inverse FFT)) or the like. In this case, it is preferable to use the phase calculated by the FFT in step S61.
＜脈拍間隔の検出例＞（ステップＳ６４）
ステップＳ６４では、端末装置は、ステップＳ６３で算出される脈波信号の時系列データから、脈拍間隔の時系列データを生成する。脈拍信号から検出した「ｍ」番目の脈拍のピーク時間を「Ｔｍ」とし、ピーク時間「Ｔｍ」における脈拍間隔を「Ｉ（Ｔｍ）」とすると、脈拍間隔「Ｉ（Ｔｍ）」は、下記（２）式のように計算できる。
Ｉ（Ｔｍ）＝Ｔｍ－Ｔｍ－１ （２）
また、上記（２）式におけるピーク時間「Ｔｍ」は、例えば、極大点ＬＭが発生する時間である。例えば、端末装置は、信号値が極小となる時点と、次に信号値が極小となる時点との間において、信号値が最大となる時点を特定すると、極大点ＬＭを特定できる。
<Example of pulse interval detection> (step S64)
In step S64, the terminal device generates time-series data of pulse intervals from the time-series data of the pulse wave signal calculated in step S63. If the peak time of the "m"th pulse detected from the pulse signal is " Tm " and the pulse interval at the peak time " Tm " is "I( Tm )", then the pulse interval is "I( Tm )". can be calculated as in the following formula (2).
I( Tm )= Tm - Tm-1 (2)
Also, the peak time “T m ” in the above equation (2) is, for example, the time at which the maximum point LM occurs. For example, the terminal device can identify the local maximum point LM by identifying the point in time when the signal value becomes maximum between the point in time when the signal value becomes minimum and the point in time when the signal value becomes minimum next.
また、前の極大点ＬＭが発生する時間である「Ｔｍ－１」からピーク時間「Ｔｍ」までが脈拍の１周期に相当する。さらに、極大点ＬＭとなる時点は、光電式容積脈波計（ＰＰＧ）で計測すると観察できる容積脈波の立ち上がり開始時点に相当する。 Also, the period from "T m−1 ", which is the time at which the previous maximum point LM occurs, to the peak time "T m " corresponds to one cycle of the pulse. Furthermore, the point at which the maximum point LM is reached corresponds to the point at which the volume pulse wave that can be observed when measured with a photoelectric plethysmograph (PPG) starts rising.
なお、ピーク時間「Ｔｍ」は、極大点ＬＭに基づいて計算されるに限られず、例えば、極小点に基づいて計算されてもよい。脈波信号が極小となる時点は、光電式容積脈波計で計測できる容積脈波の振幅が最大となる時点に相当する。 Note that the peak time “T m ” is not limited to being calculated based on the maximum point LM, and may be calculated based on the minimum point, for example. The point at which the pulse wave signal becomes minimum corresponds to the point at which the amplitude of the volume pulse wave measurable by the photoelectric plethysmograph reaches its maximum.
また、脈拍のピーク時間は、補正されてもよい。補正例は、後述する。 Also, the pulse peak time may be corrected. A correction example will be described later.
＜脈拍間隔の低周波ゆらぎ成分を平坦化した第２信号の生成例＞（ステップＳ６５）
ステップＳ６５では、端末装置は、抽出された脈波信号「ｐ０（ｎ）」と、ステップＳ６４で算出した脈拍間隔の時系列データに基づいて、脈拍間隔の低周波ゆらぎ成分を平坦化して第２信号を生成する。第２信号を「ｐ１（ｔｎ）」とし、第１信号を「ｐ０（ｎ）＝ｐ０（ｎΔｔ）」とすると、第２信号は、例えば、下記（３）式のように生成される。
ｐ１（ｔｎ）＝ｐ０（ｎΔｔ）
ｔｎ＝ｔｎ－１＋Δｔｎ＝ｔｎ－１＋Δｔ×（Ｉａｖｅ／Ｉ（ｎΔｔ）） （３）
上記（３）式において、「Ｉａｖｅ」は、脈拍間隔の平均値である。なお、「Ｉａｖｅ」は、脈拍間隔の平均値に限られず、別の固定値でもよい。また、上記（３）式において、「Ｉ（ｎΔｔ）」は、経過時間「ｔ＝ｎΔｔ」における脈拍間隔である。例えば、「ｔ＝ｎΔｔ」が区間［Ｔｍ－１，Ｔｍ］に含まれる場合には、「Ｉ（Ｔｍ）」に「Ｉ（ｎΔｔ）」の値が用いられる。
<Generation Example of Second Signal with Flattened Low-Frequency Fluctuation Component of Pulse Interval> (Step S65)
In step S65, the terminal device flattens the low-frequency fluctuation component of the pulse interval based on the extracted pulse wave signal “p 0 (n)” and the time-series data of the pulse interval calculated in step S64. 2 signals are generated. Assuming that the second signal is "p 1 (t n )" and the first signal is "p 0 (n)=p 0 (nΔt)", the second signal is generated, for example, by the following equation (3) be done.
p 1 (t n )=p 0 (nΔt)
t n =t n−1 +Δt n =t n−1 +Δt×(I ave /I(nΔt)) (3)
In the above equation (3), “I ave ” is the average value of pulse intervals. Note that “I ave ” is not limited to the average value of pulse intervals, and may be another fixed value. Also, in the above equation (3), "I(nΔt)" is the pulse interval at the elapsed time "t=nΔt". For example, when "t=nΔt" is included in the section [T m−1 , T m ], the value of "I(nΔt)" is used for "I(T m )".
また、上記（３）式において、「ｐ１（ｔｎ）」は、不等間隔「Δｔｎ」でサンプリングされた信号である。したがって、「Δｔ」でリサンプリングすると、端末装置は、「ｐ１（ｎ）＝ｐ１（ｎΔｔ）」が得られる。なお、リサンプリングを実現する方法は、公知の方法等が用いられる。 Also, in the above equation (3), "p 1 (t n )" is a signal sampled at unequal intervals "Δt n ". Therefore, when resampling by 'Δt', the terminal device obtains 'p 1 (n)=p 1 (nΔt)'. Note that a known method or the like is used as a method for realizing resampling.
なお、ＬＦ揺らぎ成分を平坦化する方法は、上記の方法に限られず、他の方法でもよい。 Note that the method of flattening the LF fluctuation component is not limited to the above method, and other methods may be used.
＜周波数スペクトルの算出例＞（ステップＳ６６） ステップＳ６６では、端末装置は、ステップＳ６５で生成される第２信号「ｐ１（ｔ）」の周波数スペクトルを算出する。例えば、算出方法は、ステップＳ６１と同様である。 <Calculation Example of Frequency Spectrum> (Step S66) In step S66, the terminal device calculates the frequency spectrum of the second signal "p 1 (t)" generated in step S65. For example, the calculation method is the same as in step S61.
＜ノイズ成分の除去例＞（ステップＳ６７）
ステップＳ６７では、端末装置は、ステップＳ６６で算出される振幅スペクトルから、脈波成分及びノイズ成分の周波数成分の違いを利用してノイズ成分を除去する。
<Example of noise component removal> (step S67)
In step S67, the terminal device removes the noise component from the amplitude spectrum calculated in step S66, using the difference in frequency components between the pulse wave component and the noise component.
ＬＦ揺らぎ成分が平坦化されて生成される第２信号の振幅スペクトルを用いるため、脈波成分に起因するピークがはっきりと観測できる。そのため、従来ではノイズ成分と判別が難しい、第２周波数帯における揺らぎ成分の例である脈拍間隔の高周波揺らぎ成分（以下「ＨＦ揺らぎ成分」という。）のピークが、精度良く抽出できる。なお、ＨＦ揺らぎ成分とは、脈拍間隔の時系列データからパワースペクトルを算出すると、所定の周波数帯に含まれる成分である。所定の周波数帯は、例えば、０．１５Ｈｚ乃至０．４０Ｈｚである。 Since the amplitude spectrum of the second signal generated by flattening the LF fluctuation component is used, the peak caused by the pulse wave component can be clearly observed. Therefore, it is possible to accurately extract the peak of the pulse interval high frequency fluctuation component (hereinafter referred to as "HF fluctuation component"), which is an example of the fluctuation component in the second frequency band, which is conventionally difficult to distinguish from the noise component. The HF fluctuation component is a component included in a predetermined frequency band when the power spectrum is calculated from the pulse interval time-series data. The predetermined frequency band is, for example, 0.15 Hz to 0.40 Hz.
ノイズ成分を除去するには、例えば、所定の周波数帯の成分のみを通す周波数フィルタを適用する。また、周波数フィルタは、脈波信号の基本波及び高調波に起因するピークと、ＨＦ揺らぎ成分に起因するピークとを抽出できるように設計される。このような設計の周波数フィルタを振幅スペクトルに対して適用すると、ＨＦ揺らぎ成分を含む脈波成分を抽出し、ノイズ成分を除去できる。 To remove noise components, for example, a frequency filter that passes only components in a predetermined frequency band is applied. Also, the frequency filter is designed to extract peaks caused by the fundamental wave and harmonics of the pulse wave signal and peaks caused by the HF fluctuation component. By applying the frequency filter designed in this way to the amplitude spectrum, the pulse wave component including the HF fluctuation component can be extracted and the noise component can be removed.
各ピークの周波数は、例えば、以下のような方法で計算される。 The frequency of each peak is calculated by, for example, the following method.
脈波信号の基本波Ｌ１に起因するピークの周波数をｆ（Ｌ１）とすると、ｆ（Ｌ１）は、所定の周波数帯において振幅が最大となる周波数である。この場合では、所定の周波数帯は、生体が取り得る脈拍の平均周波数に基づいて設定されるのが望ましい。例えば、生体が安静状態であると、所定の周波数帯は、０．５Ｈｚ乃至２．０Ｈｚとなる。 Letting f(L1) be the frequency of the peak caused by the fundamental wave L1 of the pulse wave signal, f(L1) is the frequency with the maximum amplitude in a predetermined frequency band. In this case, the predetermined frequency band is desirably set based on the average frequency of pulses that the living body can take. For example, when the living body is in a resting state, the predetermined frequency band is 0.5 Hz to 2.0 Hz.
脈波信号の高調波は、Ｌ２、Ｌ３、・・・・とあり、各高調波のピークの周波数ｆ（Ｌ２）、ｆ（Ｌ３）、・・・・は、ｆ（Ｌ１）を整数倍した周波数の近傍の周波数帯で振幅が最大となる周波数から特定できる。例えば、２次高調波Ｌ２に起因するピークの周波数ｆ（Ｌ２）は、ｆ（Ｌ１）×２Ｈｚの近傍の周波数帯で振幅が最大となる周波数から特定できる。 The harmonics of the pulse wave signal are L2, L3, . . . , and the peak frequencies f(L2), f(L3), . It can be specified from the frequency with the maximum amplitude in the frequency band near the frequency. For example, the peak frequency f(L2) caused by the second harmonic wave L2 can be identified from the frequency at which the amplitude is maximized in the frequency band near f(L1)×2 Hz.
ＨＦ揺らぎ成分に起因するピークＨ１ａの周波数ｆ（Ｈ１ａ）は、（ｆ（Ｌ１）－０．４０）Ｈｚ乃至（ｆ（Ｌ１）－０．１５）Ｈｚの周波数帯において振幅が最大となる周波数から特定できる。ＨＦ揺らぎ成分は、呼吸に起因する揺らぎ成分である。そして、揺らぎ成分の周波数Ｆｈは、一般的に０．１５Ｈｚ乃至０．４０Ｈｚの周波数帯に含まれる。さらに、ＨＦ揺らぎ成分に起因するピークは、基本波Ｌ１に起因するピークの周波数ｆ（Ｌ１）を中心に低周波側と、高周波側とに、それぞれ揺らぎ成分の周波数Ｆｈ分離れた周波数付近に現れる。また、基本波Ｌ１に起因するピークの周波数ｆ（Ｌ１）と、ＨＦ揺らぎ成分に起因するピークＨ１ａの周波数ｆ（Ｈ１ａ）との周波数差Δｆｒを特定すると、ＨＦ揺らぎ成分に起因するピークＨ１ｂの周波数ｆ（Ｈ１ｂ）は、ｆ（Ｌ１）＋Δｆｒと特定できる。 The frequency f(H1a) of the peak H1a caused by the HF fluctuation component is from the frequency at which the amplitude is maximum in the frequency band from (f(L1)-0.40) Hz to (f(L1)-0.15) Hz. can be identified. The HF fluctuation component is a fluctuation component caused by respiration. The fluctuation component frequency Fh is generally included in the frequency band from 0.15 Hz to 0.40 Hz. Furthermore, the peak caused by the HF fluctuation component appears in the vicinity of the frequency Fh of the fluctuation component on the low frequency side and the high frequency side centering on the frequency f(L1) of the peak caused by the fundamental wave L1. . Further, when specifying the frequency difference Δfr between the frequency f (L1) of the peak caused by the fundamental wave L1 and the frequency f (H1a) of the peak H1a caused by the HF fluctuation component, the frequency of the peak H1b caused by the HF fluctuation component is f(H1b) can be identified as f(L1)+Δfr.
各ピークを抽出できる周波数フィルタは、例えば、下記（４）式のようになる。 A frequency filter capable of extracting each peak is, for example, the following formula (4).
＜時系列データに逆変換する例＞（ステップＳ６８）
ステップＳ６８では、端末装置は、ステップＳ６７で抽出される脈波成分の振幅スペクトルを時系列データに逆変換する。例えば、変換方法は、ステップＳ６３と同様である。
<Example of inverse transformation to time-series data> (step S68)
In step S68, the terminal device inversely transforms the amplitude spectrum of the pulse wave component extracted in step S67 into time-series data. For example, the conversion method is the same as in step S63.
＜脈拍間隔の低周波ゆらぎ成分を非平坦化した脈波信号の生成例＞（ステップＳ６９）
ステップＳ６９では、端末装置は、ステップＳ６８で算出された脈波成分の時系列データ「ｐ１'（ｎ）」に対して、ステップＳ６５で平坦化によって除去したＬＦ揺らぎ成分を付与する非平坦化処理を行う。
<Generation example of pulse wave signal in which low-frequency fluctuation component of pulse interval is nonflattened> (step S69)
In step S69, the terminal device adds the LF fluctuation component removed by flattening in step S65 to the pulse wave component time-series data "p 1 '(n)" calculated in step S68. process.
非平坦化した脈波信号を「Δｔ」の間隔でサンプリングした時系列データを「ｐ２（ｎ）」とすると、「ｐ２（ｎ）」は、下記（５）式のようになる。
ｐ２（ｎ）＝ｐ２（ｎΔｔ）＝ｐ１'（ｔｎ） （５）
なお、経過時間「ｔ＝ｔｎ」における信号値は、例えば、補間によって求まる。補間の方法は、例えば、線形補間又はスプライン補間等である。
Assuming that the time-series data obtained by sampling the non-flattened pulse wave signal at intervals of "Δt" is "p 2 (n)", "p 2 (n)" is given by the following equation (5).
p 2 (n)=p 2 (nΔt)=p 1 ′(t n ) (5)
Note that the signal value at the elapsed time “t=t n ” is obtained by interpolation, for example. The interpolation method is, for example, linear interpolation or spline interpolation.
＜指標の計算例＞（ステップＳ０７）
図４に戻り、ステップＳ０７では、端末装置は、ステップＳ０６でノイズ成分が除去された脈波信号を用いて脈波指標を計算する。
<Calculation Example of Index> (Step S07)
Returning to FIG. 4, in step S07, the terminal device calculates a pulse wave index using the pulse wave signal from which noise components have been removed in step S06.
図１３は、本発明の一実施形態に係る生体信号解析装置による脈波変動指標の算出例を示すフローチャートである。 FIG. 13 is a flow chart showing an example of calculation of a pulse wave variability index by the biological signal analysis device according to one embodiment of the present invention.
＜脈拍間隔の検出例＞（ステップＳ７１）
ステップＳ７１では、端末装置は、ステップＳ０６でノイズ成分が除去された脈波信号から脈拍間隔を検出する。例えば、検出方法は、ステップＳ６４と同様である。
<Detection Example of Pulse Interval> (Step S71)
In step S71, the terminal device detects the pulse interval from the pulse wave signal from which noise components have been removed in step S06. For example, the detection method is the same as in step S64.
＜リサンプリング例＞（ステップＳ７２）
ステップＳ７２では、端末装置は、脈拍間隔の時系列データにおいて、時間間隔が等間隔となるようにリサンプリングを行う。リサンプリングの時間間隔は、例えば、０．２５秒とする。また、リサンプリングする経過時間における信号値は、例えば、補間によって求められる。補間方法は、例えば、線形補間又はスプライン補間等である。
<Resampling Example> (Step S72)
In step S72, the terminal device resamples the time-series data of the pulse intervals so that the time intervals are equal. The resampling time interval is, for example, 0.25 seconds. Also, the signal value at the elapsed time for resampling is obtained by, for example, interpolation. The interpolation method is, for example, linear interpolation or spline interpolation.
＜パワースペクトルの算出例＞（ステップＳ７３）
ステップＳ７３では、端末装置は、ステップＳ７２で算出した脈拍間隔の時系列データからパワースペクトルを算出する。例えば、パワースペクトルの算出方法は、既知の周波数解析手法等である。具体的には、最大エントロピー法によって、指定の周波数におけるパワーが算出できる。なお、ラグ等のパラメータは、あらかじめ設定される。
<Calculation example of power spectrum> (step S73)
In step S73, the terminal device calculates a power spectrum from the pulse interval time-series data calculated in step S72. For example, the method of calculating the power spectrum is a known frequency analysis method or the like. Specifically, the power at a specified frequency can be calculated by the maximum entropy method. Parameters such as lag are set in advance.
＜脈拍変動指標の算出例＞（ステップＳ７４）
ステップＳ７４では、端末装置は、ステップＳ７３で算出したパワースペクトルに基づいて、脈拍変動指標を算出する。例えば、脈拍変動指標は、既知の方法で算出される。具体的には、端末装置は、０．０４Ｈｚ乃至０．１５Ｈｚの周波数帯におけるパワー積分値をＬＦ値、０．１５Ｈｚ乃至０．４０Ｈｚの周波数帯におけるパワー積分値をＨＦ値とし、これらの比を計算してＬＦ／ＨＦ値を算出する。
<Calculation Example of Pulse Variation Index> (Step S74)
In step S74, the terminal device calculates a pulse variability index based on the power spectrum calculated in step S73. For example, a pulse variability index is calculated by a known method. Specifically, the terminal device defines the integrated power value in the frequency band from 0.04 Hz to 0.15 Hz as the LF value, the integrated power value in the frequency band from 0.15 Hz to 0.40 Hz as the HF value, and the ratio of these Calculate the LF/HF value.
＜処理結果例＞
まず、図７に示すような脈波信号が、脈波解析の対象となる。そして、周波数スペクトルの算出が行われると（ステップＳ６１）、例えば、以下のような結果が得られる。
<Processing result example>
First, a pulse wave signal as shown in FIG. 7 is subject to pulse wave analysis. Then, when the frequency spectrum is calculated (step S61), for example, the following results are obtained.
図１４は、本発明の一実施形態に係る生体信号解析装置による第１信号の周波数解析結果例を示す図である。図は、脈波信号に対してＦＦＴを行った結果である。図では、横軸は、周波数であり、縦軸は、各周波数の振幅スペクトルである。 FIG. 14 is a diagram showing an example of a frequency analysis result of the first signal by the biological signal analysis device according to one embodiment of the present invention. The figure shows the result of performing FFT on the pulse wave signal. In the figure, the horizontal axis is the frequency and the vertical axis is the amplitude spectrum of each frequency.
脈波信号は、生体が取り得る脈拍の周波数帯に、ピークが発生する。例えば、生体が安静状態であると、脈拍の平均周波数は、０．５Ｈｚ乃至２．０Ｈｚであるため、この範囲にピークが発生しやすい。図示する例は、１．０Ｈｚ付近に最も強いピークが発生した例である。なお、ピークは、図示するように、１．０Ｈｚ付近に限られず、例えば、生体の状態等によって、ピークが発生する周波数帯は異なる。 A pulse wave signal has a peak in a pulse frequency band that a living body can take. For example, when the body is in a resting state, the average frequency of the pulse is 0.5 Hz to 2.0 Hz, so peaks are likely to occur in this range. The illustrated example is an example in which the strongest peak occurs near 1.0 Hz. It should be noted that the peak is not limited to around 1.0 Hz as shown in the figure, and the frequency band in which the peak occurs differs depending on, for example, the condition of the living body.
以下、脈波によるピークが含まれる成分を「脈波ピーク成分ＰＫ１」という。一方で、脈波信号には、ノイズ成分ＮＺが含まれる場合が多い。 A component including a pulse wave peak is hereinafter referred to as a “pulse wave peak component PK1”. On the other hand, the pulse wave signal often contains a noise component NZ.
図１５は、本発明の一実施形態における脈拍間隔の高周波の揺らぎ成分及び低周波の揺らぎ成分の例を示す図である。例えば、図１５（Ａ）に示すような脈波信号には、図１５（Ｂ）に示すようなＬＦ揺らぎ成分と、図１５（Ｃ）に示すようなＨＦ揺らぎ成分とが含まれる。 FIG. 15 is a diagram showing an example of high-frequency fluctuation components and low-frequency fluctuation components of pulse intervals according to an embodiment of the present invention. For example, a pulse wave signal as shown in FIG. 15(A) includes an LF fluctuation component as shown in FIG. 15(B) and an HF fluctuation component as shown in FIG. 15(C).
図示するように、脈波信号の脈拍間隔には、図１５（Ｂ）に示すようなＬＦ揺らぎ成分ＦＫＬが発生する場合がある。したがって、ＬＦ揺らぎ成分ＦＫＬによって、ピーク間隔は、時間の経過において、長くなったり、短くなったりする。 As shown, the pulse interval of the pulse wave signal may have an LF fluctuation component FKL as shown in FIG. 15(B). Therefore, the LF fluctuation component FKL lengthens and shortens the peak interval over time.
同様に、脈波信号の脈拍間隔には、図１５（Ｃ）に示すようなＨＦ揺らぎ成分ＦＫＨが発生する場合がある。したがって、ＨＦ揺らぎ成分ＦＫＨによって、ピーク間隔は、時間の経過において、長くなったり、短くなったりする。 Similarly, an HF fluctuation component FKH as shown in FIG. 15(C) may occur in the pulse interval of the pulse wave signal. Therefore, the HF fluctuation component FKH causes the peak interval to lengthen or shorten over time.
ＬＦ揺らぎ成分ＦＫＬは、脈拍間隔の時系列データのパワースペクトルを算出すると、所定の周波数以下の周波数帯域に含まれる成分である。 The LF fluctuation component FKL is a component included in a frequency band below a predetermined frequency when the power spectrum of the pulse interval time series data is calculated.
ＬＦ揺らぎ成分ＦＫＬは、脈波ピーク成分ＰＫ１の近傍の周波数に現れる。すなわち、揺らぎがあると、ピーク間隔が広くなったり、狭くなったりするため、ピークが現れる周波数がばらついて幅が生じる。 The LF fluctuation component FKL appears at frequencies near the pulse wave peak component PK1. That is, when there is fluctuation, the peak interval widens or narrows, so that the frequency at which the peak appears varies and the width is generated.
図１６は、本発明の一実施形態に係る生体信号解析装置による脈拍間隔の検出例を示す図である。まず、上記の通り、逆フーリエ変換等が行われると（ステップＳ６３）、図示するような時系列データが得られる。 FIG. 16 is a diagram showing an example of pulse interval detection by the biosignal analyzer according to the embodiment of the present invention. First, as described above, when an inverse Fourier transform or the like is performed (step S63), time-series data as shown is obtained.
また、脈拍間隔は、揺らぎがあると、図示するように、一定でなく、変動する。具体的には、揺らぎによって、例えば、脈拍間隔「Ｉ（Ｔｍ＋１）」のように、間隔が長くなったり、脈拍間隔「Ｉ（Ｔｍ）」のように、間隔が短くなったりする。 Also, if the pulse interval fluctuates, as shown in the figure, it is not constant but fluctuates. Specifically, the fluctuation causes the interval to become longer, such as the pulse interval “I(T m+1 )”, or the interval to become shorter, such as the pulse interval “I(T m )”.
ＬＦ揺らぎ成分は、ピーク間隔の揺らぎの周期が例えば１０秒程度の周期になる。そして、脈拍間隔は、ＬＦ揺らぎ成分の影響により変動する。また、ＨＦ揺らぎ成分は、ピーク間隔の揺らぎの周期が例えば３乃至４秒程度の周期になる。そして、脈拍間隔は、ＨＦ揺らぎ成分の影響により変動する。なお、これらの値は、個人差がある。 The LF fluctuation component has a fluctuation period of, for example, about 10 seconds between peak intervals. The pulse interval fluctuates under the influence of the LF fluctuation component. Further, the HF fluctuation component has a period of fluctuation between peak intervals of, for example, about 3 to 4 seconds. The pulse interval fluctuates under the influence of the HF fluctuation component. These values have individual differences.
なお、端末装置は、ステップＳ６４及びステップＳ７１において脈拍間隔を検出するとき、脈拍信号のピーク時間を補正してもよい。 Note that the terminal device may correct the peak time of the pulse signal when detecting the pulse interval in steps S64 and S71.
図１７は、本発明の一実施形態に係る生体信号解析装置によるピーク時間の補正例を示す図である。図示する補正は、いわゆる折れ線近似である。以下、補正によるピーク間隔の補正量をピーク補正量「ΔＴ」とする。また、計測される信号値のうち、ピークとなる時点の信号値を第１信号値「Ｐｉ」とする。さらに、第１信号値Ｐｉより１つ前のピークとなる信号値を第２信号値「Ｐｉ－１」とする。同様に、第１信号値Ｐｉより１つ後のピークとなる信号値を第３信号値「Ｐｉ＋１」とする。この場合には、ピーク補正量「ΔＴ」は、図示する式等によって計算される。 FIG. 17 is a diagram showing an example of peak time correction by the biological signal analysis apparatus according to one embodiment of the present invention. The illustrated correction is a so-called polygonal line approximation. Hereinafter, the correction amount of the peak interval by correction is referred to as a peak correction amount "ΔT". Also, among the measured signal values, the signal value at the peak point is defined as the first signal value “P i ”. Further, the signal value that is the peak immediately before the first signal value P i is defined as the second signal value “P i−1 ”. Similarly, the signal value that becomes the peak after the first signal value P i is assumed to be the third signal value "P i+1 ". In this case, the peak correction amount "ΔT" is calculated by the illustrated formula or the like.
図示する式によって、ピーク補正量「ΔＴ」が計算されると、ピーク補正量「ΔＴ」は、信号値が計測される間隔「Δｔ」より短い値にできるため、端末装置は、信号の時間分解能を高くできる。すなわち、ピーク時間を補正して、補正ピーク時間「Ｔ'ｍ」を用いると、端末装置は、ピーク時間を精度良く検出できる。そのため、端末装置は、時間分解能が低い信号からでも、補正ピーク時間「Ｔ'ｍ」を用いることで、脈拍間隔を精度良く算出できる。 When the peak correction amount "ΔT" is calculated by the illustrated formula, the peak correction amount "ΔT" can be set to a value shorter than the interval "Δt" at which the signal value is measured. can be raised. That is, by correcting the peak time and using the corrected peak time “T′ m ”, the terminal device can accurately detect the peak time. Therefore, the terminal device can accurately calculate the pulse interval by using the corrected peak time “T′ m ” even from a signal with low time resolution.
なお、算出した脈拍間隔に高周波成分が含まれる場合には、端末装置は、フィルタリングによって高周波成分を除去するのが望ましい。 If the calculated pulse interval contains high-frequency components, the terminal device preferably removes the high-frequency components by filtering.
図１８は、本発明の一実施形態に係る平坦化の例を示す図である。図は、低周波成分のみを示す図である。上記のように、平坦化が行われると、例えば、図示するようにＬＦ揺らぎ成分ＦＫＬがほぼない状態が得られる。このような平坦化が行われると、図１５（Ｂ）に示すようなＬＦ揺らぎ成分ＦＫＬが平坦化され、一方で、図１５（Ｃ）に示すようなＨＦ揺らぎ成分ＦＫＨは、そのままとなる。 FIG. 18 is a diagram illustrating an example of planarization according to one embodiment of the present invention. The figure shows only low frequency components. When flattening is performed as described above, for example, a state in which the LF fluctuation component FKL is substantially absent is obtained as illustrated. When such flattening is performed, the LF fluctuation component FKL as shown in FIG. 15(B) is flattened, while the HF fluctuation component FKH as shown in FIG. 15(C) remains unchanged.
図１９は、本発明の一実施形態に係る第２信号の一例を示す図である。まず、第２信号は、例えば、図示するような周波数特性となる信号である。 FIG. 19 is a diagram showing an example of the second signal according to one embodiment of the present invention. First, the second signal is, for example, a signal having frequency characteristics as illustrated.
図示するように、まず、所定の周波数帯において最も振幅が大きい周波数成分を特定すると、端末装置は、基本波Ｌ１を特定できる。なお、所定の周波数帯は、生体が取り得る脈拍の平均周波数に基づき設定すればよい。例えば、生体が安静状態の場合は、０．５Ｈｚ乃至２．０Ｈｚを所定の周波数帯として用いることができる。 As illustrated, first, the terminal device can identify the fundamental wave L1 by identifying the frequency component with the largest amplitude in the predetermined frequency band. It should be noted that the predetermined frequency band may be set based on the average frequency of pulses that the living body can take. For example, when the living body is in a resting state, 0.5 Hz to 2.0 Hz can be used as the predetermined frequency band.
一方で、第２波の例であるＨＦ揺らぎ成分に起因するピークＨ１ａ及び第３波の例であるＨＦ揺らぎ成分に起因するピークＨ１ｂ、すなわち、ＨＦ揺らぎ成分ＦＫＨによる周波数成分は、基本波Ｌ１より振幅が小さい周波数成分である。特に、ＨＦ揺らぎ成分に起因するピークＨ１ｂは、図示するように、ノイズ成分等と切り分けが難しい程度の振幅であることが多い。 On the other hand, the peak H1a caused by the HF fluctuation component, which is an example of the second wave, and the peak H1b caused by the HF fluctuation component, which is an example of the third wave, that is, the frequency component due to the HF fluctuation component FKH is higher than the fundamental wave L1. It is a frequency component with small amplitude. In particular, the peak H1b caused by the HF fluctuation component, as shown, often has an amplitude that is difficult to separate from noise components and the like.
そこで、まず、図示するように、端末装置は、ＨＦ揺らぎ成分に起因するピークＨ１ａを特定する。具体的には、端末装置は、例えば、（基本波の周波数ｆ（Ｌ１）－０．４０Ｈｚ）乃至（基本波の周波数ｆ（Ｌ１）－０．１５Ｈｚ）の周波数帯域において、最も振幅が大きい周波数成分を特定すると、端末装置は、ＨＦ揺らぎ成分に起因するピークＨ１ａを特定できる。 Therefore, first, as illustrated, the terminal device identifies the peak H1a caused by the HF fluctuation component. Specifically, the terminal device, for example, in the frequency band from (fundamental wave frequency f (L1) - 0.40 Hz) to (fundamental wave frequency f (L1) - 0.15 Hz), the frequency with the largest amplitude After identifying the component, the terminal device can identify the peak H1a caused by the HF fluctuation component.
そして、ＨＦ揺らぎ成分に起因するピークＨ１ｂは、基本波Ｌ１を中心にＨＦ揺らぎ成分に起因するピークＨ１ａと対称となる周波数帯域に発生する性質がある。そこで、あらかじめ特定されるＨＦ揺らぎ成分に起因するピークＨ１ｂと基本波Ｌ１を中心に対称となる周波数帯域を特定すると、端末装置は、ＨＦ揺らぎ成分に起因するピークＨ１ｂを特定しやすい。 The peak H1b caused by the HF fluctuation component has the property of occurring in a frequency band symmetrical to the peak H1a caused by the HF fluctuation component with respect to the fundamental wave L1. Therefore, if a frequency band that is symmetrical about the peak H1b caused by the previously specified HF fluctuation component and the fundamental wave L1 is specified, the terminal device can easily specify the peak H1b caused by the HF fluctuation component.
具体的には、基本波Ｌ１と、ＨＦ揺らぎ成分に起因するピークＨ１ａとの周波数差を「Δｆｒ」とすると、端末装置は、基本波Ｌ１より高い周波数帯域において、「Δｆｒ」分の周波数差がある周波数帯域、すなわち、「基本波の周波数ｆ（Ｌ１）＋Δｆｒ」となる周波数帯域を特定すると、ＨＦ揺らぎ成分に起因するピークＨ１ｂを特定できる。 Specifically, assuming that the frequency difference between the fundamental wave L1 and the peak H1a caused by the HF fluctuation component is "Δfr", the terminal device detects a frequency difference of "Δfr" in a frequency band higher than the fundamental wave L1. By specifying a certain frequency band, that is, the frequency band corresponding to “fundamental wave frequency f(L1)+Δfr”, peak H1b caused by the HF fluctuation component can be specified.
また、基本波Ｌ１の整数倍となる周波数成分を含む周波数帯域にも、同様の周波数成分が発生することが多い。例えば、整数倍となる周波数成分を含む周波数帯域は、２次高調波Ｌ２及び３次高調波Ｌ３等である。 Moreover, similar frequency components often occur in frequency bands containing frequency components that are integral multiples of the fundamental wave L1. For example, the frequency band including frequency components that are integral multiples is the second harmonic L2, the third harmonic L3, and the like.
したがって、端末装置は、基本波Ｌ１、ＨＦ揺らぎ成分に起因するピークＨ１ａ、ＨＦ揺らぎ成分に起因するピークＨ１ｂ、２次高調波Ｌ２及び３次高調波Ｌ３の周波数帯域以外の周波数帯域を少なくともフィルタリングすると、ノイズ成分を除去できる。 Therefore, the terminal device filters at least frequency bands other than the frequency band of the fundamental wave L1, the peak H1a caused by the HF fluctuation component, the peak H1b caused by the HF fluctuation component, the second harmonic L2, and the third harmonic L3. , the noise component can be removed.
なお、２次高調波Ｌ２及び３次高調波Ｌ３を特定し、「Δｆｒ」に基づいて、図示するように、２次高調波Ｌ２及び３次高調波Ｌ３等でも、ＨＦ揺らぎ成分に起因するピークが特定されてもよい。図示する例では、２次高調波Ｌ２及び３次高調波Ｌ３の周波数から、高周波側及び低周波側に、「Δｆｒ」分の周波数差がある周波数帯域に所定値以上の振幅がある場合には、２次高調波Ｌ２及び３次高調波Ｌ３等にも、ＨＦ揺らぎ成分に起因するピークがあるとする。なお、所定値は、あらかじめ設定される値である。このような場合には、２次高調波Ｌ２及び３次高調波Ｌ３に対するＨＦ揺らぎ成分に起因するピークが含まれる周波数帯は、フィルタリングの対象外とする。 In addition, the second harmonic L2 and the third harmonic L3 are specified, and based on "Δfr", as shown in the figure, even in the second harmonic L2 and the third harmonic L3, etc., the peak due to the HF fluctuation component may be specified. In the illustrated example, when there is an amplitude of a predetermined value or more in a frequency band having a frequency difference of "Δfr" on the high frequency side and the low frequency side from the frequencies of the second harmonic wave L2 and the third harmonic wave L3, , the second harmonic L2, the third harmonic L3, etc. also have peaks due to the HF fluctuation component. Note that the predetermined value is a value set in advance. In such a case, the frequency band containing peaks due to HF fluctuation components for the second harmonic L2 and the third harmonic L3 is excluded from filtering.
したがって、図示する例では、端末装置は、設定周波数帯以外の周波数帯の例であるフィルタリング領域ＦＬＴをフィルタリングしてノイズ成分を減衰させる。 Therefore, in the illustrated example, the terminal device filters the filtering area FLT, which is an example of a frequency band other than the set frequency band, to attenuate the noise component.
図２０は、本発明の一実施形態に係る出力信号の一例を示す図である。例えば、図７に示すような第１信号に対して、図１２に示すような処理が行われると、端末装置は、図示するような出力信号を生成できる。すなわち、端末装置は、第２信号に含まれるノイズ成分を除去すると、図示するような出力信号を生成できる。 FIG. 20 is a diagram showing an example of an output signal according to one embodiment of the invention. For example, when the processing shown in FIG. 12 is performed on the first signal shown in FIG. 7, the terminal device can generate the output signal shown in the figure. That is, the terminal device can generate the illustrated output signal by removing the noise component included in the second signal.
＜効果例＞
図２１は、本発明の一実施形態に係る効果の一例を示す図である。まず、仮に、ＬＦ揺らぎ成分ＦＫＬがなく、かつ、ＨＦ揺らぎ成分ＦＫＨがないとすると、脈波信号は、図２１（Ａ）のような周波数特性となる。図示するように、脈波信号は、脈拍の一定な動作による周波数（以下「基本周波数ＢＦ」という。）が主な成分となる信号となる。
<Effect example>
FIG. 21 is a diagram showing an example of effects according to an embodiment of the present invention. First, if there is no LF fluctuation component FKL and no HF fluctuation component FKH, the pulse wave signal has frequency characteristics as shown in FIG. 21(A). As shown in the figure, the pulse wave signal is a signal whose main component is a frequency (hereinafter referred to as "fundamental frequency BF") due to the constant action of the pulse.
一方で、実際には、脈波信号には、ＬＦ揺らぎ成分ＦＫＬがある。したがって、ＬＦ揺らぎ成分ＦＫＬによって、図２１（Ｂ）のような周波数特性となる場合が多い。図示するように、脈拍間隔の低周波成分は、基本周波数ＢＦのピークの広がりとして現れる。 On the other hand, the pulse wave signal actually has an LF fluctuation component FKL. Therefore, the LF fluctuation component FKL often results in a frequency characteristic as shown in FIG. 21(B). As shown, the low frequency component of the pulse interval appears as broadening of the peak of the fundamental frequency BF.
さらに、ＨＦ揺らぎ成分ＦＫＨがある。したがって、脈波信号は、例えば、図２１（Ｃ）のような周波数特性となる信号である。図２１（Ｂ）と比較すると、ＨＦ揺らぎ成分ＦＫＨの成分が加わる点が異なる。図示するように、ＨＦ揺らぎ成分ＦＫＨが加わる場合は、基本周波数ＢＦの前後となる周波数帯域にピークが発生しやすく、基本周波数ＢＦにおける振幅と比較すると、ピークにおける振幅が弱い場合が多い。このときの脈波信号の振幅スペクトルの例が図１４である。図示するように、脈波信号にノイズ成分があると、ＨＦ揺らぎ成分ＦＫＨの成分は、ノイズ成分との判別が困難になる場合が多い。 In addition, there is the HF fluctuation component FKH. Therefore, the pulse wave signal is, for example, a signal having frequency characteristics as shown in FIG. 21(C). Compared to FIG. 21(B), it differs in that an HF fluctuation component FKH is added. As shown, when the HF fluctuation component FKH is added, a peak tends to occur in the frequency band around the fundamental frequency BF, and the amplitude at the peak is often weaker than the amplitude at the fundamental frequency BF. FIG. 14 shows an example of the amplitude spectrum of the pulse wave signal at this time. As shown in the figure, when the pulse wave signal contains noise components, it is often difficult to distinguish the HF fluctuation component FKH from the noise component.
そこで、端末装置は、ＨＦ揺らぎ成分ＦＫＨを正確に検出するために、ＬＦ揺らぎ成分ＦＫＬを平坦化し、ＨＦ揺らぎ成分ＦＫＨが保存された第２信号を生成する。第２信号は、例えば、図１９に示すような周波数特性となる。図示するように、ＬＦ揺らぎ成分ＦＫＬの平坦化によって、ＨＦ揺らぎ成分ＦＫＨに起因するピークが強調されて現れる。したがって、出力信号では、ＨＦ揺らぎ成分ＦＫＨの成分がノイズ成分に埋もれにくい。ゆえに、端末装置は、出力信号から、ＨＦ揺らぎ成分ＦＫＨの成分を精度良く抽出することができる。 Therefore, in order to accurately detect the HF fluctuation component FKH, the terminal device flattens the LF fluctuation component FKL and generates a second signal in which the HF fluctuation component FKH is preserved. The second signal has frequency characteristics as shown in FIG. 19, for example. As illustrated, the flattening of the LF fluctuation component FKL emphasizes the peak caused by the HF fluctuation component FKH. Therefore, in the output signal, the HF fluctuation component FKH is less likely to be buried in noise components. Therefore, the terminal device can accurately extract the HF fluctuation component FKH from the output signal.
＜その他の実施形態＞
また、本発明に係る実施形態は、生体を撮像した画像データ以外のデータに基づいて第１信号が生成されてもよい。例えば、生体の一部に対して光を照射して、透過した光又は反射した光によって脈波を測定する装置等のような非接触式の測定装置が生成するデータが用いられてもよい。さらに、パッド等を生体に取り付けることで脈波を測定する装置等のような接触式の測定装置が生成するデータが用いられてもよい。
<Other embodiments>
Further, in the embodiment according to the present invention, the first signal may be generated based on data other than image data obtained by imaging a living body. For example, data generated by a non-contact measuring device such as a device that irradiates a part of the living body with light and measures a pulse wave based on transmitted light or reflected light may be used. Furthermore, data generated by a contact-type measuring device such as a device that measures a pulse wave by attaching a pad or the like to a living body may be used.
また、本発明に係る実施形態は、周期性を有する信号であればどのような生体信号に対しても適用可能である。例えば、接触式の測定装置によって取得された心電信号に対して適用することができる。 Moreover, the embodiment according to the present invention can be applied to any biological signal as long as it is a signal having periodicity. For example, it can be applied to an electrocardiographic signal acquired by a contact-type measuring device.
また、本発明に係る実施形態は、本発明の一実施形態に係る処理が、プログラムに基づいて情報処理装置又は情報処理システムによって実行されることで実現されてもよい。すなわち、本発明に係る実施形態は、生体信号解析方法をコンピュータに実行させるためのプログラム等によって実現されてもよい。なお、プログラムは、コンピュータが読み取り可能な記録媒体等に記憶されてコンピュータにインストールされる。 Further, the embodiment of the present invention may be realized by executing the processing of one embodiment of the present invention by an information processing apparatus or information processing system based on a program. That is, the embodiments of the present invention may be realized by a program or the like for causing a computer to execute the biosignal analysis method. The program is stored in a computer-readable recording medium or the like and installed in the computer.
さらに、本発明に係る実施形態は、１以上の情報処理装置を有する生体信号解析システムによって実現されてもよい。 Furthermore, embodiments according to the present invention may be implemented by a biosignal analysis system having one or more information processing devices.
なお、生体信号解析システムは、処理を冗長、分散又は並列して行ってもよい。 In addition, the biological signal analysis system may perform processing redundantly, distributedly, or in parallel.
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されない。すなわち、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。 Although preferred embodiments of the invention have been described in detail above, the invention is not limited to such specific embodiments. That is, various modifications or changes are possible within the scope of the gist of the invention described in the claims.
１ 生体
１００ 端末装置
１００Ｈ１ 撮像装置
ＮＺ ノイズ成分
ＦＫＬ ＬＦ揺らぎ成分
ＦＫＨ ＨＦ揺らぎ成分
Ｌ１ 基本波
Ｌ２ ２次高調波
Ｌ３ ３次高調波
1 Living
Claims (8)
前記脈波信号を示す第１信号を生成する第１信号生成部と、
前記第１信号の周波数スペクトルを算出する算出部と、
算出した周波数スペクトルに基づいて、前記第１信号における生体起因の周期の揺らぎのうち、０．１５Ｈｚ以下の第１周波数帯における揺らぎ成分である第１揺らぎ成分を、前記第１信号のピーク周波数帯域とともに抽出する第１抽出部と、
前記第１揺らぎ成分が抽出された信号の脈拍間隔を該脈拍間隔の所定の固定値に合うように前記第１信号のサンプリング周期を補正することにより前記第１揺らぎ成分を平坦化することで０．１５Ｈｚより高く、０．４０Ｈｚ以下の第２周波数帯における生体起因の周期の揺らぎ成分である第２揺らぎ成分を示す信号値を抽出し、前記第２揺らぎ成分に起因するピークが強調された第２信号を生成する第２信号生成部と、
前記第２信号が有する振幅のノイズ成分を除去するノイズ除去部と、
前記ノイズ除去部によりノイズ成分が除去された信号に対して、第２信号生成部で平坦化された第１揺らぎ成分を付与する非平坦化処理部と、
前記非平坦化処理部により第１揺らぎ成分が付与された信号から、少なくとも前記第２揺らぎ成分を抽出する第２抽出部と、
を備える生体信号解析装置。 A biological signal analysis device that analyzes a pulse wave signal that has periodicity and fluctuations in the cycle,
a first signal generator that generates a first signal indicating the pulse wave signal;
a calculator that calculates the frequency spectrum of the first signal;
Based on the calculated frequency spectrum, the first fluctuation component, which is the fluctuation component in the first frequency band of 0.15 Hz or less, among the biologically-induced period fluctuations in the first signal, is detected in the peak frequency band of the first signal. a first extraction unit that extracts with
By correcting the sampling period of the first signal so that the pulse interval of the signal from which the first fluctuation component is extracted matches a predetermined fixed value of the pulse interval, the first fluctuation component is flattened to zero. A signal value indicating a second fluctuation component, which is a period fluctuation component caused by a living organism, in a second frequency band of 0.40 Hz or lower, which is higher than 0.15 Hz, is extracted, and a peak resulting from the second fluctuation component is emphasized. a second signal generator that generates two signals;
a noise removal unit that removes an amplitude noise component of the second signal;
a non-flattening processor that adds a first fluctuation component that has been flattened by a second signal generator to the signal from which noise components have been removed by the noise remover ;
a second extraction unit that extracts at least the second fluctuation component from the signal to which the first fluctuation component has been added by the non-flattening processing unit;
A biomedical signal analyzer.
請求項１に記載の生体信号解析装置。 2. The biological signal analysis apparatus according to claim 1, wherein the first signal generator generates the first signal based on image data obtained by imaging a living body.
請求項１又は２に記載の生体信号解析装置。 3. The biological signal analysis device according to claim 1, wherein the biological signal analysis device is non-contact with the living body.
前記第２信号に含まれる周波数成分を解析して、設定周波数帯以外の周波数帯に含まれる成分を除去し、
前記設定周波数帯は、
前記第２信号の基本波及び前記第１信号における周期の揺らぎのうち、前記第２周波数帯における揺らぎ成分である第２揺らぎ成分に起因するピークを、
少なくとも含むことを特徴とする
請求項１乃至３のいずれか１項に記載の生体信号解析装置。 The noise removal unit
Analyzing the frequency components contained in the second signal, removing components contained in frequency bands other than the set frequency band,
The set frequency band is
The peak due to the second fluctuation component, which is the fluctuation component in the second frequency band, among the period fluctuations in the fundamental wave of the second signal and the first signal,
4. The biological signal analysis apparatus according to any one of claims 1 to 3, comprising at least:
前記基本波より０．１５Ｈｚ乃至０．４０Ｈｚ低い周波数帯域から最も振幅が大きい第２波と、前記基本波を中心に前記第２波と対称となる周波数帯域から第３波を含むことを特徴とする
請求項４に記載の生体信号解析装置。 The set frequency band is
A second wave having the largest amplitude in a frequency band lower than the fundamental wave by 0.15 Hz to 0.40 Hz, and a third wave in a frequency band symmetrical to the second wave centering on the fundamental wave. The biological signal analysis device according to claim 4.
高調波に起因するピークを含むことを特徴とする
請求項４又は５に記載の生体信号解析装置。 The set frequency band is
6. The biomedical signal analysis apparatus according to claim 4, including a peak caused by harmonics.
生体信号解析装置が、前記脈波信号を示す第１信号を生成する第１信号生成手順と、
生体信号解析装置が、前記第１信号の周波数スペクトルを算出する算出手順と、
生体信号解析装置が、算出した周波数スペクトルに基づいて、前記第１信号における生体起因の周期の揺らぎのうち、０．１５Ｈｚ以下の第１周波数帯における揺らぎ成分である第１揺らぎ成分を、前記第１信号のピーク周波数帯域とともに抽出する第１抽出手順と、
生体信号解析装置が、前記第１揺らぎ成分が抽出された信号の脈拍間隔を該脈拍間隔の所定の固定値に合うように前記第１信号のサンプリング周期を補正することにより前記第１揺らぎ成分を平坦化することで０．１５Ｈｚより高く、０．４０Ｈｚ以下の第２周波数帯における生体起因の周期の揺らぎ成分である第２揺らぎ成分を示す信号値を抽出し、前記第２揺らぎ成分に起因するピークが強調された第２信号を生成する第２信号生成手順と、
生体信号解析装置が、前記第２信号が有する振幅のノイズ成分を除去するノイズ除去手順と、
生体信号解析装置が、ノイズ成分が除去された信号に対して、第２信号生成手順で平坦化された第１揺らぎ成分を付与する非平坦化処理手順と、
前記非平坦化処理手順により第１揺らぎ成分が付与された信号から、少なくとも前記第２揺らぎ成分を抽出する第２抽出手順と、
を含む生体信号解析方法。 A biological signal analysis method performed by a biological signal analysis device that analyzes a pulse wave signal that has periodicity and fluctuations in the period,
a first signal generation procedure in which the biological signal analysis device generates a first signal indicating the pulse wave signal;
a calculation procedure in which the biological signal analysis device calculates the frequency spectrum of the first signal;
Based on the calculated frequency spectrum, the biomedical signal analysis apparatus converts the first fluctuation component, which is the fluctuation component in a first frequency band of 0.15 Hz or less, into the first fluctuation component of the period fluctuation caused by the living body in the first signal. a first extraction procedure for extracting together with the peak frequency band of one signal;
The biosignal analyzer corrects the sampling period of the first signal so that the pulse interval of the signal from which the first fluctuation component is extracted matches a predetermined fixed value of the pulse interval, thereby extracting the first fluctuation component. By flattening, a signal value indicating a second fluctuation component, which is a fluctuation component of the cycle caused by the living body in a second frequency band of 0.40 Hz or less, is extracted. a second signal generating procedure for generating a peak-enhanced second signal;
a noise removal procedure in which the biological signal analysis device removes an amplitude noise component of the second signal;
a non-flattening processing procedure in which the biological signal analysis device imparts the first fluctuation component flattened in the second signal generation procedure to the signal from which the noise component has been removed ;
a second extraction procedure for extracting at least the second fluctuation component from the signal to which the first fluctuation component has been added by the non-flattening procedure;
A biological signal analysis method comprising:
コンピュータが、前記脈波信号を示す第１信号を生成する第１信号生成手順と、
コンピュータが、前記第１信号の周波数スペクトルを算出する算出手順と、
コンピュータが、算出した周波数スペクトルに基づいて、前記第１信号における生体起因の周期の揺らぎのうち、０．１５Ｈｚ以下の第１周波数帯における揺らぎ成分である第１揺らぎ成分を、前記第１信号のピーク周波数帯域とともに抽出する第１抽出手順と、
コンピュータが、前記第１揺らぎ成分が抽出された信号の脈拍間隔を該脈拍間隔の所定の固定値に合うように前記第１信号のサンプリング周期を補正することにより前記第１揺らぎ成分を平坦化することで０．１５Ｈｚより高く、０．４０Ｈｚ以下の第２周波数帯における生体起因の周期の揺らぎ成分である第２揺らぎ成分を示す信号値を抽出し、前記第２揺らぎ成分に起因するピークが強調された第２信号を生成する第２信号生成手順と、
コンピュータが、前記第２信号が有する振幅のノイズ成分を除去するノイズ除去手順と、
コンピュータが、ノイズ成分が除去された信号に対して、第２信号生成手順で平坦化された第１揺らぎ成分を付与する非平坦化処理手順と、
前記非平坦化処理手順により第１揺らぎ成分が付与された信号から、少なくとも前記第２揺らぎ成分を抽出する第２抽出手順と、
を実行させるプログラム。 A program that causes a computer that analyzes a pulse wave signal that has periodicity and fluctuations in the cycle to execute a biological signal analysis method,
A first signal generation procedure in which a computer generates a first signal representing the pulse wave signal;
A calculation procedure in which a computer calculates the frequency spectrum of the first signal;
Based on the calculated frequency spectrum, the computer converts the first fluctuation component, which is the fluctuation component in a first frequency band of 0.15 Hz or less, from the period fluctuations caused by the living body in the first signal to the first signal. a first extraction procedure that extracts with the peak frequency band;
A computer flattens the first fluctuation component by correcting the sampling period of the first signal such that the pulse interval of the signal from which the first fluctuation component is extracted matches a predetermined fixed value of the pulse interval. This extracts a signal value indicating a second fluctuation component, which is a fluctuation component of a cycle caused by a living body, in a second frequency band of 0.40 Hz or lower, which is higher than 0.15 Hz, and emphasizes the peak caused by the second fluctuation component. a second signal generating procedure for generating a combined second signal;
A noise removal procedure in which a computer removes an amplitude noise component of the second signal;
A non-flattening processing procedure in which the computer gives the first fluctuation component flattened in the second signal generation procedure to the signal from which the noise component has been removed ;
a second extraction procedure for extracting at least the second fluctuation component from the signal to which the first fluctuation component has been added by the non-flattening procedure;
program to run.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017137302A JP7106821B2 (en) | 2017-07-13 | 2017-07-13 | BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017137302A JP7106821B2 (en) | 2017-07-13 | 2017-07-13 | BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019017555A JP2019017555A (en) | 2019-02-07 |
| JP7106821B2 true JP7106821B2 (en) | 2022-07-27 |
Family
ID=65353434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017137302A Active JP7106821B2 (en) | 2017-07-13 | 2017-07-13 | BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7106821B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7396143B2 (en) * | 2020-03-19 | 2023-12-12 | 株式会社リコー | Pulse wave analysis device, pulse wave analysis method and program |
| JP7400574B2 (en) * | 2020-03-23 | 2023-12-19 | 株式会社リコー | Biometric information acquisition device, biometric information acquisition method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140081088A1 (en) | 2012-09-17 | 2014-03-20 | Holux Technology Inc. | Computer-implemented method for determining physical movements of a body organ |
| JP2016002119A (en) | 2014-06-13 | 2016-01-12 | 株式会社デンソー | Sphygmomanometer |
| JP2016043191A (en) | 2014-08-26 | 2016-04-04 | 株式会社リコー | Biological signal analyzer, biological signal analyzing system, and biological signal analyzing method |
| US20170035304A1 (en) | 2015-08-06 | 2017-02-09 | Deng-Shan Shiau | Methods and Devices for Monitoring Respiration Using Photoplethysmography Sensors |
| JP2017104488A (en) | 2015-11-27 | 2017-06-15 | 株式会社リコー | Pulse wave measurement device, pulse wave measurement program, pulse wave measurement method and pulse wave measurement system |
-
2017
- 2017-07-13 JP JP2017137302A patent/JP7106821B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140081088A1 (en) | 2012-09-17 | 2014-03-20 | Holux Technology Inc. | Computer-implemented method for determining physical movements of a body organ |
| JP2016002119A (en) | 2014-06-13 | 2016-01-12 | 株式会社デンソー | Sphygmomanometer |
| JP2016043191A (en) | 2014-08-26 | 2016-04-04 | 株式会社リコー | Biological signal analyzer, biological signal analyzing system, and biological signal analyzing method |
| US20170035304A1 (en) | 2015-08-06 | 2017-02-09 | Deng-Shan Shiau | Methods and Devices for Monitoring Respiration Using Photoplethysmography Sensors |
| JP2017104488A (en) | 2015-11-27 | 2017-06-15 | 株式会社リコー | Pulse wave measurement device, pulse wave measurement program, pulse wave measurement method and pulse wave measurement system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019017555A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6102433B2 (en) | Pulse wave detection program, pulse wave detection method, and pulse wave detection device | |
| JP6547160B2 (en) | Pulse wave detection device and pulse wave detection program | |
| JP5915757B2 (en) | Pulse wave detection method, pulse wave detection device, and pulse wave detection program | |
| JP6256488B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
| JP6098257B2 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
| JP6052027B2 (en) | Pulse wave detection device, pulse wave detection program, and pulse wave detection method | |
| JP6115263B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
| Feng et al. | Motion artifacts suppression for remote imaging photoplethysmography | |
| JP6531834B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM | |
| JP6724603B2 (en) | Pulse wave measuring device, pulse wave measuring program, pulse wave measuring method and pulse wave measuring system | |
| JP6928219B2 (en) | Pulse cycle detection device, pulse cycle detection method, pulse cycle detection program, and pulse wave detection device | |
| JP7396143B2 (en) | Pulse wave analysis device, pulse wave analysis method and program | |
| KR101787828B1 (en) | Heartrate measuring system using skin color filter | |
| JP7400574B2 (en) | Biometric information acquisition device, biometric information acquisition method, and program | |
| JP6135255B2 (en) | Heart rate measuring program, heart rate measuring method and heart rate measuring apparatus | |
| JP7106821B2 (en) | BIOLOGICAL SIGNAL ANALYZER, BIOLOGICAL SIGNAL ANALYSIS METHOD AND PROGRAM | |
| US20180360330A1 (en) | A method, information processing apparatus and server for determining a physiological parameter of an individual | |
| JP6455761B2 (en) | Pulse wave detection device and pulse wave detection program | |
| JP6772614B2 (en) | Biometric information measuring device, biometric information measuring method, biometric information measuring system and program | |
| KR20230161443A (en) | Method and system for heart rate extraction from ＲＢＢ images | |
| JP6488722B2 (en) | Pulse wave detection device, pulse wave detection method, and pulse wave detection program | |
| JP7237768B2 (en) | Biological information detector | |
| JP6607259B2 (en) | Pulse wave analyzer, pulse wave analysis method, and pulse wave analysis program | |
| US20200155008A1 (en) | Biological information detecting apparatus and biological information detecting method | |
| WO2017104056A1 (en) | Biometric information measurement device, biometric information measurement method, and biometric information measurement program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220627 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7106821 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |