WO2014017566A1 - 心拍計測方法および装置 - Google Patents

心拍計測方法および装置 Download PDF

Info

Publication number
WO2014017566A1
WO2014017566A1 PCT/JP2013/070119 JP2013070119W WO2014017566A1 WO 2014017566 A1 WO2014017566 A1 WO 2014017566A1 JP 2013070119 W JP2013070119 W JP 2013070119W WO 2014017566 A1 WO2014017566 A1 WO 2014017566A1
Authority
WO
WIPO (PCT)
Prior art keywords
heartbeat
time
chest
series data
heart rate
Prior art date
Application number
PCT/JP2013/070119
Other languages
English (en)
French (fr)
Inventor
青木　広宙
亮 古川
立昌 佐川
洋 川崎
Original Assignee
公立大学法人広島市立大学
独立行政法人産業技術総合研究所
国立大学法人鹿児島大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 公立大学法人広島市立大学, 独立行政法人産業技術総合研究所, 国立大学法人鹿児島大学 filed Critical 公立大学法人広島市立大学
Priority to JP2014526985A priority Critical patent/JP6150231B2/ja
Publication of WO2014017566A1 publication Critical patent/WO2014017566A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1127—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Definitions

  • the present invention relates to a heart rate measuring method and apparatus for measuring a heart rate in a non-contact manner.
  • ECG electrocardiogram
  • a method using a non-contact measuring means without using a contact measuring means such as ECG has been proposed.
  • Garbe et al. Have proposed a technique using a thermal image (Non-patent Document 1), and Nagae et al. Have proposed a technique using a microwave (Non-Patent Document 2).
  • Non-patent Document 3 a method for measuring a heart rate from a color face image using a Web imaging means, and realized heart rate measurement with an inexpensive device.
  • Non-patent documents 1 and 2 require expensive measuring equipment. Further, since the method of Non-Patent Document 3 uses inexpensive color imaging means, the robustness against illumination fluctuation is low, and it is difficult to realize quantitative heartbeat waveform measurement.
  • the problem to be solved by the present invention is to easily perform non-contact measurement of a heartbeat waveform with an inexpensive apparatus configuration.
  • the heart rate measuring method includes: A heartbeat measurement method for measuring a heartbeat in a non-contact manner by acquiring a three-dimensional shape change of a human chest, A first step of acquiring a three-dimensional shape of the surface of the chest wall of the person as three-dimensional coordinate point group data; A second step of calculating the time change of the three-dimensional coordinates at each point constituting the three-dimensional coordinate point group data acquired in the first step as first time-series data; A third step of calculating a time change of three-dimensional coordinates due to a heartbeat as second time-series data by extracting a component of a heartbeat frequency band by band-pass filter processing on the first time-series data; It is characterized by having.
  • the first step it is desirable to acquire the three-dimensional coordinate point group data from an image obtained by imaging the surface of a person's thoracoabdominal wall on which pattern light is projected.
  • the second step it is desirable to calculate a change in distance between the lens of the imaging means for imaging the chest and abdominal wall surface and the chest and abdominal wall as the first time-series data.
  • the second time series data is converted into color information according to the size thereof, and the color information is displayed as a video on the three-dimensional coordinates of each point, thereby visualizing the dynamics of the chest and abdominal wall surface due to the heartbeat. You may have the step to do.
  • the heart rate measuring device is: A heartbeat measuring device that measures a heartbeat in a non-contact manner by acquiring a three-dimensional shape change of a person's chest, Point cloud data acquisition means for acquiring the three-dimensional shape of the human chest abdominal wall surface as three-dimensional coordinate point cloud data; Point cloud coordinate time change calculation means for calculating the time change of the three-dimensional coordinates at each point constituting the three-dimensional coordinate point cloud data acquired by the point cloud data acquisition means as first time-series data; By extracting the component of the heart rate frequency band by band-pass filter processing for the first time series data, the time change of the three-dimensional coordinates at each point caused by the heart rate is calculated as the second time series data.
  • Heart rate origin point cloud coordinate time change calculating means It is characterized by providing.
  • pattern light projection means for projecting pattern light onto the chest abdominal surface
  • An imaging means for imaging the chest abdominal surface of the person on which the pattern light is projected
  • the point group data acquisition unit acquires the three-dimensional coordinate point group data from an image captured by the imaging unit.
  • the point cloud coordinate time change calculating means calculates a change in distance between the lens of the imaging means and the chest and abdominal wall as the first time series data.
  • the second time series data is converted into color information according to the amount of time change, and the color information is displayed as an image on the three-dimensional coordinates of each point.
  • the second time series data is calculated for each of the plurality of sections corresponding to the chest and abdomen, and the phase difference for calculating the phase difference of the heart rate frequency component of the other section with respect to the heart rate frequency component of the predetermined reference section You may have a calculation means.
  • non-contact measurement of a heartbeat waveform can be easily realized with an inexpensive apparatus configuration.
  • FIG. 1 is a flowchart showing the heartbeat measuring method of the present invention.
  • FIG. 2A is an explanatory diagram showing the three-dimensional acquisition of the thoracoabdominal wall of the present invention
  • FIG. 2B is a configuration diagram of the arithmetic unit.
  • Example 1 FIG. 3A is an explanatory diagram showing a projected static pattern
  • FIG. 3B is an explanatory diagram showing dimensions of the static pattern.
  • Example 1 FIG. 4 is a flowchart showing the three-dimensional shape restoration algorithm.
  • Example 1 FIG. 5 is a drawing-substituting photograph showing a wavy pattern image projected on the chest and abdominal wall.
  • FIG. 6 is a drawing-substituting photograph showing a three-dimensional view of the thoracoabdominal wall restored to the three-dimensional shape.
  • Example 1 FIG. 7A is an original waveform of the time change of the three-dimensional coordinates at a point on the thoracoabdominal wall, and FIG. 7B is a graph showing a waveform of the original waveform after bandpass filter processing.
  • FIG. 8 is a graph showing the result of simultaneous measurement with ECG.
  • FIG. 9 is a graph showing the coincidence with ECG.
  • FIG. 10 is a drawing-substituting photograph showing the temporal distribution of the three-dimensional shape of the thoracoabdominal wall. (Example 2)
  • FIG. 2 is an original waveform of the time change of the three-dimensional coordinates at a point on the thoracoabdominal wall
  • FIG. 7B is a graph showing a waveform of the original waveform after bandpass filter processing.
  • FIG. 8 is a
  • FIG. 11 is a drawing-substituting photograph explaining sample points set on the chest and abdominal wall.
  • FIG. 12 is a graph showing the time change of the three-dimensional coordinates at the sample points D1 to D6.
  • FIG. 13 is a drawing-substituting photograph showing the phase difference of the heart rate frequency component at the sample point set on the thoracoabdominal wall.
  • FIG. 14 is a drawing-substituting photograph showing a wavy line pattern image projected onto the chest and abdominal wall.
  • FIG. 15 is a graph showing the results of simultaneous measurement with ECG. (Example 4)
  • the heartbeat measuring method measures a person's heartbeat in a non-contact manner by acquiring a three-dimensional shape change of the chest and abdominal wall surface, and has three steps shown in FIG.
  • the active stereo method is used to acquire the three-dimensional shape of the human thoracoabdominal wall surface as three-dimensional coordinate point group data.
  • the three-dimensional coordinate point group data is acquired from an image obtained by imaging the surface of the chest and abdominal wall of the person onto which the pattern light is projected.
  • the time change is calculated for the three-dimensional coordinates at each point constituting the three-dimensional coordinate point group data acquired in the first step, and the first time-series data is acquired.
  • the first time-series data is calculated as a change in the distance between the lens of the imaging means for imaging the chest and abdominal wall surface and the chest and abdominal wall.
  • band pass filter processing is performed on the first time-series data, and the heart rate frequency band components are extracted. Thereby, the time change of the three-dimensional coordinate by the heartbeat in each point is calculated as 2nd time series data.
  • the time change of the three-dimensional coordinates due to the heartbeat at each point calculated in the third step is changed according to the magnitude. Converted to information. Then, the color information is displayed as an image on the three-dimensional coordinates of each point, thereby visualizing the dynamics of the chest and abdominal wall surface by heartbeat.
  • second time-series data is calculated for a plurality of sections corresponding to the chest and abdomen, and the phase difference between the heart rate frequency components of the other sections with respect to the heart rate frequency component of the predetermined reference section is calculated.
  • the form provided with the step may be sufficient.
  • the above heart rate measuring method can be realized using the following heart rate measuring device.
  • the heart rate measuring device measures a heart rate in a non-contact manner by acquiring a three-dimensional shape change of the chest and abdominal wall surface, and includes a point cloud data acquisition unit, a point group coordinate time change calculation unit, and a heart rate described below.
  • the origin point coordinate time change calculation means is configured.
  • the active stereo method is used to acquire the 3D shape of the human chest abdominal wall surface as 3D coordinate point cloud data.
  • the time change is calculated for the three-dimensional coordinates at each point constituting the three-dimensional coordinate point group data acquired by the three-dimensional coordinate point group data, and the time series data (first time Acquire series data).
  • the heartbeat-derived point cloud coordinate time change calculation means bandpass filter processing is performed on the first time-series data, and the frequency band component of the heartbeat is extracted. Thereby, signal components caused by body movements other than the heartbeat, that is, respiration and convulsive tremor are removed, and the time change of the three-dimensional coordinates due to the heartbeat at each point is calculated as the second time series data.
  • the heartbeat measuring device converts the time change of the three-dimensional coordinates due to the heartbeat at each point calculated by the heartbeat-derived point cloud coordinate time change calculation means into color information according to the magnitude.
  • dynamic visualizing means for displaying the color information as a video at the three-dimensional coordinates of each point may be provided. Thereby, the dynamics of the chest and abdominal wall surface by the heartbeat can be visualized.
  • the heartbeat measuring device calculates second time-series data for a plurality of sections corresponding to the chest and abdomen, and calculates a phase difference between the heartbeat frequency components of other sections with respect to the heartbeat frequency component of a predetermined reference section.
  • a form provided with a phase difference calculation means may be sufficient.
  • the point cloud data acquisition means, the point cloud coordinate time change calculation means, the heartbeat-derived point cloud coordinate time change calculation means, the dynamic visualization means, and the phase difference calculation means are respectively a point cloud data acquisition section and a point cloud coordinate time change calculation section.
  • the heartbeat-derived point cloud coordinate time change calculation unit, the dynamics visualization unit, and the phase difference calculation unit may be configured to be incorporated into the arithmetic device and processed.
  • the heartbeat measuring device includes an output unit that outputs data calculated by each of the above means to a monitor or the like.
  • the heartbeat measuring device includes a pattern light projection unit 21, an imaging unit 22, and an arithmetic unit 25.
  • the arithmetic device 25 includes a point cloud data acquisition unit, a point cloud coordinate time change calculation unit, and a heartbeat-derived point cloud coordinate time change calculation unit. Pattern light 23 is projected from the pattern light projection means 21 onto the chest and abdominal wall of the subject (person) 24 and photographed by the imaging means 22.
  • the pattern light projection means 21 is preferably a liquid crystal projector, but a pattern projector using a combination of a transmissive diffraction grating and a laser light source may be used. Alternatively, the pattern light may be projected by transmitting halogen light, LED light, or laser light to a negative film on which a pattern of pattern light is drawn. From the light source of the pattern light projection means 21, light having a wavelength in the band of visible light to near infrared light is appropriately selected and output. As the image pickup means 22, a CCD camera or a CMOS camera compatible with high-speed shooting is used.
  • the static pattern shown in FIG. 3 is projected.
  • This pattern is a single color and includes sinusoidal vertical and horizontal curves arranged in a grid. Since the pattern is static, there is no need for synchronization, and no synchronization is required for shooting. Therefore, measurement at a very high frame rate is possible.
  • the three-dimensional shape restoration algorithm in this example is shown in FIG.
  • This algorithm is based on the inventions made by the inventors of the present invention (Japanese Patent Laid-Open No. 2009-300277, Japanese Patent Application No. 2011-157249 (Japanese Patent Laid-Open No. 2013-24608), Japanese Patent Application No. 2011-158175 (Japanese Patent Laid-Open No. 2013-24655). Issue gazette)).
  • line detection is first performed from the captured image.
  • BP Belief-Propagation
  • a monochromatic grid line is stably separated and detected vertically and horizontally.
  • the intersection is calculated from the detected vertical and horizontal lines, and a graph is created with the intersection as a node.
  • the position of the epipolar line corresponding to each node is calculated on the pattern light projection means 21 pattern, and if there is an intersection of grids on the line, this is determined as a corresponding candidate.
  • the optimum combination of the correspondence candidates at each point is obtained using BP. Since the restoration result is sparse as it is, the depth at each pixel is finally obtained by using interpolation and matching of the pattern and the observed image in units of pixels to obtain a dense three-dimensional shape.
  • the static pattern projected by the pattern light projection means 21 is not a pattern whose correspondence is uniquely determined by image processing, but uses a grid pattern composed of vertical and horizontal wavy lines in order to give information on the priority of correspondence. Since the wavy line pattern is a simple pattern, it can be easily detected as a curve in the image, and the position can be obtained with subpixel accuracy by calculating the peak of the luminance value.
  • a periodic sine wave pattern is used as the wavy line, but the wavy grid has information useful for detecting corresponding points.
  • the intersection of vertical and horizontal wavy lines is used as a feature point.
  • the arrangement of the intersection points is determined by the interval between the wavy lines and the wavelength.
  • wavy lines with a constant interval and wavelength are used, as described below, since the interval between the longitudinal wave lines is not an integer multiple of the wavelength of the transverse wave line, the pattern around the intersection has a locally unique pattern, and It can be used as a feature amount.
  • the local pattern around the intersection is not unique among all projection patterns.
  • 1 cm (a; b) is the least common multiple of a and b
  • the subscripts x and y represent values along the horizontal and vertical axes, respectively.
  • the local pattern is a pattern that can be identified in each cycle.
  • the corresponding point candidates are limited to points on the epipolar line.
  • the intersection of a certain pattern light projection means image and the epipolar line are located within an appropriate distance, the intersection of the pattern light projection means image is selected as one of the corresponding point candidates.
  • the number of candidates depends on the intersection position of the imaging means image. Since the corresponding point candidates are sparsely distributed in the pattern light projection means image, the number of corresponding candidates can be significantly reduced compared to normal stereo vision in which candidate points are searched for in pixel units.
  • the three-dimensional shape is restored from the wave line pattern image projected on the subject's chest wall by the above active stereo method, and the heartbeat waveform is calculated from the time change of the three-dimensional shape of the chest wall. Since it is intended for heart rate measurement, the imaging means 22 used for image acquisition is compatible with high-speed imaging. For the measurement of the heartbeat waveform, it is preferable that the imaging means 22 supports imaging at a frame rate of 60 FPS or higher. Here, it is assumed that the subject 24 is sitting on a chair with a backrest during image acquisition.
  • the reconstructed point cloud data has different distribution density depending on the location, and it is impossible to take exact correspondence between points between frames. Therefore, in the XYZ three-dimensional coordinate system in which the lens of the imaging means 22 is the origin and the depth direction is the Z axis, a two-dimensional lattice point is set on the XY plane, and the point group data is spatially resampled in a lattice shape to newly add a third order. Find original coordinates. Then, correlation between frames is performed at the same lattice point, and a heart rate waveform is calculated by calculating a change in depth between consecutive frames. That is, the heartbeat waveform corresponds to a change (speed) in distance between the chest and abdominal wall and the imaging means lens. Note that any interpolation method may be used for spatial resampling of the three-dimensional point cloud data. For example, a linear interpolation triangulation method with low calculation cost is used.
  • the calculated heartbeat waveform includes body movements of noise and respiratory components
  • only the heartbeat component is extracted by performing bandpass filter processing with a transmission band of 0.4 to 5 Hz, and the heartbeat waveform is calculated. Is called.
  • the subject (person) 24 is a healthy male (age 41 years old, height 1.71 m, weight 62 kg). Prior to the measurement, a measurement agreement is exchanged with the subject.
  • the subject's upper body is a white t-shirt.
  • the measurement time was 30 seconds, and after the start of measurement, breathing was stopped for about 10 seconds, and normal breathing was performed for the remaining time.
  • FIG. 5 is a wavy line pattern image of the chest wall acquired by the high speed imaging means.
  • Three-dimensional point cloud data is restored from the wavy pattern image using the restoration algorithm shown in the first embodiment, and the three-dimensional point cloud data is resampled in a grid pattern on the XY plane.
  • FIG. 6 is a three-dimensional view of the thoracoabdominal wall that is three-dimensionally restored from the resample point cloud data.
  • FIG. 7 (A) and FIG. 7 (B) show the original waveform and the waveform of the original waveform after the band-pass filter process for the time change of the three-dimensional coordinates of the points indicated by x in FIG.
  • the original waveform contains large high-frequency noise.
  • a periodic waveform is obtained as shown in FIG. It was.
  • FIG. 8 shows the measurement result of the heartbeat waveform using ECG. From FIG. 8, it was considered that the coordinate change of the point cloud appearing on the surface of the abdominal wall was sub-millimeter order in each frame from the amplitude of the waveform after filtering. Further, FIG. 8 shows that the appearance interval of the peak of the heartbeat waveform by the heartbeat measuring method of the present invention and the appearance interval of the peak (R wave) of the ECG waveform are substantially the same.
  • FIG. 9 is a Land-Altman diagram summarizing the appearance intervals of peaks in each method.
  • FIG. 9 reveals that there is sufficient coincidence between the peak appearance intervals of both methods, and it was proved that the heart rate can be calculated by the heart rate measuring method of the present invention.
  • FIG. 10 shows the spatial distribution of the temporal change (change amount between frames) of the three-dimensional shape of the thoracoabdominal wall at the grid points of spatial resampling changed to color information (here, grayscale), and the restored chest wall portion It is expressed overlaid on a three-dimensional shape.
  • FIG. 10 shows that the heartbeat appears on the left side of the chest wall where the heart exists. By visualizing a slight change in the body surface due to the heartbeat in this way, it is possible to visually recognize the heartbeat dynamics appearing on the surface of the abdominal chest wall.
  • the phase of the heart rate frequency component was set and examined.
  • FIG. 12 is a time change of the three-dimensional coordinates at the sample points D1, D2, D3, D4, D5, and D6. From FIG. 12, it can be seen that there is a phase delay in the upper sample points such as D3, D4, D5, and D6 compared to the lower sample points such as D1 and D2.
  • FIG. 13 is a phase map shown as a contour diagram in which the phase difference at each sample point is obtained so that the phase at the sample point A1 becomes a reference (zero). It is clear that there is a phase lag from below to above, indicating a change in the chest wall that accompanies the mechanical function of the heart (constriction and expansion mode). It is known that the heart contraction and dilation mode shows various dynamics depending on the heart disease. Therefore, by using the heart rate measurement method of the present invention to present a phase map of chest wall fluctuation, It can be used for understanding.
  • the three-dimensional shape reconstruction of the chest and abdomen obtained by projecting the sine wave pattern is performed.
  • the projected pattern is not limited to the sine wave pattern.
  • it may be a dot matrix pattern in which point groups are periodically arranged.
  • FIG. 14 is an image of the chest and abdomen projected with the dot matrix pattern.
  • FIG. 15 is a time change of the three-dimensional coordinates calculated from the three-dimensional shape of the chest and abdomen restored by the dot matrix pattern projection.
  • simultaneous measurement with an electrocardiogram is performed. From FIG. 15, it can be seen that the time change of the three-dimensional coordinates obtained by the dot matrix pattern projection changes in the same period as the electrocardiogram waveform, similarly to the wave line pattern projection of the second embodiment.
  • heartbeat measuring method and heartbeat measuring device of the present invention non-contact measurement of a heartbeat waveform can be easily realized with an inexpensive device configuration. For example, a heartbeat interval can be easily measured. Application as a device can be expected.
  • heart rate dynamics can be visualized by the heart rate measurement method and heart rate measurement device, screening for heart disease that has been performed based on information such as heart rate pattern and dynamic area by palpation and auscultation until now, May be implemented using vision.
  • the present invention can be practically used as a new biological measurement technique in the medical field and can be expected to contribute to the development of medical technology.
  • Pattern light projection means 22 Imaging means 23 Pattern light 24 Subject 25 Computing device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　心拍計測方法は、胸部の三次元形状変化を取得することで非接触で人の心拍を計測する心拍計測方法である。心拍計測方法は、人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する第１のステップと、三次元座標点群データを構成する各点における三次元座標の時間変化を第１の時系列データとして算出する第２のステップと、第１の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍による三次元座標の時間変化を第２の時系列データとして算出する第３のステップと、を有する。

Description

心拍計測方法および装置
　本発明は、心拍を非接触で計測する心拍計測方法および装置に関するものである。
　従来、バイタルサインのひとつである心拍の計測は、ＥＣＧ（ｅｌｃｔｒｏｃａｒｄｉｏｇｒａｍ、心電図計）を用いて行われるのが一般的である。最近では、ＥＣＧのような接触計測手段を用いずに、非接触計測手段を用いる手法が提案されている。例えば、Ｇａｒｂｅｙらは熱画像を応用した手法（非特許文献１）を、Ｎａｇａｅらはマイクロ波を応用した手法（非特許文献２）をそれぞれ提案している。これらの非接触計測手法は被験者の負担や拘束感を減ずる効果があるものと考えられる。
　他にも、ＰｏｈらはＷｅｂ撮像手段を用いてカラー顔画像から心拍数を計測する手法について提案しており、安価なデバイスでの心拍計測を実現している（非特許文献３）。
Ｇａｒｂｅｙ，Ｍ．；Ｎａｎｆｅｉ　Ｓ．；　Ｍｅｒｌａ，Ａ．；　Ｐａｖｌｉｄｉｓ，Ｉ．：　"Ｃｏｎｔａｃｔ－Ｆｒｅｅ　Ｍｅａｓｕｒｅｍｅｎｔ　ｏｆ　Ｃａｒｄｉａｃ　Ｐｕｌｓｅ　Ｂａｓｅｄ　ｏｎ　ｔｈｅ　Ａｎａｌｙｓｉｓ　ｏｆ　Ｔｈｅｒｍａｌ　Ｉｍａｇｅｒｙ，"　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ＢＭＥ，Ｖｏｌ．５４，Ｎｏ．８，ｐｐ．１４１８－１４２６，２００７ Ｎａｇａｅ，Ｄ．；Ｍａｓｅ，Ａ．：　"Ｍｅａｓｕｒｅｍｅｎｔ　ｏｆ　ｖｉｔａｌ　ｓｉｇｎａｌ　ｂｙ　ｍｉｃｒｏｗａｖｅ　ｒｅｆｌｅｃｔｏｍｅｔｒｙ　ａｎｄ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｓｔｒｅｓｓ　ｅｖａｌｕａｔｉｏｎ，"　ＡＰＭＣ　２００９．　Ａｓｉａ　Ｐａｃｉｆｉｃ，ｐｐ．４７７－４８０，２００９ Ｐｏｈ，Ｍ．；　ＭｃＤｕｆｆ，Ｄ．Ｊ．；　Ｐｉｃａｒｄ，Ｒ．Ｗ．：　"Ａｄｖａｎｃｅｍｅｎｔｓ　ｉｎ　Ｎｏｎｃｏｎｔａｃｔ，Ｍｕｌｔｉｐａｒａｍｅｔｅｒ　Ｐｈｙｓｉｏｌｏｇｉｃａｌ　Ｍｅａｓｕｒｅｍｅｎｔｓ　Ｕｓｉｎｇ　ａ　Ｗｅｂｃａｍ，"　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ＢＭＥ，Ｖｏｌ．５８，Ｎｏ．１，ｐｐ．７－１１，２０１１
　非特許文献１、２の手法は、高価な計測機器を必要とする。また、非特許文献３の手法は、安価なカラー撮像手段を用いることから照明変動に対するロバスト性が低く、定量的な心拍波形計測の実現は難しい。
　本発明が解決しようとする課題は、安価な装置構成で簡便に心拍波形の非接触計測を実現することである。
　本発明に係る心拍計測方法は、
　人の胸部の三次元形状変化を取得することで非接触でその心拍を計測する心拍計測方法であって、
　前記人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する第１のステップと、
　該第１のステップで取得された三次元座標点群データを構成する各点における三次元座標の時間変化を第１の時系列データとして算出する第２のステップと、
　前記第１の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍による三次元座標の時間変化を第２の時系列データとして算出する第３のステップと、
　を有することを特徴とする。
　また、前記第１のステップでは、パターン光が投影された人の胸腹壁表面を撮像した画像から前記三次元座標点群データを取得することが望ましい。
　また、前記第２のステップでは、胸腹壁表面を撮像する撮像手段のレンズと胸腹壁との距離変化を前記第１の時系列データとして算出することが望ましい。
　また、前記第２の時系列データを、その大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化するステップを有してもよい。
　また、胸腹部に対応させた複数の区画についてそれぞれ前記第２の時系列データを算出し、所定の基準区画の心拍周波数成分に対して他の区画の心拍周波数成分の位相差を算出するステップを有してもよい。
　本発明に係る心拍計測装置は、
　人の胸部の三次元形状変化を取得することで非接触でその心拍を計測する心拍計測装置であって、
　前記人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する点群データ取得手段と、
　該点群データ取得手段で取得された前記三次元座標点群データを構成する各点における三次元座標の時間変化を第１の時系列データとして算出する点群座標時間変化算出手段と、
　前記第１の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍に起因する各点における三次元座標の時間変化を前記第２の時系列データとして算出する心拍起因点群座標時間変化算出手段と、
　を備えることを特徴とする。
　また、胸腹部表面にパターン光を投影するパターン光投影手段と、
　パターン光が投影された人の胸腹部表面を撮像する撮像手段と、を備え、
　前記点群データ取得手段は前記撮像手段で撮像された画像から前記三次元座標点群データを取得することが望ましい。
　また、前記点群座標時間変化算出手段が、前記撮像手段のレンズと胸腹壁との距離変化を前記第１の時系列データとして算出することが望ましい。
　また、前記第２の時系列データを、時間変化量の大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化する動態可視化手段を有してもよい。
　また、胸腹部に対応させた複数の区画についてそれぞれ前記第２の時系列データを算出し、所定の基準区画の心拍周波数成分に対して他の区画の心拍周波数成分の位相差を算出する位相差算出手段を有してもよい。
　本発明に係る心拍計測方法及び心拍計測装置では、安価な装置構成で簡便に心拍波形の非接触計測が実現できる。
図１は本発明の心拍計測方法について示した流れ図である。 図２（Ａ）は本発明の胸腹壁の三次元取得について示した説明図、図２（Ｂ）は演算装置の構成図である。（実施例１） 図３（Ａ）は投影される静的パターン、図３（Ｂ）は静的パターンの寸法について示した説明図である。（実施例１） 図４は三次元形状復元アルゴリズムについて示した流れ図である。（実施例１） 図５は胸腹壁に投影された波線パターン画像を示した図面代用写真である。（実施例１） 図６は三次元形状復元された胸腹壁の立体図を示した図面代用写真である。（実施例１） 図７（Ａ）は胸腹壁上の点における三次元座標の時間変化の原波形、図７（Ｂ）は原波形のバンドパスフィルタ－処理後の波形を示したグラフである。（実施例２） 図８はＥＣＧとの同時計測結果について示したグラフである。（実施例２） 図９はＥＣＧとの一致性について示したグラフである。（実施例２） 図１０は胸腹壁三次元形状の時間変化の空間分布を示した図面代用写真である。（実施例２） 図１１は胸腹壁上に設定されたサンプルポイントについて説明した図面代用写真である。（実施例３） 図１２はサンプルポイントＤ１～Ｄ６における三次元座標の時間変化について示したグラフである。（実施例３） 図１３は胸腹壁上に設定されたサンプルポイントにおける心拍周波数成分の位相差について示した図面代用写真である。（実施例３） 図１４は胸腹壁に投影された波線パターン画像を示した図面代用写真である。（実施例４） 図１５はＥＣＧとの同時計測結果について示したグラフである。（実施例４）
　本実施の形態に係る心拍計測方法は、胸腹壁表面の三次元形状変化を取得することで、非接触で人の心拍を計測するものであり、図１に示す３つのステップを有する。
　まず、第１のステップにおいては、アクティブステレオ法を用いることで、人の胸腹壁表面の三次元形状が三次元座標点群データとして取得される。後述するように、三次元座標点群データは、パターン光が投影された人の胸腹壁表面を撮像した画像から取得される。
　次に、第２のステップにおいては、第１のステップで取得された三次元座標点群データを構成する各点における三次元座標について時間変化を算出し、第１の時系列データを取得する。後述するように、第１の時系列データは、胸腹壁表面を撮像する撮影手段のレンズと胸腹壁との距離変化として算出される。
　続く第３のステップにおいては、第１の時系列データに対してバンドパスフィルター処理が施され、心拍の周波数帯の成分が抽出される。これにより、各点における心拍による三次元座標の時間変化が第２の時系列データとして算出される。
　さらに、本実施の形態に係る心拍計測方法は、第３のステップに続くステップとして、第３のステップで算出された各点における心拍による三次元座標の時間変化が、その大きさに応じて色彩情報に変換される。そして、各点の三次元座標に当該色彩情報が映像として表示されることで、心拍による胸腹壁表面の動態の可視化がなされる。
　さらに、後述するように、胸腹部に対応させた複数の区画について、第２の時系列データを算出し、所定の基準区画の心拍周波数成分に対する他の区画の心拍周波数成分の位相差を算出するステップを備えた形態でもよい。
　上記の心拍計測方法は、以下の心拍計測装置を用いて実現され得る。心拍計測装置は、胸腹壁表面の三次元形状変化を取得することで非接触で心拍を計測するものであり、以下に説明する点群データ取得手段、点群座標時間変化算出手段、および、心拍起因点群座標時間変化算出手段から構成される。
　点群データ取得手段においては、アクティブステレオ法を用いることで、人の胸腹壁表面の三次元形状が三次元座標点群データとして取得される。
　点群座標時間変化算出手段においては、三次元座標点群データで取得された三次元座標点群データを構成する各点における三次元座標について時間変化を算出し、その時系列データ（第１の時系列データ）を取得する。
　心拍起因点群座標時間変化算出手段においては、第１の時系列データに対してバンドパスフィルター処理が施され、心拍の周波数帯の成分が抽出される。これにより、心拍以外の体動、すなわち呼吸や痙攣微動などに起因する信号成分が除去され、各点における心拍による三次元座標の時間変化が第２の時系列データとして算出される。
　さらに、心拍計測装置は、前記の構成に加えて、心拍起因点群座標時間変化算出手段で算出された各点における心拍による三次元座標の時間変化を、その大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示するための動態可視化手段を備えてもよい。これにより、心拍による胸腹壁表面の動態の可視化を行うことができる。
　さらに、心拍計測装置は、胸腹部に対応させた複数の区画について、第２の時系列データを算出し、所定の基準区画の心拍周波数成分に対する他の区画の心拍周波数成分の位相差を算出する位相差算出手段を備えた形態であってもよい。
　なお、点群データ取得手段、点群座標時間変化算出手段、心拍起因点群座標時間変化算出手段、動態可視化手段および位相差算出手段は、それぞれ点群データ取得部、点群座標時間変化算出部、心拍起因点群座標時間変化算出部、動態可視化部および位相差算出部として演算装置に組み込まれて処理するよう構成されていればよい。また、心拍計測装置は、上記のそれぞれの手段により算出されるデータ等をモニタ等へ出力する出力部を有する。
　以下、実施例に基づき、心拍計測装置を用いた心拍計測方法について詳述する。本実施例においては、アクティブステレオ法を用いて人の胸腹壁の三次元形状の取得が行われる。心拍計測装置は、図２（Ａ）に示すように、パターン光投影手段２１、撮像手段２２、演算装置２５から構成される。演算装置２５は、図２（Ｂ）に示すように、点群データ取得部、点群座標時間変化算出部、心拍起因点群座標時間変化算出部を有する。パターン光投影手段２１からパターン光２３が被験者（人）２４の胸腹壁に投影され、撮像手段２２によって撮影される。
　パターン光投影手段２１は、液晶プロジェクタを用いるのが好適であるが、透過型回折格子とレーザー光源との組み合わせによるパターンプロジェクタを用いてもよい。また、パターン光の模様が描かれたネガフィルムにハロゲン光、ＬＥＤ光、レーザー光を透過させ、パターン光を投影してもよい。パターン光投影手段２１の光源からは、可視光～近赤外光の帯域の波長を持つ光が適宜選択され出力される。撮像手段２２には、ハイスピード撮影に対応したＣＣＤカメラ、ＣＭＯＳカメラが用いられる。
　この実施例においては、図３に示す静的パターンを投影する。このパターンは、単色で、正弦波形状の縦横の曲線をグリッド状に配置したものである。パターンは静的であるため同期の必要が無く、撮影に同期は必要ない。そのため、非常に高いフレームレートでの計測が可能である。
　本実施例における三次元形状復元アルゴリズムを図４に示す。このアルゴリズムは、本発明の発明者等によって行われた発明（特開２００９－３００２７７号公報、特願２０１１－１５７２４９（特開２０１３－２４６０８号公報）、特願２０１１－１５８１７５（特開２０１３－２４６５５号公報））に基づくものである。
　復元アルゴリズムにおいては、まず撮影した画像から線検出を行う。Ｂｅｌｉｅｆ－Ｐｒｏｐａｇａｔｉｏｎ（ＢＰ）による最適化により、単色のグリッド状の線を、縦と横に安定して分離して検出する。検出された縦横の線から交点を算出し、交点をノードとしたグラフを作る。次に各ノードに対応するエピポーラ線の位置をパターン光投影手段２１パターン上で計算し、そのライン上にグリッドの交点がある場合、これを対応候補とする。この時、通常は複数の対応候補が見つかるので、ＢＰを利用して各点における対応候補の最適な組み合わせを求める。このままでは復元結果は疎であるので、最後に、各画素での深さを、補間およびパターンと観測画像の画素単位のマッチングを利用して求めることで、密な三次元形状を得る。
　パターン光投影手段２１により投影される静的パターンは、画像処理によって一意に対応が決まるパターンではなく、対応の優先順位に関する情報を与えるために、縦、横の波線からなるグリッドパターンを用いる。波線パターンは単純なパターンであるため、画像中での曲線として検出しやすく、輝度値のピークを計算することにより、その位置をサブピクセル精度で得ることができる。
　波線として周期的な正弦波パターンを用いるが、波線グリッドは対応点検出に有効な情報を持つ。本発明の心拍計測方法では縦、横の波線の交点を特徴点として用いる。交点の配置は、波線の間隔と波長で決定される。一定の間隔と波長を持つ波線を用いるが、下記に述べるように、縦波線の間隔が横波線の波長の整数倍でないため、交点まわりのパターンが局所的に固有なパターンを持ち、対応付けのための特徴量として用いることができる。
　交点周囲の局所的パターンは、投影パターン全体の中で一意性を持つものではない。図３（Ｂ）において、Ｓｘ、Ｓｙを隣接する波線の間隔、Ｗｘ、Ｗｙを波長とすると、Ｎｘ＝ｌｃｍ（Ｓｘ；Ｗｘ）＝Ｓｘ；Ｎｙ＝ｌｃｍ（Ｓｙ；Ｗｙ）＝Ｓｙを用いて、同一パターンが、横、縦軸に沿ってそれぞれＮｘ、Ｎｙ本の波線ごとに起こる。ここで１ｃｍ（ａ；ｂ）はａとｂの最小公倍数であり、添字ｘ、ｙはそれぞれ横、縦軸に沿った値を表すものとする。しかしながら、局所パターンは、各サイクルにおいて識別可能なパターンである。図３（Ｂ）は、Ｓｘ＝１０；Ｓｙ＝１１；Ｗｘ＝Ｗｙ＝１４；Ａｘ＝Ａｙ＝１（単位は画素）からなるパターンの例である。この例では、１周期は縦線７本、横線１４本となる。よって、９８(＝７×１４)種類の交点が１周期で構成される矩形の中に存在することとなる。
　ステレオマッチングでは、対応点候補はエピポーラ線上の点に限られている。あるパターン光投影手段画像の交点とエピポーラ線が適当な距離以内に位置している場合、そのパターン光投影手段画像の交点は対応点候補の１つとして選択される。候補の数は、撮像手段画像の交点位置に依存する。対応点候補は、パターン光投影手段画像において疎に分布するため、画素単位で候補点を探索する通常のステレオ視と比べて、対応候補の数を大幅に少なくすることができる。
　前記のアクティブステレオ法により、被験者の胸壁に投影された波線パターン画像から三次元形状復元を行い、胸壁の三次元形状の時間変化から心拍波形を算出する。心拍計測を目的としていることから、画像取得に用いられる撮像手段２２はハイスピード撮影に対応しているものが用いられる。心拍波形の計測には、撮像手段２２が６０ＦＰＳ以上のフレームレートでの撮影に対応していることが好ましい。ここで、画像取得中、被験者２４は背もたれ付きの椅子に着座しているものとする。
　復元された点群データは、分布密度が場所により異なり、またフレーム間での点同士の対応を厳密に取ることは不可能である。そこで、撮像手段２２のレンズを原点とし深度方向をＺ軸としたＸＹＺ三次元座標系において、ＸＹ平面に２次元格子点を設定し、点群データを格子状に空間リサンプリングして新たに三次元座標を求める。そして、同じ格子点でフレーム間の対応付けを行い、連続するフレーム間での深度変化を算出することで心拍波形を算出する。つまり、心拍波形は胸腹壁と撮像手段レンズ間の距離変化（速度）に対応する。なお、三次元点群データの空間リサンプリングに用いられる補間法はどのようなものであってもよいが、例えば、計算コストが低い線形補間三角網法を用いる。
　算出される心拍波形には、雑音や呼吸成分の体動が含まれるため、透過帯域０．４～５Ｈｚのバンドパスフィルター処理を行うことで、心拍成分のみを抽出し、心拍波形の算出が行われる。
　本発明の心拍計測方法および心拍計測装置の妥当性を検証するために、試作システムによる実測を行った。試作システムにおいては、ハイスピード対応の撮像手段２２として、ＥＰＩＸ社製ＳＩＬＩＣＯＮ　ＶＩＤＥＯ（Ｒ）ｍｏｎｏｃｈｒｏｍｅ６４３Ｍを用いた。６４３Ｍにおいては、ＶＧＡ画像を最大フレームレート２１１ＦＰＳで撮影することが可能である。ここでは、１００ＦＰＳでの画像取得を行うこととした。撮像手段レンズの焦点距離は８ｍｍであった。また、波線パターンを投影するためのパターン光投影手段２１として、エプソン社製液晶パターン光投影手段ＥＢ－１７５０を用いた。パターン光投影手段レンズと撮像手段レンズとの間隔は６００ｍｍに設定した。
　ここで、被験者（人）２４は健常者男性（年齢４１歳、身長１．７１ｍ、体重６２ｋｇ）である。なお、計測に先立ち、被験者とは計測同意書を取り交わしている。被験者の上半身の着衣は白色のティーシャツである。計測時間は３０秒間であり、計測開始後、約１０秒間は呼吸を停止し、残りの時間は通常の呼吸を行うこととした。
　以下に、計測結果について示す。図５は、ハイスピード撮像手段で取得された胸壁の波線パターン画像である。この波線パターン画像を実施例１に示した復元アルゴリズムを用いて三次元点群データを復元し、さらに、三次元点群データをＸＹ平面において格子状にリサンプリングする。図６は、リサンプル点群データから三次元形状復元された胸腹壁の立体図である。
　図６中に×印で示した点の三次元座標の時間変化について、原波形と原波形のバンドパスフィルター処理後の波形を、図７（Ａ）、図７（Ｂ）にそれぞれ示す。図７（Ａ）において、原波形には大きな高周波ノイズが含まれている。一方、心拍の主要信号成分が含まれる０．４～５Ｈｚの周波数成分のみを高速フーリエ変換を用いたバンドパスフィルター処理により抽出した結果、図７（Ｂ）に示すように周期的な波形が得られた。
　さらに、ＥＣＧとの同時計測により、算出される心拍波形の妥当性について検討した。用いたＥＣＧはＬＯＧＩＣＡＬ　ＰＲＯＤＵＣＴ社製コンパクトワイヤレスＥＣＧロガーである。ＥＣＧ電極は被験者の左胸部下に設置した。ＥＣＧを用いた心拍波形の計測結果を図８に示す。図８より、フィルタ処理後の波形の振幅より、腹壁の表面に現れる点群の座標変化は毎フレームでサブミリオーダーであると考えられた。また、図８より、本発明の心拍計測方法による心拍波形のピークの出現間隔とＥＣＧ波形のピーク（Ｒ波）の出現間隔がほぼ一致していることがわかる。
　図９は、それぞれの手法におけるピークの出現間隔についてまとめたＢｌａｎｄ－Ａｌｔｍａｎ図である。図９より、両手法のピーク出現間隔には十分な一致性が存在することが明らかとなり、本発明の心拍計測方法により心拍を算出できることが立証された。
　図１０は、空間リサンプリングの格子点における胸腹壁の三次元形状の時間変化（フレーム間の変化量）の空間分布を色彩情報（ここではグレースケール）に変化して、復元された胸壁部の三次元形状の上に重ねて表現したものである。図１０より心拍は、心臓が存在する胸壁の左側に出現していることがわかる。このように心拍による僅かな体表の変化を可視化することで、腹胸壁表面に現れる心拍動態の視認が可能となる。
　実施例２において復元された胸腹部の三次元形状の表面において、図１１に示すような格子状のサンプルポイントＡ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６を設定し、心拍周波数成分の位相について調べた。
　図１２は、サンプルポイントＤ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６における三次元座標の時間変化である。図１２より、Ｄ１やＤ２のように下方にあるサンプルポイントと比較してＤ３、Ｄ４、Ｄ５、Ｄ６のような上方にあるサンプルポイントの方に位相の遅れが生じていることがわかる。
　図１３は、サンプルポイントＡ１における位相を基準（ゼロ）となるように、各サンプルポイントにおける位相差を求めたコンター図として示した位相マップである。下方から上方に位相の遅れが生じていることが明らかであり、これは心臓の機械機能（収縮拡張様式）に伴う胸壁の変化を示している。心臓の収縮拡張様式は、心臓疾患によって多様な動態を示すことが知られていることから、本発明の心拍計測方法を用い胸壁変動の位相マップを提示することで、心臓疾患のスクリーニングや病状の把握に役立てることが可能である。
　以上の実施例においては、正弦波パターンを投影することによって得られた胸部・腹部の三次元形状復元を行なっているが、本発明においては投影されるパターンは正弦波パターンに限定されるものではなく、例えば、点群が周期的に配列されてなるドットマトリックスパターンであってもよい。図１４は、ドットマトリックスパターンが投影された胸部・腹部を撮影した画像である。
　図１５は、ドットマトリックスパターン投影により復元された胸部・腹部の三次元形状から算出された三次元座標の時間変化である。本実施例においては、心電図と同時計測を行なっている。図１５より、実施例２の波線パターン投影と同様に、ドットマトリックスパターン投影によって得られる三次元座標の時間変化は、心電図波形とは同周期で変化していることがわかる。
　なお、本発明は、本発明の範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
　本出願は、２０１２年７月２４日に出願された日本国特許出願２０１２－１６３７９６号に基づく。本明細書中に、日本国特許出願２０１２－１６３７９６号の明細書、特許請求の範囲全体を参照として取り込むものとする。
　本発明の心拍計測方法および心拍計測装置により、安価な装置構成で簡便に心拍波形の非接触計測を実現でき、例えば、心拍間隔の計測を簡便に実施可能であることから、手軽な自律神経検査装置としての応用が期待できる。また、心拍計測方法および心拍計測装置により心拍動態の可視化が可能となることから、これまで触診や聴診で心拍パターンや動態面積と言った情報をもとに行われてきた心疾患のスクリーニングを、視覚を用いて実施できる可能性がある。このように、本発明は、医療分野で新たな生体計測手法として実用可能であり、医療技術の発展に寄与するものと期待できる。
　２１　　パターン光投影手段
　２２　　撮像手段
　２３　　パターン光
　２４　　被験者
　２５　　演算装置

Claims (10)

  1. 　人の胸部の三次元形状変化を取得することで非接触でその心拍を計測する心拍計測方法であって、
    　前記人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する第１のステップと、
    　該第１のステップで取得された三次元座標点群データを構成する各点における三次元座標の時間変化を第１の時系列データとして算出する第２のステップと、
    　前記第１の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍による三次元座標の時間変化を第２の時系列データとして算出する第３のステップと、
    　を有することを特徴とする心拍計測方法。
  2. 　前記第１のステップでは、パターン光が投影された胸腹壁表面を撮像した画像から前記三次元座標点群データを取得することを特徴とする請求項１に記載の心拍計測方法。
  3. 　前記第２のステップでは、胸腹壁表面を撮像する撮像手段のレンズと胸腹壁との距離変化を前記第１の時系列データとして算出することを特徴とする請求項２に記載の心拍計測方法。
  4. 　前記第２の時系列データを、時間変化量の大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化するステップを有することを特徴とする請求項１乃至３のいずれか一項に記載の心拍計測方法。
  5. 　胸腹部に対応させた複数の区画についてそれぞれ前記第２の時系列データを算出し、所定の基準区画の心拍周波数成分に対して他の区画の心拍周波数成分の位相差を算出するステップを有する、ことを特徴とする請求項１乃至３のいずれか一項に記載の心拍計測方法。
  6. 　人の胸部の三次元形状変化を取得することで非接触でその心拍を計測する心拍計測装置であって、
    　前記人の胸腹壁表面の三次元形状を三次元座標点群データとして取得する点群データ取得手段と、
    　該点群データ取得手段で取得された前記三次元座標点群データを構成する各点における三次元座標の時間変化を第１の時系列データとして算出する点群座標時間変化算出手段と、
    　前記第１の時系列データに対するバンドパスフィルター処理により、心拍の周波数帯の成分を抽出することで、心拍に起因する各点における三次元座標の時間変化を第２の時系列データとして算出する心拍起因点群座標時間変化算出手段と、
    　を備えることを特徴とする心拍計測装置。
  7. 　胸腹部表面にパターン光を投影するパターン光投影手段と、
    　パターン光が投影された人の胸腹部表面を撮像する撮像手段と、を備え、
    　前記点群データ取得手段は前記撮像手段で撮像された画像から前記三次元座標点群データを取得することを特徴とする請求項６に記載の心拍計測装置。
  8. 　前記点群座標時間変化算出手段が、前記撮像手段のレンズと胸腹壁との距離変化を前記第１の時系列データとして算出することを特徴とする請求項７に記載の心拍計測装置。
  9. 　前記第２の時系列データを、時間変化量の大きさに応じて色彩情報に変換し、各点の三次元座標に当該色彩情報を映像として表示することで、心拍による胸腹壁表面の動態を可視化する動態可視化手段を有することを特徴とする請求項６乃至８のいずれか一項に記載の心拍計測装置。
  10. 　胸腹部に対応させた複数の区画についてそれぞれ前記第２の時系列データを算出し、所定の基準区画の心拍周波数成分に対して他の区画の心拍周波数成分の位相差を算出する位相差算出手段を有すことを特徴とする請求項６乃至８のいずれか一項に記載の心拍計測装置。
PCT/JP2013/070119 2012-07-24 2013-07-24 心拍計測方法および装置 WO2014017566A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014526985A JP6150231B2 (ja) 2012-07-24 2013-07-24 心拍計測方法および装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012163796 2012-07-24
JP2012-163796 2012-07-24

Publications (1)

Publication Number Publication Date
WO2014017566A1 true WO2014017566A1 (ja) 2014-01-30

Family

ID=49997375

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/070119 WO2014017566A1 (ja) 2012-07-24 2013-07-24 心拍計測方法および装置

Country Status (2)

Country Link
JP (1) JP6150231B2 (ja)
WO (1) WO2014017566A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147678A1 (ja) * 2015-03-13 2016-09-22 ノーリツプレシジョン株式会社 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JPWO2016024476A1 (ja) * 2014-08-15 2017-04-27 株式会社村田製作所 生体情報センサ
JP2017217215A (ja) * 2016-06-07 2017-12-14 公立大学法人広島市立大学 ３次元形状計測装置及び３次元形状計測方法
JP2018008039A (ja) * 2016-06-30 2018-01-18 パナソニックＩｐマネジメント株式会社 生体情報検出装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63281627A (ja) * 1987-05-14 1988-11-18 Goro Matsumoto 非接触式体表面変位検出装置
JP2005003367A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63281627A (ja) * 1987-05-14 1988-11-18 Goro Matsumoto 非接触式体表面変位検出装置
JP2005003367A (ja) * 2003-06-09 2005-01-06 Sumitomo Osaka Cement Co Ltd 三次元形状測定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIROOKI AOKI ET AL.: "Active Stereo Gazo Sensor o Mochiita Hakudo Hakei Kenshutsu no Teian", HEISEI 24 NEN PROCEEDINGS OF THE ELECTRONICS, INFORMATION AND SYSTEMS CONFERENCE, GS4-7, THE ELECTRONICS, INFORMATION AND SYSTEMS CONFERENCE IINKAI, 5 September 2012 (2012-09-05), pages 1419 - 1423 *
HIROOKI AOKI ET AL.: "Sekigai Pattern Hikari Toei o Mochiita Shinzo Hakudo no Hi Sesshoku Keisoku Hoho", VIEW VISION ENGINEERING WORKSHOP KOEN RONBUNSHU, IS1-D6, August 2012 (2012-08-01) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016024476A1 (ja) * 2014-08-15 2017-04-27 株式会社村田製作所 生体情報センサ
WO2016147678A1 (ja) * 2015-03-13 2016-09-22 ノーリツプレシジョン株式会社 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JPWO2016147678A1 (ja) * 2015-03-13 2017-12-28 ノーリツプレシジョン株式会社 バイタルサイン測定装置、バイタルサイン測定方法、及び、バイタルサイン測定プログラム
JP2017217215A (ja) * 2016-06-07 2017-12-14 公立大学法人広島市立大学 ３次元形状計測装置及び３次元形状計測方法
JP2018008039A (ja) * 2016-06-30 2018-01-18 パナソニックＩｐマネジメント株式会社 生体情報検出装置
JP7203314B2 (ja) 2016-06-30 2023-01-13 パナソニックＩｐマネジメント株式会社 生体情報検出装置
US11730383B2 (en) 2016-06-30 2023-08-22 Panasonic Intellectual Property Management Co., Ltd. Method and system using biological information detection device using second light from target onto which dots formed by first light are projected to detect status of living body

Also Published As

Publication number Publication date
JP6150231B2 (ja) 2017-06-28
JPWO2014017566A1 (ja) 2016-07-11

Similar Documents

Publication Publication Date Title
TWI589271B (zh) 呼吸運動測定裝置
US11331039B2 (en) Spinal-column arrangement estimation-apparatus, spinal-column arrangement estimation method, and spinal-column arrangement estimation program
CN102301202B (zh) 用于监测物体的方法和设备
US9226691B2 (en) Processing a video for tidal chest volume estimation
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
CN102018527B (zh) 脊柱三维动态测量分析***及方法
CN107481228A (zh) 基于计算机视觉的人体背部脊柱侧弯角度测量方法
JP6150231B2 (ja) 心拍計測方法および装置
Ares et al. 3D scanning system for in-vivo imaging of human body
JP2012513883A (ja) 動き補償に基づくｃｔ機器及び方法
Vafadar et al. A novel dataset and deep learning-based approach for marker-less motion capture during gait
CN104732586B (zh) 一种三维人体动态形体和三维运动光流快速重建方法
KR101383797B1 (ko) 3차원 디스플레이 장치에서 사용자의 입체 시력을 측정하기 위한 시스템 및 그 방법
KR101508178B1 (ko) 척추 측만증 분석시스템 및 분석방법
Aoki et al. Study on non-contact heart beat measurement method by using depth sensor
KR20130083416A (ko) 부피 측정이 가능한 의료용 체중계
US20220378321A1 (en) Methods and systems for assessing severity of respiratory distress of a patient
JP2015136480A (ja) ３次元医用画像表示制御装置およびその作動方法並びに３次元医用画像表示制御プログラム
JP6356528B2 (ja) 超音波診断装置
de Souza et al. Generation of 3D thermal models for dentistry applications
Shannon Dynamic surface topography and its application to the evaluation of adolescent idiopathic scoliosis
CN113576449A (zh) 一种红外动态高分辨的非接触式呼吸测量***
Sitnik et al. 4D scanning system for measurement of human body in motion
Munkelt et al. Irritation-free optical 3D-based measurement of tidal volume
Galantucci et al. Low cost 3D face scanning based on landmarks and photogrammetry: a new tool for a surface diagnosis in orthodontics

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13823397

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2014526985

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13823397

Country of ref document: EP

Kind code of ref document: A1