JP6683367B2 - 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム - Google Patents

生体情報計測装置、生体情報計測方法及び生体情報計測プログラム Download PDF

Info

Publication number
JP6683367B2
JP6683367B2 JP2016032467A JP2016032467A JP6683367B2 JP 6683367 B2 JP6683367 B2 JP 6683367B2 JP 2016032467 A JP2016032467 A JP 2016032467A JP 2016032467 A JP2016032467 A JP 2016032467A JP 6683367 B2 JP6683367 B2 JP 6683367B2
Authority
JP
Japan
Prior art keywords
pulse wave
blood pressure
subject
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016032467A
Other languages
English (en)
Other versions
JP2016190022A5 (ja
JP2016190022A (ja
Inventor
吉澤　誠
誠 吉澤
典大 杉田
典大 杉田
阿部　誠
阿部　　誠
山家　智之
智之 山家
経康 本間
経康 本間
一誠 小原
一誠 小原
田中　明
明 田中
友希 堀畑
友希 堀畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Original Assignee
Tohoku University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC filed Critical Tohoku University NUC
Priority to PCT/JP2016/059253 priority Critical patent/WO2016158624A1/ja
Publication of JP2016190022A publication Critical patent/JP2016190022A/ja
Priority to US15/720,863 priority patent/US11445921B2/en
Publication of JP2016190022A5 publication Critical patent/JP2016190022A5/ja
Application granted granted Critical
Publication of JP6683367B2 publication Critical patent/JP6683367B2/ja
Priority to US17/884,657 priority patent/US20220395186A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A61B5/02125—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics of pulse wave propagation time
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4029—Detecting, measuring or recording for evaluating the nervous system for evaluating the peripheral nervous systems
    • A61B5/4035—Evaluating the autonomic nervous system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0252—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using ambient temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029—Humidity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/486—Bio-feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Anesthesiology (AREA)
  • Pain & Pain Management (AREA)
  • Acoustics & Sound (AREA)
  • Psychology (AREA)
  • Hematology (AREA)

Description

本発明の実施形態は、生体情報計測装置、生体情報計測方法及び生体情報計測プログラムに関する。
近年、食生活や生活習慣が原因で起こる生活習慣病の罹患率の増加に伴って、発病してから対処するのではなく、病気になる前の段階からそれを察知し、早めに対処しようとする「健康モニタリング」の需要が高まっている。すなわち、このような「健康モニタリング」により、医療機関で検査してから診断を受けるだけではなく、日常的な生活において健康状態の異常を察知し、早期治療への橋渡しが行える環境を構築することが求められている。
このようなニーズに応えるために、身に着けて持ち歩くことができるウェアラブル端末に健康管理のための機能を搭載させる試みが始まっており、すでに、腕時計、指輪、衣服など様々な形状の端末が発表されている。これらの端末によって、脈波、心電図、加速度活動量、温度等が取得でき、これらの取得信号から、心拍数、呼吸数、歩数、消費カロリー、睡眠状態、体温等の情報が得られる。しかしながら、日常的な健康管理において重要な生理指標の１つである血圧情報にはあまり着目されていないのが現状である。
現在、血圧情報は、オシロメトリック式血圧計や、容積補償型の連続血圧計、光電容積脈波計によって得られる。オシロメトリック式血圧計は、上腕にカフを巻いて血圧値を測定するものであり、一般家庭にも普及している。このタイプの血圧計は、数拍の血圧の平均値を測定することができ、１日に複数回測定した血圧値の日内変動を測定することで、高血圧症の診断等に用いられている。容積補償型の連続血圧計は、１心拍ごとの血圧値が測定可能な装置であり、自律神経機能の評価に用いることができるだけではなく、洞不全症候群の診断にも用いることができる。光電容積脈波計は、指尖や耳朶部に対して一定の光を照射し、透過、もしくは反射してきた光量の変化によって血管内の血液含有量の変化を測定するものであり、血圧変動の推定に用いることができる。
さらに、容積補償型の連続血圧計や、光電容積脈波計は、オシロメトリック式血圧計では測定できない短時間の急激な血圧変動を測定することが可能である。このような血圧の急激な変動は、運動時の力み、過度のストレス、環境温度の急変化によって引き起こされ、状況によっては生理状態を急激に変動させ、生体を危険な状態にする可能性があることから、日常生活において血圧変動を推定する手法が求められている。しかしながら、容積補償型の連続血圧計は、大型、高価、拘束感を伴うといったデメリットがあり、光電容積脈波計についても接触による皮膚の圧迫などのデメリットがある。このように、従来の手法では、装置の煩わしさやコストの問題があり、使用が限定されてしまうため、日常的な健康管理に利用することは困難である。
一方、近年、非接触で日常的に生体情報を収集する手法の１つとして、人の皮膚を撮影したビデオ映像の解析が注目を集めている。例えば、人の皮膚を撮影したビデオ映像を解析することで、心拍数変動（Heart Rate Variability：ＨＲＶ）や呼吸数の推定が行われている。このようなビデオ映像の解析による生体情報の収集は、Ｗｅｂカメラやスマートフォンといった、ビデオ映像を撮るためのデバイスが身近に存在していること、映像を用いるため完全非接触であることが大きなメリットとして挙げられ、日常的な健康管理への利用が期待されている。
特開２００７−３１９２４６号公報 特開２０１０−２６４０９５号公報 特開２０１３−１６９４６４号公報 USP Application Pub.No.:US2011/0251493 A1
Fang Zhao et al., PLOS ONE, October 2013, Volume 8, Issue 10, e71384 Lonneke A.M. Aarts et al., A pilot study, Early Human Development, 89, 2013, 943-948 Yu Sun et al., Journal of Biomedical Optics, 17(3), 037005, March, 2012 Victor Teplov et al., OSA, 1, September, 2014, Vol. 5, No. 9, DOI:10.1364, BOE.5.003123, BIOMEDICAL OPTICS EXPRESS, 3123 Dangdang Shao et al., IEEE Transactions on Biomedical Engineering, TBME.2014.2327024
本発明は、上記に鑑みてなされたものであって、人体の血圧変動を、簡便に、非接触的に測定することが可能な、生体情報計測装置、生体情報計測方法及び生体情報計測プログラムを提供することを課題とする。
実施形態に係る生体情報計測装置は、算出部と、計測部とを備える。算出部は、対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出し、算出された前記差分から、脈波伝播時間、及び、瞬時位相差のうち少なくとも１つを算出する。計測部は、前記算出部で算出された前記差分に基づいて、前記対象者の血圧の変動を計測し、各前記映像脈波が抽出された部位の組み合わせに応じて、前記脈波伝播時間、及び、瞬時位相差のうち少なくとも１つと、血圧変動の相関とが、正の相関関係、負の相関関係のいずれかに基づき処理を行う。
上記を別の表現にすると、実施形態に係る生体情報計測装置は、算出部と、計測部とを備える。算出部は、対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出する。計測部は、前記算出部で算出された前記差分に基づいて、前記対象者の血圧の変動を計測し、各前記映像脈波が、共に末梢血管抵抗による脈波出現の遅延の影響を受ける部位の組み合わせ、又は、共に末梢血管抵抗による脈波出現の遅延の影響を受けない部位の組み合わせの場合と、末梢血管抵抗による脈波出現の遅延の影響を受ける部位と末梢血管抵抗による脈波出現の遅延の影響を受けない部位との組み合わせの場合と応じて計測処理を変化させる。
人体の血圧変動を、簡便に、非接触的に測定することが可能になるという効果を奏する。
図１は、本実施形態によって実現される日常人間ドッグを説明するための図。 図２は、入浴時の環境温度変化による身体への影響を説明するための図。 図３は、第１の実施形態に係る生体情報計測装置の構成の一例を示す機能ブロック図。 図４Ａは、第１の実施形態に係る計測結果の一例を示す図。 図４Ｂは、第１の実施形態に係る参照情報の一例を示す図。 図５は、第１の実施形態に係る脈波伝播時間の定義を示す図。 図６Ａは、第１の実施形態に係る皮膚領域の自動抽出を説明するための図。 図６Ｂは、第１の実施形態に係る皮膚領域の手動抽出を説明するための図。 図７は、第１の実施形態に係る緑信号の抽出を説明するための図。 図８は、第１の実施形態に係る脈波信号の抽出を説明するための図。 図９は、第１の実施形態に係る脈波伝播時間差の定義を示す図。 図１０は、第１の実施形態に係る瞬時位相差の算出の一例を示す図。 図１１Ａは、第１の実施形態に係る代表的な被験者の各部位におけるＰＴＴの変動を示す図。 図１１Ｂは、第１の実施形態に係る全被験者の各部位におけるＰＴＴの平均値及び標準偏差を示す図。 図１２Ａは、第１の実施形態に係る代表的な被験者のＳＢＰと各部位におけるＰＴＴの変動を示す図。 図１２Ｂは、第１の実施形態に係る全被験者のＳＢＰと各部位におけるＰＴＴの相関係数の平均値と標準偏差を示す図。 図１３Ａは、第１の実施形態に係る代表的な被験者のＳＢＰとｄＰＴＴの変動を示す図。 図１３Ｂは、第１の実施形態に係る全被験者の各組み合わせにおけるｄＰＴＴの平均値と標準偏差を示す図。 図１３Ｃは、第１の実施形態に係る全被験者のｄＰＴＴとＳＢＰとの相関係数の平均値と標準偏差を示す図。 図１４Ａは、第１の実施形態に係る代表的な被験者のＳＢＰとＰＤの変動を示す図。 図１４Ｂは、第１の実施形態に係る全被験者のＳＢＰとＰＤとの相関係数の平均値と標準偏差を示す図。 図１５Ａは、第１の実施形態に係るirPPG（指尖）のＰＴＴとＳＢＰとの相関係数のヒストグラムを示す図。 図１５Ｂは、第１の実施形態に係るＰＴＴとＳＢＰの相関係数に関するスクリーニング前後の比較を示す図。 図１５Ｃは、第１の実施形態に係るｄＰＴＴとＳＢＰの相関係数に関するスクリーニング前後の比較を示す図。 図１５Ｄは、第１の実施形態に係るＰＤとＳＢＰの相関係数に関するスクリーニング前後の比較を示す図。 図１５Ｅは、第１の実施形態に係るスクリーニング群の被験者のｄＰＴＴとＰＤとの比較を示す図。 図１６は、第１の実施形態に係る脈波伝播時間の変化を模式的に示す図。 図１７は、第１の実施形態に係る光の皮膚透過深度の差異を説明するための図。 図１８Ａは、第１の実施形態に係る血圧変動の計測の一例を説明するための図。 図１８Ｂは、第１の実施形態に係る血圧変動の計測の一例を説明するための図。 図１８Ｃは、第１の実施形態に係る血圧変動の計測の一例を説明するための図。 図１９は、第１の実施形態に係る生体情報計測装置の処理手順を示すフローチャート。 図２０は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図。 図２１は、第１の実施形態に係る出力情報の一例を示す図。 図２２は、第１の実施形態に係る出力情報の一例を示す図。 図２３は、第１の実施形態に係る生体情報計測装置による計測ガイドの一例を示す図。 図２４は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図。 図２５は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図。 図２６は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図。 図２７は、第１の実施形態に係る入浴前後の血圧モニタリングの一例を説明するための図。 図２８は、第１の実施形態に係る生体情報計測装置の一例を示す図。 図２９は、第１の実施形態に係る映像取得装置の一例を説明するための図。 図３０は、第２の実施形態に係る生体情報計測装置による脈波伝播時間差の算出の概要を示す図。 図３１Ａは、第２の実施形態に係る皮膚領域抽出部による遠位部と近位部の設定の一例を示す図。 図３１Ｂは、第２の実施形態に係る緑色光の輝度値の抽出を説明するための図。 図３１Ｃは、第２の実施形態に係る脈波信号の抽出を説明するための図。 図３２Ａは、第２の実施形態に係る算出部による極値時間差のトリム平均の一例を説明するための図。 図３２Ｂは、第２の実施形態に係る算出部による極値時間差のトリム平均の一例を説明するための図。 図３３は、第２の実施形態に係る算出部によって算出される脈波伝播時間差の一例を示す図。 図３４Ａは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｂは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｃは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｄは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｅは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｆは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｇは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｈは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｉは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３４Ｊは、第２の実施形態に係る生体情報計測装置による映像脈波解析の一例を説明するための図。 図３５は、第２の実施形態に係る生体情報計測装置の処理手順を示すフローチャート。 図３６は、第３の実施形態に係る生体情報計測装置の構成の一例を示す機能ブロック図。 図３７は、第３の実施形態に係る生体情報計測装置による脈波伝播時間差の算出の一例を説明するための図。 図３８は、第３の実施形態に係る色相動画像の一例を示す図。 図３９は、第３の実施形態に係る生体情報計測装置の処理手順を示すフローチャート。 図４０は、第４の実施形態に係る入浴前後の血流変動の表示の一例を示す図。 図４１は、第４の実施形態に係る生体情報表示装置の構成の一例を示す機能ブロック図。 図４２Ａは、第４の実施形態に係る算出結果の一例を示す図。 図４２Ｂは、第４の実施形態に係る参照情報の一例を示す図。 図４３は、第４の実施形態に係る皮膚領域の自動抽出を説明するための図。 図４４は、第４の実施形態に係る緑信号の抽出を説明するための図。 図４５は、第４の実施形態に係る入浴前後の血流変動の表示の一例を示す図。 図４６は、第４の実施形態に係る労働前後の血流変動の表示の一例を示す図。 図４７は、第４の実施形態に係る運動前後の血流変動の表示の一例を示す図。 図４８は、第４の実施形態に係る表示する情報の一例を示す図。 図４９は、第４の実施形態に係る表示する情報の一例を示す図。 図５０は、第４の実施形態に係る表示する情報の一例を示す図。 図５１は、第４の実施形態に係る生体情報表示装置の処理手順を示すフローチャート。 図５２は、第４の実施形態に係る生体情報表示装置の処理手順を示すフローチャート。 図５３は、第４の実施形態における生体情報計測装置、生体情報表示装置又はＰＨＲ装置のハードウェア構成を示す図。
以下、図面を参照しながら、本願に係る生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法について説明する。なお、以下では、まず、第１の実施形態〜第３の実施形態において、本願に係る生体情報計測装置及び生体情報計測方法を説明する。以下の実施形態においては、本実施形態に係る生体情報計測装置を利用した「健康モニタリング」によって実現される、『日常人間ドッグ』を例に挙げて、生体情報計測装置の詳細について説明する。なお、以下で説明する実施形態はあくまでも一例であり、実施形態は以下で説明する内容に限定されるものではない。
（本実施形態によって実現される日常人間ドッグ）
図１は、本実施形態によって実現される日常人間ドッグを説明するための図である。今日、誰もが、家族と地域の中で健康快活に、仕事や趣味に生きるのが理想だが、将来の病気への不安、痴呆、うつ、孤独感、離れた家族への心配等が、少子高齢化の進む現代社会において人々を脅かし、安寧な生活を蝕んでいる。このような『現代社会』において、誰もが、家族と社会の中で健康快活に、仕事や趣味に生きることを理想としており、その実現手段の１つが、図１に示す『日常人間ドック』である。この『日常人間ドック』では、非意識（Unconscious Sensing）技術により血圧情報を収集して、収集した血圧情報から日々の健康状態を対象者にフィードバックする。
具体的には、本実施形態に係る『日常人間ドッグ』に利用される生体情報計測装置は、血圧情報の収集の対象となる対象者の映像信号を解析することで対象者の血圧情報を収集し、収集した血圧情報に基づいて健康状態を対象者に提供する。具体的には、生体情報計測装置は、血圧の変動に応じて変化する映像信号を解析することで対象者の血圧の変動を推定し、推定した結果に基づいて健康状態を対象者に提供する。より具体的には、生体情報計測装置は、対象者の顔と顔以外の部位を撮影した映像信号からそれぞれ脈波情報を抽出し、抽出した脈波情報の差の変動から血圧の変動を推定する。
ここで、脈波とは、心臓のポンプ作用によって生じる動脈系圧波動の伝播である。そして、脈波が血管を伝播する時間として定義される脈波伝播時間（ＰＴＴ：Pulse Transit Time）が、血圧変動と相関関係を有することが知られている。そこで、本実施形態に係る生体情報計測装置は、ＰＴＴと血圧変動との間に相関関係があるという原理を用いることで、対象者の血圧の変動を推定する。具体的には、本実施形態に係る生体情報計測装置は、対象者の映像信号の輝度情報に基づいて、対象者の脈波に関する情報を算出する。そして、本実施形態に係る生体情報計測装置は、映像信号を取得した対象者の部位に応じて、脈波に関する情報の増減に基づく対象者の血圧の変動を計測する。
（第１の実施形態）
以下、第１の実施形態に係る生体情報計測装置について説明する。第１の実施形態に係る生体情報計測装置は、対象者の顔と顔以外の部位を撮影した映像を用いて、対象者の血圧の変動を推定する。具体的には、第１の実施形態に係る生体情報計測装置は、対象者の顔及び顔以外の部位の映像信号から脈波情報を抽出してＰＴＴに相当する指標値を算出し、算出した指標値の変動から血圧の変動を推定する。
ここで、まず、映像信号から脈波情報を抽出する原理について説明する。例えば、ビデオカメラなどの撮像装置は、被写体で反射した光を、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３色の光を原色として波長毎のフィルタを通した映像として記録し、その輝度値に応じて様々な色を表現している。一方、可視光の血中ヘモグロビンの吸光特性に着目すると、５２０−６００ｎｍの波長帯域に高いピークを持っており、カメラの緑色フィルターが高感度となる波長帯域である、５００−５７０ｎｍとほぼ重なっている。心臓の拍動によって脈波が全身に伝播する際に、体表面を含めた全身の血流量は周期的に増減している。心臓が収縮して末梢部位の血流量が増加すると、血中ヘモグロビンの相対量も増加するため、皮膚表面での緑色光の吸収量が増加する。カメラは皮膚表面で反射した光を受け取るため、血中ヘモグロビンの相対量が増加しているときには映像中の緑の輝度値が低下する。これとは逆に、心臓が拡張しているとき、末梢部位の血流量は減少して血中ヘモグロビンの相対量も減少するため、皮膚表面での緑色光の吸収量が減少する。この緑色光における輝度値の変化は極めて小さく、人間の目では認識することはできないが、市販のビデオカメラなどを用いることで検出することができる。
生体情報計測装置は、上述した緑色光における輝度値を脈波情報として抽出し、血圧の変動を推定する。上述したように、現在、血圧情報の収集は、オシロメトリック式血圧計や、容積補償型の連続血圧計、光電容積脈波計を用いることによって行われている。すなわち、対象者が自身の体に意識的に装置を取り付け、血圧測定を開始することによって血圧情報が収集される。従って、従来の収集方法の場合、装置を取り付ける煩わしさや、装置のコストの面から、日常的に継続して血圧情報を収集することが容易ではない。
これに対して、第１の実施形態によって実現される日常人間ドッグでは、対象者の映像信号を解析して血圧情報を収集するため、例えば、図１に示すように、鏡の前に立つだけで、対象者の血圧情報を非接触で収集し、収集した血圧情報を解析することで、今日の健康状態が判明する「健康予報」を対象者にフィードバックすることができる。すなわち、対象者が特に意識することなく、日常生活の中で非意識のうちに血圧情報を収集して対象者に健康状態をフィードバックすることができる。ここで、図１に示す「健康予報」とは、対象者の血圧の変動をもとに解析された健康状態を提供するものである。例えば、血圧の基準値と比較して現在の対象者の血圧がどのような状態（高い、或いは、低いなど）になっているか、また、基準値からどの程度変動しているか、さらに、血圧が大きく変動していた場合に、基準値に戻るまでの時間がどの程度であるかなどが解析され、解析結果をもとに「健康予報」が提供される。
これにより、日々の生活の中で血圧に関するさりげない健康モニタリングを行うことができ、対象者が日常的に自身の健康状態を把握することができる。例えば、図１に示すように、「体温：３６．５℃ 血圧：やや低め 寝不足です 鉄分を摂取してください」という「健康予報」を提供することで、対象者は自身の現在の状態を把握することができる。ここで、対象者の健康状態に関する情報は、対象者にフィードバックするだけではなく、ネットワークを介して家族や主治医に対して提供することも可能である。例えば、対象者の血圧情報が収集されるごとに、家族が所持する携帯電話、スマートフォン、或いは、タブレット端末などや、主治医が操作する端末に解析結果が送信される。これにより、対象者自身だけでなく、家族や主治医も対象者の健康状態を把握することができる。
上述したように、血圧の急激な変動は、運動時の力み、過度のストレス、環境温度の急変化によって引き起こされ、状況によっては生理状態を急激に変化させ、生体を危険な状態にする可能性がある。特に環境温度の急変化に着目すると、ヒートショックとも呼ばれる入浴時の環境温度変化が身体へもたらす影響が大きな問題となっている。図２は、入浴時の環境温度変化による身体への影響を説明するための図である。図２においては、縦軸に血圧を示し、横軸に時間を示し、入浴前後の血圧値の変動グラフを示す。また、図２においては、入浴する人の行動と、血圧変動による身体への影響とを示す。
例えば、入浴前後の血圧値は、図２に示すように、入浴するために居間から脱衣室に移動すると上昇し、浴室に移動することでさらに上昇する。そして、血圧値は、入浴後に急激に低下して、入浴終了のために立ち上がった際に一旦さらに低下した後に、徐々に上昇する。これは、居間と脱衣室の温度差から生じる寒冷刺激による血圧急上昇と、入浴時の温度上昇による血圧急低下によって引き起こされるものである。このように血圧が急変動すると、例えば、脱衣室に入室して衣服を脱ぐことによる血圧急上昇によって脳出血が引き起こされたり、入浴後の血圧急低下によって脳梗塞や心筋梗塞などが引き起こされたりする。さらに、入浴終了のために立ち上がった際には、起立性低血圧により失神が引き起こされる場合もある。
このヒートショックに関連した入浴中の死亡者数は１年間で約１７，０００人にも上り、このうち約１４，０００人が高齢者であるという報告がある。高齢者が多くを占める理由としては、加齢により寒冷に対する感受性が低下することや、若年者と比較して高齢者の寒冷刺激による血圧上昇が著しいことなどが知られている。したがって、第１の実施形態にかかる生体情報計測装置によって日常生活の中での様々な時点で血圧情報をモニタリングし、モニタリングの結果に基づく健康予報をその都度フィードバックすることにより、今後も増え続ける高齢者の危険察知を行うことも可能となる。
このように、第１の実施形態に係る生体情報計測装置を利用することで、血圧変動を、簡便に、非接触的に測定することが可能となる。ここで、第１の実施形態に係る生体情報計測装置は、宅内に配置されるだけではなく、宅外のネットワーク上に配置されたサーバ装置上で同様の処理を行う場合であってもよい。例えば、宅内に設置されたカメラによって撮影された映像信号をネットワークを介してサーバ装置に送信し、映像信号を受信したサーバ装置が映像信号に対応する対象者の血圧変動を計測する場合であってもよい。また、ネットワーク上のサーバ装置が、各宅内に設置された生体情報計測装置から各個人の血圧情報を収集して、一元的に管理する場合であってもよい。この場合、サーバ装置は、各個人の血圧情報と行動情報とを関連付けてライフログ情報として収集、蓄積してもよい。そして、サーバ装置は、時系列で収集した膨大な生体情報とライフログ情報とを複数ユーザについて統合化したビッグデータを、クラウド上で一元管理する。
また、サーバ装置は、かかるビッグデータを解析することで、将来の疾病発症リスク、食事量、運動量、又は運動負荷に対する体の応答反応等を高度且つ詳細に分析してもよい。ひいては、疾病発症リスクや発作の予兆、自分の体質、ライフスタイルに最適な食事内容、運動、ライフスタイル、薬やサプリメントの選択等、理想像を目指した日々の生活の設計も可能になる。また、サーバ装置は、これらの情報を、ユーザにフィードバックするだけでなく医療機関にフィードバックすることもできる。医師は、サーバ装置からフィードバックされた解析の結果をもとに、例えば、ハイリスクな疾病発症予備軍を認識し、必要に応じ積極的にこれらの者にアクセスする。なお、対象者から送信された血圧情報は、対象者の身体の異常検知にも役立てられる。例えば、サーバ装置は、ハイリスクな疾病発症予備軍の対象者について日々送信される血圧情報を常時監視し、その中で異常を検知すると、直ちに医療機関等にフィードバックする。サーバ装置が、ビッグデータの解析の結果を医療機関や各種企業等に提供することで、様々なサービスへの利用や、新産業創出に貢献することができる。
以下、第１の実施形態に係る生体情報計測装置の詳細について説明する。なお、以下の実施形態では、宅内に配置された生体情報計測装置がネットワークを介して上述したサーバ装置であるＰＨＲ（Personal Health Record）装置と接続される場合を例に挙げて説明するが、実施形態はこれに限定されるものではなく、生体情報計測装置がネットワークに接続されずに用いられる場合であってもよい。
（第１の実施形態に係る生体情報計測装置の構成）
上述した『日常人間ドッグ』を実現するために用いられる、第１の実施形態に係る生体情報計測装置について説明する。図３は、第１の実施形態に係る生体情報計測装置１００の構成の一例を示す機能ブロック図である。図３に示すように、生体情報計測装置１００は、映像取得部１１０ａと、出力部１２０ａと、通信部１３０と、記憶部１４０と、制御部１５０と、照度センサ１６０と、照明部１７０とを備え、ネットワーク３００を介して、ＰＨＲ装置２００、映像取得装置１１０ｂ及び出力装置１２０ｂと接続される。なお、図３においては、生体情報計測装置１００、ＰＨＲ装置２００、映像取得装置１１０ｂ及び出力装置１２０ｂが１台ずつ示されているが、各装置が２台以上接続される場合であってもよい。
ネットワーク３００は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などである。ＰＨＲ装置２００は、図３に示すように、通信部２３０と、記憶部２４０と、制御部２５０とを備え、日常的に非意識で収集されたＰＨＲデータ（血圧情報など）をヘルスケアクラウド上で一元管理するサーバ装置である。ここで、ＰＨＲデータとは、各個人から収集されたセンシングデータ（血圧情報）を個人ごとにそれぞれ対応付けた情報である。すなわち、ＰＨＲ装置２００は、ネットワーク３００を介して、複数の生体情報計測装置１００から個人ごとの血圧情報を取得して管理する。また、ヘルスケアクラウドとは、ＰＨＲ装置２００、生体情報計測装置１００、ネットワーク３００などによって構成され、種々のユーザに対して『日常人間ドック』のサービスを提供するクラウドである。
ＰＨＲ装置２００における通信部２３０は、ネットワーク３００を介して生体情報計測装置１００、映像取得装置１１０ｂ及び出力装置１２０ｂと有線通信或いは無線通信を行い、生体情報計測装置１００によって収集された血圧情報や、映像取得装置１１０ｂによって取得された映像信号を受信したり、出力装置１２０ｂに対して出力情報を送信したりする。記憶部２４０は、ＰＨＲデータなどの種々の情報を記憶する。例えば、記憶部２４０は、生体情報計測装置１００によって収集された血圧情報を対象者に対応付けて記憶する。また、生体情報計測装置１００によって撮影された映像信号を対象者に対応付けて記憶する。すなわち、記憶部２４０は、ビッグデータを記憶するとともに、生体情報計測装置１００の記憶部１４０と同様の情報を記憶することができる。
ここで、ＰＨＲ装置２００は、生体情報計測装置１００によって収集された情報を管理するだけではなく、後述する生体情報計測装置１００と同様の処理を行うこともできる。すなわち、ＰＨＲ装置２００は、生体情報計測装置１００又は映像取得装置１１０ｂによって取得された対象者の映像信号を受信して、受信した映像信号を解析することで対象者の血圧情報を測定することができる。具体的には、ＰＨＲ装置２００の制御部２５０は、後述する生体情報計測装置１００の制御部１５０と同様の処理を実行することで、映像信号から血圧の変動を測定する。記憶部２４０は、制御部２５０によって測定された血圧情報などを対象者に対応づけて記憶する。さらに、制御部２５０は、生体情報計測装置１００や、出力装置１２０ｂからの出力情報の要求に応じて、記憶部２４０から情報を読み出し、読み出した情報を生体情報計測装置１００や出力装置１２０ｂに送信するように制御する。
映像取得装置１１０ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載するカメラであり、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。また、映像取得装置１１０ｂは、緑色ＬＥＤを搭載した反射型フォトセンサなどである。そして、映像取得装置１１０ｂは、対象者が生活する様々な場所に配置され、対象者の映像信号を取得し、取得した映像信号を、ネットワーク３００を介して生体情報計測装置１００や、ＰＨＲ装置２００に送信する。例えば、映像取得装置１１０ｂは、対象者の顔の映像信号と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号とを取得して、生体情報計測装置１００や、ＰＨＲ装置２００に送信する。ここで、顔以外の部位は、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位である。また、映像取得装置１１０ｂは、対象者の顔と顔以外の部位を同一映像で撮影するカメラであってもよく、或いは、対象者の顔と顔以外の部位とをそれぞれ撮影する異なるカメラであってもよい。
出力装置１２０ｂは、モニタなどの表示装置や、スピーカーなどの音声出力装置などである。そして、出力装置１２０ｂは、対象者が生活する様々な場所や、対象者の血圧情報を観察する家族や医師などに対して出力可能となる場所などに配置され、生体情報計測装置１００や、ＰＨＲ装置２００から映像情報や音声情報などの出力情報を受信して、出力する。また、出力部１２０ｂは、液晶パネルなどの表示装置であり、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示することもできる。なお、出力情報については、後に詳述する。
生体情報計測装置１００は、カメラ付き携帯電話、スマートフォン、タブレット端末、カメラ付きＰＣ（Personal Computer）などであり、対象者の映像信号を解析することで、血圧変動を測定する。なお、図３においては、生体情報計測装置１００が映像取得部１１０ａを備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報計測装置１００が映像取得部１１０ａを備えずに、映像取得装置１１０ｂから受信した映像信号を解析する場合であってもよい。この場合には、生体情報計測装置１００は、カメラを備えていない携帯電話やＰＣであってもよい。また、図３においては、生体情報計測装置１００が出力部１２０ａを備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報計測装置１００が出力部１２０ａを備えずに、出力装置１２０ｂに対して出力情報を出力するように制御する場合であってもよい。この場合には、生体情報計測装置１００は、モニタやスピーカーを備えていない情報処理装置であってもよい。
映像取得部１１０ａは、ＣＣＤやＣＭＯＳなどの撮像素子を搭載するカメラであり、Ｒ、Ｇ、Ｂなど３種以上の受光素子を搭載することができる。例えば、映像取得部１１０ａは、携帯電話やスマートフォン、タブレット端末、ＰＣなどに搭載されたカメラである。なお、映像取得部１１０ａは、携帯電話やスマートフォン、タブレット端末、ＰＣなどに出荷時から搭載されているカメラに限らず、後に取り付けられたカメラであってもよい。そして、映像取得部１１０ａは、対象者の映像信号を取得して、取得した映像信号を制御部１５０に送信する。例えば、映像取得部１１０ａは、対象者の顔の映像信号と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号とを取得して、制御部１５０に送信する。ここで、顔以外の部位は、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位である。また、映像取得部１１０ａは、対象者の顔と顔以外の部位を同一映像で撮影するカメラであってもよく、或いは、対象者の顔と顔以外の部位とをそれぞれ撮影する異なるカメラであってもよい。
出力部１２０ａは、モニタなどの表示装置や、スピーカーなどの音声出力装置などである。例えば、出力部１２０ａは、携帯電話やスマートフォン、タブレット端末、ＰＣなどのモニタやスピーカーなどである。そして、出力部１２０ａは、映像情報や音声情報などの出力情報を出力する。また、出力部１２０ａは、液晶パネルなどの表示装置であり、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのＧＵＩを表示することもできる。なお、出力情報については、後に詳述する。
通信部１３０は、ネットワーク３００を介して映像取得装置１１０ｂ、出力装置１２０ｂ及びＰＨＲ装置２００と有線通信或いは無線通信を行う。例えば、通信部１３０は、映像取得装置１１０ｂから対象者の映像信号を受信して制御部１５０に送信する。また、通信部１３０は、出力装置１２０ｂに対して出力情報を送信する。また、通信部１３０は、ＰＨＲ装置２００に対して映像信号や測定結果を送信したり、ＰＨＲ装置２００との間で出力情報を送受信したりする。
照度センサ１６０は、対象者の皮膚付近の照度を測定するセンサである。例えば、照度センサは、映像信号が取得される対象者の顔や、顔以外の部位における照度を測定し、測定結果を制御部１５０に送信する。照明部１７０は、対象者に対して光を照射する。例えば、照明部１７０は、ＬＥＤ（Light Emitting Diode）を使用した照明器具であり、制御部１５０による制御のもと、対象者に対して光を照射する。なお、対象者に対する光の照射の詳細については、後述する。
記憶部１４０は、図３に示すように、映像記憶部１４１と、計測結果記憶部１４２と、参照情報記憶部１４３とを備える。記憶部１４０は、例えば、ハードディスク、光ディスクなどの記憶装置、または、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子であり、生体情報計測装置１００によって実行される各種プログラムなどを記憶する。
映像記憶部１４１は、対象者の映像信号を記憶する。具体的には、映像記憶部１４１は、映像取得部１１０ａや、映像取得装置１１０ｂによって取得された対象者の映像信号を記憶する。例えば、映像記憶部１４１は、対象者の顔の映像信号と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号とを記憶する。ここで、映像記憶部１４１によって記憶される映像は、同一映像の中に顔及び顔以外の部位の映像信号を含むものであってもよく、或いは、顔の映像と顔以外の部位の映像とがそれぞれ別の映像として撮影されたものであってもよい。なお、顔の映像と顔以外の部位の映像とが別々の場合、別々の映像の同一時間における輝度情報を比較可能にするために、映像記憶部１４１は、各映像を時間情報と対応づけて記憶する。
計測結果記憶部１４２は、後述する制御部１５０によって実行される計測処理の計測結果を記憶する。具体的には、計測結果記憶部１４２は、制御部１５０における計測部１５３によって計測された対象者の血圧の変動に関する情報を記憶する。例えば、計測結果記憶部１４２は、映像信号から算出されたＰＴＴに相当する指標値を用いて計測された血圧変動の計測結果を記憶する。図４Ａは、第１の実施形態に係る計測結果の一例を示す図である。例えば、計測結果記憶部１４２は、図４Ａに示すように、計測日時と計測結果とを対応付けた計測情報を対象者ごとに記憶する。ここで、図４Ａに示す「計測日時」とは、対象者の顔と顔以外の部位が撮影され、撮影された映像信号をもとに血圧の変動が計測された日時を示す。また、図４Ａに示す「計測結果」とは、各計測日時において計測された項目の結果を示す。
ここで、計測される項目としては、例えば、図４Ａに示すように、「基準値からの変動」、「基準値との差：最高値」、「基準値との差：最低値」及び「基準値までの時間（sec）」などが挙げられる。なお、「基準値からの変動」とは、ある指標値について、所定の基準値と比較して、現時点で上昇しているか、或いは、下降しているかを示す。また、「基準値との差：最高値」とは、ある指標値について、現時点で算出した値が所定の基準値と比較して上昇している場合に、上昇した値の最高値と所定の基準値との差を示す。また、「基準値との差：最低値」とは、ある指標値について、現時点で算出した値が所定の基準値と比較して下降している場合に、下降した値の最低値と所定の基準値との差を示す。また、「基準値までの時間（sec）」とは、ある指標値について、現時点で算出した値が変動している場合に、所定の基準値に戻るまでの時間を示す。なお、上述した所定の基準値は、対象者ごとに設定された値を用いる場合であってもよく、或いは、一般的な値を用いる場合であってもよい。所定の基準値が対象者ごとに設定される場合には、例えば、対象者ごとに血圧値を装置で計測しながら、映像信号から指標値を算出し、血圧が安定している際の指標値の平均値を用いてもよい。
なお、上述した所定の基準値や指標値は、血圧の絶対値ではなく、血圧の変動と相関関係にあるＰＴＴに相当する指標値である。すなわち、上述した所定の基準値とは、基準となる血圧値に対応する指標値である。例えば、計測結果記憶部１４２は、図４Ａに示すように、「計測日時：２０１５０１０１０７１５」の計測結果として「基準値からの変動：下降、基準値との差：最低値：０．１、基準値までの時間（sec）：５０」を記憶する。すなわち、上述した情報は、「２０１５年１月１日７時１５分」に算出された指標値が、所定の基準値から「下降」した値をとり、基準値と最低値との差が「０．１」であり、下降した値が基準値に戻るまでに要した時間が「５０（sec）」であることを示す。
同様に、計測結果記憶部１４２は、同一の対象者の「計測日時：２０１５０１０１１０２６」における計測結果として「基準値からの変動：上昇、基準値との差：最高値：０．１６、基準値までの時間（sec）：６３」を記憶する。このように、計測結果記憶部１４２は、血圧変動が計測されるごとに、算出された指標値の結果を記憶する。なお、図４Ａにおいては、単一の指標値に関する結果を記憶する場合について示しているが、実施形態はこれに限定されるものではなく、同一の映像信号から複数の指標値が算出され、複数の指標値それぞれに関する結果を記憶する場合であってもよい。
図３に戻って、参照情報記憶部１４３は、後述する制御部１５０によって実行される計測処理にて参照される参照情報を記憶する。具体的には、参照情報記憶部１４３は、計測部１５３が対象者の血圧変動に関する情報を計測する際に参照される参照情報を記憶する。図４Ｂは、第１の実施形態に係る参照情報の一例を示す図である。例えば、参照情報記憶部１４３は、図４Ｂに示すように、「参照情報」に「ｄＰＴＴ」及び「ＰＤ」を対応付けた情報を記憶する。ここで、「参照情報」とは、計測部１５３が血圧変動を計測する際に参照する情報を示し、例えば、図４Ｂに示すように、「血圧値変換情報（２０１５０１０１更新）」や、「補正情報（温度）」、「補正情報（湿度）」などが挙げられる。また、「ｄＰＴＴ」は、脈波伝播時間差（difference of pulse transit time）であり、顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である。また、「ＰＤ」は、瞬時位相差（phase difference）であり、顔及び顔以外の映像信号中の緑色光の輝度値の位相差である。なお、「血圧値変換情報」とは、指標値を血圧の絶対値に変換するための情報である。また、「補正情報（温度）」とは、算出した指標値又は基準値に対して、温度に応じた補正を行うための情報であり、「補正情報（湿度）」とは、算出した指標値又は基準値に対して、湿度に応じた補正を行うための情報である。
上述したように、計測部１５３によって計測される血圧変動の測定結果は、血圧の絶対値に基づくものではなく、指標値に基づくものである。そこで、参照情報記憶部１４３が指標値を血圧の絶対値に変換するための変換情報を記憶しておくことで、計測部１５３が変換情報を用いて指標値を血圧値に変換することが可能となる。例えば、映像信号を取得した時点の血圧値をオシロメトリック式血圧計や連続血圧計によって測定しておき、映像信号をもとに算出される指標値との血圧値との対応関係から変換情報（例えば、変換係数など）が算出されて、参照情報記憶部１４３に格納される。ここで、変換情報は、定期的に更新されてもよい。
また、図４Ｂに示す「ｄＰＴＴ」及び「ＰＤ」は、映像信号から算出されたＰＴＴに相当する指標値である。第１の実施形態に係る生体情報計測装置１００は、上述した「ｄＰＴＴ」又は「ＰＤ」により対象者の血圧変動を計測する。ここで、生体情報計測装置１００においては、指標値ごとの参照情報を参照することで、血圧の絶対値を算出したり、温度や湿度に応じた補正を行ったりすることができる。なお、「ｄＰＴＴ」又は「ＰＤ」を用いた対象者の血圧変動の計測については、後に詳述する。
図３に戻って、制御部１５０は、皮膚領域抽出部１５１と、算出部１５２と、計測部１５３と、出力制御部１５４と、フィードバック制御部１５５とを備える。制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路であり、生体情報計測装置１００の全体制御を実行する。
制御部１５０は、上述した各部の処理により、対象者の顔及び顔以外の部位の映像信号から脈波情報を抽出してＰＴＴに相当する指標値を算出し、算出した指標値の変動から血圧の変動を推定する。ここで、まず、脈波伝播時間（ＰＴＴ）を用いた血圧変動の推定の原理と定義について説明する。ＰＴＴは、脈波が大動脈から末梢方向へ伝播していく際に、ある基準点から別の測定点までに到達するのに要する時間のことである。図５は、第１の実施形態に係る脈波伝播時間の定義を示す図である。ここで、図５においては、縦軸に「Amplitude（振幅）」を示し、横軸に「Time（時間）」を示すグラフに「ＥＣＧ（electrocardiogram：心電図）」と「ＰＰＧ（photoplethysmography：光電容積脈波）」の各波形を示す。
例えば、ＰＴＴは、図５に示すように、一般的には心電図の「R-wave Peak（Ｒ波）」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。そして、ＰＴＴと血圧との間には負の相関があることが知られている。例えば、脈波が血管内を伝播する速度「v」は血管の内径と血管壁の硬さに依存し、解析的な関係式は、以下の式（１）で示される「Moens-Korteweg」の式によって表される。
ここで、式（１）における「g」は重力定数を示し、「E」は血管のヤング率を示し、「ρ」は血液の比重を示し、「h」は血管壁厚を示し、「d」は血管の直径を示す。血圧が上昇すると、式（１）における血管壁厚「h」が減少し、血管の直径「d」が増加するので、速度「v」は減少するように思われるが、血管のヤング率「E」は以下の式（２）で表されるように、血圧「P」に対して指数関数的に変化し、この影響が形状変化の影響を上回る。そのため、血圧が上昇すると、脈波が伝播する速度「v」は、実際には増加することとなる。すなわち、血圧が上昇すると脈波が伝播する時間が短くなる。ここで、式（２）における「E0」は「P＝０」におけるヤング率を示す。また、式（２）における「γ」は血管に依存する定数を示し、その値の範囲は「0.016 mmHg-1」から「0.018 mmHg-1」である。
脈波伝播時間を「T」とおき、血管経路長さを「L」とすると、脈波伝播時間は、以下の式（３）のように表すことができる。
ここで、式（１）と式（２）を式（３）に代入して両辺を２乗することで以下の式（４）及び式（５）を得る。
さらに、式（５）の対数をとることで、血圧「P」を示す以下の式（６）を得ることができる。
ここで、式（６）における血圧「P」の変化に対して、血管壁厚「h」及び血管の直径「d」の変化が小さく、「E0」の変化が十分に遅いとすると、式（６）における右辺第１項は無視することができるため、式（６）を脈波伝播時間「T」で微分すると、以下の式（７）となる。
すなわち、血圧「P」の変動分「ΔP」が、脈波伝播時間の変動分「ΔT」で示された式（７）となる。このように、血圧「P」の変動分「ΔP」が脈波伝播時間の変動分「ΔT」で示されたことから、脈波伝播時間「T」を用いることで、血圧の変動を推定することができることがわかる。
第１の実施形態に係る生体情報計測装置１００は、上述した原理のもと、映像信号の緑色光の輝度値を脈波とし、脈波伝播時間「ＰＴＴ」の変動を計測することで、血圧の変動を計測する。ここで、上述したように、「ＰＴＴ」は、ある基準点から別の測定点までに到達するのに要する時間であり、一般的に心電図の「Ｒ波」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。しかしながら、心電図を取得するためには装置を用いることになるため、心電図を用いた「ＰＴＴ」によって血圧変動を計測する場合、非接触的に測定することができない。そこで、第１の実施形態では、血圧変動を、簡便に、非接触的に測定するために、心電図を用いることなく、上述した「ＰＴＴ」に相当する指標値によって血圧変動を計測する。
具体的には、第１の実施形態に係る生体情報計測装置１００は、対象者の顔及び顔以外の映像信号中の緑色光の輝度値の位相差である「ＰＤ」、又は、対象者の顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である「ｄＰＴＴ」の変動を計測することによって血圧の変動を計測する。以下、生体情報計測装置１００による処理について、映像信号から脈波情報を抽出する処理、及び、抽出した脈波情報から「ＰＤ」及び「ｄＰＴＴ」を算出する処理を順に説明する。
図３に戻って、制御部１５０における皮膚領域抽出部１５１は、映像取得部１１０ａ又は映像取得装置１１０ｂによって取得された映像に含まれる対象者の皮膚領域を抽出する。具体的には、皮膚領域抽出部１５１は、映像中の色情報に基づいて皮膚領域を自動で抽出する。或いは、皮膚領域抽出部１５１は、図示しない入力部を介して操作者から指定された領域を皮膚領域として抽出する。以下、これらの処理の詳細について順に説明する。なお、皮膚領域抽出部１５１の処理対象となる映像は、映像取得部１１０ａ又は映像取得装置１１０ｂによって取得されたリアルタイムの映像であってもよく、映像記憶部１４１によって記憶された過去の映像であってもよい。
まず、映像中の色情報に基づいて皮膚領域を自動で抽出する場合について、図６Ａを用いて説明する。図６Ａは、第１の実施形態に係る皮膚領域の自動抽出を説明するための図である。例えば、皮膚領域抽出部１５１は、図６Ａに示すように、映像中から肌の色を示す領域を抽出することによって対象者の皮膚領域を抽出する。すなわち、皮膚領域抽出部１５１は、映像の２次元座標において肌の色に相当する色（輝度値）を示すすべての座標（画素の座標）を抽出し、抽出した座標において連続した座標の画素をまとめた領域を皮膚領域として抽出する。ここで、皮膚領域抽出部１５１は、連続していない座標の画素を異なる領域の座標としてまとめることで、複数の部位に相当する皮膚領域をそれぞれ抽出する。
一例を挙げると、皮膚領域抽出部１５１は、図６Ａに示す映像において、肌の色（輝度値）を示す手の部分の座標と、顔の部分の座標とを抽出する。そして、皮膚領域抽出部１５１は、抽出した座標において連続した座標の画素をまとめて皮膚領域として抽出する。ここで、皮膚領域抽出部１５１は、手の部分の座標と、顔の部分の座標とが連続していないことから、手の部分から抽出した座標と、顔の部分から抽出した座標とをそれぞれ異なる部位の皮膚領域の座標としてまとめて抽出する。さらに、皮膚領域抽出部１５１は、例えば、図６Ａに示す映像に対して顔認識処理を行うことで、対象者の顔領域の画素の座標を抽出する。そして、皮膚領域抽出部１５１は、抽出した皮膚領域において、抽出した顔領域の座標を含む領域を顔の皮膚領域として判定する。
このように、皮膚領域抽出部１５１は、映像に含まれる対象者の顔の皮膚領域の座標と、顔以外の皮膚領域の座標とをそれぞれ抽出し、抽出した各皮膚領域の座標を算出部１５２に送信する。なお、肌の色に相当する色（輝度値）については、任意に設定することができる。例えば、人種ごとに所定の範囲の輝度値を設定し、映像において設定された範囲に含まれる輝度値を示す座標を肌の色の座標として抽出するように設定することも可能である。
次に、操作者から指定された領域を皮膚領域として設定する場合について、図６Ｂを用いて説明する。図６Ｂは、第１の実施形態に係る皮膚領域の手動抽出を説明するための図である。例えば、操作者は、図６Ｂに示すように、マウスやタッチパネルなどの入力部を操作して、映像中に「右手掌」の領域、「顔面前部全体」の領域、「顔面額」の領域、「顔面左頬」の領域、及び、「首前部」の領域を関心領域（ＲＯＩ：region of interest）として設定することができる。皮膚領域抽出部１５１は、図６Ｂに示すように、関心領域が設定されると、設定された領域の座標を抽出して、各領域の座標を算出部１５２に送信する。ここで、各領域が顔の領域であるか、或いは、顔以外の領域であるかについては、操作者から指定される場合であってもよく、上述した顔認識処理を実行する場合であってもよい。
すなわち、操作者が、設定した５つの関心領域のうち、「顔面前部全体」の領域、「顔面額」の領域及び「顔面左頬」の領域を顔の領域として指定し、「右手掌」の領域及び「首前部」の領域を顔以外の領域として指定する。これにより、皮膚領域抽出部１５１は、各関心領域が顔の領域であるか又は顔以外の領域であるかを識別することができる。また、上述した指定が実行されなかった場合、皮膚領域抽出部１５１は、上述したように、映像に対して顔認識処理を行うことで、対象者の顔領域の座標を抽出し、設定された関心領域において、抽出した顔領域の座標を含む領域を顔の皮膚領域として抽出する。
皮膚領域抽出部１５１は、上述した皮膚領域の抽出処理を、映像を構成する各フレームについてそれぞれ実行して、各フレームにおける皮膚領域の座標を算出部１５２に順次送信する。なお、関心領域が設定される場合、皮膚領域抽出部１５１は、関心領域が設定されたフレームから以降のフレームについて、映像中の特徴点を用いたトラッキング処理によりフレームごとの関心領域の座標をトラッキングして、トラッキングした結果の座標を算出部１５２に順次送信する。
なお、関心領域が手動で設定される場合、目鼻や毛髪を極力含まず、皮膚領域がＲＯＩ内を多く占めるようにし、影となっている部分も避けるようにすることが望ましい。また、皮膚領域抽出部１５１は、手動で設定されたＲＯＩ内から肌の色に相当する輝度値の画素を抽出して、抽出した画素をまとめた領域を関心領域として設定することができる。すなわち、手動でＲＯＩが設定され、設定されたＲＯＩ内に目や毛髪などが含まれていた場合にも、それらに対応する画素を除いた領域を皮膚領域として設定することができる。
図３に戻って、算出部１５２は、対象者の顔の映像信号の輝度情報と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号の輝度情報との差分を算出する。具体的には、算出部１５２は、対象者の顔及び顔以外の部位の映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した各映像信号中の緑色光の輝度値における所定の特徴点間の時間差（ｄＰＴＴ）、又は、各映像信号中の緑色光の輝度値の位相差（ＰＤ）を算出する。
ここで、算出部１５２は、映像信号から緑色光の抽出を行う前に、まず、画像の平滑化を行い、映像取得部１１０ａ又は映像取得装置１１０ｂとしてのカメラ自体に発生する人工的なインパルス性雑音を除去する。例えば、算出部１５２は、フレームごとの画像全体に５×５ピクセルのメディアンフィルタをかける。その後、算出部１５２は、メディアンフィルタをかけたのちの各フレームについて、皮膚領域抽出部１５１によって抽出された皮膚領域における緑色光を抽出する。
上述したように、映像の各フレームの各画素には「Ｒ（赤色）」、「Ｇ（緑色）」、「Ｂ（青色）」の３つの輝度値が保存されており、この輝度値の組み合わせによってその画素の色が表現されている。そこで、算出部１５２は、まず、各フレームの皮膚領域（顔の皮膚領域及び顔以外の皮膚領域）に対して緑色のフィルタをかけるか、あるいは「Ｇ（緑色）」の輝度値を利用して、血中ヘモグロビンに対して強い吸光特性を有する緑色光の輝度値のみを抽出する。そして、算出部１５２は、顔の皮膚領域及び顔以外の皮膚領域について、緑色光の輝度値の平均値をフレームごとに算出して時間変化曲線とした緑信号を抽出する。図７は、第１の実施形態に係る緑信号の抽出を説明するための図である。図７においては、上段に映像に含まれる複数のフレームの模式図を示し、中段に縦軸を「Average Luminance（輝度平均値）」とし、横軸を「Frame No.（フレーム番号）」とした、緑色光の輝度平均値のグラフを示す。また、図７においては、下段に縦軸を「Average Green Luminance（緑色輝度平均値）」とし、横軸を「Time [s]（時間）」とした、緑信号の一例を示す。
例えば、算出部１５２は、図７の上段の図に示すように、映像を構成する複数のフレームそれぞれに対して緑色のフィルタをかけるか、あるいは「Ｇ（緑色）」の輝度値を利用して、皮膚領域における緑色光の輝度値を抽出する。そして、算出部１５２は、各フレームについて、抽出した緑色光の輝度値の平均値を算出することで、図７の中段の図に示すように、緑色の輝度平均値のグラフを抽出する。算出部１５２は、映像中の各フレームに対して上述した処理を実行することで、図７の下段に示すような「緑信号」を抽出する。算出部１５２は、皮膚領域抽出部１５１によって抽出された皮膚領域それぞれについて「緑信号」を抽出する。具体的には、算出部１５２は、顔の皮膚領域（顔に設定された関心領域）及び顔以外の部位の皮膚領域（顔以外の部位に設定された関心領域）について、それぞれ「緑信号」を抽出する。
続いて、算出部１５２は、抽出した各皮膚領域の「緑信号」に対してそれぞれ心拍周波数帯域のみを通過させるバンドパスフィルタ処理を施すことによって、各皮膚領域における脈波信号を抽出する。すなわち、緑信号には体動や呼吸性変動などが含まれているため、算出部１５２は、これらを除くためのフィルタ処理を行う。例えば、算出部１５２は、「０．７−２．０ Hz」の周波数帯を通過する次数「５」のバタワースフィルタを使用することで、心拍成分以外の信号成分を除去する。これは健常者の心拍数変動の範囲である、「４０−１２０ bpm」の成分と一致するものである。なお、本実施形態では、心拍周波数帯域のみを通過させるバンドパスフィルタとして、バタワースフィルタを用いる場合を例に挙げたが、実施形態はこれに限定されるものではなく、心拍周波数帯域のみを通過させることができるフィルタであれば、どのようなバンドパスフィルタが用いられる場合であってもよい。
図８は、第１の実施形態に係る脈波信号の抽出を説明するための図である。図８においては、図７の下段に示す「緑信号」から脈波を抽出する場合を示す。また、図８の下段においては、縦軸を「Amplitude（振幅）」とし、横軸を「Time [s]（時間）」とした脈波信号を示す。ここで、第１の実施形態においては、光電容積脈波計などの装置によって計測された脈波「PPG」と区別するために、映像信号から抽出した脈波を図８に示すように「映像脈波（iPPG；image-based photoplethysmography）」と記す。例えば、算出部１５２は、図８に示すように、「緑信号」にフィルタ処理を施すことで、「映像脈波（iPPG）」を抽出する。図８に示すように、抽出される「映像脈波」は、正弦波状の周期的な波形となっており、心臓の１拍動によって生じる脈波がフィルタ処理後の波形の１つの山として現れる。
なお、第１の実施形態においては、原理的に血流増大時に緑信号は減少することになる。そこで、算出部１５２は、血流の増減と緑信号の増減とを一致させるために、緑信号に「−１」を乗算して正負反転させた後に、上述したフィルタ処理を施すことも可能である。図８に示す映像脈波は、正負反転させた波形を示す。
上述したように、算出部１５２は、顔の映像信号の緑色光の輝度情報から顔における映像脈波を抽出し、顔以外の部位の映像信号の緑色光の輝度情報から顔以外の部位における映像脈波を抽出する。そして、算出部１５２は、抽出した各映像脈波を用いて、ＥＣＧのＲ波を用いた「ＰＴＴ」に相当する指標値「ｄＰＴＴ」及び「ＰＤ」を算出する。以下では、まず、「ｄＰＴＴ」の算出について説明した後に、「ＰＤ」の算出について説明する。
血圧変動と相関がある「ＰＴＴ」は、一般的にＥＣＧのＲ波とＰＰＧの特徴点の時間差で定義されるが、「ＰＴＴ」は心臓から拍出された脈波の伝播時間であるため、伝播路となる血管において心臓に近い部位と心臓から離れた部位の２か所で測定した脈波波形を用いることでも定義することができる。すなわち、心臓に近い部位で測定された脈波波形と心臓から離れた部位に測定された脈波波形との伝播時間差を脈波の伝播時間と定義することができる。そこで、第１の実施形態では、顔の映像信号から抽出された脈波波形（iPPG）の特徴点と、顔以外の部位の映像信号から抽出された脈波波形（iPPG）の特徴点との時間差を「ＰＴＴ」に相当する指標値「ｄＰＴＴ：脈波伝播時間差」として用いる。
ここで、脈波波形の特徴点については、明確な定義がなされておらず、複数の決定方法が存在する。例えば、拍内において「ＰＰＧ」の値が最小となる点を特徴点とする「ボトム法」、拍内において「ＰＰＧ」の値が最大となる点を特徴点とする「トップ法」、拍内において速度脈波（ＰＰＧの１階微分波形）が最大となる点を特徴点とする「１次微分法」、及び、拍内において加速度脈波（ＰＰＧの２階微分波形）が最大となる点を特徴点とする「２次微分法」などが挙げられる。算出部１５２は、上記した方法を含む任意の方法によって特徴点を決定することができる。なお、上述した方法においては、「２次微分法」が他の方法に比べて耐雑音性が高い傾向にあるため、「２次微分法」がデフォルトで設定されている場合であってもよい。
算出部１５２は、上述した方法によって脈波波形における特徴点を決定することによって、図９に示すように、「ｄＰＴＴ」を定義して、映像信号から抽出した映像脈波から「ｄＰＴＴ」を算出することができる。図９は、第１の実施形態に係る脈波伝播時間差の定義を示す図である。ここで、図９においては、図中左側に脈波伝播時間「ＰＴＴ」の定義を示し、図中右側に脈波伝播時間差「ｄＰＴＴ」の定義を示す。すなわち、第１の実施形態においては、心電図のＲ波から脈波Ａにおける特徴点までの時間を示す「ＰＴＴ」に相当する指標値として、脈波Ａにおける特徴点と脈波Ｂにおける同一の特徴点との時間差を「ｄＰＴＴ」として用いる。
例えば、算出部１５２は、顔の映像信号から抽出した映像脈波「iPPG」と、顔以外の部位の映像信号から抽出した映像脈波「iPPG」とから２次微分法によってそれぞれ特徴点を検出し、検出した特徴点間の時間差「ｄＰＴＴ」を算出する。算出部１５２は、正弦波状の周期的な波形を示す映像脈波において、心臓の１拍動に対応する１つの山ごとに「ｄＰＴＴ」を算出することで、「ｄＰＴＴ」を経時的に算出する。
次に、「ＰＤ」の算出について説明する。上述したように、第１の実施形態では「ＰＴＴ」に相当する指標値として「ｄＰＴＴ」を算出するが、「ｄＰＴＴ」を用いる場合、特徴点の時刻検出の精度が血圧変動の推定に大きく影響する。特に、「iPPG」は周波数帯域が心拍動に起因する体動による雑音と近く、さらには、皮膚での輝度変化が人間の目には見えないほどの微小な変化であるために、特徴点の位置は雑音によって大きく変動する。その上、特徴点の決定にはどれが最適だという結論には至っておらず、特徴点の決定手法によっては高いサンプリング周波数が必要となるなど、「iPPG」に対して用いるのに適さない場合もある。そこで、第１の実施形態では、特徴点の検出をすることなしに、異なる２つのＲＯＩにおける「iPPG」の位相差から「ＰＴＴ」に相当する「ＰＤ」を算出する。
ここで、算出部１５２は、２つの脈波信号（顔の映像信号から抽出した映像脈波信号及び顔以外の部位の映像信号から抽出した映像脈波信号）の位相差を算出するために、まず、以下で説明するヒルベルト変換を用いた瞬時位相を算出する。時刻「ｔ」における「iPPG」のヒルベルト変換「H[iPPG(t)]」は時間軸では以下の式（８）によって示される。
ここで、式（８）における「*」はコンボリュージョンを示す。式（８）における「1/πt」をフーリエ変換すると「-jsgn(f)」となることから、「H[iPPG(t)]」のフーリエ変換「F[H[iPPG(t)]]」は以下の式（９）のように示される。
すなわち、ヒルベルト変換は、「iPPG(t)」の正負の周波数成分に対してそれぞれ「９０°」 遅らせる、もしくは進める操作である。これによって、「cos」成分は「-sin」成分になり、「sin」成分は「cos」成分になる。
「iPPG(t)」のヒルベルト変換「H[iPPG(t)]」は「iPPG(t)」より位相が「９０°」進んでいるので、瞬時位相「θ(t)」は以下の式（１０）のように示される。
算出部１５２は、上述したヒルベルト変換によって２つの脈波信号の瞬時位相をそれぞれ算出すると、この２つの瞬時位相の差を「ＰＴＴ」に相当する指標値「ＰＤ」として算出する。例えば、異なる２つ領域（顔の領域及び顔以外の領域）から得られる「iPPG」を「iPPG1(t)」、「iPPG2(t)」とすると、上述した式（１０）によって、各「iPPG」の瞬時位相「θ1(t)」及び「θ2(t)」が得られる。このとき、より心臓に近い位置で測定された方を「iPPG1(t)」とすると、脈波は心臓に近い位置から順に伝播していくため、瞬時位相「θ1(t)」は、瞬時位相「θ2(t)」よりも進んでいると考えられる。従って、この２つの瞬時位相の差「ＰＤ」は、２か所の異なるＲＯＩの脈波が伝播する時間差を反映していると考えられるため、ほぼ「ＰＴＴ」と等価であると考えられ、以下の式（１１）によって算出される。このように、算出部１５２は、脈波の瞬時位相を用いることで、１拍につき１点の位相情報を対象とするのではなく、１拍波形全体の情報を対象として位相差を算出する。
図１０は、第１の実施形態に係る瞬時位相差の算出の一例を示す図である。ここで、図１０においては、「映像脈波（iPPG）」から「瞬時位相（θ）」を算出し、「瞬時位相（θ）」から「瞬時位相差（ＰＤ）」を算出する一連の処理を模式的に示す。すなわち、図１０においては、上段に縦軸を「Amplitude（振幅）」とし、横軸を「Time [s]（時間）」とした「映像脈波（iPPG）」を示し、中段に縦軸を「Phase [rad]（位相）」とし、横軸を「Time [s]（時間）」とした「瞬時位相（θ）」を示し、下段に縦軸を「Phase difference [rad]（位相差）」とし、横軸を「Time [s]（時間）」とした「瞬時位相差（ＰＤ）」を示す。
例えば、算出部１５２は、図１０に示すように、顔の映像信号から抽出した映像脈波「iPPG1」と、顔以外の部位（例えば、手など）の映像信号から抽出した映像脈波「iPPG2」とから、それぞれ瞬時位相１「θ1」及び瞬時位相２「θ2」を算出する。ここで、図１０の中段に示す瞬時位相は、（−π，π）の範囲で折り返したものを示す。そして、算出部１５２は、上述した式（１１）を用いて、瞬時位相１「θ1」と瞬時位相２「θ2」との差分をとることで、図１０に示すように、瞬時位相差「ＰＤ」を算出する。
図３に戻って、計測部１５３は、算出部１５２によって算出された差分の増減に応じた対象者の血圧の変動を計測する。具体的には、計測部１５３は、算出部１５２によって算出された脈波伝播時間差「ｄＰＴＴ」又は瞬時位相差「ＰＤ」の増減に応じた対象者の血圧の変動を計測する。ここで、計測部１５３は、差分（「ｄＰＴＴ」又は「ＰＤ」）の増加を血圧の上昇変動として計測し、差分の減少を血圧の下降変動として計測する。すなわち、計測部１５３は、「ｄＰＴＴ」又は「ＰＤ」が増加している場合、血圧が上がっていると判定し、「ｄＰＴＴ」又は「ＰＤ」が減少している場合、血圧が下がっていると判定する。
上述したように、従来の知見においては、血圧変動と「ＰＴＴ」の変動とは負の相関関係があることが分かっている。すなわち、仮に、従来の知見をそのまま用いて血圧の変動を推定すると、「ｄＰＴＴ」又は「ＰＤ」が増加している場合には、血圧が下がっていることを意味し、「ｄＰＴＴ」又は「ＰＤ」が減少している場合には、血圧が上がっていることを意味する。しかしながら、第１の実施形態に係る生体情報計測装置１００においては、それとは逆の相関（すなわち、正の相関関係）を利用して血圧の変動を推定する。以下、実際の実験結果及び第１の実施形態の原理について説明する。
（実験方法）
被験者は「２２．８±１．１」歳の健常成人男性２０名であり、１被験者につき、１回の実験を行った。被験者には安静座位を保ってもらい、５分間の測定を行った。生体信号用の心電・脈波計測アンプならびにセンサを用いて、被験者の胸部に貼った電極（メッツ社製 心電図用電極 ブルーセンサー) からＥＣＧ波形を、左手人差し指に装着した光電容積脈波センサ（Envitec 社製 Nellcor DS-100A)からＰＰＧを測定した。さらに、被験者の左手中指に連続血圧計（Finapres Medical Systems 社製 Portapres)を取り付けて血圧を測定した。各測定信号は「１６−bit」Ａ／Ｄコンバーター（BIOPAC社製 MP150）を用いてサンプリング周波数「１kHz」で記録を行った。
生体信号と同時にビデオカメラを用いて身体映像を撮影した。撮影には産業用ビデオカメラ（Baumer社製 TGX02c）を用いた。最大で「１４０fps」のフレームレートで撮影できること、記録時に時間方向の圧縮処理がかからないことが利点として挙げられるため、このカメラを選定した。図６Ｂに示すように、顔全体と首、右手の掌を含むように画角を設定した。顔と右手を固定するための枠台および、右腕のひじを乗せる台を設け、掌がカメラの方を向くようにして顔の右側に右手を並べてもらった。ビデオカメラと顔の距離は約 「１００ｃｍ」である。今回用いたビデオカメラについて、本実験での設定を以下に示す。なお、撮影開始直後はカメラの自動露出調節などが入るため、開始後５秒間は解析の対象外とした。
ビデオカメラの設定は以下の通りである。
「画素数：４４０×４００pixel」
「フレームレート：１２０fps」
「カラー：２４-bit RGB（３channels×８bits/channel）」
「保存形式：無圧縮avi形式」
「記録時間：３０５ｓ（５分０５秒）」
カメラの脇には顔と手を照らすように、白色の直流ＬＥＤのライト（ハタヤリミテッド社製 LWK-10）を設置した。蛍光灯等の交流電源駆動の照明では映像に商用周波数のノイズが生じることを考慮して、実験環境の照明はこの直流ＬＥＤのみとした。顔、手の位置での照度は「１０００lux」である。
本実験では意図的に血圧を変化させ、その変化を「iPPG」信号から抽出することが可能であるかどうかの検証を行う。今回は血圧を上昇させる負荷として、呼吸停止試験を行った。安静１分、息とめ１分、安静３分の順で、連続して合計５分間の実験を行った。安静時は自由呼吸とし、呼吸統制などは行わなかったが、せきなどの急激な肺内圧や呼吸パターンが変化する行動は極力控えてもらった。また、息とめ１０秒前から被験者が口頭でカウントダウンを行い、息を吸い切った状態で止めるように指示を与え、息とめ方法の統一を図った。被験者によっては息とめが１分間持続しない者もいたため、１分に満たなくても被験者本人が限界だと感じた時点で自由呼吸に移行するように指示した。
（解析方法）
比較対象として従来の方法による「ＰＴＴ」を用いるため、記録されたＥＣＧ信号からＲ波の検出を行った。また、指尖に装着したセンサで測定した近赤外光の光電容積脈波（infrared photoplethysmography：irPPG)に対して通過帯域「１０Hz」以下の５次バタワース低域通過フィルタを施した。フィルタ処理後の「irPPG」波形、および、図６Ｂで示した５箇所のＲＯＩから得られたそれぞれ の「iPPG」波形について、１拍毎に２階微分最大点を検出し、これらを「ＰＴＴ」および「ｄＰＴＴ」算出のための特徴点とする。このＲ波と「irPPG」、「iPPG」の特徴点を用いて、それぞれの組み合わせの脈波伝播時間「ＰＴＴ」を算出した。また、脈波伝播時間差「ｄＰＴＴ」、瞬時位相差「ＰＤ」を算出するための「iPPG」の組み合わせについては後述する。
連続血圧波形からは、１拍毎における最大値（収縮期血圧；systolic blood pressure：ＳＢＰ [mmHg]）、最小値（拡張期血圧；diastolic blood pressure：ＤＢＰ [mmHg]）、平均値（平均血圧；mean blood pressure：ＭＢＰ [mmHg]）をそれぞれ算出した。各被験者の「irPPG」、及び、各「iPPG」信号から得られた「ＰＴＴ」、「ｄＰＴＴ」、「ＰＤ」それぞれに対して、連続血圧計による血圧値との相関を確認した。各信号はスプライン補間によって「２Hz」にリサンプリングした後に両者の類似性を評価するための相関係数「ｒ」を求めた。なお、相関係数「ｒ」は、以下の式（１２）で表される。
ここで、式（１２）における「ｎ」はサンプル数を示し、「ｘi」は血圧を示し、「ｘバーは、「ｘi」の平均値を示し、「ｙi」は各「ＰＴＴ」を示し、「ｙバー」は「ｙi」の平均値を示す。今回の実験目的は１拍毎の正確な血圧を推定することではなく、負荷による血圧の短時間急変動を検知することである。したがって、血管運動性の血圧変動よりも低い周波数成分の相関を確認するため、「ＳＢＰ」、「ＰＴＴ」、「ｄＰＴＴ」、「ＰＤ」の各信号に対して時間方向に「fc＝0.04Hz」低域通過フィルタリングを行った。
（実験結果）
以下、上述した実験の結果を示す。まず、心電図のＲ波と各ＲＯＩの映像脈波間における脈波伝播時間に関する解析結果について、図１１Ａ〜図１２Ｂを用いて説明する。図１１Ａは、第１の実施形態に係る代表的な被験者の各部位におけるＰＴＴの変動を示す図である。ここで、図１１Ａにおいては、縦軸をＰＴＴとし、横軸を時間としたＰＴＴの変動グラフを示す。また、図１１Ａにおいては、ＥＣＧのＲ波を基準として、指尖に装着したセンサで測定したirPPG（指尖）の特徴点から算出したＰＴＴの変動と、図６Ｂに示す顔面左頬（図中の「頬」）の映像信号から抽出したiPPG（頬）の特徴点から算出したＰＴＴの変動と、図６Ｂに示す顔面額（図中の「額」）の映像信号から抽出したiPPG（額）の特徴点から算出したＰＴＴの変動と、図６Ｂに示す右手掌（図中の「手」）の映像信号から抽出したiPPG（手）の特徴点から算出したＰＴＴの変動と、図６Ｂに示す顔面前部全体（図中の「顔」）の映像信号から抽出したiPPG（顔）の特徴点から算出したＰＴＴの変動と、図６Ｂに示す首前部（図中の「首」）の映像信号から抽出したiPPG（首）の特徴点から算出したＰＴＴの変動とを示す。
上述したように、ＰＴＴは、ＥＣＧのＲ波からPPGの特徴点までの時間によって算出されるため、拍動がより遅く到達していればＰＴＴはより大きくなる。ここで、図１１Ａに示すように、各部位のiPPGについては心臓からの距離をそのまま反映しており、「頬」、「顔」、「額」、「指尖」の順に値が大きくなっていることが確認できる。したがって、iPPG波形を用いて末梢に向かって伝播している脈波を取得することによって、ＰＴＴを算出することができると言える。ただし、iPPG(手)のＰＴＴは他領域と比較して、特異な変動を示している。また、iPPG(首)は体動等のノイズが多く含まれ、ＰＴＴ算出のための特徴点検出が困難であった。また、iPPG(首)はすべての被験者でＰＴＴを正確に算出できなかったため、この先の解析からは除く。
図１１Ｂは、第１の実施形態に係る全被験者の各部位におけるＰＴＴの平均値及び標準偏差を示す図である。ここで、図１１Ｂにおいては、縦軸をＰＴＴとし、横方向に各部位のＰＴＴの平均値と標準偏差のグラフを並べた図を示す。なお、iPPG(首)については、上述したようにノイズが大きかったため計算対象から除外している。各部位におけるＰＴＴの平均値は、図１１Ｂに示すように、iPPG（頬）が最も小さく、irPPG（指尖）が最も大きくなっており、心臓からの距離を考えると妥当な結果であると言える。しかしながら、心臓からの距離が顔面よりも離れているiPPG（手）から算出されたＰＴＴは、顔面領域のＰＴＴと同程度であった。
図１２Ａは、第１の実施形態に係る代表的な被験者のＳＢＰと各部位におけるＰＴＴの変動を示す図である。ここで、図１２Ａにおいては、図１１Ａにおける被験者とは異なる他の代表的な被験者について示す。また、図１２Ａにおいては、縦軸をＰＴＴとし、横軸を時間とした各部位におけるＰＴＴの変動グラフを下段に示し、縦軸をＳＢＰとし、横軸を時間としたＳＢＰの変動グラフを上段に示す。ここで、ＳＢＰの変動グラフとＰＴＴの変動グラフとは横軸を一致させており、同一時間におけるＳＢＰの変動とＰＴＴの変動とを比較可能としている。まず、収縮期血圧であるＳＢＰは、図１２Ａに示すように、呼吸停止時に急上昇を示していることがわかる。また、ＳＢＰの増加に伴って、irPPG（指尖）、iPPG（頬、額、顔）それぞれのＰＴＴは減少しているが、iPPG（手）のＰＴＴは増加していることが確認できる。
図１２Ｂは、第１の実施形態に係る全被験者のＳＢＰと各部位におけるＰＴＴの相関係数の平均値と標準偏差を示す図である。図１２Ｂにおいては、縦軸をＳＢＰとの相関係数とし、横方向に各部位における相関係数の平均値と標準偏差のグラフを並べた図を示す。図１２Ｂに示すように、ＳＢＰと各部位におけるＰＴＴとの相関係数は、平均値に対して標準偏差が大きいことから、個人差が大きい結果であることがわかる。ここで、ＰＴＴと血圧との間には負の相関があることが知られているため、相関係数は全て負の値となることが期待されたが、実際には、図１２Ｂに示すように、iPPG（頬、額、顔）のＰＴＴとの相関は弱く、iPPG（手）のＰＴＴとは正の相関を示す結果となった。
次に、２つのＲＯＩの映像脈波間の脈波伝播時間差「ｄＰＴＴ」に関する解析結果について、図１３Ａ〜図１３Ｃを用いて説明する。ここで、「ｄＰＴＴ」を算出する２つのＲＯＩの組み合わせは、（１）顔面左頬−顔面額（以降、「頬-額」と表記）、（２）顔面左頬−右手掌（以降、「頬-手」と表記）、（３）顔面額−右手掌（以降、「額-手」と表記）を選択した。ここで、iPPG（首）はＰＴＴが正確に算出できなかったため組み合わせの候補には含めていない。
図１３Ａは、第１の実施形態に係る代表的な被験者のＳＢＰとｄＰＴＴの変動を示す図である。ここで、図１３Ａにおいては、縦軸をｄＰＴＴとし、横軸を時間とした各組み合わせにおけるｄＰＴＴの変動グラフを下段に示し、縦軸をＳＢＰとし、横軸を時間としたＳＢＰの変動グラフを上段に示す。ここで、ＳＢＰの変動グラフとｄＰＴＴの変動グラフとは横軸を一致させており、同一時間におけるＳＢＰの変動とｄＰＴＴの変動とを比較可能としている。図１３Ａに示すように、iPPG（手）との時間差を取ったｄＰＴＴである図中の iPPG（手）−iPPG（頬）、及び、iPPG（手）−iPPG（額）は、例えば、呼吸停止中に増加するなど、全体的にＳＢＰに近い変動をしていることがわかる。一方、共に顔の領域での時間差を取ったｄＰＴＴであるiPPG（額）−iPPG（頬）は、図１３Ａに示すように、他の２つの組み合わせと比較して、ＳＢＰとそれほど近い変動をしめさないことがわかる。なお、この被験者は、iPPG（手）の特徴点がiPPG（額）の特徴点よりも時間的に先に現れた場合があったため、図１３ＡのiPPG（手）−iPPG（額）のｄＰＴＴが負の値となっている部分がある。
図１３Ｂは、第１の実施形態に係る全被験者の各組み合わせにおけるｄＰＴＴの平均値と標準偏差を示す図である。ここで、図１３Ｂにおいては、縦軸をｄＰＴＴとし、横方向に各組み合わせにおけるｄＰＴＴの平均値と標準偏差のグラフを並べた図を示す。図１３Ｂに示すように、iPPG（手）−iPPG（額）のように、測定する２箇所のそれぞれの心臓からの距離の差が大きくとも、ｄＰＴＴの値が「０．０１ｓ」前後であるという結果を示した。このように、ｄＰＴＴの絶対値が小さいと、血圧変動時のｄＰＴＴのダイナミックレンジが小さくなってしまうため、iPPG（手）−iPPG（額）と比較して、ｄＰＴＴの絶対値が大きいiPPG（額）−iPPG（頬）や、iPPG（手）−iPPG（頬）から算出したｄＰＴＴを用いた方が良いと考えられる。
図１３Ｃは、第１の実施形態に係る全被験者のｄＰＴＴとＳＢＰとの相関係数の平均値と標準偏差を示す図である。図１３Ｃにおいては、縦軸をＳＢＰとの相関係数とし、横方向に各組み合わせにおける相関係数の平均値と標準偏差のグラフを並べた図を示す。図１３Ｃに示すように、ＳＢＰと各組み合わせにおけるｄＰＴＴとの相関係数は、平均値に対して標準偏差が大きいことから、個人差が大きい結果であることがわかる。上述した心電図のＲ波と各ＲＯＩの映像脈波間における脈波伝播時間の解析時と同様に、相関係数は全て負の値となることを予想していたが、iPPG（手）との時間差を計算したｄＰＴＴである図中のiPPG（手）−iPPG（頬）、及び、iPPG（手）−iPPG（額）は、全てＳＢＰと正の相関関係であった。これは、iPPG（頬、額）と比べ、iPPG（手）におけるＰＴＴの変化が大きかったため、両者の差を計算してもiPPG（手）の影響が大きく残っているためであると考えられる。
次に、２つのＲＯＩの映像脈波間の瞬時位相差「ＰＤ」に関する解析結果について、図１４Ａ及び図１４Ｂを用いて説明する。ここで、「ＰＤ」を算出する２つのＲＯＩの組み合わせは、「ｄＰＴＴ」を算出する際と同じ組み合わせを用いた。図１４Ａは、第１の実施形態に係る代表的な被験者のＳＢＰとＰＤの変動を示す図である。ここで、図１４Ａにおいては、縦軸をＰＤとし、横軸を時間とした各組み合わせにおけるＰＤの変動グラフを下段に示し、縦軸をＳＢＰとし、横軸を時間としたＳＢＰの変動グラフを上段に示す。ここで、ＳＢＰの変動グラフとＰＤの変動グラフとは横軸を一致させており、同一時間におけるＳＢＰの変動とＰＤの変動とを比較可能としている。
図１４Ａに示すように、iPPG（手）との瞬時位相差を計算したＰＤである図中のiPPG（手）−iPPG（頬）、及び、iPPG（手）−iPPG（額）は、ｄＰＴＴの結果と同様に、全体的にＳＢＰに近い変動をしていることがわかる。また、共に顔の領域での瞬時位相差を計算したＰＤであるiPPG（額）−iPPG（頬）についても、ｄＰＴＴの結果と同様に、他の２つの組み合わせと比較して、ＳＢＰとそれほど近い変動をしめさないことがわかる。なお、この被験者は、iPPG（手）の瞬時位相がiPPG（額）の瞬時位相よりも進んで現れた場合があったため、図１４ＡのiPPG（手）−iPPG（額）のＰＤが負の値となっている部分がある。
図１４Ｂは、第１の実施形態に係る全被験者のＳＢＰとＰＤとの相関係数の平均値と標準偏差を示す図である。図１４Ｂにおいては、縦軸をＳＢＰとの相関係数とし、横方向に各組み合わせにおける相関係数の平均値と標準偏差のグラフを並べた図を示す。図１４Ｂに示すように、ＳＢＰと各組み合わせにおけるＰＤとの相関係数は、平均値に対して標準偏差が大きいことから、個人差が大きい結果であることがわかる。ここで、相関係数の傾向は、ｄＰＴＴと同様の結果となった。したがって、ＳＢＰとの関係性について、異なる２箇所のiPPGを用いたｄＰＴＴとＰＤは類似した情報を含んでいると考えられる。
以上の結果より、顔の映像信号から抽出した映像脈波「iPPG」と、顔以外の部位（例えば、手など）の映像信号から抽出した映像脈波「iPPG」とから算出した「ｄＰＴＴ」及び「ＰＤ」は、血圧と正の相関があることが示されたが、標準偏差が大きいことから個人差も大きいといえる結果となった。要因としては、呼吸停止負荷時に血圧がほとんど上昇しなかった被験者において、信号の低周波成分の変動が見られなかったことが考えられる。また、ＰＴＴ、ｄＰＴＴとＳＢＰとの相関の強さには個人差があることも知られている。これは、式（１）〜式（７）から分かるように、血管特性によって血圧変動が脈波伝播時間の変動として反映されやすい人とそうでない人が存在するということである。
このように個人差は大きいが、指標として有用性がないわけではない。なぜならば、上記のような個人差は若年者の生活習慣（運動習慣）などに起因するという報告もあり、一方で、高齢者ほど動脈壁の伸展性が低下し、ＰＴＴ、ｄＰＴＴとＳＢＰとの相関が強くなるとの報告もある。さらに、若年者と比較して高齢者の負荷時の血圧上昇が著しいことなども踏まえると、高齢者を被験者として実験を行った場合に、今回の実験結果よりも相関は強くなると考えられる。高齢者は、血圧変動によって生体が危険にさらされる可能性が高い。そこで、若年者の中でも血圧変動がＰＴＴに反映されやすい被験者に絞って、さらに解析を行った。
具体的には、全２０名の被験者からＰＴＴ、ｄＰＴＴに血圧変動が反映されやすい被験者を選抜して、その被験者のみで傾向を確認するためのスクリーニングを行った。図１５Ａは、第１の実施形態に係るirPPG（指尖）のＰＴＴとＳＢＰとの相関係数のヒストグラムを示す図である。図１５Ａにおいては、縦軸を被験者数とし、横方向を相関係数としたヒストグラムを示す。図１５Ａに示すように、irPPG（指尖）のＰＴＴとＳＢＰとの相関係数は、全２０名の被験者において、バラつきがある。若年者の中でも血圧変動がＰＴＴに反映されやすい被験者を対象として解析するため、図１５Ａに示すヒストグラムのうち相関係数が「−０．５」以下となる被験者９名（以降スクリーニング群と呼ぶ）を選抜して、その被験者群におけるiPPGによる血圧推定精度を確認した。
まず、ＰＴＴに関して、スクリーニング前後の比較を行った。図１５Ｂは、第１の実施形態に係るＰＴＴとＳＢＰの相関係数に関するスクリーニング前後の比較を示す図である。ここで、図１５Ｂにおいては、全被験者（ｎ＝２０）とスクリーニング群の被験者（ｎ＝９）のＳＢＰと各部位iPPGにおけるＰＴＴとの相関係数の平均値と標準偏差を示す。また、図１５Ｂにおいては、縦軸を相関係数とし、横方向に各部位におけるスクリーニング前後の相関係数の平均値と標準偏差のグラフを並べた図を示す。図１５Ｂに示すように、選抜された被験者（スクリーニング群の被験者）は、iPPG（頬）、iPPG（額）のＰＴＴとＳＢＰとの相関が強まる傾向にあることが分かる。すなわち、血圧変動が指尖のＰＴＴに反映されやすい被験者は、頬や額においてもＰＴＴとして反映される傾向があるといえる。一方、iPPG（手）のＰＴＴではスクリーニング前後で相関関係の変化はみられなかった。指尖と掌という、互いに近い位置関係であるにも関わらず、血圧変動に対する相関の傾向が異なった理由としては、irPPGとiPPGが有する血圧情報の違いが考えられるが、詳細は後述する。
次に、ｄＰＴＴに関して、スクリーニング前後の比較を行った。図１５Ｃは、第１の実施形態に係るｄＰＴＴとＳＢＰの相関係数に関するスクリーニング前後の比較を示す図である。ここで、図１５Ｃにおいては、全被験者（ｎ＝２０）とスクリーニング群の被験者（ｎ＝９）のＳＢＰと各部位iPPGにおけるｄＰＴＴとの相関係数の平均値と標準偏差を示す。また、図１５Ｃにおいては、縦軸を相関係数とし、横方向に各組み合わせにおけるスクリーニング前後の相関係数の平均値と標準偏差のグラフを並べた図を示す。図１５Ｃに示すように、いずれの組み合わせにおいても、スクリーニング前後で平均値に大きな差がなく、被験者を選抜しても、ｄＰＴＴとＳＢＰとの相関係数に大きな違いはみられないことがわかる。また、iPPG（額）−iPPG（頬）のｄＰＴＴとＳＢＰ との相関は特に弱く、現在の手法では顔のみを撮影した身体映像から血圧変動を推定するのは困難であるといえる。
次に、ＰＤに関して、スクリーニング前後の比較を行った。図１５Ｄは、第１の実施形態に係るＰＤとＳＢＰの相関係数に関するスクリーニング前後の比較を示す図である。ここで、図１５Ｄにおいては、全被験者（ｎ＝２０）とスクリーニング群の被験者（ｎ＝９）のＳＢＰと各部位iPPGにおけるＰＤとの相関係数の平均値と標準偏差を示す。また、図１５Ｄにおいては、縦軸を相関係数とし、横方向に各組み合わせにおけるスクリーニング前後の相関係数の平均値と標準偏差のグラフを並べた図を示す。図１５Ｄに示すように、いずれの組み合わせにおいても、スクリーニング前後で平均値に大きな差がなく、被験者を選抜しても、ＰＤとＳＢＰとの相関係数に大きな違いはみられなかった。また、全被験者の相関係数の絶対値を計算し、スチューデントのt検定を行った。その結果、irPPG（指尖）のＰＴＴとiPPG（手）−iPPG（頬）のＰＤ、iPPG（手）−iPPG（額）のＰＤとのそれぞれの組み合わせについて第１の実施形態に係る手法の方が、相関係数が有意に高かった（ｐ＜０．０５）。さらに、ＳＢＰとの相関係数の絶対値について、スクリーニング後のiPPG（手）−iPPG（頬）、iPPG（手）−iPPG（額）のＰＤは、リファレンスであるirPPG（指尖）のＰＴＴとほぼ同等（ｒ＝０．６前後）であり、被験者を限定すれば、これらのＲＯＩに着目することで身体映像のみから血圧変動を推定できる可能性が示唆された。
最後に、スクリーニング群の被験者のみについて、ｄＰＴＴとＰＤとの比較を行った。図１５Ｅは、第１の実施形態に係るスクリーニング群の被験者のｄＰＴＴとＰＤとの比較を示す図である。ここで、図１５Ｅにおいては、スクリーニング群の被験者（ｎ＝９）のＳＢＰと各部位iPPGにおけるｄＰＴＴおよびＰＤの相関係数の平均値と標準偏差を示す。また、図１５Ｅにおいては、縦軸を相関係数とし、横方向に各組み合わせにおけるｄＰＴＴ及びＰＤとＳＢＰとの相関係数の平均値と標準偏差のグラフをそれぞれ並べた図を示す。図１５Ｅに示すように、iPPG（手）−iPPG（頬）、及び、iPPG（手）−iPPG（額）のＰＤは、ｄＰＴＴよりもＳＢＰに対して強い相関を有していることがわかる。
上述したように、顔と顔以外（手）の２か所の映像脈波からｄＰＴＴ及びＰＤを算出した場合、血圧変動と正の相関関係を示すという結果が得られた。この結果は、ＰＴＴが血圧変動と負の相関関係を示すというこれまでの知見とは異なる結果であるが、この点について図１６を用いて説明する。図１６は、第１の実施形態に係る脈波伝播時間の変化を模式的に示す図である。図１６においては、通常時から血圧が上昇した場合の脈波伝播時間の変化について示す。例えば、顔の脈波伝播時間「ＰＴＴ（顔）」は、図１６に示すように、手の脈波伝播時間「ＰＴＴ（手）」と比較して短い。これは、心臓からの距離に応じたものであり、通常時も血圧上昇時も変わらない。
ここで、通常時から血圧が上昇すると、血圧の上昇に伴って、「ＰＴＴ（顔）」が短縮されるが、「ＰＴＴ（手）」は計測手法によって短縮又は延長される。すなわち、図１６に示すように、「ＰＴＴ（手）」が光電容積脈波計によって計測されたirPPGを用いて算出された場合には、血圧が上昇すると、「ＰＴＴ（手）」は、「ＰＴＴ（顔）」と同様に短縮される。一方、「ＰＴＴ（手）」がビデオカメラによって撮影された映像信号から抽出されたiPPGを用いて算出された場合には、血圧が上昇すると、「ＰＴＴ（手）」は延長される。すなわち、２つのＲＯＩ（顔と手）における脈波伝播時間の差である「ＰＴＴ（手−顔）」は、顔領域ではＰＴＴ（顔）が短縮されるのに対して手領域ではＰＴＴ（手）が延長されるので、血圧の上昇に伴って時間差が増大する正の相関関係を示すこととなる。
このように、同じ手の領域でありながら、計測手法によってＰＴＴと血管との相関関係が変わってくる理由としては、irPPGの計測に用いられる光とiPPGの計測に用いられる光の波長による皮膚透過深度の差異と、手の領域では末梢血管抵抗増大による脈波出現の遅延が生じるということが挙げられる。具体的には、irPPGの計測に用いられる光とiPPGの計測に用いられる光とでは、波長の違いから皮膚透過深度に差異があり、計測の対象となる血流が異なる。そして、この計測対象となる血流の一方が、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流であり、他方が影響を受けない血流であるため、計測手法によってＰＴＴと血管との相関関係が変わってくるものと考えられる。以下、これらの詳細について説明する。
まず、光の皮膚透過深度の差異について説明する。図１７は、第１の実施形態に係る光の皮膚透過深度の差異を説明するための図である。図１７においては、人の皮膚構造の模式図と、光の皮膚透過深度、及び、irPPG及びiPPGを計測する光の波長と血管の拍動との関係を示す。図１７に示すように、皮膚は表面から表皮、真皮、皮下組織の３層から構成され、真皮は乳頭層ならびに網状層から構成される。皮膚の各層の厚さは体の部位によって異なり、皮下組織を除く表皮と真皮の厚さでは、まぶたが最も薄く（０．６０ｍｍ）、背中が最も厚い（２．３０ｍｍ）。真皮を流れる皮膚血流に関しては、動脈として、皮下組織から真皮に上行し、そこで一旦、皮下血管叢を形成する。さらに動脈として上方（表面）へ伸びた後に、乳頭下血管叢を形成する。その後、毛細血管としてループ状血管を真皮乳頭層内で形成したのち、乳頭下血管叢として静脈に戻る。
このような構造の皮膚に対し、それを光学的に捉えた場合、皮膚の各要素は異なる特性を有するとされる。表皮は「２４０ｎｍ」未満のＵＶ光を強く吸収するメラニンを含んでおり、光の散乱に関しては表皮ではほとんど重要でないと考えられる。真皮については、真皮乳頭毛細血管が存在し、血中ヘモグロビン、ベータカロチン、ビリルビンといった吸収体が「３２０ｎｍ」より長い波長成分の光を吸収している。また、コラーゲンまたは血球による光の散乱はこれらの波長の光が真皮に浸透する深度を大部分決定している。透過深度とは、皮膚内部に侵入する光強度が皮膚表面の３７％（＝１／ｅ）まで減少する距離（深さ）として定義される。第１の実施形態にて用いた光源では、緑色光（５２５ｎｍ）で透過深度が「３００μｍ」、近赤外光（８００ｎｍ）で透過深度「１２００μｍ」となっている。したがって、iPPGでは皮膚浅部の表皮毛細血管血流を捉え、irPPGでは動脈の血流を捉えていると推察することができる。すなわち、光の波長と血管の拍動との関係は、図１７に示すように、緑色光（５００−５７０ｎｍ）が表皮の毛細血管血流の充満状態を示し、近赤外光（８００−９００ｎｍ）が動脈の容積変化を示す。
次に、手の領域における末梢血管抵抗増大による脈波出現の遅延について説明する。手領域を含めたiPPGによるＰＴＴが血圧変動と正相関する理由として、血圧変動に対する手と顔面の血管収縮の差異が挙げられる。今回の実験方法では、呼吸停止負荷によって交感神経を賦活化させた。交感神経活動が優位になると、心臓の収縮力の上昇、末梢血管抵抗の上昇、血液粘度の上昇等の要因によって血圧が上昇する。このとき、末梢の細動脈は交感神経の支配を受け、末梢血管抵抗を上昇させるため、皮膚表面に流入する血流量は相対的に低下する。したがって、血圧上昇時に手領域の脈波は動脈から皮膚表層に出現するまでに遅延を生じ、皮膚表層で観測されるＰＴＴが増大すると考えられる。
一方、顔面領域においては、血管の拡縮は交感神経だけでなく副交感神経の支配も受けるという報告がある。身近な例だと寒い時に頬が赤くなることが挙げられるが、これは寒冷環境で末梢血管が閉まっても顔面領域における皮膚表面血流の過度な減少がないためである。今回の実験においても交感神経活動が優位となるが、顔面においては副交感神経支配の作用も受けているため血管の収縮が起こらず、脈波が動脈から皮膚表層に出現するまでの遅延が起きなかったと考えられる。
さらに、脈波が動脈から皮膚表層に出現するまでの遅延は皮膚構造にも依存すると考えられる。動脈は皮下組織深部から真皮層までを覆っており、皮膚表層に出現するまでの遅延は表皮層の厚さに依存する。掌の表皮層の厚さは約「６００μｍ」、頬の表皮層の厚さは約「１００μｍ」である。このことも、手領域で脈波が動脈から皮膚表層に出現するまでの遅延が大きくなった要因として考えられる。
以上、実際の実験結果及び第１の実施形態の原理について説明した。上述したように、顔及び手の映像信号の緑色光の輝度情報から算出した「ｄＰＴＴ」及び「ＰＤ」は血圧と正の相関関係を有するが、これは、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位と顔とであれば同様の相関関係が成り立つと考えられる。例えば、顔と足や、顔と腕などでも「ｄＰＴＴ」及び「ＰＤ」は血圧と正の相関関係を有すると考えられる。
そこで、第１の実施形態に係る算出部１５２は、顔以外の部位として、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位を対象とし、顔の映像信号の輝度情報と、顔以外の部位の映像信号の輝度情報との差分を算出する。このとき、算出部１５２は、表皮の毛細血管血流の充満状態を反映した緑色光に基づいて差分を算出するために、対象者の顔の表皮にて反射された光に基づく映像信号の輝度情報と、顔以外の部位の表皮にて反射された光に基づく映像信号の輝度情報との差分を算出する。これにより、計測部１５３は、差分の増加を血圧の上昇変動として計測し、差分の減少を血圧の下降変動として計測することが可能となる。
以下、計測部１５３による血圧変動の計測の一例を説明する。例えば、計測部１５３は、算出部１５２によって算出された差分（ｄＰＴＴ又はＰＤ）に基づいて、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも１つを計測する。図１８Ａ〜図１８Ｃは、第１の実施形態に係る血圧変動の計測の一例を説明するための図である。ここで、図１８Ａ〜図１８Ｃにおいては、縦軸をＰＤとし、横軸を時間としたＰＤの変動グラフを示す。
例えば、計測部１５３は、図１８ＡのＰＤ１に示すように、算出部１５２によって算出されたＰＤが経時的に増加している場合、この時の対象者の血圧が上昇していると判定する。また、例えば、計測部１５３は、図１８ＡのＰＤ２に示すように、算出部１５２によって算出されたＰＤが経時的に減少している場合、この時の対象者の血圧が下降していると判定する。ここで、計測部１５３は、計測開始からの増加分又は減少分が所定の割合に達した場合に、血圧が上昇している、又は、下降していると判定する場合であってもよい。
また、例えば、計測部１５３は、図１８ＢのＰＤ３に示すように、算出部１５２によって算出されたＰＤがベースラインよりも高い場合に、血圧が上昇していると判定し、ベースラインからの増加分を計測する。ここで、図１８Ｂに示すベースラインとは、血圧の状態を判定する基準値であり、任意に設定することができる。例えば、対象者の年齢、性別などに対応する標準の血圧値に相当するＰＤの値をベースラインとして設定する場合であってもよい。或いは、対象者の過去のＰＤの値から基準値を算出してベースラインとして設定する場合であってもよい。かかる場合には、例えば、計測部１５３は、対象者の過去のＰＤの値の平均値を算出して、算出した平均値をベースラインとして設定することもできる。
また、例えば、計測部１５３は、図１８ＢのＰＤ４に示すように、算出部１５２によって算出されたＰＤがベースラインよりも高い場合に、血圧が下降していると判定し、ベースラインからの減少分を計測する。ここで、図１８Ｂに示すベースラインは、１つ設定され、血圧上昇時及び血圧下降時の両方で同じベースラインが用いられてもよいが、上昇時に用いるベースラインと、下降時に用いるベースラインとをそれぞれ設定する場合であってもよい。かかる場合には、例えば、過去のＰＤの平均値から「＋５％」の値を上昇時に用いるベースラインとし、平均値から「−５％」の値を下降時に用いるベースラインとしてもよい。また、その逆に、「＋５％」の値を下降時に用いるベースラインとし、平均値から「−５％」の値を上昇時に用いるベースラインとしてもよい。
また、例えば、計測部１５３は、図１８Ｃに示すように、ＰＤの変動における種々の値を計測することができる。例えば、計測部１５３は、図１８Ｃに示すＰＤ５において、ＰＤが増加した後にベースラインに戻るまでの時間「ｔ１」を計測する。また、例えば、計測部１５３は、図１８Ｃに示すＰＤ５において、ＰＤが増減した後にベースラインに戻るまでの時間「ｔ２」を計測する。ここで、ベースラインに戻るまでの時間に判定基準を設けることで、計測された時間が注意すべき兆候であるか否かを判定することもできる。例えば、ＰＤが増加した後にベースラインに戻るまでの時間に所定の閾値を設ける。計測部１５３は、計測した時間「ｔ１」と設定された所定の閾値とを比較して、計測した時間「ｔ１」が所定の閾値よりも長い場合に、注意すべき兆候であると判定する。一方、計測した時間「ｔ１」が所定の閾値よりも短い場合には、計測部１５３は、注意すべき兆候ではないと判定する。
また、例えば、計測部１５３は、図１８Ｃに示すＰＤ５において、ＰＤの増加ピークとベースラインとの差分「ｄ１」や、ＰＤの減少ピークとベースラインとの差分「ｄ２」、ＰＤの増加ピークと減少ピークとの差分「ｄ３」などを計測する。ここで、これら差分に対しても判定基準を設けることで、計測された差分が注意すべき兆候であるか否かを判定することもできる。例えば、増加ピークとベースラインとの差分に所定の閾値を設ける。計測部１５３は、計測した差分「ｄ１」と設定された所定の閾値とを比較して、計測した差分「ｄ１」が所定の閾値よりも大きい場合に、注意すべき兆候であると判定する。一方、計測した差分「ｄ１」が所定の閾値よりも小さい場合には、計測部１５３は、注意すべき兆候ではないと判定する。
上述したように、計測部１５３は、算出部１５２によって算出された差分を用いて血圧の変動を計測し、計測結果を用いて判定処理を行う。このように血圧変動の計測や判定処理を実行すると、計測部１５３は、計測結果や判定結果を計測結果記憶部１４２に格納する。例えば、計測部１５３は、図４Ａに示す計測結果を計測結果記憶部１４２に格納する。なお、上述した例は、あくまでも一例であり、実施形態はこれに限定されるものではない。すなわち、計測部１５３によって計測される項目や、設定する閾値は、操作者によって任意に設定することができる。また、計測対象も「ＰＤ」に限らず、計測部１５３は、「ｄＰＴＴ」についても同様に計測や判定処理を実行することができる。
ここで、計測部１５３は、「ＰＤ」や「ｄＰＴＴ」を用いた計測や判定だけではなく、「ＰＤ」や「ｄＰＴＴ」を血圧値に変換した後に計測や判定を行う場合であってもよい。具体的には、計測部１５３は、参照情報記憶部１４３によって記憶された参照情報を参照して、「ＰＤ」又は「ｄＰＴＴ」を血圧値に変換して、変換した血圧値を用いて計測及び判定を行う。一例を挙げると、計測部１５３は、図４Ｂに示す参照情報に含まれる「ＰＤ」の血圧値変換情報を参照して、図１８Ｃに示すＰＤの変動グラフを血圧値の絶対値の変動グラフに変換して、差分「ｄ１」〜「ｄ３」を計測する。なお、「ＰＤ」や「ｄＰＴＴ」の血圧値変換情報は、それぞれ１つ記憶させておく場合であってもよいが、種々の環境ごとに複数の血圧値変換情報を記憶させておく場合であってもよい。かかる場合には、例えば、計測場所ごとの血圧値変換情報を記憶させてもよく、さらに、時間帯ごとの血圧値変換情報を記憶させてもよい。
すなわち、血圧値は通常生活の中で変動しやすい生体情報であり、時間帯や場所などによって変化する場合がある。さらに、「ＰＤ」や「ｄＰＴＴ」の値と血圧値との対応が常に一定であるとは限らない。したがって、種々の環境ごとに複数の血圧値変換情報を記憶させておき、計測部１５３が、現時点の環境に対応する血圧値変換情報を読み出して、「ＰＤ」或いは「ｄＰＴＴ」を血圧値に変換するようにしてもよい。
また、計測部１５３は、「ＰＤ」及び「ｄＰＴＴ」を血圧値に変換するだけではなく、「ＰＤ」や「ｄＰＴＴ」に対する補正処理を行うこともできる。例えば、計測部１５３は、対象者が撮影された場所の温度及び湿度のうち少なくとも一方を用いて、算出部１５２によって算出された差分又は基準値を補正したうえで、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも１つを計測する。すなわち、計測部１５３は、対象者が撮影されている場所の温度や湿度に対応する補正情報を参照情報記憶部１４３から読み出して、「ＰＤ」又は「ｄＰＴＴ」、或いは、ベースラインを補正した後に、上述した計測や判定処理を実行する。一例を挙げると、計測部１５３は、対象者が撮影されている場所の温度と湿度の情報を取得して、図４Ｂに示す参照情報から取得した温度と湿度に対応する補正情報を読み出し、読み出した補正情報を用いて補正処理を行ったうえで、計測や判定を行う。
上述したように、血圧変動に関する計測を実行すると、計測部１５３は、計測結果を計測結果記憶部１４２に格納するとともに、出力制御部１５４に送信する。出力制御部１５４は、顔及び顔以外の映像信号の輝度情報、算出部１５２によって算出された差分、及び、計測部１５３による計測結果のうち少なくとも１つに基づく出力情報を出力部１２０ａ又は出力装置１２０ｂにて出力させるように制御する。なお、出力部１２０ａ及び出力装置１２０ｂにて出力される出力情報については、後に詳述する。
上述したように、生体情報計測装置１００は、対象者の映像信号における輝度値の変化（緑信号の変化）に基づいて血圧の変動を計測する。ここで、対象者を撮影している際に、対象者が動いたり、カメラが動いたりすることにより、映像内の対象者の皮膚領域が動く（並進運動・回転運動する）場合がある。また、対象者を撮影している際に、皮膚に照射される周辺光の強度が変化する場合もある。このような皮膚領域の動きに伴う輝度値の変化や周辺光の強度の時間的変化は、実際の血液量の変化を直接反映しない雑音成分となる可能性がある。そこで、本願に係る生体情報計測装置１００は、上記した状況を考慮した処理を実行する。
皮膚領域の並進運動・回転運動による雑音に対しては、生体情報計測装置１００は、肌色部分の逐次的トラッキングにより補正する。例えば、皮膚領域抽出部１５１は、皮膚領域が次のフレームでどのように変化したかを順次探索することで、各フレームの皮膚領域を抽出する。一例を挙げると、皮膚領域抽出部１５１は、映像中の特徴点の位置や、複数の特徴点間の相互の位置関係などを変化（更新）させながら、各フレーム内の皮膚領域を抽出する。なお、逐次的トラッキングは、上記した例に限らず、どのような手法が用いられてもよい。
周辺光の強度の時間的変化に対しては、生体情報計測装置１００は、照度センサ１６０によって測定された照度に応じて照明部１７０を制御することで、対象者の皮膚付近の光の強度を調整する。具体的には、フィードバック制御部１５５は、照度センサ１６０から受信した照度に基づいて、照明部１７０から照射される光の強度を変化させる。すなわち、フィードバック制御部１５５は、照度センサ１６０によって測定される照度が一定値に保たれるように、照明部１７０から照射される光の強度を変化させる。これにより、例えば、周辺光の強度が時間的に変化する可能性が高い自動車内のような環境であっても、精度の高い血圧の計測を行うことができる。
なお、フィードバック制御部１５５は、上記した処理とは異なるフィードバック制御も行うことができる。例えば、フィードバック制御部１５５は、照度センサ１６０の測定結果を用いずに、映像信号の輝度値の変化に基づくフィードバック制御を行うことで、周辺光の強度の時間的変化を補正することができる。一例を挙げると、フィードバック制御部１５５は、皮膚領域の平均輝度において、直流成分及び交流成分における心拍周波数帯域よりも低い周波数成分が一定値に保たれるように、照明部１７０から照射される光の強度を変化させる。
なお、図３においては、生体情報計測装置１００が、照度センサ１６０及び照明部１７０を備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報計測装置１００の外部にある照度センサ１６０及び照明部１７０が、生体情報計測装置１００に接続される場合であってもよい。また、照度センサ１６０及び照明部１７０が映像取得装置１１０ｂに備えられ、生体情報計測装置１００におけるフィードバック制御部１５５が、ネットワーク３００を介して照明部１７０を制御する場合であってもよい。
上述した例では、周辺光の強度の時間的変化に対して照明部１７０を用いて補正する場合について説明した。しかしながら、生体情報計測装置１００は、照度センサ１６０や照明部１７０を用いずに周辺光の強度の時間的変化に対する補正を行うことも可能である。例えば、算出部１５２は、対象者の映像信号における所定の長さの時間区間に含まれるフレームについて、皮膚領域の輝度平均値のフレーム間の差分をそれぞれ算出する。そして、算出部１５２は、算出したフレーム間の差分の絶対値を所定の閾値とそれぞれ比較し、所定の閾値よりも大きい差分を「０」とする補正を行う。このように、算出部１５２は、所定の長さの時間区間に含まれるフレーム間の各差分において、差分の絶対値が所定の閾値よりも大きいものを「０」にしたフレーム間の差分の累積値の時系列を、皮膚領域の輝度平均値の時系列（緑信号）として算出する。これにより、補正前の輝度平均値の時系列に含まれる急激なバイアス成分の変化がキャンセルされ、バンドパスフィルタによっても除去しにくい低周波成分の過渡応答を抑制することができる。これは、非線形フィルタである「εフィルタ」の１つの形態である。
次に、生体情報計測装置１００による処理の流れについて説明する。図１９は、第１の実施形態に係る生体情報計測装置１００の処理手順を示すフローチャートである。図１９に示すように、生体情報計測装置１００においては、映像取得部１１０ａ又は映像取得装置１１０ｂが対象者の顔と顔以外の部位を撮影する（ステップＳ１０１）。
そして、皮膚領域抽出部１５１が、肌の色に相当する領域を自動で抽出する、或いは、操作者によって手動で設定されることによって、顔と顔以外の部位に関心領域（ＲＯＩ）をそれぞれ設定する（ステップＳ１０２）。その後、算出部１５２が、設定された関心領域それぞれにおける緑色光の輝度平均値を算出し（ステップＳ１０３）、算出した輝度平均値から「ＰＤ」又は「ｄＰＴＴ」を算出する（ステップＳ１０４）。
そして、計測部１５３が「ＰＤ」又は「ｄＰＴＴ」の変動を計測することで、対象者の血圧の変動を計測する（ステップＳ１０５）。その後、出力部１２０ａ或いは出力装置１２０ｂが、計測結果を出力する（ステップＳ１０６）。
上述したように、第１の実施形態によれば、算出部１５２は、対象者の顔の映像信号の輝度情報と、対象者の顔の映像信号と同一時間の顔以外の部位の映像信号の輝度情報との差分を算出する。計測部１５３は、差分の増減に応じた対象者の血圧の変動を計測する。したがって、第１の実施形態に係る生体情報計測装置１００は、人体の血圧変動を簡便に非接触に測定することができる。
また、第１の実施形態によれば、算出部１５２は、対象者の顔の表皮にて反射された光に基づく映像信号の輝度情報と、顔以外の部位の表皮にて反射された光に基づく映像信号の輝度情報との差分を算出する。ここで、顔以外の部位は、血圧上昇時に末梢の細動脈が交感神経の支配をうけて末梢血管抵抗を上昇させる部位である。そして、計測部１５３は、差分の増加を血圧の上昇変動として計測し、差分の減少を血圧の下降変動として計測する。また、算出部１５２は、対象者の顔及び顔以外の部位の映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した各映像信号中の緑色光の輝度値における所定の特徴点間の時間差、又は、各映像信号中の緑色光の輝度値の位相差を算出する。計測部１５３は、時間差又は位相差の増減に応じた対象者の血圧の変動を計測する。したがって、第１の実施形態に係る生体情報計測装置１００は、血圧変動と正の相関関係を示し、さらに相関が高い指標値を用いて血圧変動を計測することができる。
また、第１の実施形態によれば、計測部１５３は、差分に基づいて、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも１つを計測する。したがって、第１の実施形態に係る生体情報計測装置１００は、対象者に血圧について種々の情報を提供することができる。
また、第１の実施形態によれば、計測部１５３は、対象者が撮影された場所の温度及び湿度のうち少なくとも一方を用いて、算出部１５２によって算出された差分又は基準値を補正したうえで、対象者の血圧の基準値からの変動、基準値と血圧上昇時の最高値との差、血圧上昇時の最高値と血圧下降時の最低値との差、及び、血圧の変動開始から基準値に戻るまでの時間のうち少なくとも１つを計測する。したがって、第１の実施形態に係る生体情報計測装置１００は、環境に応じた血圧変動を計測することができる。
また、第１の実施形態によれば、計測部１５３は、差分と血圧値との対応情報に基づいて、算出部１５２によって算出された差分に対応する血圧値を算出する。したがって、第１の実施形態に係る生体情報計測装置１００は、非接触で血圧の絶対値の情報を提供することができる。
（生体情報計測装置の適用例）
次に、上述した生体情報計測装置１００の適用例について説明する。上述したように、第１の実施形態に係る生体情報計測装置１００は、人体の血圧変動を、簡便に、非接触的に測定することが可能である。これにより、例えば、図１に示す日常人間ドッグを実現することができる。以下、図１に示す日常人間ドッグを実現するための一例を、図２０を用いて説明する。図２０は、第１の実施形態に係る生体情報計測装置１００の適用の一例を説明するための図である。
例えば、対象者が洗面所の鏡の前に立つだけで、健康予報を提供することができる図１の日常人間ドッグは、例えば、図２０に示すように、生体情報計測装置１００としてのカメラ付きＰＣ（タブレットＰＣ）をハーフミラーの背面に設置することで実現される。すなわち、生体情報計測装置１００は、ハーフミラー越しに対象者を撮影して、撮影した映像信号に基づいて血圧変動を計測し、計測結果を出力する。例えば、ハーフミラーの背面に設置された生体情報計測装置１００の映像取得部１１０ａが、対象者の顔と顔以外の部位を撮影する。その後、皮膚領域抽出部１５１が映像内の対象者の顔領域と顔以外の部位の領域を抽出して、算出部１５２が各領域の映像脈波を抽出して、「ＰＤ」又は「ｄＰＴＴ」を算出する。計測部１５３は、算出部１５２によって算出された「ＰＤ」又は「ｄＰＴＴ」の変動から対象者の血圧の変動を計測して、出力部１２０ａが計測結果を対象者に対して出力する。
ここで、映像信号から血圧変動を計測するためには、ある程度の長さの映像（動画像）が必要となるため、例えば、血圧変動を計測する旨の情報を出力するようにしてもよい。例えば、出力制御部１５４による制御のもと、出力装置１２０ｂが「血圧を計測中です」とする音声情報又は表示情報を出力する場合であってもよい。また、対象者の顔及び顔以外の部位の映像が必要となるため、顔と顔以外（例えば、手など）が撮影可能となる体勢をとってもらうように、音声情報又は表示情報を出力する場合であってもよい。一例を挙げると、映像取得部１１０ａは、洗面所内を常時撮影しておき、対象者が洗面所に入室した際に、顔と顔以外（例えば、手など）が撮影可能となる体勢をとってもらうための音声情報又は表示情報を出力する。そして、皮膚領域抽出部１５１が顔と顔以外の部位を抽出すると、出力装置１２０ｂが「血圧を計測中です」とする音声情報又は表示情報を出力する。これにより、対象者は自動で出力される情報に応じた行動をとるだけで、血圧情報を計測させることができる。なお、血圧情報の計測は、上述した自動の例だけではなく、対象者による操作によってスタートされる場合であってもよい。
また、対象者の顔と顔以外の部位の映像をそれぞれ撮影する場合であってもよい。例えば、異なるカメラによって顔と顔以外の部位の映像をそれぞれ撮影する場合であってもよい。かかる場合には、異なるカメラによって撮影された映像が時間情報によって対応付けられる。また、例えば、ハーフミラーの背面とは異なる位置（例えば、手をつく位置や、手によって握られる位置）に映像取得装置１１０ｂとしての反射型フォトセンサを配置しておき、反射型フォトセンサによって手の表皮から反射された緑色光の信号を取得する場合であってもよい。一例を挙げると、緑色光ＬＥＤを光源とした反射型フォトセンサを、手をつく位置に配置して、手から反射された緑色光の強度を測定することで、緑色光の光電容積脈波（緑色光PPG）を取得する。そして、算出部１５２が、顔の映像信号から抽出したiPPGと緑色光PPGとから「ｄＰＴＴ」或いは「ＰＤ」を算出する。かかる場合、反射型フォトセンサによって取得された緑色光PPGと映像取得部１１０ａによって取得された映像とが時間情報によって対応付けられる。これにより顔の映像と同一時間の顔以外の部位の表皮から反射された光に基づく脈波を取得することができる。なお、反射型フォトセンサに対して体の一部を接するように、出力部１２０ａから音声情報又は表示情報を出力させることもできる。また、顔以外の部位の映像信号は、ウェアラブル端末によって取得される場合であってもよい。また、反射型フォトセンサによって顔の緑色光PPGが取得される場合であってもよい。
このように対象者の映像が取得され、血圧情報が計測されると、出力部１２０ａは、対象者に対して出力情報を出力する。例えば、出力部１２０ａは、血圧が上昇しているか否か、上昇している場合にベースラインからどの程度上昇しているかなどの血圧の情報を表示情報或いは音声情報によって出力する。また、出力部１２０ａは、血圧に関する出力情報を出力するだけではなく、映像脈波の情報を出力することができる。具体的には、出力部１２０ａは、映像信号の輝度情報を色相の変化で示した色相動画像を生成し、生成した色相動画像を対象者の動画像に重畳させて表示する。図２１は、第１の実施形態に係る出力情報の一例を示す図である。出力部１２０ａは、図２１に示すように、算出部１５２によって算出された映像脈波の値を種々の色相で示した色相動画像を対象者の映像に重畳して表示する。
かかる場合には、出力制御部１５４が色相動画像を生成して、出力部１２０ａにて対象者の動画像に重畳させて表示させる。例えば、算出部１５２は、皮膚領域抽出部１５１によって抽出された各皮膚領域（ＲＯＩ）に含まれる画素それぞれについて、画素ごとの映像脈波を抽出する。すなわち、算出部１５２は、映像を構成する各フレームについて、ＲＯＩ内の画素の緑色光の輝度値を抽出し、ＲＯＩごとに輝度値を平均するのではなく、画素ごとの映像脈波をそれぞれ算出する。出力制御部１５４は、脈波の振幅の値に色相を割り当て、各フレームの各画素を振幅の値に対応する色相でカラー化した色相動画像を生成する。例えば、出力制御部１５４は、図２１に示す映像脈波の振幅「−０．１〜０．１」に「青〜赤」の色相を割り当てる。そして、出力制御部１５４は、対象者の映像の各フレームにおけるＲＯＩ内の画素を振幅の値に応じて「青〜赤」でカラー化した色相動画像を生成する。
そして、出力制御部１５４は、映像脈波を抽出した動画像に色相動画像を重畳させた出力情報を出力部１２０ａ又は出力装置１２０ｂにて出力させる。これにより、対象者の顔色（血流状態）を一目で確認することができる。例えば、人の顔色を評価する場合、単純に顔を見ただけでは客観的に評価することは難しいが、映像に色相動画像を重畳させて表示することで、色情報により血流の状態を容易に評価することができる。例えば、顔全体から映像脈波が抽出でき、顔前部の皮膚領域のほとんどを色相動画像で重畳できている場合には、血行がよく、体調がよさそうであることが一目でわかる。一方、顔前部の皮膚領域に色相動画像があまり重畳されていない場合には、血行が悪く、体調があまり良くなさそうであることが一目でわかる。また、色の変化のスピードが非常に遅い場合には、血流が悪いことがわかる。このように、血圧情報だけでなく、映像脈波をカラー化した映像を表示することでも、自身あるいは他人の体調を確認することができる。なお、出力制御部１５４は、図２１に示すように、色相動画像を重畳させた映像に加えて、映像脈波をさらに表示させることもできる。
また、出力部１２０ａは、血圧の情報に加えて、さらに、心拍数や自律神経に関する指標値を出力することができる。具体的には、算出部１５２は、顔の映像信号の輝度情報と、顔以外の部位の映像信号の輝度情報とに基づいて、対象者の心拍数及び自律神経に関する指標値を算出する。出力部１２０ａは、算出部１５２によって算出された心拍数及び自律神経に関する指標値をさらに表示する。図２２は、第１の実施形態に係る出力情報の一例を示す図である。ここで、図２２においては、生体情報計測装置１００が携帯電話である場合を示す。例えば、図２２に示すように、出力部１２０ａは、心拍「ＨＲ＝７１ｂｐｍ」や、自律神経に関する指標値「ＣＶＲＲ＝１．５２」、「ＬＦ／ＨＦ＝１．３」、「μPA＝１．５」、「ρ（３）＝０．８２」や、それに基づくグラフを表示する。
なお、算出部１５２は、瞬時位相差をＰＴＴとみなして、Mayer波帯域におけるＰＴＴと心拍数の間の相互相関係数ρ(τ)の最大値ρmax、または、ρ(τ)のラグτが３秒のときの推定値ρ(3)を算出する。また、算出部１５２は、１つの体表面輝度時系列信号を脈波信号とみなし、ρmaxを算出する。また、算出部１５２は、１つの体表面輝度時系列信号を脈波信号とみなし、脈波振幅の２つの周波数領域のパワー比の対数μPA=ln(MFPA/HFPA)を算出する。
上述した例では、対象者の現在の自然な状態での血圧変動を計測する場合について説明した。しかしながら、生体情報計測装置１００は、血圧を強制的に変動させ、そこからの回復を計測するための計測ガイドを行うこともできる。具体的には、出力部１２０ａは、対象者の血圧を変動させるための動作を指示する指示情報をさらに出力する。図２３は、第１の実施形態に係る生体情報計測装置１００による計測ガイドの一例を示す図である。図２３においては、洗面所のハーフミラーの背面に生体情報計測装置１００が配置されている場合を示す。上述した実験でも明らかなように、息止めを行うことにより血圧は急速に上昇する。そこで、出力部１２０ａは、図２３の左側の図に示すように、計測を開始する際に、「息止めを開始してください！」とする音声情報を対象者に対して出力する。ここで、出力部１２０ａは、図２３に示すように、同様の表示情報「測定中・・・息止めを開始してください」を表示する。
そして、生体情報計測装置１００は、息止めを実施している対象者の「ＰＤ６」を算出して、計測部１５３が「ＰＤ６」の変動をモニタリングする。ここで、図２３の右側の図に示すように、「ＰＤ６」が所定の値まで増加すると、出力部１２０ａは、「呼吸を再開してください！」とする音声情報を対象者に対して出力する。ここで、出力部１２０ａは、図２３に示すように、同様の表示情報「測定中・・・呼吸を再開してください」を表示する。生体情報計測装置１００は、呼吸を再開した対象者の「ＰＤ６」の変動を継続してモニタリングし、通常の血圧に戻るまでの時間を計測する。
生体情報計測装置１００によるガイドは上述した例に限られず、例えば、対象者が実行する深呼吸の終了のタイミングを音声情報或いは表示情報にてガイドすることができる。例えば、自律神経に疾患のある患者は、血圧を安定させるために深呼吸を行う場合がある。ここで、血圧を計測していないと、血圧が安定したタイミングがわからない。そこで、生体情報計測部１００は、深呼吸を行っている対象者の血圧の変動をモニタリングし、血圧が安定した場合に、深呼吸を終了するためのガイドを出力する。例えば、計測部１５３が、対象者の「ＰＤ」又は「ｄＰＴＴ」の値が基準値に達したと判定した場合に、出力部１２０ａは、「深呼吸を終了してください」とする音声情報や表示情報を出力する。
また、生体情報計測装置１００は、対象者の血圧をモニタリングして、血圧が大きく変動した場合に、血圧を安定させるための情報を出力することもできる。具体的には、計測部１５３が、対象者の「ＰＤ」又は「ｄＰＴＴ」の値をモニタリングしておき、「ＰＤ」又は「ｄＰＴＴ」の値が所定の閾値を超えた場合に、出力部１２０ａは、血圧を安定させるための音楽などの情報を出力する。そして、計測部１５３は、対象者の「ＰＤ」又は「ｄＰＴＴ」の値を継続してモニタリングしておき、「ＰＤ」又は「ｄＰＴＴ」の値が所定の閾値を下回った場合に、出力部１２０ａは音楽などの情報の出力を終了することもできる。
上述した例では、対象者が自身の血圧情報を確認する場合を説明した。次に、対象者から離れた場所にいる家族や主治医が対象者の血圧の状態を確認する場合を説明する。図２４は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図である。例えば、図２４に示すように、対象者が暮らす家に映像取得装置１１０ｂであるカメラが設置され、設置されたカメラが対象者の顔及び顔以外の映像を撮影する。そして、カメラによって撮影された顔及び顔以外の映像が、生体情報計測装置１００としてのＰＣに送られる。顔及び顔以外の映像を受信したＰＣは、映像脈波を抽出して、上述した血圧の計測処理や、色相動画像の生成、自律神経に関する指標の算出を実行する。
その後、ＰＣは、計測結果や、色相動画像、自律神経に関する指標を、インターネットを介して家族や主治医に送信する。家族や主治医は、ＰＣから送られてきた計測結果や、色相動画像、自律神経に関する指標を確認して、対象者の体調を推定する。なお、上述した例では、カメラによって撮影された映像を用いた血圧の計測を、映像を受信したＰＣが実行する場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、家族のもつ携帯電話やスマートフォン、主治医が使用するＰＣなどに対象者の映像が送られ、各装置で映像を用いた血圧の計測を行う場合であってもよい。対象者の映像は、映像取得装置１１０ｂとしてのカメラによって取得されるだけではなく、対象者の携帯電話やスマートフォンなどに備え付けられたカメラによって取得される場合であってもよい。かかる場合には、映像を取得した携帯電話やスマートフォンなどが対象者の家族や主治医に送信する場合であってもよく、対象者の映像を家族のもつ携帯電話やスマートフォン、主治医が使用するＰＣなどに送信する場合であってもよい。これにより、例えば、遠く離れた家族の様子や、患者の普段の様子を確認することができる。
次に、生体情報計測装置１００が、機器を操作する対象者の血圧をモニタリングするために用いられてもよい。具体的には、算出部１５２は、機器を操作する対象者を撮影することで取得された映像信号を用いて差分を算出する。計測部１５３は、機器を操作する対象者の血圧の変動を計測する。出力部１２０ａ又は出力装置１２０ｂは、機器を操作する対象者に関する出力情報を、機器を操作する対象者に対して出力する。図２５は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図である。図２５においては、自動車を運転する運転車を対象者として、血圧の変動をモニタリングする場合について示す。
例えば、自動車や列車、原発などの運転に従事する運転者が何らかの疾患により体調を悪化させた場合、大きな事故などに繋がってしまう。そこで、第１の実施形態に係る生体情報計測装置１００を用いて運転者の血圧の状態をモニタリングすることで、事故を未然に防ぐことを可能にする。例えば、図２５に示すように、映像取得装置１１０ｂとしてのカメラが自動車の運転者の顔及び顔以外の部位を撮影して、生体情報計測装置１００としてのマイコンやＰＣに映像を送信する。マイコンやＰＣは、カメラから受信した顔及び顔以外の部位の映像信号から映像脈波を抽出して、上述した血圧の計測処理や、色相動画像の生成、自律神経に関する指標の算出を実行する。
ここで、マイコンやＰＣは、運転者の血圧の計測結果や自律神経の指標に異常を検出した場合に、出力装置１２０ｂとしてのスピーカーなどを介して運転者に対して警告を出力する。例えば、スピーカーから「体調が急変しています、直ちに運転操作を終了してください」とする警告の音声情報を出力する。或いは、マイコンやＰＣは、車における制御装置に対して信号を送信することで、自動でブレーキをかけるなどの危険回避動作を指示する。さらに、マイコンやＰＣは、ネットワークを介して運転者の主治医に異常を示した血圧の計測結果や自律神経の指標の情報を送信する。なお、図２５に示すマイコンやＰＣは、車内に配置される場合であってもよく、ネットワーク上に配置される場合であってもよい。
次に、入浴による血圧変動を監視する例について説明する。上述したように、入浴時の環境温度変化が身体へもたらす影響が大きな問題となっている。そこで、ヒートショックに関連した入浴中の死亡者数を減少させるために、入浴前後の血圧の変動をモニタリングして、危険な場合に注意を促す。図２６は、第１の実施形態に係る生体情報計測装置の適用の一例を説明するための図である。ここで、図２６においては、入浴前後の血圧の変動をモニタリングする場合について示す。図２６に示すように、入浴中の血圧の変動は、温かい室内から寒い脱衣所への移動、さらに寒い浴室への移動、そして、熱めの浴槽内への移動と、短時間での急激な温度変化が大きな要因である。そこで、入浴前後の対象者の血圧をモニタリングして、対象者本人に注意を促したり、家族の携帯電話やスマートフォン、主治医が使用するＰＣなどに血圧変動の状態を送信したりすることで、体調の推定を行うようにする。
例えば、入浴前後の対象者の映像をカメラで取得し、生体情報計測装置１００としてのマイコンやＰＣなどによって血圧変動の計測処理や、自律神経に関する指標の算出を実行する。そして、血圧変動の計測結果や、自律神経に関する指標値を対象者や家族、主治医などに報知する。これによって、対象者の血圧や、自律神経に関する指標値について、本人、家族、主治医などが注意を払うことができる。
図２７は、第１の実施形態に係る入浴前後の血圧モニタリングの一例を説明するための図である。図２７においては、居室、脱衣室及び浴室のそれぞれで血圧モニタリングを行う場合について示す。例えば、入浴前後の血圧モニタリングにおいては、特に温度が急激に変化する移動の前後をモニタリングする。すなわち、生体情報計測装置１００は、居室から脱衣室への移動、脱衣室から浴室への移動、入浴開始の前後について、血圧モニタリングを実行する。なお、図２７における例では、生体情報計測装置１００が、脱衣室のハーフミラーの背面に設置され、各部屋からの映像信号を受信して、各部屋に出力情報を出力する場合を示す。
例えば、生体情報計測装置１００は、居室に設置された映像取得装置１１０ｂとしてのカメラから居室にいる対象者の顔と顔以外の部位の映像を受信して、対象者が居室にいるときの血圧の状態を計測する。ここで、生体情報計測装置１００は、対象者が居室にいる間、継続して血圧情報を計測する。そして、対象者が居室から脱衣室に移動すると、生体情報計測装置１００は、映像取得部１１０ａによって取得された対象者の顔と顔以外の部位の映像から血圧情報を計測する。ここで、出力部１２０ａは、図２７に示すように、居室での血圧「入室前：○○」と脱衣室での血圧「入室後：××」を対象者に対して出力する。対象者は出力された情報を確認することで、自身の血圧の変動をチェックすることができる。ここで、例えば、入室後に血圧が大幅に上昇した場合には警告情報を表示させることも可能である。
そして、対象者が脱衣室から浴室に移動すると、生体情報計測装置１００は、浴室に配置されたカメラなどの映像取得装置１１０ｂによって取得された対象者の顔と顔以外の部位の映像から血圧情報を入浴前の血圧情報として計測する。そして、対象者が入浴を開始すると、生体情報計測装置１００は、カメラなどの映像取得装置１１０ｂによって取得された顔の映像と、浴室の手すりに配置された反射型フォトセンサなどの映像取得装置１１０ｂによって取得された顔以外の映像信号とから入浴中の対象者の血圧情報を計測する。ここで、浴室に配置されたスピーカーなどの出力装置１２０ｂは、図２７に示すように、生体情報計測装置１００によって計測された入浴前の血圧情報「入浴前：△△」と入浴中の血圧情報「入浴後：□□」とを音声情報で報知する。これにより、対象者は入浴前後の血圧の変動をチェックすることができる。ここで、例えば、入浴後に血圧が大きく下がり始めた場合には、警告情報を音声で出力することもできる。また、上述した例では、脱衣室への入室前後と、入浴前後の血圧情報を出力する場合を説明したが、実施形態はこれに限定されるものではなく、任意の時点での血圧情報を出力することができる。例えば、脱衣室から浴室に移動した前後の血圧の変動を出力することができる。
なお、居室、脱衣室、浴室で取得された映像信号は、ネットワークを介してＰＨＲ装置２００に送信され、ＰＨＲ装置２００が血圧情報を計測して、離れた場所にいる家族や主治医に血圧情報を出力することもできる。
上述した実施形態では、生体情報計測装置１００がタブレット端末や、ＰＣである場合を例に挙げて説明したが、実施形態はこれに限定されるものではなく、種々の装置にて実現することができる。例えば、生体情報計測装置１００は、頭部に装着するディスプレイ装置（Head Mounted Display：ＨＭＤ）によって実現することもできる。図２８は、第１の実施形態に係る生体情報計測装置１００の一例を示す図である。図２８に示すように、例えば、生体情報計測装置１００は、ＨＭＤとしてのメガネ型ウェアラブル装置にて実現することも可能である。かかる場合には、生体情報計測装置１００は、メガネ型ウェアラブル装置に取り付けられたカメラによって対象者の映像を撮影して、出力情報をメガネ上のモニタに表示する。この構成によると、例えば、体調を推定したい他者を見ることによって、色相動画像を観察したり、血圧変動を推定したりすることができる。例えば、多数の傷病者が発生した場合に、傷病者の状態を一目で把握することができ、トリアージを行う場合などに効率的に行うことができる。
また、上述した実施形態では、映像取得装置１１０ｂが固定式のカメラなどである場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、カメラ付き無人飛行機（ドローン）を映像取得装置１１０ｂとして利用する場合であってもよい。図２９は、第１の実施形態に係る映像取得装置の一例を説明するための図である。例えば、図２９に示すように、映像取得装置１１０ｂとしてのドローンが、慢性疾患者や、乳幼児、ペット、家畜などの映像を取得して、マイコンやＰＣ、携帯電話、スマートフォンに映像信号を送信する。そして、携帯電話やＰＣなどから出力される血圧情報から家族や主治医が対象者の体調の推定を行う。これにより、固定のカメラでは撮影できない場合にも対応することができる。
（第２の実施形態）
上述した第１の実施形態においては、対象者の顔を撮影した映像信号の輝度情報と、顔以外の部位を撮影した映像信号の輝度情報とを差分して、差分の増減に応じて血圧の変動を推定する場合について説明した。すなわち、第１の実施形態では、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流と、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流とを対象として、映像信号から「ｄＰＴＴ」又は「ＰＤ」を算出して、血圧との正の相関関係に基づく血圧変動推定について説明した。第２の実施形態では、第１の実施形態とは異なる手法により映像信号から「ｄＰＴＴ」を算出し、算出した「ｄＰＴＴ」に基づいて血圧の変動を推定する場合について説明する。なお、第２の実施形態に係る生体情報計測装置１００は、第１の実施形態に係る生体情報計測装置１００と比較して、皮膚領域抽出部１５１による処理内容、算出部１５２による処理内容及び計測部１５３による処理内容が異なる。以下、これらを中心に説明する。
ここで、第２の実施形態で説明する手法では、対象となる血流はいずれであってもよい。すなわち、以下で説明する手法では、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流に基づく映像信号と、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像信号とを任意に組み合わせて血圧の変動を推定することができる。例えば、顔（頬）の映像信号と顔（額）の映像信号とから血圧の変動を推定してもよい。また、例えば、顔の映像信号と顔以外（例えば、手）の映像信号とから血圧の変動を推定してもよい。或いは、顔以外の２つの部位の映像信号から血圧の変動を推定してもよい。
上述した第１の実施形態では、顔の映像信号及び顔以外の映像信号の瞬時位相をそれぞれ算出し、算出した瞬時位相の差から瞬時位相差「ＰＤ」を算出することで、血圧の変動を推定した。これに対して、第２の実施形態における手法では、瞬時位相を算出せず、映像脈波「iPPG」から「ｄＰＴＴ」を直接算出して、血圧の変動を推定する。図３０は、第２の実施形態に係る生体情報計測装置１００による脈波伝播時間差「ｄＰＴＴ」の算出の概要を示す図である。ここで、図３０においては、第１の実施形態に係る生体情報計測装置１００による「ｄＰＴＴ」の算出との比較とともに、第２の実施形態に係る生体情報計測装置１００による「ｄＰＴＴ」の算出例を示す。
図３０に示すように、第１の実施形態に係る生体情報計測装置１００においては、脈波の伝播距離が長い「遠位部」の映像脈波、及び、脈波の伝播距離が短い「近位部」の映像脈波に対してそれぞれヒルベルト変換（Hilbert変換）を施すことにより、瞬時位相「rad」をそれぞれ算出する。そして、第１の実施形態に係る生体情報計測装置１００は、ヒルベルト変換により算出した２か所の瞬時位相を差分することで瞬時位相差「ＰＤ」を算出する。また、第１の実施形態に係る生体情報計測装置１００は、算出した「ＰＤ」に対して「心拍間隔[S]」を積算することにより脈波伝播時間差「ｄＰＴＴ」を算出する。第１の実施形態に係る生体情報計測装置１００は、正の相関関係に基づいて、「ＰＤ」或いは脈波伝播時間差「ｄＰＴＴ」の変動から血圧の変動を推定する。
これに対して、第２の実施形態に係る生体情報計測装置１００は、「遠位部」の映像脈波と「近位部」の映像脈波とから、瞬時位相を算出せずに、脈波伝播時間差「ｄＰＴＴ」を算出する。ここで、第２の実施形態に係る生体情報計測装置１００は、２か所の映像脈波「iPPG」における特徴領域の時間差から「ｄＰＴＴ」を算出する。例えば、第２の実施形態に係る生体情報計測装置１００は、図３０に示すように、２つの「iPPG」におけるピーク（映像脈波において山となっている部分）の時間差及びバレー（映像信号において谷となっている部分）の時間差を示す極値時間差（ＰＴＤ）を用いて脈波伝播時間差（ｄＰＴＴ）を算出する。
一例を挙げると、第２の実施形態に係る生体情報計測装置１００は、図３０に示すように、近位部の映像脈波「iPPG1」及び遠位部の映像脈波「iPPG2」について、対応する極値時間（ピーク時間及びバレー時間）をそれぞれ抽出する。そして、生体情報計測装置１００は、対応する極値ごとの極値時間差をそれぞれ算出し、算出した極値時間差を用いて脈波伝播時間差を算出する。なお、第２の実施形態では、映像脈波の特徴領域として極値を用いる例について説明するが、実施形態はこれに限定されるものではなく、映像脈波における任意の領域が用いられる場合であってもよい。換言すると、２つの映像脈波において対応する領域であればどの領域を用いてもよい。例えば、映像脈波におけるバレーからピークに至るまでの領域（或いは、所定の点）や、ピークからバレーに至るまでの領域（或いは、所定の点）を用いる場合であってもよい。この場合、生体情報計測装置１００は、２つの映像脈波において対応する領域を抽出し、抽出した領域の時間差を用いて脈波伝播時間差を算出する。
以下、第２の実施形態に係る生体情報計測装置１００による処理の詳細について説明する。ここで、第２の実施形態に係る生体情報計測装置１００においては、顔の映像信号と顔以外の映像信号とから「ｄＰＴＴ」を算出し、算出した「ｄＰＴＴ」に基づいて血圧の変動を推定する場合を一例に挙げて説明する。第２の実施形態に係る皮膚領域抽出部１５１は、被検体を撮影した映像中から被検体の顔領域を抽出する。例えば、皮膚領域抽出部１５１は、撮影された映像に対して顔認識処理を行うことで、対象者の顔領域の画素の座標を抽出する。ここで、皮膚領域抽出部１５１は、抽出した顔領域における所定の位置に複数の領域を設定する。具体的には、皮膚領域抽出部１５１は、抽出した顔領域において、脈波の伝播距離が長い「遠位部」のＲＯＩと、脈波の伝播距離が短い「近位部」のＲＯＩとを設定する。
図３１Ａは、第２の実施形態に係る皮膚領域抽出部１５１による遠位部と近位部の設定の一例を示す図である。例えば、皮膚領域抽出部１５１は、被検体を撮影した映像中から顔認証処理により被検体の顔領域を抽出する。そして、皮膚領域抽出部１５１は、図３１Ａに示すように、抽出した顔領域に遠位部と近位部とを設定する。例えば、皮膚領域抽出部１５１は、顔領域に含まれる顔の各部位の位置に基づいて、図３１Ａに示すように、目及び眉毛などを囲んだ領域を遠位部のＲＯＩと設定する。また、皮膚領域抽出部１５１は、例えば、口や鼻の一部などを囲んだ領域を近位部のＲＯＩと設定する。なお、図３１Ａに示す遠位部及び近位部はあくまでも一例である。すなわち、皮膚領域抽出部１５１は、操作者による任意の設定に基づいて、遠位部と近位部とを設定することができる。
ここで、皮膚領域抽出部１５１は、血流に基づく緑色の輝度情報の変化を取得することが難しい領域（例えば、髪の毛がかかった領域や、目の領域、眉毛の領域、唇の領域、或いは、背景部分など）を遠位部や近位部の領域から除外することができる。一例を挙げると、皮膚領域抽出部１５１は、顔における特徴点の情報や、画素値に基づいて、図３１Ａに示す遠位部から眉毛の領域と目の領域とを除外する。また、皮膚領域抽出部１５１は、図３１Ａに示す近位部から唇の領域を除外する。このように、遠位部のＲＯＩと近位部のＲＯＩを設定すると、皮膚領域抽出部１５１は、設定した各ＲＯＩの座標を算出部１５２に送信する。例えば、皮膚領域抽出部１５１は、各ＲＯＩに含まれる座標のうち、血流に基づく緑色の輝度情報の変化を取得することができる領域に対応する座標を算出部１５２に送信する。
上述した例では、皮膚領域抽出部１５１が、自動で遠位部と近位部を設定する場合について説明したが、操作者によって遠位部と近位部とが設定される場合であってもよい。この場合、操作者は、映像を観察しながらマウスやタッチパネルなどの入力部を操作して、遠位部のＲＯＩと近位部のＲＯＩとを設定する。皮膚領域抽出部１５１は、入力部を介して遠位部のＲＯＩと近位部のＲＯＩが設定されると、設定された各ＲＯＩの座標を算出部１５２に送信する。なお、遠位部のＲＯＩと近位部のＲＯＩが操作者によって手動で設定される場合でも、皮膚領域抽出部１５１は、上述したように、血流に基づく緑色の輝度情報の変化を取得することが難しい領域を遠位部や近位部の領域から除外することができる。すなわち、皮膚領域抽出部１５１は、各ＲＯＩに含まれる座標のうち、血流に基づく緑色の輝度情報の変化を取得することができる領域に対応する座標を算出部１５２に送信する。
皮膚領域抽出部１５１は、上述した顔領域の抽出処理と、顔領域における遠位部のＲＯＩ及び近位部のＲＯＩの設定処理を、映像を構成する各フレームについてそれぞれ実行して、各フレームにおける遠位部のＲＯＩの座標及び近位部のＲＯＩの座標を算出部１５２に順次送信する。例えば、皮膚領域抽出部１５１は、各ＲＯＩが設定されたフレームから以降のフレームについて、映像中の特徴点を用いたトラッキング処理によりフレームごとの各ＲＯＩの座標をトラッキングして、トラッキングした結果の座標を算出部１５２に順次送信する。
第２の実施形態に係る算出部１５２は、対象者の複数の領域における映像信号に含まれる緑色光の輝度値をそれぞれ抽出する。具体的には、算出部１５２は、皮膚領域抽出部１５１によって設定された遠位部のＲＯＩと近位部のＲＯＩにおける緑色光の輝度値をそれぞれ抽出する。ここで、第２の実施形態に係る算出部１５２は、第１の実施形態と同様に、映像信号から緑色光を抽出する前に、画像の平滑化処理を行う。そして、算出部１５２は、遠位部のＲＯＩと近位部のＲＯＩにおける緑色光の輝度値をそれぞれ抽出し、各ＲＯＩについて、緑色光の輝度値の平均値をフレームごとに算出して時間変化曲線とした緑信号を抽出する。
図３１Ｂは、第２の実施形態に係る緑色光の輝度値の抽出を説明するための図である。図３１Ｂにおいては、縦軸を「輝度平均値に基づく値」とし、横軸を「Time [s]（時間）」とした、緑色光の輝度平均値のグラフを示す。例えば、算出部１５２は、映像を構成する複数のフレームそれぞれから、各ＲＯＩにおける緑色光の輝度値を抽出する。そして、算出部１５２は、各フレームについて、抽出した緑色光の輝度値のＲＯＩごとの平均値を算出することで、図３１Ｂに示すように、遠位部のＲＯＩ及び近位部のＲＯＩそれぞれにおける緑色の輝度平均値のグラフを抽出する。なお、図３１Ｂにおいては、血流の増減と緑信号の増減とを一致させるために、緑信号に「−１」を乗算して正負反転させたものを示す。
続いて、算出部１５２は、抽出した各ＲＯＩの「緑信号」に対してそれぞれフィルタ処理を施すことによって、各ＲＯＩにおける脈波信号を抽出する。例えば、算出部１５２は、「０．５−２．０ Hz」の周波数帯を通過する次数「５」のバタワースフィルタを使用することで、心拍成分以外の信号成分を除去する。図３１Ｃは、第２の実施形態に係る脈波信号の抽出を説明するための図である。図３１Ｃにおいては、図３１Ｂに示す「緑信号」から脈波を抽出する場合を示す。また、図３１Ｃにおいては、縦軸を「Amplitude（振幅）」とし、横軸を「Time [s]（時間）」とした脈波信号を示す。例えば、算出部１５２は、図３１Ｃに示すように、各ＲＯＩにおける「緑信号」にフィルタ処理を施すことで、遠位部と近位部に対応する「映像脈波（iPPG）」をそれぞれ抽出する。図３１Ｃに示すように、抽出される「映像脈波」は、正弦波状の周期的な波形となっており、心臓の１拍動によって生じる脈波がフィルタ処理後の波形の１つの山として現れる。
上述したように、算出部１５２は、遠位部のＲＯＩと近位部のＲＯＩにおける映像脈波をそれぞれ抽出する。そして、算出部１５２は、算出した各映像脈波を用いて脈波伝播時間差（ｄＰＴＴ）を算出する。具体的には、算出部１５２は、各映像信号中の緑色光の輝度値における所定の特徴点間の時間差を、脈波伝播時間差として算出する。例えば、算出部１５２は、各ＲＯＩにおける映像脈波の極値時間差「ＰＴＤ」（ピーク値の時間差及びバレー値の時間差）を「ｄＰＴＴ」として算出する。
ここで、極値時間差「ＰＴＤ」の算出精度を高めるために、算出部１５２は、所定の期間における特徴点間の時間差のトリム平均値を、脈波伝播時間差として算出する。脈波の伝播速度は、「約１．０ｍ／ｓ」である。従って、例えば、図３１Ａに示すような遠位部と近位部との距離が「１０ｃｍ」程度の場合、近位部から遠位部まで脈波が伝播する時間は、「約１００ｍｓ（ミリ秒）」となる。すなわち、ＲＯＩ間の映像脈波の極値時間差は、血圧の変動に伴って「１００ｍｓ」程度の時間で変動することとなる。第２の実施形態に係る算出部１５２は、この時間差の変動を算出するが、映像取得部１１０ａによって取得された映像のフレームレートに応じて時間差の算出精度が変わる。
例えば、「１４０fps」程度の高いフレームレートで映像を取得した場合、輝度平均値のグラフが密なサンプリング点に基づいて抽出されることから、各ＲＯＩにおける極値の時間をより正確に抽出することができる。その結果、算出部１５２は、「１００ｍｓ」程度の時間で変動する極値時間差の変動をより正確に算出することができる。一方、一般的なカメラの映像のようにフレームレートが「３０fps」程度の場合、フレームレート「１４０fps」の場合と比較して、輝度平均値のグラフが疎のサンプリング点に基づいて抽出されることから、各ＲＯＩにおける極値の時間の抽出精度が低下することとなる。その結果、算出部１５２によって算出される極値時間差の変動は、フレームレートが「１４０fps」の場合と比較して、精度が低下することとなる。
そこで、第２の実施形態に係る算出部１５２は、所定の期間における極値時間差のトリム平均値を脈波伝播時間差として算出する。図３２Ａ及び図３２Ｂは、第２の実施形態に係る算出部１５２による極値時間差のトリム平均の一例を説明するための図である。ここで、図３２Ａにおいては、図３１Ｃに示す映像脈波に対してトリム平均処理を行う場合について示す。例えば、算出部１５２は、所定の期間として「１０秒」を用いて極値時間差のトリム平均値を算出する。一例を挙げると、算出部１５２は、図３２Ａに示すように、遠位部及び近位部の映像脈波に対して、「１０秒」のデータウィンドウを用いてトリム平均処理を実行する。すなわち、算出部１５２は、各ＲＯＩの映像脈波において、データウィンドウに含まれる極値の時間差をそれぞれ算出し、算出した極値時間差のうち飛び値を除いた値の平均値を算出する。
例えば、算出部１５２は、「１０秒」のデータウィンドウに含まれる極値（ピーク値及びバレー値）について、それぞれ極値時間差を算出する。そして、算出部１５２は、例えば、算出した極値時間差の頻度分布に基づいて飛び値を抽出し、抽出した飛び値を除いた平均値を算出する。図３２Ｂにおいては、「１０秒」のデータウィンドウに含まれる極値における極値時間差の頻度分布を示す。なお、縦軸に度数を示し、横軸に極値時間差を示す。算出部１５２は、例えば、図３２Ｂに示す極値時間差のうち飛び値（例えば、−２００付近にある極値時間差の値など）を除き、その他の値の平均値を脈波伝播時間差として算出する。
ここで、算出部１５２は、例えば、極値時間差の頻度分布に対して所定の閾値を適用することで飛び値を抽出し、抽出した飛び値を除外する。一例を挙げると、算出部１５２は、極値時間差の分布において、上下３０％に対応する極値時間差の値を飛び値として除外し、残った極値時間差の値の平均値を脈波伝播時間差として算出する。なお、トリム平均の飛び値を抽出するための閾値は、操作者によって任意に設定される。
算出部１５２は、トリム平均値を算出するためのデータウィンドウを所定の時間でずらしながら、各位置でのトリム平均値を算出し、脈波伝播時間差「ｄＰＴＴ」の経時的な変化を算出する。例えば、算出部１５２は、図３２Ａに示す「１０秒」のデータウィンドウを「１秒」ずつずらした位置でトリム平均値をそれぞれ算出することで、経時的な脈波伝播時間差を算出する。図３３は、第２の実施形態に係る算出部１５２によって算出される脈波伝播時間差の一例を示す図である。図３３においては、縦軸に脈波伝播時間差（ｄＰＴＴ[ms]）を示し、横軸に「時間（Time[s]）」を示した脈波伝播時間差のグラフを示す。例えば、算出部１５２は、「１秒」ごとにデータウィンドウをずらし、各データウィンドウの位置で算出した「１秒」ごとのトリム平均値（脈波伝播時間差）をグラフにプロットし、各値間を直線で結ぶことで、図３３に示すような脈波伝播時間差の経時的な変化を示すグラフを算出する。
なお、上述した例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、トリム平均値を算出するためのデータウィンドウの時間幅は「１０秒」に限らず、任意に設定される。すなわち、操作者がデータウィンドウの時間幅を任意に設定することができ、例えば、映像取得部１１０ａによって取得される映像信号のフレームレートに応じて設定する場合であってもよい。一例を挙げると、フレームレートが高い場合にはデータウィンドウの時間幅を狭くし、フレームレートが低い場合にはデータウィンドウの時間幅を広くするように設定されてもよい。また、例えば、データウィンドウをずらす時間は「１秒」に限らず、任意に設定される。すなわち、操作者がデータウィンドウをずらす時間を任意に設定することができる。
第２の実施形態に係る計測部１５３は、脈波伝播時間差の増減に基づいて対象者の血圧の変動を計測する。具体的には、計測部１５３は、脈波伝播時間差が算出された映像信号が対象者の顔から取得された場合に、脈波伝播時間差の増加を血圧の下降変動として計測し、脈波伝播時間差の減少を血圧の上昇変動として計測する。例えば、上述したように、対象者の顔領域に遠位部のＲＯＩと近位部のＲＯＩが設定され、各ＲＯＩの映像脈波を用いて脈波伝播時間差が算出された場合、計測部１５３は、脈波伝播時間差と血圧との負の相関に基づいて血圧を計測する。
第１の実施形態において説明したように、脈波伝播時間差を算出するためのＲＯＩが顔と顔以外の部位の場合、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流と、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流とに基づく映像脈波をそれぞれ抽出するため、正の相関関係に基づいて血圧の変動を計測した。しかしながら、第２の実施形態では、顔領域に設定された２つのＲＯＩにおける映像脈波から脈波伝播時間差を算出する。すなわち、顔領域に設定された遠位部のＲＯＩと近位部のＲＯＩでは、どちらも末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像脈波が抽出される。従って、計測部１５３は、脈波伝播時間差と血圧との負の相関に基づいて、脈波伝播時間差の増加を血圧の下降変動として計測し、脈波伝播時間差の減少を血圧の上昇変動として計測する。なお、第２の実施形態に係る計測部１５３は、顔と顔以外の部位の映像脈波から上述した手法により脈波伝播時間差が算出された場合、第１の実施形態と同様に、正の相関関係に基づいて血圧の変動を計測する。
以下、図３４Ａ〜図３４Ｊを用いて、第２の実施形態に係る生体情報計測装置１００による映像脈波解析の一例を説明する。図３４Ａ〜図３４Ｊは、第２の実施形態に係る生体情報計測装置１００による映像脈波解析の一例を説明するための図である。ここで、図３４Ａ〜図３４Ｊは、映像脈波解析のために出力部１２０ａや、出力装置１２０ｂに表示出力される表示画面の一例を示す。まず、生体情報計測装置１００が映像脈波解析の開始操作を受け付けると、出力制御部１５４が、解析のための設定画面を出力部１２０ａや、出力装置１２０ｂに表示出力させる。
例えば、出力制御部１５４は、図３４Ａに示すように、「映像信号の入力元」、「解析対象領域の設定」、「フィルタ種類」、「モザイク表示」及び「肌色領域追跡」の設定項目を含む設定画面を表示させる。ここで、図３４Ａに示す「映像信号の入力元」とは、解析対象となる映像の入力元を設定する項目である。例えば、「カメラから」が選択された場合、映像取得部１１０ａや、映像取得装置１１０ｂから取得された映像が解析対象となる。一方、「ファイルから」が選択された場合、映像記憶部１４１によって記憶された映像が解析対象となる。すなわち、操作者は、「映像信号の入力元」に対する選択操作を行うことで、解析対象の映像を選択する。なお、「ファイルから」が選択された場合、出力制御部１５４は、ファイル選択の選択画面をさらに表示させる。
また、図３４Ａに示す「解析対象領域の設定」とは、映像中にＲＯＩを設定する項目である。例えば、「上下」が選択された場合、皮膚領域の上下にＲＯＩが設定される。例えば、顔領域の上下にＲＯＩが設定される。また、「左右」が選択された場合、皮膚領域の左右にＲＯＩが設定される。例えば、顔領域の左右にＲＯＩが設定される。また、「手動」が選択された場合、操作者によって皮膚領域にＲＯＩが設定される。すなわち、「手動」が選択された場合、出力制御部１５４が映像を表示させ、入力部がＲＯＩの設定操作を受け付けることとなる。ここで、解析対象領域として設定されるＲＯＩは、さらにモザイク状に分割させることも可能である。例えば、各ＲＯＩを所定の数の領域に分割して、それぞれを解析対象領域とすることも可能である。なお、ＲＯＩの分割については、後に詳述する。
また、図３４Ａに示す「フィルタ種類」とは、緑信号から映像脈波を抽出するためのフィルタの種類を設定する項目である。例えば、「バンドパスフィルタ」が選択された場合、バンドパスフィルタを用いて映像脈波が抽出される。一方、「櫛形フィルタ」が選択された場合、櫛形フィルタを用いて映像脈波が抽出される。ここで、「櫛形フィルタ」は、脈波が周期的な三角波で成り立つ性質を利用して、ＦＦＴ（Fast Fourier Transform）と逆ＦＦＴを組み合わせて基本波と高調波成分以外を除去するフィルタである。従って、このようなフィルタを用いることで、映像脈波におけるピーク（山となっている部分）やバレー（谷となっている部分）の位置が正確になり、脈波伝播時間差の精度を向上させることができる。また、図３４Ａに示す「モザイク表示」とは、ＲＯＩ内をモザイク状に分割した場合に、モザイク表示を行うか否かを設定する項目である。例えば、「行う」が選択された場合、各ＲＯＩ内がモザイク状に分割され、映像に重畳されて表示される。一方、「行わない」が選択された場合、各ＲＯＩ内がモザイク状に分割されることなく、映像に重畳されて表示される。
また、図３４Ａに示す「肌色領域追跡」とは、映像の各フレームにおける肌の色の領域の追跡を行うか否かを設定する項目である。例えば、「行う」が選択された場合、各フレームについて、肌の色を示す領域を抽出することによって対象者の皮膚領域を抽出する処理が実行される。一方、「行わない」が選択された場合、対象者の皮膚領域の抽出処理は行われない。なお、図３４Ａに示す設定項目は、あくまでも一例であり、任意に追加・削除を行うことができる。
図３４Ａに示す各設定項目が選択され、「ＯＫ」ボタンがクリックされると、出力制御部１５４は、詳細な設定を行うための設定画面を出力部１２０ａや、出力装置１２０ｂに表示出力させる。例えば、出力制御部１５４は、図３４Ｂに示すように、「フレーム周波数[fps]」、「計算表示周期[s]」、「入力データ窓の長さ[s]」、「出力表示の長さ[s]」、「ディスクに保存するデータの長さ[s]」、「肌色領域追跡周期[s]」、「バンドパスフィルタの[下限周波数，上限周波数][Hz]」、「画面分割数[横，縦][個]」、「輝度信号に対するメディアンフィルタの次数（３以上で適用）」及び「トリム平均の閾値[%]（０〜５０%）」などの項目を含む設定画面をさらに表示させる。
ここで、図３４Ｂに示す「フレーム周波数[fps]」とは、映像のフレームレートを設定する項目である。例えば、操作者は、図３４Ｂに示すように、「フレーム周波数[fps]」に数値「４０」を入力することで、これから撮影する映像のフレームレートを「４０fps」に設定したり、撮影済みの映像のフレームレートを「４０fps」に下げたりすることができる。また、図３４Ｂに示す「計算表示周期[s]」とは、緑信号や映像脈波を表示する周期を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「計算表示周期[s]」に数値「１０」を入力することで、緑信号や映像脈波の表示周期を「１０s」に設定することができる。
また、図３４Ｂに示す「入力データ窓の長さ[s]」とは、トリム平均処理を行うためのデータウィンドウの時間幅を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「入力データ窓の長さ[s]」に数値「１０」を入力することで、データウィンドウの時間幅を「１０s」に設定することができる。また、図３４Ｂに示す「出力表示の長さ[s]」とは、心拍や脈波伝播時間差を表示する周期を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「出力表示の長さ[s]」に数値「１００」を入力することで、心拍や脈波伝播時間差の表示周期を「１００s」に設定することができる。
また、図３４Ｂに示す「ディスクに保存するデータの長さ[s]」とは、保存するデータの時間を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「ディスクに保存するデータの長さ[s]」に数値「１２０」を入力することで、「１２０s」のデータを保存させることができる。また、図３４Ｂに示す「肌色領域追跡周期[s]」とは、対象者の皮膚領域を抽出する処理の周期を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「肌色領域追跡周期[s]」に数値「１」を入力することで、「１s」ごとに皮膚領域の抽出処理を実行させることができる。
また、図３４Ｂに示す「バンドパスフィルタの[下限周波数，上限周波数][Hz]」とは、映像脈波の抽出に用いるバンドパスフィルタの帯域を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「バンドパスフィルタの[下限周波数，上限周波数][Hz]」に数値「[０．５，２]」を入力することで、バンドパスフィルタの帯域を「０．５Hz〜２．０Hz」に設定することができる。また、図３４Ｂに示す「画面分割数[横，縦][個]」とは、ＲＯＩ内をモザイク状に分割する分割数を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「画面分割数[横，縦][個]」に数値「[１０，１０]」を入力することで、各ＲＯＩ内を「横：１０個，縦：１０個」のモザイク状に分割することができる。
また、図３４Ｂに示す「輝度信号に対するメディアンフィルタの次数（３以上で適用）」とは、緑信号の抽出に用いるメディアンフィルタの次数を設定する項目である。ここで、メディアンフィルタの次数の設定においては、図３４Ｂに示すように、（３以上で適用）とし、３未満では適用しないように設定することもできる。例えば、操作者は、図３４Ｂに示すように、「輝度信号に対するメディアンフィルタの次数（３以上で適用）」に数値「０」を入力することで、適用しないように設定することができる。また、図３４Ｂに示す「トリム平均の閾値[%]（０〜５０%）」は、トリム平均処理の閾値を設定する項目である。例えば、操作者は、図３４Ｂに示すように、「トリム平均の閾値[%]（０〜５０%）」に数値「３０」を入力することで、トリム平均処理において上下「３０%」の脈波伝播時間差を除外するように設定することができる。なお、図３４Ｂに示す設定項目は、あくまでも一例であり、任意に追加・削除を行うことができる。
図３４Ｂに示す各設定項目が入力され、「ＯＫ」ボタンがクリックされると、出力制御部１５４は、解析を開始するための画面を出力部１２０ａや、出力装置１２０ｂに表示出力させる。例えば、出力制御部１５４は、図３４Ｃに示すように、対象者の映像を含む計測画面を表示させる。ここで、出力制御部１５４は、これから実行する解析の解析結果の保存の有無を操作者に提示することも可能である。例えば、出力制御部１５４は、解析結果を保存するか否かについて選択肢を提示し、「保存する」と選択された場合、解析結果を計測結果記憶部１４２に格納するように制御する。一方、「保存しない」と選択された場合、出力制御部１５４は、解析結果を保存しないように制御する。
出力制御部１５４が図３４Ｃに示すような画面を表示させると、ＲＯＩが設定され、計測が開始される。例えば、図３４Ｃに示すように、対象者の顔領域の上下にＲＯＩ１及びＲＯＩ２が設定される。ここで、対象者に設定されるＲＯＩは、上述した解析対象領域の設定に応じて自動又は手動で設定される。手動の場合、例えば、図３４Ｃに示す映像に対してＲＯＩが設定される。ＲＯＩが設定され、「計測開始」ボタンがクリックされると、出力制御部１５４は、肌色領域を抽出するための設定画面を表示させる。例えば、出力制御部１５４は、図３４Ｄに示すように、映像の「色相」、「彩度」及び「明度」の最大値と最小値の設定を受け付けて、映像を肌の色の領域だけに限定するための設定画面を表示させる。例えば、操作者は、入力部を介して「色相」、「彩度」及び「明度」の最大値と最小値の設定を調整することで、図３４Ｄの左側の画像を右側の画像のように肌色の領域だけになるように処理を施す。皮膚領域抽出部１５１は、図３４Ｄの右側のように処理された映像を対象とすることにより、各フレーム内のＲＯＩ内の肌色に対応する画素を容易に特定することができる。
そして、図３４Ｄにおける設定が完了し、「ＯＫ」ボタンがクリックされると、出力制御部１５４は、解析画面を表示する。例えば、出力制御部１５４は、図３４Ｅに示すように、対象者の映像や、緑信号（Original）、映像脈波（After Bandpass Filtering）、心拍（Heart Rate）、脈波伝播時間差（Pulse Transit Time Diff.）などの情報を含む解析画面を表示させる。なお、出力制御部１５４は、対象者の映像に関して、図３４Ｅに示すように、肌色の領域を抽出させた処理後の状態で表示させ、その上にＲＯＩを重畳させて表示させる。ここで、図３４Ｂに示す設定の画面分割数において、ＲＯＩをモザイク状に分割する設定を行った場合、図３４Ｅにおける各ＲＯＩが設定に応じてモザイク状に分割されて解析される。例えば、図３４Ｂの設定において、「画面分割数[横，縦][個]」に数値「[１０，１０]」が入力されていることから、各ＲＯＩ内を横に１０個、縦に１０個のモザイク状に分割し、分割後の各領域の輝度平均値を用いて解析が実行される。
ここで、上述したようにＲＯＩがモザイク状に分割された場合、算出部１５２は、モザイク状の各領域から取得される映像信号（輝度平均値）が脈波の情報を含んでいるか否かを判定することができる。具体的には、算出部１５２は、各領域から取得される映像信号に含まれる周波数成分を解析することにより、脈波の情報を含んでいるか否かを判定する。脈波は、心臓の収縮によって生じる動脈系圧波動の伝播を示す信号であり、心拍の状態を反映したものである。そこで、算出部１５２は、例えば、各領域から取得される映像信号に心拍の周波数成分が含まれるか否かを判定することにより、各映像信号が脈波の情報を含んでいるか否かを判定する。
ここで、心拍の間隔（例えば、ＲＲ間隔など）は、種々の要因により微妙に変化している。例えば、この心拍間隔の変化について周波数解析すると、いくつかの周波数成分が抽出される。従って、映像信号にこれらの周波数成分が含まれるか否かを判定することにより、映像信号に脈波成分が含まれるか否かを判定することができる。そこで、算出部１５２は、心拍がいくつかの周波数成分を含むという点に基づいて、例えば、各映像信号における心拍周波数の標準偏差を用いて判定処理を実行する。
以下、図３４Ｆを用いて、判定処理の一例を説明する。図３４Ｆにおいては、「１０×１０」に分割されたＲＯＩ１（対象者の顔の下側のＲＯＩ）の各領域における緑信号の状態を示す図と、各領域から取得された映像信号（輝度平均値）の心拍周波数成分の標準偏差のヒストグラムを示す。なお、図３４Ｆにおいては、１時点の緑信号の状態が示されているが、実際には、各領域における緑信号の状態の変化が示される動画が表示される。例えば、算出部１５２は、図３４Ｆに示すように、モザイク状に分割されたＲＯＩ内の各領域から取得される映像信号について周波数解析を行い、心拍周波数成分をそれぞれ抽出する。そして、算出部１５２は、領域ごとに周波数成分の標準偏差を算出し、算出した標準偏差に基づいて判定処理を実行する。
上述したように、心拍はいくつかの周波数成分を含んでいることから、心拍の周波数成分の標準偏差はある程度大きくなる。そこで、算出部１５２は、心拍周波数成分の標準偏差のヒストグラムにおいて、標準偏差が低いもの（ヒストグラムの左側）と、標準偏差が高すぎるもの（ヒストグラムの右側）とを除外することで、脈波成分を含む映像信号が取得される領域を抽出する。例えば、算出部１５２は、図３４Ｆに示すように、領域抽出のための閾値を「下限＝１．００１９」、「上限：５．４９７５」とし、心拍周波数成分の標準偏差がその範囲内に含まれる領域を抽出する。これにより、算出部１５２は、脈波成分が弱い領域（例えば、顔ではない領域など）や、強すぎる領域（例えば、突発的な雑音が生じた領域など）を解析対象から除外して、精度の高い解析を行うことを可能にする。
このように、算出部１５２が、ＲＯＩ１について、解析対象となる領域を抽出するための閾値を設定すると、出力制御部１５４は、図３４Ｆに示すように、操作者に確認するためのウィンドウ（「閾値の設定はこれでよいですか？」のウィンドウ）を表示させる。ここで、操作者が「これでよい」をクリックすると、出力制御部１５４は、図３４Ｇに示すように、ＲＯＩ２（対象者の顔の上側の領域）に関する判定処理を実行するためのウィンドウを表示させる。算出部１５２は、ＲＯＩ１と同様に、ＲＯＩ２に含まれる各領域についての閾値を設定する。出力制御部１５４は、ＲＯＩ１と同様に、操作者に確認させるためのウィンドウを表示させる。
上述したように各種設定が実行されると、解析が開始され、図３４Ｅに示す解析画面が順次更新される。例えば、出力制御部１５４は、図３４Ｈに示すように、対象者の映像や、緑信号（Original）、所定の領域の映像脈波に関する情報、心拍（Heart Rate）、脈波伝播時間差（Pulse Transit Time Diff.）などの情報が随時更新される解析画面を表示させる。ここで、出力制御部１５４は、図３４Ｈに示すように、各ＲＯＩをモザイク状にし、各領域における映像脈波の状態を示した脈波情報を対象者の映像に重畳させて表示させる。すなわち、出力制御部１５４は、モザイク状の各領域について、各領域における映像信号（緑信号）の輝度情報を色相の変化で示した色相動画像を生成し、生成した色相動画像を対象者の動画像に重畳させて表示させる。これにより、各ＲＯＩにおける脈波の伝播を視覚的にとらえることができ、血行の状態を視覚的に把握することができる。
また、出力制御部１５４は、ＲＯＩ１及びＲＯＩ２の緑信号（図中の右上段）と、所定の領域における映像脈波に関する情報（図中の右中段）を解析画面に表示させる。ここで、出力制御部１５４は、所定の領域における映像脈波に関する情報として、心拍周波数成分に基づいて抽出される領域の映像脈波を表示させる。例えば、出力制御部１５４は、各ＲＯＩについて心拍周波数成分の標準偏差の平均値を算出する。そして、出力制御部１５４は、モザイク状に分割された各領域の心拍周波数成分の標準偏差の中から、算出した平均値に最も近い標準偏差を抽出する。そして、出力制御部１５４は、抽出した標準偏差が算出された領域における映像脈波を解析画面に表示させる。出力制御部１５４は、各ＲＯＩからそれぞれ領域を抽出し、抽出した領域の映像脈波を解析画面に表示させる。ここで、図３４Ｈの右中段に示す映像脈波は、極小値が「０」となるように変換したものである。例えば、出力制御部１５４は、図３４Ｈに示すように、上述した処理によりＲＯＩ１（領域１）の「横：８，縦：７」の領域と、ＲＯＩ２（領域２）の「横：２，縦：８」の領域とを抽出し、各領域の映像脈波を解析画面に表示させる。
さらに、出力制御部１５４は、図３４Ｈに示すように、心拍（Heart Rate）の状態や、算出部１５２によって算出された脈波伝播時間差（Pulse Transit Time Diff.）を解析画面に随時更新しながら表示させる。例えば、出力制御部１５４は、図３４Ｈの右下段に示すように、ＲＯＩ１の映像脈波から算出した心拍数を表示させる。なお、心拍数は、ＲＯＩ１の映像脈波のデータウィンドウ内のトリム平均値の推移として算出される。また、出力制御部１５４は、図３４Ｈの左下段に示すように、ＲＯＩ１の輝度平均値と、ＲＯＩ２の輝度平均値とを用いて算出された脈波伝播時間差（ｄＰＴＴ）を表示させる。
ここで、脈波伝播時間差は、図３４Ｈに示すように、ＲＯＩの輝度平均値を用いて算出される場合であってもよいが、ＲＯＩ内の領域の輝度平均値を用いて算出される場合であってもよい。例えば、算出部１５２は、ＲＯＩ１（領域１）の領域「横：８，縦：７」における映像脈波と、ＲＯＩ２（領域２）の領域「横：２，縦：８」における映像脈波とから脈波伝播時間差を算出することができる。上述したように、第２の実施形態に係る算出部１５２は、２つの領域における映像脈波の極値時間差から脈波伝播時間差を算出する。すなわち、算出部１５２は、脈波が伝播する時間の差を映像信号から算出することができる領域であれば、いずれの領域でも用いることができる。換言すると、算出部１５２は、ＲＯＩ１輝度平均値とＲＯＩ２輝度平均値とから脈波伝播時間差を算出してもよく、或いは、モザイク状に分割されたＲＯＩ１内の１領域の輝度平均値と、ＲＯＩ２内の１領域の輝度平均値とから脈波伝播時間差を算出してもよい。
さらに、算出部１５２は、同一のＲＯＩ内の２つの領域を用いて脈波伝播時間差を算出することもできる。例えば、算出部１５２は、モザイク状に分割されたＲＯＩ１から２つの領域を抽出し、抽出した２つの領域における輝度平均値を用いて脈波伝播時間差を算出することもできる。従って、ＲＯＩは必ずしも複数設定されなくてもよい。例えば、顔全体に１つのＲＯＩを設定し、設定したＲＯＩをモザイク状に分割して、脈波伝播時間差を算出する場合であってもよい。このように設定することで、顔全体を対象にした色相動画像から血行の状態を観察しつつ、脈波伝播時間差の変動に基づく血圧の変動を計測して血圧の状態を確認することもできる。なお、対象者の顔の映像が解析対象であり、図３４Ａに示す解析対象の設定において「左右」が選択された場合、脈波伝播時間差の算出には、同一のＲＯＩ内における２つの領域が用いられる。
上述したように、解析が実行され、解析画面における計測終了がクリックされると、出力制御部１５４は、解析された種々の情報を出力部１２０ａや出力装置１２０ｂに出力させる。例えば、出力制御部１５４は、図３４Ｉに示すように、各ＲＯＩの映像脈波（輝度平均値）の推移を表示させる。また、出力制御部１５４は、図３４Ｊに示すように、脈波伝播時間差及び心拍数の推移を表示させる。
このように、対象者の映像信号について解析が実行されると、測定部１５３は、解析された脈波伝播時間差の変動に基づいて、血圧の変動を計測する。そして、出力制御部１５４は、計測部１５３によって計測された血圧の変動を出力部１２０ａや出力装置１２０ｂに出力させる。ここで、上述した例における脈波伝播時間差が対象者の顔における２つの領域から算出されていることから、測定部１５３は、負の相関関係に基づいて、血圧の変動を計測する。すなわち、第２の実施形態に係る計測部１５３は、算出部１５２によって算出された「ｄＰＴＴ」が経時的に増加している場合、この時の対象者の血圧が下降していると判定する。また、例えば、計測部１５３は、算出部１５２によって算出された「ｄＰＴＴ」が経時的に減少している場合、この時の対象者の血圧が上昇していると判定する。ここで、計測部１５３は、計測開始からの増加分又は減少分が所定の割合に達した場合に、血圧が下降している、又は、上昇していると判定する場合であってもよい。なお、第２の実施形態に係る計測部１５３は、「ｄＰＴＴ」と血圧との負の相関関係に基づいて、第１の実施形態に係る計測部１５３と同様の処理を行うことができる。すなわち、第２の実施形態に係る計測部１５３は、判定の基準となる相関が負となる以外は、第１の実施形態と同様の処理を実行することができる。
以上、第２の実施形態に係る解析処理の一例について説明した。上述した例では、対象者の顔に設定された２つのＲＯＩ（或いは、モザイク状に分割されたＲＯＩ内の２つの領域）における映像脈波を用いて脈波伝播時間差を算出する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、顔と顔以外の部位にＲＯＩが設定される場合であってもよい。かかる場合には、算出部１５２は、顔と顔以外の部位における映像脈波の極値時間差を算出することで、脈波伝播時間差（ｄＰＴＴ）を算出する。そして、計測部１５３は、算出された「ｄＰＴＴ」の変動に基づいて、対象者の血圧の変動を計測する。ここで、顔と顔以外の部位にＲＯＩが設定された場合、計測部１５３は、「ｄＰＴＴ」と血圧との正の相関関係に基づいて、血圧を計測する。すなわち、計測部１５３は、第１の実施形態において説明したように、「ｄＰＴＴ」の増加を血圧の上昇として判定し、「ｄＰＴＴ」の減少を血圧の下降と判定する。なお、顔と顔以外の部位にＲＯＩが設定された場合、算出部１５２は、第１の実施形態で説明した手法及び第２の実施形態で説明した手法のどちらの手法を用いてもよい。
また、顔以外の部位に２つのＲＯＩが設定される場合であってもよい。かかる場合には、算出部１５２は、顔以外の部位における映像脈波の極値時間差を算出することで、脈波伝播時間差（ｄＰＴＴ）を算出する。そして、計測部１５３は、算出された「ｄＰＴＴ」の変動に基づいて、対象者の血圧の変動を計測する。ここで、顔以外の部位に２つのＲＯＩが設定された場合、計測部１５３は、「ｄＰＴＴ」と血圧との負の相関関係に基づいて、血圧を計測する。すなわち、計測部１５３は、「ｄＰＴＴ」の増加を血圧の下降として判定し、「ｄＰＴＴ」の減少を血圧の上昇と判定する。
上述したように、第２の実施形態に係る生体情報計測装置１００は、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流に基づく映像信号と、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像信号とを用いる場合には、正の相関関係に基づいて血圧の変動を計測する。また、生体情報計測装置１００は、末梢血管抵抗増大による脈波出現の遅延の影響を受けない血流に基づく映像信号のみ、或いは、末梢血管抵抗増大による脈波出現の遅延の影響を受ける血流に基づく映像信号のみを用いる場合には、負の相関関係に基づいて血圧の変動を計測する。すなわち、生体情報計測装置１００は、映像脈波が抽出された部位に応じて計測処理を変化させる。
例えば、皮膚領域抽出部１５１が、設定されたＲＯＩが対象者のどの部位であるかを判定し、計測部１５３が、判定結果に基づいて正の相関関係又は負の相関関係のどちらを用いるかを判別することができる。一例を挙げると、皮膚領域抽出部１５１は、映像内の対象者の部位を識別し、設定されたＲＯＩがどの部位に相当するかを判別してもよい。或いは、皮膚領域抽出部１５１は、操作者によって入力された部位情報からどの部位かを判別するようにしてもよい。この場合、例えば、出力制御部１５４が、図３４Ａに示すような設定画面で部位情報の入力項目を表示させ、入力部が操作者から部位情報の入力を受け付ける。
また、第２の実施形態に係る生体情報計測装置１００は、顔と顔以外の部位にＲＯＩが設定された場合、上述した極値時間差を算出する手法の他に、第１の実施形態で説明した手法を用いることも可能である。そこで、例えば、出力制御部１５４が、図３４Ａに示すような設定画面で、血圧の計測手法の設定項目を表示させ、入力部が操作者から部位情報の入力を受け付けるようにしてもよい。
また、第２の実施形態に係る生体情報計測装置１００は、図３４Ａ〜図３４Ｊにおいて説明した利用方法以外にも、種々の利用方法に適用することができる。すなわち、第２の実施形態に係る生体情報計測装置１００は、第１の実施形態にて説明した種々の利用方法に適用することができる。例えば、生体情報計測装置１００は、鏡に映る対象者を撮影することで取得された映像信号を解析して、鏡に映る対象者に解析結果を出力することができる。また、例えば、生体情報計測装置１００は、携帯端末に備えられたカメラによって撮影された対象者の映像信号を解析して、携帯端末上の表示部に解析結果を出力することができる。
また、例えば、生体情報計測装置１００は、機器を操作する対象者を撮影することで取得された映像信号を解析して、機器を操作する対象者に対して解析結果を出力することができる。また、例えば、生体情報計測装置１００は、頭部に装着されるディスプレイ装置を介して観察される対象者を撮影することで取得された映像信号を解析して、ディスプレイ装置を装着した観察者に対して解析結果を出力することができる。また、例えば、生体情報計測装置１００は、対象者に関する解析結果を、対象者を観察する観察者に対して出力することができる。また、例えば、生体情報計測装置１００は、無人飛行機に搭載されたカメラによって撮影された対象者の映像信号を解析して、対象者を観察する観察者に対して解析結果を出力することができる。
次に、第２の実施形態に係る生体情報計測装置１００による処理の流れについて説明する。図３５は、第２の実施形態に係る生体情報計測装置１００の処理手順を示すフローチャートである。図３５に示すように、生体情報計測装置１００においては、映像取得部１１０ａ又は映像取得装置１１０ｂが対象者の映像を取得する（ステップＳ２０１）。そして、皮膚領域抽出部１５１は、ＲＯＩが設定された部位が顔と顔以外か判定する（ステップＳ２０２）。ここで、ＲＯＩが設定された部位が顔と顔以外の場合（ステップＳ２０２肯定）、生体情報計測装置１００は、ステップＳ２０３〜ステップＳ２０５の処理に進む。一方、ＲＯＩが設定された部位が顔と顔以外ではない場合（ステップＳ２０２否定）、生体情報計測装置１００は、ステップＳ２０７〜ステップＳ２１０の処理に進む。
ステップＳ２０３〜ステップＳ２０５においては、算出部１５２が、顔と顔以外の部位に設定されたＲＯＩにおける緑色光の輝度平均値を算出し（ステップＳ２０３）、輝度平均値に基づいて瞬時位相差「ＰＤ」又は脈波伝播時間差「ｄＰＴＴ」を算出する（ステップＳ２０４）。そして、計測部１５３は、正の相関に基づいて血圧の変動を計測する（ステップＳ２０５）。
ステップＳ２０７〜ステップＳ２１０においては、算出部１５２が、顔に設定されたＲＯＩにおける緑色光の輝度平均値を算出し（ステップＳ２０７）、輝度平均値に基づいて極値時間差を算出する（ステップＳ２０８）。そして、算出部１５３は、所定のデータウィンドウに含まれる極値時間差のトリム平均値を脈波伝播時間差「ｄＰＴＴ」として算出する（ステップＳ２０９）。その後、計測部１５３は、負の相関に基づいて血圧の変動を計測する（ステップＳ２１０）。
ステップＳ２０３〜ステップＳ２０５、又は、ステップＳ２０７〜ステップＳ２１０の処理が完了すると、出力制御部１５４が、出力部１２０ａ或いは出力装置１２０ｂに、計測結果を出力させる（ステップＳ２０６）。
上述したように、第２の実施形態によれば、算出部１５２は、対象者の映像信号の輝度情報に基づいて、対象者の脈波に関する情報を算出する。計測部１５３は、映像信号を取得した対象者の部位に応じて、脈波に関する情報の増減に基づく対象者の血圧の変動を計測する。従って、第２の実施形態に係る生体情報計測装置１００は、血流の特性に応じた血圧の変動の計測を行うことを可能にする。
また、第２の実施形態によれば、皮膚領域抽出部１５１は、対象者の複数の領域における映像信号に含まれる緑色光の輝度値をそれぞれ抽出する。算出部１５２は、抽出された各映像信号中の緑色光の輝度値における所定の特徴点間の時間差を、脈波伝播時間差として算出する。計測部１５３は、脈波伝播時間差の増減に基づいて対象者の血圧の変動を計測する。従って、第２の実施形態に係る生体情報計測装置１００は、種々の部位を用いて血圧の変動を計測することを可能にする。
また、第２の実施形態によれば、算出部１５２は、所定の期間における所定の特徴点間の時間差のトリム平均値を、脈波伝播時間差として算出する。従って、第２の実施形態に係る生体情報計測装置１００は、ＲＯＩ間の距離が近い場合でも、精度よく脈波伝播時間差を算出することを可能にする。
また、第２の実施形態によれば、計測部１５３は、脈波伝播時間差が算出された映像信号が対象者の顔から取得された場合に、脈波伝播時間差の増加を血圧の下降変動として計測し、脈波伝播時間差の減少を血圧の上昇変動として計測する。従って、第２の実施形態に係る生体情報計測装置１００は、血流の特性を考慮して、血圧の変動を計測することを可能にする。
また、第２の実施形態によれば、出力制御部１５４は、対象者の複数の領域における映像信号の輝度情報をそれぞれ色相の変化で示した色相動画像を生成し、生成した色相動画像を対象者の動画像に重畳させて表示する。従って、第２の実施形態に係る生体情報計測装置１００は、対象者の血行状態を視覚的に容易に把握させることを可能にする。
（第３の実施形態）
上述した第１及び第２の実施形態においては、複数のＲＯＩ（或いは、複数の領域）が設定され、それぞれの映像信号から映像脈波を抽出して血圧の変動を計測する場合について説明した。第３の実施形態では、対象者の映像から脈波の移動（伝播）を検出して、検出した脈波から脈波伝播時間差を算出する場合について説明する。図３６は、第３の実施形態に係る生体情報計測装置１００ａの構成の一例を示す機能ブロック図である。なお、第３の実施形態に係る生体情報計測装置１００ａは、第２の実施形態に係る生体情報計測装置１００と比較して、制御部１５０ａに特徴領域抽出部１５６を新たに有する点と、算出部１５２による処理内容が異なる。以下、これらを中心に説明する。
特徴領域抽出部１５６は、対象者の映像信号の輝度情報に基づいて、対象者の映像における特徴領域を抽出する。具体的には、特徴領域抽出部１５６は、特徴領域として、対象者の映像において所定の輝度情報を示す領域を抽出する。例えば、特徴領域抽出部１５６は、対象者の映像において、映像脈波が所定の状態になっている領域（例えば、映像脈波が極値となっている領域など）を抽出する。ここで、特徴領域抽出部１５６は、対象者の映像において、少なくとも２フレームから特徴領域を抽出する。すなわち、特徴領域抽出部１５６は、映像に含まれる複数のフレームについて、フレーム内の映像脈波をそれぞれ抽出する。そして、特徴領域抽出部１５６は、映像脈波が所定の状態となっている領域（例えば、映像脈波が極値となっている領域など）を含む２つ以上のフレームを抽出する。
第３の実施形態に係る算出部１５２は、特徴領域の追跡結果に基づいて、脈波伝播時間差を算出する。具体的には、算出部１５２は、脈波伝播時間差として、対象者の映像における所定の輝度情報を示す領域の単位時間あたりの移動量を算出する。すなわち、算出部１５２は、特徴領域抽出部１５６によって抽出された領域の単位時間あたりの移動量を脈波伝播時間差として算出する。例えば、算出部１５２は、映像脈波が極値となっている領域の単位時間あたりの移動量を算出する。
図３７は、第３の実施形態に係る生体情報計測装置１００ａによる脈波伝播時間差の算出の一例を説明するための図である。例えば、特徴領域抽出部１５６は、図３７に示すように、対象者の映像において映像脈波がピークになっている領域Ｒ１を抽出する。ここで、特徴領域抽出部１５６は、図３７に示すように、対象者の映像における顔領域をモザイク状の領域に分割する。そして、特徴領域抽出部１５６は、各領域における映像脈波（輝度平均値）を抽出する。さらに、特徴領域抽出部１５６は、映像に含まれる複数のフレームにおいて、映像脈波がピークになっている領域を含む２つ以上のフレームを抽出する。例えば、特徴領域抽出部１５６は、図３７に示すように、対象者の映像を構成する複数のフレームの中から、映像脈波がピークになっている領域Ｒ１を含む「フレーム１」と「フレーム２」を抽出する。
算出部１５２は、特徴領域抽出部１５６によって抽出された領域Ｒ１の単位時間あたりの移動量を算出する。例えば、算出部１５２は、図３７に示すように、フレーム１とフレーム２とを用いて領域Ｒ１の単位時間あたりの移動量を算出する。ここで、算出部１５２は、領域Ｒ１における輝度平均値の位置を算出し、算出した位置の移動量を算出する。すなわち、算出部１５２は、映像脈波のピークを示す領域Ｒ１における平均の位置を設定する。一例を挙げると、算出部１５２は、図３７に示すように、フレーム１における領域Ｒ１の重心Ｐ１と、フレーム２における領域Ｒ１の重心Ｐ２とを算出し、算出した重心のフレーム間での移動量を算出する。そして、算出部１５２は、映像のフレームレートに基づいて、フレーム１とフレーム２との時間差を算出し、算出した時間差と重心の移動量とから単位時間あたりの重心の移動量を算出する。すなわち、算出部１５２は、脈波の伝播速度を算出する。
上述したように、血流の特性が同じ領域での脈波伝播時間差（ｄＰＴＴ）は、血圧と負の相関関係を有する。すなわち、血圧が上昇した場合、脈波の伝播速度は増加する（脈波伝播時間差が減少する）こととなる。一方、血圧が下降した場合、脈波の伝播速度は減少する（脈波伝播時間差が増加する）こととなる。このように、脈波の伝播速度は、脈波伝播時間差を表す。従って、計測部１５３は、算出部１５２によって算出される脈波の伝播速度に基づいて、血圧の変動を計測することができる。例えば、計測部１５３は、脈波の伝播速度が増加した場合に、血圧が上昇したと判定する。一方、計測部１５３は、脈波の伝播速度が減少した場合に、血圧が下降したと判定する。
例えば、特徴領域抽出部１５６は、対象者の映像を構成する複数のフレームから、移動前の特徴領域を含むフレームと移動後の特徴領域を含むフレームとのペアを順に抽出する。上述したように、一般的な脈波の伝播速度は「約１ｍ／ｓ」であることから、フレームレートが決まれば、１フレームあたり脈波がどの程度伝播するか予測することができる。特徴領域抽出部１５６は、映像のフレームレートに基づいて、時系列順の複数のフレームの中から移動前の特徴領域を含むフレームと移動後の特徴領域を含むフレームとをペアにして抽出する。特徴領域抽出部１５６は、映像を構成する複数のフレームの中から上述したペアのフレームを順に抽出して、算出部１５２に順次送信する。
算出部１５２は、特徴領域抽出部１５６から順次受信したペアのフレームから脈波の伝播速度を順に算出する。計測部１５３は、算出部１５２によって順に算出された脈波の伝播速度の変動から血圧の変動を計測する。例えば、計測部１５３は、伝播速度が上昇した場合に、血圧が上昇していると判定する。一方、計測部１５３は、伝播速度が下降した場合に、血圧が下降していると判定する。
なお、計測部１５３は、上述したペアのフレームによる伝播速度の変動に基づく血圧の計測だけでなく、所定の値との比較に基づいて血圧の変動を計測することも可能である。すなわち、計測部１５３は、算出部１５２によって算出された脈波の伝播速度を、予め設定された速度と比較することで、血圧の変動を計測することも可能である。一例を挙げると、血圧を測定しながら撮影した映像信号から上述したように脈波の伝播速度を算出する。そして、算出した脈波の伝播速度に実測した血圧の値を対応付けた対応情報を作成して、参照情報記憶部１４３に格納しておく。計測部１５３は、参照情報記憶部１４３によって記憶された対応情報を参照して、算出部１５２によって算出された脈波の伝播速度から血圧の変動を計測する。なお、対応情報は対象者ごとに作成しておく場合であってもよい。
また、上述した例はあくまでも一例であり、実施形態はこれに限定されるものではない。例えば、特徴領域は、映像脈波がピークになっている領域に限らず、バレーになっている領域などであってもよい。また、例えば、特徴領域は、ピークやバレーに限らず、輝度値が第１の閾値以上、又は、第２の閾値以下となる領域などであってもよい。また、対象となる映像は、対象者の顔に限らず、その他の部位を撮影した映像を用いることができる。例えば、対象者の腕などを用いる場合であってもよい。また、上述した例では、特徴領域の重心を抽出し、抽出した重心の移動量を算出する場合について説明したが、実施形態はこれに限定されるものではなく、領域中に所定の位置に基づいて移動量を算出する場合であってもよい。
上述したように、計測部１５３が血圧の変動を計測すると、第３の実施形態に係る出力制御部１５４は、計測結果を出力部１２０ａや出力装置１２０ｂに出力させる。また、出力制御部１５４は、血圧の計測結果だけではなく、種々の解析結果を出力部１２０ａや出力装置１２０ｂに出力させることができる。すなわち、出力制御部１５４は、第１の実施形態や第２の実施形態と同様に、種々の解析結果を表示させる。ここで、図３７に示すように、対象者の顔領域全体にＲＯＩを設定し、ＲＯＩをモザイク状の領域に分割した場合、出力制御部１５４は、各領域における映像信号（緑信号）の輝度情報を色相の変化で示した色相動画像を重畳して表示させることができる。さらに、出力制御部１５４は、映像脈波における特徴領域のみを所定の色で示した色相動画像を表示させることも可能である。一例を挙げると、出力制御部１５４は、映像脈波におけるピークを示す領域や、バレーを示す領域、バレーからピークに遷移する段階の領域、或いは、ピークからバレーに遷移する段階の領域だけを示した色相動画像を表示させることができる。
図３８は、第３の実施形態に係る色相動画像の一例を示す図である。例えば、出力制御部１５４は、映像を構成する各フレームから映像脈波のピークを示す領域をそれぞれ抽出する。例えば、出力制御部１５４は、図３８に示すように、映像の各フレームからピークを示す領域Ｒ２、領域Ｒ３、領域Ｒ４をそれぞれ抽出する。そして、出力制御部１５４は、各領域を同一の色相で示した色相動画像を対象者の映像に重畳させて表示させる。これにより、観察者は、図３８に示すように、ピークを示す領域が時間経過に伴って対象者の顔を移動している様子を観察することができる。すなわち、観察者は、映像脈波が伝播している様子をわかりやすく観察することができ、対象者の血行の状態を容易に把握することができる。
以上、第３の実施形態に係る生体情報計測装置１００ａについて説明した。なお、第３の実施形態に係る生体情報計測装置１００ａは、第１及び第２の実施形態にて説明した種々の利用方法に適用することができる。例えば、生体情報計測装置１００ａによる解析処理は、第２の実施形態にて説明した種々のウィンドウを用いて同様に実行させることができる。すなわち、上述した第３の実施形態は、第２の実施形態で説明した設定画面や解析画面に組み込まれて実施させることができる。また、生体情報計測装置１００ａは、鏡に映る対象者を撮影することで取得された映像信号を解析して、鏡に映る対象者に解析結果を出力することができる。また、例えば、生体情報計測装置１００ａは、携帯端末に備えられたカメラによって撮影された対象者の映像信号を解析して、携帯端末上の表示部に解析結果を出力することができる。
また、例えば、生体情報計測装置１００ａは、機器を操作する対象者を撮影することで取得された映像信号を解析して、機器を操作する対象者に対して解析結果を出力することができる。また、例えば、生体情報計測装置１００ａは、頭部に装着されるディスプレイ装置を介して観察される対象者を撮影することで取得された映像信号を解析して、ディスプレイ装置を装着した観察者に対して解析結果を出力することができる。また、例えば、生体情報計測装置１００ａは、対象者に関する解析結果を、対象者を観察する観察者に対して出力することができる。また、例えば、生体情報計測装置１００ａは、無人飛行機に搭載されたカメラによって撮影された対象者の映像信号を解析して、対象者を観察する観察者に対して解析結果を出力することができる。
次に、第３の実施形態に係る生体情報計測装置１００ａによる処理の流れについて説明する。図３９は、第３の実施形態に係る生体情報計測装置１００ａの処理手順を示すフローチャートである。図３９に示すように、生体情報計測装置１００ａにおいては、映像取得部１１０ａ又は映像取得装置１１０ｂが対象者の映像を取得する（ステップＳ２０１）。そして、皮膚領域抽出部１５１は、ＲＯＩが設定された部位が顔と顔以外か判定する（ステップＳ２０２）。ここで、ＲＯＩが設定された部位が顔と顔以外の場合（ステップＳ２０２肯定）、生体情報計測装置１００ａは、ステップＳ２０３〜ステップＳ２０５の処理に進む。一方、ＲＯＩが設定された部位が顔と顔以外ではない場合（ステップＳ２０２否定）、生体情報計測装置１００ａは、ステップＳ３０１〜ステップＳ３０５の処理に進む。なお、ステップＳ２０２〜ステップＳ２０５の処理は、第２の実施形態で説明した内容と同一である。
ステップＳ３０１〜ステップＳ３０５においては、特徴領域抽出部１５６が、映像を構成する各フレームにおいて、顔に設定されたＲＯＩの各小領域における緑色光の輝度値を抽出する（ステップＳ３０１）。さらに、特徴領域抽出部１５６は、特徴領域を含む２つのフレームを抽出する（ステップＳ３０２）。そして、算出部１５２が、各フレームにおける特徴領域の輝度平均値の位置を算出し（ステップＳ３０３）、輝度平均値の位置の単位時間あたりの移動量に基づいて、ｄＰＴＴを算出する（ステップＳ３０４）。その後、計測部１５３は、負の相関に基づいて血圧の変動を計測する（ステップＳ３０５）。
ステップＳ２０３〜ステップＳ２０５、又は、ステップＳ３０１〜ステップＳ３０５の処理が完了すると、出力制御部１５４が、出力部１２０ａ或いは出力装置１２０ｂに、計測結果を出力させる（ステップＳ２０６）。
上述したように、第３の実施形態によれば、特徴領域抽出部１５６は、対象者の映像信号の輝度情報に基づいて、対象者の映像における特徴領域を抽出する。算出部１５２は、特徴領域の追跡結果に基づいて、脈波伝播時間差を算出する。計測部１５３は、脈波伝播時間差の増減に基づいて対象者の血圧の変動を計測する。従って、第３の実施形態に係る生体情報計測装置１００ａは、複数のＲＯＩを設定することなく、血圧の変動の計測を行うことを可能にする。
また、第３の実施形態によれば、特徴領域抽出部１５６は、特徴領域として、対象者の映像において所定の輝度情報を示す領域を抽出する。算出部１５２は、脈波伝播時間差として、対象者の映像における所定の輝度情報を示す領域の単位時間あたりの移動量を算出する。従って、第３の実施形態に係る生体情報計測装置１００ａは、映像脈波から脈波の伝播速度を算出することができ、脈波の伝播速度に基づいて血圧の変動を計測することを可能にする。
また、第３の実施形態によれば、特徴領域抽出部１５６は、対象者の表皮にて反射された光に基づく映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した緑色光の輝度値において所定の輝度値を示す領域を抽出する。算出部１５２は、対象者の映像における所定の輝度値を示す領域の単位時間あたりの移動量を算出する。従って、第３の実施形態に係る生体情報計測装置１００ａは、映像脈波から脈波の伝播速度を正確に算出することを可能にする。
また、第３の実施形態によれば、特徴領域抽出部１５６は、対象者の映像における２フレームから所定の輝度値を示す領域をそれぞれ抽出する。算出部１５２は、対象者の映像のフレームレートに基づいて、２フレーム間での所定の輝度値を示す領域の単位時間あたりの移動量を算出する。従って、第３の実施形態に係る生体情報計測装置１００ａは、脈波の伝播速度を容易に算出することを可能にする。
また、第３の実施形態によれば、特徴領域抽出部１５６は、対象者の映像において、所定の期間に含まれる複数のフレームの中から、所定の輝度値を示す領域を含む２フレームを抽出する。従って、第３の実施形態に係る生体情報計測装置１００ａは、脈波の伝播速度を算出することができるフレームを抽出することを可能にする。
また、第３の実施形態によれば、特徴領域抽出部１５６は、所定の輝度値を示す領域として、緑色光の輝度値が第１の閾値以上となる領域、及び、緑色光の輝度値が第２の閾値以下となる領域のうち、少なくとも一方の領域を抽出する。算出部１５２は、緑色光の輝度値が第１の閾値以上となる領域、及び、緑色光の輝度値が第２の閾値以下となる領域のうち、少なくとも一方の領域の単位時間あたりの移動量を算出する。従って、第３の実施形態に係る生体情報計測装置１００ａは、各フレームからピーク又はバレーの領域を容易に抽出することを可能にする。
また、第３の実施形態によれば、算出部１５２は、特徴領域抽出部１５６によって抽出された特徴領域における輝度平均値の位置の単位時間あたりの移動量を算出する。従って、第３の実施形態に係る生体情報計測装置１００ａは、特徴領域の移動量を正確に算出することを可能にする。
また、第３の実施形態によれば、算出部１５２は、輝度平均値の位置として、特徴領域の重心を用いる。従って、第３の実施形態に係る生体情報計測装置１００ａは、特徴領域の位置を容易に特定することを可能にする。
次に、本願に係る生体情報表示装置及び生体情報表示方法を実施するための形態について図面を参照しつつ詳細に説明する。以下の実施形態においては、第４の実施形態に係る生体情報表示装置を利用した「健康モニタリング」によって実現される、『日常人間ドッグ』を例に挙げて、生体情報表示装置の詳細について説明する。なお、以下で説明する実施形態はあくまでも一例であり、実施形態は以下で説明する内容に限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
（第４の実施形態）
ここから、図４０〜図５２等を参照しながら、本願に係る生体情報表示装置及び生体情報表示方法を実施するための形態（以下、「第４の実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、以下で説明する実施形態はあくまでも一例であり、第４の実施形態は以下で説明する内容に限定されるものではない。また、第１〜第３の実施形態と同様の構成については、最上位の桁の数値を「５」に変更した符号（“５＊＊”）や同一の符号を付すことにより重複する説明を省略する。上述のように、『現代社会』において、誰もが、家族と社会の中で健康快活に、仕事や趣味に生きることを理想としている。そのため、例えば、図１に示す『日常人間ドック』により、非意識（Unconscious Sensing）技術により血流情報を収集して、収集した血流情報から日々の健康状態を対象者（「ユーザ」とする場合がある）にフィードバックする。
具体的には、第４の実施形態に係る『日常人間ドッグ』に利用される生体情報表示装置は、血流情報の収集の対象となるユーザの映像信号を解析することでユーザの血流情報を収集し、収集した血流情報に基づいて健康状態をユーザに提供する。具体的には、生体情報表示装置は、所定のユーザ行動（以下単に「ユーザ行動」とする場合がある）前後における血流の変動に応じて変化する映像信号を解析することでユーザの血流の変動を示す血行情報を生成し、生成した血行情報に基づいて健康状態をユーザに提供する。より具体的には、生体情報表示装置は、ユーザの所定の基準位置（例えば、顔）とユーザの基準位置以外の身体的位置を撮影した映像信号からそれぞれ脈波情報を抽出し、抽出した脈波情報の差の変動から血行情報を生成する。なお、ここでいう基準位置とは、基準位置を含む所定の範囲の領域を意味する。また、ここでいう身体的位置とは、身体的位置を含む所定の範囲の領域を意味する。なお、以下では、基準位置を顔として説明する。なお、脈波情報の差ではなく、血流情報として身体的位置におけるユーザ行動前後の血流量の差を用いる場合は基準位置を設定しなくてもよい。
なお、ここでいうユーザ行動とは、その行動前後においてユーザの身体に血流に関する変動を生じさせる行動であれば、どのような行動であってもよい。すなわち、行動前後においてユーザの身体に血流に関する変動を生じさせる行動であれば、ユーザの身体的な運度を伴わない行動、例えば思考等の心理的な行動であってもよい。また、例えば、図４０は、ユーザ行動がユーザの入浴である場合を示す。また、以下では、ユーザ行動前におけるユーザの身体的位置の血流情報を第１血流情報とし、ユーザ行動後におけるユーザの身体的位置の血流情報を第２血流情報として説明する。
ここで、脈波とは、心臓のポンプ作用によって生じる動脈系圧波動の伝播である。なお、以下では、脈波が血管を伝播する時間として定義される脈波伝播時間（ＰＴＴ：Pulse Transit Time）に基づいて、血行情報を生成する場合を例に説明する。具体的には、以下では、ユーザ行動前におけるユーザの脈波伝播時間に基づく第１血流情報と、ユーザ行動後におけるユーザの脈波伝播時間に基づく第２血流情報とから血行情報を生成する場合を説明する。例えば、第１血流情報や第２血流情報は、ユーザの身体の映像信号の輝度情報から抽出される。
ここで、映像信号から脈波情報を抽出する原理について説明する。例えば、ビデオカメラなどの撮像装置は、被写体で反射した光を、赤（Ｒ）・緑（Ｇ）・青（Ｂ）の３色の光を原色として波長毎のフィルタを通した映像として記録し、その輝度値に応じて様々な色を表現している。一方、可視光の血中ヘモグロビンの吸光特性に着目すると、５２０−６００ｎｍの波長帯域に高いピークを持っており、カメラの緑色フィルタが高感度となる波長帯域である、５００−５７０ｎｍとほぼ重なっている。心臓の拍動によって脈波が全身に伝播する際に、体表面を含めた全身の血流量は周期的に増減している。心臓が収縮して末梢部位の血流量が増加すると、血中ヘモグロビンの相対量も増加するため、皮膚表面での緑色光の吸収量が増加する。カメラは皮膚表面で反射した光を受け取るため、血中ヘモグロビンの相対量が増加しているときには映像中の緑の輝度値が低下する。これとは逆に、心臓が拡張しているとき、末梢部位の血流量は減少して血中ヘモグロビンの相対量も減少するため、皮膚表面での緑色光の吸収量が減少する。この緑色光における輝度値の変化は極めて小さく、人間の目では認識することはできないが、市販のビデオカメラなどを用いることで検出することができる。
生体情報表示装置は、上述した緑色光における輝度値を脈波情報として抽出し、血流の変動を示す血行情報を生成する。例えば、血流情報の収集をウェアラブル端末により行う場合、ユーザが自身の体に意識的にウェアラブル装置等を身に着けることによって血流情報が収集される。従って、従来の収集方法の場合、ウェアラブル装置を取り付ける煩わしさや、ウェアラブル装置のコストの面から、日常的に継続して血流情報を収集することが容易ではない。また、ユーザの入浴前後におけるユーザの血流情報を収集する場合、ユーザは入力後すぐにウェアラブル装置を身に着ける必要があり、ユーザの心理的負担が大きく現実的ではない。また、ウェアラブル装置で血流情報を収集する場合、ウェアラブル装置を身に着けている箇所以外における、血流情報を収集することが難しい。
これに対して、第４の実施形態によって実現される日常人間ドッグでは、ユーザの映像信号を解析して血流情報を収集する。そのため、例えば、図１に示すように、鏡の前に立つだけで、ユーザの血流情報を非接触で収集し、収集した血流情報を解析することで、今日の健康状態が判明する「健康予報」をユーザにフィードバックすることができる。すなわち、ユーザが特に意識することなく、日常生活の中で非意識のうちに血流情報を収集してユーザに健康状態をフィードバックすることができる。また、血流情報の収集をユーザの映像信号の解析により行うため、撮像されているユーザの身体的位置であれば、どの身体的位置であっても血流情報を収集してユーザに健康状態をフィードバックすることができる。
ここで、図１に示す「健康予報」とは、ユーザの血流の変動をもとに解析された健康状態を提供するものである。例えば、第１血流情報と第２血流情報とを比較してユーザ行動前後において、ユーザの血流がどの程度変動しているか、さらに、血流が大きく変動していることの評価をもとに「健康予報」が提供される。
これにより、日々の生活の中で血行に関するさりげない健康モニタリングを行うことができ、ユーザが日常的に自身の健康状態を把握することができる。例えば、図１に示すように、「体温：３６．５℃ 血圧：やや低め 寝不足です 鉄分を摂取してください」という「健康予報」を提供することで、ユーザは自身の現在の状態を把握することができる。ここで、ユーザの健康状態に関する情報は、ユーザにフィードバックするだけではなく、ネットワークを介して家族や主治医に対して提供することも可能である。例えば、ユーザの血流情報が収集されるごとに、家族が所持する携帯電話、スマートフォン、或いは、タブレット端末などや、主治医が操作する端末に解析結果が送信される。これにより、ユーザ自身だけでなく、家族や主治医もユーザの健康状態を把握することができる。
このように、第４の実施形態に係る生体情報表示装置を利用することで、血流変動を、簡便に、非接触的に測定することが可能となる。ここで、第４の実施形態に係る生体情報表示装置は、宅内に配置されるだけではなく、宅外のネットワーク上に配置されたサーバ装置上で同様の処理を行う場合であってもよい。例えば、宅内に設置されたカメラによって撮影された映像信号をネットワークを介してサーバ装置に送信し、映像信号を受信したサーバ装置が映像信号に対応するユーザの血流変動を算出する場合であってもよい。また、ネットワーク上のサーバ装置が、各宅内に設置された生体情報表示装置から各個人の血流情報を収集して、一元的に管理する場合であってもよい。この場合、サーバ装置は、各個人の血流情報と行動情報とを関連付けてライフログ情報として収集、蓄積してもよい。そして、サーバ装置は、時系列で収集した膨大な生体情報とライフログ情報とを複数ユーザについて統合化したビッグデータを、クラウド上で一元管理する。
また、サーバ装置は、かかるビッグデータを解析することで、将来の疾病発症リスク、食事量、運動量、又は運動負荷に対する体の応答反応等を高度且つ詳細に分析してもよい。ひいては、疾病発症リスクや発作の予兆、自分の体質、ライフスタイルに最適な食事内容、運動、ライフスタイル、薬やサプリメントの選択等、理想像を目指した日々の生活の設計も可能になる。また、サーバ装置は、これらの情報を、ユーザにフィードバックするだけでなく医療機関にフィードバックすることもできる。医師は、サーバ装置からフィードバックされた解析の結果をもとに、例えば、ハイリスクな疾病発症予備軍を認識し、必要に応じ積極的にこれらの者にアクセスする。なお、ユーザから送信された血流情報は、ユーザの身体の異常検知にも役立てられる。例えば、サーバ装置は、ハイリスクな疾病発症予備軍のユーザについて日々送信される血流情報を常時監視し、その中で異常を検知すると、直ちに医療機関等にフィードバックする。サーバ装置が、ビッグデータの解析の結果を医療機関や各種企業等に提供することで、様々なサービスへの利用や、新産業創出に貢献することができる。
（第４の実施形態に係る血行情報の表示例）
ここから、図４０を用いて、第４の実施形態に係る生体情報表示装置５００が血行情報を表示する例を説明する。図４０は、第４の実施形態に係る入浴前後の血流変動の表示の一例を示す図である。具体的には、図４０は、生体情報表示装置５００がユーザの入浴前後における血流の変動に基づく血行情報を表示する例を示す。また、図４０に示す例においては、生体情報表示装置５００がお風呂の脱衣所に設置された場合を示す。
まず、図４０中の左側に示すシーンＳＮ１ａは、入浴前のユーザがお風呂の脱衣所にいる場面を示す。なお、シーンＳＮ１ａにおいて、脱衣所の洗面台に映るユーザの像は、鏡に映ったユーザの像であってもよいし、生体情報表示装置５００の映像取得部５１０ａが撮影したユーザの像を表示部５２０が表示したものであってもよい。なお、図４０では、ユーザの像として、ユーザの上半身の像が脱衣所の洗面台に映る例を示すが、ユーザの全身の像であってもよい。また、映像取得部５１０ａの詳細については後述する。また、シーンＳＮ１ａにおいて、生体情報表示装置５００は、入浴前のユーザを撮影する。そして、生体情報表示装置５００は、ユーザの身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。なお、第１血流情報の算出についての詳細は後述する。
図４０では、脱衣所の洗面台に配置された生体情報表示装置５００は、映像取得部５１０ａによりユーザの正面から撮影する。そのため、生体情報表示装置５００は、ユーザを正面から撮影した身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。なお、図４０では、生体情報表示装置５００は、ユーザの複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第１血流情報を算出してもよい。
また、生体情報表示装置５００は、所定の条件を満たした場合に撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザが脱衣所に入ってきたことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。
その後、ユーザは、脱衣所から浴室へ移動し入浴する。この場合、生体情報表示装置５００は、撮影を停止してもよい。例えば、生体情報表示装置５００は、ユーザが脱衣所から浴室へ移動したことをトリガとして、撮影を停止してもよい。例えば、生体情報表示装置５００は、ユーザが所定の鏡に映らなくなったことをトリガとして、撮影を停止してもよい。また、生体情報表示装置５００は、第１血流情報を算出するために必要な情報が取得できたことをユーザに通知してもよい。これにより、生体情報表示装置５００は、ユーザに浴室へ移動するタイミングを通知することができ、入浴前後の血行情報の表示に必要な情報を取得することができる。
図４０中の中央に示すシーンＳＮ１ｂは、ユーザがお風呂に入浴中の場面を示す。シーンＳＮ１ｂにおいて、ユーザがある程度の時間（例えば、３０分等）入浴する。例えば、ユーザが適温（例えば３８℃〜４０℃）のお風呂に入ることにより、ユーザの皮膚の毛細血管や皮下の血管が拡張して、血流が良くなる。そのため、生体情報表示装置５００が算出する第２血流情報は第１血流情報から変動した値となる。例えば、生体情報表示装置５００が算出する第２血流情報は第１血流情報よりも大きな値となる。なお、生体情報表示装置５００は、ユーザが入浴中におけるお風呂の温度を適宜の手段により取得してもよい。例えば、生体情報表示装置５００は、お風呂の温度を計測する所定の温度計からユーザが入浴中におけるお風呂の温度に関する情報を取得してもよい。この場合、生体情報表示装置５００は、取得したお風呂の温度に関する情報に応じて第１血流情報や第２血流情報を補正してもよい。
図４０中のシーンＳＮ１ｂにおける入浴後、ユーザは、浴室から脱衣所へ移動する。この場合、生体情報表示装置５００は、撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザが浴室から脱衣所へ移動したことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。図４０中の右側に示すシーンＳＮ１ｃは、入浴後のユーザがお風呂の脱衣所にいる場面を示す。図４０中のシーンＳＮ１ｃにおいて、生体情報表示装置５００は、ユーザを正面から撮影した身体の映像信号の輝度情報から入浴後におけるユーザの身体的位置の血流情報である第２血流情報を算出する。なお、図４０では、生体情報表示装置５００は、ユーザの複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第２血流情報を算出してもよい。
また、生体情報表示装置５００は、各身体的位置の第１血流情報と第２血流情報との差分（以下、「血流差分」とする場合がある）を算出する。ここで、各身体的位置の血流差分は、各身体的位置における入浴前後の血流の変動を示す。なお、血流差分の大小と、血流の良し悪しは、血流差分の基となる第１血流情報や第２血流情報に応じて異なってもよい。例えば、血流差分が大きいほど、血流が良くなる場合があってもよい。また、例えば、血流差分が小さいほど、血流が良くなる場合があってもよい。すなわち、血流差分の評価は、血流差分の基となる第１血流情報や第２血流情報に応じて異なってもよい。
例えば、血流差分が大きいほど血流が良くなる場合、生体情報表示装置５００は、血流差分が所定の閾値以上である場合、対応する身体的位置の血流が良くなったとしてもよい。また、例えば、血流差分が大きいほど血流が良くなる場合、生体情報表示装置５００は、血流差分が所定の閾値未満である場合、対応する身体的位置の血流が悪くなったとしてもよい。また、例えば、血流差分が小さいほど血流が良くなる場合、生体情報表示装置５００は、血流差分が所定の閾値以上である場合、対応する身体的位置の血流が悪くなったとしてもよい。また、例えば、血流差分が小さいほど血流が良くなる場合、生体情報表示装置５００は、血流差分が所定の閾値未満である場合、対応する身体的位置の血流が良くなったとしてもよい。なお、図４０では、血流差分が大きいほど血流が良くなる場合を示す。
図４０では、生体情報表示装置５００は、ユーザの両肩や両腕や腹部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置５００は、ユーザの右肩周辺の複数の身体的位置の各々に関して血流差分を算出する。また、例えば、生体情報表示装置５００は、ユーザの腹部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置５００は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図４０では、生体情報表示装置５００は、血行情報ＩＢ１１として各身体的位置の血流差分が大きいほど、濃いハッチングで示す画像を生成する。また、図４０では、生体情報表示装置５００は、血行情報ＩＢ１１として各身体的位置の血流差分が小さいほど、薄いハッチングで示す画像を生成する。
そして、生体情報表示装置５００は、生成した血行情報ＩＢ１１をユーザの身体画像ＩＭ１１とともに表示する。具体的には、生体情報表示装置５００は、生成した血行情報ＩＢ１１をユーザの身体画像ＩＭ１１において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置５００は、右肩の血行情報ＩＢ１１をユーザの身体画像ＩＭ１１における右肩に重畳させて表示する。図４０では、右肩の首に近い身体的位置に表示される血行情報ＩＢ１１のうち最もハッチングの濃い画像が重畳されているため、ユーザは、右肩の首に近い身体的位置が最も血行が良くなっていると直感的に認識できる。これにより、ユーザは全くセンサを身に付けることなく遠隔的に血行状態の変化を定量的かつ直感的に比較することが可能となり、日常的な健康管理・身体運動の効果判定・精神的ストレスの強さを直感的に把握することができる。
上記の例では、ハッチングの濃淡により、血行情報を表示する例を示したが、例えば、生体情報表示装置５００は、いわゆるヒートマップのように、血流差分を色相の変化で示した色相画像を表示してもよい。具体的には、生体情報表示装置５００は、血流差分が大きいほど赤等の暖色系の色の画像を対応する身体的位置に重畳して表示し、血流差分が小さいほど青等の寒色系の色の画像を対応する身体的位置に重畳して表示してもよい。すなわち、生体情報表示装置５００は、暖色系の色の画像が重畳された身体的位置を血行が良くなった位置として表示し、寒色系の色の画像が重畳された身体的位置を血行が悪くなった位置として表示する。これにより、生体情報表示装置５００は、ユーザに自身の血行の変化を直感的に認識させることができる。
以下、第４の実施形態に係る生体情報表示装置の詳細について説明する。なお、以下の実施形態では、宅内に配置された生体情報表示装置がネットワークを介して上述したサーバ装置であるＰＨＲ（Personal Health Record）装置と接続される場合を例に挙げて説明するが、実施形態はこれに限定されるものではなく、生体情報表示装置がネットワークに接続されずに用いられる場合であってもよい。
（第４の実施形態に係る生体情報表示装置の構成）
上述した『日常人間ドッグ』を実現するために用いられる、第４の実施形態に係る生体情報表示装置について説明する。図４１は、第４の実施形態に係る生体情報表示装置５００の構成の一例を示す機能ブロック図である。図４１に示すように、生体情報表示装置５００は、映像取得部５１０ａと、表示部５２０と、通信部５３０と、記憶部５４０と、制御部５５０と、照度センサ５６０と、照明部５７０とを備え、ネットワーク３００を介して、ＰＨＲ装置２００、映像取得装置１１０ｂ及び出力装置１２０ｂと接続される。なお、図４１においては、生体情報表示装置５００、ＰＨＲ装置２００、映像取得装置１１０ｂ及び出力装置１２０ｂが１台ずつ示されているが、各装置が２台以上接続される場合であってもよい。
ネットワーク３００は、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などである。ＰＨＲ装置２００は、図４１に示すように、通信部２３０と、記憶部２４０と、制御部２５０とを備え、日常的に非意識で収集されたＰＨＲデータ（血流情報など）をヘルスケアクラウド上で一元管理するサーバ装置である。ここで、ＰＨＲデータとは、各個人から収集されたセンシングデータ（血流情報等）を個人ごとにそれぞれ対応付けた情報である。すなわち、ＰＨＲ装置２００は、ネットワーク３００を介して、複数の生体情報表示装置５００から個人ごとの血流情報を取得して管理する。また、ヘルスケアクラウドとは、ＰＨＲ装置２００、生体情報表示装置５００、ネットワーク３００などによって構成され、種々のユーザに対して『日常人間ドック』のサービスを提供するクラウドである。
ＰＨＲ装置２００における通信部２３０は、ネットワーク３００を介して生体情報表示装置５００、映像取得装置１１０ｂ及び出力装置１２０ｂと有線通信或いは無線通信を行い、生体情報表示装置５００によって収集された血流情報や、映像取得装置１１０ｂによって取得された映像信号を受信したり、出力装置１２０ｂに対して出力情報を送信したりする。記憶部２４０は、ＰＨＲデータなどの種々の情報を記憶する。例えば、記憶部２４０は、生体情報表示装置５００によって収集された血流情報をユーザに対応付けて記憶する。また、生体情報表示装置５００によって撮影された映像信号をユーザに対応付けて記憶する。すなわち、記憶部２４０は、ビッグデータを記憶するとともに、生体情報表示装置５００の記憶部５４０と同様の情報を記憶することができる。
ここで、ＰＨＲ装置２００は、生体情報表示装置５００によって収集された情報を管理するだけではなく、後述する生体情報表示装置５００と同様の処理を行うこともできる。すなわち、ＰＨＲ装置２００は、生体情報表示装置５００又は映像取得装置１１０ｂによって取得されたユーザの映像信号を受信して、受信した映像信号を解析することでユーザの血流情報を測定することができる。具体的には、ＰＨＲ装置２００の制御部２５０は、後述する生体情報表示装置５００の制御部５５０と同様の処理を実行することで、映像信号から血流の変動を測定する。記憶部２４０は、制御部２５０によって測定された血流情報などをユーザに対応づけて記憶する。さらに、制御部２５０は、生体情報表示装置５００や、出力装置１２０ｂからの出力情報の要求に応じて、記憶部２４０から情報を読み出し、読み出した情報を生体情報表示装置５００や出力装置１２０ｂに送信するように制御する。
映像取得装置１１０ｂは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を搭載するカメラであり、Ｒ（red）、Ｇ（green）、Ｂ（blue）など３種以上の受光素子を搭載することができる。また、映像取得装置１１０ｂは、緑色ＬＥＤを搭載した反射型フォトセンサなどである。そして、映像取得装置１１０ｂは、ユーザが生活する様々な場所に配置されてもよい。例えば、映像取得装置１１０ｂは、所定のエリア（お風呂の脱衣所や更衣室）等に配置され、ユーザの映像信号を取得し、取得した映像信号を、ネットワーク３００を介して生体情報表示装置５００や、ＰＨＲ装置２００に送信する。例えば、映像取得装置１１０ｂは、ユーザの顔の映像信号と、ユーザの顔の映像信号と同一時間の顔以外の身体的位置の映像信号とを取得して、生体情報表示装置５００や、ＰＨＲ装置２００に送信する。例えば、身体的位置は、血流の変動を取得したい位置、すなわち血行情報を生成する位置である。また、映像取得装置１１０ｂは、ユーザの顔と顔以外の身体的位置を同一映像で撮影するカメラであってもよく、或いは、ユーザの顔と顔以外の身体的位置とをそれぞれ撮影する異なるカメラであってもよい。
出力装置１２０ｂは、モニタなどの表示装置や、スピーカーなどの音声出力装置などである。そして、出力装置１２０ｂは、ユーザが生活する様々な場所や、ユーザの血流情報を観察する家族や医師などに対して出力可能となる場所などに配置され、生体情報表示装置５００や、ＰＨＲ装置２００から映像情報や音声情報などの出力情報を受信して、出力する。また、出力装置１２０ｂは、液晶パネルなどの表示装置であり、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示することもできる。
生体情報表示装置５００は、所定のエリアに設置される情報処理装置であり、ユーザの映像信号を解析することで、血流変動に基づいて血行情報を生成する。例えば、図４０の生体情報表示装置５００は、お風呂の脱衣所に設けられる洗面台に組み込まれた場合を示す。なお、生体情報表示装置５００は、カメラ付き携帯電話、スマートフォン、タブレット端末、カメラ付きＰＣ（Personal Computer）などであってもよい。また、図４１においては、生体情報表示装置５００が映像取得部５１０ａを備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報表示装置５００が映像取得部５１０ａを備えずに、映像取得装置１１０ｂから受信した映像信号を解析する場合であってもよい。
映像取得部５１０ａは、ＣＣＤやＣＭＯＳなどの撮像素子を搭載するカメラであり、Ｒ、Ｇ、Ｂなど３種以上の受光素子を搭載することができる。そして、映像取得部５１０ａは、ユーザの映像信号を取得して、取得した映像信号を制御部５５０に送信する。例えば、映像取得部５１０ａは、ユーザの顔の映像信号と、ユーザの顔の映像信号と同一時間の顔以外の部位の映像信号とを取得して、制御部５５０に送信する。また、映像取得部５１０ａは、ユーザの顔と顔以外の身体的位置を同一映像で撮影するカメラであってもよく、或いは、ユーザの顔と顔以外の身体的位置とをそれぞれ撮影する異なるカメラであってもよい。
表示部５２０は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等によって実現されるモニタなどの表示装置などである。例えば、表示部５２０は、入力部と組み合わされて形成され、入力部によって入力操作を受け付けるためのＧＵＩ（Graphical User Interface）を表示することもできる。例えば、表示部５２０は、生成部５５３により生成された血行情報をユーザの身体画像とともに表示する。具体的には、表示部５２０は、血行情報をユーザの身体画像における身体的位置に重畳させて表示する。また、例えば、表示部５２０は、画像情報を血行情報として表示する。
例えば、図４０では、表示部５２０は、身体的位置の第１血流情報と第２血流情報との差分を色相の変化で示した色相画像を血行情報として表示する。また、例えば、表示部５２０は、文字情報を血行情報として表示する。また、例えば、表示部５２０は、第１血流情報と第２血流情報との差分に関する数値を血行情報として表示する。また、例えば、表示部５２０は、ユーザの身体画像とともに他ユーザの血行情報を表示する。また、例えば、表示部５２０は、他ユーザの血行情報として他ユーザの血行情報の平均を表示する。また、例えば、表示部５２０は、血行情報を、ユーザの身体画像とともに所定のエリアに配置された表示面に表示する。また、例えば、表示部５２０は、血行情報を、ユーザの身体画像とともに鏡に表示する。なお、血行情報の表示例については後述する。
通信部５３０は、ネットワーク３００を介して映像取得装置１１０ｂ、出力装置１２０ｂ及びＰＨＲ装置２００と有線通信或いは無線通信を行う。例えば、通信部５３０は、映像取得装置１１０ｂからユーザの映像信号を受信して制御部５５０に送信する。また、通信部５３０は、出力装置１２０ｂに対して出力情報を送信する。また、通信部５３０は、ＰＨＲ装置２００に対して映像信号や測定結果を送信したり、ＰＨＲ装置２００との間で出力情報を送受信したりする。
照度センサ５６０は、対象者の皮膚付近の照度を測定するセンサである。例えば、照度センサは、映像信号が取得される対象者の顔や、顔以外の部位における照度を測定し、測定結果を制御部５５０に送信する。照明部５７０は、対象者に対して光を照射する。例えば、照明部５７０は、ＬＥＤ（Light Emitting Diode）を使用した照明器具であり、制御部５５０による制御のもと、対象者に対して光を照射する。なお、対象者に対する光の照射の詳細については、後述する。
記憶部５４０は、図４１に示すように、映像記憶部５４１と、算出結果記憶部５４２と、参照情報記憶部５４３とを備える。記憶部５４０は、例えば、ハードディスク、光ディスクなどの記憶装置、または、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子であり、生体情報表示装置５００によって実行される各種プログラムなどを記憶する。
映像記憶部５４１は、ユーザの映像信号を記憶する。具体的には、映像記憶部５４１は、映像取得部５１０ａや、映像取得装置１１０ｂによって取得されたユーザの映像信号を記憶する。例えば、映像記憶部５４１は、ユーザの顔の映像信号と、ユーザの顔の映像信号と同一時間の顔以外の身体的位置の映像信号とを記憶する。ここで、映像記憶部５４１によって記憶される映像は、同一映像の中に顔及び顔以外の身体的位置の映像信号を含むものであってもよく、或いは、顔の映像と顔以外の身体的位置の映像とがそれぞれ別の映像として撮影されたものであってもよい。なお、顔の映像と顔以外の身体的位置の映像とが別々の場合、別々の映像の同一時間における輝度情報を比較可能にするために、映像記憶部５４１は、各映像を時間情報と対応づけて記憶する。
算出結果記憶部５４２は、後述する制御部５５０によって実行される血流の変動の算出処理の結果を記憶する。具体的には、算出結果記憶部５４２は、制御部５５０における算出部５５２によって算出されたユーザの血流の変動に関する情報を記憶する。例えば、算出結果記憶部５４２は、映像信号から算出されたＰＴＴに相当する指標値を用いて算出された血流変動の算出結果を記憶する。図４２Ａは、第４の実施形態に係る算出結果の一例を示す図である。例えば、算出結果記憶部５４２は、図４２Ａに示すように、算出日時と算出結果とを対応付けた算出情報をユーザごとに記憶する。ここで、図４２Ａに示す「算出日時」とは、ユーザの顔と顔以外の身体的位置が撮影され、撮影された映像信号をもとに血流の変動が算出された日時を示す。また、図４２Ａに示す「算出結果」とは、各算出日時において算出された項目の結果を示す。
ここで、算出される項目としては、例えば、図４２Ａに示すように、「第１血流情報」、「第２血流情報」、「差分」などが挙げられる。なお、上述した第１血流情報や第２血流情報は、血流量の絶対値ではなく、所定の基準となる血流量との関係に基づく相対値であってもよい。すなわち、上述した第１血流情報や第２血流情報とは、基準となる血流量に対応する指標値であってもよい。例えば、算出結果記憶部５４２は、図４２Ａに示すように、「算出日時：２０１５０１０１０７１５」の算出結果として「第１血流情報：ＦＶ１１、第２血流情報：ＳＶ１１、差分：ΔＶ１１」を記憶する。すなわち、上述した情報は、「２０１５年１月１日７時１５分」に算出された第１血流情報は「ＦＶ１１」であり、第２血流情報は「ＳＶ１１」であり、差分は「ΔＶ１１」であることを示す。なお、図４２Ａでは、各項目に対応する情報をＦＶ１１、ＳＶ１１、ΔＶ１１等として概念的に示すが、各項目に対応する情報は具体的な数値であってもよい。
同様に、算出結果記憶部５４２は、同一のユーザの「算出日時：２０１５０１０１１０２６」の算出結果として「第１血流情報：ＦＶ１２、第２血流情報：ＳＶ１２、差分：ΔＶ１２」を記憶する。このように、算出結果記憶部５４２は、血流変動が算出されるごとに、算出された指標値の結果を記憶する。なお、算出結果記憶部５４２に記憶される情報は上記に限らず、目的に応じて種々の情報が記憶されてもよい。例えば、算出結果記憶部５４２は、第１血流情報や第２血流情報や差分を算出した身体的位置に関する情報を記憶してもよい。例えば、算出結果記憶部５４２は、第１血流情報「ＦＶ１１」や第２血流情報「ＳＶ１１」や差分「ΔＶ１１」の算出対象となった身体的位置が「肩」である場合、身体的位置「肩」を示す情報を記憶してもよい。
図４１に戻って、参照情報記憶部５４３は、後述する制御部５５０によって実行される算出処理にて参照される参照情報を記憶する。具体的には、参照情報記憶部５４３は、算出部５５２がユーザの血流変動に関する情報を算出する際に参照される参照情報を記憶する。図４２Ｂは、第４の実施形態に係る参照情報の一例を示す図である。例えば、参照情報記憶部５４３は、図４２Ｂに示すように、「参照情報」に「ｄＰＴＴ」及び「ＰＤ」を対応付けた情報を記憶する。ここで、「参照情報」とは、算出部５５２が血流変動を算出する際に参照する情報を示し、例えば、図４２Ｂに示すように、「血流値変換情報（２０１５０１０１更新）」や、「補正情報（温度）」、「補正情報（湿度）」などが挙げられる。また、「ｄＰＴＴ」は、脈波伝播時間差（difference of pulse transit time）であり、顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である。また、「ＰＤ」は、瞬時位相差（phase difference）であり、顔及び顔以外の映像信号中の緑色光の輝度値の位相差である。なお、「血流値変換情報」とは、第１血流情報や第２血流情報を補正するための情報である。また、「補正情報（温度）」とは、第１血流情報や第２血流情報に対して、温度に応じた補正を行うための情報であり、「補正情報（湿度）」とは、第１血流情報や第２血流情報に対して、湿度に応じた補正を行うための情報である。このように、第１血流情報や第２血流情報の補正を行ってもよい。
また、図４２Ｂに示す「ｄＰＴＴ」及び「ＰＤ」は、映像信号から算出されたＰＴＴに相当する指標値である。第４の実施形態に係る生体情報表示装置５００は、上述した「ｄＰＴＴ」又は「ＰＤ」によりユーザの血流変動を算出する。ここで、生体情報表示装置５００においては、指標値ごとの参照情報を参照することで、第１血流情報や第２血流情報を算出したり、温度や湿度に応じた補正を行ったりすることができる。なお、「ｄＰＴＴ」又は「ＰＤ」を用いたユーザの血流変動の算出については、後に詳述する。
図４１に戻って、制御部５５０は、皮膚領域抽出部５５１と、算出部５５２と、生成部５５３と、出力制御部５５４と、フィードバック制御部５５５とを備える。制御部５５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路やＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路であり、生体情報表示装置５００の全体制御を実行する。
制御部５５０は、上述した各部の処理により、ユーザの顔及び顔以外の身体的位置の映像信号から脈波情報を抽出してＰＴＴに相当する指標値を算出し、算出した指標値の変動から第１血流情報や第２血流情報を算出する。ここで、まず、脈波伝播時間（ＰＴＴ）に関する原理と定義について説明する。ＰＴＴは、脈波が大動脈から末梢方向へ伝播していく際に、ある基準点から別の測定点までに到達するのに要する時間のことである。第４の実施形態に係る脈波伝播時間の定義は、図５に示す脈波伝播時間の定義と同様である。例えば、図５においては、縦軸に「Amplitude（振幅）」を示し、横軸に「Time（時間）」を示すグラフに「ＥＣＧ（electrocardiogram：心電図）」と「ＰＰＧ（photoplethysmography：光電容積脈波）」の各波形を示す。
例えば、ＰＴＴは、図５に示すように、一般的には心電図の「R-wave Peak（Ｒ波）」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。例えば、脈波が血管内を伝播する速度「v」は血管の内径と血管壁の硬さに依存し、解析的な関係式は、上記の式（１）で示される「Moens-Korteweg」の式によって表される。
上述のように、式（１）と式（２）を式（３）に代入して両辺を２乗することで上記の式（４）及び式（５）を得る。また、式（５）の対数をとることで、血圧「P」を示す上記の式（６）を得ることができる。また、式（６）における血圧「P」の変化に対して、血管壁厚「h」及び血管の直径「d」の変化が小さく、「E0」の変化が十分に遅いとすると、式（６）における右辺第１項は無視することができるため、式（６）を脈波伝播時間「T」で微分すると、上記の式（７）となる。すなわち、上述したように、血圧「P」の変動分「ΔP」が、脈波伝播時間の変動分「ΔT」で示された式（７）となる。このように、血圧「P」の変動分「ΔP」が脈波伝播時間の変動分「ΔT」で示されたことから、脈波伝播時間「T」を用いることで、血圧（血行）の変動を推定することができることがわかる。
第４の実施形態に係る生体情報表示装置５００は、上述した原理のもと、映像信号の緑色光の輝度値を脈波とし、脈波伝播時間「ＰＴＴ」の変動を計測することで、血圧（血行）の変動を計測する。ここで、上述したように、「ＰＴＴ」は、ある基準点から別の測定点までに到達するのに要する時間であり、一般的に心電図の「Ｒ波」を基準として、末梢側で測定された脈波波形の特徴点までの時間差として定義される。しかしながら、心電図を取得するためには装置を用いることになるため、心電図を用いた「ＰＴＴ」によって血流変動を計測する場合、非接触的に測定することができない。そこで、第４の実施形態では、血圧変動を、簡便に、非接触的に測定するために、心電図を用いることなく、上述した「ＰＴＴ」に相当する指標値によって血流変動を計測する。
具体的には、第４の実施形態に係る生体情報表示装置５００は、ユーザの顔及び顔以外の映像信号中の緑色光の輝度値の位相差である「ＰＤ」、又は、ユーザの顔及び顔以外の映像信号中の緑色光の輝度値における所定の特徴点間の時間差である「ｄＰＴＴ」の変動を計測することによって血流の変動を計測する。以下、生体情報表示装置５００による処理について、映像信号から脈波情報を抽出する処理、及び、抽出した脈波情報から「ＰＤ」及び「ｄＰＴＴ」を算出する処理を順に説明する。
図４１に戻って、制御部５５０における皮膚領域抽出部５５１は、映像取得部５１０ａ又は映像取得装置１１０ｂによって取得された映像に含まれるユーザの皮膚領域を抽出する。具体的には、皮膚領域抽出部５５１は、映像中の色情報に基づいて皮膚領域を自動で抽出する。なお、皮膚領域抽出部５５１は、図示しない入力部を介して操作者から指定された領域を皮膚領域として抽出してもよい。以下、これらの処理の詳細について順に説明する。なお、皮膚領域抽出部５５１の処理対象となる映像は、映像取得部５１０ａ又は映像取得装置１１０ｂによって取得されたリアルタイムの映像であってもよく、映像記憶部５４１によって記憶された過去の映像であってもよい。
まず、映像中に色情報に基づいて皮膚領域を自動で抽出する場合について、図４３を用いて説明する。図４３は、第４の実施形態に係る皮膚領域の自動抽出を説明するための図である。例えば、皮膚領域抽出部５５１は、図４３に示すように、映像中から肌の色を示す領域を抽出することによってユーザの皮膚領域を抽出する。すなわち、皮膚領域抽出部５５１は、映像の２次元座標において肌の色に相当する色（輝度値）を示すすべての座標（画素の座標）を抽出し、抽出した座標において連続した座標の画素をまとめた領域を皮膚領域として抽出する。ここで、皮膚領域抽出部５５１は、連続していない座標の画素を異なる領域の座標としてまとめることで、複数の部位（身体的位置）に相当する皮膚領域をそれぞれ抽出する。
一例を挙げると、皮膚領域抽出部５５１は、図４３に示す映像において、肌の色（輝度値）を示す肩の部分の座標と、顔の部分の座標とを抽出する。そして、皮膚領域抽出部５５１は、抽出した座標において連続した座標の画素をまとめて皮膚領域として抽出する。ここで、皮膚領域抽出部５５１は、肩の部分の座標と、顔の部分の座標とが連続していないことから、肩の部分から抽出した座標と、顔の部分から抽出した座標とをそれぞれ異なる部位の皮膚領域の座標としてまとめて抽出する。さらに、皮膚領域抽出部５５１は、例えば、図４３に示す映像に対して顔認識処理を行うことで、ユーザの顔領域の画素の座標を抽出する。そして、皮膚領域抽出部５５１は、抽出した皮膚領域において、抽出した顔領域の座標を含む領域を顔の皮膚領域として判定する。
このように、皮膚領域抽出部５５１は、映像に含まれるユーザの顔の皮膚領域の座標と、顔以外の皮膚領域の座標とをそれぞれ抽出し、抽出した各皮膚領域の座標を算出部５５２に送信する。なお、肌の色に相当する色（輝度値）については、任意に設定することができる。例えば、人種ごとに所定の範囲の輝度値を設定し、映像において設定された範囲に含まれる輝度値を示す座標を肌の色の座標として抽出するように設定することも可能である。
また、例えば、皮膚領域抽出部５５１は、映像中に「基準位置」となる顔の領域や血流の変動を算出する「身体的位置」となる領域（図４３中では肩等）を関心領域（ＲＯＩ：region of interest）として自動で設定してもよいし、ユーザがマウスやタッチパネルなどの入力部を操作して設定してもよい。例えば、皮膚領域抽出部５５１は、関心領域が設定されると、設定された領域の座標を抽出して、各領域の座標を算出部５５２に送信する。ここで、各領域が基準位置となる顔の領域であるか、或いは、顔以外の身体的位置となる領域であるかについては、操作者から指定される場合であってもよく、上述した顔認識処理を実行する場合であってもよい。
例えば、操作者が、設定した３つの関心領域のうち、「顔面左頬」の領域を基準位置の領域として指定し、「右肩」の領域及び「左肩」の領域を身体的位置の領域として指定する。これにより、皮膚領域抽出部５５１は、各関心領域が基準位置の領域であるか又は身体的位置の領域であるかを識別することができる。また、上述した指定が実行されなかった場合、皮膚領域抽出部５５１は、上述したように、映像に対して顔認識処理を行うことで、ユーザの顔領域の座標を抽出し、設定された関心領域において、抽出した顔領域の座標を含む領域を基準位置の皮膚領域として抽出してもよい。
皮膚領域抽出部５５１は、上述した皮膚領域の抽出処理を、映像を構成する各フレームについてそれぞれ実行して、各フレームにおける皮膚領域の座標を算出部５５２に順次送信する。なお、関心領域が設定される場合、皮膚領域抽出部５５１は、関心領域が設定されたフレームから以降のフレームについて、映像中の特徴点を用いたトラッキング処理によりフレームごとの関心領域の座標をトラッキングして、トラッキングした結果の座標を算出部５５２に順次送信する。
なお、関心領域が手動で設定される場合、目鼻や毛髪を極力含まず、皮膚領域がＲＯＩ内を多く占めるようにし、影となっている部分も避けるようにすることが望ましい。また、皮膚領域抽出部５５１は、手動で設定されたＲＯＩ内から肌の色に相当する輝度値の画素を抽出して、抽出した画素をまとめた領域を関心領域として設定することができる。すなわち、手動でＲＯＩが設定され、設定されたＲＯＩ内に目や毛髪などが含まれていた場合にも、それらに対応する画素を除いた領域を皮膚領域として設定することができる。
図４１に戻って、算出部５５２は、ユーザの顔の映像信号の輝度情報と、ユーザの顔の映像信号と同一時間の顔以外の部位の映像信号の輝度情報との差分を算出する。具体的には、算出部５５２は、ユーザの顔及び顔以外の部位の映像信号に含まれる緑色光の輝度値をそれぞれ抽出し、抽出した各映像信号中の緑色光の輝度値における所定の特徴点間の時間差（ｄＰＴＴ）、又は、各映像信号中の緑色光の輝度値の位相差（ＰＤ）を算出する。
ここで、算出部５５２は、映像信号から緑色光の抽出を行う前に、まず、画像の平滑化を行い、映像取得部５１０ａ又は映像取得装置１１０ｂとしてのカメラ自体に発生する人工的なインパルス性雑音を除去する。例えば、算出部５５２は、フレームごとの画像全体に５×５ピクセルのメディアンフィルタをかける。その後、算出部５５２は、メディアンフィルタをかけたのちの各フレームについて、皮膚領域抽出部５５１によって抽出された皮膚領域における緑色光を抽出する。
上述したように、映像の各フレームの各画素には「Ｒ」、「Ｇ」、「Ｂ」の３つの輝度値が保存されており、この輝度値の組み合わせによってその画素の色が表現されている。そこで、算出部５５２は、まず、各フレームの皮膚領域（顔の皮膚領域及び顔以外の皮膚領域）に対して緑色のフィルタをかけることで、血中ヘモグロビンに対して強い吸光特性を有する緑色光の輝度値のみを抽出する。そして、算出部５５２は、顔の皮膚領域及び顔以外の皮膚領域について、緑色光の輝度値の平均値をフレームごとに算出して時間変化曲線とした緑信号を抽出する。図４４は、第４の実施形態に係る緑信号の抽出を説明するための図である。図４４においては、上段に映像に含まれる複数のフレームの模式図を示し、中段に縦軸を「Average Luminance（輝度平均値）」とし、横軸を「Frame No.（フレーム番号）」とした、緑色光の輝度平均値のグラフを示す。また、図４４においては、下段に縦軸を「Average Green Luminance（緑色輝度平均値）」とし、横軸を「Time [s]（時間）」とした、緑信号の一例を示す。
例えば、算出部５５２は、図４４の上段の図に示すように、映像を構成する複数のフレームそれぞれに対して緑色のフィルタをかけることで、皮膚領域における緑色光の輝度値を抽出する。そして、算出部５５２は、各フレームについて、抽出した緑色光の輝度値の平均値を算出することで、図４４の中段の図に示すように、緑色の輝度平均値のグラフを抽出する。算出部５５２は、映像中の各フレームに対して上述した処理を実行することで、図４４の下段の図に示すような「緑信号」を抽出する。算出部５５２は、皮膚領域抽出部５５１によって抽出された皮膚領域それぞれについて「緑信号」を抽出する。具体的には、算出部５５２は、顔の皮膚領域（顔に設定された関心領域）及び顔以外の部位の皮膚領域（顔以外の部位に設定された関心領域）について、それぞれ「緑信号」を抽出する。
続いて、算出部５５２は、抽出した各皮膚領域の「緑信号」に対してそれぞれフィルタ処理を施すことによって、各皮膚領域における脈波信号を抽出する。すなわち、緑信号には体動や呼吸性変動などが含まれているため、算出部５５２は、これらを除くためのフィルタ処理を行う。例えば、算出部５５２は、「０．７−２．０ Hz」の周波数帯を通過する次数「５」のバタワースフィルタを使用することで、心拍成分以外の信号成分を除去する。これは健常者の心拍数変動の範囲である、「４０−１２０ bpm」の成分と一致するものである。なお、本実施形態では、心拍周波数帯域のみを通過させるバンドパスフィルタとして、バタワースフィルタを用いる場合を例に挙げたが、実施形態はこれに限定されるものではなく、心拍周波数帯域のみを通過させることができるフィルタであれば、どのようなバンドパスフィルタが用いられる場合であってもよい。
第４の実施形態に係る脈波信号の抽出は、図８に示す脈波信号の抽出と同様になる。例えば、図４４の下段に示す「緑信号」から脈波を抽出する場合、図８に示すような抽出となる。また、図８の下段においては、縦軸を「Amplitude（振幅）」とし、横軸を「Time [s]（時間）」とした脈波信号を示す。ここで、第４の実施形態においては、光電容積脈波計などの装置によって計測された脈波「PPG」と区別するために、映像信号から抽出した脈波を図８に示すように「映像脈波（iPPG；image-based photoplethysmography）」と記す。例えば、算出部５５２は、図８に示すように、「緑信号」にフィルタ処理を施すことで、「映像脈波（iPPG）」を抽出する。図８に示すように、抽出される「映像脈波」は、正弦波状の周期的な波形となっており、心臓の１拍動によって生じる脈波がフィルタ処理後の波形の１つの山として現れる。
なお、第４の実施形態においては、原理的に血流増大時に緑信号は減少することになる。そこで、算出部５５２は、血流の増減と緑信号の増減とを一致させるために、緑信号に「−１」を乗算して正負反転させた後に、上述したフィルタ処理を施すことも可能である。例えば、図８に示す映像脈波は、第４の実施形態における例の正負反転させた波形を示す。
上述したように、算出部５５２は、顔の映像信号の緑色光の輝度情報から顔における映像脈波を抽出し、顔以外の部位の映像信号の緑色光の輝度情報から顔以外の部位における映像脈波を抽出する。そして、算出部５５２は、抽出した各映像脈波を用いて、ＥＣＧのＲ波を用いた「ＰＴＴ」に相当する指標値「ｄＰＴＴ」及び「ＰＤ」を算出する。以下では、まず、「ｄＰＴＴ」の算出について説明した後に、「ＰＤ」の算出について説明する。
「ＰＴＴ」は、一般的にＥＣＧのＲ波とＰＰＧの特徴点の時間差で定義されるが、「ＰＴＴ」は心臓から拍出された脈波の伝播時間であるため、伝播路となる血管において心臓に近い部位と心臓から離れた部位の２か所で測定した脈波波形を用いることでも定義することができる。すなわち、心臓に近い部位で測定された脈波波形と心臓から離れた部位で測定された脈波波形との伝播時間差を脈波の伝播時間と定義することができる。そこで、第４の実施形態では、基準位置となる顔の映像信号から抽出された脈波波形（iPPG）の特徴点と、身体的位置の映像信号から抽出された脈波波形（iPPG）の特徴点との時間差を「ＰＴＴ」に相当する指標値「ｄＰＴＴ：脈波伝播時間差」として用いる。
ここで、脈波波形の特徴点については、明確な定義がなされておらず、複数の決定方法が存在する。例えば、拍内において「ＰＰＧ」の値が最小となる点を特徴点とする「ボトム法」、拍内において「ＰＰＧ」の値が最大となる点を特徴点とする「トップ法」、拍内において速度脈波（ＰＰＧの１階微分波形）が最大となる点を特徴点とする「１次微分法」、及び、拍内において加速度脈波（ＰＰＧの２階微分波形）が最大となる点を特徴点とする「２次微分法」などが挙げられる。算出部５５２は、上記した方法を含む任意の方法によって特徴点を決定することができる。なお、上述した方法においては、「２次微分法」が他の方法に比べて耐雑音性が高い傾向にあるため、「２次微分法」がデフォルトで設定されている場合であってもよい。
算出部５５２は、上述した方法によって脈波波形における特徴点を決定することによって、例えば、図９に示すように、「ｄＰＴＴ」を定義して、映像信号から抽出した映像脈波から「ｄＰＴＴ」を算出することができる。第４の実施形態に係る脈波伝播時間差の定義は、図９に示す脈波伝播時間差の定義と同様である。ここで、図９においては、図中左側に脈波伝播時間「ＰＴＴ」の定義を示し、図中右側に脈波伝播時間差「ｄＰＴＴ」の定義を示す。すなわち、第４の実施形態においては、心電図のＲ波から脈波Ａにおける特徴点までの時間を示す「ＰＴＴ」に相当する指標値として、脈波Ａにおける特徴点と脈波Ｂにおける同一の特徴点との時間差を「ｄＰＴＴ」として用いる。
例えば、算出部５５２は、基準位置となる顔の映像信号から抽出した映像脈波「iPPG」と、顔以外の身体的位置の映像信号から抽出した映像脈波「iPPG」とから２次微分法によってそれぞれ特徴点を検出し、検出した特徴点間の時間差「ｄＰＴＴ」を算出する。算出部５５２は、正弦波状の周期的な波形を示す映像脈波において、心臓の１拍動に対応する１つの山ごとに「ｄＰＴＴ」を算出することで、「ｄＰＴＴ」を経時的に算出する。
次に、「ＰＤ」の算出について説明する。この場合、特徴点の検出をすることなしに、異なる２つのＲＯＩにおける「iPPG」の位相差から「ＰＴＴ」に相当する「ＰＤ」を算出する。
ここで、算出部５５２は、２つの脈波信号（基準位置となる顔の映像信号から抽出した映像脈波信号及び顔以外の身体的位置の映像信号から抽出した映像脈波信号）の位相差を算出するために、まず、以下で説明するヒルベルト変換を用いた瞬時位相を算出する。時刻「ｔ」における「iPPG」のヒルベルト変換「H[iPPG(t)]」は時間軸では上記の式（８）によって示される。
また、式（８）における「*」はコンボリュージョンを示す。式（８）における「1/πt」をフーリエ変換すると「-jsgn(f)」となることから、「H[iPPG(t)]」のフーリエ変換「F[H[iPPG(t)]]」は上記の式（９）のように示される。すなわち、ヒルベルト変換は、「iPPG(t)」の正負の周波数成分に対してそれぞれ「９０°」 遅らせる、もしくは進める操作である。これによって、「cos」成分は「-sin」成分になり、「sin」成分は「cos」成分になる。また、「iPPG(t)」のヒルベルト変換「H[iPPG(t)]」は「iPPG(t)」より位相が「９０°」進んでいるので、瞬時位相「θ(t)」は上記の式（１０）のように示される。
算出部５５２は、上述したヒルベルト変換によって２つの脈波信号の瞬時位相をそれぞれ算出すると、この２つの瞬時位相の差を「ＰＴＴ」に相当する指標値「ＰＤ」として算出する。例えば、異なる２つの領域（基準位置の領域及び身体的位置の領域）から得られる「iPPG」を「iPPG1(t)」、「iPPG2(t)」とすると、上記の式（１０）によって、各「iPPG」の瞬時位相「θ1(t)」及び「θ2(t)」が得られる。このとき、より心臓に近い位置で測定された方を「iPPG1(t)」とすると、脈波は心臓に近い位置から順に伝播していくため、瞬時位相「θ1(t)」は、瞬時位相「θ2(t)」よりも進んでいると考えられる。従って、この２つの瞬時位相の差「ＰＤ」は、２か所の異なるＲＯＩの脈波が伝播する時間差を反映していると考えられるため、ほぼ「ＰＴＴ」と等価であると考えられ、上記の式（１１）によって算出される。このように、算出部５５２は、脈波の瞬時位相を用いることで、１拍につき１点の位相情報を対象とするのではなく、１拍波形全体の情報を対象として位相差を算出する。この場合、算出部５５２は、図１０に示すような瞬時位相差を算出する。
例えば、算出部５５２は、図１０に示すように、基準位置となる顔の映像信号から抽出した映像脈波「iPPG1」と、身体的位置（例えば、肩など）の映像信号から抽出した映像脈波「iPPG2」とから、それぞれ瞬時位相１「θ1」及び瞬時位相２「θ2」を算出する。ここで、図１０の中段に示す瞬時位相は、（−π，π）の範囲で折り返したものを示す。そして、算出部５５２は、上述した式（１１）を用いて、瞬時位相１「θ1」から瞬時位相２「θ2」を差分することで、図１０に示すように、瞬時位相差「ＰＤ」を算出する。
また、算出部５５２は、算出した脈波伝播時間差「ｄＰＴＴ」又は瞬時位相差「ＰＤ」を用いて第１血行情報や第２血行情報を算出する。例えば、算出部５５２は、所定のユーザ行動前における基準位置となる顔と身体的位置との間の脈波伝播時間差「ｄＰＴＴ」、及び基準位置と身体的位置との間の距離に基づく脈波伝播速度を第１血行情報として算出する。なお、算出部５５２は、所定のユーザ行動前における基準位置となる顔と身体的位置との間の脈波伝播時間差「ｄＰＴＴ」を第１血行情報としてもよい。また、算出部５５２は、所定のユーザ行動前における基準位置となる顔と身体的位置との間の瞬時位相差「ＰＤ」を第１血行情報としてもよい。なお、ここに示す脈波伝播時間差の算出は一例であり、算出部５５２は、種々の方法を適宜用いて脈波伝播時間差を算出してもよい。例えば、算出部５５２は、第１〜第３の実施形態における脈波伝播時間差を算出する方法を用いて、脈波伝播時間差を算出してもよい。
また、例えば、算出部５５２は、所定のユーザ行動後における基準位置となる顔と身体的位置との間の脈波伝播時間差「ｄＰＴＴ」、及び基準位置と身体的位置との間の距離に基づく脈波伝播速度を第２血行情報として算出する。なお、算出部５５２は、所定のユーザ行動後における基準位置となる顔と身体的位置との間の脈波伝播時間差「ｄＰＴＴ」を第２血行情報としてもよい。また、算出部５５２は、所定のユーザ行動後における基準位置となる顔と身体的位置との間の瞬時位相差「ＰＤ」を第２血行情報としてもよい。
例えば、図４０では、算出部５５２は、ユーザの入浴前における顔と右肩との間の脈波伝播時間差「ｄＰＴＴ」、及び顔と右肩との間の距離に基づく脈波伝播速度を、右肩に関する第１血行情報として算出する。また、例えば、図４０では、算出部５５２は、ユーザの入浴後における顔と右肩との間の脈波伝播時間差「ｄＰＴＴ」、及び顔と右肩との間の距離に基づく脈波伝播速度を、右肩に関する第２血行情報として算出する。
また、例えば、図４０では、算出部５５２は、ユーザの入浴前における顔と左肩との間の脈波伝播時間差「ｄＰＴＴ」、及び顔と左肩との間の距離に基づく脈波伝播速度を、左肩に関する第１血行情報として算出する。また、例えば、図４０では、算出部５５２は、ユーザの入浴後における顔と左肩との間の脈波伝播時間差「ｄＰＴＴ」、及び顔と左肩との間の距離に基づく脈波伝播速度を、左肩に関する第２血行情報として算出する。
また、算出部５５２は、第１血行情報と第２血行情報との差分を算出する。例えば、図４０では、算出部５５２は、右肩に関する第１血行情報と右肩に関する第２血行情報との差分を算出する。また、例えば、図４０では、算出部５５２は、左肩に関する第１血行情報と左肩に関する第２血行情報との差分を算出する。また、算出部５５２は、上記の各種の算出結果を算出結果記憶部５４２に格納してもよい。
生成部５５３は、算出部５５２によって算出された差分に応じて身体的位置の血流状態を示す血行情報を生成する。具体的には、生成部５５３は、表示部５２０に表示する血行情報を生成する。例えば、生成部５５３は、画像情報を血行情報として生成する。具体的には、生成部５５３は、身体的位置の第１血流情報と第２血流情報との差分を色相の変化で示した色相画像を血行情報として生成する。図４０では、生成部５５３は、右肩の第１血流情報と右肩の第２血流情報との差分を色相の変化で示した色相画像を右肩の血行情報として生成する。また、図４０では、生成部５５３は、左肩の第１血流情報と左肩の第２血流情報との差分を色相の変化で示した色相画像を左肩の血行情報として生成する。また、例えば、生成部５５３は、文字情報を血行情報として表示する。
出力制御部５５４は、表示部５２０の表示を制御する。例えば、出力制御部５５４は、生成部５５３により生成された血行情報を表示部５２０にて表示させるように制御する。例えば、出力制御部５５４は、身体的位置の第１血流情報と第２血流情報との差分を色相の変化で示した色相画像を、対応する身体的位置に重畳して表示するように表示部５２０の表示を制御する。例えば、図４０では、出力制御部５５４は、右肩の第１血流情報と第２血流情報との差分を色相の変化で示した色相画像を、対応するユーザの身体画像の右肩に重畳して表示するように表示部５２０の表示を制御する。なお、出力制御部５５４は、出力装置１２０ｂの出力を制御してもよい。
上述したように、生体情報表示装置５００は、対象者の映像信号における輝度値の変化（緑信号の変化）に基づいて処理を実行する。ここで、対象者を撮影している際に、対象者が動いたり、カメラが動いたりすることにより、映像内の対象者の皮膚領域が動く（並進運動・回転運動する）場合がある。また、対象者を撮影している際に、皮膚に照射される周辺光の強度が変化する場合もある。このような皮膚領域の動きに伴う輝度値の変化や周辺光の強度の時間的変化は、実際の血液量の変化を直接反映しない雑音成分となる可能性がある。そこで、本願に係る生体情報表示装置５００は、上記した状況を考慮した処理を実行する。
皮膚領域の並進運動・回転運動による雑音に対しては、生体情報表示装置５００は、肌色部分の逐次的トラッキングにより補正する。例えば、皮膚領域抽出部５５１は、皮膚領域が次のフレームでどのように変化したかを順次探索することで、各フレームの皮膚領域を抽出する。一例を挙げると、皮膚領域抽出部５５１は、映像中の特徴点の位置や、複数の特徴点間の相互の位置関係などを変化（更新）させながら、各フレーム内の皮膚領域を抽出する。なお、逐次的トラッキングは、上記した例に限らず、どのような手法が用いられてもよい。
周辺光の強度の時間的変化に対しては、生体情報表示装置５００は、照度センサ５６０によって測定された照度に応じて照明部５７０を制御することで、対象者の皮膚付近の光の強度を調整する。具体的には、フィードバック制御部５５５は、照度センサ５６０から受信した照度に基づいて、照明部５７０から照射される光の強度を変化させる。すなわち、フィードバック制御部５５５は、照度センサ５６０によって測定される照度が一定値に保たれるように、照明部５７０から照射される光の強度を変化させる。これにより、例えば、周辺光の強度が時間的に変化する可能性が高い自動車内のような環境であっても、精度の高い処理を行うことができる。
なお、フィードバック制御部５５５は、上記した処理とは異なるフィードバック制御も行うことができる。例えば、フィードバック制御部５５５は、照度センサ５６０の測定結果を用いずに、映像信号の輝度値の変化に基づくフィードバック制御を行うことで、周辺光の強度の時間的変化を補正することができる。一例を挙げると、フィードバック制御部５５５は、皮膚領域の平均輝度において、直流成分及び交流成分における心拍周波数帯域よりも低い周波数成分が一定値に保たれるように、照明部５７０から照射される光の強度を変化させる。
なお、図４１においては、生体情報表示装置５００が、照度センサ５６０及び照明部５７０を備える場合を示しているが、実施形態はこれに限定されるものではなく、生体情報表示装置５００の外部にある照度センサ５６０及び照明部５７０が、生体情報表示装置５００に接続される場合であってもよい。また、照度センサ５６０及び照明部５７０が映像取得装置１１０ｂに備えられ、生体情報表示装置５００におけるフィードバック制御部５５５が、ネットワーク３００を介して照明部５７０を制御する場合であってもよい。
上述した例では、周辺光の強度の時間的変化に対して照明部５７０を用いて補正する場合について説明した。しかしながら、生体情報表示装置５００は、照度センサ５６０や照明部５７０を用いずに周辺光の強度の時間的変化に対する補正を行うことも可能である。例えば、算出部５５２は、対象者の映像信号における所定の長さの時間区間に含まれるフレームについて、皮膚領域の輝度平均値のフレーム間の差分をそれぞれ算出する。そして、算出部５５２は、算出したフレーム間の差分の絶対値を所定の閾値とそれぞれ比較し、所定の閾値よりも大きい差分を「０」とする補正を行う。このように、算出部５５２は、所定の長さの時間区間に含まれるフレーム間の各差分において、差分の絶対値が所定の閾値よりも大きいものを「０」にしたフレーム間の差分の累積値の時系列を、皮膚領域の輝度平均値の時系列（緑信号）として算出する。これにより、補正前の輝度平均値の時系列に含まれる急激なバイアス成分の変化がキャンセルされ、バンドパスフィルタによっても除去しにくい低周波成分の過渡応答を抑制することができる。これは、非線形フィルタである「εフィルタ」の１つの形態である。
（背面側の血行情報の表示例）
図４０の例においては、ユーザの正面側の血行情報を表示する例を示したが、血行情報はユーザの身体であれば、どの位置の血行情報であってもよい。そこで、図４５を用いて、第４の実施形態に係る生体情報表示装置５００がユーザの背面側の血行情報を表示する例を説明する。図４５は、第４の実施形態に係る入浴前後の血流変動の表示の一例を示す図である。具体的には、図４５は、生体情報表示装置５００がユーザの入浴前後における血流の変動に基づく血行情報を表示する例を示す。また、図４５に示す例においては、生体情報表示装置５００がお風呂の脱衣所に設置され、映像取得装置１１０ｂが洗面台の反対側に設置された場合を示す。図４０と同様の説明は適宜省略する。
まず、図４５中の左側に示すシーンＳＮ２ａは、入浴前のユーザがお風呂の脱衣所にいる場面を示す。なお、シーンＳＮ２ａにおいて、脱衣所の洗面台に映るユーザの像は、映像取得装置１１０ｂが撮影したユーザの像を表示部５２０が表示したものである。具体的には、脱衣所の洗面台に映るユーザの像は、映像取得装置１１０ｂがユーザの背後から撮影したユーザの背面の像を表示部５２０が表示したものである。なお、図４５では、ユーザの像として、ユーザの上半身の像が脱衣所の洗面台に映る例を示すが、ユーザの全身の像であってもよい。また、シーンＳＮ２ａにおいて、生体情報表示装置５００は、入浴前のユーザを撮影する。そして、生体情報表示装置５００は、ユーザの身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の第１血流情報を算出する。
上述のように、図４５では、脱衣所の洗面台に配置された生体情報表示装置５００は、映像取得装置１１０ｂによりユーザの背面から撮影する。そのため、生体情報表示装置５００は、ユーザを背面から撮影した身体の映像信号の輝度情報から入浴前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。なお、図４５では、生体情報表示装置５００は、ユーザの複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や腰部等、複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第１血流情報を算出してもよい。
図４５中の中央に示すシーンＳＮ２ｂは、ユーザがお風呂に入浴中の場面を示す。図４５中のシーンＳＮ２ｂにおける入浴後、ユーザは、浴室から脱衣所へ移動する。図４５中の右側に示すシーンＳＮ２ｃは、入浴後のユーザがお風呂の脱衣所にいる場面を示す。図４５中のシーンＳＮ２ｃにおいて、生体情報表示装置５００は、ユーザを背面から撮影した身体の映像信号の輝度情報から入浴後におけるユーザの身体的位置の血流情報である第２血流情報を算出する。なお、図４５では、生体情報表示装置５００は、ユーザの複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や腰部等、複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第２血流情報を算出してもよい。
また、生体情報表示装置５００は、各身体的位置の血流差分を算出する。なお、図４５では、血流差分が大きいほど血流が良くなる場合を示す。図４５では、生体情報表示装置５００は、ユーザの両肩や両腕や腰部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置５００は、ユーザの右肩周辺の複数の身体的位置の各々に関して血流差分を算出する。また、例えば、生体情報表示装置５００は、ユーザの腰部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置５００は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図４５では、生体情報表示装置５００は、血行情報ＩＢ１２として各身体的位置の血流差分が大きいほど、濃いハッチングで示す画像を生成する。また、図４５では、生体情報表示装置５００は、血行情報ＩＢ１２として各身体的位置の血流差分が小さいほど、薄いハッチングで示す画像を生成する。
そして、生体情報表示装置５００は、生成した血行情報ＩＢ１２をユーザの身体画像ＩＭ１２とともに表示する。具体的には、生体情報表示装置５００は、生成した血行情報ＩＢ１２をユーザの身体画像ＩＭ１２において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置５００は、腰部の血行情報ＩＢ１２をユーザの身体画像ＩＭ１２における腰部に重畳させて表示する。図４５では、腰部全体にハッチングで示す画像が重畳されているため、ユーザは、腰部全体の血行が良くなっていると直感的に認識できる。
（生体情報表示装置の設置例）
図４０や図４５の例においては、ユーザ行動がユーザの入浴である場合を例に説明したが、ユーザ行動は、その行動前後においてユーザの身体に血流に関する変動を生じさせる行動であれば、どのような行動であってもよい。また、図４０や図４５の例においては、お風呂の脱衣所に生体情報表示装置５００が設置された例を示したが、生体情報表示装置５００はどのような場所に設置されてもよい。そこで、図４６や図４７を用いて、第４の実施形態に係る生体情報表示装置５００がロッカールームに設置された例を説明する。
まず、図４６を用いて、第４の実施形態に係る生体情報表示装置５００が職場のロッカールームに設置され、ユーザ行動がユーザの労働である例を説明する。図４６は、第４の実施形態に係る労働前後の血流変動の表示の一例を示す図である。具体的には、図４６は、生体情報表示装置５００がユーザの労働前後における血流の変動に基づく血行情報を表示する例を示す。
まず、図４６中の左側に示すシーンＳＮ３ａは、労働前のユーザがロッカールームにいる場面を示す。なお、シーンＳＮ３ａにおいて、ロッカールームのロッカーの扉に映るユーザの像は、鏡に映ったユーザの像であってもよいし、生体情報表示装置５００の映像取得部５１０ａが撮影したユーザの像を表示部５２０が表示したものであってもよい。また、シーンＳＮ３ａにおいて、生体情報表示装置５００は、労働前のユーザを撮影する。そして、生体情報表示装置５００は、ユーザの身体の映像信号の輝度情報から労働前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。
図４６では、ロッカールームのロッカーの扉に配置された生体情報表示装置５００は、映像取得部５１０ａによりユーザの正面から撮影する。そのため、生体情報表示装置５００は、ユーザを正面から撮影した身体の映像信号の輝度情報から労働前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。なお、図４６では、生体情報表示装置５００は、ユーザの複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第１血流情報を算出してもよい。
また、生体情報表示装置５００は、所定の条件を満たした場合に撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザがロッカーの扉を開けたことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。
その後、ユーザは、ロッカールームから自身の机等へ移動し労働する。この場合、生体情報表示装置５００は、撮影を停止してもよい。例えば、生体情報表示装置５００は、ユーザがロッカーの扉を閉じたことをトリガとして、撮影を停止してもよい。例えば、生体情報表示装置５００は、ユーザが所定の鏡に映らなくなったことをトリガとして、撮影を停止してもよい。また、生体情報表示装置５００は、第１血流情報を算出するために必要な情報が取得できたことをユーザに通知してもよい。これにより、生体情報表示装置５００は、ユーザにロッカールームから移動するタイミングを通知することができ、労働前後の血行情報の表示に必要な情報を取得することができる。
図４６中の中央に示すシーンＳＮ３ｂは、ユーザが労働中の場面を示す。シーンＳＮ３ｂにおいて、ユーザがある程度の時間（例えば、８時間等）労働する。例えば、ユーザが労働することによるストレス等で、ユーザの皮膚の毛細血管や皮下の血管が収縮して、血流が悪くなる。そのため、生体情報表示装置５００が算出する第２血流情報は第１血流情報から変動した値となる。例えば、生体情報表示装置５００が算出する第２血流情報は第１血流情報よりも小さな値となる。なお、生体情報表示装置５００は、ユーザが労働中における周囲の温度や湿度を適宜の手段により取得してもよい。例えば、生体情報表示装置５００は、ユーザが労働中における周囲の温度や湿度を計測する所定の温度計や湿度計からユーザが労働中における周囲の温度や湿度に関する情報を取得してもよい。この場合、生体情報表示装置５００は、取得したユーザが労働中における周囲の温度や湿度に関する情報に応じて第１血流情報や第２血流情報を補正してもよい。
図４６中のシーンＳＮ３ｂにおける労働後、ユーザは、ロッカールームへ移動する。この場合、生体情報表示装置５００は、撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザがロッカーの扉を開けたことをトリガとして、撮影を開始してもよい。例えば、生体情報表示装置５００は、ユーザが所定の鏡に映ったことをトリガとして、撮影を開始してもよい。図４６中の右側に示すシーンＳＮ３ｃは、労働後のユーザがロッカールームにいる場面を示す。図４６中のシーンＳＮ３ｃにおいて、生体情報表示装置５００は、ユーザを正面から撮影した身体の映像信号の輝度情報から労働後におけるユーザの身体的位置の血流情報である第２血流情報を算出する。なお、図４６では、生体情報表示装置５００は、ユーザの複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や腹部等、複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第２血流情報を算出してもよい。
また、生体情報表示装置５００は、各身体的位置の血流差分を算出する。ここで、各身体的位置の血流差分は、各身体的位置における労働前後の血流の変動を示す。なお、図４６では、血流差分が大きいほど血流が良くなる場合を示す。
図４６では、生体情報表示装置５００は、ユーザの両肩や両腕や腹部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置５００は、ユーザの右肩周辺の複数の身体的位置の各々に関して血流差分を算出する。また、例えば、生体情報表示装置５００は、ユーザの腹部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置５００は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図４６では、生体情報表示装置５００は、血行情報ＩＢ１３として各身体的位置の血流差分が大きいほど、濃いハッチングとなる画像を生成する。また、図４６では、生体情報表示装置５００は、血行情報ＩＢ１３として各身体的位置の血流差分が小さいほど、薄いハッチングとなる画像を生成する。
そして、生体情報表示装置５００は、生成した血行情報ＩＢ１３をユーザの身体画像ＩＭ１３とともに表示する。具体的には、生体情報表示装置５００は、生成した血行情報ＩＢ１３をユーザの身体画像ＩＭ１３において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置５００は、腹部の血行情報ＩＢ１３をユーザの身体画像ＩＭ１３における腹部に重畳させて表示する。図４６では、腹部の全体に表示される血行情報ＩＢ１３が重畳されているため、ユーザは、腹部の全体の血行が良くなっていると直感的に認識できる。また、図４６では、両肩や両腕には血行情報ＩＢ１３が重畳されていないため、ユーザは、両肩や両腕の血行が良くなっていない（悪くなっている）と直感的に認識できる。
次に、図４７を用いて、第４の実施形態に係る生体情報表示装置５００がスポーツジムのロッカールームに設置され、ユーザ行動がユーザの運動である例を説明する。図４７は、第４の実施形態に係る運動前後の血流変動の表示の一例を示す図である。具体的には、図４７は、生体情報表示装置５００がユーザの運動前後における血流の変動に基づく血行情報を表示する例を示す。
まず、図４７中の左側に示すシーンＳＮ４ａは、運動前のユーザがロッカールームにいる場面を示す。なお、シーンＳＮ４ａにおいて、ロッカールームのロッカーの扉に映るユーザの像は、鏡に映ったユーザの像であってもよいし、生体情報表示装置５００の映像取得部５１０ａが撮影したユーザの像を表示部５２０が表示したものであってもよい。また、シーンＳＮ４ａにおいて、生体情報表示装置５００は、運動前のユーザを撮影する。そして、生体情報表示装置５００は、ユーザの身体の映像信号の輝度情報から運動前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。
図４７では、ロッカールームのロッカーの扉に配置された生体情報表示装置５００は、映像取得部５１０ａによりユーザの正面から撮影する。そのため、生体情報表示装置５００は、ユーザを正面から撮影した身体の映像信号の輝度情報から運動前におけるユーザの身体的位置の血流情報である第１血流情報を算出する。なお、図４７では、生体情報表示装置５００は、ユーザの複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や胸部等、複数の身体的位置の第１血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第１血流情報を算出してもよい。
その後、ユーザは、ロッカールームからジム内へ移動し運動する。図４７中の中央に示すシーンＳＮ４ｂは、ユーザが運動中の場面を示す。シーンＳＮ４ｂにおいて、ユーザがある程度の時間（例えば、２時間等）運動する。例えば、ユーザが運動することにより、ユーザの皮膚の毛細血管や皮下の血管が拡張して、血流が良くなる。そのため、生体情報表示装置５００が算出する第２血流情報は第１血流情報から変動した値となる。例えば、生体情報表示装置５００が算出する第２血流情報は第１血流情報よりも大きな値となる。
図４７中のシーンＳＮ４ｂにおける運動後、ユーザは、ロッカールームへ移動する。この場合、生体情報表示装置５００は、撮影を開始してもよい。図４７中の右側に示すシーンＳＮ４ｃは、運動後のユーザがロッカールームにいる場面を示す。図４７中のシーンＳＮ４ｃにおいて、生体情報表示装置５００は、ユーザを正面から撮影した身体の映像信号の輝度情報から運動後におけるユーザの身体的位置の血流情報である第２血流情報を算出する。なお、図４７では、生体情報表示装置５００は、ユーザの複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、ユーザの両肩や両腕や胸部等、複数の身体的位置の第２血流情報を算出する。例えば、生体情報表示装置５００は、撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の第２血流情報を算出してもよい。
また、生体情報表示装置５００は、各身体的位置の血流差分を算出する。ここで、各身体的位置の血流差分は、各身体的位置における運動前後の血流の変動を示す。なお、図４７では、血流差分が大きいほど血流が良くなる場合を示す。
図４７では、生体情報表示装置５００は、ユーザの両肩や両腕や胸部等を含む撮影されたユーザの身体を複数の領域に区切ることにより、各領域に対応する複数の身体的位置の血流差分を算出する。例えば、生体情報表示装置５００は、ユーザの胸部周辺の複数の身体的位置の各々に関して血流差分を算出する。
そして、生体情報表示装置５００は、血流差分に基づいて、各身体的位置の血流状態を示す血行情報を生成する。図４７では、生体情報表示装置５００は、血行情報ＩＢ１４として各身体的位置の血流差分が大きいほど、濃いハッチングで示す画像を生成する。また、図４７では、生体情報表示装置５００は、血行情報ＩＢ１４として各身体的位置の血流差分が小さいほど、薄いハッチングで示す画像を生成する。
そして、生体情報表示装置５００は、生成した血行情報ＩＢ１４をユーザの身体画像ＩＭ１４とともに表示する。具体的には、生体情報表示装置５００は、生成した血行情報ＩＢ１４をユーザの身体画像ＩＭ１４において対応する身体的位置に重畳させて表示する。例えば、生体情報表示装置５００は、胸部の血行情報ＩＢ１４をユーザの身体画像ＩＭ１４における胸部に重畳させて表示する。図４７では、胸部の全体に表示される血行情報ＩＢ１４が重畳されているため、ユーザは、胸部の全体の血行が良くなっていると直感的に認識できる。
（生体情報表示装置の設置例）
次に、上述した生体情報表示装置５００の設置の具体例について説明する。上述したように、第４の実施形態に係る生体情報表示装置５００は、人体の血圧変動を、簡便に、非接触的に測定することが可能である。これにより、例えば、図１に示す日常人間ドッグにおいて人体の血圧変動の可視化を実現することができる。以下、図１に示す日常人間ドッグにおいて人体の血圧変動の可視化の実現は、例えば図２０のような構成を用いて実現される。この場合、図２０中の生体情報計測装置１００は、生体情報表示装置５００に置き換えられるものとする。
例えば、対象者が洗面所の鏡の前に立つだけで、健康予報を提供することができる図１の日常人間ドッグは、例えば、図２０に示すように、生体情報表示装置５００としてのカメラ付きＰＣ（タブレットＰＣ）をハーフミラーの背面に設置することで実現される。すなわち、生体情報表示装置５００は、ハーフミラー越しに対象者を撮影して、撮影した映像信号に基づいて血流差分を算出し、生成した血行情報を表示する。例えば、ハーフミラーの背面に設置された生体情報表示装置５００の映像取得部５１０ａが、ユーザの身体を撮影する。その後、皮膚領域抽出部５５１が映像内のユーザの基準位置となる顔や肩等の身体的位置に対応する領域を抽出して、算出部５５２が各領域の映像脈波を抽出して、「ＰＤ」又は「ｄＰＴＴ」を算出する。また、算出部５５２は「ＰＤ」又は「ｄＰＴＴ」に基づいて算出した第１血流情報や第２血流情報から血流差分を算出する。生成部５５３は、算出部５５２によって算出された血流差分に基づいて、血行情報を生成し、表示部５２０は、血行情報を表示する。
（血行情報の表示例）
上述した例においては、血行情報として血流差分に基づく画像をユーザの身体画像に重畳して表示する例を示したが、血行情報は画像に限らず、種々の情報であってもよい。この点について、図４８〜図５０を用いて説明する。図４８〜図５０は、第４の実施形態に係る表示する情報の一例を示す図である。具体的には、図４８及び図４９は、血行情報として文字情報を表示する例を示し、図５０は、血行情報として他のユーザと比較可能な情報を表示する例である。
まず、図４８は、生体情報表示装置５００がユーザの身体画像ＩＭ１５とともに、文字情報である血行情報ＩＢ１５が表示される例を示す。具体的には、図４８は、生体情報表示装置５００がユーザの身体画像ＩＭ１５とともに、ユーザの入浴前後の血圧に関する血行情報ＩＢ１５が表示される例を示す。これにより、生体情報表示装置５００は、ユーザに自身の血行の変化を文字情報により論理的に認識させることができる。なお、生体情報表示装置５００は、文字情報である血行情報ＩＢ１５に加えて、図４０に示すような画像である血行情報ＩＢ１１をユーザの身体画像ＩＭ１５に重畳させて表示させてもよい。これにより、生体情報表示装置５００は、ユーザに自身の血行の変化を画像により直感的に認識させ、文字情報により論理的に認識させることができるため、ユーザに適切に血行情報を伝達することができる。
次に、図４９は、生体情報表示装置５００がユーザの身体画像ＩＭ１６とともに、文字情報である血行情報ＩＢ１６が表示される例を示す。具体的には、図４９は、生体情報表示装置５００がユーザの身体画像ＩＭ１６とともに、ユーザの入浴前後の血流変化に関する血行情報ＩＢ１６が表示される例を示す。図４９では、血行情報ＩＢ１６は、「入浴により肩の血行が良くなっています」という文章の情報である。これにより、生体情報表示装置５００は、平易な文章で血行情報を表示することにより、ユーザに自身の血行の変化をより簡単に認識させることができる。なお、生体情報表示装置５００は、文字情報である血行情報ＩＢ１６に加えて、図４０に示すような画像である血行情報ＩＢ１１をユーザの身体画像ＩＭ１６に重畳させて表示させてもよい。
次に、図５０は、生体情報表示装置５００が他ユーザの血行情報ＩＢ１７を表示する例を示す。具体的には、図５０は、生体情報表示装置５００が他ユーザの身体画像ＩＭ１７とともに、他ユーザの入浴前後の血流変化に関する血行情報ＩＢ１７が表示される例を示す。なお、他ユーザの身体画像ＩＭ１７は、例えばユーザ自身の身体画像ＩＭ１８等、どのような身体画像であってもよい。また、他ユーザの血行情報ＩＢ１７は、複数の他ユーザの血行情報の平均であってもよい。図５０では、他ユーザの血行情報ＩＢ１７は、両肩の血行が良くなっている場合を示しており、入浴前後の血流変化として望ましい状態を示す。
また、図５０では、生体情報表示装置５００が、血行情報ＩＢ１８が重畳表示されるユーザの身体画像ＩＭ１８を、血行情報ＩＢ１７が重畳表示される他ユーザの身体画像ＩＭ１７とともに表示する例を示す。図５０では、ユーザの血行情報ＩＢ１８は、両肩の血行が良くなっていない場合を示しており、入浴前後の血流変化として望ましくない状態を示す。これにより、生体情報表示装置５００は、ユーザに自身の血行の変化を、他ユーザの血行の変化とともに表示することにより他の情報との比較により認識させることができるため、ユーザに適切に血行情報を伝達することができる。また、ユーザは、理想的な血行の変化を認識することができるため、自身が改善すべき点を容易に把握することができる。
（処理フロー）
次に、生体情報表示装置５００による処理の流れについて説明する。図５１及び図５２は、第４の実施形態に係る生体情報表示装置の処理手順を示すフローチャートである。具体的には、図５１は、生体情報表示装置５００が「ＰＤ」又は「ｄＰＴＴ」を算出するまでの処理手順を示すフローチャートである。また、図５２は、生体情報表示装置５００が血行情報を表示するまでの処理手順を示すフローチャートである。
まず、図５１に示すように、生体情報表示装置５００においては、映像取得部５１０ａ又は映像取得装置１１０ｂがユーザの身体を撮影する（ステップＳ４０１）。
そして、皮膚領域抽出部５５１が、肌の色に相当する領域を自動で抽出する、或いは、操作者によって手動で設定されることによって、基準位置及び身体的位置に関心領域（ＲＯＩ）をそれぞれ設定する（ステップＳ４０２）。その後、算出部５５２が、設定された関心領域それぞれにおける緑色光の輝度平均値を算出し（ステップＳ４０３）、算出した輝度平均値から「ＰＤ」又は「ｄＰＴＴ」を算出する（ステップＳ４０４）。
次に、図５２に示すように、生体情報表示装置５００においては、算出部５５２は、第１血流情報を算出する（ステップＳ５０１）。例えば、算出部５５２は、算出した「ＰＤ」又は「ｄＰＴＴ」に基づいて第１血流情報を算出する。次に、算出部５５２は、第２血流情報を算出する（ステップＳ５０２）。例えば、算出部５５２は、算出した「ＰＤ」又は「ｄＰＴＴ」に基づいて第２血流情報を算出する。
そして、生成部５５３が、第１血流情報と第２血流情報との差分に基づき、血行情報を生成する（ステップＳ５０３）。その後、表示部５２０が、生成した血行情報をユーザの身体画像とともに表示する（ステップＳ５０４）。
（ハードウェア構成）
図５３は、本実施形態における生体情報計測装置１００（生体情報計測装置１００ａ、生体情報表示装置５００又はＰＨＲ装置２００）のハードウェア構成を示す図である。生体情報計測装置１００（生体情報計測装置１００ａ、生体情報表示装置５００又はＰＨＲ装置２００）は、ＣＰＵ３１０と、ＲＯＭ３２０と、ＲＡＭ３３０と、表示部３４０と、入力部３５０とを備える。また、生体情報計測装置１００（生体情報計測装置１００ａ、生体情報表示装置５００又はＰＨＲ装置２００）では、ＣＰＵ３１０、ＲＯＭ３２０、ＲＡＭ３３０、表示部３４０、及び入力部３５０が、バスライン３０１を介して接続されている。
上述した実施形態における各種処理を行う生体情報計測プログラム又は生体情報表示プログラムは、ＲＯＭ３２０内に格納されており、バスライン３０１を介して、ＲＡＭ３３０へロードされる。ＣＰＵ３１０は、ＲＡＭ３３０内にロードされた生体情報計測プログラム又は生体情報表示プログラムを実行する。例えば、生体情報計測装置１００（生体情報計測装置１００ａ、生体情報表示装置５００又はＰＨＲ装置２００）では、操作者による入力部３５０からの指示入力に従って、ＣＰＵ３１０が、ＲＯＭ３２０内から生体情報計測プログラムを読み出してＲＡＭ３３０内のプログラム格納領域に展開し、各種処理を実行する。ＣＰＵ３１０は、この各種処理に際して生じる各種データをＲＡＭ３３０内に形成されるデータ格納領域に一時的に記憶させておく。
生体情報計測装置１００（生体情報計測装置１００ａ、生体情報表示装置５００又はＰＨＲ装置２００）で実行される生体情報計測プログラム又は生体情報表示プログラムは、皮膚領域抽出部１５１、算出部１５２、計測部１５３、出力制御部１５４、フィードバック制御部１５５を含むモジュール構成、又は、皮膚領域抽出部１５１、算出部１５２、計測部１５３、出力制御部１５４、フィードバック制御部１５５、特徴領域抽出部１５６を含むモジュール構成、或いは、皮膚領域抽出部５５１、算出部５５２、生成部５５３、出力制御部５５４、フィードバック制御部５５５を含むモジュール構成となっており、これらが主記憶装置上にロードされ、これらが主記憶装置上に生成される。
（その他の実施形態）
実施形態は、上述した実施形態に限られるものではない。
また、上述した実施形態で例示した物理的な構成は、あくまで一例に過ぎない。上述した実施形態で例示した各部は、運用の形態や負荷に応じて適宜統合若しくは分散される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１００、１００ａ 生体情報計測装置
１１０ａ、５１０ａ 映像取得部
１１０ｂ 映像取得装置
１２０ａ 出力部
１２０ｂ 出力装置
１５１、５５１ 皮膚領域抽出部
１５２、５５２ 算出部
１５３ 計測部
１５４、５５４ 出力制御部
１５５ フィードバック制御部
１５６ 特徴領域抽出部
５００ 生体情報表示装置
５２０ 表示部
５５３ 生成部

Claims (14)

  1. 対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出し、算出された前記差分から、脈波伝播時間、及び、瞬時位相差のうち少なくとも１つを算出する算出部と、
    前記算出部で算出された前記差分に基づいて、前記対象者の血圧の変動を計測する計測部と、を備え、
    前記計測部は、
    各前記映像脈波が抽出された部位の組み合わせに応じて、前記脈波伝播時間、及び、前記瞬時位相差のうち少なくとも１つと、血圧変動の相関とが、正の相関関係、負の相関関係のいずれかに基づき計測処理を行う、
    生体情報計測装置。
  2. 対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出する算出部と、
    前記算出部で算出された前記差分に基づいて、前記対象者の血圧の変動を計測する計測部と、を備え、
    前記計測部は、
    各前記映像脈波が、共に末梢血管抵抗による脈波出現の遅延の影響を受ける部位の組み合わせ、又は、共に末梢血管抵抗による脈波出現の遅延の影響を受けない部位の組み合わせの場合と、末梢血管抵抗による脈波出現の遅延の影響を受ける部位と末梢血管抵抗による脈波出現の遅延の影響を受けない部位との組み合わせの場合とに応じて計測処理を変化させる、生体情報計測装置。
  3. 前記計測処理は、
    各映像脈波を取得した前記所定の部位、及び、前記所定の部位以外の部位が、末梢血管抵抗による脈波出現の遅延の影響を受ける部位と、末梢血管抵抗による脈波出現の遅延の影響を受けない部位とであった場合には正の相関関係に基づき血圧の変動を計測し、
    各映像脈波を取得した前記所定の部位、及び、前記所定の部位以外の部位が、共に末梢血管抵抗による脈波出現の遅延の影響を受ける部位であった場合、又は、共に末梢血管抵抗による脈波出現の遅延の影響を受けない部位であった場合には、負の相関関係に基づき血圧の変動を計測する計測処理を行う、
    請求項１又は２に記載の生体情報計測装置。
  4. 前記映像脈波を抽出した各部位が前記対象者のどの部位であるか判定する抽出部を更に備え、
    前記計測部は、前記抽出部の判定に基づいて、前記計測処理を選択する、
    請求項１〜３のいずれか１項に記載の生体情報計測装置。
  5. 前記対象者の所定の部位の映像信号を動画像として取得する映像取得装置と、
    前記映像脈波の値を種々の色相の変化で示した色相動画像を前記算出部で生成し、生成した前記色相動画像を前記対象者の前記動画像に重畳させ、且つ、随時更新して表示する出力部を更に備える、
    請求項１〜４のいずれか１項に記載の生体情報計測装置。
  6. 前記算出部は、
    前記所定の部位に、関心領域を設定し、設定された前記関心領域をモザイク状に分割設定を行い、分割後の各領域の輝度平均を用いて前記映像脈波の解析を行い、
    前記モザイク状の各領域における映像信号の輝度情報を色相変化で示した前記色相動画像を生成する、
    請求項５に記載の生体情報計測装置。
  7. 前記算出部は、
    前記各領域に心拍の周波数成分が含まれているか否かを判定することにより、前記映像信号の脈波情報が含まれているかを判定する、
    請求項６に記載の生体情報計測装置。
  8. 前記算出部は、算出された前記差分から、脈波伝播時間差、及び、瞬時位相差のうち少なくとも１つを算出し、
    前記計測部は、前記脈波伝播時間差、及び、前記瞬時位相差のうち少なくとも１つから、前記対象者の前記血圧の変動を計測し、
    前記脈波伝播時間差は、前記所定の部位の前記映像脈波の波形の特徴点と、前記所定の部位以外の部位の前記映像脈波の波形の特徴点との時間差から算出され、
    前記瞬時位相差は、前記所定の部位の前記映像脈波の及び前記所定の部位以外の部位の前記映像脈波の位相差から算出される、
    請求項１〜７のいずれか１項に記載の生体情報計測装置。
  9. 前記算出部は、
    前記対象者が所定の行為を行う前の前記対象者の血流に関する第１血行情報を算出し、
    前記対象者が所定の行為を行った後の前記対象者の血流に関する第２血行情報を算出し、
    前記第１血行情報と前記第２血行情報との差分を算出する、
    請求項１〜８のいずれかに記載の生体情報計測装置。
  10. 前記対象者の所定の部位の映像信号を取得する映像取得装置と、
    算出された前記第１血行情報と前記第２血行情報との差分を色相の変化で示した色相画像を前記算出部で生成し、生成した前記色相画像を前記対象者の画像に重畳させ、表示する出力部と、を更に備える、
    請求項９に記載の生体情報計測装置。
  11. 対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出し、算出された前記差分から、脈波伝播時間、及び、瞬時位相差のうち少なくとも１つを算出する算出工程と、
    前記算出工程で算出された前記差分に基づいて、前記対象者の血圧の変動を計測する計測工程と、を含み、
    前記計測工程は、
    各前記映像脈波が抽出された各部位の組み合わせに応じて、前記脈波伝播時間、及び、前記瞬時位相差のうち少なくとも１つと、血圧変動の相関とが、正の相関関係、負の相関関係のいずれかに基づき計測処理を行う、
    生体情報計測方法。
  12. 対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出する算出工程と、
    前記算出工程で算出された前記差分に基づいて、前記対象者の血圧の変動を計測する計測工程と、を含み、
    前記計測工程は、
    各前記映像脈波が、共に末梢血管抵抗による脈波出現の遅延の影響を受ける部位の組み合わせ、又は、共に末梢血管抵抗による脈波出現の遅延の影響を受けない部位の組み合わせの場合と、末梢血管抵抗による脈波出現の遅延の影響を受ける部位と末梢血管抵抗による脈波出現の遅延の影響を受けない部位との組み合わせの場合とに応じて計測処理を変化させる、
    生体情報計測方法。
  13. 生体情報計測装置が実行する生体情報計測プログラムであって、
    対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出し、算出された前記差分から、脈波伝播時間、及び、瞬時位相差のうち少なくとも１つを算出するステップと、
    各前記映像脈波が抽出された各部位の組み合わせに応じて、前記脈波伝播時間、及び、前記瞬時位相差のうち少なくとも１つと、血圧変動の相関とが、正の相関関係、負の相関関係のいずれかに基づき計測処理を行うステップと、
    前記差分を前記計測処理により処理することで、前記対象者の血圧の変動を計測するステップと、を前記生体情報計測装置に実行させるための生体情報計測プログラム。
  14. 生体情報計測装置が実行する生体情報計測プログラムであって、
    対象者の所定の部位の映像信号の輝度情報から抽出される映像脈波と、同一時間の前記所定の部位以外の部位の前記映像信号の輝度情報から抽出される映像脈波との差分を算出するステップと、
    各前記映像脈波が、共に末梢血管抵抗による脈波出現の遅延の影響を受ける部位の組み合わせ、又は、共に末梢血管抵抗による脈波出現の遅延の影響を受けない部位の組み合わせの場合と、末梢血管抵抗による脈波出現の遅延の影響を受ける部位と末梢血管抵抗による脈波出現の遅延の影響を受けない部位との組み合わせの場合とに応じて計測処理を変化させるステップと、
    前記差分を前記計測処理により処理することで、前記対象者の血圧の変動を計測するステップと、を前記生体情報計測装置に実行させるための生体情報計測プログラム。
JP2016032467A 2015-03-30 2016-02-23 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム Active JP6683367B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/059253 WO2016158624A1 (ja) 2015-03-30 2016-03-23 生体情報計測装置、生体情報計測方法、生体情報表示装置及び生体情報表示方法
US15/720,863 US11445921B2 (en) 2015-03-30 2017-09-29 Biological information measuring apparatus and biological information measuring method, and computer program product
US17/884,657 US20220395186A1 (en) 2015-03-30 2022-08-10 Apparatus for, method of, and computer program product having program of displaying biological information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015070270 2015-03-30
JP2015070270 2015-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020011157A Division JP6727599B2 (ja) 2015-03-30 2020-01-27 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム

Publications (3)

Publication Number Publication Date
JP2016190022A JP2016190022A (ja) 2016-11-10
JP2016190022A5 JP2016190022A5 (ja) 2019-03-07
JP6683367B2 true JP6683367B2 (ja) 2020-04-22

Family

ID=57245057

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016032467A Active JP6683367B2 (ja) 2015-03-30 2016-02-23 生体情報計測装置、生体情報計測方法及び生体情報計測プログラム
JP2020011157A Active JP6727599B2 (ja) 2015-03-30 2020-01-27 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020011157A Active JP6727599B2 (ja) 2015-03-30 2020-01-27 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム

Country Status (2)

Country Link
US (1) US11445921B2 (ja)
JP (2) JP6683367B2 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11154203B2 (en) 2015-06-14 2021-10-26 Facense Ltd. Detecting fever from images and temperatures
US11103139B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Detecting fever from video images and a baseline
US11103140B2 (en) 2015-06-14 2021-08-31 Facense Ltd. Monitoring blood sugar level with a comfortable head-mounted device
CA2958003C (en) 2016-02-19 2022-04-05 Paul Stanley Addison System and methods for video-based monitoring of vital signs
US10335045B2 (en) 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
KR101830769B1 (ko) * 2016-07-27 2018-02-21 노틸러스효성 주식회사 낡은 지폐 식별 방법 및 그 방법이 적용된 금융자동화기기
JP6662459B2 (ja) * 2016-08-10 2020-03-11 株式会社村田製作所 血圧状態測定装置
KR102579895B1 (ko) * 2016-08-26 2023-09-19 삼성전자 주식회사 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법
US11331054B2 (en) 2016-11-07 2022-05-17 Sharp Kabushiki Kaisha Biological information measuring instrument, and method, device, and computer-readable storage medium containing a program for controlling the instrument
WO2018092730A1 (ja) * 2016-11-15 2018-05-24 株式会社村田製作所 呼吸センシング装置
JP6767247B2 (ja) * 2016-11-29 2020-10-14 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
JP6800759B2 (ja) * 2017-01-04 2020-12-16 オムロン株式会社 ユーザ端末
JP2018146139A (ja) * 2017-03-02 2018-09-20 三菱電機株式会社 空気調和機
JP6765998B2 (ja) * 2017-03-14 2020-10-07 オムロン株式会社 情報処理装置および情報処理プログラム
KR102287109B1 (ko) * 2017-03-24 2021-08-06 삼성전자주식회사 피부에 해당하는 이미지 처리 영역을 보정하는 방법 및 전자 장치
US10453221B2 (en) * 2017-04-10 2019-10-22 Intel Corporation Region based processing
AT520026B1 (de) * 2017-05-22 2021-06-15 Human Res Institut Fuer Gesundheitstechnologie Und Praeventionsforschung Gmbh Verfahren zur Ermittlung wenigstens eines Kreislaufparameters eines Probanden
JP6928219B2 (ja) * 2017-06-16 2021-09-01 グローリー株式会社 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置
TWI646941B (zh) * 2017-08-09 2019-01-11 緯創資通股份有限公司 生理訊號量測系統及其量測生理訊號之方法
WO2019035337A1 (ja) 2017-08-15 2019-02-21 テイ・エス テック株式会社 生体センサーの配置構造
EP3681394A1 (en) 2017-11-13 2020-07-22 Covidien LP Systems and methods for video-based monitoring of a patient
JP7068339B2 (ja) * 2017-12-15 2022-05-16 シャープ株式会社 血圧測定装置、および、血圧測定方法
JP6977553B2 (ja) * 2017-12-27 2021-12-08 オムロンヘルスケア株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
CA3086527A1 (en) 2018-01-08 2019-07-11 Covidien Lp Systems and methods for video-based non-contact tidal volume monitoring
JP7133771B2 (ja) * 2018-02-13 2022-09-09 パナソニックＩｐマネジメント株式会社 生体情報表示装置、生体情報表示方法及び生体情報表示プログラム
KR102599926B1 (ko) * 2018-02-21 2023-11-09 삼성전자주식회사 혈압 정보에 기반하여 캘리브레이션 데이터를 업데이트하는 전자 장치 및 제어 방법
US20200406000A1 (en) * 2018-03-08 2020-12-31 Citizen Watch Co., Ltd. Heart rate control device
JP6848912B2 (ja) 2018-03-23 2021-03-24 株式会社デンソー 状態判定装置、状態判定プログラム及びコンピュータ読み出し可能持続的有形記録媒体
JP7025755B2 (ja) * 2018-03-28 2022-02-25 ファミリーイナダ株式会社 情報処理装置及びその動作方法
US10912466B2 (en) * 2018-04-23 2021-02-09 Albrik Levick Gharibian Smart blood pressure measuring system (SBPMS)
US20210127991A1 (en) * 2018-04-28 2021-05-06 Shenzhen Darma Technology Co., Ltd. Pulse wave conduction parameter measuring method and pulse wave conduction parameter processing device
EP3578100A1 (en) * 2018-06-05 2019-12-11 Koninklijke Philips N.V. Method and apparatus for estimating a trend in a blood pressure surrogate
WO2019240991A1 (en) 2018-06-15 2019-12-19 Covidien Lp Systems and methods for video-based patient monitoring during surgery
US11690520B2 (en) * 2018-06-20 2023-07-04 Samsung Electronics Co., Ltd. Apparatus and method for measuring bio-information
US20210244287A1 (en) * 2018-06-28 2021-08-12 Murakami Corporation Heartbeat detection device, heartbeat detection method, and program
EP3833241A1 (en) 2018-08-09 2021-06-16 Covidien LP Video-based patient monitoring systems and associated methods for detecting and monitoring breathing
TWI674879B (zh) * 2018-08-16 2019-10-21 佳綸生技股份有限公司 血壓測量系統、方法及裝置
JP7204077B2 (ja) * 2018-09-07 2023-01-16 株式会社アイシン 脈波検出装置、車両装置、及び脈波検出プログラム
US10818038B2 (en) * 2018-09-10 2020-10-27 Disney Enterprises, Inc. Techniques for capturing dynamic appearance of skin
JP2020057153A (ja) * 2018-10-01 2020-04-09 カシオ計算機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP7230409B2 (ja) * 2018-10-02 2023-03-01 カシオ計算機株式会社 判定装置、判定方法及び判定プログラム
JP7180259B2 (ja) * 2018-10-04 2022-11-30 日本電信電話株式会社 生体情報解析装置、生体情報解析方法、および生体情報解析システム
JP7212499B2 (ja) * 2018-10-31 2023-01-25 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
US11617520B2 (en) 2018-12-14 2023-04-04 Covidien Lp Depth sensing visualization modes for non-contact monitoring
US20220061683A1 (en) * 2019-01-09 2022-03-03 Sharp Kabushiki Kaisha Blood pressure measuring apparatus, model setting device, and blood pressure measuring method
TWI708924B (zh) * 2019-01-19 2020-11-01 鉅怡智慧股份有限公司 影像式血壓量測裝置與方法
US11315275B2 (en) 2019-01-28 2022-04-26 Covidien Lp Edge handling methods for associated depth sensing camera devices, systems, and methods
KR102243012B1 (ko) * 2019-02-13 2021-04-22 와이케이씨테크(주) 피부 영상을 이용한 혈관탄성도와 부정맥 진단 방법
JP7133576B2 (ja) * 2019-02-28 2022-09-08 株式会社アドバンス 位相差法による連続血圧測定システム
EP3703073A1 (en) * 2019-03-01 2020-09-02 Koninklijke Philips N.V. A projection and measurement system
JP6723572B1 (ja) * 2019-03-26 2020-07-15 メディカルフォトニクス株式会社 血圧計測装置及びその方法
JP2020162873A (ja) * 2019-03-29 2020-10-08 株式会社エクォス・リサーチ 脈波検出装置、及び脈波検出プログラム
CN109864724B (zh) * 2019-04-04 2022-02-01 复旦大学附属中山医院 一种新型基于ecg和ppg血压变化计算***
JP7106126B2 (ja) * 2019-05-28 2022-07-26 学校法人立命館 自律神経系活動評価装置
JP6943319B2 (ja) * 2019-06-07 2021-09-29 ダイキン工業株式会社 判定システム
JP7237768B2 (ja) * 2019-08-02 2023-03-13 株式会社日立製作所 生体情報検出装置
JP2021041142A (ja) * 2019-09-03 2021-03-18 株式会社東書エステート 血圧推定システム、血圧推定方法、学習装置、学習方法及びプログラム
JP2021045375A (ja) * 2019-09-19 2021-03-25 株式会社日立製作所 生体情報検出装置及び生体情報検出方法
JP7234086B2 (ja) * 2019-10-04 2023-03-07 株式会社日立製作所 生体情報取得装置およびプログラム
JP7323925B2 (ja) * 2019-10-30 2023-08-09 株式会社Agama-X 情報処理装置、プログラム、及び、方法
JP7115458B2 (ja) * 2019-10-30 2022-08-09 カシオ計算機株式会社 電子装置、電子装置の作動方法及び電子装置の制御プログラム
CN111248890A (zh) * 2020-01-20 2020-06-09 深圳大学 一种基于面部视频的非接触式新生儿心率监测方法及***
US11484208B2 (en) 2020-01-31 2022-11-01 Covidien Lp Attached sensor activation of additionally-streamed physiological parameters from non-contact monitoring systems and associated devices, systems, and methods
JP2021132869A (ja) * 2020-02-27 2021-09-13 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム
CN111445477B (zh) * 2020-02-28 2023-07-25 季华实验室 一种基于区域自动分割与选择的分析方法、装置及服务器
JP7238835B2 (ja) * 2020-03-24 2023-03-14 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP7483206B2 (ja) * 2020-03-25 2024-05-15 株式会社アイシン 血圧測定装置、携帯端末、及び血圧測定プログラム
US11625937B2 (en) 2020-04-06 2023-04-11 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for monitoring human body weight with vehicle sensors and big data AI analytics
US11373420B2 (en) * 2020-04-24 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for improving human hair and scalp using vehicle cameras and big data AI analytics
KR102399453B1 (ko) 2020-07-31 2022-05-19 성균관대학교산학협력단 피부 영상의 생체신호를 이용한 강인한 체온 측정 방법 및 장치
JP7314893B2 (ja) * 2020-09-23 2023-07-26 カシオ計算機株式会社 電子装置、電子装置の制御プログラム及び電子装置の制御方法
WO2022137557A1 (ja) * 2020-12-25 2022-06-30 株式会社ソニー・インタラクティブエンタテインメント 脈拍検出装置、脈拍検出方法およびプログラム
JPWO2022176137A1 (ja) 2021-02-19 2022-08-25
JP2022137722A (ja) * 2021-03-09 2022-09-22 シャープ株式会社 撮像装置、情報取得装置、および、撮像方法
JP7160428B1 (ja) * 2021-05-21 2022-10-25 株式会社レイマック 非接触血管解析方法
WO2022244367A1 (ja) * 2021-05-21 2022-11-24 株式会社 レイマック 非接触血管解析方法
JP7338667B2 (ja) * 2021-09-16 2023-09-05 カシオ計算機株式会社 情報処理装置、スキンケア処方システム、スキンケア処方方法、及びプログラム
CN116311175A (zh) * 2021-12-10 2023-06-23 上海商汤临港智能科技有限公司 一种生理状态检测方法、装置、电子设备及存储介质
EP4398136A4 (en) * 2022-03-14 2024-07-24 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR CONTROLLING OPERATION BASED ON BIOMETRIC SIGNALS AND METHOD FOR OPERATING THE ELECTRONIC DEVICE
WO2024042613A1 (ja) * 2022-08-23 2024-02-29 日本電気株式会社 端末、端末の制御方法及び記憶媒体
CN116889388B (zh) * 2023-09-11 2023-11-17 长春理工大学 一种基于rPPG技术的智能检测***及方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02213323A (ja) * 1989-02-15 1990-08-24 Matsushita Electric Works Ltd 入浴効果報知装置
JP3301294B2 (ja) * 1995-09-13 2002-07-15 セイコーエプソン株式会社 健康状態管理装置
DE69634242T2 (de) 1995-12-18 2005-06-30 Seiko Epson Corp. Vorrichtung zum feststellen des gesundheitszustandes und zum unterstützen von übungen
JPH09299339A (ja) * 1996-05-15 1997-11-25 Omron Corp 血圧計
JP2007319246A (ja) 2006-05-30 2007-12-13 Sharp Corp 電子機器及び電子機器を用いた脈拍検出方法
JP5588878B2 (ja) * 2007-12-19 2014-09-10 コーニンクレッカ フィリップス エヌ ヴェ オブジェクトの特性を測定するための装置、方法及びコンピュータプログラム
JP5707476B2 (ja) 2009-02-05 2015-04-30 株式会社東芝 磁気共鳴イメージング装置
JP5446443B2 (ja) 2009-05-15 2014-03-19 日産自動車株式会社 心拍数測定装置および心拍数測定方法
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20110251493A1 (en) 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters
JP2013027633A (ja) * 2011-07-29 2013-02-07 Terumo Corp 血圧計
EP2761362A4 (en) * 2011-09-26 2014-08-06 Microsoft Corp VIDEO DISPLAY CHANGE BASED ON SENSOR INPUT FOR TRANSPARENT EYE DISPLAY
US9351649B2 (en) 2012-02-21 2016-05-31 Xerox Corporation System and method for determining video-based pulse transit time with time-series signals
US8838209B2 (en) 2012-02-21 2014-09-16 Xerox Corporation Deriving arterial pulse transit time from a source video image
JP5953878B2 (ja) * 2012-03-30 2016-07-20 富士通株式会社 状態変化検出方法、プログラム及び装置
JP2014036801A (ja) * 2012-08-20 2014-02-27 Olympus Corp 生体状態観察システム、生体状態観察方法、およびプログラム
JP6092659B2 (ja) 2013-02-28 2017-03-08 キヤノン株式会社 画像処理装置及び画像処理方法
JP6052005B2 (ja) * 2013-03-27 2016-12-27 富士通株式会社 脈波検出装置、脈波検出方法及び脈波検出プログラム
JP6167614B2 (ja) * 2013-03-29 2017-07-26 富士通株式会社 血流指標算出プログラム、血流指標算出装置および血流指標算出方法
US20140330132A1 (en) 2013-05-02 2014-11-06 Aza Raskin Physiological characteristic detection based on reflected components of light
CN103908236B (zh) 2013-05-13 2016-06-01 天津点康科技有限公司 一种自动血压测量***
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
JP6308742B2 (ja) * 2013-09-13 2018-04-11 旭化成株式会社 血圧情報出力装置、血圧情報出力プログラム、媒体、血圧情報出力方法
US20160228011A1 (en) 2013-09-26 2016-08-11 Sharp Kabushiki Kaisha Bio-information acquiring device and bio-information acquiring method
CA2931377A1 (en) * 2013-11-27 2015-06-04 Koninklijke Philips N.V. Device and method for obtaining pulse transit time and/or pulse wave velocity information of a subject

Also Published As

Publication number Publication date
JP6727599B2 (ja) 2020-07-22
US11445921B2 (en) 2022-09-20
US20180042486A1 (en) 2018-02-15
JP2020062529A (ja) 2020-04-23
JP2016190022A (ja) 2016-11-10

Similar Documents

Publication Publication Date Title
JP6727599B2 (ja) 生体情報表示装置、生体情報表示方法、及び生体情報表示プログラム
US20220395186A1 (en) Apparatus for, method of, and computer program product having program of displaying biological information
JP7350806B2 (ja) 観察的心不全モニタリングシステム
US11363990B2 (en) System and method for non-contact monitoring of physiological parameters
Sun et al. Photoplethysmography revisited: from contact to noncontact, from point to imaging
Jeong et al. Introducing contactless blood pressure assessment using a high speed video camera
Shao et al. Noncontact monitoring breathing pattern, exhalation flow rate and pulse transit time
Huynh et al. VitaMon: measuring heart rate variability using smartphone front camera
Lamonaca et al. Health parameters monitoring by smartphone for quality of life improvement
US10736517B2 (en) Non-contact blood-pressure measuring device and non-contact blood-pressure measuring method
US20180122073A1 (en) Method and device for determining vital parameters
JP6608822B2 (ja) 対象のバイタルサインを決定する装置及び方法
Moreno et al. Facial video-based photoplethysmography to detect HRV at rest
JP6620999B2 (ja) 生体情報計測装置、生体情報計測プログラム、及び生体情報計測方法
KR20140058573A (ko) 바이탈 사인의 원격 모니터링
Yu et al. Noncontact monitoring of heart rate and heart rate variability in geriatric patients using photoplethysmography imaging
Allen et al. Photoplethysmography (PPG): state-of-the-art methods and applications
JP2020513958A (ja) 健康状態を監視するためのシステム及び方法
Blackford et al. Measuring pulse rate variability using long-range, non-contact imaging photoplethysmography
EP4033495A1 (en) Activity task evaluating system, and activity task evaluating method
Capdevila et al. HRV based health&sport markers using video from the face
WO2022104184A1 (en) Systems and methods for analysis of pulse and physiological, pathological, and emotional state and applications thereof
Khong et al. The evolution of heart beat rate measurement techniques from contact based photoplethysmography to non-contact based photoplethysmography imaging
de Brito Souza et al. Contributions to the acquisition of heart rate and photoplethysmography signal using a real-time software
Davila Noncontact Extraction Of Human Arterial Pulse With A Commercial Digital Color Video Camera

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20160309

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200318

R150 Certificate of patent or registration of utility model

Ref document number: 6683367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250