JP2021508521A - 車両内生理学的感知のための装置、システムおよび方法 - Google Patents

車両内生理学的感知のための装置、システムおよび方法 Download PDF

Info

Publication number
JP2021508521A
JP2021508521A JP2020534935A JP2020534935A JP2021508521A JP 2021508521 A JP2021508521 A JP 2021508521A JP 2020534935 A JP2020534935 A JP 2020534935A JP 2020534935 A JP2020534935 A JP 2020534935A JP 2021508521 A JP2021508521 A JP 2021508521A
Authority
JP
Japan
Prior art keywords
signal
vehicle
processor
electronic device
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020534935A
Other languages
English (en)
Other versions
JP7510346B2 (ja
Inventor
ショルディス,レドモンド
マクマホン,スティーヴン
Original Assignee
レスメッド センサー テクノロジーズ リミテッド
レスメッド センサー テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by レスメッド センサー テクノロジーズ リミテッド, レスメッド センサー テクノロジーズ リミテッド filed Critical レスメッド センサー テクノロジーズ リミテッド
Publication of JP2021508521A publication Critical patent/JP2021508521A/ja
Application granted granted Critical
Publication of JP7510346B2 publication Critical patent/JP7510346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102Ballistocardiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00814Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation
    • B60H1/00821Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation the components being ventilating, air admitting or air distributing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3375Acoustical, e.g. ultrasonic, measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/63Motion, e.g. physical activity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057Frequency analysis, spectral techniques or transforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Automation & Control Theory (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Anesthesiology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Pain & Pain Management (AREA)

Abstract

ジェスチャー、呼吸、心臓および/または全身動きなどの生理学的動態の検出を、音、無線周波数および/または赤外線生成によって車両用処理デバイスなどの電子デバイスによって行う方法および装置。車両内の電子デバイスは、例えばオーディオ娯楽システム、車両ナビゲーションシステム、および半自律型または自律型の車両動作制御システムのいずれかであり得る。このデバイスの1つ以上のプロセッサは、電子デバイスを収容する車両の車室中の感知信号の生成を制御することにより、生理学的動態を検出し得る。プロセッサは、車室からの反射信号のセンサによる感知を制御する。プロセッサは、感知信号と反射信号とを用いて生理学的動態信号を導出し、導出された生理学的動態信号の評価に基づいた出力を発生させる。出力により、動作が制御され得るか、または、娯楽システム、ナビゲーションシステムおよび車両動作制御システムのいずれかへの入力が提供され得る。
【選択図】図2

Description

1 関連出願への相互参照
本出願は、米国仮特許出願第62/609,998号(出願日:2017年12月22日)の利益を主張する。本明細書中にその内容の全体を引用することにより本明細書の一部をなすものとする。
2 技術の背景
2.1 技術の分野
本技術は、車両用装備を用いた生体に関連する身体の動きの検出に関する。より詳細には、本技術は、生理学的動態(例えば、呼吸動態および心臓動態)などの生理学的特性を検出すること、および/または他の周期性の低い生体の身体動態を検出することための車両用感知システムに関する。
2.2 関連技術の説明
例えば睡眠前もしくは睡眠中において人の呼吸および身体(手足を含む)の動態を監視すると、多数の様態において有用であり得る。例えば、このような監視は、眠気の検出において有用であり得る。従来、アクティブ無線測位またはレンジング具現の導入の障壁として、特殊なハードウェア回路およびアンテナが必要になる点がある。
スマートフォンおよび他のポータブルおよび目立たない処理または電子通信デバイスは、陸上通信線の利用が不可能な発展途上国においても、日常生活において普遍的なものになっている。例えば、娯楽目的等のための1つ以上のスピーカからの音放出が可能なオーディオデバイスを含む車両が多数存在する。いくつかのこのようなシステムは、電子通信のために構成される。多数のこのようなシステムは、(例えばシステムが別の通信デバイス(例えば、スマートスピーカ)へ無線接続されている場合に)例えば通話のためのハンズフリーシステムの一部として機能するための音感知のためにマイクロフォンを含む。このような車両デバイスは、バーチャルアシスタントを用いて音声コマンドをサポートし得る。バーチャルアシスタントは、受信した口頭コマンドを処理し、オーディオ出力と共に応答する。
車両内にて身体の動き(すなわち、生理学的動態)の監視を効率的かつ有効な様態で行う方法が、所望されている。このようなシステムおよび方法の実現は、相当な技術的課題を扱うことである。
3 技術の簡単な説明
本技術は、例えば対象が覚醒中または睡眠中のときの対象の動態を検出するシステム、方法および装置に関する。このような動態検出(例えば、例えば呼吸の動態、対象の動態)に基づいて、睡眠関連特性、呼吸特性、心臓特性、睡眠状態が検出され得る。より詳細には、電子デバイスに関連する用途(例えば、プロセッサイネーブル型機器(例えば、車両オーディオデバイス、車内娯楽(ICE)デバイス、車載インフォテイメント(IVI)デバイスまたは他の処理デバイス(例えば、スマートフォン、タブレット、スマートスピーカ、誘導(GPS)デバイス、または他のハンドヘルド処理デバイス)))。記載の例から、ここで用いられる「デバイス」という表現の範囲および「システム」の意味は、必ずしも単一のハードウェアに限定されないことが明らかである。これらの用語のいずれも、単一のデバイスおよび1つ以上の別個のデバイスを包含し得る。これらのいくつかまたは全ては、単一の器材中に統合されてもよいし、あるいは相互に別個かつ離隔状態で配置されてもよい。「デバイス」および「システム」は、感知反射信号の送信および/または感知を例えば1つ以上の送信器および/またはセンサ(単数または複数)(すなわち、スピーカ(単数または複数)、マイクロフォン(単数または複数)、赤外線センサ、無線周波送信器/受信器など)を用いて行うことができる。これらは、生理学的動態を検出するように、一体化されかつ/または外部から接続可能)である。
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含み得る。この媒体上には、プロセッサにより実行可能な命令が保存される。これらの命令がプロセッサによって実行されると、プロセッサは、ユーザの生理学的動態のような生理学的パラメータを決定する。生理学的動態は、呼吸動態、心臓動態、手足動態(例えば、腕や脚)、ジェスチャー動態および全身動態のうち任意の1つ以上を含み得る。少なくとも検出された反射信号から導出されたパラメータである生理学的動態と別に、生理学的パラメータは、導出された生理学的動態からさらに導出され得る1つ以上の特性も含み得る(例えば、呼吸動態信号から導出された呼吸振幅、相対的呼吸振幅、呼吸数、呼吸数変動性、心臓動態信号から導出された相対的心臓振幅、心臓振幅、心拍数、心拍数変動性)、ならびに他の特性(例えば、(a)存在状態(存在または不在)、(b)睡眠状態(例えば、覚醒または睡眠)、(c)睡眠ステージ(例えば、N−REM1(ノンレム浅眠サブステージ1)、N−REM2(ノンレム浅眠サブステージ2)、N−REM3(ノンレム熟睡(徐波睡眠(SWS)とも呼ばれる))、REM睡眠など)、または他の睡眠関連パラメータ(例えば、(d)疲労および/または(e)眠気など))。処理デバイスは、車両(例えば、車両の車室)と一体化させてもよいし、あるいは他の場合に車両ケーブル中へ挿入されるようにポータブル化または適合されてもよい。プロセッサにより実行可能な命令は、対話型オーディオデバイスまたは他のセンサへ接続されたスピーカを介して、ユーザを含み得る車室近隣または車両内の音声信号の生成を制御せよとの命令を含み得る。記載の例の大部分は、車両の車室内に適用可能であるが、類似の感知原理および考慮事項が、車両外部のごく近隣において適用可能である。プロセッサにより実行可能な命令は、車両用オーディオ処理デバイス他のセンサへ接続されたマイクロフォンを介して、車両の車室近隣のユーザから反射された反射信号または音信号の感知を制御せよとの命令を含み得る。プロセッサにより実行可能な命令は、感知された音声または反射信号を処理せよとの命令を含み得る。プロセッサにより実行可能な命令は、感知された可聴型口頭通信の通信の評価を車両用オーディオデバイスへ接続されたマイクロフォンを介して行うようにとの旨の命令を含み得る。プロセッサにより実行可能な命令は、生理学的動態信号を感知または音信号および反射信号または反射音信号を用いて導出せよとの命令を含み得る。プロセッサにより実行可能な命令は、導出された生理学的動態信号の評価に基づいた出力を(例えば、感知された可聴型口頭通信に応答して)発生させよとの命令を含み得る。
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含み得る。この媒体上には、プロセッサにより実行可能な命令が保存される。これらの命令が電子デバイスのプロセッサによって実行されると、プロセッサは、車両の車室近隣において感知されたデータを処理して、ユーザの生理学的動態を検出する。プロセッサにより実行可能な命令は、車両(例えば、電子デバイスを収容する車両)の車室近隣における感知信号の生成を制御せよとの命令を含み得る。これらのプロセッサにより実行可能な命令は、車両の車室近隣からの反射信号のセンサによる感知を制御せよとの命令を含み得る。プロセッサにより実行可能な命令は、感知された反射信号の少なくとも一部および感知信号の一部を示す信号を用いて生理学的動態信号を導出せよとの命令を含み得る。プロセッサにより実行可能な命令は、導出された生理学的動態信号の少なくとも一部の評価に基づいた出力を生成せよとの命令を含み得る。
いくつかのバージョンにおいて、感知信号は、電子デバイスと接続された無線周波数送信器によって発生された無線周波数感知信号、電子デバイスと接続されたスピーカによって発生された音響感知信号、および電子デバイスと接続された赤外線放射体によって発生された赤外線感知信号のうちいずれか1つ以上であり得る。感知信号の一部を示す信号は、内部発生したオシレータ信号またはダイレクトパス測定音声信号を含み得る。生理学的動態信号を導出せよとの命令は、生理学的動態信号の導出を(a)感知信号および反射信号を用いて行うか、または(b)反射信号および感知信号と関連付けられた関連付けられた信号を用いて行うように、構成され得る。任意選択的に、関連付けられた信号は、内部生成された発振器信号または直通路測定信号である。
生理学的動態信号を導出せよとの命令は、オシレータ信号を感知された反射信号の一部で乗算するように、構成され得る。導出された生理学的動態信号は、車室近隣内のユーザの呼吸動き、全身動きまたは心臓動きのうち1つ以上を含み得る。導出された生理学的動態信号の評価は、呼吸速度、呼吸の振幅、呼吸の相対的振幅、心拍数、心臓振幅、および相対的心臓振幅のうち任意の1つ以上を決定することを含み得る。プロセッサにより実行可能な命令は、1つ以上の車両センサからの信号に基づいて車両特性を感知せよとの命令と、感知された車両特性に基づいて出力を生成せよとの命令とを含み得る。プロセッサにより実行可能な命令は、1つ以上の車両センサからの信号に基づいて車両特性を感知せよとの命令と、感知された車両特性に基づいて生成された感知信号の少なくとも一部を調節せよとの命令とを含み得る。
いくつかのバージョンにおいて、感知された車両特性は、車速、ドア開口状態、窓開口状態、エンジン回転数、車両位置、シート占有、シートベルト着用状態、シート位置、ステアリングホイールグリップ状態、ステアリングホイール角度、空調システム状態、ファン設定、ブレーキ設定、アクセスペダル設定、車室照明、車室ノイズおよび/または車室温度のうちいずれか1つ以上を含み得る。プロセッサにより読取可能な媒体は、電子デバイスへ接続されたマイクロフォンを介して感知された可聴型口頭通信を評価せよとのプロセッサにより実行可能な命令をさらに含む。導出された生理学的動態信号の評価に基づいた、生成された出力は、感知された可聴型口頭通信にさらに基づく。電子デバイスは、オーディオ娯楽システムを含み得る。感知信号は、オーディオ娯楽コンテンツ信号と組み合わせられ得る。組み合わせられた感知信号およびオーディオ娯楽コンテンツ信号は、オーディオ娯楽システムの1つ以上のスピーカによって生成され得る。生成された感知信号の少なくとも一部は、実質的非可聴音レンジ内の音声信号であり得る。音声信号は、低周波超音波音響信号であり得る。音声信号は、デュアルトーン周波数変調連続波信号であり得る。デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸周波数変化と少なくとも部分的に重複された第1の鋸周波数変化を含み得る。
オーディオ娯楽システムは、複数のスピーカを含み得る。電子デバイスは、異なる生理学的動態信号を導出するように構成され得る。各導出された生理学的動態信号は、複数のスピーカの異なるスピーカと関連付けられる。感知信号の生成を制御せよとの命令により、複数のスピーカの各異なるスピーカについて異なる感知周波数レンジにおいて感知信号が生成され得る。車両の車室近隣からの反射信号の感知を制御せよとの命令は、複数のマイクロフォンを用いることにより反射信号の感知を制御し得る。媒体は、電子デバイスを制御して、車室近隣のユーザの睡眠を阻止するかまたは促すための音声提示をスピーカにより発生させよとのプロセッサにより実行可能な命令をさらに含み得る。この音声提示は、呼吸同調エクササイズを含み得る。
電子デバイスは、車両ナビゲーションシステムを含み得る。電子デバイスのプロセッサにより実行可能な命令は、導出された生理学的動態信号の評価からの出力に基づいて、車両ナビゲーションシステムへ提供されるナビゲーションルートのためのパラメータを設定するように構成され得る。電子デバイスは、半自律型または自律型の車両動作制御システムを含み得る。電子デバイスのプロセッサにより実行可能な命令は、導出された生理学的動態信号の評価からの出力に基づいて、車両の動態、車室近隣の照明状態の調節、エレクトロクロミックガラスの透明度の調節、車室近隣のシートの動態、制動パラメータの調節、加速パラメータの調節、サスペンション設定の調節、窓被覆率の調節、音響バリアの調節、車両の固定(immobilization)、車両換気の連動および/または車両車室冷房/暖房システムの連動のうちいずれか1つ以上を制御するように構成され得る。導出された生理学的動態信号の評価は、眠気、疲労状態、睡眠ステージおよび睡眠ステージにおける時間および/または睡眠スコアの計算のうちいずれか1つ以上の検出を含み得る。導出された生理学的動態信号の部分の評価は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれか1つの検出を含み得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、睡眠サービスを含み得る。
いくつかのバージョンにおいて、導出された生理学的動態信号の部分についての電子デバイスによる評価は、健康スクリーニングサービスを含み得る。任意選択的に、健康スクリーニングサービスは、呼吸健康の検出、睡眠障害呼吸の検出および心臓健康の検出のうちいずれか1つ以上の検出を含み得る。導出された生理学的動態信号の部分の評価は、ジェスチャーの検出を含み得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、呼吸健康関連パラメータ、睡眠障害呼吸関連パラメータおよび/または心臓健康関連パラメータの1つ以上の検出を含み得る。
いくつかのバージョンにおいて、プロセッサにより読取可能な媒体は、超広帯域(UWB)音声感知信号を可聴ホワイトノイズとして発生させよとのプロセッサにより実行可能な命令を含み得る。プロセッサにより読取可能な媒体は、UWB音声信号を用いてユーザの動きを検出せよとのプロセッサにより実行可能な命令を含み得る。媒体は、車室近隣内の距離をマップするためのプロービング信号をセットアッププロセス内において生成せよとのプロセッサにより実行可能な命令をさらに含み得る。媒体は、導出された生理学的動態信号の部分に基づいて車室近隣のユーザの存在または不在を検出せよとのプロセッサにより実行可能な命令をさらに含み得る。媒体は、導出された生理学的動態信号の部分に基づいて車室近隣のユーザのバイオメトリック認識を実施せよとのプロセッサにより実行可能な命令をさらに含み得る。任意選択的に、出力は、生成されたアラートを含み得る。媒体は、バイオメトリック認識に基づいた車両の車両動作制御システムのイネーブルおよびディセーブルを制御せよとのプロセッサにより実行可能な命令をさらに含み得る。媒体は、導出された生理学的動態信号の部分に基づいて車室近隣のユーザのバイオメトリック認識を実施せよとのプロセッサにより実行可能な命令を含み得る。出力は、バイオメトリック認識に基づき得、(a)アラートを生成すること、および(b)車両の車両動作制御システムのイネーブルおよびディセーブルを制御することのうち少なくとも1つを含み得る。媒体は、電子デバイスへ接続されたマイクロフォンによって感知された音信号をフィルタリングせよとのプロセッサにより実行可能な命令をさらに含み得る。フィルタは、軽減または減衰車両音を軽減または減衰させるように構成され得る。車両音は、モータノイズ、ノイズ、車両警告音、ドア閉鎖およびインフォテイメント音のうち1つ以上を含み得る。
いくつかのバージョンにおいて、導出された生理学的動態信号の部分についての電子デバイスによる評価は、導出された生理学的動態信号の分類を含み得る。分類により、ディープビリーフネットワークによって導出された生理学的動態信号の部分から決定されたフィーチャが評価される。導出された生理学的動態信号についての電子デバイスによる評価は、車室近隣に子供が独りで残っていることの決定を含み得る。出力は、生成された警告を含み得る。出力は、車室近隣に子供が独りで残っていることの決定に基づいて車両動作制御システムを起動させるための制御信号をさらに含み得る。任意選択的に、車両動作制御システムは、車両環境制御システムを含み得る。制御信号により、車両環境制御システムによって提供される車室近隣の換気および/または温度状態が開始され得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、車室近隣に子供が独りで残っていることの決定を含み得る。出力は、(a)生成された警告、または(b)車両動作制御システムが車室近隣の換気および/または温度状態を開始させることを含み得る。
いくつかのバージョンにおいて、媒体は、導出された生理学的動態信号に基づいたデータをブロックチェーンデータシステムに記録する旨のプロセッサにより実行可能な命令をさらに含み得る。媒体は、チャットボットプログラムを通じて対話形言語プロセスとして出力を発生させる旨のプロセッサにより実行可能な命令をさらに含み得る。電子デバイスは、ハンドヘルド処理デバイスを含み得る。電子デバイスは、1つ以上の車両の一体化コンポーネントまたは車両用処理デバイスを含み得る。いくつかのバージョンにおいて、(a)センサおよび(b)感知信号を生成するように構成されたコンポーネントのうち一方または両方は、車両の一体型コンポーネント(単数または複数)であり得る。
本技術のいくつかのバージョンは、本明細書中に記載のプロセッサにより読取可能な媒体へのアクセスを有するサーバを含み得る。サーバは、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令を、ネットワークを介して電子デバイスまたは車両用処理デバイスへダウンロードせよとのリクエストを受信するように、構成され得る。
本技術のいくつかのバージョンは、電子デバイスを含み得る。電子デバイスは、車両の車室近隣において動作するセンサに接続するように配置された1つ以上のプロセッサと、(a)本明細書中に記載のような、プロセッサにより読取可能な任意の媒体または(b)本明細書中に記載の任意のサーバのプロセッサにより実行可能な命令へアクセスするように構成された、プロセッサにより読取可能な媒体とを含み得る。センサは、(a)スピーカおよびマイクロフォン、(b)赤外線放射体および検出器または(c)無線周波数トランシーバのうち少なくとも1つを含み得る。電子デバイスは、オーディオ娯楽システム、車両ナビゲーションシステムおよび半自律型または自律型の車両動作制御システムのうちいずれか1つ以上を含み得る。電子デバイスは、1つ以上の車両の一体化コンポーネントまたは車両用処理デバイスを含み得る。電子デバイスは、車両をさらに含み得る。電子デバイスは、少なくとも1つのポータブルコンポーネントを含み得る。ポータブルコンポーネントは、スマートフォン、スマートウォッチまたはスマートジュエリーを含み得る。
本技術のいくつかのバージョンは、本明細書中に記載のプロセッサにより読取可能な任意の媒体または本明細書中に記載の電子デバイスへのアクセスを有するサーバの方法を含み得る。本方法は、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令をネットワークを介して電子デバイスへダウンロードせよとのリクエスト、および該リクエストに応答してプロセッサにより実行可能な命令を電子デバイスへ送信せよとのリクエストをサーバにおいて受信することを含み得る。
本技術のいくつかのバージョンは、電子デバイスのプロセッサの方法を含み得る。本方法は、本明細書中に記載プロセッサにより読取可能な媒体(単数または複数)のいずれかへ、プロセッサを用いてアクセスすることを含み得る。本方法は、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令をプロセッサにおいて実行することを含み得る。
本技術のいくつかのバージョンは、車両の車室近隣のユーザの生理学的動態の検出のための電子デバイスの1つ以上のプロセッサの方法を含み得る。本方法は、車両の車室近隣における感知信号の生成を制御することを含み得る。本方法は、車両の車室近隣のからの反射信号のセンサによる感知を制御することを含み得る。本方法は、感知された反射信号の少なくとも一部および感知信号の少なくとも一部を示す信号を用いて生理学的動態信号を導出することを含み得る。本方法は、導出された生理学的動態信号の少なくとも一部の評価に基づいた出力を生成することを含み得る。
本方法のいくつかのバージョンにおいて、感知信号は、以下のうちいずれか1つ以上であり得る。電子デバイスと接続された無線周波数送信器によって発生された無線周波数感知信号、電子デバイスと接続されたスピーカによって発生された音響感知信号、および電子デバイスと接続された赤外線放射体によって発生された赤外線感知信号。感知信号の一部を示す信号は、内部発生したオシレータ信号またはダイレクトパス測定声信号を含み得る。本方法は、生理学的動態信号の導出を(a)感知信号および感知された反射信号を用いてまたは(b)感知された反射信号および感知信号と関連付けられた関連付けられた信号を用いて行うことを含み得る。ここで任意選択的に、関連付けられた信号は、内部生成された発振器信号または直通路測定信号である。方法は、オシレータ信号を感知された反射音信号の一部で乗算することを含む、生理学的動態信号の導出することを含み得る。導出された生理学的動態信号は、車室近隣内のユーザの呼吸動き、心臓動きまたは全身動きのうち1つ以上を含み得る。導出された生理学的動態信号の部分の評価は、呼吸速度、相対的呼吸振幅、呼吸振幅、心拍数、相対的心臓振幅および心臓振幅のうちいずれか1つ以上を決定することを含み得る。本方法は、1つ以上の車両センサからの信号に基づいて車両特性を感知することと、感知された車両特性に基づいて出力を生成することとを含み得る。本方法は、1つ以上の車両センサからの信号に基づいて車両特性を感知することと、感知された車両特性に基づいて生成された感知信号の少なくとも一部を調節することとを含み得る。感知された車両特性は、車速、ドア開口状態、窓開口状態、エンジン回転数、車両位置、シート占有、シートベルト着用状態、シート位置、ステアリングホイールグリップ状態、ステアリングホイール角度、空調システム状態、ファン設定、ブレーキ設定、アクセスペダル設定、車室照明、車室ノイズ、および/または車室温度のうちいずれか1つ以上を含み得る。
本方法は、電子デバイスへ接続されたマイクロフォンを介して感知された可聴型口頭通信をさらに評価することを含み得る。導出された生理学的動態信号の部分の評価に基づいた生成された出力は、感知された可聴型口頭通信にさらに基づく。電子デバイスは、オーディオ娯楽システムを含み得る。本方法は、感知信号をオーディオ娯楽コンテンツ信号と組み合わせることと、組み合わせられた感知信号およびオーディオ娯楽コンテンツ信号をオーディオ娯楽システムの1つ以上のスピーカにより生成することとを含み得る。生成された感知信号の少なくとも一部は、実質的非可聴音レンジ内の音声信号であり得る。音声信号は、低周波超音波音響信号であり得る。音声信号は、デュアルトーン周波数変調連続波信号であり得る。デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸周波数変化と少なくとも部分的に重複された第1の鋸周波数変化を含む。電子デバイスは、複数のスピーカを含み得るオーディオ娯楽システムを含み得る。電子デバイスは、異なる生理学的動態信号を導出させる。各導出された生理学的動態信号は、複数のスピーカの異なるスピーカと関連付けられる。
いくつかのバージョンにおいて、感知信号の生成を制御することにより、複数のスピーカの各異なるスピーカについて異なる感知周波数レンジにおいて感知信号が生成される。車両の車室近隣のからの反射信号の感知を制御することは、複数のマイクロフォンの利用により反射信号の感知を制御することを含み得る。本方法は、車室近隣のユーザの睡眠を阻止するかまたは促すための音声提示をスピーカにより生成させるように電子デバイスを制御することを含み得る。この音声提示は、呼吸同調エクササイズを含み得る。電子デバイスは、車両ナビゲーションシステムを含み得る。電子デバイスは、導出された生理学的動態信号の部分の評価からの出力に基づいて、車両ナビゲーションシステムへ提供されるナビゲーションルートのためのパラメータを設定し得る。
電子デバイスは、半自律型または自律型の車両動作制御システムを含み得る。電子デバイスは、導出された生理学的動態信号の評価からの出力に基づいて、以下のうちいずれか1つ以上を制御し得る。車両の動態、車室近隣の照明状態の調節、エレクトロクロミックガラスの透明度の調節、車室近隣のシートの動態、制動パラメータの調節、加速パラメータの調節、サスペンション設定の調節、窓被覆率の調節、音響バリアの調節、車両の固定、車両換気の連動および/または車両車室冷却/暖房システムの連動。導出された生理学的動態信号の部分の評価は、以下のうちいずれか1つ以上を検出することを含み得る。眠気、疲労状態、睡眠ステージおよび睡眠ステージにおける時間および/または睡眠スコアの計算。導出された生理学的動態信号の部分の評価は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれか1つの検出を含み得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、睡眠サービスを含み得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、健康スクリーニングサービスを含み得る。任意選択的に、健康スクリーニングサービスは、呼吸健康、睡眠障害呼吸および心臓健康のうちいずれか1つ以上を検出する。導出された生理学的動態信号の部分の評価は、ジェスチャーを検出し得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、呼吸健康関連パラメータ、睡眠障害呼吸関連パラメータおよび心臓健康関連パラメータのうちいずれか1つ以上の検出を含み得る。
生成された感知信号は、可聴型ホワイトノイズとして生成された超広帯域(UWB)音感知信号を含み得る。本方法は、超広帯域(UWB)音声感知信号を可聴ホワイトノイズとして発生させることと、UWB音声信号を用いてユーザの動きを検出することとをさらに含み得る。本方法は、車室近隣内の距離をマップするためのプロービング信号をセットアッププロセスにおいて発生させることを含み得る。方法は、導出された生理学的動態信号に基づいて車室近隣のユーザの存在または不在を検出することをさらに含み得る。方法は、導出された生理学的動態信号に基づいて車室近隣のユーザのバイオメトリック認識を実施することをさらに含み得る。任意選択的に、出力は、生成されたアラートを含み得る。本方法は、バイオメトリック認識に基づいた車両の車両動作制御システムのイネーブルおよびディセーブルを制御することをさらに含み得る。出力は、バイオメトリック認識に基づき得、(a)アラートを生成することおよび(b)車両の車両動作制御システムのイネーブルおよびディセーブルを制御することのうち少なくとも1つ(すなわち、または両方)を含み得る。本方法は、電子デバイスへ接続されたマイクロフォンによって感知された音信号をフィルタリングすることをさらに含み得る。フィルタリングは、車両音を軽減または減衰させるように構成され得る。任意選択的に、車両音は、モータノイズ、風音、車両警告音、ドア閉鎖およびインフォテイメント音のうち1つ以上を含み得る。
導出された生理学的動態信号についての電子デバイスによる評価は、導出された生理学的動態信号を分類することを含み得る。分類することにより、導出された生理学的動態信号からディープビリーフネットワークによって決定されたフィーチャが評価される。導出された生理学的動態信号についての電子デバイスによる評価は、車室近隣内に独りで残っている子供の存在を決定することを含み得る。出力は、生成された警告を含む。出力は、車室近隣内に独りで残っている子供の存在を決定することに基づいて車両動作制御システムを起動させるための制御信号を含み得る。導出された生理学的動態信号の部分についての電子デバイスによる評価は、車室近隣内に独りで残っている子供の存在を決定することを含み得る。出力は、(a)生成された警告または(b)車両動作制御システムが車両環境制御システムによって提供される車室近隣の換気および/または温度状態を開始させることを含み得る。任意選択的に、車両動作制御システムは、車両環境制御システムを含み得る。制御信号により、車両環境制御システムによって提供される車室近隣の換気および/または温度状態が開始され得る。本方法は、導出された生理学的動態信号に基づいたデータをブロックチェーンデータシステムに記録することをさらに含み得る。本方法は、チャットボットプログラムを通じて対話形言語プロセスとして出力を発生させることをさらに含み得る。電子デバイスは、ハンドヘルド処理デバイスを含み得るかまたはハンドヘルド処理デバイスであり得る。電子デバイスは、1つ以上の車両の一体化コンポーネントまたは車両用処理デバイスを含み得る。(a)センサおよび(b)感知信号を生成するように構成されたコンポーネントのうち一方または両方は、車両の一体型コンポーネント(単数または複数)であり得る。
本明細書中に記載される方法、システム、デバイスおよび装置により、プロセッサにおける機能(例えば、車両用オーディオおよび/または処理デバイス、汎用または特定目的用コンピュータ、携帯用コンピュータ処理装置(例えば、携帯電話、タブレットコンピュータ、スマートスピーカ、スマートテレビなど)、呼吸モニターおよび/またはマイクロフォンおよびスピーカなどの動きセンサを利用するその他の処理装置のプロセッサの機能)の向上が可能になり得る。さらに、記載の方法、システム、デバイスおよび装置により、自動化された車両オーディオ装置の技術分野における向上が可能になり得る。
もちろん、上記態様の一部は、本技術の下位態様を形成し得る。また、下位態様および/または態様のうち多様な1つを多様に組み合わせることができ、本技術のさらなる態様または下位態様も構成し得る。
本技術の他の特徴は、以下の詳細な説明、要約、図面および特許請求の範囲中に含まれる情報に鑑みれば明らかになるであろう。
4 図面の簡単な説明
本技術を、添付図面中に非限定的に一例として例示する。図面中、類似の参照符号は、以下の類似の要素を含む。
図1は、例示的な車載動き感知デバイスを示す(例えば、本明細書中に記載の信号生成および処理技術を用いた低周波超音波生体動き感知)。 図2は、デバイスの車両内近隣からオーディオ情報を受信する例示的な処理デバイスと、デバイスの例示的プロセスの模式図とを示す。 図3は、本技術のいくつかの形態に従って構成され得るような処理デバイス(例えば、スマートオーディオデバイス)の模式図である。 図4Aは、例えば周波数変調連続波感知(FMCW)のための単一トーンチャープの周波数特性を示す。図4Bは、例えば周波数変調連続波感知(FMCW)のためのデュアルトーンチャープの周波数特性を示す。 図5は、デュアルトーンFMCWのための例示的な復調を示す。この復調は、本技術の車両用処理デバイスにおける感知システムのために具現され得る。 図6は、音声によりイネーブルされるオーディオデバイスまたは車両用処理デバイスの例示的な動作を示す(例えば、本明細書中に記載の信号生成および処理技術を用いた低周波超音波生体動き感知)。 図7は、例えば、本明細書中に記載の車両用処理デバイス(単数または複数)の処理ための例示的なオーディオ処理モジュールまたはブロックを示す。 図8は、例えば図1に示す感知デバイスのために例えば動き特性に基づいた多様な出力(例えば、睡眠データ、疲労/覚醒データ、医療データ、通知データ)を生成するための車両内動き感知の例示的処理フローを示す。図8A、図8Bおよび図8Cは、例えば本技術のFMCWシステムのための三角単一トーンの多様な信号特性を示す。 図9は、車載音響感知装置(例えば、ソナー生理学的感知装置によりイネーブルされる車両用処理デバイス)の例示的処理フローを示す。図9A、図9Bおよび図9Cは、例えば本技術のFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。 図10は、車載健康アセスメント処理システムおよび/または車載睡眠サービスシステムを実行するための、生理学的パラメータの車両内感知のプロセスのための例示的処理フローを示す。 図11は、車載昼寝/睡眠サービスシステムの実行のための生理学的パラメータの感知のプロセスの例示的処理フローを示す。
5 本技術の実施例の詳細な説明
本技術についてさらに詳細に説明する前に、本技術は、本明細書中に記載される異なり得る特定の実施例に限定されるのではないことが理解されるべきである。本開示中に用いられる用語は、本明細書中に記載される特定の実施例を説明する目的のためのものであり、限定的なものではないことも理解されるべきである。
以下の記載は、共通の特性または特徴を共有し得る本技術の多様な形態に関連して提供される。任意の一形態の1つ以上の特徴は、別の形態または他の形態の1つ以上の特徴と組み合わせることが可能であることが理解されるべきである。加えて、これらの形態のうちのいずれかにおける任意の単一の特徴または特徴の組み合わせは、さらなる例示的な形態を構成し得る。
5.1 車載機器によるスクリーニング、監視および検出
本技術は、例えば対象が車両環境にいるのときの対象の動き(例えば、全身動態、呼吸の動きおよび/または心臓に関連する胸部動き)を検出するための生理学的感知システム、方法および装置に関する。より詳細には、本技術は、例えば車両用娯楽システムのための車載動き感知デバイス(単数または複数)に関連する処理アプリケーションに関する。いくつかのバージョンにおいて、感知デバイスは、スマートフォン、案内システム、車内オーディオシステム、タブレット、モバイルデバイス、携帯電話、スマートテレビジョン、ラップトップコンピュータなどであり得、これは、デバイスセンサ(例えば、スピーカおよびマイクロフォン)を用いてこのような車両内動きを検出する。このような電子デバイスシステムを挙げると、ポータブルコンポーネント(例えば、スマートフォン、スマートウォッチおよび/またはスマートジュエリー)ある。
以下、本技術の具現に適した例示的なシステムの特に最小限的で目立たないバージョンについて、図1〜図3を参照して説明する。車載オーディオデバイスは、1つ以上のプロセッサ(例えば、マイクロコントローラ)を有する処理デバイス100として具現され得る。これらのプロセッサは、対象110の動態の検出のためのアプリケーション200と共に構成されたスマートスピーカであり得る。これは、車両111内に設けてもよいし、あるいは対象110の近隣の車両111の車室のコンポーネント(例えば、オーディオシステム、ダッシュボード、ドア、シート)と統合してもよい。任意選択的に、処理デバイス100は、例えばスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、スマートスピーカ、スマートテレビジョンまたは他の電子デバイスであってもよい。処理デバイス100のプロセッサ(単数または複数)は、特に、感知信号112(例えば、音響またはオーディオ信号)が、概して制限された車両の近隣内の空気を典型的に通じて、発生および送信されるようにすることを含めた、アプリケーション200の機能を実行するように構成され得る。本処理デバイスは、例えば変換器(例えば、マイクロフォン)による感知による送信信号のリフレクション114を受信し得る。処理デバイスは、感知された信号を処理して(例えば、送信された信号との復調によって)、身体動態(例えば、全身動態、手足動態、心臓動態および呼吸動態)を決定し得る。処理デバイス100は、他のコンポーネントの中でも、スピーカおよびマイクロフォンを含んでよかろう。スピーカは、反射された信号を受信するために、発生されたオーディオ信号およびマイクロフォンを送信するために実装され得る。感知および処理のための発生されたオーディオ信号は、国際特許出願PCT/EP2017/073613(出願日:2017年9月19日)に記載の技術のいずれかを用いて具現され得る。本明細書中に同文献全体を引用することにより本明細書の一部をなすものとする。
本明細書中、感知装置について主に音響感知(例えば、低周波超音波感知)に関連して記載しているが、これらの方法およびデバイスは、他の感知技術を用いて具現され得ることが理解される。例えば、代替例として、処理デバイスは、感知装置として機能するようにRFセンサの無線周波トランシーバと共に実装され得、これにより、発生された信号および反射信号はRF信号となる。このようなRF感知デバイスは、処理デバイスと一体化され得るかまたは処理デバイスへ接続され得、以下に記載の技術およびセンサコンポーネントのいずれかを用いて具現され得る。国際特許出願第PCT/US2013/051250(タイトル:「Range GatedRadio FrequencyPhysiology Sensor」、出願日:2013年7月19日)、国際特許出願第PCT/EP2017/070773(タイトル:「Digital RadioFrequency MotionDetection Sensor」、出願日:2017年8月16日)、および国際特許出願第PCT/EP2016/069413(タイトル:「Digital RangeGated RadioFrequency Sensor」、出願日:2017年8月16日)。同様に、別のバージョンにおいて、感知信号送信およびそのリフレクションの感知のためのこのような感知装置は、赤外線放射発生器ならびに赤外線放射線検出器(例えば、IRエミッタおよびIR検出器)で具現され得る。動き検出および特性解析のためのこのような信号処理も、同様に具現され得る。
これらの異なる感知技術のうち2つ以上の組み合わせを用いれば、各技術の利点を組み合わせることにより、感知結果の向上が可能になる。例えば、記載の音響感知技術は、例えば、市内走行または高速エンジン回転/車両速度などのノイズの多い環境において、充分使用に耐えることができる。しかし、聴覚が敏感なユーザの場合、カントリー・ドライビング中にまたはエンジン回転/車両速度が低速であるときに本技術を使用している際はノイズが大幅に低くなり感知信号が聞こえやすくなるため、問題になることがある。同様に、IR感知を用いれば夜間において良好なS/N信号が得られるが、日中の光(および熱)により使用が問題になり得る。この場合、音響感知の日中の使用による補完により、IR感知の夜間利用が可能になり得る。
任意選択的に、処理デバイスの感知方法は、治療デバイスが処理デバイス100として機能するか、または別途の処理デバイス100と連携して作動する旅行用/ポータブル睡眠治療デバイス(例えば、旅行用/ポータブル呼吸治療デバイス(例えば、持続的気道陽圧(例えば、「CPAP」)デバイスまたは高流量治療デバイス)(図示せず)のような他の種類のデバイスにおいて、またはそのようなデバイスにより、または感知装置で具現され得る。このようなデバイスの例を挙げると、圧力デバイスまたは送風機(例えば、ボリュート中のモータおよびインペラ)、圧力デバイスまたは送風機の1つ以上のセンサおよび中央制御装置について、国際特許公開WO/2015/061848(出願番号PCT/AU2014/050315)(出願日:2014年10月28日)および国際特許公開WO/2016/145483(出願番号PCT/AU2016/050117)(出願日:2016年3月14日)に記載のデバイスが検討され得る。本明細書中、同文献全体を参考のため援用する。このような呼吸治療デバイスは、任意選択の加湿器4000を含み得、患者インターフェースへの提供を患者回路(例えば、導管)を介して提供し得る。いくつかの場合において、呼吸治療デバイスは、(本出願全体に記載のプロセスの外部音声関連音響条件と対照的な)患者回路内および患者回路を通じた内部音声関連条件を感知する個々のセンサ(例えば、マイクロフォン)を有し得る。
処理デバイス100は、対象の呼吸および/または他の動態関連特性の監視の効率的かつ有効な方法が得られるように、適合され得る。車両内で、睡眠時などにおいて使用される場合、処理デバイス100およびその関連方法が、例えば、ユーザの呼吸の検出と、睡眠段階、睡眠状態、状態、呼吸および/または他の呼吸特性間の移行の特定とのために用いられ得る。覚醒時に用いられる場合、処理デバイス100およびその関連方法は、人または対象呼吸(吸気、呼気、休止、および導出速度)の存在有無などの動態、眠気および/または疲労、心弾動図波形および/またはその後の導出された心拍数の検出に用いられ得る。このような動態または動態特性は、本明細書中に記載のような多様な機能をより詳細に制御するために用いられ得る。
処理デバイス100は、集積チップ、メモリおよび/または他の制御命令、データまたは情報記憶媒体を含み得る。例えば、本明細書中に記載のアセスメント/信号処理方法を包含するプログラムされた命令は、特定用途向け一体型チップ(ASIC)を形成するデバイスまたは装置のメモリ中の集積チップ上にコーディングされ得る。このような命令は、追加的にまたは代替的に適切なデータ記憶媒体を用いてソフトウェアまたはファームウェアとしてロードしてもよい。任意選択的に、このような処理命令は、例えばネットワークを介したサーバ(例えば、インターネット)から処理デバイスへダウンロードされ得、これにより、これらの命令が実行されると、処理デバイスはスクリーニングデバイスまたは監視デバイスとして機能する。
よって、処理デバイス100は、図3に示すような複数のコンポーネントを含み得る。処理デバイス100を挙げると、他のコンポーネントの中でも、感知装置309、例えば、音響感知のためのマイクロフォン(単数または複数)または音声センサ302およびスピーカ310、プロセッサ(単数または複数)304、任意選択のディスプレイインターフェース306、任意選択のユーザ制御/入力インターフェース308、およびメモリ/データ格納部312(例えば、本明細書中に記載の処理方法/モジュールの処理命令を用いたもの)がある。いくつかの場合において、マイクロフォンおよび/またはスピーカは、デバイスのプロセッサ(単数または複数)とのユーザインターフェースとして機能し得、例えば、マイクロフォンによって感知されたオーディオおよび/または口頭コマンドに対して処理デバイスがスピーカを介して応答した際、処理デバイスの動作を制御し得る。この点について、処理デバイス100は、例えば自然言語処理を用いた音声アシスタントとして機能し得る。
処理デバイス100のコンポーネントの1つ以上は、処理デバイス100と一体化させてもよいし、あるいは動作可能に接続させてもよい。例えば、感知装置309(例えば、マイクロフォン(単数または複数)または音センサ302またはスピーカ310)は、処理デバイス100と一体化させてもよいし、あるいは例えば有線リンクまたは無線リンク(例えば、ブルートゥース、Wi−Fiなど)を通じて処理デバイス100と結合させてもよい。そのため、処理デバイス100は、データ通信インターフェース314を含み得る。
メモリ/データ記憶装置312は、プロセッサ304の制御のための複数のプロセッサ制御命令を含み得る。例えば、メモリ/データ記憶装置312は、本明細書中に記載の処理方法/モジュール処理命令によってアプリケーション200を行わせるためのプロセッサ制御命令を含み得る。
本技術の例は、1つ以上のアルゴリズムまたはプロセスを用いるように構成され得る。これらのアルゴリズムまたはプロセスは、処理デバイス100の使用時にユーザが睡眠中であるときに動き、呼吸および任意選択的に睡眠特性を検出するためにアプリケーション(単数または複数)200によって具現化され得る。例えば、アプリケーション200は、いくつかのサブプロセスまたはモジュールによって特徴付けられ得る。図2に示すように、アプリケーション200は、感知信号発生および送信サブプロセス202と、動きおよび生物物理特性検出サブプロセス204と、例えば対象の不在/存在の検出、バイオメトリック同定、疲労、眠気、睡眠特性解析、呼吸または心臓関連の特性解析などのための動き特性解析サブプロセス206と、例えば情報提示または本明細書中により詳細に記載のような多様なデバイスの制御のための結果出力サブプロセス208とを含み得る。
例えば、処理206における任意選択の睡眠段階が、例えば睡眠段階処理モジュール内において具現され得る。しかし、このような処理モジュール/ブロックのうち任意の1つ以上が、任意選択的に追加され得る(例えば、睡眠採点またはステージング、対象認識処理、疲労認識、眠気認識、存在不在認識、人のバイオメトリック識別(バイオメトリック認識)、動き監視および/または予測処理、機器制御ロジック処理、または他の出力処理)。場合によっては、信号後処理206の機能は、以下の特許または特許出願のうちいずれかに記載の装置、システムおよび方法の成分、デバイスおよび/または方法のいずれかを用いて行われ得る。本明細書中、各文献の開示内容全体を参考のため援用する。国際特許出願第PCT/US2007/070196(出願日:2007年6月1日、タイトル:「Apparatus, System, and Methodfor MonitoringPhysiological Signs」)、国際特許出願第PCT/US2007/083155(出願日:2007年10月31日、タイトル:「System andMethod forMonitoring Cardio―RespiratoryParameters」)、国際特許出願第PCT/US2009/058020(出願日:2009年9月23日、タイトル:「Contactless and Minimal―ContactMonitoring of Qualityof LifeParameters forAssessment andIntervention」)、国際出願第PCT/US2010/023177(出願日:2010年2月4日、タイトル:「Apparatus, System, and Methodfor ChronicDisease Monitoring」)、国際特許出願第PCT/AU2013/000564(出願日:2013年3月30日、タイトル:「Method and Apparatusfor MonitoringCardio―Pulmonary Health」)、国際特許出願第PCT/AU2015/050273(出願日:2015年5月25日、タイトル:「Methods andApparatus forMonitoring ChronicDisease」)、国際特許出願第PCT/AU2014/059311(出願日:2014年10月6日、タイトル:「Fatigue Monitoringand ManagementSystem」)、国際特許出願第PCT/EP2017/070773(出願日:2017年8月16日、タイトル:「Digital RadioFrequency MotionDetection Sensor」)、国際特許出願第PCT/AU2013/060652(出願日:2013年9月19日、タイトル:「System andMethod forDetermining SleepStage」)、国際特許出願第PCT/EP2016/058789(出願日:2016年4月20日、タイトル:「Detection andIdentification of aHuman fromCharacteristic Signals」)、国際特許出願第PCT/EP2016/080267(出願日:2016年12月8日、タイトル:「Periodic Limb MovementRecognition withSensors」)、国際特許出願第PCT/EP2016/069496(出願日:2016年4月17日、タイトル:「Screener forSleep DisorderedBreathing」)、国際特許出願第PCT/EP2016/058806(出願日:2016年4月20日、タイトル:「GestureRecognition withSensors」)、国際特許出願第PCT/EP2016/069413(出願日:2016年8月16日、タイトル:「Digital RangeGated RadioFrequency Sensor」)、国際特許出願第PCT/EP2016/070169(出願日:2016年8月26日、タイトル:「Systems andMethods forMonitoring andManagement ofChronic Disease」)、国際特許出願第PCT/US2014/045814(出願日:2014年7月8日、タイトル:「Methods andSystems forSleep Management」)、米国特許出願第15/079,339(出願日:2016年3月24日、タイトル:「Detection ofPeriodic Breathing」)。このように、いくつかの例において、検出された動態の処理(例えば、呼吸の動態)は、以下のうち任意の1つ以上を決定するための基準として機能し得る。(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠(例えば、N1またはN2単純軽い睡眠)を示す睡眠段階(単数または複数)、および(e)REM睡眠を示す睡眠段階。この点について、本開示の音声および/または赤外線関連感知技術は、動き感知のための異なるメカニズム/プロセス(例えば、スピーカおよびマイクロフォンを用いたものおよび音声信号の処理)を提供するものの、これらの援用された参考文献のいくつかに記載のレーダーまたはRF感知技術と比較すると、動きまたは呼吸信号(例えば、本明細書中に記載の音声感知/処理方法を用いて得られる呼吸速度)の後、睡眠状態/段階情報の抽出のための処理呼吸または他の生理学的動態信号の原理が、これらの援用された参考文献の決定方法によって具現され得る。例えば、呼吸数および動態および活動カウントが動きに基づいて一旦RFまたはソナーによって決定された後は、睡眠段階は共通分析になる。さらなる例示として、感知波長は、RFパルスCWとソナー FMCW具現との間において異なり得る。そのため、例えば範囲(異なる感知距離)にわたって動態を検出することにより、速度が異なって決定され得る。FMCWの場合、動態検出は、複数の範囲において行われ得る。よって、1つ以上の移動標的の追跡を(2人であれあるいは実際には1人の異なる部分であれ−ソナーセンサに対する当該人物の角度に応じて)行うことができる。
典型的には、スピーカからのオーディオ信号(例えば、車両のオーディオエンターテイメント/ナビゲーションまたは車両制御システム)は、本明細書中に記載の1つ以上のトーンを用いて、オーディオ信号などを車両内にて感知するために発生されユーザへ送信され得る。トーンにより、1つ以上の特定の周波数における車両(例えば、空気)の圧力変化が分かる。本記載の目的のため、発生されたトーン(またはオーディオ信号または音声信号)は、(例えば、スピーカによって)可聴圧力波が発生され得るため、「音声」、「音響」または「オーディオ」と呼ばれ得る。しかし、本明細書中、このような圧力改変例およびトーン(単数または複数)は、「音声」、「音響」または「オーディオ」という用語のうちいずれかによる特性化に関わらず、可聴または非可聴のものとして理解されるべきである。よって、発生されたオーディオ信号は可聴または非可聴であり得、人間母集団に対する可聴度の周波数閾値は、年齢によって変化する。ほとんどの人は音声(例えば、18kHzを超える範囲において)音声を識別することができないため、この信号は実質的に非可聴であり得る。典型的な「オーディオ周波数」の標準レンジは、約20Hz〜20,000Hz(20kHz)である。高周波数聴覚の閾値は、年齢と共に低下する傾向があり、中年の人の場合、周波数が15〜17kHzを超える音声は聞こえないことが多く、10代の人の場合、18kHzが聞こえることがある。会話における最重要の周波数は、ほぼ250〜6,000Hzである。典型的な消費者向けスマートフォン、または車両内オーディオ装備に対するスピーカおよびマイクロフォン信号応答は、多くの場合に19〜20kHzを超えたときにロールオフするように設計され、23kHz以上を超えたときにロールオフするように設計されるものもある(特に、48kHzを超えるサンプリングレート(例えば、96kHz)をサポートするデバイスの場合)。そのため、ほとんどの人間に対しては、17/18〜24kHzの範囲内の信号を用いつつ非可聴のままであることが可能である。18kHzは聞こえるが19kHzは聞こえないより若年者に対しては、19kHz〜例えば21kHzの帯域が用いられ得る。いくつかの家庭用ペットの場合、より高い周波数も聞こえることがある(例えば、犬の場合は60kHzまで、猫の場合は79kHzまで)点に留意されたい。本技術の感知オーディオ信号の適切な範囲は、低超音波周波数範囲内にあり得る(例えば、15〜24kHz、18〜24kHz、19〜24kHz、15〜20kHz、18〜20kHzまたは19〜20kHz)。
PCT/EP2017/073613に記載のような例えば低周波超音波感知信号を用いたオーディオ感知の配置構成および方法のうちいずれかは、本明細書中に記載の処理デバイスによって具現され得る。しかし、場合によっては、デュアルトーンFMCW(デュアルランプ技術とも呼ばれる)は、本明細書中に記載のように具現され得る。
例えば、1つの「トーン」を有する三角FMCW波形(すなわち、周波数がスイープアップおよびダウンされるもの)の発生は、処理デバイスがそのスピーカ(単数または複数)を用いて行うことができる。波形は、図4Aに示す周波数対時間特性を有する。アップスイープまたはダウンスイープのみの処理あるいは両方の処理を距離検出のために評価することができる。1つのトーンについて位相が連続する三角形状が大変望ましい理由として、位相不連続部に起因して発生する再生音声中の任意の可聴アーチファクトが最小化または除去される点がある。これの別形である傾斜が有る場合、ある周波数における特定の振幅音声の再生からサンプル空間中の類似の振幅におけるずっと低い(またはずっと高い)周波数へジャンプするようスピーカ(単数または複数)が要求された際に、極めて不快な可聴ブンブン音の原因になり得る。すなわち、スピーカにおける機械的変化に起因してカチカチ音が発生し得、チャープの頻繁な反復により、ブンブン音(多数の近密に配置されたカチカチ音)がユーザに聞こえる。
任意選択的に、本技術のいくつかのバージョンにおいて、ランプ波形(例えば、アップスイープのみまたはダウンスイープのみからなるもの)を有する特殊なデュアル「トーン」と共に感知信号(例えば、音響)をFMCWとして具現することにより、1つのランプ(周波数のランプアップおよびダウンの終了からの周波数の急激な変化)から次のランプ(周波数ランプアップおよびダウン)を可聴アーチファクト無しに行う。このようなデュアル「トーン」周波数変調波形は、周波数特性を時間に相対して示し、少なくとも2つの変化する周波数ランプが1つの期間において重複し、これらの周波数ランプはそれぞれ、例えばランピング持続期間における当該期間における任意の瞬間において、相互に異なる周波数(単数または複数)を有し得る。このことを、1点鎖線対実線に関連して図4Bに図示する。これにより、システムにおけるデータ処理を究極に簡潔にすることができ、三角波形の各点における高い振幅転移の可能性も排除される。急激な転移が繰り返された場合、システムの低レベルDSP/CODEC/ファームウェア)の奇妙な挙動がトリガされる場合がある。
図4Aおよび図4Bは、FMCW単一トーン(図4A)具現と、デュアルトーン(図4B)実行との間の周波数領域の比較を示す。不可聴を保証するために、単一トーン(図4A)は、ダウンスイープ(生成周波数の経時的低下)を優先的に含み得る。ダウンスイープを省略してもよいが、その場合、可聴性が一定的に発生し得る。デュアルトーン(トーンペア)(図4B)を用いれば、時間領域の表現が非可聴となるような形状にされているため、このようなダウンスイープの必要性の回避を支援することができる。図4Bは、第1のトーン4001および任意選択の第2のトーン4002が重複している様子を示す。同図において、受信されたエコー(すなわち、リフレクション信号)は図示していない。よって、トーンにより、反復波形において第2の鋸周波数変化と重複された第1の鋸周波数変化が形成される。これらのトーンは、感知期間において反復されるように連続する。
よって、低周波超音波感知システムをFMCW型アプローチで具現する際、音響感知信号の生成が可能な異なる方法が存在する。その際、周波数領域の波形形状(例えば、三角(対称または非対称)、傾斜、正弦)、期間(「チャープ」の持続期間)、および帯域幅(「チャープ」により網羅される周波数(例えば、19〜21kHz))の差が用いられ得る。FMCW構成において、2つ以上の同時トーンを用いることも可能である。
サンプル数の選択により、可能な出力復調サンプリングレート(例えば、サンプリングレート48kHzにおいて512サンプルの場合、93.75Hz(48,000/512)に等しく、4096サンプル持続期間の掃引時間は、11.72Hz(48,000/4096)に等しい)。三角波形が1500サンプルアップタイムおよび1500サンプルダウンタイムと共に用いられる場合、出力サンプリングレートは16Hz(48,000/3000)になる。この種のシステムの場合、信号を例えば基準テンプレートで乗算することにより、同期を行うことができる。
出力サンプリングレートの選択について、実験的試験により、以下のことが判明している。すなわち、大まかに8〜16Hzの領域が好ましい。なぜならば、このような領域により、1/fノイズ(空気の動き、強いフェーディングの可能性および/または室内モードに起因する低周波効果)が広範に回避され、より高い復調サンプリングレートにおいてみられる残響領域が回避され(すなわち、次の「チャープ」中の次の類似成分前に、感知波形「チャープ」の任意の1つの周波数におけるエネルギー減衰のための時間を確保した)。換言すると、binを広げ過ぎた場合、気流および温度の変化(例えば、ドアの開きおよび室内における熱の出入り)が有る場合、今見ている任意のブロックが呼吸のようにみえる不要な基準線ドリフトを含み得ることを意味する。実際には、これは、空気の動きと共に(レンジビンにわたる)帯にわたって波がみられることを意味する。卓上型または台座型ファンあるいは空調または他のHVACシステムからのより局所的な効果と別個のものである。実際、ブロックが過度に幅広にされた場合、システムは、CWシステム「のようにみえる」ようになる。一方、システムが高すぎるリフレッシュレートにおいて作動した(すなわち、傾斜が短すぎる)場合、リバーブが発生し得る。
図4Aに示すように、三角FMCW波形が1つの「トーン」を有する(すなわち、周波数が上下する)場合、システムは、例えばアップスイープのみまたはダウンスイープのみを処理し得るか、または、実際は双方を距離検出のために処理してもよい。1つのトーンについて位相が連続する三角形状が大変望ましい理由として、位相不連続部に起因して発生する再生音声中の任意の可聴アーチファクトが最小化または除去される点がある。これの別形である傾斜が有る場合、ある周波数における特定の振幅音声の再生からサンプル空間中の類似の振幅におけるずっと低い(またはずっと高い)周波数へジャンプするようスピーカ(単数または複数)が要求された際に、極めて不快な可聴ブンブン音の原因になり得る。すなわち、スピーカにおける機械的変化に起因してカチカチ音が発生し得、チャープの頻繁な反復により、ブンブン音(多数の近密に配置されたカチカチ音)がユーザに聞こえる。
このようなデュアルトーン信号を具現する際の重要な考慮事項として、スピーカ/システムが急激な転移を作らずにすみかつゼロポイントを有するように、形状が作成(形成)される点がある。これにより、通常信号を非可聴にするために具現されるフィルタリングの必要性を低減させることができる。例えば、信号を非可聴感知信号として動作させつつ、ハイパスまたはバンドパスフィルタリングを回避することができる。波形中にゼロを存在させることにより、このような信号の(例えば復調のための)送信および受信の同期が単純化されるため、信号処理が容易になる。デュアルトーンの結果、1つよりも多くのトーンが用いられるため、フェーディングロバスト性の要素が得られる。また、フェーディングを用いられる周波数および位相または周波数と共に変化させることができる(例えば、デュアルトーンシステムにおけるFMCWトーン間に100Hzオフセットを用いることができる)。
図4AのFMCW単一トーンおよび図4BのFMCWデュアルトーンの性能は、図8および図9を参照して考察され得る。図8A、図8Bおよび図8Cは、図7AのFMCW単一トーンの例の信号特性を示す。図9A、図9Bおよび図9Cは、図7BのFMCWデュアルトーンの例の信号特性を示す。
図8Aは、送信された(Tx)信号8001および記受信された(Rx)リフレクション8001―R(エコー)が音響感知システムにおいて動作する三角単一トーンFMCWとして動作する様子を示す。図8Bは、時間領域波形を示す。図8Cは、信号のスペクトル内容を示す。明らかなように、より低周波数(FMCW信号の帯域幅に関連するピーク領域の外部)においても、内容が存在する。そのため、このようなより低周波数が可聴周波数範囲内に入り得るため、望ましくない性能特性に繋がる。
図9Aは、信号グラフ9002中のデュアルトーンランプFMCW信号を示す。信号グラフ9002は双方のトーンを示し、信号グラフ9002―Rは、これら2つのトーン/マルチトーンの受信されたエコーを示す。図9Bは、デュアルトーンの余弦様関数形状を(ゼロ交差に繋がる)ゼロ点と共に示す。図9Cは、より低周波数におけるずっと小さなピークおよびより出力振幅を示す。図9Cのスロープ領域SRを図8Cのスロープ領域SRと比較した場合、より低い周波数における/より低い周波数に対するデュアルトーンランプFMCWの出力の急激の低下(dB)を示す。高周波数(実質的に非可聴であり、感知のために用いられる)からより低い周波数(可聴であり、典型的には感知には用いられない)周波数へのより急激なロールオフは、ユーザにとってそれほど邪魔にならないため、望ましい音響感知特性である。(FMCW信号の帯域幅に関連するピーク領域外の)より低い周波数における出力は、図8Cに示す単一トーンFMCW三角形態の場合よりも40dB低くすることができる。図9Cに示すように、図9Cの上側の平滑ピーク領域PRを図8Cの多エッジピーク領域PRと比較すると、デュアルトーンランプFMCW信号は、より良好な音響感知特性を有し得、スピーカに対する要求が少ない。
このような複数のトーンFMCWまたはデュアルトーンFMCWシステム(例えば、リナックスベースの単一ボードコンピュータ上において実行するもの)により、4m以上の感知範囲内の複数の人を特定することが可能な感知を得ることができる。例えば処理デバイスから1.5メートルにおいて心拍数を検出することができ、呼吸数(単数または複数)を約4メートル以上まで検出することもできる。例示的なシステムは、2つのトーンを18,000Hzおよび18,011.72Hzにおいて用いることができ、これらのトーンは、例えば19,172Hzおよび19183.72Hzそれぞれまでランプし得る。
この1,172Hzのランプについて、例えばサイズ4096ポイントのFFTをビン幅48,000Hz/4096=11.72と共に用いることが考えられ得る。音声速度が340m/sである場合、以下に留意されたい。340ms/s / 11.72 / 2(発出および返来)=100個のビンについて14.5mまたは各ビンについて14.5cm。各「ビン」は、例えば人(ビン毎に)1人までの人を検出することができる(しかし、実際には、人はこれよりも多数により別個にされる人)。同期プロセスの一環として、例えば(信号を基準テンプレートによって乗算する)より計算コストの高い相関動作を回避するために、信号は二乗され得る。用いられるFFTサイズから独立して、最大サイズの分解能は、音声速度/(帯域幅*2)=340/(1172*2)=14.5cmである。しかし、感知された反射信号と、感知されたダイレクトパス信号との交差相関を含む同期プロセスを任意選択的に設けてもよい。同期プロセスは、基準テンプレートを感知された反射音信号の少なくとも一部で乗算することを任意選択的に含み得る。
図5は、信号を信号で乗算(2乗)することによるデュアルトーンFMCWランプ「自己混合」復調の一例を示す。任意選択的に、復調においては、受信されたエコー信号を生成された送信信号(例えば、オシレータからの信号を示す信号)で乗算して、スピーカまたは処理デバイス100の範囲内の距離または動きを反映する信号を生成することができる。この処理により、「中間」周波数(IF)信号とも呼ばれる「ビート周波数」信号が得られる。FMCWを用いれば、例えばローカルオシレータによってまたは本明細書中により詳細に記載のように信号自身によって受信器x信号が復調され、ローパスフィルタリングされると、そのままではベースバンドとみなされない異常な「中間」信号が生成され得る。IF信号を例えば高速フーリエ変換処理(FFT)の適用によって処理すると、この信号はベースバンド(BB)となり得る。
図5に示すように、復調は、受信(反射音信号)Rx信号のみと共に行われる。これが数学的に可能な理由として、Rx信号は、送信(Tx)信号を示す信号の大きなパーセンテージを内部に含む(例えば、生成された音声は、部分的にスピーカからマイクロフォンへのダイレクトパスを移動し得、反射音と共に感知され得る)点がある。デバイスは、受信信号Rxを(例えば2乗により(復調は乗算動作としてみなすことができるため))乗算することができる。その後、フィルタリングプロセス(例えば、ローパス)が行われ得る。
図5において自己混合を図示しているが、動き信号を反射信号および感知信号(すなわち、Txまたは音声信号)を用いて導出するために、いくつかの異なるアプローチを実行することが可能である。1つのこのようなバージョンにおいて、ローカルオシレータLO(これは、音声信号も生成し得る)により、Tx信号のコピーを復調のために有効に生成することができる。実際に生成されたTx信号は、遅延または歪みに起因して、オシレータからの内部信号と若干異なり得る。その後、ローカルオシレータLO(Tx)*Rxからの信号により復調を行うことができ、その後、フィルタリング(例えば、ローパス)も行われ得る。
別のバージョンにおいて、2つのローカルオシレータを実装して、2つのLO信号を発生させることができる。例えば、LO信号の正弦および余弦コピーを具現して、受信信号の直角位相復調を得ることができる。典型的には、オシレータから信号(正弦または余弦)が1つだけ送信される。正確なTx信号は、遅延または歪みに起因して、ローカルオシレータLOからの信号と若干異なる。このバージョンにおいて、(a)RX*LO(Sin)および(b)RX*LO(Cos)において復調を行うことができ、その後、各場合においてフィルタリング(例えば、ローパス)を行って、I復調成分およびQ復調成分双方を生成することができる。
感知−音響感知と、システムによって再生される他のオーディオ(音楽、発話、いびきなど)との混合(共存)
本技術のいくつかのバージョンは、処理デバイス100のスピーカおよび/またはマイクロフォンを(本明細書中に記載の超音波感知に加えて)他の目的のために用いてイルときに、具現され得る。さらなるプロセスは、このような同時的機能提供が可能なように具現され得る。例えば、同時的なオーディオコンテンツ生成および超音波感知のために、送信ビットストリーム(音響感知信号)と、上記したようにスピーカによって再生されている他の任意のオーディオコンテンツ(可聴)とをデジタル的に混合することができる。このような可聴オーディオコンテンツおよび超音波処理の実行のために、いくつかのアプローチを用いることができる。1つのアプローチの場合、その他のオーディオコンテンツ(これは、例えば多数のチャンネルサラウンド音声システムにおけるようなモノチャンネル、ステレオチャンネルまたはより多数のチャンネルであり得る)に前処理を行って、感知波形と重複するスペクトル内容全てを除去することが必要になる。例えば、1つの音楽シークエンスにおいて、例えば18〜20kHzの感知信号と重複する18kHzを超える成分が含まれ得る。この場合、18kHzの近隣の音楽成分に対してローパスフィルタリング除去を行えばよい。第2の選択肢として、重複感知(ダイレクトパスおよびエコー)時に当該音楽に対して適応的フィルタリングを行って、短期間における周波数成分を除去し、フィルタリングされていない音楽をそのままにしておく選択肢がある。このアプローチは、当該音楽の忠実度を保持するように設計される。第3の選択肢として、音源に対して何の変更も行わないという選択肢もある。
特定のチャンネル上の音源(例えば、Dolby Pro Logic、デジタル、Atmos、DTSなどまたは実際には仮想化スペシャライザー機能)に対して意図的に遅延が付加されている場合、このような任意の帯域内信号も相応に処理し、感知波形を遅延させないかまたはエコー処理時に遅延を可能にする)点に留意されたい。
感知−音声アシスタントとの共存
超音波感知波形(例えば、三角FMCW)の特定の実現は、可聴帯域内にスペクトル内容を有するため、音声認識サービス(例えば、Google Home)を行っている特定の音声アシスタントに対して意図しないまたは不要な影響を餅得る点に留意されたい。デュアルランプトーン対を使用することまたは感知波形にプレフィルタリング(三角チャープ中のハイパスまたはバンドパスフィルタリング)を行うことまたは音声認識信号処理を超音波感知信号成分に対するロバスト性を持つよう適合させることにより、このようなクロストークの可能性を回避することができる。
FMCWランプ信号yを以下のように考える。
期間Tにおける周波数f_1から周波数f_2へのこのランプ。これは、期間Tにおいて切り換えられるため、分数調波を有する。
これについての分析によれば、より低い周波数において出現するため可聴である帯域外高調波があることが分かる。
特定のデュアルランプ対yについて、以下のように考える。
よって、分数調波がキャンセル(上記において減算)され、信号が保持される。1/Tは、極めて特異的である。(1/T)または実際には(1/T)を用いることにより、期間Tにおける切り換え効果がキャンセルアウトされる。よって、得られる信号が非可聴となる。これは数学的に単純に行われるため、デバイス(例えば、スマート携帯電話デバイス)に対する計算負荷が無いため、有利である。
デュアルトーンはDCレベル(「0」)において切り替わるため、例えばカチカチ音(すなわち、ラウドスピーカが大きく動く事態を回避するようなオンおよびオフ)を回避するために、波形チャープ中において自然にオフになるポイント(信号の開始および終了時)がある。「0」により、残響軽減および/または特定の送信器の同定(すなわち、チャープのオン/オフ時間のオーバーレイ)のために、各チャープ間または実際にはチャープグループ間に静寂期間を設けることも可能になる。
分数調波が無いことも、室内において2つのデバイスが同時に作動する場合の干渉源の可能性が無くなるため、有利である。よって、2つの異なるデバイスは、(周波数が)重複していないトーン対または実際に周波数が重複しているトーン対(かつ重複していない静寂期間の付加に起因する時間は重複していないトーン対)を用いることができる。後者の場合、ラウドスピーカ/マイクロフォンの組み合わせにおいては利用可能な非可聴帯域幅が限られている(すなわち、感度が19または20kHzへ大きくロールオフする)点において、有利であり得る。
相対的に非可聴の三角FMCW信号をデュアルトーンランプと比較した場合も、後者は分数調波レベルがずっと低い(実世界のスマートデバイス上のノイズフロアに近い(例えば、量子化レベルに近い))。
デュアルトーンランプを(三角形ではなく)上または下に傾斜させかつ帯域外成分は無いため、三角傾斜の場合に発生し得る傾斜間にじみの問題が無くなる。
標準的なランプオーディオ信号を非可聴にするには、得られる波形の位相および振幅の歪みの可能性がある広範なフィルタリングが不可欠である。
感知−性能最適化のための較正/車両マッピング
処理デバイスは、セットアッププロセスと共に構成され得る。デバイスの最初のセットアップ(または動作時の周期的なセットアップ)時において、デバイスは、車両環境、車両の人の存在および/または数などのマッピングを行うために、音響プロービングシークエンスを送り出し得る。後でデバイスを動かす場合または感知された信号の質低下が検出された場合、このプロセスを繰り返すことができる。本システムは、スピーカ(単数または複数)およびマイク(単数または複数)の能力の確認と、イコライゼーションパラメータの推定とのための音響トレーニングシークエンスも放出し得る。すなわち、実世界の変換器の場合、システムによって用いられる超音波周波数ならびに温度およびオン特性において一定の非線形性があり得る(例えば、ラウドスピーカが安定するには、数分かかる場合がある)。
感知−局所化のためのビーム形成
専用のビーム形成を具現するか、既存のビーム形成機能を利用することができる。すなわち、センサアレイに対して送受信される信号の方向選択性または空間選択性が可能になるように信号処理が用いられる。これは典型的には「ファーフィールド」問題であり、(「ニアフィールド」である医療用画像化と対照的に)波面が低周波数超音波に対して比較的平坦になる。純然たるCWシステムの場合、音波はスピーカから移動して、最大領域および最小領域に到達する。しかし、複数のトランスデューサが利用可能である場合、この放射パターンを有利に制御すること(ビーム形成として知られるアプローチ)が可能である。受信側においては、複数のマイクロフォンも用いられ得る。これにより、音響感知を任意の方向において優先的に操作し(例えば、多数のスピーカがある場合に出射された音声および/または受信された音波の操作すること)、領域を掃引することが可能である。ユーザがリクライニングシートまたは(旅行用ベッド)にいる場合、対象に向けられるか、または、(例えば、隣接したクライニングシート(旅行用ベッド)に2人の人がいる場合に)複数の対象へ方向付けられる)ように感知を操作することができる。ビーム操作は、送信側または受信側において具現され得る。低コストの超音波変換器(マイクロフォンまたはスピーカ)は指向性が極めて高い(例えば、小型の変換器の場合、波長は変換器のサイズに類似する)ため、そのような変換器の操作が可能な領域が制限され得る。
感知−復調およびダウンコンバージョン
図5に戻ると、感知された信号の復調は、例えば、図7に示す乗算器(ミキサー)モジュール7440で、あるいは、図5の復調器により行われて、ベースバンド信号が生成される。このベースバンド信号をさらに処理して、感知フィールド中の「存在」(すなわち、受信されるエコーの(人の特性動きに関連する)変化に関連する復調信号の外乱)が有るかを検出する。受信された「ダイレクトパス」(スピーカからマイクロフォンへの高クロストークが有る場合(例えば、固体介在対空中介在の伝送および/またはスピーカからマイクへの短距離)信号)、受信されたエコー信号に加えて、得られた合計の乗算を復調のために行うことができる。そうではない場合、受信されたエコーを、(音響的ではなく)電子的な形態で抽出された元の送信信号の一部と乗算(混合)することができる。この特定の例において、本システムにおいて、復調の際に受信信号と送信信号との乗算を行わない(他の実施形態においては行われ得る)。その代わりに、本システムは、(減衰された送信信号および受信エコー(単数または複数)を含む)受信信号同士を以下のように乗算し得る。
送信 = ATX (Cos(P)― Cos(Q))
受信 = A (Cos(P)― Cos(Q))+ B(Cos(R)― Cos(S))
セルフミキサー=[A (Cos(P)― Cos(Q))+ B(Cos(R)― Cos(S))]x[A(Cos(P)― Cos(Q))+ B(Cos(R)― Cos(S))] すなわち、受信x受信
ローパスフィルタリング後の(復調された)セルフミキサー成分。
式単純化後のセルフミキサー出力(復調されたもの)。
ここで、AAおよびBBは、DC成分である。
反射信号情報を含む復調された成分は、(静的であり得、動態に関連し得る)。
このことによる利点を以下に述べる。全タイミング情報が受信側に含まれているため、送信と受信との間の同期が不要であり、計算が高速かつ単純である(アレイの二乗)。
IおよびQ(同相および直角位相)の復調後、空気擾乱に関連する低周波成分、多経路リフレクション(多経路関連のフェーディングを含む)および他の低速で動く(一般的には非生理学的)情報を分離する方法を選択する。いくつかの場合において、この処理は、クラッタ除去と呼ばれ得る。DCレベル(平均)を減算するかまたは他の何らかのトレンド除去(例えば、線形トレンド除去)を重複または非重複のブロックに基づいて行う。DC成分および極低周波成分(VLF)の除去のために、ハイパスフィルタを適用してもよい。「除去された」情報を処理して、このようなDCおよびVLFデータ(例えば、強い気流または多経路による有意な影響が有るか)の強度を推定する。次に、フィルタリングされた復調信号は、スペクトル分析ステージへ送られ得る。他方の選択肢として、ハイパスフィルタを用いずにフィルタリングされていない信号を直接スペクトル分析処理ブロックへ送り、DCおよびVLFの推定をこのステージにおいて行う選択肢がある。
異なる感知デバイス/アプリケーションの共存
符号化されたまたは符号化されていない超音波信号は、デバイスおよびシステムが同定および他のデータ交換目的を具現することを可能にするよう、異なるデバイスによって発生され得ることが分かる。例えば、携帯電話アプリケーションは、近隣にある他の感知によりイネーブルされるデバイス/システム(例えば、車両のスマートインフォテイメントシステム)に対して自身を同定する(またはその逆)ために、このような信号を通信目的のために発生させるように構成され得る。これらの種類の信号は、同定のために短距離無線周波通信の代わりに用いられ得る(例えば、が利用できないかまたはディセーブルされる場合)。本システムのデバイスは、感知近隣における他の処理デバイスの存在を(例えば、別の処理デバイスからの非可聴音響的に発生された通信信号を介して)を自動的に決定することができ、発生された感知信号のパラメータが非干渉感知モードにおいて(例えば、異なる周波数帯および/または時間的に非重複の周波数帯の利用により)動作することができるように、これらのパラメータを調節することができる。
例示的なシステムアーキテクチャ
低周波超音波生体動き感知を用いた音声によりイネーブルされる睡眠改善システムの例示的なシステムアーキテクチャを図6に車両111に示す。本システムは、本明細書中に記載の感知技術(例えば、マルチトーンFMCW音響感知)を用いて具現され得る。ユーザは、ユーザの睡眠を監視するために事前に起動された車両用処理デバイス100のような音声起動型システムに話しかけることができる。例えば、口頭命令によりシステムへクエリを出すことにより、車両をモニタリングし、決定された眠気、睡眠スコア、呼吸(SDB)イベント、健康状態または他の睡眠関連統計の可聴レポートを生成することができる。レポートに基づいて、システムの処理により、可聴型警告、アドバイスまたは他のデバイスのための他の制御信号も生成することができる。
本技術の低周波超音波感知によってイネーブルされる、スピーカによりイネーブルされた処理デバイス100の近隣における動き検出のためのシステム処理は、図7に示す例示的なモジュールに関連して考察することができる。処理デバイス7102は、スピーカ(単数または複数)7310と、任意選択的にマイクロフォン(単数または複数)7302と、1つ以上のプログラマブルプロセッサを備えたマイクロコントローラ7401とを含む。これらのモジュールは、車両内オーディオ装着システムなどのマイクロコントローラのメモリ中にプログラムすることができる。この点について、オーディオサンプルまたはオーディオコンテンツは、7410における任意選択のアップサンプリング処理モジュールによりアップサンプリングされ得、あたかも任意選択のオーディオコンテンツが(感知信号と同時に)1つ以上のスピーカ(単数または複数)によって生成されるかのように、加算器モジュール7420へ提供され得る。この点について、加算器モジュール7420は、オーディオコンテンツと、FMCW信号(例えば、所望の低超音波周波数範囲内のデュアルトーンFMCW信号)を生成するFMCWプロセスモジュール74430からの所望の周波数範囲内のFMCW信号とを任意選択的に組み合わせる。次に、加算されたFMCW信号は、例えばスピーカ7310からの出力のためのコンバータモジュールによって処理され得る。このFMCW信号は、乗算器モジュール7440などの復調器へも付加される。乗算器モジュール7440などの復調器において、FMCW信号は、マイクロフォン7302において観察された受信エコー信号と処理(例えば、混合/乗算)される。このような混合の前に、受信されたエコー信号に対して本明細書中に既述のような適応的フィルタリングを行うことにより、対象周波数スペクトル外の不要な周波数(例えば、モータ車両の作動に随伴する周波数(例えば、モータ振動または風の音))を除去することができる。オーディオ出力処理モジュール(単数または複数)7444は、フィルタリングされた出力をダウンサンプリングすることおよび/または信号を変換してオーディオ信号を生成することを任意選択的に行い得る。次に、乗算器モジュール7440からの復調信号出力を、例えば後処理モジュール7450によりさらに処理することができる。例えば、この出力を周波数処理(例えば、FFT)およびデジタル信号処理により処理することにより、(a)呼吸動きまたは動態、(b)心臓動きまたは動態および(c)全身動きまたは動態(例えば、全身動きまたは全身動態)を分離させるように、検出された原動き信号検出されたまたは他の場合の個々の動きを周波数範囲により向上させることができる。次に、上記したような多様な情報出力(例えば、睡眠、眠気、疲労、睡眠ステージ、動き、呼吸イベント)を検出するように信号の多様な動きを特性付けするための7460における特性処理により、生理学的動態信号(単数または複数)を記録するかまたは他の様態で例えばデジタル処理することができる。
全身動態または全身動きの検出に関連して、このような動態は、腕動態、頭部動態、胴動態、手足動態、および/または全身動態などのうちいずれかを含み得る。動き検出のための送信信号および反射信号からのこのような検出の方法は、ソナー音声型動き検出に適用することができ、例えば国際特許出願PCT/EP2016/058806および/またはPCT/EP2016/080267に記載のように考察および適用することができる。本明細書中に同文献全体を引用することにより本明細書の一部となすものとする。その特性上、このようなRFまたはソナー技術は、全ての身体動態(または少なくともその大部分)を一度に確認することができ、「ビーム」が方向付けられる場所に依存し得る。例えば、この技術は、頭部および胸部または全身などを主に照射する。脚動態が例えば周期的である場合、脚動態は動態頻度に基づいて動きとして主に区別され得、別の自動利得制御(AGC)動作を行うことにより任意選択的に区別され得る。呼吸検出は、全身動態が少ないときに最も有効であり、特性周波数および呼吸波形の信号形状を分離させる(経時的に評価される通常のCOPDまたはCHF変化率および吸気/呼気比、SDBイベント、より長期のSDB変調など)。
動きがベッド内の人と関連付けられた場合、最大の振幅信号が全身動態(例えば、寝返り)と関連付けられ得る。手または脚の動態は、より高速であり得る(例えば、I/Q信号からの速度)が、相対的振幅はより低い。よって、動き信号分析によるこのような動態の異なるコンポーネントおよび/またはコンポーネント配列は、例えば全身動態および加速、腕動態速度と共に開始した後に停止したかについての特定において考慮され得る。この特定は、異なる動きジェスチャーをより標的とし得る。
低周波超音波(ソナー)感知−車両内用途
多くの車両において、ヒトの聴力閾値のちょうど上の低周波超音波範囲の音声を放出および記録することが可能なオーディオデバイスが含まれる(例えば、車両インフォテインメントシステム)。このようなデバイスおよびシステムは、低周波超音波技術を用いて車両の乗員の生理学的感知を行うように適合され得る。このような感知は、標準的オーディオシステムの元々の意図される機能へ影響を与えること無く行うことが可能である。一例において、このような感知機能は、ソフトウェア更新を介して具現することができる(すなわち、物品コストの増加を招くこと無くさらなる有用な機能を提供することができる)。いくつかの場合において、新規のデバイスまたはシステム内の変換器のうち1つ以上を、低周波超音波感知のためのオーディオ周波数範囲を支援するように指定することができ、さらなる試験を製造時に行って、この仕様を満たしているかを確認する。
このような(可聴または非可聴の)音響感知技術は、広範な多様な目的のために利用することができる(例えば、プロアクティブ健康管理、医療デバイスおよびセキュリティ機能)。
約25kHzまで動作する低周波超音波システムは、モバイルスマートデバイスまたはスマートスピーカデバイス上において実現することができる。その結果、音声エネルギーが電子デバイス上の1つ以上の変換器により1つ以上の対象者へ送られ、変換器は、25kHz未満の周波数を含む一定範囲の周波数を介して音声エネルギーを発生させるように構成される。スピーカは、スマートフォン、スマートスピーカ、サウンドバー、ポータブルTV画面または低周波超音波感知および処理の支援が可能な変換器を含む他の多数のデバイスおよび構成内に収容され得る。多数の現代の車両には、車載プロセッサ/コンピュータが搭載されており、車両用計器および機能の多くを制御することができる。そのようなコンピュータが自動車のスピーカシステムまたは自動車内の他のスピーカを制御するように具現された場合、スマートスピーカシステムが有効に生成される。本明細書の態様のいくつかの場合において、車両を車として特定しているが、車における感知(例えば、ソナー)原理および考慮事項を、他の種類の車両(例えば、トラック、バス、列車、飛行機、ボート)におけるバイオメトリック感知に適用することが可能であることが理解される。
可聴音声(例えば、呼吸、咳、睡眠時のいびき、息切れ、喘鳴、発話、鼻すすり、くしゃみの音声)を、(動き感知のために検出される反射された感知信号からこれらの音声を分離するために)車両内の感知されたオーディオ信号から抽出および分類することができる。これらの音声のうちいくつか(例えば、咳)に起因して、感知信号(特に極めて低い音声圧力レベルにおける動作時において)がマスクされる場合があるが、これは望ましくない。しかし、このような音声も検出可能であり得るため、このような音を他の環境音声(例えば、クラクションを鳴らす音、モータノイズ、街路の音、風、ドアをバタンと閉める音)から分離することができる。呼吸音は典型的には、静寂な環境においては信号の質が良くなり、アクティブ感知アプローチ(例えば、ソナーまたはレーダー(RF oneを含む)(主に胴体動態および手足動態を検出する)またはカメラ/赤外線システム)を用いて実行された場合、吸気/呼気時間(およびよって呼吸速度)の良好な第2の推定が可能になる。換言すると、本システムは、この場合も音声の特性についての情報を抽出することができ、極めて音が大きい場合、関連信号の質が受容可能な閾値を下回った際、感知された信号の小部分をスキップする必要があることを意味する。
ソナーシステムにおいて、吸気または呼気に起因する空気動態は、(感知信号が残響を経験できるくらいに充分に長く継続した場合に感知環境内の音響モードセットアップの外乱に起因して)得られる移動波面を追跡する方法によって検出することも可能である。可聴シグネチャから直接いびきを検出することは、比較的に大きな音のプロセスであるため、この検出はより容易である。この検出は、例えば、平均最大デシベルレベルを用いていびきを軽度(40〜50db)、中程度(50〜60db)または重度(>60db)に分類することにより、行われる。(参照:NimrodMaimon, Patrick J. Hanly, “Does Snoring IntensityCorrelate withthe Severityof ObstructiveSleep Apnea?”J ClinSleep Med. 2010 Oct 15;6(5): 475―478.)
よって、いくつかの場合において、処理デバイス100は、呼吸検出のための動き検出(例えば、ソナー)技術を用い得る。しかし、いくつかの場合において、マイクロフォンにおける可聴呼吸信号の音響分析を呼吸検出のために処理デバイス100によって具現することができる。
RF(レーダー)感知
いくつかの既存の自動車警報システムは、特にソフトトップの車両(コンバーチブル)および/またはスポーツカーにおいては、簡単な内部動態検出のための単一のパルスドップラーレーダーモジュールを含み得る。これらは、(アップデートされたソフトウェアにより)向上させることもできるし、あるいは、動き検出を車両の特定の領域に局所化することが可能な(特に各シート/座席上の人を検出および区別することが可能な)モジュールと交換してもよい。センサの向上が、技術(例えば、超広帯域(UWB)感知信号または周波数変調連続波(FMCW)感知信号または他の符号化スキーム(例えば、OFDM、PSK、FSK)を含む)をその発生された感知信号内において用いることにより、行われ得る。これらは、高精度のレンジング能力(1cm以下)を有するセンサにより具現され得る。このようなセンサは、規定領域内において感知を行い得る(例えば、特定のシートに方向付けられた感知方向を有するように車両において構成され得るアンテナ設計を介して設定される)。いくつかの場合において、複数のアンテナが、特定の感知領域に対して実装され得、異なるアンテナと関連付けられた距離感知差を設定するためのビーム形成技術と共に用いられ得る。複数のセンサが、人(またはペット)が内部に存在し得る複数の領域(例えば、各シートに対するセンサ)を網羅する車両内において用いられ得る。
マルチモードデータ処理
ソナー、RFまたは赤外線検出器を用いた場合、処理デバイス100は、車両の機器により(例えば占有度推定のために)生成されたさらなるデータまたは信号を受信することができ、これにより、生体動き感知をこのような機器からのデータに基づいて行うことが可能になる。例えば、人が所与のシート上に座っているかを検出するシート荷重センサにより、特定のシートと関連付けられ得る感知について生体動き感知を開始するタイミングを決定するための情報を生体動き処理デバイス100へ提供することができる。同様に、シートベルトセンサ(単数または複数)は、人がシートベルトをクリップ留めしたかまたは子供用シートが取り付けられているかを検出することができ、ユーザに関連する生体動き感知のためにユーザの存在の表示を提供することができる。赤外線システムは、例えばヒトの眼の動態を追跡することが可能なカメラシステムを例えば眠気検出のために任意選択的に備え得る。感知または出力生成のアシストのために車両特性についてのデータを処理デバイスへ提供するように、他の自動車用センサまたは車両センサを実装してもよい。例えば、速度計からの車の速度および/またはタコメータからのエンジン回転数(RPM)により、(例えば、車関連ノイズ(例えば、エンジンノイズまたは風音)を除去するために))感知された信号のフィルタリングするための情報を処理デバイス100へ提供することができる。
処理デバイスは、生体動き特性の検出のための関連レンジ/距離の評価のための距離情報を備えて構成され得る。例えば、処理デバイス100は、車両内部(例えば、車のもの)の距離マッピング(マップ)を有し得る。このようなマップは、設計ステージにおいて初期感知構成を指定するために初期に設けられ得る。任意選択的に、処理デバイスの制御下にある感知システムは、1つ以上の人によって用いられている場合に車両(例えば、車室)のマップを動的に更新(または検出)し得る。初期構成は、例えばシートの位置および最も可能性の高いシート構成(例えば、スタンダード5席自動車、ミニバン、レクリエーション用車両など)をキャプチャ/検出し得る。すなわち、シートが可動型である場合、センサは、システムに現在の設定を報告して、感知パラメータを更新することができる(例えば、座っている人の位置は、(シートが後方または前方にスライドした場合あるいは折り畳まれた場合に)自動車の感知ラウドスピーカに対して移動し得る)。
輸送用トラックの内部の監視(例えば、機器またはパッケージのパレットの位置、棚載置)のため、処理デバイスは、自動再構成プロセスをセンサと共に含み得る。この自動再構成プロセスにおいて、静止している対象を分析から拒絶し、人が隠れている可能性のある任意の自由空間における感知を提供する。救急車または他の患者搬送車両の内部の監視のため、処理デバイスは、可動性およびストレッチャーの位置を備えた自動再構成を含み得る。キャラバンまたはトレーラーの内部の監視も可能である。
バイオメトリックフィーチャ検出−呼吸、心臓、動態および距離
センサ信号の処理
システムは、特定の処理デバイス100を含み、例えば任意選択的に復調が処理デバイスによって行われない場合において、復調信号をセンサから(例えば、ソナー、RF/レーダーまたは赤外線から)受信し得る。次に、処理デバイス100は、対象コンポーネント(例えば、直流信号DCおよび超低周波数VLF(例えば、気流)、呼吸、心拍数および全身生理学的動態信号)の分離により、この信号を処理し得る。これらの推定/検出は、高速フーリエ変換(FFT)ウィンドウにおけるbin検索と、ウィンドウを介したおよび/または指定距離における時間領域信号の直接ピーク/トラフまたはゼロ交差分析を介した追跡(例えば、復調信号の複雑なFFT分析を用いて抽出された指定距離レンジに対する「時間領域」信号)とにより、行うことができる。これは、例えば国際特許出願PCT/EP2017/073613に記載のようなFFTのFFTが行われるため、「2D」(二次元)処理とも呼ばれる。
ソナー感知の場合、有意な他の情報をオーディオ帯域中に発見することができ、マイクロフォンによってピックアップすることができる。このような情報は、インフォテインメント音声(音楽、ラジオ、TV、映画)、電話呼び出し音またはテレビ電話呼び出し音(ヒトの発話を含む)、車両の移動中または停止中のノイズ、周囲ノイズ、ならびに他の内部音声および外部音声であり得る。これらのオーディオ成分の大部分は、干渉物とみなされ得、バイオメトリックパラメータ推定から抑制され得る(例えば、フィルタリングされ得る)。
RADAR感知のため、(例えば、人の内部バイオメトリック検出または例えば適応走行制御、衝突回避、自律型走行のためのレンジング機能のための)他のRF源(例えば、他の車両)からの信号成分が抑制され得る。
赤外線感知の場合(例えば、視標追跡に加えて生理学的感知を行う場合)、温度変化および太陽位置に起因して干渉が発生し得、これを考慮に入れることができる。よって、温度センサ(例えば、車両温度センサからのもの)および時間の評価を感知信号の処理において行うことができる。
使用される感知技術の詳細(RF、IR、ソナー)に関係無く、受信された時間領域復調された反射信号に対してさらなる処理を行うことができる(例えば、バンドパスフィルタによるバンドパスフィルタリングによる処理、エンベロープ検出器による評価、およびその後のピーク/トラフ検出器による処理)。エンベロープ検出は、ヒルバート変換または呼吸データの二乗と、ローパスフィルタを介した二乗データの送信と、得られた信号の平方根の計算とにより、行うことができる。いくつかの例において、呼吸データは、ピークおよびトラフ検出(またはあるいはゼロ交差)プロセスを通じて正規化および送信することができる。検出プロセスにより、吸気部位および呼気部位を分離することができ、いくつかの場合において、ユーザの吸気部位および呼気部位を検出するように検出プロセスを較正することができる。
呼吸活動は典型的には、(例えば規則正しい深い呼吸からの)0.1〜0.7Hz(6呼吸/分〜(典型的には成人の場合の速い呼吸速度である)42呼吸/分)の範囲内である。心臓活動は、より高周波数において信号に反映され、通過帯域範囲が0.7〜4Hz(毎分48回鼓動〜毎分240回鼓動)であるバンドパスフィルタによるフィルタリングにより、この活動へのアクセスが可能になる。全身の動きに起因する活動は典型的には、4Hz〜10Hzの範囲である。これらのレンジには重複があり得る点に留意されたい。強い(明確な)呼吸トレースは、強い高調波に繋がり得、呼吸倍音を心臓信号と混同することを防ぐために追跡が必要である。変換器からの距離が長くなるほど(例えば、数メートル)、比較的小さい心臓の機械的信号の検出が極めて困難になり得、このような心拍数推定は、スマートスピーカから1メートル以内において(例えば椅子/カウチ上においてまたはベッド内において)静かに横臥している設定により適している。
不在/存在が「存在」として決定された後、呼吸、心臓および動き/活動信号(ならびに、その相対的位置および速度(移動している場合、例えば、車両に乗り降りすること))の推定が、センサのフィールド内の1人以上の人について行われる。レンジング情報を提供するシステムは、複数の人が類似の安静時呼吸速度を有する場合(これは、若いカップルにおいては頻繁にあり得る)も、複数の人のバイオメトリックデータを分離することができることが分かる。
これらのパラメータに基づいて、多様な統計測定(例えば、平均、中央値、第3モーメントおよび第4モーメント、ログ、平方根)、波形状(形態学的処理)を準備した後、特性解析システムへ供給することができる(例えば、簡単な分類またはロジスティック回帰機能、または神経ネットワークまたは人工知能システムを用いたより複雑な機械学習システム)ことが可能である。この処理の目的は、収集されたバイオメトリックデータからさらなる識見を得ることである。
これらの知見の例は、セキュリティ関連、顧客健康関連、および医療関連のものとして大きく特徴付けら得る。
睡眠段階分析
不在/存在/覚醒/(NREM)睡眠ステージ1/睡眠ステージ2/睡眠ステージ3(徐波睡眠SWS/深い)/REMは、睡眠サイクルを示す根幹をなす睡眠アーキテクチャに関連するシークエンスを有するため、これを非シークエンス問題としてではなくシークエンス問題としてみなすと有用であり得る(すなわち、人が一定期間において1つの状態に留まる典型的な睡眠サイクルを反映すること)。睡眠シークエンスは、例えば夜間を通じた観察(「睡眠」)についての明確な順序を示す。
いくつかのシステムにおいて、夜の始まりになるにつれてより深い(より突出した)熟睡(SWS)になりかつ夜の終わりになるにつれてより深いREM睡眠になるという「正常な」睡眠パターンについての知識も利用することができる。この事前知識は、正常な睡眠者のための分類システムを重み付けすること(例えば、これらの状態の事前確率を経時的に調節すること)のために利用可能であるが、母集団の規範値からのこれらの仮定は、正常ではない睡眠者または日中に昼寝をとる習慣になっている睡眠者または睡眠衛生が悪い(悪い睡眠習慣(例えば、「就寝」および「起床」時間が大きく変化すること))者には当てはまらない場合がある点に留意されたい。
従来から、睡眠段階は、文献[Rechtschaffen&Kalesガイドライン(Rechtschaffenand Kales, 1968)(a manual ofstandardized terminology, techniques andscoring systemfor sleepstages ofhuman subjects. 米国公衆衛生局、合衆国政府印刷局、ワシントンD.C.1968)]に遡り30秒の「エポック」において検討されてきた。脳波図EEGを見た際、紙速度が10mm/sになるから(1ページは30秒に等しい)アルファおよびスピンドルを視認する際に理想的な30秒インタバルであることを該文献において記載している。もちろん、睡眠および覚醒(ならびに不在/存在)の実際の生理学的プロセスは、30秒のブロックに均等に分割されないため、より長い時間またはより短い時間を選択することができる。ここで概要を述べたシステムは、1秒(1ヘルツ)の睡眠ステージ出力を優先的に用いるが、より長いデータブロックを重複した様態で用いて、(根幹をなす処理ブロックのサイズに関連する関連遅延と共に)1秒(1ヘルツ)毎に最新情報を送達させる。この1秒の出力は、睡眠サイクルにおける微細な変化/転移をより明確に示すために用いられる。
睡眠フィーチャ−手動発生対自動発生
感知された信号(距離対時間(動き)の情報を示す信号)は、多様なフィーチャ(例えば、睡眠フィーチャ)の計算のために用いられる。その後、これらのフィーチャを用いて、ユーザの生理学的状態についての情報を導出することができる。
フィーチャ発生のために、複数のアプローチが実行され得る。例えば、人間の専門家は、自身の経験に基づいて呼吸データおよび他の生理学的データならびにその分布を確認することにより、処理された信号または未処理の信号からフィーチャを手動により生成することができ、特定の変化の生理学的根拠およびトライアンドエラーを理解する。あるいは、機械は、間による一定の監督(「機械学習」分野における核となるコンセプト)により「学習」することができ、ラベル付けされたデータが期待される結果と共に供給され、これは一定の人間による支援が提供されるかまたは完全自動の様態で行われ、自動の場合、ラベル付けされたデータが一部提供される場合もあれば、全く提供されない場合もある。
ディープラーニングは、以下の広範なカテゴリにおいて広範に検討することができる。ディープニューラルネット(DNN)、畳み込みニューラルネット(CNN)、リカレントニューラルネット(RNN)および他の種類。DNNにおいて、ディープビリーフネットワーク(DBN)、多層パーセプトロン(MLP)および積層オートエンコーダ(SAE)を考えることができる。
ディープビリーフネットワーク(DBN)は、(例えば入力データからフィーチャを自動発生させるために)発生能力を所有する。この目的のための別のアプローチとして、ファジーC平均クラスタリング(FCM)がある。ファジーC平均クラスタリング(FCM)は、教師なし学習の一形態であり、事前処理されたデータの固有の構造の発見を支援する。
感知された動態データへのデジタル信号処理技術の適用により、手作りフィーチャを形成することができる。理想的な場合の呼吸信号は、吸気および呼気が行われると共に記述されるように、(深いかまたは浅い)2つの振幅および一定の周波数(一定の呼吸速度)と完全に正弦形状になる。実世界においては、呼吸信号は正弦形状からほど遠い場合がある(特に、音響または無線周波を用いた感知アプローチを介して胴体領域から検出された場合)。例えば、吸気が呼気よりも急激かつ高速になる場合があり、呼吸が一瞬止まった場合、波形上にノッチが発生し得る。吸気振幅および呼気振幅と、呼吸周波数とは、変動し得る。いくつかの抽出方法の場合、ピークおよびトラフの検出の後に、これら2つのうちより高品質のものを検出すること(例えば、ローカルピークの検出およびトラフの捨象)に焦点を当てている。この方法は、吸気時間および呼気時間ならびに体積(例えば、時間領域信号と計算された基準基準線との積分により計算されたもの)双方を推定するためにはピーク時間およびトラフ時間双方が必要であるが、呼吸数推定には充分であり得る。
これらのフィーチャのうちいずれか(例えば、呼吸および/または心拍数または振幅)の推定の支援のために、多様な方法を用いることが可能である。
例えば、ピークおよびトラフ候補信号の抽出には、呼吸波形をノイズから回復させることが必要であり(多様な帯域外および帯域内ノイズがあり得、通常はより低い周波数ノイズが優勢になり、その結果より低い呼吸速度の高精度検出が複雑になり得る(例えば、4〜8呼吸/分(これは、自発呼吸においては稀であるが、ユーザが自身の呼吸をよりゆっくりとするよう要求された場合に発生し得る))。時間領域検出方法は、ローパスフィルタリング後に最大および最小検出を行うことと、(複数の呼吸のブロックにわたって調節されることにより、深い呼吸および浅い呼吸の検出を可能にする)適応的閾値を用いることとを含む。任意選択的に、信号に対して、ローパスフィルタリングおよび微分(例えば、導関数)が行われ得る。次に、最大変化率に関連する微分された信号のピークを検出して、呼吸イベントの指示を得ることができる。このような方法において、一定のノイズを含む正弦波状としてモデル化される呼吸波形の基準点が抽出される。LPFにより、より高い周波数ノイズが除去される。次に、微分が行われ、ピークが検出される。実際、これにより、(元々の信号のピークおよびトラフではなく)元々の信号の最大の変化率のポイントが発見される。なぜならば、呼吸波形が最も明確になるのは(例えば幅広ピークにおいてではなく)最大の変化率においてであるからである(例えば、呼吸停止が短時間行われた場合)。よりロバストな方法の可能性として、(固定基準線または適応的基準線の周囲において)ゼロ交差を検出する方法がある。ならならば、この境界の交差は、信号振幅の局所的変化に直接影響を受けないからである。
呼吸信号は、(センサ(単数または複数)からの胸部の距離および角度に応じて)時間領域信号中において容易に視認することが可能である一方、心臓の動きは、呼吸と比較したときに極めて小さな信号であることが多い。より高次の呼吸高調波が(例えば波形に関連して)有る場合、心臓信号抽出が複雑になり得、この呼吸高調波を拒否するかまたは検出および排除する必要がある。
周波数領域方法を、例えば呼吸データへ適用してもよい。これらの方法は、重複可能なデータのブロック(例えば、例えば1秒だけ繰り返しシフトされるデータストリームのデータの30sのブロック)または重複していないもの(例えば、データストリームが30秒のチャンク中において重複していないとみなされる)を用いて(スペクトル漏洩と戦うためにウィンドウ化され得る)FFT帯内の検出されたピークを用いることを含み得る。Welchの方法またはパラメータモデル(自己回帰)を用いた出力スペクトル密度PSDを用いてもよく、その後ピーク検索が行われる。呼吸信号の正弦形状が弱くなると、スペクトルピークが大きくなる(より広がる)傾向になり、形状に急激なピーク、急激なトラフまたはノッチが発生した場合に高調波を含み得る。別の方法として、(信号とシフトされたバージョンのものとの間の類似性を記述する)自己相関を用いる方法がある。この方法における前提として、根幹をなす呼吸波形が一定期間にわたって比較的安定しており、呼吸速度の推定のために、自己相関における周期的な局所的極大値の追跡およびフィルタリングを最も可能性の高い候補としての(例えば、ノイズと無関係の)極大値により行うことができる。自己相関は、時間領域内においてまたは周波数領域内のFFTによって行うことができる。時間周波数アプローチ(例えば、ウェーブレット)も有用であり、強力なノイズ除去を行うことが可能であり、同様にピーク検出が対象時間スケールにおいて(すなわち目標呼吸速度範囲内において)最終的に行われる正弦形状の適切なウェーブレットが選択される(例えば、シムレット、ドブシー)。
カルマンフィルタ(再帰的アルゴリズム)を時間領域信号へ適用して、システム状態を推定することができる。このアプローチを用いると、先行ステップの使用のみに基づいて将来の未知のシステム状態を予測する方法が得られる。フィルタリングに加えて、信号分離も可能になる(例えば、大きな動態、呼吸および心臓動態のもの)。
車両内感知((例えば、車両内感知だけでなく、他のノイズの多い環境における生理学的動態の検出にも適用可能な)ノイズ汚染の観察)
対象者が呼吸を停止した場合(例えば、無呼吸)または極めて浅い呼吸を示す場合(例えば、呼吸低下))、呼吸のピークおよびトラフの検出の際には、必ず交絡の影響の可能性を認識する必要がある(例えば、対象者が大きな動態を行った場合(例えば、ベッド内を転がった場合または駆動時に移動した場合)。位置追跡か可能な感知を用いると、これらの影響を分離する有用な手段が得られる。例えば、寝転がりは、高周波数動態および空間中の位置変化の双方としてみなされ得る。そのため、後続呼吸の振幅はより高くなるかまたはより低くなり得るが、「健康な」呼吸は保持される。換言すると、検出された振幅変化は、人の呼吸の変化に起因するのではなく、(ダウンコンバージョン後の)抽出された受信呼吸信号強度の変化に起因し得る。そのため、新規な較正アプローチが可能になり、検出された距離を用いて、信号強度と、呼吸深さ(およびよって大体の1回換気量)とを関連付けることができることが理解される。このような動態または変位がみられない場合、(例えば閉塞イベント時の胸部および腹部上の矛盾的な動態に起因した)指定された持続期間範囲の減少、停止または変化は、呼吸異常(例えば、無呼吸−低呼吸イベント)として特定され得る。
実際的なロバストな心臓呼吸性推定システムが基づき得るのは、パラメータの局所化のための複数の方法だけであることが理解される。信号の質が高い場合、周波数(または時間周波数)の推定において、局所的呼吸変動性の推定として可能性の高い呼吸速度が局所化され得、その後、微細なピークおよびトラフ時間が抽出され、吸気体積および呼気体積(睡眠段階についての有用なフィーチャ)の推定のためにレンジ較正が行われる。このような信号の質の計量は、経時的に変化することが期待される。測定された呼吸速度に変動がある場合、異なる時間スケールにわたって処理を行うことができる(例えば、30秒、60秒、90秒、120秒、150秒にわたる平均値算出または中央値フィルタリング)。
ソナーの場合、例えば(例えば、RF感知システムのためのさらなる情報を提供するためにソナーを使用するためまたはその逆のために)呼吸数推定のために他のさらなる感知信号が具現される場合、生の受信波形のエンベロープ(例えば、音響FMCW信号のエンベロープ)を主要なものとしてまたは二次的入力として処理することができる。これは、人の呼気の空気中の実際の外乱の検出の特性に基づく。これは、(例えば開いた窓、近隣空調ユニット、近隣ヒータからの)他の強い気流が車室、室内または車両に無いことを示すため、このような気流がある場合、気流による測定への影響を捨象するか、または、そのような影響を環境内の気流変化の検出に用いることができる。
低周波動態がレンジビンを通過する際(すなわち、レンジにわたって流れる摂動の際)、高気流を検出できる傾向がある。感知波形において残響が多い場合(例えば、1つの周波数のエネルギーが室内および関連付けられた室内モードにおいて蓄積することが可能な場合)、これはより明確になる。
一般的母集団(すなわち、正常な健康状態のユーザ、多様な健康状態のユーザ(例えば、睡眠無呼吸などの呼吸状態、COPD、心臓の問題)を含むもの)において機能する睡眠段階システムを考える場合、呼吸数および心拍数の基準線を大きく変化させることが可能であることが理解される。例えば、年齢、性別およびボディマスインンデックス(BMI)の差について考えてみる。女性の場合、類似の年齢およびBMIの男性よりも呼吸速度の基準線が若干高くなり得る(しかし、4〜16歳の児童についての最近の調査によれば、統計的な差違はみられない)。BMIが高い者の場合、類似の年齢の他社の平均よりも呼吸が速くなる傾向がある。子供の場合、正常な呼吸数は、成人よりもずっと高い。
そのため、いくつかのバージョンにおいて、センサ型に関わらず例えば処理デバイス100と共に用いられるシステムは、ハイブリッド具現で構成され得る(例えば、初期信号処理およびいくつかの手作りフィーチャを形成した後、ディープビリーフネットワーク(DBN)を適用する場合)。(ハイブリッド具現には、人間の「手作り」によるデジタル信号処理(DSP)により導出されたフィーチャと、機械学習されたフィーチャとを組み合わせた混合物が必要になる)初期の監督下トレーニングは、睡眠調査室または自宅PSGから世界中の複数の場所からのエキスパートスコア睡眠ポリグラフ(PSG)の夜間データセットを用いて行われ、スコア付けは、少なくとも1つのスコアラーにより指定のスコア付け方法を用いて行われる。さらなる監督無しのトレーニングが、選択感知方法のうち1つ以上により収集されたデータセットから行われる。その結果、睡眠調査室外の新規のより多様なデータを反映するようにシステムを発展させることが可能になる。
手作りフィーチャ(すなわち、人間の技術者/データサイエンティストによって設計、選択および生成されたもの)について、呼吸信号が関連信号品質レベルと共に抽出され、特定の対象フィーチャは、異なる時間スケールにわたる呼吸速度の変動性と、吸気時間および呼気時間の変動値とである。覚醒および睡眠についての個人的な呼吸速度基準線の推定値が形成される。例えば、覚醒時における呼吸速度変動性の短期間の変化はムードおよびムードの変化に関連し得る一方、睡眠時におけるこれらの変化は睡眠ステージの変化に関連することことが知られている。例えば、呼吸数変動性は、REM睡眠時に増加する。呼吸速度そのものにおけるより長期の変化は、精神状態の変化に関連し得る(例えば、メンタルヘルスのインジケータの提供)。これらの影響は、特により長い時間スケールにわたった比較および母集団規範値との比較時において、ユーザの睡眠時により重大になり得る。
測定された呼吸数の変動性を、ユーザの状態(睡眠/覚醒)または睡眠ステージ(REM、N1、次にN2、次にSWS睡眠の最低値)を示すものとして用いることができる。例えば、正常な健康な人における一定期間(例えば15分間)にわたる正規化された呼吸数変動性をみる場合、覚醒時において変動性が最大になることを確認することができる。この変動性は、全ての睡眠状態において低下し、REM睡眠において2番目に高くなる(が覚醒時よりは低くなり)、その後N1およびN2の順にさらに低下し、SWS睡眠において最低になる。余談であるが、呼吸に起因する空気圧力は、REM睡眠において増加する。このような増加は、検出された音響信号に影響を持ち得、静寂な環境またはより静寂な時間において検出され得る余分なフィーチャとなり得る。
このような正規化された呼吸数の数値は、健康な人の場合に異なる位置(仰臥、うつぶせ、横向き)間において有意に変化すべきではない。しかし、正しい1回換気量に対する較正を行うことが望ましい可能性があることが理解されるべきである。例えば、ある人の睡眠時の平均呼吸速度は例えば13.2呼吸/分(BR/MIN)であり得る一方、別の人の平均は17.5BR/MINであり得るため、システムは、夜通し正規化され得る。どちらの速度も、睡眠ステージにおいて類似の変動性を示す。速度差は、睡眠状態の分類において考慮され得る変化をマスクするだけである。本システムは、他の目的(例えば、そのものにおける経時的比較または実際には類似の人口統計中のものとの比較)のために平均速度(または全般的速度グラフ)を検討し得る。閉塞性睡眠時無呼吸(OSA)の人の場合、呼吸変動性は仰臥位置(仰向けに寝ること)において増加するため、ユーザの呼吸の健康を示すものとして有用である可能性があることが期待される。
混合型無呼吸または中枢性無呼吸が混ざった対象者の場合、覚醒時において呼吸変動性が((有用なバイオマーカーである)正常な対象者よりも)大きくなる傾向がある。閉塞性無呼吸の対象者も、覚醒時において正常値に対して変化を有するが、その場合の変化はそれほど明確ではない(が、多くの場合において存在している)。
人の特定の睡眠パターン(例えば、呼吸変動性)は、システムによって経時的に学習され得るため、教師なし学習を行うことが可能なシステムが当該分野において展開されれば、大変望ましい。
これらのパターンは、呼吸が部分的または完全に停止する(かまたは気道閉鎖発生時において胸部および腹部に矛盾的な動態が発生する)ため、夜間において(すなわち、睡眠セッション時において)変化し得、睡眠時に発生する無呼吸による影響を受け得る。この問題に対処する1つの方法として、睡眠ステージを計算する場合、検出された無呼吸(および呼吸速度の関連付けられた変動)の期間を抑制する方法があることが分かる。すなわち、当該時点における睡眠ステージの分類を試行する代わりに、無呼吸およびミクロ覚醒の可能性にフラグ付けすることができる。周期性呼吸パターン(例えば、チェーンストークス呼吸(CSR))の場合、強い変動パターンが出現する。これらは、睡眠前処理ステージ時にも検出され得る。CSRは任意の睡眠ステージにおいて発生し得るものの、ノンレム睡眠においては休止がより規則的になり、REM睡眠においてはより不規則になる(CSRの対象者の睡眠段階の精緻化のためにシステムが利用することが可能な情報)。
同様に、呼吸波形のモーホロジーに関連する高調波を全て抑制する処理ステップにより、心臓信号を抽出することができる。特定のパターン(例えば、閉塞、混合または中枢性無呼吸)が、関連する任意の回復呼吸および息切れ関連動態と共に検出される。心臓信号から、生理学的に妥当な心拍数数値に基づいて心拍間の「心拍数変動性」(HRV)信号を推定する。スペクトルHRV計量の計算が可能である(例えば、平均呼吸周波数のログ出力、LF/HF(低周波/高周波)比、正規化HFのログ)。
心拍間の時間(HRV波形)のHFスペクトルは、範囲0.15〜0.4Hzの累乗であり、2.5〜7秒の副交感神経活動または迷走神経活動(呼吸洞性不整脈(RSA))のリズムに関連し、「呼吸バンド」とも呼ばれる。
LFバンドは0.04〜0.15Hzであり、安静時の圧受容器活動を反映すると考えられている(いくつかの調査によれば、心臓交感神経支配と関係があり得ることが示唆されている)。
VLF(極低周波)HRV出力は、0.0033〜0.04Hz(300〜25秒)であり、数値低下は、不整脈および心的外傷後ストレス障害(PTSD)に関連する。
HRVパラメータは、時間領域方法を用いて抽出することもできる(例えば、SDNN(より長期の変動性を得るための正常な心拍間インタバルの標準偏差)およびRMSSD(短期変動性を得るための連続的心拍間隔差の根二乗平均))。RMSSDは、心房細動などにみられるような不規則に不規則な心拍間の挙動のスクリーニングに用いることも可能である。
HRVについて、計算されるようなLF/HF比のシフトは、検出可能なノンレム睡眠特性であり、REM睡眠時の「交感神経性」HF優位(これは、交感神経/副交感神経間のバランスに関連し得る)へシフトする。
より一般的には、典型的にはREM睡眠におけるHRVの増加が多い。
呼吸速度および心拍数信号のより長期の平均または中央値は、特に何らかの介入(例えば、投薬、治療、病気の(肉体的または精神的な)治癒、健康レベルの変化、睡眠習慣の経時的変化)がある場合、経時的分析を行う際に特定の人にとって重要である。人と人を直接比較する場合、(極めて類似のグルーピングに対してではない限り)若干有用性が低くなる。よって、呼吸変動性フィーチャおよび心臓変動性フィーチャについて、これらのフィーチャを正規化(例えば、計量に適した平均除去、中央値除去など)すると、母集団にわたる一般化の改善に繋がり得るため、有用である。
抽出されたフィーチャのさらなる分析において、ディープビリーフネットワーク(DBN)を利用することができる。このようなネットワークは、制限ボルツマンマシン(RBM)、オートエンコーダおよび/またはパーセプトロンの構築ブロックにより構成される。DBNは、これらの抽出されたフィーチャからの学習の際に特に有用である。DBNは、監督無しに利用可能であり、その後、ラベル付けされたデータ(すなわち、人間の専門家の入力によって確認されたデータ)により訓練される。
例示的な人間により手作りされた「例による学習」により抽出されたフィーチャは、DBN上へ送ることができ、以下を含み得る。無呼吸の種類および位置、異なる時間スケールにわたる呼吸数およびその変動性、呼吸、吸気時間および呼気時間、吸気および呼気の深さ、異なる時間スケールにわたる心拍数およびその変動性、心弾動図心拍形状/モーホロジー動態および活動種類(例えば、全身動態)、PLM/RLS、信号の質(測定値の経時的完全性)、ユーザ情報(例えば、年齢、身長、体重、性別、健康状態、職業))。他の統計パラメータも、計算することが可能である(例えば、信号の歪度、尖度、エントロピー)。DBNは、そのもののいくつかのフィーチャを決定する(自身を「学習する」)。DBNは、何を表現しているのかを正確に理解することが困難であり得るが、人間よりも上手くジョブを行うことが多い。問題点として、悪い局所的最適条件において終了し得る点がある。フィーチャを「学習」した後、システムは、一定のラベル付けデータを用いてこれらを微調整することができる(例えば、人間の専門家によるデータ入力により、フィーチャのスコア付けが可能になる(1人の専門家または数人の専門家による同意))。
DBNは、入力パラメータからの新規フィーチャを直接学習することもできる(例えば、呼吸波形からのもの、活動レベル、心臓波形、ローオーディオサンプル(ソナーの場合)、I/Q生体動きデータ(ソナーまたはレーダーの場合)、強度レベルおよび色レベル(例えば、赤外線カメラデータからのもの)。
手作りフィーチャのみを利用する機械学習アプローチは、「浅い学習」アプローチであり、性能レベルにおいてプラトーに到達する傾向がある。これと対照的に、「ディープラーニング」アプローチの場合、データサイズの増加と共に向上し続けることができる。上記したアプローチにおいて、(DBNの場合において)ディープラーニングを用いて、古典的な機械学習のために新規フィーチャを生成(例えば、新規フィーチャ取得、フィーチャ性能によるフィーチャ選択ウィノウイング、ICAによるホワイトニング(独立コンポーネント分析)またはPCA(主要コンポーネント分析)(すなわち、次元縮退)し、デシジョンツリーに基づいたアプローチ(例えば、ランダムフォレストまたはサポートベクトルマシン(SVM)))を用いて分類する。
ここで用いられるようなフルディープラーニングアプローチの場合、このようなフィーチャ選択ステップが回避されるため、人間の母集団においてみられる膨大な多様性の範囲をシステムにおいて使用しない点において、有利性があるとみることができる。その後、新規フィーチャを。ラベル付けされていないデータかが学習することができる。
これらのマルチモード信号のための1つのアプローチとして、ディープビリーフネットワークを各信号について訓練した後、連結データについて訓練する。その根拠として、特定のデータストリームは、一定期間にわたって単に有効ではない場合があることがある(例えば、心臓信号の質が利用可能な閾値を下回っているが、質の高い呼吸、動態およびオーディオフィーチャ信号が利用可能であり、その場合、心臓データから学習または導出されたフィーチャは、当該期間について無意味になる)。
分類のため、シークエンスに基づいたアプローチ(例えば、隠れマルコフモデル(HMM))を適用することができる。このようなHMMは、睡眠ステージの分離、(病院睡眠調査室PSGシステムを介して提供され得るような)出力睡眠グラフの段階型「睡眠アーキテクチャ」へのマッピング、異常な睡眠ステージ切り換えのために、出力においても任意選択的に利用することができる。しかし、睡眠が漸次的な生理学的プロセスであると認識する場合、システムを少数の睡眠ステージに強制しないことを好む場合があり、システムが漸次的変化を獲得すること(すなわち、「介在型」睡眠状態をより多く有すること)が可能になる。
隠蔽層の無いより単純な状態機械アプローチが可能であるが、各々が固有の人間の生理学的特性および挙動を有する睡眠者の大きな母集団を一般化する問題が最終的に発生し得る。他のアプローチが、条件付き確率場(CRF)またはその変形としてある(例えば、隠蔽状態CRF、潜在的ダイナミックCRF、または条件的神経場(CNF)または潜在的ダイナミックCNF)。長期短期メモリ(LSTM)は、特に(正常な健康な睡眠者においてより典型的な)シークエンスパターン認識への適用時において高い弁別能力を有し得る点に留意されたい。
準教師付き学習は、回帰神経回路網(RNN)を用いて行うことができ、ラベル付けされていないデータ中の構造を発見する際に有効であり得る。RNNは、標準的な神経回路網構造であり、入力、隠蔽層および出力を備える。これは、シークエンス入力/出力を有する(すなわち、次の入力は、先行出力に依存する(すなわち、隠蔽ユニットは、グラフアンローリングおよびパラメータ共有技術を用いて情報を伝達させる回帰接続を有する))。LSTM RNNは、自然言語処理アプリケーションにおいて周知である(勾配爆発問題および勾配消失問題に対処するためにLSTMを用いる)。
睡眠開始の検出において、発話認識サービスが実行されているとき、ユーザによる声コマンドを「覚醒」の第2の決定要素として用いることができる(これは、無意味な寝言と混同されるべきではない)。個人用のスマートデバイスが用いられる場合(ユーザによってロック解除され、入力、加速度計の動態、ジャイロスコープが用いられる場合)、これも、他の睡眠/覚醒感知サービス拡張のための覚醒決定要素として用いることができる。
(自走式車両またはマシンに関連する)自動車感知
低周波超音波感知も、自動車/車両の設定(例えば、車内、トラックおよび他の輸送型)において用いることが可能である。車両内娯楽(ICE)または車載インフォテイメント(IVI)とは、自動車中のハードウェアおよびソフトウェアの集合であり、オーディオまたはビデオの娯楽を提供する。関連付けられたスピーカ、マイクロフォンおよび処理用電子機器の利用可能性が、ソナー感知のために用いられ得る。
いくつか異なる種類の用途がある。
例えば、本技術は、例えば車両の占有(例えば、偶然に車内に取り残された子供または乳児、トラック後部の密航者、トラック内において昼寝している運転者または車両に押し入った侵入者)を検出するためのセキュリティ用途のために具現され得る。よって、ユーザが車両から退出する際、車両内の動き感知によって人が検出された場合(例えば、ドアセンサによりドア閉鎖が感知された場合およびモータ動作センサにより車両がオフにされたことが感知された場合)、処理デバイスはアラームを生成し得る。処理デバイス100の感知技術は、権限付与されていない時間に従来の侵入者アラーム状況において車両内に人がいることを検出し、アラームを生成するようにも構成され得る。
処理デバイスの技術は、呼吸、心臓信号および動きを監視し、車両停止時または健康状態を確認すべき動きがある場合に疲労、覚醒または睡眠状態(睡眠または覚醒)および/または睡眠ステージ(例えば、浅眠、深眠、REM、ステージ1〜3)を監視するようにも、具現することができる。
システム(例えば、車線逸脱、シートセンサ、および/または視標追跡)を備えた車両に対して、本技術は、運転者の注意レベルについてのさらなる情報を提供することができる。例えば、処理デバイスは、感知された動き(例えば、呼吸、心臓および/または全身動き)の評価によって眠気を検出し、眠気検出時にアラームを生成することができる。
半自律型車両の場合、処理デバイス100は、他のセンサからの信号/データ(例えば、ステアリングホイール圧力またはユーザグリップ(例えば、歪みゲージ、接触センサまたは力センサ)およびステアリングホイール角度(例えば、光学センサ))を評価して、運転者の覚醒レベルおよび健康状態について、駆動システムが(他の状況において人間の関与による恩恵を受ける(例えば、倫理的判断が求められる)ような)異常なまたは危険な状況に遭遇した場合に当該人物がその状況に介入できるくらいに充分注意力を保っていることを確認することができる。
完全自律型車両の場合、ユーザ(運転者)による介入は不要であり、処理デバイス100を用いて、上記したように、ユーザ睡眠を監視し、カスタマイズされた睡眠プログラムを提供することができる。これらの睡眠プログラムにより、乗員(単数または複数)は良好な睡眠または昼寝をとることができるため、目的地に着く頃にはユーザは覚醒しており、注意力もありかつリフレッシュできた状態になることが可能になる。任意選択的に、処理デバイスは、ユーザの健康状態を監視することができ、ユーザ/乗客の状態が危険である(例えば、心不全または呼吸不全)が検出された場合、処理デバイスは、(例えば、医療目的地へ向けての)アラートを含む通信を生成しかつ/または医療目的地への車両のナビゲーションルートを変更(例えば、最も近隣の病院)し、自律型制御システムにより車両の動態を医療目的地へ走行させるように設定/制御することができる。任意選択的に、このような検出に応答して、半自律型または自律型な制御システムは、当該車両を制御して安全停止させ、通信(例えば、自動音声モバイル通話)を行わせることができる。この通信により、当該車両の位置が緊急医療サポートに対して特定され、緊急状況の特徴が特定される。
本技術は、以下において具現することが可能である。1/スピーカ/マイクおよび(例えばシステムのソフトウェアのアップデートによって)アップグレードすることが可能な車両制御システムを備えた既存の車両、2/新車のインフォテイメント設計においては、アドオン/アフターマーケットシステムのインストールが可能であるため、感知サービスおよび関連サービスが可能になる、および3/任意の車両において、ポータブルシステム(例えば、スマートフォンまたはスマートスピーカ)を起動させ、感知およびユーザインターフェースのために利用することができる。
既存の正規車両フリートのサポート−セキュリティおよび保護
具現例えば、感知能力は、既存のステレオシステムを用いた車(例えば別個のツイーター(高周波数を再生するように設計されたラウドスピーカ)を搭載した車(単純なシングルコーンのフルレンジスピーカも有効である))において、存在および存在を検出するために実行することが可能である。優先的に、この感知能力は、車の走行時に作動するが、車両の駐車時において人または動物の呼吸を安全上の理由のために検出する(例えば、子供または乳児あるいは実際にはペットが車内に偶然に置き去りにされたことを検出し、アラートを生成する)ために、極めて低い電力レベルにおいても用いることが可能である。このようなシステムの利点として、既存の車ハードウェアの変更が不要である点がある。例えば、感知能力は、頭部ユニット/増幅器へのソフトウェアアップグレードとして具現することができる(特に、頭部ユニットによりアプリケーションがサポートされる場合)。そのため、既存の車フリートのアップグレードを相対的に低コストで行うことが可能になる。多数のこのような場合において、このようなシステムは、ノイズキャンセレーション機能を有する1つ以上のマイクロフォンを含み、本明細書中に記載のようなセンサとして機能するのに充分な品質を有する。この点について、システムは、本明細書中に記載のオーディオ信号(例えば、低超音波周波数)の感知が可能な周波数応答を有する。
アドオンキット/スマートフォン
アフターマーケット用のBluetooth車用キット(車スピーカに配線されるかまたはスタンドアロンのもの)をアップグレードして、本明細書中に記載の感知技術を含むようにしてもよい。
さらに、スマートフォンを車内において用いた場合、当該スマートフォンは、車両内感知のための構成を提供するアプリケーションを含む処理デバイスとして動作することができる。
感知のためのスピーカ位置およびマイク位置
スピーカおよびマイクロフォンの位置を注意深く選択することは、運転者の高精度感知の達成において有用である(例えば、ステアリングホイールに関連する手の動態、ギアチェンジおよび脚動態が予測される場合)。Aピラーおよびドアカードまたはドアパネル(これらは、マルチスピーカシステムにおいては実際に極めて一般的である)の近隣においてダッシュ位置を用いると、胸部の見え方が向上し得る。その結果、典型的には、乗客は運転者よりも「動き」が少なくなる。
利用可能なマイクロフォン数よりも利用可能なスピーカ数が大きい場合、処理デバイス100は、共通マイクロフォンによる感知を行いつつ、異なる個々のスピーカを作動させて異なる個人を監視することができる。例えば、処理デバイスは、異なるスピーカに対して異なる感知周波数レンジにおいて感知信号を生成し得る。可能であれば、別個のマイクロフォンを車の前部および後部において構成して、いくつかの空間分離を提供することができる。スピーカ理想的には、スピーカおよびマイクロフォンの組み合わせを、各シート位置(すなわち、各人)のために車内娯楽システム全体の一部として実装することができる。
(異なる感知波形/スキームから恩恵を受けることが可能な)多様な異なる感知シナリオがある(例えば、車内の1つ以上の特定の人(単数または複数)(例えば、各シートの個人感知)を検出するシナリオ、車内の全てのものを検出するシナリオ(これは、セキュリティ/安全目的のための占有検出器としてより有利であり得る)、より大きな空間(例えば、大型トラック、輸送コンテナ)における全てのものを検出するシナリオ)。
その際の1つの問題を挙げると、エンジンノイズによってノイズレベルが異なる点がある((内燃機関エンジン)、ハイブリッドトレインおよび電力トレイン)。エンジン/モータノイズ、マウント伝達、ボディ伝達、およびその結果発生する内部ノイズがあり得る。パワートレインに起因するノイズ以外にも、タイヤノイズ評価(および摩耗レベル)、車両ボディのカタカタ音、車室のサイズおよび形状(例えば、死空間およびエコー)、風および道路に起因するノイズにおいても差が存在する。車は、ノイズおよび車室構成に起因して、サウンドシステムを高精度に聞き取ることが困難な場所である。反射s、定在波、反響、でこぼこの内面、共振周波数、適切なスピーカ配置に適切とはいえない空間に起因して、音質に影響が及び得る。
スピーカの方向性について、人に対するスピーカの方向(例えば、ドアカード中に配置された場合)によって感知に影響が出る場合があり、あるいは、マルチパス検出の要否(例えば、ウインドシールドからの反射されたダッシュボードスピーカ、後方手荷物棚中において上方を向く後方スピーカ)によっても感知に影響が出る場合がある。
(車内は基本的に筐体としてしかみなされていないため)車内の有意な残響について考える余地があるが、ユーザが相対的に固定された位置にいることが多い点において恩恵があり得る。
車は、第1に輸送手段として設計されていることが多く、聴覚環境としての設計はおざなりになっている(設計ステップにおいて優先度がかなり低い可能性がある)。インフォテイメントシステムの向上と共に、これも変化しつつある。
レイトレーシングは、車の音響を>4kHzにおいてモデル化する主な手段である。レイトレーシングは、新車設計には適用可能であるものの、レトロフィットシステムに対しては実行不可能である。レトロフィットシステムの場合、車内をシステムによって(例えば可聴型または非可聴型のプロービングシークエンスによって)迅速にモデル/マップする必要がある。装飾品の差、シート種類の差、ダッシュボード反射の差、および(部分的または完全な)閉め方の差違に起因して、車両間における音の差に影響が出る。SUVと他の種類の車(例えば、カブリオ/ソフトトップ/タルガ構成)との間には、有意な差があり得る。
最も直接的な車両構成の場合、ツイーター(スピーカ)がフロントシートに向けられて配置されている(これは、車製造業者によって用いられている共通セットアップである)。この場合、スピーカからシート中間点までの距離は指定されている場合があり、システムは、シート上に座っている人の深さをモデル化することができる。スピーカがドア中の上方(ツイーターの典型的な位置)またはダッシュまたはAピラーの側方に取り付けられている場合、システムは、人の側方および前方を検出することができる。そのため、周波数レンジおよび変調スキームを、可能性の高い距離に合わせてシステムにより調整することができる。システムにおいて、残響ノイズに対してロバストな(すなわち、任意の1つの周波数において感知エネルギーが車内において蓄積することを許容しない)スキームも選択することができる。1つのこのような例として、デュアルランプ形FMCWを用いたスキームがある。このような感知は、各余弦シーケンス間においてシステムによってオンおよびオフにすることができ、(スピーカの可聴クリックを回避するための「ゼロ」点をした)各シーケンス間のランプ周波数をシステムにより調節してもよい。車室内ノイズの変動性の高さに鑑みると、自動車設定においてこのようなシステムによる周波数調節を行うことが望ましい。例えば、スポーツ排気システムおよび有意な吸気ノイズを含む内燃機関エンジンベースのスポーツカーは電気自動車とは極めて異なるものの、電子パワートレインは高周波数においてヒュー音が発生し得る。
プレミアムオーディオシステムがインストールされる場合またはアフターマーケットシステムの場合、ツイーターは30kHzを超えてレートされ得るため、広い動作帯域が可能になる(ただし、増幅器コンポーネントがエイリアシング回避のために適切なサンプリングレートを用いている場合)。ツイーター製造業者に応じて、21〜30kHzの上側レンジが可能になり得る。システムは、特定の部品の製造差に応じて若干高いかまたは若干低い周波数を用い得る。このような周波数の利用可能性は、セットアッププロセス(すなわち、取り付けられた部品の能力を決定すること)によって検出され得る。
マイクロフォンは、アクティブオーディオキャンセレーションまたはハンズフリー電話使用のためにヘッドライナー内に設けられることが多い。これらは、前方の乗客からの反射信号の検出のために、有用な位置に設けられる。提案のオーディオキャンセレーションシステムの場合、典型的にはスピーカがドアの中途において取り付けられ、複数のマイクロフォン(例えば、少なくとも4つのマイクが車両中に)が設けられる。この種の構成は、バイオメトリック検出およびバイオメトリック特定/認識に適している。マイクロフォンの周波数応答により、最終的に最高の利用可能周波数が制限される(例えば、20kHzにおいてロールオフするマイクを25kHzが可能なツイーターと共に用いた場合、最終的にシステムは20kHzに制限される)。このような周波数の利用可能性は、セットアッププロセス(すなわち、取り付けられた部品の能力を決定すること)によって検出され得る。
他の構成が、スタンドアロンツイーター無しに具現され得る。スタンドアロンツイーターの場合、より大型のコーンスピーカがドア中の下方に設けられる構成において、18kHzを超えた範囲が生成可能である。すなわち、より低い周波数レンジを用いる必要がある。
運転者の近隣に配置されているマイクロフォンは、1本のみであり得る。この場合も、システムは機能することができる。なぜならば、異なる周波数帯域および/または符号化スキーム(例えば、周波数レンジを分離されたタイミングで再利用すること)を用いることができるからである。そのため、4人の乗客が4個のスピーカを利用することができ、各スピーカにより1人が監視される。これは、理想的には4本のマイクロフォンを用いて具現され得る。しかし、1本のマイクロフォンを用いて具現することも可能である。その場合、処理デバイスは、異なる乗客についてFMCWシステム中の異なるレンジビンを選択する(すなわち、音が各乗客の胴体に到達するまでの推定時間を利用する)。
暖房、空調および窓
処理デバイス100は、(例えば窓センサからの信号にアクセスすることにより)車の窓が開いているかまたは閉まっているかを検出するように、車両感知システムと共に構成され得る。いくつかのバージョンにおいて、処理デバイスは、(利用可能な場合に)車両のCANBUSシステムと通信して、車両のセンサのいずれかからの信号を受信するように構成され得る。例えば、電気式窓の自動調節(または窓の現在位置についてのクエリ生成)のために、適切なドアモジュール(例えば、乗客ドアモジュール)と通信する車両ネットワーク上の処理デバイスによりメッセージを生成することができる。これらの具現のうちいくつかにおいて、車両製造業者システムの詳細(すなわち、OBDプロトコルの一部)が用いられ、既存の位置センサからのデータを利用することができる。
例えば、空調/ファン設定の異なるパラメータ(例えば、送風機システム上のどの通気孔/フラップが開口しているか(気流の方向)、ファン速度)についての検出も、車両制御システムから処理デバイスによって読み取ることができ、感知信号の調節(例えば、信号の振幅および/または波形(単数または複数)の変更)の根拠として用いることができ、これにより、感知信号による適切な生理学的パラメータ信号品質の回復が可能になる。このような調節を挙げると、感知のために適用された周波数帯域をより干渉の少ない周波数帯域へ適応的に変更することおよび/または残響のより多いまたはより少ない感知波形へ変更することがある。他のパラメータ(例えば、車/車両ドアの開口または閉鎖またはステアリングホイールの手による取り外しの検出)も、車センサによって得ることができる。
自律型車両−睡眠、疲労および覚醒の感知
自律走行のための人工知能システムが増えてきている。自律型車両の自律性レベルに応じて、移動中または停止中に睡眠を促進することまたは睡眠前に疲労/眠気を検出した後に介入を行う必要性があり得る。
完全自律型車両の場合、ステアリングホイール、ペダルおよび他の制御は含まれない場合がある。そのため、車両コンパートメント空間を旅行/通勤時の睡眠用クオーターまたはワークエリア(またはさらにはエクササイズのためのもの)として利用する機会が生まれている。
車両中の人は、覚醒時および睡眠時双方において自身のバイタルサインを(例えば低周波超音波感知により)監視してもらうことができる。
車両中の人が睡眠時である場合、処理デバイス100は、その人の呼吸波形をチェックして睡眠無呼吸をスクリーニングすることができ、呼吸および心拍数を病気の兆候についてチェックすることができる。その後、処理デバイス100は、睡眠スコアおよび疲労スコアを提示することができる。本システムにより、不眠症および他の睡眠状態を管理する機会が提供される。
呼吸同調エクササイズの提供により、このような自律型車両中における睡眠の誘導が支援され得る。車両環境全体を自動調節することにより、高品質の睡眠を促進することができる。例えば、インフォテイメントシステムとして機能する処理デバイス100を、車両ノイズ低減のためのアクティブノイズキャンセレーションを生成するように構成することができる。場合によっては、処理デバイスは、車両内の照明を制御し得る。例えば、処理デバイスは、(例えば暗くするかまたは明るくするための制御可能なガラスまたはエレクトロクロミックガラスの利用により)窓透明度の調節を制御することにより、覚醒時間のために照明を増減することができる。これは、光調節のための窓上の自動ブラインドおよび/または他のデバイスを制御して、音響処理または音バリア(例えば、音吸収窓カバー)を静寂な車両内環境のための位置にセットすることができる。
目的地に近づいてきた場合、システムの処理デバイスは、例えばシステムのGPSセンサからのGPS車両位置、睡眠時間または移動ならびに/あるいはユーザの検出された睡眠状態を検討し、これらのデバイスを制御して、ユーザを優しく覚醒させるために光レベルおよび音レベルを増加させることができる。
「ロボタクシー」またはライドシェア車両中の乗客として、処理デバイスは、処理デバイスによって制御および生成される視音および/または視覚化を誘導するリラックスおよび睡眠プログラムを含み得る。任意選択的に、処理デバイスは、例えば(例えば、覚醒状態、無呼吸、呼吸低下をカウントするために)動きについて睡眠無呼吸試験を行い、結果を覚醒したユーザへ報告するために、睡眠時の呼吸を評価するように構成することもできる。
特に、上記のアプリケーション/動作は、(道路および鉄道上において輸送を現在提供している)標準的な運転者によって操作されるバスおよび列車内に設けられたシステム(例えば、娯楽システム)内において具現してもよい。これらの車両は、長距離および/または宿泊を伴う旅行の乗客によって頻繁に用いられる。これらの動作は、飛行機の娯楽システム中においても具現され得る。
半自律型車両において、運転者が(人/インターフェースの一部として)任意の予期しない道路状況に確実に反応できるようにするために、(睡眠または睡眠前ではなく)覚醒の検出は重要である。例えば、このような車両の処理デバイスにおいて、自律型車両の自律性レベルに応じてユーザに介入能力があること(すなわち、ユーザが注意力を有しかつ「参加している」こと)が必要になり得る。このようなシステムは、他の車用眠気支援具(例えば、シート中のセンサ、視標追跡を行うカメラ)と通信するように統合され得る。本システムは、音声アシスタントを実行して運転者に話しかけて、運転者の現在の覚醒レベルを応答に基づいて判断し、瞬間的睡眠に入りそうなときにアクションをとることができる。例えば、このような車は、アラートとしての音を増加させかつ/または車を道路の片側に寄せて停車させ、運転者が睡眠をとるかまたは覚醒することができるようにする。よって、例えば処理デバイス100の睡眠または覚醒の検出動作などの動き検出能力は、覚醒または睡眠の検出に基づいた車両動作の調節(例えば、車両の動態、速度低下、停止、道路の片側寄せおよび/または目的地変更または運転者支援のためにナビゲーション目的地(例えば、コーヒーショップまたはホテル)の提案)を制御するように、車両制御動作への入力として機能することができる。
場合によっては、このような検出に基づいて、システムは、睡眠を阻止する動作を制御し得る。例えば、システムは、音(例えば、気が散るような音)を生成し得る。このような音により、人が寝入る前にコーヒーまたは昼寝のためにどこか安全な場所まで運転することまたは完全な自律型な帰宅用ナビゲーションおよび/または自律運転機能を起動させることが可能なくらいの充分な長さの短い時間が可能になる。例において、気が散るような音は、デフォルトの車室チャイムまたは他の車両エラー音と共に開始することを含み得る。その後、このような音は、起きてくださいと話しかけるコマンドを含み得る。動作は、機械的振動デバイスの制御による駆動輪(例えば、一体型振動器(単数または複数)を用いたもの)またはさらには車シート後部(例えば、一体型振動器(単数または複数)を用いたもの)の振動を含み得る。
車両内および車両間におけるユーザパーソナル型
車の所有から「サービスとしてのモビリティー」というビジネスモデルへの転換が起きている。すなわち、車の所有を不要とするユーザが存在している。車の耐用期間の長期化も、このようなサービスの促進に繋がっている(すなわち、内燃機関エンジンから電子モータへの移行)ならびに都会/都市の生活および車内サービスおよびライドシェアサービスの向上)。都市当局からの渋滞緩和および空気品質の向上の要求によっても、このようなサービスが促進され得る。
このような車両の処理デバイスは、ユーザがカスタマイズすることが可能なパラメータを用いた車両の瞬間的なパーソナル型を可能にするように構成され得る。そのため、(定期的に再所有される車、カーシェアリングサービスまたはライドシェア/公的サービス車両に関係無く)多数の車両におけるユーザ経験のパーソナル型が可能になる。このようなパラメータは、カスタマイズおよびパーソナル型された睡眠/昼寝構成を含み得る。これは、別個の人間の運転者または自律型車両が存在する場合に特に関連する。
例えば、車両の処理デバイス100は、困難な自動車環境(例えばノイズ、動き、ファン/気流)におけるユーザの睡眠を監視し得る。睡眠促進のため、処理デバイスは、ユーザの睡眠の向上のために、ナビゲーションルートの選択および最適化と、サスペンション設定および/または自動車両制御スタイルの調節(例えば加速および/または制動の調節により積極的にではなくゆっくりめに運転すること)とを行うように、構成され得る。ユーザの命令を受けてまたは現在の動作モードにおいて、車両の処理デバイス100は、ユーザ(単数または複数)が(リフレッシュした状態で覚醒する/睡眠慣性を最小限にするために)睡眠サイクルの一部または全体を得ることができる)ようにするためおよび/または快適性のため(路面状況がより良く、予期される制動/加速またはコーナリングイベントが少ないルートを選択すること)のために昼寝に充分な時間が得られるようにするために、目的地へのより長いルートも選択し得る。
処理デバイス100は、光調節および窓被覆率調節を制御することにより、車両は、(強度および色双方において)内部照明を変化させることができる。次に、車両の処理デバイス100は、音楽再生および/またはアクティブノイズキャンセレーションまたはマスキング音(例えば、ホワイトノイズ)の適用を行って、リラックスおよび睡眠のために環境を最適化させる。調節可能なシートまたはベッドを備えた車両の場合、リラックスフェーズにおいて、処理デバイス100は、シート内のモータおよびアクチュエータの制御に基づいてマッサージを制御し得る。次に、処理デバイス100は、睡眠時間または昼寝時間の間、非セーフティクリティカル通知をミュートにし得る。より長距離の移動の場合、システムは、以下のプログラムのうちいずれか1つ以上を提供し得る。リラックス、睡眠、目覚まし、ワークプログラム。処理デバイス100は、ワーク、リラックス、睡眠、目覚まし、ワークプログラムへの切り換えをユーザの概日リズムに合わせて(またはより整合させる)ように制御し得る。例えば、処理デバイスは、ユーザが長距離旅行の最中にあるときのユーザの午後の「一時的な眠気」に対応して昼寝(またはリクエストされた昼寝の遅延)を提案し得る。
移動中の車両または静止状態の車両における睡眠前
乗物酔いになり易い人の場合、昼寝時間または睡眠時間において深呼吸を用いた初期リラックスフェーズをユーザが目を閉じた状態で(任意選択のオーディオキューまたは同期型音楽を処理デバイス100から提供してユーザが深呼吸できるように誘導する)と、このような病気の低減を支援することができる。多数の角部および***部またはグレード変更がルート上において予期される場合、車両サスペンションを処理デバイスによって制御することにより、より修正的なアクションを行って、乗物酔いを低減させ、睡眠位置(例えば、制御可能に調節可能なシート)を車両前方へ移動させることができる。
処理デバイス100は、ガイド付き呼吸エクササイズを開始する際、ユーザの呼吸速度を監視して、初期ベースライン呼吸速度と、ベースライン吸気時間/呼気時間比と、呼吸深さ(例えば、浅い吸気および呼気)とを推定することができる。次に、可聴型または視覚型のキューを提供することができる(が、ユーザがリラックスしており、睡眠をとろうとしている場合は可聴型キューが好適であり)、当該人物は、吸気を4秒間のカウントにわたって行った後、呼気を4秒間のカウントにわたって行い、これらの呼吸は全て鼻孔を通じて(すなわち、口を閉めた状態で)行われるように適合される。ユーザがこれを10回以上の呼吸にわたって維持できる場合、短い回復時間を得ることができ、その後よりゆっくりした呼吸(吸気の場合に4秒間から6秒間の次に8秒間への移動、呼気の場合も同様)へガイドすることにより、快適なこと、達成可能および維持可能なことを(実際の呼吸波形の監視に基づいて)決定する。ガイドライン時間は、このエクササイズの場合に5〜15分である。車両内における位置決めは、呼吸プログラムがリラクゼーションまたは睡眠およびシート/ベッドの調節のためのものであるかによって異なる。
任意選択的に、処理デバイスは、シートがマッサージシートとして機能できるようにモータ/アクチュエータを含むシートを制御するための制御信号を生成し得る。
これは、腹部(横隔膜)呼吸エクササイズに利用することができる。相対的に直立状態であるシート内に人がいる場合、その人は、一方の手を胸部上に配置し、他方の手を下腹部上に置くように依頼され得る。その人は、自身の鼻孔を通じて深呼吸するように促され、手下部は動くが手上部(はできるだけ)動かないようにする。ジェスチャー認識感知は、処理デバイス100が感知動作を用いて行うことができ、これにより、前腕が上腕よりも大きく動くことを確認する。エクササイズが所望の効果(心拍低下、心拍変動性の個人のベースラインの「リラックス」範囲への増加)を有することを確認するために、心拍および検出を行うことができる。
ユーザが寝入るにつれて、シートを処理デバイスによって制御して、適切なサポートを提供するようにシートを調節することができる。
より長い旅行の場合、システムは、ナビゲーションパラメータを調節してトイレ休憩を睡眠/昼寝プログラムへ追加して、手洗いおよび/または歩ける場所のある安全な場所へユーザを連れて行けるようにする。これは、バッテリーまたは燃料の再供給またはバッテリー交換イベントと協働できるようにされ得る。
睡眠障害呼吸(SDB)スクリーニング
公的サービスまたはライドシェア車両において処理デバイスによって非接触感知が展開される場合、乗客(単数または複数)/ユーザ(単数または複数)(すなわち、単数または複数の占有)に対してデバイスの音声アシスタントから質問を行って、ユーザが生理学的監視へのオプトインを望むかについて尋ねることができる。ユーザが生理学的監視へのオプトインを望むことを選択した場合、ユーザの覚醒時において、システムは、ユーザの心臓および呼吸のパラメータを自動的に監視することができる。ユーザが1つ以上の睡眠サイクルと共に睡眠している場合、システムは、ユーザの睡眠ステージを監視し、無呼吸イベントまたは呼吸低下イベントについてチェックすることができる。このようなシステムは、任意の車両において実装することができる(例えば、運転者を含む非自律型車両中、カーシェアリングサービスまたはタクシーサービスまたは寝台/睡眠エリアのある車両(例えば、トラック、列車、飛行機)の一部としての自律型車両中)。
覚醒のためのシステム
ユーザが自律型車両のオーバーライドなどの安全決定または車線逸脱検出または眠気検出システムの一部として安全決定を行うようリクエストされた場合、覚醒の非接触感知を用いて、車載安全システムを増強することができる。このような眠気検出または疲労検出は、国際特許出願第PCT/AU2014/059311に記載の方法のいずれかを用いて行うことが可能である。
セキュリティ用途
不法入国は、税関および入国管理局や、刑務所当局、警察および貨物オペレーターにとって問題になっている。
車両用処理デバイス100による非接触感知は、(例えば車両の駐車時において)監視されている空間中の呼吸信号の存在を検出し、運転者および/または中央監視サービスに対してアラートを生成するように構成され得ることが分かっている。本システムは、(干渉を回避するために感知信号を変更できるように感知信号に影響を及ぼす)マスキング信号および/または干渉信号を検出するように、構成され得る。よって、システムの処理デバイスは、呼吸信号を正確に検出する化または他の場合に干渉検出時において感知障害を報告し得る。本システムは、固有のバイオメトリックシグネチャの検出によって人のバイオメトリック特定を行うマルチパスモーダル挙動から恩恵を受けることができる。このようなシグネチャは、車室によって影響を受け得る(例えば、システムは、(スイミングプール表面上の波紋の検出に類似する)感知空間中の残響の原因となる感知信号を選択することができる)。
車両保護
車両中のバイタルサイン監視を用いて、車両中への侵入を確認し、他の侵入センサ(例えば、ドア接触スイッチおよび車アラームシステム)と協働させることができる。
人の保護(子供または乳児)またはペットの車両内置き去り
上記したように、最近空になった車両または空になったと意図される車両中の呼吸および心拍数の検出により、子供または乳児またはペットが偶然に車両中に置き去られた場合にアラートを処理デバイスによって生成することができる。次に、車両用処理デバイスは、(盗難防止のために)車両を自動的に固定するための1つ以上の車両制御信号(単数または複数)を生成するか、または、救助到着までに乗員を保護するためにシステム(例えば、換気、冷却または暖房)を連動させることができる。
バーチャルヘルプエージェントを介したユーザへの自動フィードバック
簡単なスクリプト型またはツリーベースの質問/回答のアプローチと対照的に、処理デバイスを完全パーソナル型バーチャルエージェントアプリケーションを実装することにより、マルチモーダル信号(例えば発話認識のための自然言語処理を含む)マルチモーダル信号の処理をアドバイス送達のためのディープラーニングアプローチを用いて行うことができる。
特にユーザのデータおよびシステム/ユーザ間の任意の対話の保存に関連して、問題が発生する(例えば、シェア型車両システムを用いたものの場合におけるデータ保存のセキュリティ)。このデータのうち少なくとも一部(例えば、(医療アドバイスを含み得る)アドバイスのユーザへの送達)を(従来のデータベースの代わりに)ブロックチェーンを介してイネーブルすれば、この問題に対処することができる。ブロックチェーンの基本は、分散型ネットワークコンセンサスを暗号法と共に用いたものであり、これによりデジタルイベント(例えば、アドバイス送達、このアドバイスの通知のためのデータ)の変更が不能になり、ハック耐性も高くなる。例えば、これにより、異種のモノのインターネット(IoT)センサ間の完全性を確保することが可能になり、特に、相互運用性が信頼および共同説明責任と共に可能になる。その結果、分散型の健康情報交換が可能になり、システム管理の必要が低下する。ユーザに対し、対話−例えば医師との対話におけるプライバシーを保証することが可能になる。
調査目的のための匿名データの共有については、ブロックチェーンの場合、事前既定されたユーザのアクセスを用いて管理用フィーチャを特定することができるため、医療(および/または保護された健康情報)へのアクセスおよび暗号化データの変更不能型保存が可能になる。
これらの恩恵を提供することが可能な数種類のブロックチェーンがある(例えば、公的、コンセンサス、およびプライベートブロックチェーン)ことが分かる。
公的ブロックチェーンは、クリプトエコノミクスの考え方(例えば、プルーフオブワークおよびプルーフオブステーク)に基づいて、定義上は誰でも利用することが可能である。コンセンサスおよびプライベートブロックチェーンの場合、ユーザアクセスは制限されるものの、ブロックチェーンから提供される真正性の部分的保証の一部または大部分が一定または少しの分散化によって維持される。コンセンサス(基本的にはハイブリッド)のブロックチェーンの場合、複数の健康関連企業およびウェルネス企業が特定の医療プロバイダーと協働して医療アドバイスサービスを送達し、IoTおよび他の感知デバイスと、人工知能(AI)および機械学習(ML)に基づいたアドバイスエンジンと、ユーザ/医師間のスマート契約(同一ブロックチェーン上における支払)とを繋げることにより、目標とする治療を送達させることができる。
パワーナップ
システムの処理デバイス100は、スマートナップをアシストする昼寝機能を備えるようにプログラムすることができ、この機能は、人がベッドに横臥しているとき、車両のシートに横臥しているときに関係なく提供される。例えば、ユーザは、デバイスに対して「僕/私は今から昼寝をするよと」声をかけることができる。次に、対話型オーディオデバイスは、当該ユーザが眠りに落ちることを可聴的に支援することができ、その後、睡眠および/または時間の監視により、予測される利用可能な時間、現在の睡眠不足の推定、時刻およびユーザリクエストに基づいて適切な昼寝の継続時間に誘導する。例えば、昼寝の継続時間は、ターゲット継続時間(例えば、20分間、30分間、60分間または90分間(フル睡眠サイクル))に最適化され得る。60分間の昼寝は、深眠を最適化するためのものであり、終了時において任意の睡眠慣性からの回復のための一定の時間が許容される一方、20分間および30分間のターゲット時間は、まだ浅眠段階にあるときにユーザを覚醒させるかまたは深眠に入る1〜2分間よりも前にユーザを覚醒させるように最適化される。昼寝時間に加えて、睡眠(昼寝)前の覚醒時間も記録される。
ユーザの最近の睡眠が通常通りである場合、20〜25分間の昼寝の方が、90分間のフル睡眠サイクルよりも好適であり得る。なぜならば、長時間になると、その日の夜の睡眠に影響が出る可能性があるからである。
システムの処理デバイス100を備えているかまたはシステムの処理デバイス100として機能する自律型車両の場合、ユーザは、昼寝を(例えば昼食の頃に)デバイスに依頼することができる。車両は到着してユーザからこれを収集し、(一定期間の間静かに走行するかまたは安全な駐車場所を見つけることにより)ユーザの昼寝環境を整えることができる。これを行うのは当該人物の食事の前でも後でもよいが、できればランチ後の昼寝の方が好ましい理由として、消化時間の確保がある(が、呑酸の可能性低減のためには10〜20分間などの短時間が必要になり得る)。
例示的な車両処理アプリケーション
処理デバイス100mの例示的な制御処理方法について、図8を参照して検討する。802において、処理デバイスは、例えば上記したような動き感知方法により、車両車室中の存在を感知または検出し得る。804において、車両乗員数が決定され得る。806において、決定された車両乗員について、処理デバイス806は、例えば上記したような動き感知技術から導出されたバイオメトリック特性を用いて、各乗員の特定を試行し得る。810において、処理デバイスは、他の車両用センサからのデータまたは信号へアクセスし得る(例えば、ドア閉鎖状態センサ、シートベルト状態センサ、無線鍵/キーフォブの検出)。センサおよび/または動き感知に基づいて、812において、処理デバイスは、車両がロックされたかロックされている状態にあると決定し、乗員はいないと予測される。814において、処理デバイスは、感知された生理学的信号(例えば、子供または幼児のものだと見られる範囲内の呼吸および/または心臓信号)に基づいて、子供および/または幼児のみが車両を占有していることを検出する。あるいは、816において、乗員は検出されたが認識されない場合、処理デバイスは、権限付与されていない存在(侵入者または密航者)を決定し得る。816または814における決定に基づいて、処理デバイスは、例えばアラート(例えば、アラームまたは通信)をトリガするための出力を生成する。820において、処理デバイスは、先ほどの決定に基づいて、例えば車両制御システムに侵入者または密航者の場合に車両をディセーブルさせる1つ以上の制御信号などの出力を発生させることもできる。任意選択的に、820において、子供/幼児の置き去りが検出された場合、車両制御システムへ生成された出力は、例えば車両環境制御(例えば、換気および/または温度制御)を起動させるための制御信号であり得る。
822において、処理デバイスは、例えばキーフォブ検出および/またはバイオメトリック特定により、権限付与されている人によって車両が使用/占有されていることを決定する。824において、例えば上記した方法によりディープラーニング心臓呼吸分析を行う。次に、処理デバイスは、上記したように睡眠分析/検出プロセスを824において作動させ、疲労/覚醒検出プロセスを828において作動させかつ/または医療スクリーニング/サービスプロセスを830において作動させる(例えば、本明細書中に記載の動き感知技術の使用)。832において、処理デバイスは、例えば処理デバイスへ接続されたスピーカおよびマイクロフォンを用いたユーザとオーディオ/視覚双方向通信(例えば、AIプロセスおよび/またはチャットボット)との連動により、826、828および830における検出プロセスに基づいて出力を任意選択的に生成し得る。さらに、834において、処理デバイスは、826、828および830における双方向通信および/またはプロセスに基づいて、例えば車両制御システムの動作の設定またはリクエストのための1つ以上の制御信号などの出力を任意選択的に発生させ得る(例えば、車両の動態、車室近隣の照明状態の調節、エレクトロクロミックガラスの透明度の調節、車室近隣のシートの動態、制動パラメータの調節、加速パラメータの調節、サスペンション設定の調節、窓被覆率の調節、音響バリアの調節、車両の固定、車両換気の連動および/または車両車室冷却/暖房システムの連動)。さらに、834および/または832において、データ(例えば、826、828、830および832において行われた検出の性質)の通信のための出力が生成され得る。任意選択的に、836において、検出された状態に関するデータが、例えばセキュアな様態で記録され得る。例えば、データは、836におけるブロックチェーンプロセスによって保存され得る。
図9は、例えばオーディオベースの感知のために本技術の車両用処理デバイスによって実行され得るさらなる例示的プロセスを示す。任意選択的に902において、車両用処理デバイス(例えば、車両のハウジング(例えば、ダッシュボード)中のオーディオ娯楽システム)は、処理アプリケーションのダウンロードを処理デバイスの1つ以上のプロセッサによって実行される制御命令と共に受信し得る。902において、処理デバイスは、システムのスピーカ/マイクロフォンの能力をチェックし得る(例えば、低周波超音波感知信号の生成および受信する能力の確認)。904において、セットアップ処理が処理デバイスによって実行されて、音響感知のためのパラメータが決定される。これは、多様な音響感知信号の生成および感知を任意選択的に含み得る。例えば、906において、上記したようなオーディオプロービングシーケンスを生成して、車両の内部領域(車室)をマップすることができる。任意選択的に、908において、特定の車両および感知システムの既知の感知特性(マップ)に基づいて、事前構成された値がアクセスされ得る。
これらのプロセスの後、処理デバイスは、例えば910における車両車室内の1人以上の人の検出により、感知信号の生成および受信を制御し得る。このような感知は、生理学的特性(例えば、心臓動きおよび/または呼吸動き)の検出のための動きの検出および/または検出された動きの分析に基づき得る。このような検出は、人によって占有されている車室の特定位置の同定として機能し得る。このような検出が確認されると、処理デバイスは、1つ以上のプロセスを起動させ得る。例えば、912において、処理デバイスは、周囲車両ノイズまたは環境中の他の音(例えば、音楽音声)を例えばマイクロフォンによって検出し得る。このような音は、上記したような感知信号のフィルタリングまたは調節のための情報として機能し得る。914において、処理デバイスは、例えば車両制御システムセンサまたは車両センサへのアクセスにより、天候制御システム設定を決定し得る。このような情報は、上記したような感知信号のフィルタリングまたは調節のための情報としても機能し得るし、あるいは特性解析のための生理学的動態信号の評価の支援としても機能し得る。916において、処理デバイスは、他の車両センサ情報へアクセスし得る(例えば、ステアリングホイール角度、加速装置/ブレーキペダル設定、シートベルト状態の決定)。このような情報は、上記したような感知信号のフィルタリングまたは調節のための情報としても機能し得るし、あるいは特性解析のための生理学的動態信号の評価の支援としても機能し得る。918において、他のセンサ(例えば、シャシーレベル、スロットル、サスペンション、ドライブトレーン、モータセンサ)がアクセスされ得る。このような情報は、上記したような感知信号のフィルタリングまたは調節のための情報としても機能し得るし、あるいは特性解析のための生理学的動態信号の評価の支援としても機能し得る。920において、処理デバイスは、上記した詳細のいずれかに従って、生理学的感知(例えば、アコースティックサウンド生成ソナーを用いたもの)およびこのような感知によって検出される動きの特性解析を行い得る。
図10は、例えば半自律型車両または自律型車両における感知のために本技術の車両用処理デバイスによって実行され得るさらなる例示的プロセスを示す。1002において、車両用処理デバイスは、車両へのユーザの進入を検出する。1004において、例えば処理デバイスからの対話型のクエリ(例えば、自然言語処理)に応答して、ユーザは、監視サービスまたはスクリーニングサービスを選択するよう促される。1006において、ユーザがまだ覚醒しているときに、処理デバイスは、本明細書中に記載のプロセスによって感知を開始して、覚醒時の生理学的特性を検出し得る。このようなプロセスは、例えば呼吸同調を用いた睡眠誘導提示を任意選択的に含む。1008において、処理デバイスは、睡眠分析(例えば、ステージ検出)を行い得るか、または他の場合に睡眠を検出し得る。1008において、処理デバイスは、昼寝プロセス(例えば、パワーナップ)を上記したように制御し得る。1010、1012および1014において、車両用処理デバイスは、健康スクリーニングを任意選択的に行い得る。例えば、任意選択の睡眠障害呼吸検出プロセス1014において、SDBイベントが上記したような動きおよび/または音感知を介して検出され得る。任意選択的に、呼吸スクリーニング検出プロセス1012において、例えば慢性疾患状態(例えば、心不全の悪化)の検出のために、上記したような動きおよび/または音感知を介して呼吸が監視され得る。任意選択的に、心臓スクリーニング検出プロセス1010において、例えば慢性疾患状態(例えば、心不全の悪化)または他の心臓関連発生の検出のために、上記したような動きおよび/または音感知を介して心臓情報が監視され得る。
1016において、処理デバイスは、スクリーニングプロセス(単数または複数)のうちいずれかの検出に基づいて出力を生成し得る。本明細書中により詳細に述べるように、このような出力は、1つ以上の車両関連の制御信号および/またはこれらのプロセスのいずれかの検出を示すデータであり得る。1018において、検出データは、ブロックチェーン記録プロセスによって確保される。1020において、任意選択の支払サービスが、例えばスクリーニングの料金請求に関連して通貨振替の準備を行い得る。この料金請求は、ブロックチェーンデータ中に記録された結果および/または取引に基づき得る。1022において、処理デバイスは、このような結果をヘルスケアプロバイダーまたは緊急健康サービスへ通信し得る。任意選択的に、1024において、処理デバイスは、医療機関(例えば、クリニックまたは病院)とサービスについて通信し得る。
図11は、睡眠サービスまたは昼寝サービスの例示的プロセスを示す。このプロセスは、ガイド付きのリラックス呼吸エクササイズを提供し得、シート中のモータ/サーボ/アクチュエータを任意選択的に用いて、キューまたは触覚フィードバックとして機能し得る。1102において、例えば車両用処理デバイスによる音声コマンド認識および/または存在検出により、パーソナル型睡眠サービスが起動される。1104において、処理デバイスは、荷重構成を検出し得、バイオメトリック特定を任意選択的に行い得る。1106において、例えばバイオメトリック特定に基づいてアクセスされた既存のユーザパラメータを満たすための車両能力およびセンサ能力が決定される。1108において、例えば所望の長さの睡眠時間パラメータを決定するために、昼寝/睡眠プランが開始され得る。1110において、ナビゲーションシステムは、睡眠パラメータ(例えば、地形情報、距離情報、睡眠および旅行時間情報、天候情報および交通情報)に基づいて、目的地およびルートを計算し得る。このような目的地は、ユーザから任意選択的に提供され得る。任意選択的に、計算されたルートを介してこのような目的地への到着は、自律型車両動作制御システムによって制御され得る。1112および1114において、車室環境が例えば車両環境制御システムによって制御される。上記したように、このような制御を挙げると、温度、空気、湿度および光の調節がある。1116において、例えば呼吸同調により例えば発生された音、触覚(例えば、シート調節)および視覚出力により、睡眠誘導またはリラックス誘導提示が行われる。1118において、処理デバイスは、車両動作制御システムを介して、シート特性を調節して、シートをユーザにとって快適な位置およびフォーメーションへ移動させ得る。1120において、処理デバイスは、例えばノイズキャンセレーションおよびノイズマスキング生成(例えば、ホワイトノイズ)により、車両中の光および音にさらに適応し得る。1122において、例えば睡眠、睡眠時間、睡眠スコア、睡眠ステージなどを決定するための本明細書中に記載のような感知動きにより、ユーザの睡眠追跡を処理デバイスによって行う。1124において、処理デバイスは、例えば事前決定された時間、睡眠ステージおよび目的地において、例えば車両中の音、シート動きおよび/または光調節の生成の制御により、ユーザを覚醒させるための出力を生成し得る。
5.2 他の注意事項
本特許文書の開示の一部は、著作権保護が与えられる内容を含む。著作権所有者は、何者かが本特許文書または本特許開示をファックスにより再生しても、特許庁の特許ファイルまたは記録に記載されるものであれば目的のものであれば異論は無いが、その他の目的については全ての著作権を保持する。
他に文脈から明確に分かる場合および一定の範囲の値が提供されていない限り、下限の単位の1/10、当該範囲の上限と下限の間、および記載の範囲の他の任意の記載の値または介入値に対する各介入値は本技術に包含されることが理解される。介入範囲中に独立的に含まれるこれらの介入範囲の上限および下限が記載の範囲における制限を特に超えた場合も、本技術に包含される。記載の範囲がこれらの制限のうち1つまたは双方を含む場合、これらの記載の制限のいずれかまたは双方を超える範囲も、本技術に包含される。
さらに、本明細書中に値(単数または複数)が本技術の一部として実行される場合、他に明記無き限り、このような値が近似され得、実際的な技術的具現例が許容または要求する範囲まで任意の適切な有効桁までこのような値を用いることが可能であると理解される。
他に明記しない限り、本明細書中の全ての技術用語および科学用語は、本技術が属する分野の当業者が一般的に理解するような意味と同じ意味を持つ。本明細書中に記載の方法および材料に類似するかまたは等しい任意の方法および材料を本技術の実践または試験において用いることが可能であるが、限られた数の例示的な方法および材料が本明細書中に記載される。
特定の材料が構成要素の構築に好適に用いられるものとして記載されているが、特性が類似する明白な代替的材料が代替物として用いられる。さらに、それとは反対に記載無き限り、本明細書中に記載される任意および全ての構成要素は、製造可能なものとして理解されるため、集合的にまたは別個に製造され得る。
本明細書中及び添付の特許請求の範囲において用いられるように、単数形である「a」、「an」および「the」は、文脈から明らかにそうでないことが示されない限り、その複数の均等物を含む点に留意されたい。
本明細書中に記載される公開文献は全て、これらの公開文献の対象である方法および/または材料の開示および記載、参考のために援用される。本明細書中に記載の公開文献は、本出願の出願日前のその開示内容のみのために提供するものである。本明細書中のいずれの内容も、本技術が先行特許のためにこのような公開文献に先行していないと認めるものと解釈されるべきではない。さらに、記載の公開文献の日付は、実際の公開文献の日付と異なる場合があり、個別に確認が必要であり得る。
「comprises」および「comprising」という用語は、要素、構成要素またはステップを非排他的な意味合いで指すものとして解釈されるべきであり、記載の要素、構成要素またはステップが明記されていない他の要素、構成要素またはステップと共に存在、利用または結合され得ることを示す。
詳細な説明において用いられる見出しは、読者の便宜のためのものであり、本開示または特許請求の範囲全体において見受けられる内容を制限するために用いられるべきではない。これらの見出しは、特許請求の範囲または特許請求の範囲の制限の範囲の解釈において用いられるべきではない。
本明細書中の技術について、特定の実施例を参照して述べてきたが、これらの実施例は本技術の原理および用途を例示したものに過ぎないことが理解されるべきである。いくつかの場合において、用語および記号は、本技術の実施に不要な特定の詳細を示し得る。例えば、「第1の」および「第2の」(など)という用語が用いられるが、他に明記無き限り、これらの用語は任意の順序を示すことを意図しておらず、別個の要素を区別するために用いられる。さらに、本方法におけるプロセスステップについての記載または例示を順序付けて述べる場合があるが、このような順序は不要である。当業者であれば、このような順序が変更可能でありかつ/またはその態様を同時にまたはさらに同期的に行うことが可能であることを認識する。
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである。

Claims (89)

  1. プロセッサにより実行可能な命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサにより実行可能な命令は、電子デバイスのプロセッサによって実行されると、前記プロセッサに車両の車室近隣において感知されたデータを処理させて、前記プロセッサにユーザの生理学的動態を検出させ、前記プロセッサにより実行可能な命令は、
    車両の車室近隣における感知信号の生成を制御せよとの命令と、
    前記車両の車室近隣からの反射信号のセンサによる感知を制御せよとの命令と、
    前記感知された反射信号の少なくとも一部および前記感知信号の少なくとも一部を示す信号を用いて生理学的動態信号を導出せよとの命令と、
    前記導出された生理学的動態信号の少なくとも一部の評価に基づいた出力を生成せよとの命令と
    を含む、プロセッサにより読取可能な媒体。
  2. 前記感知信号は、前記電子デバイスと接続された無線周波数送信器によって発生された無線周波数感知信号、前記電子デバイスと接続されたスピーカによって発生された音響感知信号、および前記電子デバイスと接続された赤外線放射体によって発生された赤外線感知信号のうちいずれか1つ以上である、請求項1に記載のプロセッサにより読取可能な媒体。
  3. 前記感知信号の一部を示す信号は、内部発生したオシレータ信号またはダイレクトパス測定音信号を含む、請求項1〜2のいずれか一項に記載のプロセッサにより読取可能な媒体。
  4. 前記生理学的動態信号を導出せよとの命令は、オシレータ信号を前記感知された反射信号の一部で乗算するように構成される、請求項1〜2のいずれか一項に記載のプロセッサにより読取可能な媒体。
  5. 前記導出された生理学的動態信号は、前記車室近隣内のユーザの呼吸動き、全身動きまたは心臓動きのうち1つ以上を含む、請求項1〜4のいずれか一項に記載の、プロセッサにより読取可能な媒体。
  6. 前記導出された生理学的動態信号の評価は、呼吸速度、呼吸の振幅、呼吸の相対的振幅、心拍数、心臓振幅、および相対的心臓振幅のうち任意の1つ以上を決定することを含む、請求項1〜5のいずれか一項に記載のプロセッサにより読取可能な媒体。
  7. 前記プロセッサにより実行可能な命令は、1つ以上の車両センサからの信号に基づいて車両特性を感知せよとの命令と、感知された車両特性に基づいて出力を生成せよとの命令とを含む、請求項1〜6のいずれか一項に記載のプロセッサにより読取可能な媒体。
  8. 前記プロセッサにより実行可能な命令は、1つ以上の車両センサからの信号に基づいて車両特性を感知せよとの命令と、前記感知された車両特性に基づいて前記生成された感知信号の少なくとも一部を調節せよとの命令とを含む、請求項1〜7のいずれか一項に記載のプロセッサにより読取可能な媒体。
  9. 前記感知された車両特性は、車速、ドア開口状態、窓開口状態、エンジン回転数、車両位置、シート占有、シートベルト着用状態、シート位置、ステアリングホイールグリップ状態、ステアリングホイール角度、空調システム状態、ファン設定、ブレーキ設定、アクセスペダル設定、車室照明、車室ノイズおよび/または車室温度のうちいずれか1つ以上を含む、請求項7〜8のいずれか一項に記載のプロセッサにより読取可能な媒体。
  10. 前記電子デバイスへ接続されたマイクロフォンを介して感知された可聴型口頭通信を評価せよとのプロセッサにより実行可能な命令をさらに含み、前記導出された生理学的動態信号の評価に基づいた、生成された出力は、前記感知された可聴型口頭通信にさらに基づく、請求項1〜9のいずれか一項に記載のプロセッサにより読取可能な媒体。
  11. 前記生成された感知信号の少なくとも一部は、実質的非可聴音レンジ内の音声信号である、請求項1〜10のいずれか一項に記載のプロセッサにより読取可能な媒体。
  12. 前記音声信号は、低周波超音波音響信号である、請求項11に記載のプロセッサにより読取可能な媒体。
  13. 前記音声信号は、デュアルトーン周波数変調連続波信号である、請求項12に記載のプロセッサにより読取可能な媒体。
  14. 前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸周波数変化と少なくとも部分的に重複された第1の鋸周波数変化を含む、請求項13に記載のプロセッサにより読取可能な媒体。
  15. 前記電子デバイスは、複数のスピーカを含むオーディオ娯楽システムを含み、前記電子デバイスは、異なる生理学的動態信号を導出するように構成され、各導出された生理学的動態信号は、前記複数のスピーカの異なるスピーカと関連付けられる、請求項10〜14のいずれか一項に記載のプロセッサにより読取可能な媒体。
  16. 前記感知信号の生成を制御せよとの命令により、前記複数のスピーカの各異なるスピーカについて異なる感知周波数レンジにおいて感知信号が生成される、請求項15に記載のプロセッサにより読取可能な媒体。
  17. 前記車両の車室近隣からの前記反射信号の感知を制御よとの命令は、複数のマイクロフォンを用いることにより反射信号の感知を制御する、請求項1〜16のいずれか一項に記載のプロセッサにより読取可能な媒体。
  18. 前記車室近隣の前記ユーザの睡眠を阻止するかまたは促すための音声提示をスピーカにより生成するように前記電子デバイスを制御せよとのプロセッサにより実行可能な命令をさらに含む、請求項1〜17のいずれか一項に記載のプロセッサにより読取可能な媒体。
  19. 前記音声提示は、呼吸同調エクササイズを含む、請求項1〜18のいずれか一項に記載のプロセッサにより読取可能な媒体。
  20. 前記電子デバイスは、車両ナビゲーションシステムを含む、請求項1〜19のいずれか一項に記載のプロセッサにより読取可能な媒体。
  21. 前記電子デバイスのプロセッサにより実行可能な命令は、前記導出された生理学的動態信号の評価からの前記出力に基づいて、前記車両ナビゲーションシステムへ提供されるナビゲーションルートのためのパラメータを設定するように構成される、請求項20に記載のプロセッサにより読取可能な媒体。
  22. 前記電子デバイスは、半自律型または自律型の車両動作制御システムを含む、請求項1〜21のいずれか一項に記載のプロセッサにより読取可能な媒体。
  23. 前記電子デバイスのプロセッサにより実行可能な命令は、前記導出された生理学的動態信号の評価からの前記出力に基づいて、前記車両の動態、前記車室近隣の照明状態の調節、エレクトロクロミックガラスの透明度の調節、前記車室近隣のシートの動態、制動パラメータの調節、加速パラメータの調節、サスペンション設定の調節、窓被覆率の調節、音響バリアの調節、前記車両の固定(immobilization)、車両換気の連動および/または車両車室冷却/暖房システムの連動のうちいずれか1つ以上を制御するように構成される、請求項22に記載のプロセッサにより読取可能な媒体。
  24. 前記導出された生理学的動態信号の部分の評価は、眠気、疲労状態、睡眠ステージおよび睡眠ステージにおける時間および/または睡眠スコアの計算のうちいずれか1つ以上の検出を含む、請求項1〜23のいずれか一項に記載のプロセッサにより読取可能な媒体。
  25. 前記導出された生理学的動態信号の部分についての前記電子デバイスによる評価は、呼吸健康関連パラメータ、睡眠障害呼吸関連パラメータおよび/または心臓健康関連パラメータの1つ以上の検出を含む、請求項1〜24のいずれか一項のいずれか一項に記載のプロセッサにより読取可能な媒体。
  26. 前記導出された生理学的動態信号の部分の評価は、ジェスチャーの検出を含む、請求項1〜25のいずれか一項に記載のプロセッサにより読取可能な媒体。
  27. 前記生成された感知信号は、可聴型ホワイトノイズとして生成された超広帯域(UWB)音感知信号を含む、請求項1〜26のいずれか一項に記載のプロセッサにより読取可能な媒体。
  28. 前記車室近隣内の距離をマップするためにセットアッププロセスにおいてプロービング信号を発生させよとのプロセッサにより実行可能な命令をさらに含む、請求項1〜27のいずれか一項に記載のプロセッサにより読取可能な媒体。
  29. 前記導出された生理学的動態信号の部分に基づいて前記車室近隣のユーザの存在または不在を検出せよとのプロセッサにより実行可能な命令をさらに含む、請求項1〜28のいずれか一項に記載のプロセッサにより読取可能な媒体。
  30. 前記導出された生理学的動態信号の部分に基づいて前記車室近隣のユーザのバイオメトリック認識を行う旨のプロセッサにより実行可能な命令をさらに含む、請求項1〜29のいずれか一項に記載のプロセッサにより読取可能な媒体。
  31. 前記出力は、前記バイオメトリック認識に基づき、(a)アラートを生成すること、および(b)前記車両の車両動作制御システムのイネーブルおよびディセーブルを制御することのうち少なくとも1つを含む、請求項30に記載のプロセッサにより読取可能な媒体。
  32. 前記電子デバイスへ接続されたマイクロフォンによって感知された音信号をフィルタリングせよとのプロセッサにより実行可能な命令をさらに含み、前記フィルタは、車両音を軽減するように構成される、請求項1〜31のいずれか一項に記載のプロセッサにより読取可能な媒体。
  33. 前記車両音は、モータノイズ、風音、車両警告音、ドア閉鎖およびインフォテイメント音のうち1つ以上を含む、請求項32に記載のプロセッサにより読取可能な媒体。
  34. 前記導出された生理学的動態信号の部分についての電子デバイスによる評価は、前記導出された生理学的動態信号の分類を含み、前記分類により、ディープビリーフネットワークによって前記導出された生理学的動態信号から決定されたフィーチャが評価される、請求項1〜33のいずれか一項に記載のプロセッサにより読取可能な媒体。
  35. 前記導出された生理学的動態信号の部分についての前記電子デバイスによる評価は、前記車室近隣に子供が独りで残っていることの決定を含み、前記出力は、(a)生成された警告、または(b)前記車両動作制御システムが前記車室近隣の換気および/または温度状態を開始させることを含む、請求項1〜34のいずれか一項に記載のプロセッサにより読取可能な媒体。
  36. 前記導出された生理学的動態信号に基づいたデータをブロックチェーンデータシステムに記録する旨のプロセッサにより実行可能な命令をさらに含む、請求項1〜35のいずれか一項に記載のプロセッサにより読取可能な媒体。
  37. チャットボットプログラムを通じて対話形言語プロセスとして出力を発生させる旨のプロセッサにより実行可能な命令をさらに含む、請求項1〜36のいずれか一項に記載のプロセッサにより読取可能な媒体。
  38. 前記電子デバイスは、ハンドヘルド処理デバイスを含む、請求項1〜37のいずれか一項に記載のプロセッサにより読取可能な媒体。
  39. 前記電子デバイスは、1つ以上の車両の一体化コンポーネントまたは車両用処理デバイスを含む、請求項1〜38のいずれか一項に記載のプロセッサにより読取可能な媒体。
  40. 前記電子デバイスは、オーディオ娯楽システムを含み、前記感知信号の少なくとも一部は、オーディオ娯楽コンテンツ信号と組み合わされ、前記組み合わせられた感知信号およびオーディオ娯楽コンテンツ信号は、前記オーディオ娯楽システムの1つ以上のスピーカによって生成される、請求項39に記載のプロセッサにより読取可能な媒体。
  41. 請求項1〜40のいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して電子デバイスまたは車両用処理デバイスへダウンロードせよとのリクエストを受信するように構成される、サーバ。
  42. 電子デバイスであって、車両の車室近隣において動作するセンサに接続するように配置された1つ以上のプロセッサと、(a)請求項1〜40のいずれか一項に記載のプロセッサにより読取可能な媒体または(b)請求項41に記載のサーバのプロセッサにより実行可能な命令へアクセスするように構成された、プロセッサにより読取可能な媒体とを含む、電子デバイス。
  43. 前記センサは、(a)スピーカおよびマイクロフォン、(b)赤外線放射体および検出器または(c)無線周波数トランシーバのうち少なくとも1つを含む、請求項42に記載の電子デバイス。
  44. 前記電子デバイスは、1つ以上の車両の一体化コンポーネントまたは車両用処理デバイスを含む、請求項42〜43のいずれか一項に記載の電子デバイス。
  45. 前記電子デバイスは、車両オーディオ娯楽システム、車両ナビゲーションシステム、半自律型または自律型の車両動作制御システムのうちいずれか1つ以上を含む、請求項44に記載の電子デバイス。
  46. 少なくとも1つのポータブルコンポーネントをさらに含む、請求項42〜45のいずれか一項に記載の電子デバイス。
  47. 前記少なくとも1つのポータブルコンポーネントは、スマートフォン、スマートウォッチまたはスマートジュエリーを含む、請求項46に記載の電子デバイス。
  48. 請求項1〜40のいずれか一項に記載の前記プロセッサにより読取可能な媒体へ、または請求項42〜47のいずれか一項に記載の前記電子デバイスへアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して前記電子デバイスへダウンロードせよとのリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサにより実行可能な命令を前記電子デバイスへ送信することとを含む、方法。
  49. 電子デバイスのプロセッサの方法であって、
    請求項1〜40のいずれか一項に記載の前記プロセッサにより読取可能な媒体に前記プロセッサからアクセスすることと、
    前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令を前記プロセッサにおいて実行することと
    を含む、方法。
  50. 車両の車室近隣におけるユーザの生理学的動態を検出するための電子デバイスの1つ以上のプロセッサの方法であって、前記方法は、
    前記車両の車室近隣における感知信号の生成を制御することと、
    前記車両の車室近隣からの反射信号のセンサによる感知を制御することと、
    前記感知された反射信号の少なくとも一部および前記感知信号の少なくとも一部を示す信号を用いて生理学的動態信号を導出することと、
    前記導出された生理学的動態信号の少なくとも一部の評価に基づいた出力を発生させることと
    を含む、方法。
  51. 前記感知信号は、前記電子デバイスと接続された無線周波数送信器によって生成された無線周波数感知信号、前記電子デバイスと接続されたスピーカによって生成された音響感知信号、および前記電子デバイスと接続された赤外線放射体によって生成された赤外線感知信号のうちいずれか1つ以上である、請求項50に記載の方法。
  52. 前記感知信号の一部を示す信号は、内部発生したオシレータ信号またはダイレクトパス測定信号を含む、請求項50〜51のいずれか一項に記載の方法。
  53. 前記生理学的動態信号を導出することは、オシレータ信号を前記感知された反射信号の一部で乗算することを含む、請求項50〜52のいずれか一項に記載の方法。
  54. 前記導出された生理学的動態信号は、車室近隣内のユーザの呼吸動き、心臓動きまたは全身動きのうち1つ以上を含む、請求項50〜53のいずれか一項に記載の方法。
  55. 前記導出された生理学的動態信号の部分の評価は、呼吸速度、相対的呼吸振幅、呼吸振幅、心拍数、相対的心臓振幅および心臓振幅のうちいずれか1つ以上を決定することを含む、請求項50〜54のいずれか一項に記載の方法。
  56. 1つ以上の車両センサからの信号に基づいて車両特性を感知することと、前記感知された車両特性に基づいて前記出力を生成することと、をさらに含む、請求項50〜55のいずれか一項に記載の方法。
  57. 1つ以上の車両センサからの信号に基づいて車両特性を感知することと、前記感知された車両特性に基づいて前記生成された感知信号の少なくとも一部を調節することと、をさらに含む、請求項50〜56のいずれか一項に記載の方法。
  58. 前記感知された車両特性は、車速、ドア開口状態、窓開口状態、エンジン回転数、車両位置、シート占有、シートベルト着用状態、シート位置、ステアリングホイールグリップ状態、ステアリングホイール角度、空調システム状態、ファン設定、ブレーキ設定、アクセスペダル設定、車室照明、車室ノイズおよび/または車室温度のうちいずれか1つ以上を含む、請求項50〜57のいずれか一項に記載の方法。
  59. 前記電子デバイスへ接続されたマイクロフォンを介して、感知された可聴型口頭通信をさらに評価することを含み、前記導出された生理学的動態信号の部分の評価に基づいた生成された出力は、前記感知された可聴型口頭通信にさらに基づく、請求項50〜58のいずれか一項に記載の方法。
  60. 前記生成された感知信号の少なくとも一部は、実質的非可聴音レンジ内の音声信号である、請求項50〜59のいずれか一項に記載の方法。
  61. 前記音声信号は、低周波超音波音響信号である、請求項60に記載の方法。
  62. 前記音声信号は、デュアルトーン周波数変調連続波信号である、請求項61に記載の方法。
  63. 前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸周波数変化と少なくとも部分的に重複された第1の鋸周波数変化を含む、請求項62に記載の方法。
  64. 前記電子デバイスは、複数のスピーカを含むオーディオ娯楽システムを含み、前記電子デバイスは、異なる生理学的動態信号を導出し、各導出された生理学的動態信号は、前記複数のスピーカの異なるスピーカと関連付けられる、請求項59〜63のいずれか一項に記載の方法。
  65. 前記感知信号の生成を制御することにより、前記複数のスピーカの各異なるスピーカについて異なる感知周波数レンジにおいて感知信号が生成される、請求項64に記載の方法。
  66. 前記車両の車室近隣からの前記反射信号の感知を制御することは、複数のマイクロフォンの利用により反射信号の感知を制御することを含む、請求項50〜65のいずれか一項に記載の方法。
  67. 前記車室近隣の前記ユーザの睡眠を阻止するかまたは促すための音声提示をスピーカにより生成させるように前記電子デバイスを制御することをさらに含む、請求項50〜66のいずれか一項に記載の方法。
  68. 前記音声提示は、呼吸同調エクササイズを含む、請求項50〜67のいずれか一項に記載の方法。
  69. 前記電子デバイスは、車両ナビゲーションシステムを含む、請求項50〜68のいずれか一項に記載の方法。
  70. 前記電子デバイスは、前記導出された生理学的動態信号の部分の評価からの前記出力に基づいて、前記車両ナビゲーションシステムへ提供されるナビゲーションルートのためのパラメータを設定する、請求項69に記載の方法。
  71. 前記電子デバイスは、半自律型または自律型の車両動作制御システムを含む、請求項50〜70のいずれか一項に記載の方法。
  72. 前記電子デバイスは、前記導出された生理学的動態信号の評価からの前記出力に基づいて、前記車両の動態、前記車室近隣の照明状態の調節、エレクトロクロミックガラスの透明度の調節、前記車室近隣のシートの動態、制動パラメータの調節、加速パラメータの調節、サスペンション設定の調節、窓被覆率の調節、音響バリアの調節、前記車両の固定、車両換気の連動および/または車両車室冷却/暖房システムの連動のうちいずれか1つ以上を制御する、請求項71に記載の方法。
  73. 前記導出された生理学的動態信号の部分の評価は、眠気、疲労状態、睡眠ステージおよび睡眠ステージにおける時間および/または睡眠スコアの計算のうちいずれか1つ以上を検出することを含む、請求項50〜72のいずれか一項に記載の方法。
  74. 前記導出された生理学的動態信号の部分についての前記電子デバイスによる評価は、呼吸健康関連パラメータ、睡眠障害呼吸関連パラメータおよび/または心臓健康関連パラメータのうちいずれか1つ以上の検出を含む、請求項50〜73のいずれか一項のいずれか一項に記載の方法。
  75. 前記導出された生理学的動態信号の部分の評価は、ジェスチャーを検出する、請求項50〜74のいずれか一項に記載の方法。
  76. 前記生成された感知信号は、可聴型ホワイトノイズとして生成された超広帯域(UWB)音感知信号を含む、請求項50〜75のいずれか一項に記載の方法。
  77. 前記車室近隣内の距離をマップするためにセットアッププロセスにおいてプロービング信号をさらに発生させる、請求項50〜76のいずれか一項に記載の方法。
  78. 前記導出された生理学的動態信号に基づいて前記車室近隣のユーザの存在および不在を検出することをさらに含む、請求項50〜77のいずれか一項に記載の方法。
  79. 前記導出された生理学的動態信号に基づいて前記車室近隣のユーザのバイオメトリック認識を行うことをさらに含む、請求項50〜78のいずれか一項に記載の方法。
  80. 前記出力は、前記バイオメトリック認識に基づき、(a)アラートを生成することおよび(b)前記車両の車両動作制御システムのイネーブルおよびディセーブルを制御することのうち少なくとも1つを含む、請求項79に記載の方法。
  81. 前記電子デバイスへ接続されたマイクロフォンによって感知された音信号をフィルタリングすることをさらに含み、前記フィルタリングは、車両音を軽減するように構成される、請求項50〜80のいずれか一項に記載の方法。
  82. 前記車両音は、モータノイズ、風音、車両警告音、ドア閉鎖およびインフォテイメント音のうち1つ以上を含む、請求項81に記載の方法。
  83. 前記導出された生理学的動態信号の部分についての電子デバイスによる評価は、前記導出された生理学的動態信号を分類することを含み、前記分類することにより、ディープビリーフネットワークによって前記導出された生理学的動態信号から決定されたフィーチャが評価される、請求項50〜82のいずれか一項に記載の方法。
  84. 前記導出された生理学的動態信号の部分についての前記電子デバイスによる評価は、前記車室近隣内に独りで残っている子供の存在を決定することを含み、前記出力は、(a)生成された警告、または(b)前記車両動作制御システムが車両環境制御システムから提供される前記車室近隣の換気および/または温度状態を開始させることを含む、請求項50〜83のいずれか一項に記載の方法。
  85. 前記導出された生理学的動態信号に基づいたデータをブロックチェーンデータシステムに記録することをさらに含む、請求項50〜84のいずれか一項に記載の方法。
  86. チャットボットプログラムを通じて対話形言語プロセスとして出力を発生させることをさらに含む、請求項50〜85のいずれか一項に記載の方法。
  87. 前記電子デバイスは、ハンドヘルド処理デバイスを含む、請求項50〜86のいずれか一項に記載の方法。
  88. 前記電子デバイスは、1つ以上の車両の一体化コンポーネントまたは車両用処理デバイスを含む、請求項50〜87のいずれか一項に記載の方法。
  89. 前記電子デバイスはオーディオ娯楽システムを含み、前記感知信号の少なくとも一部は、オーディオ娯楽コンテンツ信号と組み合わせられ、前記組み合わせられた感知信号およびオーディオ娯楽コンテンツ信号は、前記オーディオ娯楽システムの1つ以上のスピーカによって生成される、請求項88に記載の方法。
JP2020534935A 2017-12-22 2018-12-21 車両内生理学的感知のための装置、システムおよび方法 Active JP7510346B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762609998P 2017-12-22 2017-12-22
US62/609,998 2017-12-22
PCT/EP2018/086765 WO2019122414A1 (en) 2017-12-22 2018-12-21 Apparatus, system, and method for physiological sensing in vehicles

Publications (2)

Publication Number Publication Date
JP2021508521A true JP2021508521A (ja) 2021-03-11
JP7510346B2 JP7510346B2 (ja) 2024-07-03

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220388661A1 (en) * 2021-06-03 2022-12-08 Honeywell International Inc. Methods and systems for identifying and addressing passenger issues in an aircraft

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141676A (ja) * 2001-11-02 2003-05-16 Pioneer Electronic Corp 車両自動誘導システム、車両自動誘導システムにおける制御装置、車両自動誘導方法および自動誘導処理プログラム。
JP2010067164A (ja) * 2008-09-12 2010-03-25 Denso Corp 緊急車両認知支援装置
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
JP2014200681A (ja) * 2013-04-06 2014-10-27 本田技研工業株式会社 車両内でのバイオメトリック識別を実行するシステム及び方法
JP2014235078A (ja) * 2013-06-03 2014-12-15 株式会社ニコン 車両誘導装置
WO2016093927A2 (en) * 2014-12-08 2016-06-16 University Of Washington Systems and methods of identifying motion of a subject
JP2016107095A (ja) * 2014-12-05 2016-06-20 公立大学法人首都大学東京 睡眠段階判定装置、睡眠段階判定方法、及び睡眠段階判定プログラム、並びにストレス度判定方法
JP2016145028A (ja) * 2015-01-08 2016-08-12 デルファイ・テクノロジーズ・インコーポレーテッド 車両内において付き添いのない占有者を検出し、安全対策を講じるシステムおよび方法
JP2017064338A (ja) * 2015-10-01 2017-04-06 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置並びに心拍波形抽出方法
JP2017100039A (ja) * 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 体調推定装置、体調推定システム及びプロセッサ
JP2017124058A (ja) * 2016-01-14 2017-07-20 株式会社Soken 心拍検出装置
JP2017174397A (ja) * 2016-03-18 2017-09-28 パナソニックIpマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141676A (ja) * 2001-11-02 2003-05-16 Pioneer Electronic Corp 車両自動誘導システム、車両自動誘導システムにおける制御装置、車両自動誘導方法および自動誘導処理プログラム。
JP2010067164A (ja) * 2008-09-12 2010-03-25 Denso Corp 緊急車両認知支援装置
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
JP2014200681A (ja) * 2013-04-06 2014-10-27 本田技研工業株式会社 車両内でのバイオメトリック識別を実行するシステム及び方法
JP2014235078A (ja) * 2013-06-03 2014-12-15 株式会社ニコン 車両誘導装置
JP2016107095A (ja) * 2014-12-05 2016-06-20 公立大学法人首都大学東京 睡眠段階判定装置、睡眠段階判定方法、及び睡眠段階判定プログラム、並びにストレス度判定方法
WO2016093927A2 (en) * 2014-12-08 2016-06-16 University Of Washington Systems and methods of identifying motion of a subject
JP2016145028A (ja) * 2015-01-08 2016-08-12 デルファイ・テクノロジーズ・インコーポレーテッド 車両内において付き添いのない占有者を検出し、安全対策を講じるシステムおよび方法
JP2017064338A (ja) * 2015-10-01 2017-04-06 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置並びに心拍波形抽出方法
JP2017100039A (ja) * 2015-12-01 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 体調推定装置、体調推定システム及びプロセッサ
JP2017124058A (ja) * 2016-01-14 2017-07-20 株式会社Soken 心拍検出装置
JP2017174397A (ja) * 2016-03-18 2017-09-28 パナソニックIpマネジメント株式会社 ジェスチャ入力システム及びジェスチャ入力方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220388661A1 (en) * 2021-06-03 2022-12-08 Honeywell International Inc. Methods and systems for identifying and addressing passenger issues in an aircraft
US11731763B2 (en) * 2021-06-03 2023-08-22 Honeywell International Inc. Methods and systems for identifying and addressing passenger issues in an aircraft

Also Published As

Publication number Publication date
US11707197B2 (en) 2023-07-25
WO2019122414A1 (en) 2019-06-27
CN111655135A (zh) 2020-09-11
US20200383580A1 (en) 2020-12-10
EP3727145B1 (en) 2024-01-24
KR20200104881A (ko) 2020-09-04
US20240023816A1 (en) 2024-01-25
EP3727145A1 (en) 2020-10-28
CN111655135B (zh) 2024-01-12
KR102649497B1 (ko) 2024-03-20

Similar Documents

Publication Publication Date Title
KR102649497B1 (ko) 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법
JP7202385B2 (ja) 健康および医療的感知のための装置、システムおよび方法
JP7464522B2 (ja) 動き感知のための装置、システムおよび方法
US10752252B2 (en) System and method for responding to driver state
CN110944878B (zh) 车辆乘员的生命体征的非接触式检测与监视***
EP3683623B1 (en) System and method for responding to driver state
JP7510346B2 (ja) 車両内生理学的感知のための装置、システムおよび方法
US12033485B2 (en) Apparatus, system, and method for motion sensing
KR20230143246A (ko) 차량 운전자를 위한 헬스 케어 시스템 및 방법

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A525

Effective date: 20200730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230901

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240621