WO2019124023A1 - 生体計測装置、生体計測方法、及び判定装置 - Google Patents

生体計測装置、生体計測方法、及び判定装置 Download PDF

Info

Publication number
WO2019124023A1
WO2019124023A1 PCT/JP2018/044173 JP2018044173W WO2019124023A1 WO 2019124023 A1 WO2019124023 A1 WO 2019124023A1 JP 2018044173 W JP2018044173 W JP 2018044173W WO 2019124023 A1 WO2019124023 A1 WO 2019124023A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
subject
living body
brain activity
light
Prior art date
Application number
PCT/JP2018/044173
Other languages
English (en)
French (fr)
Inventor
貴真 安藤
雅登 鈴木
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN201880063910.0A priority Critical patent/CN111148469B/zh
Priority to EP18891882.5A priority patent/EP3730054B1/en
Priority to CN202410348166.6A priority patent/CN118078291A/zh
Priority to JP2019560918A priority patent/JP7386440B2/ja
Publication of WO2019124023A1 publication Critical patent/WO2019124023A1/ja
Priority to US16/899,114 priority patent/US20200297270A1/en
Priority to JP2023187735A priority patent/JP2024028235A/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/363Detecting tachycardia or bradycardia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal

Definitions

  • the present disclosure relates to a living body measurement device, a living body measurement method, and a determination device.
  • Patent Document 1 discloses a method of determining whether or not the driver is falling asleep from the driver's steering wheel operation.
  • Patent Document 2 discloses a method of detecting an eye opening degree from an image obtained by photographing a driver with a camera, and determining whether the driver is falling asleep.
  • Patent Document 1 Japanese Patent Application Publication No. 2017-143889
  • the detection of the state of the subject requires the action of the subject, and the state that can be determined is limited.
  • the present disclosure provides a novel technique that enables determining various states of a subject without requiring the action of the subject.
  • a living body measurement apparatus includes a first detector that detects and outputs a brain activity signal indicating a state of brain activity of a subject, and a signal processing circuit.
  • the signal processing circuit acquires the brain activity signal, acquires a biological signal of the subject different from the brain activity signal, and the subject is based on the biological signal and the brain activity signal. It is determined whether the state of (1) is an awake state, a sleep state, or an unconscious state, and a signal indicating the state of the subject is generated and output.
  • the general or specific aspects of the present disclosure may be embodied in an apparatus, a system, a method, an integrated circuit, a computer program, or a storage medium.
  • the present invention may be realized as any combination of an apparatus, a system, a method, an integrated circuit, a computer program, and a storage medium.
  • various states of the subject can be determined by using brain activity information and other biological information.
  • FIG. 1A is a schematic view showing a biological measurement device according to an exemplary embodiment of the present disclosure.
  • FIG. 1B is a diagram showing an example of the temporal change of the light intensity reaching the image sensor.
  • FIG. 1C is a diagram showing the width of the input pulse light on the horizontal axis and the sensor detection light amount on the vertical axis.
  • FIG. 1D is a diagram showing an example of a schematic configuration of one pixel of the image sensor.
  • FIG. 1E is a diagram showing an example of the configuration of an image sensor.
  • FIG. 1F is a diagram showing an example of an operation in one frame.
  • FIG. 1G is a flowchart showing an outline of the operation of the control circuit.
  • FIG. 1A is a schematic view showing a biological measurement device according to an exemplary embodiment of the present disclosure.
  • FIG. 1B is a diagram showing an example of the temporal change of the light intensity reaching the image sensor.
  • FIG. 1C is a diagram showing the width of the input pulse light
  • FIG. 2 is a diagram for explaining a method of detecting an internal scattering component of pulse light.
  • FIG. 3A is a diagram showing an example of a timing chart in the case of detecting a surface reflection component.
  • FIG. 3B is a diagram showing an example of a timing chart in the case of detecting an internal scattering component.
  • FIG. 4A is a view schematically showing the relationship between human pulse rate, brain activity, and physical condition.
  • FIG. 4B is a view schematically showing the relationship between the amount of human sweating, the amount of brain activity, and the physical condition.
  • FIG. 4C is a view schematically showing the relationship between human body temperature, brain activity, and physical condition.
  • FIG. 4D is a view schematically showing the relationship between human respiration rate, brain activity, and physical condition.
  • FIG. 4A is a view schematically showing the relationship between human pulse rate, brain activity, and physical condition.
  • FIG. 4B is a view schematically showing the relationship between the amount of human sweating, the amount of brain
  • FIG. 5 is a view showing how a vital sign of a taxi passenger in automatic driving is detected by the biometric device.
  • FIG. 6 is a diagram showing another configuration example of the living body measurement apparatus.
  • FIG. 7 is a flowchart showing an example of the operation of the living body measurement apparatus.
  • FIG. 8 is a view showing another application example of the living body measurement apparatus.
  • FIG. 9 is a diagram showing still another application example of a living body measurement apparatus.
  • FIG. 10 is a view showing still another application example of a living body measurement apparatus.
  • FIG. 11A is a view showing a living body measurement device integrated with a head mounted display, which is another application example of the living body measurement device.
  • FIG. 11B is a view showing how the subject uses the living body measurement apparatus shown in FIG. 11A.
  • FIG. 11A is a view showing how a vital sign of a taxi passenger in automatic driving is detected by the biometric device.
  • FIG. 6 is a diagram showing another configuration example of the living body measurement apparatus.
  • FIG. 12 is a diagram showing still another application example of the living body measurement apparatus.
  • FIG. 13 is a diagram showing still another application example of the living body measurement apparatus.
  • FIG. 14 is a diagram showing still another application example of the living body measurement apparatus.
  • FIG. 15 is a diagram showing still another configuration example of the living body measurement apparatus.
  • the present disclosure includes the biological measurement device, the biological measurement method, and the determination device described in the following items.
  • a living body measurement apparatus detects a brain activity signal indicating a state of brain activity of a subject and outputs the first signal.
  • Signal processing circuit Equipped with
  • the signal processing circuit Acquire the brain activity signal, Acquiring a biological signal of the subject different from the brain activity signal; Based on the biological signal and the brain activity signal, it is determined whether the state of the subject is an awake state, a sleep state, or an unconscious state; The signal indicating the condition of the subject is generated and output.
  • the state of the subject can be determined more accurately than in the past.
  • the first detector may further detect and output the biological signal.
  • the living body measurement apparatus may further include a second detector that detects and outputs the biological signal.
  • the living body measurement apparatus includes: a light source that emits pulsed light to be irradiated on a head of the subject; Control circuit, And further The first detector detects at least a portion of the reflected pulse light returned from the head, The control circuit Emitting the pulsed light to the light source; The first detector may be configured to detect and output, as the brain activity signal, an internally scattered component of the reflected pulse light that is scattered in the brain of the subject.
  • the biological signal may include at least one piece of information selected from the group consisting of a pulse rate, a sweat rate, a respiration rate, and a body temperature.
  • the determination of the state of the subject based on at least one biological information selected from the group consisting of pulse rate, amount of sweating, respiration rate, and body temperature, and the state of the subject based on the brain activity signal Can be determined.
  • the brain activity signal may include information on a change in cerebral blood flow of the subject.
  • the brain activity state of the subject can be estimated based on the information on the change such as increase or decrease of the cerebral blood flow volume of the subject.
  • the signal processing circuit is After acquiring the biological signal, the brain activity signal may be acquired.
  • the signal processing circuit determines whether the pulse of the subject is bradycardia or tachycardia based on the biosignal and the brain activity signal. It may be determined and output.
  • the pulse of the subject is bradycardia or tachycardia.
  • the biological signal may include information of blood flow on the surface of the skin of the subject.
  • the state of the subject can be determined based on the information on the blood flow on the surface of the skin of the subject.
  • control circuit is configured to control the first detector, In the reflected pulse light, a surface reflection component reflected by the surface of the skin of the subject is further detected. A signal indicating fluctuation of the surface reflection component may be output as the biological signal.
  • the control circuit controls the first detector to
  • the internal scattering component is detected by detecting a portion of the reflected pulse light after the intensity of the reflected pulse light has started to decrease.
  • the surface reflection component may be detected by detecting at least a portion of the reflected pulsed light before the intensity of the reflected pulsed light starts to decrease.
  • the first detector is an image sensor including a plurality of pixels arranged in a two-dimensional manner, Each of the plurality of pixels is A photoelectric conversion element that converts received light into signal charge; A first charge accumulation portion for accumulating the signal charge corresponding to the surface reflection component; A second charge accumulation unit for accumulating the signal charge corresponding to the internally scattered component; May be included.
  • a two-dimensional image of the subject can be acquired.
  • the time from the start of the irradiation of the pulse light to the acquisition of the brain activity signal is longer than the time from the start of the irradiation of the pulse light to the acquisition of the biological signal.
  • diagnosis based on biological signals other than brain activity signals can be performed, and then diagnosis based on brain activity signals can be performed.
  • [Item 14] 14 The biological measurement device according to any one of items 1 to 13, wherein the signal processing circuit A first determination regarding a state of the subject based on the biological signal, and outputting a first signal indicating a result of the first determination; After outputting the first signal, a second determination on the state of the subject is performed based on the brain activity signal, and a second signal indicating the result of the second determination is output. Good.
  • diagnosis based on biological signals other than brain activity signals can be performed, and then diagnosis based on brain activity signals can be performed.
  • the biological measurement apparatus further includes a communication circuit that communicates with an external device outside the biological measurement apparatus, The external device when the communication circuit determines that the subject is not in a healthy state based on at least one selected from the group consisting of the biological signal and the brain activity signal. Alternatively, it may be notified that the subject is not in a healthy state.
  • an external device in a medical institution when it is determined that the subject is not in a healthy state based on the biological signal and / or the brain activity signal, for example, an external device in a medical institution can be notified. For this reason, even when the condition of the subject is dangerous, an action such as arranging an ambulance can be performed promptly.
  • a living body measurement method includes the steps of acquiring a brain activity signal of a subject, Acquiring the biological signal of the subject different from the brain activity signal, and based on the biological signal and the brain activity signal, the state of the subject is awake state, sleep state and consciousness disorder Determining which of the states it is.
  • the state of the subject can be determined more accurately than in the past.
  • the step of acquiring the brain activity signal includes Irradiating pulsed light onto the head of the subject using the light source in a living body measurement apparatus including a light source, a photodetector, a signal processing circuit, and a control circuit; Detecting and outputting, as the brain activity signal, an internally scattered component of the reflected pulse light returned from the head and scattered within the subject's brain using the light detector; Including The determination may be performed using the signal processing circuit.
  • the control circuit In the living body measurement method according to the item 17, based on a result of the determination of the state of the subject, the control circuit outputs an notification to the subject, the subject being different from the living body measurement apparatus. Either control of peripheral devices or communication with an external device external to the biometric device may be performed.
  • the biological signal may include at least one information selected from the group consisting of a pulse rate, a sweat rate, a respiratory rate, and a body temperature.
  • the determination of the state of the subject based on at least one biological information selected from the group consisting of pulse rate, amount of sweating, respiration rate, and body temperature, and the state of the subject based on the brain activity signal Can be determined.
  • the brain activity signal may include information on a change in cerebral blood flow of the subject.
  • the brain activity state of the subject can be estimated based on the information on the change such as increase or decrease of the cerebral blood flow volume of the subject.
  • the step of acquiring the brain activity signal may be performed after the step of acquiring the biological signal.
  • the determining may include determining whether the pulse of the subject is bradycardia or tachycardia.
  • the pulse of the subject is bradycardia or tachycardia.
  • the biological signal may include information of blood flow on the surface of the skin of the subject.
  • the state of the subject can be determined based on the information on the blood flow on the surface of the skin of the subject.
  • the living body measuring device stores a memory that stores a first reference value that is a reference value of the living body signal and a second reference value that is a reference value of the brain activity signal. Further include The determining may be performed by comparing the biological signal to the first reference value and comparing the brain activity signal to the second reference value.
  • the determination of the condition of the subject based on the biological signal and the brain activity signal can be performed by comparison with two different reference values.
  • the living body measurement device further includes a memory storing a data table representing a relationship between the brain activity signal, the living body signal, and the state of the subject. The determining may be performed by referring to the data table.
  • the physical condition of the subject can be determined more accurately by evaluating with reference to the data table representing the relationship between the brain activity signal, the biological signal, and the physical condition.
  • the living body measurement method further includes the step of acquiring time-series data of the biological signal and the brain activity signal,
  • the living body measurement apparatus further includes a memory for storing reference time-series data corresponding to the time-series data,
  • the determining step includes comparing the time series data with the reference time series data, calculating a statistical value of the time series data, and a machine for correlating the time series data with the state of the subject. It may include at least one selected from the group consisting of performing learning.
  • the state of the subject can be determined more accurately.
  • the living body measurement method further includes the steps of acquiring the two-dimensional image data corresponding to the biological signal and the brain activity signal, and extracting the feature amount included in the two-dimensional image data.
  • the living body measurement apparatus further includes a memory for storing a reference feature corresponding to the feature, The determining step includes comparing the feature with the reference feature, calculating a statistic of the feature, and performing machine learning of a correlation between the feature and a state of the subject. And at least one selected from the group consisting of
  • the determination device includes one or more memories; In operation Acquire the brain activity signal of the subject, The biological signal of the subject different from the brain activity signal is acquired, and the state of the subject is awake state, a sleep state, and a state of consciousness disorder based on the biological signal and the brain activity signal. And a circuit for determining which of
  • a living body measurement apparatus includes: a light source that emits pulsed light to be irradiated on a head of a subject; A light detector for detecting at least a part of the reflected pulse light returned from the head; A control circuit that controls the light source and the light detector; Signal processing circuit, Equipped with
  • the control circuit Emitting the pulsed light to the light source; Causing the light detector to detect and output, as a brain activity signal, an internally scattered component of the reflected pulse light that is scattered in the brain of the subject; The light detector detects and outputs a surface reflection component of the reflected pulse light that is reflected by the surface of the skin of the subject as a biological signal different from the brain activity signal.
  • the signal processing circuit generates and outputs a signal indicating a state of the subject based on the biological signal and the brain activity signal.
  • the control circuit is configured to:
  • the internal scattering component is detected by detecting a portion of the reflected pulse light after the intensity of the reflected pulse light has started to decrease.
  • the surface reflection component may be detected by detecting at least a portion of the reflected pulsed light before the intensity of the reflected pulsed light starts to decrease.
  • the biomedical signal may include at least one piece of information selected from the group consisting of pulse rate, sweat rate, respiratory rate, and body temperature.
  • all or part of a circuit, unit, device, member or part, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) Can be implemented by one or more electronic circuits.
  • the LSI or IC may be integrated on one chip or may be configured by combining a plurality of chips.
  • functional blocks other than storage elements may be integrated on one chip.
  • the term “LSI” or “IC” is used here, the term is changed depending on the degree of integration, and may be called system LSI, VLSI (very large scale integration), or ULSI (ultra large scale integration).
  • a Field Programmable Gate Array (FPGA) programmed after the manufacture of the LSI, or a reconfigurable logic device capable of reconfiguring junctions inside the LSI or setting up circuit sections inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • the functions or operations of the circuits, units, devices, members or parts can be performed by software processing.
  • the software is recorded in a non-transitory recording medium such as one or more ROMs, optical disks, hard disk drives, etc., and the software is identified by the software when executed by a processor.
  • the functions are performed by a processor and peripherals.
  • the system or apparatus may include one or more non-transitory storage media on which software is recorded, a processor, and any required hardware devices, such as an interface.
  • Embodiment [1. Biometric device] The configuration of a biological measurement device 100 according to an exemplary embodiment of the present disclosure will be described with reference to FIGS. 1A to 3B.
  • FIG. 1A is a schematic view showing a biological measurement apparatus 100 according to the present embodiment.
  • the living body measurement apparatus 100 includes a light source 10, an image sensor 20, a control circuit 30, and a signal processing circuit 40.
  • the image sensor 20 includes a plurality of photoelectric conversion elements 22 and a plurality of charge storage units 24.
  • the image sensor 20 is an example of a first detector, a second detector, and a light detector in the present disclosure. Instead of the image sensor 20, it is also possible to use another type of photodetector including at least one photoelectric conversion element 22 and at least one charge storage unit 24.
  • the light source 10 emits pulsed light to be applied to the head of the subject 500.
  • the image sensor 20 detects at least a part of reflected pulse light that is pulse light returned from the head of the subject 500.
  • the control circuit 30 controls the light source 10 and the image sensor 20.
  • the signal processing circuit 40 processes the signal output from the image sensor 20.
  • the control circuit 30 includes a light source control unit 32 that controls the light source 10 and a sensor control unit 34 that controls the image sensor 20.
  • the light source control unit 32 controls the intensity, pulse width, emission timing, and / or wavelength of pulsed light emitted from the light source 10.
  • the sensor control unit 34 controls the timing of signal accumulation in each pixel of the image sensor 20.
  • the light source 10 applies light to the head (for example, the forehead) of the subject 500.
  • the light emitted from the light source 10 and reaching the subject 500 is divided into a surface reflection component I1 reflected by the surface of the subject 500 and an internal scattering component I2 scattered inside the subject 500.
  • the internal scattering component I2 is a component that is reflected or scattered once or multiply scattered inside the living body.
  • the internal scattering component I2 refers to a component that reaches a site about 8 mm to 16 mm deep, for example, the brain from the surface of the forehead and returns to the biological measurement apparatus 100 again.
  • the surface reflection component I1 includes three components of a direct reflection component, a diffuse reflection component, and a scattering reflection component.
  • the direct reflection component is a reflection component in which the incident angle and the reflection angle are equal.
  • the diffuse reflection component is a component that diffuses and reflects due to the uneven shape of the surface.
  • the scattered reflection component is a component that is scattered and reflected by internal tissue near the surface. When the forehead of the subject 500 is irradiated with light, the scattered reflection component is a component that is scattered and reflected inside the epidermis.
  • the surface reflection component I1 reflected by the surface of the subject 500 includes these three components.
  • the traveling direction of the surface reflection component I1 and the internal scattering component I2 changes due to reflection or scattering, and a part thereof reaches the image sensor 20.
  • the light source 10 repeatedly generates pulsed light a plurality of times at a predetermined time interval or at a predetermined timing according to an instruction from the control circuit 30.
  • the pulsed light generated by the light source 10 may be, for example, a rectangular wave whose falling time is close to zero.
  • the fall time refers to the time from when the intensity of the pulsed light starts to decrease from the peak value until it becomes almost zero.
  • light incident on the subject 500 propagates in the subject 500 along various paths and exits from the surface of the subject 500 with a time difference. For this reason, the rear end of the internal scattering component I2 of the pulse light has a spread.
  • the falling time of the pulsed light can be set to, for example, 2 ns or less, which is half or less of that.
  • the fall time may be half or less of 1 ns.
  • the rise time of the pulsed light generated by the light source 10 is arbitrary. In the detection of the internal scattering component I2 in the present embodiment, the falling part of the pulse light is used and the rising part is not used. The rising portion of the pulsed light can be used to detect the surface reflection component I1.
  • the light source 10 may be, for example, a laser such as an LD whose falling portion of pulsed light is close to a right angle with respect to the time axis, that is, whose time response characteristic is steep.
  • the wavelength of the light emitted by the light source 10 may be any wavelength within a wavelength range of, for example, 650 nm to 950 nm. This wavelength range is included in the red to near infrared wavelength range.
  • the term "light” is used for infrared as well as visible light.
  • the above-mentioned wavelength range is called "a window of a living body", and has the property of being relatively hard to be absorbed by water and skin in a living body. When a living body is to be detected, detection sensitivity can be increased by using light in the above wavelength range.
  • the light source 10 may emit light of two or more wavelengths included in the above wavelength range. Such light of multiple wavelengths may be emitted from multiple light sources, respectively.
  • the light source 10 designed in consideration of the influence on the retina may be used.
  • a light source 10 that meets Class 1 of laser safety standards established in each country may be used.
  • the subject 500 is irradiated with light having a low illuminance such that the exposure emission limit (AEL) is less than 1 mW.
  • the light source 10 itself does not have to satisfy class 1.
  • a diffuser plate or an ND filter may be placed in front of the light source 10 to satisfy the class 1 of the laser safety standard by diffusing or attenuating the light.
  • streak cameras have been used to distinguish and detect information such as absorption coefficients or scattering coefficients at different locations in the depth direction inside a living body.
  • Japanese Patent Laid-Open No. 4-189349 discloses an example of such a streak camera.
  • ultrashort pulse light with a pulse width of femtoseconds or picoseconds has been used to measure at a desired spatial resolution.
  • the living body measuring apparatus 100 of the present disclosure can distinguish and detect the surface reflection component I1 and the internal scattering component I2. Therefore, the pulsed light emitted by the light source 10 does not have to be ultrashort pulsed light, and the pulse width can be arbitrarily selected.
  • the amount of light of the internal scattering component I2 is a very small value of several thousandths to a few tens of thousandths of the light of the surface reflection component I1. obtain. Furthermore, considering the safety standard of the laser, the amount of light that can be irradiated becomes extremely small, and the detection of the internal scattering component I2 becomes very difficult. Even in such a case, if the light source 10 generates pulse light with a relatively large pulse width, it is possible to increase the integration amount of the internal scattering component I2 accompanied by a time delay. Thereby, the amount of detected light can be increased and the SN ratio can be improved.
  • the light source 10 emits, for example, pulsed light having a pulse width of 3 ns or more.
  • the temporal spread of light scattered in a living tissue such as the brain is about 4 ns.
  • FIG. 1B shows an example of the temporal change in the amount of light reaching the image sensor 20 when the width of the input pulse light is 0 ns, 3 ns and 10 ns, respectively.
  • FIG. 1C is a diagram showing the width of the input pulse light on the horizontal axis and the sensor detection light amount on the vertical axis.
  • the image sensor 20 includes an electronic shutter.
  • the result of FIG. 1C is obtained under the condition that the electronic shutter is opened after 1 ns has elapsed from the time when the rear end of the pulsed light is reflected by the surface of the subject 500 and reaches the image sensor 20.
  • the reason for selecting this condition is that the ratio of the surface reflection component I1 to the internal scattering component I2 is high immediately after the trailing end of the pulsed light reaches.
  • the pulse width of the pulsed light emitted by the light source 10 is 3 ns or more, the sensor detection light quantity can be maximized.
  • the light source 10 may emit pulsed light having a pulse width of 5 ns or more, and further 10 ns or more. On the other hand, even if the pulse width is too large, the light not used is increased and wasted. Thus, the light source 10 generates, for example, pulsed light with a pulse width of 50 ns or less. Alternatively, the light source 10 may emit pulsed light having a pulse width of 30 ns or less, and further 20 ns or less.
  • the irradiation pattern of the light source 10 may be, for example, a pattern having a uniform intensity distribution in the irradiation area.
  • the present embodiment is different from the conventional living body measurement apparatus disclosed in, for example, Japanese Patent Application Laid-Open No. 11-164826.
  • the detector and the light source are separated by about 3 cm to spatially separate surface reflection components from internal scattering components. For this reason, it can not but be considered as discrete light irradiation.
  • the living body measurement apparatus 100 according to the present embodiment can temporally separate and reduce the surface reflection component I1 from the internal scattering component I2. For this reason, the light source 10 of the irradiation pattern which has uniform intensity distribution can be used.
  • the irradiation pattern having a uniform intensity distribution may be formed by diffusing the light emitted from the light source 10 by the diffusion plate.
  • the internal scattering component I2 can be detected even immediately below the point of irradiation of pulsed light in the subject 500.
  • the measurement resolution can also be enhanced.
  • the image sensor 20 receives light emitted from the light source 10 and reflected or scattered by the subject 500.
  • the image sensor 20 has a plurality of two-dimensionally arranged light detection cells, and acquires two-dimensional information of the subject 500 at one time.
  • the light detection cell is also referred to as "pixel".
  • the image sensor 20 is, for example, an arbitrary imaging device such as a CCD image sensor or a CMOS image sensor.
  • the image sensor 20 has an electronic shutter.
  • the electronic shutter is a circuit that controls the timing of imaging.
  • the sensor control unit 34 in the control circuit 30 has an electronic shutter function.
  • the electronic shutter controls a single signal accumulation period in which the received light is converted into a valid electric signal and accumulated, and a period in which the signal accumulation is stopped.
  • the signal accumulation period can also be referred to as an "exposure period” or a "shooting period”.
  • the width of the exposure period may be referred to as “shutter width”.
  • the time from the end of one exposure period to the start of the next exposure period may be referred to as a "non-exposure period”.
  • OPEN the state in which exposure is performed
  • CLOSE the state in which exposure is stopped
  • the image sensor 20 can adjust the exposure period and the non-exposure period in the range of sub nanoseconds, for example, 30 ps to 1 ns, by the electronic shutter.
  • a conventional TOF (Time of Flight) camera aiming at distance measurement detects all the light emitted from the light source 10 and reflected by the object and returned to correct the influence of the brightness of the object. Therefore, in the conventional TOF camera, the shutter width needs to be larger than the pulse width of light.
  • the shutter width does not have to be larger than the pulse width. Therefore, the shutter width can be set to, for example, a value of 1 ns or more and 30 ns or less. According to the living body measurement apparatus 100 of the present embodiment, since the shutter width can be reduced, the influence of the dark current included in the detection signal can be reduced.
  • the rate of attenuation of light inside is extremely large.
  • the emitted light may be attenuated to about 1,000,000 part with respect to the incident light.
  • the light quantity may be insufficient only by the irradiation of one pulse.
  • the light quantity is particularly weak.
  • the light source 10 emits pulsed light a plurality of times, and accordingly, the image sensor 20 is also exposed a plurality of times by the electronic shutter, whereby detection signals can be integrated to improve sensitivity.
  • the image sensor 20 may include a plurality of pixels two-dimensionally arranged on the imaging surface.
  • Each pixel may include, for example, a photoelectric conversion element such as a photodiode and one or more charge storage units.
  • a photoelectric conversion element in which each pixel generates a signal charge according to the amount of light received by photoelectric conversion, a charge storage portion storing a signal charge generated by the surface reflection component I1 of pulse light, and an internal scattering component of pulse light An example including a charge storage unit for storing the signal charge generated by I2 will be described.
  • the control circuit 30 causes the image sensor 20 to detect the surface reflection component I1 by detecting a portion of the pulse light returned from the head of the subject 500 before the start of falling.
  • the control circuit 30 also causes the image sensor 20 to detect the internally scattered component I2 by detecting the portion of the pulse light returned from the head of the subject 500 after the start of falling.
  • the light source 10 emits light of two types of wavelengths.
  • FIG. 1D is a view showing a schematic configuration example of one pixel 201 of the image sensor 20. As shown in FIG. Note that FIG. 1D schematically shows the configuration of one pixel 201 and does not necessarily reflect the actual structure.
  • the pixel 201 in this example includes a photodiode 203 that performs photoelectric conversion, and a first floating diffusion layer 204, a second floating diffusion layer 205, and a third floating diffusion layer 206, which are charge storage portions. And a fourth floating diffusion layer 207, and a drain 202 for discharging a signal charge.
  • Photons incident on each pixel due to the emission of one pulse light are converted by the photodiode 203 into signal electrons which are signal charges.
  • the converted signal electrons are discharged to the drain 202 according to the control signal input from the control circuit 30, or the first floating diffusion layer 204, the second floating diffusion layer 205, and the third floating diffusion layer 206, And the fourth floating diffusion layer 207.
  • Emission of pulsed light from the light source 10 accumulation of signal charges in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207;
  • the discharge of the signal charge to the drain 202 is repeated in this order.
  • This repetition operation is fast, and can be repeated, for example, tens of thousands to hundreds of millions of times within one frame time (for example, about 1/30 seconds) of a moving image.
  • the pixel 201 is finally four based on the signal charges stored in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207. Generate and output an image signal.
  • the control circuit 30 in this example causes the light source 10 to sequentially and repeatedly emit the first pulse light having the first wavelength and the second pulse light having the second wavelength.
  • the state of the subject 500 can be analyzed by selecting two wavelengths having different absorptivity with respect to the internal tissue of the subject 500 as the first wavelength and the second wavelength. For example, a wavelength longer than 805 nm may be selected as the first wavelength, and a wavelength shorter than 805 nm may be selected as the second wavelength. This makes it possible to detect changes in each of the oxygenated hemoglobin concentration and the deoxygenated hemoglobin concentration in the blood of the subject 500.
  • the control circuit 30 first causes the light source 10 to emit the first pulse light.
  • the control circuit 30 causes the first floating diffusion layer 204 to accumulate signal charge during a first period in which the surface reflection component I1 of the first pulse light is incident on the photodiode 203.
  • the control circuit 30 causes the second floating diffusion layer 205 to accumulate signal charge during a second period in which the internal scattering component I 2 of the first pulse light is incident on the photodiode 203.
  • the control circuit 30 causes the light source 10 to emit the second pulse light.
  • the control circuit 30 causes the third floating diffusion layer 206 to accumulate signal charge during a third period in which the surface reflection component I1 of the second pulse light is incident on the photodiode 203.
  • the control circuit 30 causes the fourth floating diffusion layer 207 to accumulate signal charge during a fourth period in which the internal scattering component I2 of the second pulse light is incident on the photodiode 203.
  • the control circuit 30 starts light emission of the first pulse light
  • the first floating diffusion layer 204 and the second floating diffusion layer 205 are separated from the photodiode 203 with a predetermined time difference.
  • the signal charges are sequentially accumulated.
  • the control circuit 30 starts light emission of the second pulse light
  • the third floating diffusion layer 206 and the fourth floating diffusion layer 207 receive a signal from the photodiode 203 with a predetermined time difference.
  • the charge is accumulated sequentially.
  • the above operation is repeated several times. In order to estimate the light amounts of disturbance light and ambient light, a period may be provided in which signal charges are accumulated in another floating diffusion layer (not shown) while the light source 10 is turned off.
  • the signal charges of the other floating diffusion layers are subtracted from the signal charges of the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207.
  • the signal charges of the other floating diffusion layers are subtracted from the signal charges of the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207.
  • the number of charge storage units is four in this embodiment, the number may be two or more depending on the purpose.
  • the number of charge storage portions may be two.
  • the number of charge storage portions per pixel may be one.
  • the number of charge storage portions may be one as long as imaging using each wavelength is performed in another frame. Further, as described later, if the detection of the surface reflection component I1 and the detection of the internal scattering component I2 are performed in separate frames, the number of charge storage portions may be one.
  • FIG. 1E is a diagram showing an example of the configuration of the image sensor 20. As shown in FIG. In FIG. 1E, a region surrounded by a dashed-two dotted line corresponds to one pixel 201.
  • the pixel 201 includes one photodiode. Although only four pixels arranged in 2 rows and 2 columns are shown in FIG. 1E, actually more pixels may be arranged.
  • the pixel 201 includes a first floating diffusion layer 204, a second floating diffusion layer 205, a third floating diffusion layer 206, and a fourth floating diffusion layer 207.
  • the signals stored in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207 are the same as those of four pixels in a general CMOS image sensor. It is treated like a signal and output from the image sensor 20.
  • Each pixel 201 has four signal detection circuits.
  • Each signal detection circuit includes a source follower transistor 309, a row selection transistor 308, and a reset transistor 310.
  • the reset transistor 310 corresponds to the drain 202 shown in FIG. 1D
  • the pulse input to the gate of the reset transistor 310 corresponds to the drain discharge pulse.
  • Each transistor is, for example, a field effect transistor formed on a semiconductor substrate, but is not limited thereto.
  • a gate which is a control terminal of the source follower transistor 309 is connected to the photodiode 203.
  • Signal charges (i.e., holes or electrons) generated by the photodiode 203 are accumulated in a floating diffusion layer which is a charge accumulation portion between the photodiode 203 and the source follower transistor 309.
  • the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207 are connected to the photodiode 203.
  • a switch may be provided between the photodiode 203 and the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207. This switch operates in response to the signal accumulation pulse from the control circuit 30, and the photodiode 203, the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer. The conduction state with each of the diffusion layers 207 is switched.
  • the electronic shutter in this embodiment has a mechanism for such exposure control.
  • the signal charges stored in the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207 are determined by the row selection circuit 302 in the row selection transistor 308. It is read out by turning on the gate. At this time, according to the signal potentials of the first floating diffusion layer 204, the second floating diffusion layer 205, the third floating diffusion layer 206, and the fourth floating diffusion layer 207, the source follower transistor 305 generates a source follower transistor. 309 and the current flowing into the source follower load 306 is amplified. An analog signal by this current read out from the vertical signal line 304 is converted into digital signal data by an analog-digital (AD) conversion circuit 307 connected to each column.
  • AD analog-digital
  • the digital signal data is read out for each column by the column selection circuit 303 and output from the image sensor 20.
  • the row selection circuit 302 and the column selection circuit 303 read one row and then read the next row, and read out information on signal charges of floating diffusion layers in all the rows in the same manner.
  • the control circuit 30 resets all floating diffusion layers by turning on the gate of the reset transistor 310. This completes the imaging of one frame. Similarly, by repeating high-speed imaging of frames, imaging of a series of frames by the image sensor 20 is completed.
  • the image sensor 20 may be another type of imaging device.
  • the image sensor 20 may be, for example, a CCD type, a single photon counting element, or an amplification type image sensor (for example, EMCCD or ICCD).
  • FIG. 1F is a diagram showing an example of an operation in one frame in the present embodiment.
  • the light emission of the first pulse light and the light emission of the second pulse light may be alternately switched plural times within one frame. In this way, it is possible to reduce the time difference between the acquisition timings of the detected images by the two types of wavelengths, and even with the subject 500 with motion, imaging with the first and second pulse lights is possible almost simultaneously. .
  • the image sensor 20 detects both the surface reflection component I1 of the pulse light and the internal scattering component I2.
  • the first biological information of the subject 500 can be acquired from temporal or spatial changes in the surface reflection component I1.
  • the first biological information may be, for example, the pulse rate of the subject 500.
  • brain activity information which is the second biological information of the subject 500, can be acquired from temporal or spatial changes in the internal scattering component I2.
  • the first biological information may be acquired by a method different from the method of detecting the surface reflection component I1.
  • other types of detectors different from the image sensor 20 may be used to acquire the first biological information.
  • the image sensor 20 detects only the internal scattering component I2.
  • Other types of detectors may be, for example, radar or thermography.
  • the first biological information may be, for example, at least one of a pulse rate, a sweat rate, a respiration rate, and a body temperature of a subject.
  • the first biological information may be biological information other than brain activity information obtained by detecting the internal scattering component I2 of pulsed light emitted to the head of a subject.
  • other than brain activity information does not mean that the information derived from brain activity is not included at all in the first biological information.
  • the first biological information may include biological information derived from biological activity other than brain activity.
  • the first biological information is, for example, biological information resulting from autonomous or reflex biological activity.
  • first biological signal or simply “biological signal”.
  • brain activity signal a signal indicating brain activity information
  • the control circuit 30 adjusts the time difference between the pulsed light emission timing of the light source 10 and the shutter timing of the image sensor 20.
  • the time difference may be referred to as “phase” or “phase delay”.
  • the “light emission timing” of the light source 10 is the timing at which the pulsed light emitted by the light source 10 starts to rise.
  • “Shutter timing” is timing to start exposure.
  • the control circuit 30 may adjust the phase by changing the light emission timing, or may adjust the phase by changing the shutter timing.
  • the control circuit 30 may be configured to remove an offset component from the signal detected at each pixel of the image sensor 20.
  • the offset component is a signal component by ambient light such as sunlight or a fluorescent lamp, or disturbance light.
  • the image sensor 20 detects a signal, whereby the offset component due to ambient light and disturbance light can be estimated.
  • the control circuit 30 may be, for example, a combination of processor and memory, or an integrated circuit such as a microcontroller incorporating the processor and memory.
  • the control circuit 30 performs adjustment of the light emission timing and the shutter timing, estimation of the offset component, removal of the offset component, and the like, for example, by executing a program stored in the memory by the processor.
  • the signal processing circuit 40 is a circuit that processes an image signal output from the image sensor 20.
  • the signal processing circuit 40 performs arithmetic processing such as image processing.
  • the signal processing circuit 40 may be, for example, a digital signal processor (DSP), a programmable logic device (PLD) such as a field programmable gate array (FPGA), or a central processing unit (CPU) or an image processing arithmetic processor (GPU) and a computer program.
  • DSP digital signal processor
  • PLD programmable logic device
  • FPGA field programmable gate array
  • CPU central processing unit
  • GPU image processing arithmetic processor
  • the signal processing circuit 40 may be one integrated circuit or separate individual circuits.
  • the signal processing circuit 40 may be a component of an external device such as a server provided at a remote place, for example.
  • an external device such as a server includes communication means, and exchanges data with the light source 10, the image sensor 20, and the control circuit 30.
  • the signal processing circuit 40 in the present embodiment can generate moving image data indicating temporal changes in blood flow on the skin surface and cerebral blood flow based on the signal output from the image sensor 20.
  • the signal processing circuit 40 may generate other information as well as such moving image data.
  • biological information such as blood flow in the brain, blood pressure, blood oxygen saturation, or heart rate may be generated by synchronizing with other devices.
  • an index indicating the degree of brain activity such as the degree of proficiency, the degree of proficiency, and the degree of concentration are also included in the psychological state.
  • the signal processing circuit 40 may estimate a psychological state such as the degree of concentration of the subject based on a change in cerebral blood flow or the like, and may output a signal indicating the estimation result.
  • FIG. 1G is a flowchart showing an outline of the operation of the control circuit 30.
  • Control circuit 30 performs the operations schematically illustrated in FIG. 1G. Here, the operation in the case where only the detection of the internal scattering component I2 is performed will be described.
  • the control circuit 30 first causes the light source 10 to emit pulsed light for a predetermined time (step S101). At this time, the electronic shutter of the image sensor 20 is in a state in which the exposure is stopped.
  • the control circuit 30 causes the electronic shutter to stop the exposure until a period in which a part of the pulse light is reflected by the surface of the subject 500 and reaches the image sensor 20 is completed.
  • control circuit 30 causes the electronic shutter to start exposure at the timing when another part of the pulse light scatters the inside of the subject 500 and reaches the image sensor 20 (step S102). After the predetermined time has elapsed, the control circuit 30 causes the electronic shutter to stop the exposure (step S103). Subsequently, the control circuit 30 determines whether or not the number of times the above signal accumulation has been performed has reached a predetermined number (step S104). If this determination is No, steps S101 to S103 are repeated until it is determined as Yes. When the determination in step S104 is YES, the control circuit 30 causes the image sensor 20 to generate and output a signal indicating an image based on the signal charge stored in each floating diffusion layer (step S105).
  • the component of the light scattered inside the measuring object can be detected with high sensitivity.
  • multiple light emission and exposure are not essential, and may be performed as necessary.
  • the living body measurement apparatus 100 may include an imaging optical system that forms a two-dimensional image of the subject 500 on the light receiving surface of the image sensor 20.
  • the optical axis of the imaging optical system is substantially orthogonal to the light receiving surface of the image sensor 20.
  • the imaging optical system may include a zoom lens. When the position of the zoom lens changes, the magnification of the two-dimensional image of the subject 500 changes, and the resolution of the two-dimensional image on the image sensor 20 changes. Therefore, even if the distance to the subject 500 is long, it is possible to expand the area to be measured and observe in detail.
  • the biological measurement apparatus 100 may include a band pass filter between the subject 500 and the image sensor 20 for passing only light in the wavelength band emitted from the light source 10 or in the vicinity thereof.
  • the band pass filter is constituted by a multilayer film filter or an absorption filter.
  • the band width of the band pass filter may have a width of about 20 to 100 nm.
  • the living body measurement apparatus 100 may also include polarizing plates between the light source 10 and the subject 500 and between the image sensor 20 and the subject 500, respectively.
  • the polarization directions of the polarizing plate disposed on the light source 10 side and the polarizing plate disposed on the image sensor side are in a relation of crossed Nicols.
  • the living body measurement apparatus 100 of the present disclosure can distinguish and detect the internal scattering component I2 from the surface reflection component I1.
  • the signal intensity due to the internal scattering component I2 to be detected becomes very small.
  • the change in the signal intensity due to the change in blood flow volume or the component in the blood flow at the time of brain activity corresponds to the size of several tens of 1 and is very small. Therefore, in the present embodiment, imaging is performed without mixing as much as possible the surface reflection component I1 that is several thousand to several tens of thousands of the signal component to be detected.
  • FIG. 1A when the light source 10 irradiates the subject 500 with pulsed light, a surface reflection component I1 and an internal scattering component I2 are generated. Part of the surface reflection component I1 and the internal scattering component I2 reach the image sensor 20.
  • the internal scattering component I2 passes through the inside of the subject 500 before it is emitted from the light source 10 and reaches the image sensor 20, so the optical path length becomes longer than the surface reflection component I1. Therefore, the time for the internal scattering component I2 to reach the image sensor 20 is delayed on average with respect to the surface reflection component I1.
  • FIG. 2 is a diagram showing an optical signal in which rectangular pulse light is emitted from the light source 10 and light returned from the subject 500 reaches the image sensor 20.
  • the horizontal axis represents time (t) in waveforms (a) to (d), the vertical axis represents intensity in waveforms (a) to (c), and the state of the electronic shutter OPEN or CLOSE in waveform (d) Represents
  • the waveform (a) shows the surface reflection component I1.
  • the waveform (b) shows the internal scattering component I2.
  • the waveform (c) shows the sum of the surface reflection component I1 and the internal scattering component I2.
  • the surface reflection component I1 maintains a rectangular shape.
  • the internal scattering component I2 is the summation of light passing through various optical path lengths, it looks like a tail is drawn at the rear end of the pulse light (that is, Fall characteristics).
  • the electronic shutter may start the exposure.
  • the shutter timing is adjusted by the control circuit 30.
  • the living body measurement apparatus 100 of the present disclosure since the living body measurement apparatus 100 of the present disclosure only needs to distinguish and detect the surface reflection component I1 and the internal scattering component I2 that has reached the target deep part, the light emission pulse width and the shutter width are arbitrary. Therefore, unlike the method using the conventional streak camera, it can be realized with a simple configuration and the cost can be significantly reduced.
  • the rear end of the surface reflection component I1 falls vertically. In other words, the time from the start of the falling of the surface reflection component I1 to the end thereof is zero.
  • the rising and falling portions of the waveform of the pulsed light itself irradiated by the light source 10 are not completely perpendicular, or the surface of the subject 500 has fine irregularities, or scattering within the epidermis
  • the rear end of the surface reflection component I1 may not fall vertically.
  • the subject 500 is an opaque object, the light amount of the surface reflection component I1 is much larger than that of the internal scattering component I2.
  • the control circuit 30 may slightly delay the shutter timing of the electronic shutter from immediately after the falling of the surface reflection component I1. For example, it may be delayed by about 0.5 ns to 5 ns.
  • the control circuit 30 may adjust the light emission timing of the light source 10 instead of adjusting the shutter timing of the electronic shutter.
  • the control circuit 30 may adjust the time difference between the shutter timing of the electronic shutter and the light emission timing of the light source 10.
  • the shutter timing may be kept near the rear end of the surface reflection component I1. Since the time delay due to the scattering of the subject 500 is 4 ns, the maximum delay amount of the shuffle timing is about 4 ns.
  • the light amount of the internal scattering component I2 may be amplified by the light source 10 emitting pulsed light a plurality of times and exposing each pulsed light a plurality of times at the same shutter timing.
  • the control circuit 30 performs imaging with the same exposure time in a state where the light source 10 is not emitted.
  • the offset component may be estimated.
  • the estimated offset component is differentially removed from the signal detected at each pixel of the image sensor 20. Thereby, the dark current component generated on the image sensor 20 can be removed.
  • the internal scattering component I2 includes internal property information of the subject 500, for example, cerebral blood flow information.
  • a change occurs in the amount of light absorbed by the blood according to the temporal fluctuation of the cerebral blood flow of the subject 500, and the amount of light detected by the image sensor 20 also increases or decreases accordingly. Therefore, by monitoring the internal scattering component I2, it is possible to estimate the brain activity state from the change in the cerebral blood flow of the subject 500.
  • a signal indicating the internal scattering component I2 may be referred to as a "brain activity signal".
  • the brain activity signal may include increase and decrease information of the cerebral blood flow of the subject.
  • the surface reflection component I1 includes surface characteristic information of the subject 500, for example, blood flow information of the face and scalp.
  • the image sensor 20 detects the surface reflection component I1 of the light signal that the pulse light emitted from the light source 10 reaches the subject 500 and returns to the image sensor 20 again.
  • FIG. 3A shows an example of a timing chart in the case of detecting the surface reflection component I1.
  • the shutter is opened before the pulse light reaches the image sensor 20, and the shutter is closed before the rear end of the pulse light reaches. You may By controlling the shutter in this manner, the mixing of the internal scattering component I2 can be reduced. The proportion of light passing near the surface of the subject 500 can be increased. In particular, the timing of the shutter close may be immediately after the light reaches the image sensor 20. By doing this, it is possible to perform signal detection with an increased proportion of the surface reflection component I1 having a relatively short optical path length.
  • the image sensor 20 may acquire the entire pulsed light, or the continuous light may be emitted from the light source 10 for detection.
  • FIG. 3B shows an example of a timing chart in the case of detecting the internal scattering component I2.
  • the surface reflection component I1 may be detected by an apparatus other than the biological measurement apparatus 100 that acquires the internal scattering component I2.
  • another device it is used in consideration of timing synchronization between devices, optical interference, and alignment of detection points. As in the present embodiment, if time-division imaging is performed by the same camera or the same sensor, temporal and spatial shifts are unlikely to occur.
  • the components to be acquired may be switched frame by frame. Alternatively, as described with reference to FIGS. 1D to 1F, components acquired at high speed may be alternately switched within one frame. In that case, the detection time difference between the surface reflection component I1 and the internal scattering component I2 can be reduced.
  • the respective signals of the surface reflection component I1 and the internal scattering component I2 may be acquired using light of two wavelengths. For example, pulsed light of two wavelengths of 750 nm and 850 nm may be used. In this way, it is possible to calculate the concentration change of oxygenated hemoglobin and the concentration change of deoxygenated hemoglobin from the change in the amount of detected light at each wavelength.
  • the method of switching four types of charge accumulation at high speed within one frame is used It can be done. Such a method can reduce the time lag of the detection signal.
  • the biological measurement apparatus 100 emits pulsed near infrared light or visible light toward the forehead of the subject 500, and changes in the amount of oxygenated hemoglobin in the scalp or face from temporal change in the surface reflection component I1.
  • the pulse can be detected.
  • the light source 10 for acquiring the surface reflection component I1 emits near infrared light or visible light. Near infrared light can be measured day and night. When measuring a pulse, more sensitive visible light may be used. In the daytime, it is possible to use ambient light or ambient light which is ambient light instead of illumination. If the amount of light is insufficient, it may be reinforced with a dedicated light source.
  • the internal scattering component I2 includes the light component that has reached the brain. By measuring the temporal change of the internal scattering component I2, it is possible to measure the temporal increase and decrease of the cerebral blood flow.
  • the signal processing circuit 40 may perform processing for subtracting the surface reflection component I1 from the internal scattering component I2 detected by the image sensor 20. In this way, pure cerebral blood flow information excluding scalp and facial blood flow information can be obtained.
  • a method of subtracting a value obtained by multiplying the signal of the surface reflection component I1 by one or more certain coefficients determined in consideration of the optical path length difference from the signal of the internal scattering component I2 may be used. This coefficient can be calculated by simulation or experiment based on, for example, the average value of general human head optical constants.
  • Such subtraction processing can be made particularly easy when measuring using light of the same wavelength using the same camera or sensor. This is because it is easy to reduce the temporal and spatial deviation, and to easily match the scalp blood flow component included in the internal scattering component I2 with the characteristics of the surface reflection component I1.
  • the two-dimensional distribution of cerebral blood flow and the two-dimensional distribution of blood flow of scalp and face are independent. Therefore, based on the signal detected by the image sensor 20, the two-dimensional distribution of the internal scattering component I2 and the two-dimensional distribution of the surface reflection component I1 are separated using statistical methods such as independent component analysis or principal component analysis. May be
  • FIG. 4A is a view schematically showing the relationship between human pulse rate, brain activity, and physical condition.
  • the horizontal axis in FIG. 4A indicates the pulse rate per minute, and the vertical axis indicates brain activity.
  • the amount of brain activity is estimated by the magnitude of the change in the signal intensity of the internal scattering component I2.
  • the brain activity can be estimated by an index such as the difference between the maximum value and the minimum value of the signal intensity of the internal scattering component I2, or the time change rate.
  • both pulse rate and brain activity are relatively large.
  • the amount of brain activity does not change much, but the pulse rate is lower than that during awakening. Therefore, by calculating the pulse rate from the measurement data of the surface reflection component I1, it is possible to determine whether the subject 500 is awake or sleeping.
  • the cerebral cortex is strongly active for memory consolidation and consolidation.
  • the consciousness is impaired, the amount of brain activity decreases. Therefore, by measuring the change in cerebral blood flow from the measurement data of the internal scattering component I2, it can be determined whether the subject 500 is in sleep or in a state of impaired consciousness.
  • disorders of consciousness include bradycardia and tachycardia. Bradycardia is a state in which the pulse rate is lower than usual, and causes impaired consciousness due to a lack of blood supply to the brain. If the pulse rate is less than 40 times per minute, it is considered dangerous.
  • tachycardia is a state in which the pulse rate is abnormally high. If the pulse rate is 140 pulses / min or more, it is considered dangerous. Consciousness in bradycardia is difficult to distinguish from sleep. On the other hand, impairment of consciousness in the case of tachycardia is difficult to distinguish from awakening. As in the present embodiment, by utilizing information on changes in cerebral blood flow, more accurate determination can be made.
  • Brain oxygen consumption is about 20% of whole body oxygen consumption, and cerebral blood flow is about 15% of whole body blood flow. If this cerebral blood flow is reduced, brain activity is reduced and consciousness disorder occurs.
  • the core of cognition resides in the cerebral cortex. For this reason, the living body measurement apparatus 100 observes a change in cerebral blood flow in the cerebral cortex through skin on the forehead of the exposed head. This makes it possible to determine whether the patient is unconscious or in the awake state or in the sleep state.
  • the biological information that can be used in the present embodiment is not limited to the pulse rate, but may be other information such as the amount of sweat, body temperature, or respiratory rate. It is possible to properly determine a physical condition that is difficult to determine only by the amount of sweat, temperature, or respiratory rate by using brain activity information.
  • FIG. 4B is a view schematically showing the relationship between the amount of human sweating, the amount of brain activity, and the physical condition.
  • FIG. 4C is a view schematically showing the relationship between human body temperature, brain activity, and physical condition.
  • FIG. 4D is a view schematically showing the relationship between human respiration rate, brain activity, and physical condition.
  • the respiratory rate is lower than during awakening. In non-REM sleep, respiratory rate decreases by about 10 to 0%. Also, during bradycardia, the respiration rate is lower than in a calm state, and in tachycardia, the respiration rate tends to increase to compensate for the lack of oxygen.
  • the amount of sweating, the temperature, or the respiration rate, as well as the pulse rate can also determine whether a person is in the sleep state or in the awake state.
  • by using brain activity information in addition to the above-mentioned biological information it can be determined whether or not it is a consciousness disorder.
  • the biological measurement device 100 may include a sensor that measures the amount of sweat.
  • the biological measurement device 100 measures the body temperature as biological information
  • the biological measurement device 100 may include a sensor that measures the body temperature.
  • the living body measurement apparatus 100 measures the respiration rate as living body information
  • the living body measurement apparatus 100 may include a sensor that measures the respiration rate.
  • Those sensors may be, for example, image sensors that detect infrared light.
  • the amount of sweating, the respiration rate, or the temperature may be measured by the image sensor 20 that acquires brain activity information. Image processing may also be used to estimate the amount of sweat, temperature, or respiration rate.
  • the biosignal may include at least one of pulse rate, sweat rate, respiratory rate, and temperature.
  • FIG. 5 shows how the vital sign of a taxi passenger in automatic driving is detected by the biometric device 100.
  • the living body measurement apparatus 100 is installed in a vehicle cabin. During or after the transfer of the passenger by automatic driving, the biometric device 100 performs vital sensing of the passenger. When the abnormality in the passenger is detected, the biometric device 100 notifies the abnormality in the passenger to an external device such as a server computer in a medical institution, using wireless communication, for example.
  • FIG. 6 is a diagram showing a configuration example of a biological measurement device 100 in the present application example.
  • the biological measurement apparatus 100 includes a communication circuit 60 and a speaker 70 connected to the control circuit 30.
  • the communication circuit 60 performs communication in compliance with, for example, a known wireless communication standard.
  • the control circuit 30 notifies the external apparatus 200 in the medical institution or the like of the abnormality through the communication circuit 60.
  • FIG. 7 is a flowchart showing an example of the operation of the biological measurement apparatus 100.
  • the control circuit 30 of the living body measurement apparatus 100 determines whether or not there is an abnormality in the passenger during or after the passenger is being automatically driven (step S601). For example, it is determined that there is an abnormality if the condition of the passenger is strange or if the passenger does not get off after arriving at the destination after a predetermined time has elapsed. This determination may be made, for example, based on the output of the image sensor 20 or another sensor (not shown).
  • an error sound or a voice call is first issued to confirm the condition of the passenger (step S602). This call is made through the speaker 70.
  • the speaker 70 may be installed not in the living body measurement apparatus 100 but in the vehicle.
  • control circuit 30 determines whether there is a reaction from the passenger (step S603). This determination may be made based on information such as, for example, an image acquired by the image sensor 20 or a voice of a passenger detected by a microphone (not shown). If there is a response and there is no problem in particular, after arrival at the destination, the passenger completes the payment procedure by automatic settlement or electronic settlement and is dismounted (step S604).
  • the living body measurement apparatus 100 performs initial observation (step S605).
  • the living body measurement apparatus 100 automatically adjusts the light source 10 and the image sensor 20 of the living body measurement apparatus 100 to face the passenger.
  • the control circuit 30 adjusts the orientation of the light source 10 and the image sensor 20 so that the pulse light from the light source 10 enters the forehead of the passenger.
  • the biometric device 100 includes a drive mechanism such as a motor that enables this adjustment.
  • the biometric device 100 performs, for example, the confirmation of breathing of the passenger, the confirmation of blood oxygen saturation (SpO 2 ) based on the surface blood flow of the face and the scalp, and the confirmation of the pulse rate.
  • SpO 2 is the ratio of the amount of hemoglobin bound to oxygen to the total amount of hemoglobin in the blood.
  • the living body measurement apparatus 100 also has a camera function of acquiring an image. For this reason, it is possible to perform breathing confirmation from the body movement of the passenger in the camera image. For the calculation of SpO 2 , measurement at two near infrared wavelengths or measurement at two wavelengths of red light and near infrared light may be performed.
  • SpO 2 can be estimated by calculating the ratio of each detected light amount or the ratio of HbO 2 to Hb.
  • Pulse rate can be measured from changes in blood flow on the passenger's face or forehead. The measurement may be performed in a short time, for example 10 seconds or 20 seconds. Basic vital data is acquired by such a short time screening.
  • the control circuit 30 determines whether or not the measured value of the pulse rate of the passenger is within the reference range (step S606). If the measured value is within the reference range, the control circuit 30 determines that the user is sleeping and is in a healthy state, and urges the passenger to get off (step S607). For example, the control circuit 30 urges the passenger to get off by voice via the speaker 70.
  • the reference range of the pulse rate may be, for example, in the range of 50 times / minute to 100 times / minute.
  • the living body measurement apparatus 100 immediately contacts the medical institution (step S608).
  • the control circuit 30 transmits a signal or an alert indicating that the pulse rate of the passenger is at an abnormal value to the computer in the medical institution through the communication circuit 60.
  • information such as the ID of the vehicle and the location may be transmitted together.
  • the living body measurement apparatus 100 starts measurement of cerebral blood flow (step S609).
  • the measurement of the cerebral blood flow can be performed by the living body measuring device 100 irradiating light to the passenger's head and detecting the internal scattering component I2 scattered by the frontal lobe. If the passenger is consciously impaired, there is a high possibility that fluctuation in cerebral blood flow is greatly reduced compared to during sleep. Therefore, based on the measured fluctuation state of the cerebral blood flow, it can be judged whether it is sleeping or the consciousness disorder.
  • the measurement time of the cerebral blood flow in step S609 is longer than the measurement time of the pulse rate in step S605. This is because the cycle of change in cerebral blood flow is relatively long compared to a pulse whose cycle is relatively short.
  • the measurement of the cerebral blood flow can be performed, for example, for a time of 1 to 5 minutes.
  • the control circuit 30 transfers the data obtained by this measurement, for example, in real time to an external apparatus 200 such as a computer in a medical institution such as a hospital (step S610). This allows the doctor to instantly confirm the passenger's vital signs. Since the living body measurement apparatus 100 can also acquire a near infrared image or a visible light image, the image may also be transmitted. This makes it possible to observe the condition of the passenger in an image.
  • a pulse signal may also be transmitted.
  • the signal processing circuit 40 of the living body measurement apparatus 100 determines whether the amount of change in cerebral blood flow is equal to or greater than a reference value (step S611).
  • the amount of change in cerebral blood flow may be, for example, a value such as the difference between the maximum value and the minimum value of cerebral blood flow per cycle, the amplitude, or the rate of change with time. If this value is smaller than a predetermined reference value, it is determined that the change in cerebral blood flow is small, and it is determined that the disturbance is consciousness (step S613).
  • the control circuit 30 transmits a signal requesting an emergency arrangement to the external apparatus 200 via the communication circuit 60 (step S614).
  • the signal processing circuit 40 sequentially performs the initial observation as the first diagnosis and the measurement of the cerebral blood flow as the second diagnosis.
  • the signal processing circuit 40 estimates the state of the subject based on a biological signal different from a brain activity signal, such as a pulse, for example, and outputs a first signal indicating the estimation result.
  • the signal processing circuit 40 estimates the state of the subject 500 based on the brain activity signal, and outputs a second signal indicating the estimation result.
  • the time required for the second diagnosis is longer than the time required for the first diagnosis.
  • the time from the start of the pulsed light irradiation to the output of the brain activity signal is longer than the time from the start of the pulsed light irradiation to the acquisition of the biological signal. Further, the time from acquisition of the brain activity signal to the output of the second signal is longer than the time from acquisition of the biological signal such as the pulse to the output of the first signal.
  • the communication circuit 60 notifies the external apparatus 200 in the medical institution.
  • the notification may include first and second signals.
  • remote interviews or whole-body observation can be performed.
  • Remote interview or whole-body observation can be realized by the doctor contacting the passenger through the camera of the biometric device 100.
  • the doctor may, for example, confirm that the passenger can hold the hand or check the eye (for example, pupil, eye position and eye movement, or nystagmus) if the passenger is suspected of being hypoglycemic. it can.
  • the suspicion of stroke is strong, confirmation of strong headache, nausea, dizziness, visual impairment or aphasia can be performed.
  • the living body measurement apparatus 100 may transfer moving image data from the initial stage of occurrence of abnormality to the external apparatus 200. Thereby, it is possible to have the doctor confirm the time course (for example, persistence or recovery) of the consciousness disorder. Further, the biological measurement device 100 is effective for vital check of passengers during an accident during automatic driving as well as during automatic driving and passengers getting off. Unlike the conventional cerebral blood flow measurement device such as near-infrared brain function measurement (fNIRS), the living body measurement device 100 can perform non-contact measurement using a camera including the image sensor 20. For this reason, attachment of the device to the subject 500 is unnecessary, and measurement is possible even in a situation where there is no person other than the subject.
  • fNIRS near-infrared brain function measurement
  • the vital check using the living body measurement apparatus 100 is not limited to the vehicle interior, and may be performed in another environment.
  • biological information of a patient on a bed may be measured.
  • FIG. 9 you may measure the biometric information of the person in process of bathing.
  • the biometric device 100 can be deployed in any environment where you want to check vital signs.
  • FIG. 10 is a diagram showing how the biometric device 100 detects an impairment in consciousness or dozing of a driver of a vehicle being a subject 500.
  • the living body measurement apparatus 100 measures the pulse rate of the driver based on the surface reflection component I1, and measures the change in cerebral blood flow of the driver based on the internal scattering component I2. Based on the acquired pulse rate data and cerebral blood flow data, it is determined whether the driver is in an awake state, a doze state, or an unconscious state. In cerebral blood flow measurement, the measured data is compared with the database of cerebral blood flow or cerebral blood flow distribution of the driver during normal operation or the database of cerebral blood flow or cerebral blood flow distribution of the awakening state of the driver accumulated daily And determine if it is an outlier.
  • the amount of sweat may be measured by the surface reflection component I1.
  • the amount of sweating can be measured by the specular reflection component on the skin surface.
  • the component of the light emitted from the living body measurement apparatus 100 that is specularly reflected on the skin surface of the driver increases and appears as a lighting component.
  • the illumination component is detected from the image as a portion with high contrast relative to the periphery. Thereby, sweating due to tachycardia can be detected.
  • the room temperature, the condition of direct sunlight, and the driver's body shape may be detected by a sensor separately installed in the vehicle compartment. Further, the state of direct sunlight and the shape of the driver may be detected by utilizing the image sensor 20 provided in the biological measurement apparatus 100 as a camera. In addition, it is possible to detect the state of the driver with higher accuracy by considering the traveling path detected by another sensing system attached to the vehicle body or the speed state of the own vehicle relative to the surrounding cars. .
  • the biological measurement apparatus 100 uses voice to the driver. Implement the call. After the call by voice is performed, detection of the state of the driver by the biometric device 100 is performed again. If it is presumed that the driver is a disorder of consciousness again, contact a medical institution or the like. If the vehicle is equipped with an autonomous driving system, the autonomous driving system may take measures to bring the vehicle body to the road shoulder and stop.
  • FIG. 11A shows an example of a biological measurement device 100 integrated with a head mounted display 400.
  • FIG. 11B shows a subject using the living body measurement apparatus 100 shown in FIG. 11A.
  • the head mounted display 400 is used for watching movies or entertainment such as games.
  • the increase in pulse rate is detected from pulse information acquired by detecting the surface reflection component I1
  • it may indicate a tense state or a state of feeling fear
  • a decrease in pulse rate May indicate a state of relaxation or boredom.
  • you have sweating it may indicate tension or excitement.
  • the degree of understanding, concentration or relaxation of the user who is the subject 500 can be evaluated from the cerebral blood flow information acquired by detecting the internal scattering component I2.
  • volume adjustment if it is estimated that the fear of the content is insufficient, the volume contrast may be increased.
  • the head mounted display 400 can also be applied to a virtual reality or a combination of a real world and a virtual world, such as VR (Virtual Reality), AR (Augmented Reality), or MR (Mixed Reality).
  • a virtual reality or a combination of a real world and a virtual world such as VR (Virtual Reality), AR (Augmented Reality), or MR (Mixed Reality).
  • VR Virtual Reality
  • AR Augmented Reality
  • MR Magnetic Reality
  • the degree of understanding of the user may be determined, and the speed of repeat playback or announcement may be adjusted according to the degree of understanding.
  • FIG. 12 shows an example used for daily health check by installing the living body measurement apparatus 100 in the home or office.
  • the biometric device 100 can acquire biological information and brain activity information without contact, and thus can be installed, for example, behind a mirror of a wash basin.
  • the mirror reflects visible light and is coated with an interference film to transmit near infrared light (e.g., light of wavelength 700 nm or more).
  • near infrared light e.g., light of wavelength 700 nm or more.
  • the user since the user is not aware of the presence of the camera, the user can perform measurement of biological information and measurement of cerebral blood flow under natural mental conditions. In addition, measurement from the front of the user is possible, and the forehead can be measured efficiently. Furthermore, at the time of face washing, it is often necessary to fasten the bangs with a hair band or the like, so there is no need to give an instruction to raise the bangs to be a shield, and the user does not have to bother. In addition, since the user stands in front of the mirror in the wash basin, measurement can be performed at a fixed distance and a short distance, and the measurement stability is enhanced.
  • a human sensor such as a pyroelectric sensor may be installed.
  • a human sensor detects a person, a signal is transmitted to the biological measurement device 100, and measurement of the human by the biological measurement device 100 is started.
  • the driving of the light source and the electric circuit in the living body measurement apparatus 100 can be stopped when there is no human, so power consumption can be reduced.
  • the living body measurement apparatus 100 Based on the surface blood flow or pulse rate measured by the living body measurement apparatus 100, it is possible to acquire physical condition data such as lack of sleep, fatigue, or anemia. At the same time, it is possible to detect mental physical data such as concentration state, head writhing condition or feeling of depression from brain blood flow information acquired simultaneously. As described above, by evaluating both the biological information acquired by detecting the surface reflection component I1 and the brain activity information acquired by detecting the internal scattering component I2, health in both physical and mental states State estimation is possible.
  • measurement may be performed by the biological measurement apparatus 100, and the acquired data may be accumulated. From the relative change information obtained by comparing the stored daily data, it is possible to detect a change in physical condition on a certain day with respect to the user's daily normal state.
  • high-frequency components representing irregular physical condition changes temporary
  • calibration may be performed by estimating in advance the influence of temperature or seasonal fluctuation components of physical condition. The detection accuracy can be improved by removing the influence of the seasonal fluctuation component of the temperature or physical condition.
  • the estimated health condition of the user is displayed on a display provided on the wash basin or a display provided on the reflection mirror. Also, by outputting daily measurement results as a graph, it is possible to visualize the degree of improvement of health and to increase the motivation of improvement efforts for the user's healthcare.
  • the measurement data is transmitted to the smartphone or tablet terminal of the user via Wi-Fi (registered trademark), Wi-Fi Direct (registered trademark), BLUETOOTH (registered trademark), or the cloud, etc. It may be displayed on a tablet terminal.
  • FIG. 13 is a diagram showing an example in which the living body measurement apparatus 100 is applied to alcohol detection by a driver who is the subject 500. From the brain activity information acquired based on the internal scattering component I2, it is evaluated whether the driver can think things normally, whether the head is working, and can concentrate on driving. In addition, the surface blood flow rate, the heart rate or the amount of sweating is detected based on the surface reflection component I1. By integrating and evaluating these pieces of information, it is determined that the driver is likely to be drunk, and if it is determined that the possibility is high, this is indicated by voice or display on the display. In addition, vehicle control such as not operating the engine or stopping the operation is performed.
  • FIG. 14 is a diagram showing an example of adjusting the indoor air conditioning using the living body measurement apparatus 100.
  • the user's sweating state may be detected from both information of the surface reflection component I1 and the internal scattering component I2.
  • the surface reflection component I1 contains a large amount of regular reflection component of the skin surface of the user, so when the user sweats, the surface reflectance increases and can be detected as a lighting component.
  • using the internal scattering component I2 it is determined whether the user feels that the heat is unpleasant.
  • the temperature, the air volume, or the direction of the air conditioner 600 may be controlled. .
  • the living body measurement apparatus 100 outputs the notification to the subject 500, controls the devices around the subject 500, and the external device based on the determination result of the state of the subject 500. It can do any of the communication.
  • the notification to the subject includes giving the subject a stimulus such as visual, auditory or tactile sense.
  • the devices around the subject include devices that can be placed around the subject and can give the subject a stimulus such as visual, auditory or tactile sense. Further, the devices in the vicinity of the subject include devices operated by the subject.
  • Communication with an external device includes transmitting signals or data to a device, such as a server, located remotely from the biometric device 100.
  • the signal processing circuit 40 includes the memory 42, and stores in advance in the memory 42 a plurality of reference values determined based on the data shown in FIGS. 4A to 4D. .
  • the signal processing circuit 40 compares the signal representing the first biological information with the first reference value, and compares the signal representing the brain activity information with the second reference value.
  • the state of the subject can be determined based on both the first biological information and the signal representing the brain activity information.
  • the determination of the state of the subject can be performed by comparing the signal representing the first biological information and the signal representing the brain activity information with the two reference values stored in the memory 42, respectively.
  • the signal processing circuit 40 may store in the memory 42 a data table indicating the relationship between the amount of brain activity, the amount of activity related to the first biological information, and the state of the body.
  • the signal processing circuit 40 may determine the state of the subject by evaluating the signal representing the acquired brain activity information and the signal representing the first biological information with reference to the data table. In this manner, the determination of the state of the subject can be performed by evaluating the biological signal and the brain activity signal with reference to the data table stored in the memory 42.
  • the data table represents the relationship between brain activity signals, biosignals, and physical conditions.
  • the signal processing circuit 40 may obtain a time-series change of the signal representing the brain activity information and the signal representing the first biological information. Then, the signal processing circuit 40 may compare the change pattern or feature amount of the time-series change with the reference pattern or reference feature amount stored in the memory 42. Alternatively, the state of the subject may be determined by calculating a statistical value such as correlation.
  • the feature value of the time-series change reads a large data set of a subject in advance, and features included in it are supervised machine learning such as deep learning, support vector machine, regression tree, or Bayesian estimation. It may be calculated by learning using.
  • the data set is a set of the detection signal and the correct value representing the condition of the subject.
  • the current state of the subject may be determined by machine learning.
  • This new subject data may be used to update the learning data each time the subject measures.
  • the judgment result obtained by executing the flow of FIG. 7 may be different from the true value.
  • the correct value of the state of the subject may be corrected, and the learning may be repeated.
  • the state of the subject may be determined using unsupervised machine learning such as hierarchical clustering, k-means clustering, self-organizing map, or deep learning.
  • two-dimensional data may be used as a data set. For example, determination of the state of the subject, comparison of patterns or correlations, feature extraction, based on the distribution, bias or intensity of the cerebral blood flow signal or the first biological signal in two-dimensional image data Or you may do machine learning.
  • the determination of the state of the subject may be comparing the time series data or the two-dimensional pattern with the reference pattern or reference feature stored in the memory 42, calculating a statistical value, and And / or by determining using machine learning.
  • the signal processing circuit 40 determines the age, sex, or health condition of the subject based on the information on the subject acquired by the biometric device 100 or another sensor, or the information on the subject registered in advance. May be determined. Then, the signal processing circuit 40 may update the reference value, the data table, and the reference pattern based on the determination result.
  • the information on the brain activity state of the subject is suppressed in the state not in contact with the subject and the noise due to the reflection component from the surface of the subject is suppressed It can measure by the state.
  • the vital check of the subject can be stably performed by an inexpensive method.
  • the biological measurement apparatus 100 may acquire other biological information other than brain activity information from another detector different from the light detector such as the image sensor 20.
  • FIG. 15 is a diagram showing an example of such a biological measurement apparatus 100.
  • the living body measurement apparatus 100 in this example includes a detector 50 that measures biological information such as a pulse. If, for example, a millimeter wave radar is used as the detector 50, the pulse wave or the respiration of the subject 500 can be detected. For example, if thermography is used as the detector 50, the amount of sweat and the temperature of the subject 500 can be measured. When the detector 50 is used, the image sensor 20 does not have to detect the surface reflection component I1 of the subject 500. The vital check of the subject 500 can be performed based on the biological information of the subject 500 detected by the detector 50.
  • the example in which the light detector is the image sensor 20 has mainly been described.
  • the present disclosure is not limited to such an example.
  • a photodetector for example, a combination of an avalanche photodiode and a memory or a combination of a PIN photodiode and a memory may be used. Even when a combination of an avalanche photodiode and a memory or a combination of a PIN photodiode and a memory is used as a light detector, for example, the rising component and the falling component of the reflected pulse light are each pulse A sufficient signal amount can be obtained by detecting and repeatedly accumulating in the memory. By calculating using the amount of signal stored in the memory, it is possible to separate the signal indicating the skin blood flow and the signal indicating the cerebral blood flow.
  • the present disclosure includes not only the biological measurement apparatus 100 but also a method of acquiring biological information using the biological measurement apparatus 100 and a vehicle provided with the biological measurement apparatus 100.
  • the living body measurement device in the present disclosure is useful for a camera or a measurement device that obtains internal information of a subject without contact.
  • Biometric devices can be applied to biological or medical sensing.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pulmonology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本開示の一態様に係る生体計測装置は、被検者の脳活動の状態を示す脳活動信号を検出して出力する第1の検出器と、信号処理回路と、を備える。前記信号処理回路は、前記脳活動信号を取得し、前記脳活動信号とは異なる、前記被検者の生体信号を取得し、前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定し、前記被検者の状態を示す信号を生成して出力する。

Description

生体計測装置、生体計測方法、及び判定装置
 本開示は、生体計測装置、生体計測方法、及び判定装置に関する。
 従来、被検者の動作、または被検者を撮影して得た画像から被検者の状態を判定する方法が知られている。例えば、特許文献1は、運転者のハンドル操作から、運転者が居眠りをしているか否かを判定する方法を開示している。また、特許文献2は、運転者をカメラで撮影して得た画像から開眼度を検出し、運転者が居眠りをしているか否かを判定する方法を開示している。
特開2004-310738号公報 特開2017-143889号公報
 従来の技術では、被検者の状態の検出に被検者の動作を必要としたり、判別できる状態が限定されたりしていた。
 本開示は、被検者の動作を必要とすることなく、被検者の様々な状態を判別することを可能にする新規な技術を提供する。
 本開示の一態様に係る生体計測装置は、被検者の脳活動の状態を示す脳活動信号を検出して出力する第1の検出器と、信号処理回路と、を備える。前記信号処理回路は、前記脳活動信号を取得し、前記脳活動信号とは異なる、前記被検者の生体信号を取得し、前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定し、前記被検者の状態を示す信号を生成して出力する。
 本開示の包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよい。あるいは、装置、システム、方法、集積回路、コンピュータプログラム、および記録媒体の任意の組み合わせで実現されてもよい。
 本開示の技術によれば、脳活動情報と、それ以外の生体情報とを利用することで、被検者の様々な状態を判別することができる。
図1Aは、本開示の例示的な実施形態に係る生体計測装置を示す模式図である。 図1Bは、イメージセンサに到達する光の強度の時間変化の例を示す図である。 図1Cは、入力パルス光の幅を横軸に、センサ検出光量を縦軸に表した図である。 図1Dは、イメージセンサの1つの画素の概略的な構成の例を示す図である。 図1Eは、イメージセンサの構成の一例を示す図である。 図1Fは、1フレーム内の動作の例を示す図である。 図1Gは、制御回路による動作の概略を示すフローチャートである。 図2は、パルス光の内部散乱成分の検出方法を説明するための図である。 図3Aは、表面反射成分を検出する場合のタイミングチャートの一例を示す図である。 図3Bは、内部散乱成分を検出する場合のタイミングチャートの一例を示す図である。 図4Aは、人の脈拍数と脳活動量と身体の状態との関係を模式的に示す図である。 図4Bは、人の発汗量と脳活動量と身体の状態との関係を模式的に示す図である。 図4Cは、人の体温と脳活動量と身体の状態との関係を模式的に示す図である。 図4Dは、人の呼吸数と脳活動量と身体の状態との関係を模式的に示す図である。 図5は、自動運転中のタクシーの乗客のバイタルサインを生体計測装置で検出する様子を示す図である。 図6は、生体計測装置の他の構成例を示す図である。 図7は、生体計測装置の動作の例を示すフローチャートである。 図8は、生体計測装置の他の応用例を示す図である。 図9は、生体計測装置のさらに他の応用例を示す図である。 図10は、生体計測装置のさらに他の応用例を示す図である。 図11Aは、生体計測装置のさらに他の応用例である、ヘッドマウントディスプレイと一体化された生体計測装置を示す図である。 図11Bは、図11Aに示す生体計測装置を被検者が使用している様子を示す図である。 図12は、生体計測装置のさらに他の応用例を示す図である。 図13は、生体計測装置のさらに他の応用例を示す図である。 図14は、生体計測装置のさらに他の応用例を示す図である。 図15は、生体計測装置のさらに他の構成例を示す図である。
 本開示は、以下の項目に記載の生体計測装置、生体計測方法、および判定装置を含む。
 [項目1]
 本開示の項目1に係る生体計測装置は、被検者の脳活動の状態を示す脳活動信号を検出して出力する第1の検出器と、
 信号処理回路と、
を備える。
 前記信号処理回路は、
  前記脳活動信号を取得し、
  前記脳活動信号とは異なる、前記被検者の生体信号を取得し、
  前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定し、
  前記被検者の状態を示す信号を生成して出力する。
 上記態様によれば、前記生体信号および前記脳活動信号の両方を利用することにより、被検者の状態を従来よりも正確に判別することができる。
 [項目2]
 項目1に記載の生体計測装置において、前記第1の検出器が、さらに、前記生体信号を検出して出力してもよい。
 [項目3]
 項目1に記載の生体計測装置は、前記生体信号を検出して出力する第2の検出器をさらに備えていてもよい。
 [項目4]
 項目1から3のいずれかに記載の生体計測装置は、前記被検者の頭部に照射されるパルス光を出射する光源と、
 制御回路と、
をさらに備え、
 前記第1の検出器は、前記頭部から戻った反射パルス光の少なくとも一部を検出し、
 前記制御回路は、
  前記光源に前記パルス光を出射させ、
  前記第1の検出器に、前記反射パルス光のうち、前記被検者の脳内で散乱された内部散乱成分を、前記脳活動信号として検出して出力させてもよい。
 [項目5]
 項目1から4のいずれかに記載の生体計測装置において、前記生体信号は、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの情報を含んでいてもよい。
 上記態様によれば、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの生体情報に基づく被検者の状態の判別と、脳活動信号に基づく被検者の状態の判別とを行うことができる。
 [項目6]
 項目1から5のいずれかに記載の生体計測装置において、前記脳活動信号は、前記被検者の脳血流量の変化の情報を含んでいてもよい。
 上記態様によれば、被検者の脳血流量の増減等の変化に関する情報に基づいて、被検者の脳活動状態を推定することができる。
 [項目7]
 項目1から6のいずれかに記載の生体計測装置において、前記信号処理回路は、
 前記生体信号を取得した後、前記脳活動信号を取得してもよい。
 上記態様によれば、脳活動信号以外の生体信号に基づく被検者の状態の判別をまず行い、その後、脳活動信号に基づく脳活動状態の判別を行うことができる。
 [項目8]
 項目1から7のいずれかに記載の生体計測装置において、前記信号処理回路は、前記生体信号と、前記脳活動信号とに基づいて、前記被検者の脈拍が徐脈であるか頻脈であるかを判定して出力してもよい。
 上記態様によれば、被検者の脈拍が徐脈であるか頻脈であるかを判別することができる。
 [項目9]
 項目1から8のいずれかに記載の生体計測装置において、前記生体信号は、前記被検者の皮膚の表面における血流の情報を含んでいてもよい。
 上記態様によれば、被検者の皮膚の表面における血流の情報に基づいて被検者の状態の判別を行うことができる。
 [項目10]
 項目4に記載の生体計測装置において、前記制御回路は、前記第1の検出器に、
 前記反射パルス光のうち、前記被検者の皮膚の表面で反射された表面反射成分をさらに検出させ、
 前記表面反射成分の変動を示す信号を、前記生体信号として出力させてもよい。
 上記態様によれば、1つの検出器で、被検者の皮膚の表面における血流の情報と、脳血流の情報の両方を取得することができる。
 [項目11]
 項目10に記載の生体計測装置において、前記制御回路は、前記第1の検出器に、
 前記反射パルス光のうち、前記反射パルス光の強度が減少を開始した後の部分を検出させることにより、前記内部散乱成分を検出させ、
 前記反射パルス光のうち、少なくとも前記反射パルス光の強度が減少を開始する前の部分を検出させることにより、前記表面反射成分を検出させてもよい。
 上記態様によれば、被検者の頭部から戻ってきたパルス光の内部散乱成分と、表面反射成分とを、高いSN比で検出することができる。
 [項目12]
 項目10または11に記載の生体計測装置において、前記第1の検出器は、二次元的に配列された複数の画素を含むイメージセンサであり、
 前記複数の画素の各々は、
 受光した光を信号電荷に変換する光電変換素子と、
 前記表面反射成分に対応する前記信号電荷を蓄積する第1の電荷蓄積部と、
 前記内部散乱成分に対応する前記信号電荷を蓄積する第2の電荷蓄積部と、
を含んでいてもよい。
 上記態様によれば、被検者の二次元画像を取得することができる。
 [項目13]
 項目4に記載の生体計測装置において、前記パルス光の照射開始から前記脳活動信号が取得されるまでの時間は、前記パルス光の照射開始から前記生体信号が取得されるまでの時間よりも長くてもよい。
 上記態様によれば、まず脳活動信号以外の生体信号に基づく診断を行い、その後、脳活動信号に基づく診断を行うことができる。
 [項目14]
 項目1から13のいずれかに記載の生体計測装置において、前記信号処理回路は、
 前記生体信号に基づいて、前記被検者の状態に関する第1の判定を行い、前記第1の判定の結果を示す第1の信号を出力し、
 前記第1の信号を出力した後、前記脳活動信号に基づいて、前記被検者の状態に関する第2の判定を行い、前記第2の判定の結果を示す第2の信号を出力してもよい。
 上記態様によれば、まず脳活動信号以外の生体信号に基づく診断を行い、その後、脳活動信号に基づく診断を行うことができる。
 [項目15]
 項目14に記載の生体計測装置は、前記生体計測装置の外部にある外部装置との間で通信する通信回路をさらに備え、
 前記通信回路は、前記信号処理回路が、前記生体信号および前記脳活動信号からなる群から選択される少なくとも1つに基づいて、前記被検者が健常状態にないと判定した場合、前記外部装置に、前記被検者が健常状態にないことを通知してもよい。
 上記態様によれば、前記生体信号および/または前記脳活動信号に基づいて前記被検者が健常状態にないと判断した場合、例えば医療機関にある外部装置に通知することができる。このため、被検者の状態が危険な場合でも、例えば救急車を手配するなどの行動を迅速に行うことができる。
 [項目16]
 本開示の項目17に係る生体計測方法は、被検者の脳活動信号を取得する工程、
 前記脳活動信号とは異なる、前記被検者の生体信号を取得する工程、および
 前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定する工程、を含む。
 上記態様によれば、前記生体信号および前記脳活動信号の両方を利用することにより、被検者の状態を従来よりも正確に判別することができる。
 [項目17]
 項目16に記載の生体計測方法において、前記脳活動信号を取得する工程は、
  光源、光検出器、信号処理回路、および制御回路を含む生体計測装置における前記光源を用いて、前記被検者の頭部にパルス光を照射する工程と、
  前記光検出器を用いて、前記頭部から戻った反射パルス光のうち、前記被検者の脳内で散乱された内部散乱成分を、前記脳活動信号として検出して出力させる工程と、を含み、
 前記信号処理回路を用いて、前記判定する工程を行ってもよい。
 [項目18]
 項目17に記載の生体計測方法において、前記被検者の状態の判定の結果に基づいて、前記制御回路は、前記被検者への通知の出力、前記生体計測装置と異なる前記被検者の周辺の機器の制御、および前記生体計測装置の外部にある外部装置との通信のいずれかを行ってもよい。
 [項目19]
 項目16から18のいずれかに記載の生体計測方法において、前記生体信号は、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの情報を含んでいてもよい。
 上記態様によれば、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの生体情報に基づく被検者の状態の判別と、脳活動信号に基づく被検者の状態の判別とを行うことができる。
 [項目20]
 項目16から19のいずれかに記載の生体計測方法において、前記脳活動信号は、前記被検者の脳血流量の変化の情報を含んでいてもよい。
 上記態様によれば、被検者の脳血流量の増減等の変化に関する情報に基づいて、被検者の脳活動状態を推定することができる。
 [項目21]
 項目16から20のいずれかに記載の生体計測方法において、前記生体信号を取得する工程後に、前記脳活動信号を取得する工程を行ってもよい。
 上記態様によれば、脳活動信号以外の生体信号に基づく被検者の状態の判別をまず行い、その後、脳活動信号に基づく脳活動状態の判別を行うことができる。
 [項目22]
 項目16から21のいずれかに記載の生体計測方法において、前記判定する工程は、前記被検者の脈拍が徐脈であるか頻脈であるかを判定することを含んでいてもよい。
 上記態様によれば、被検者の脈拍が徐脈であるか頻脈であるかを判別することができる。
 [項目23]
 項目16から22のいずれかに記載の生体計測方法において、前記生体信号は、前記被検者の皮膚の表面における血流の情報を含んでいてもよい。
 上記態様によれば、被検者の皮膚の表面における血流の情報に基づいて被検者の状態の判別を行うことができる。
 [項目24]
 項目17または18に記載の生体計測方法において、前記生体計測装置は、前記生体信号の基準値である第1基準値と、前記脳活動信号の基準値である第2基準値とを記憶するメモリをさらに含み、
 前記判定する工程は、前記生体信号を前記第1基準値と比較すること、および前記脳活動信号を前記第2基準値と比較することにより行われてもよい。
 上記態様によれば、生体信号および脳活動信号に基づく被検者の状態の判定を、異なる2つの基準値との比較によって実行することができる。
 [項目25]
 項目17または18に記載の生体計測方法において、前記生体計測装置は、前記脳活動信号と、前記生体信号と、前記被検者の状態との関係を表すデータテーブルを記憶するメモリをさらに含み、
 前記判定する工程は、前記データテーブルを参照することにより行われてもよい。
 上記態様によれば、脳活動信号と、生体信号と、身体の状態との関係を表すデータテーブルを参照して評価することにより、より正確に被検者の身体状態を判定し得る。
 [項目26]
 項目17または18に記載の生体計測方法は、前記生体信号および前記脳活動信号の時系列データを取得する工程をさらに含み、
 前記生体計測装置は、前記時系列データに対応する参照時系列データを記憶するメモリをさらに含み、
 前記判定する工程は、前記時系列データを前記参照時系列データと比較すること、前記時系列データの統計値を算出すること、および前記時系列データと前記被検者の状態との相関の機械学習を行うことからなる群から選択される少なくとも1つを含んでいてもよい。
 上記態様によれば、被検者の状態をより正確に判定し得る。
 [項目27]
 項目17または18に記載の生体計測方法は、前記生体信号および前記脳活動信号に対応する2次元画像データを取得する工程、および
 前記2次元画像データに含まれる特徴量を抽出する工程をさらに含み、
 前記生体計測装置は、前記特徴量に対応する参照特徴量を記憶するメモリをさらに含み、
 前記判定する工程は、前記特徴量を前記参照特徴量と比較すること、前記特徴量の統計値を算出すること、および前記特徴量と前記被検者の状態との相関の機械学習を行うことからなる群から選択される少なくとも1つを含んでいてもよい。
 [項目28]
 本開示の項目28に係る判定装置は、1つ以上のメモリと、
 動作時に、
  被検者の脳活動信号を取得し、
  前記脳活動信号とは異なる、前記被検者の生体信号を取得し、かつ
  前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定する
 回路と、を備える。
 [項目29]
 本開示の項目29に係る生体計測装置は、被検者の頭部に照射されるパルス光を出射する光源と、
 前記頭部から戻った反射パルス光の少なくとも一部を検出する光検出器と、
 前記光源および前記光検出器を制御する制御回路と、
 信号処理回路と、
を備える。
 前記制御回路は、
  前記光源に前記パルス光を出射させ、
  前記光検出器に、前記反射パルス光のうち、前記被検者の脳内で散乱された内部散乱成分を、脳活動信号として検出および出力させ、
  前記光検出器に、前記反射パルス光のうち、前記被検者の皮膚の表面で反射された表面反射成分を、前記脳活動信号とは異なる生体信号として検出および出力させる。
 前記信号処理回路は、前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態を示す信号を生成して出力する。
 [項目30]
 項目29に記載の生体計測装置において、
 前記制御回路は、前記光検出器に、
 前記反射パルス光のうち、前記反射パルス光の強度が減少を開始した後の部分を検出させることにより、前記内部散乱成分を検出させ、
 前記反射パルス光のうち、少なくとも前記反射パルス光の強度が減少を開始する前の部分を検出させることにより、前記表面反射成分を検出させてもよい。
 [項目31]
 項目29に記載の生体計測装置において、
 前記生体信号は、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの情報を含んでいてもよい。
 以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置などは、一例であり、本開示の技術を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 本開示において、回路、ユニット、装置、部材又は部の全部又は一部、又はブロック図における機能ブロックの全部又は一部は、例えば、半導体装置、半導体集積回路(IC)、又はLSI(large scale integration)を含む1つ又は複数の電子回路によって実行され得る。LSI又はICは、1つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、1つのチップに集積されてもよい。ここでは、LSI又はICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(very large scale integration)、若しくはULSI(ultra large scale integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるreconfigurable logic deviceも同じ目的で使うことができる。
 さらに、回路、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは1つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている1つ又は複数の非一時的記録媒体、処理装置(processor)、および必要とされるハードウエアデバイス、例えばインターフェースを備えていてもよい。
 以下、実施の形態について、図面を参照しながら具体的に説明する。以下の説明において、同一または類似する構成要素には同一の符号を付す。
 (実施の形態)
 [1.生体計測装置]
 図1Aから図3Bを参照して、本開示の例示的な実施形態に係る生体計測装置100の構成を説明する。
 図1Aは、本実施形態に係る生体計測装置100を示す模式図である。生体計測装置100は、光源10と、イメージセンサ20と、制御回路30と、信号処理回路40とを備える。イメージセンサ20は、複数の光電変換素子22と、複数の電荷蓄積部24とを含む。イメージセンサ20は、本開示における第1の検出器、第2の検出器及び光検出器の一例である。イメージセンサ20に代えて、少なくとも1つの光電変換素子22と、少なくとも1つの電荷蓄積部24とを含む他の種類の光検出器を用いることも可能である。
 光源10は、被検者500の頭部に照射されるパルス光を出射する。イメージセンサ20は、被検者500の頭部から戻ってきたパルス光である反射パルス光の少なくとも一部を検出する。制御回路30は、光源10およびイメージセンサ20を制御する。信号処理回路40は、イメージセンサ20から出力された信号を処理する。
 本実施形態では、制御回路30は、光源10を制御する光源制御部32と、イメージセンサ20を制御するセンサ制御部34とを含む。光源制御部32は、光源10から出射されるパルス光の強度、パルス幅、出射タイミング、および/または波長を制御する。センサ制御部34は、イメージセンサ20の各画素における信号蓄積のタイミングを制御する。
 以下、各構成要素をより詳細に説明する。
 [1-1.光源10]
 光源10は、被検者500の頭部(例えば額)に光を照射する。光源10から出射されて被検者500に到達した光は、被検者500の表面で反射される表面反射成分I1と、被検者500の内部で散乱される内部散乱成分I2とに分かれる。内部散乱成分I2は、生体内部で1回反射もしくは散乱、または多重散乱する成分である。被検者500の額に光を照射する場合、内部散乱成分I2は、額の表面から奥に8mmから16mmほどの部位、例えば脳に到達し、再び生体計測装置100に戻る成分を指す。表面反射成分I1は、直接反射成分、拡散反射成分、および散乱反射成分の3つの成分を含む。直接反射成分は、入射角と反射角とが等しい反射成分である。拡散反射成分は、表面の凹凸形状によって拡散して反射する成分である。散乱反射成分は、表面近傍の内部組織によって散乱して反射する成分である。被検者500の額に光を照射する場合、散乱反射成分は、表皮内部で散乱して反射する成分である。以降、本開示では、被検者500の表面で反射する表面反射成分I1は、これら3つの成分を含むものとする。表面反射成分I1および内部散乱成分I2は、反射または散乱によって進行方向が変化し、その一部がイメージセンサ20に到達する。
 まず、内部散乱成分I2の取得方法について説明する。光源10は、制御回路30からの指示に従い、パルス光を所定の時間間隔または所定のタイミングで複数回繰り返し発生させる。光源10が発生させるパルス光は、例えば立ち下がり時間がゼロに近い矩形波であり得る。立ち下がり時間とは、パルス光の強度がピーク値から低下し始めてからほぼゼロになるまでの時間を指す。一般に、被検者500に入射した光は、様々な経路で被検者500内を伝搬し、時間差を伴って被検者500の表面から出射する。このため、パルス光の内部散乱成分I2の後端は広がりを有する。被検部が額である場合、内部散乱成分I2の後端の広がりは、4ns程度である。このことを考慮すると、パルス光の立ち下がり時間は、例えばその半分以下である2ns以下に設定され得る。立下り時間は、さらにその半分の1ns以下であってもよい。光源10が発生させるパルス光の立ち上がり時間は任意である。本実施形態における内部散乱成分I2の検出では、パルス光の立下り部分を使用し、立ち上がり部分を使用しないためである。パルス光の立ち上がり部分は、表面反射成分I1の検出には用いられ得る。光源10は、例えば、パルス光の立ち下がり部分が時間軸に対して直角に近い、つまり時間応答特性が急進な、LDなどのレーザであり得る。
 光源10が発する光の波長は、例えば650nm以上950nm以下の波長範囲に含まれる任意の波長であり得る。この波長範囲は、赤色から近赤外線の波長範囲に含まれる。本明細書では、可視光のみならず赤外線についても「光」の用語を使用する。上記の波長範囲は、「生体の窓」と呼ばれており、生体内の水分および皮膚に比較的吸収されにくいという性質を有する。生体を検出対象にする場合、上記の波長範囲の光を使用することにより、検出感度を高くすることができる。本実施形態のように、被検者500の皮膚および脳の血流変化を検出する場合、使用される光は、主に酸素化ヘモグロビン(HbO)および脱酸素化ヘモグロビン(Hb)に吸収されると考えられる。酸素化ヘモグロビンと脱酸素化ヘモグロビンとで、光吸収の波長依存性が異なる。一般に、血流に変化が生じると、酸素化ヘモグロビンおよび脱酸素化ヘモグロビンの濃度が変化するため、光の吸収度合いも変化する。したがって、血流が変化すると、検出される光量も時間的に変化する。
 光源10は、上記の波長範囲に含まれる2つ以上の波長の光を出射してもよい。そのような複数波長の光は、複数の光源からそれぞれ出射されてもよい。
 本実施形態の生体計測装置100では、非接触で被検者500を測定するため、網膜への影響を考慮して設計された光源10が用いられ得る。例えば、各国で策定されているレーザ安全基準のクラス1を満足する光源10が用いられ得る。クラス1が満足されている場合、被爆放出限界(AEL)が1mWを下回るほどの低照度の光が被検者500に照射される。なお、光源10自体はクラス1を満たしていなくてもよい。例えば、拡散板またはNDフィルタなどが光源10の前に設置されて光が拡散あるいは減衰されることによってレーザ安全基準のクラス1が満たされていてもよい。
 従来、生体内部の深さ方向において異なる場所における吸収係数または散乱係数などの情報を区別して検出するために、ストリークカメラが使用されていた。例えば、特開平4-189349は、そのようなストリークカメラの一例を開示している。これらのストリークカメラでは、所望の空間分解能で測定するために、パルス幅がフェムト秒またはピコ秒の極超短パルス光が用いられていた。
 これに対し、本開示の生体計測装置100は、表面反射成分I1と内部散乱成分I2とを区別して検出することができる。したがって、光源10が発するパルス光は、極超短パルス光である必要は無く、パルス幅を任意に選択できる。
 脳血流を計測するために額に光を照射する場合、内部散乱成分I2の光量は、表面反射成分I1の光量の数千分の1から数万分の1程度の非常に小さい値になり得る。さらに、レーザの安全基準を考慮すると、照射できる光の光量が極めて小さくなり、内部散乱成分I2の検出は非常に難しくなる。その場合でも、光源10が、比較的パルス幅の大きいパルス光を発生させれば、時間遅れを伴う内部散乱成分I2の積算量を増加させることができる。それにより、検出光量を増やし、SN比を向上させることができる。
 光源10は、例えばパルス幅が3ns以上のパルス光を発する。一般に、脳などの生体組織内で散乱された光の時間的な広がりは4ns程度である。図1Bは、入力パルス光の幅が0ns、3ns、および10nsのそれぞれの場合において、イメージセンサ20に到達する光量の時間変化の例を示している。図1Bに示すように、光源10からのパルス光の幅を広げるにつれて、被検者500から戻ったパルス光の後端部に現れる内部散乱成分I2の光量が増加する。図1Cは、入力パルス光の幅を横軸に、センサ検出光量を縦軸に表した図である。イメージセンサ20は、電子シャッタを備える。図1Cの結果は、パルス光の後端が被検者500の表面で反射されてイメージセンサ20に到達した時刻から1ns経過した後に電子シャッタを開いた条件で得られた。この条件を選択した理由は、パルス光の後端が到達した直後は、内部散乱成分I2に対する表面反射成分I1の比率が高いためである。図1Cに示すように、光源10が発するパルス光のパルス幅を3ns以上にすると、センサ検出光量を最大化することができる。
 光源10は、パルス幅5ns以上、さらには10ns以上のパルス光を発光してもよい。一方、パルス幅が大きすぎても使用しない光が増えて無駄となる。よって、光源10は、例えば、パルス幅50ns以下のパルス光を発生させる。あるいは、光源10は、パルス幅30ns以下、さらには20ns以下のパルス光を発光してもよい。
 光源10の照射パターンは、例えば、照射領域内において、均一な強度分布をもつパターンであってもよい。この点で、本実施形態は、例えば特開平11-164826号公報等に開示された従来の生体計測装置とは異なる。特開平11-164826号公報に開示された装置では、検出器と光源とを3cm程度離し、空間的に表面反射成分を内部散乱成分から分離する。このため、離散的な光照射とせざるを得ない。これに対し、本実施形態の生体計測装置100は、時間的に表面反射成分I1を内部散乱成分I2から分離して低減できる。このため、均一な強度分布をもつ照射パターンの光源10を用いることができる。均一な強度分布をもつ照射パターンは、光源10が発する光を拡散板により拡散することによって形成しても良い。
 本実施形態では、従来技術とは異なり、被検者500におけるパルス光の照射点直下においても内部散乱成分I2を検出できる。被検者500を空間的に広い範囲にわたって光で照射することにより、測定解像度を高めることもできる。
 [1-2.イメージセンサ20]
 イメージセンサ20は、光源10から出射され被検者500で反射または散乱した光を受光する。イメージセンサ20は、2次元に配置された複数の光検出セルを有し、被検者500の2次元情報を一度に取得する。本明細書において、光検出セルを「画素」とも称する。イメージセンサ20は、例えば、CCDイメージセンサまたはCMOSイメージセンサなどの任意の撮像素子である。
 イメージセンサ20は、電子シャッタを有する。電子シャッタは、撮像のタイミングを制御する回路である。本実施形態では、制御回路30におけるセンサ制御部34が、電子シャッタの機能を有する。電子シャッタは、受光した光を有効な電気信号に変換して蓄積する1回の信号蓄積の期間と、信号蓄積を停止する期間とを制御する。信号蓄積期間は、「露光期間」または「撮影期間」と称することもできる。以下の説明において、露光期間の幅を、「シャッタ幅」と称することがある。1回の露光期間が終了し次の露光期間が開始するまでの時間を、「非露光期間」と称することがある。以下、露光している状態を「OPEN」、露光を停止している状態を「CLOSE」と称することがある。
 イメージセンサ20は、電子シャッタによって露光期間および非露光期間をサブナノ秒、例えば、30psから1nsの範囲で調整できる。距離測定を目的としている従来のTOF(Time of Flight)カメラは、被写体の明るさの影響を補正するため、光源10から出射され被写体で反射されて戻ってきた光の全てを検出する。したがって、従来のTOFカメラでは、シャッタ幅が光のパルス幅よりも大きい必要があった。これに対し、本実施形態の生体計測装置100では、被写体の光量を補正する必要が無い。このため、シャッタ幅がパルス幅よりも大きい必要はない。よって、シャッタ幅を、例えば、1ns以上30ns以下の値に設定できる。本実施形態の生体計測装置100によれば、シャッタ幅を縮小できるため、検出信号に含まれる暗電流の影響を低減することができる。
 被検者500の額を光で照射して脳血流などの情報を検出する場合、内部での光の減衰率が非常に大きい。例えば、入射光に対して出射光が、100万分の1程度にまで減衰し得る。このため、内部散乱成分I2を検出するには、1パルスの照射だけでは光量が不足する場合がある。レーザ安全性基準のクラス1での照射では特に光量が微弱である。この場合、光源10がパルス光を複数回発光し、それに応じてイメージセンサ20も電子シャッタによって複数回露光することで検出信号を積算して感度を向上することができる。
 以下、イメージセンサ20の構成例を説明する。
 イメージセンサ20は、撮像面上に2次元的に配列された複数の画素を備え得る。各画素は、例えばフォトダイオードなどの光電変換素子と、1つまたは複数の電荷蓄積部とを備え得る。以下、各画素が、光電変換によって受光量に応じた信号電荷を発生させる光電変換素子と、パルス光の表面反射成分I1によって生じた信号電荷を蓄積する電荷蓄積部と、パルス光の内部散乱成分I2によって生じた信号電荷を蓄積する電荷蓄積部とを備える例を説明する。以下の例では、制御回路30は、イメージセンサ20に、被検者500の頭部から戻ってきたパルス光中の立下り開始前の部分を検出させることにより、表面反射成分I1を検出させる。制御回路30はまた、イメージセンサ20に、被検者500の頭部から戻ってきたパルス光中の立下り開始後の部分を検出させることにより、内部散乱成分I2を検出させる。光源10は2種類の波長の光を出射するものとする。
 図1Dは、イメージセンサ20の1つの画素201の概略的な構成例を示す図である。なお、図1Dは、1つの画素201の構成を模式的に示しており、実際の構造を必ずしも反映していない。この例における画素201は、光電変換を行うフォトダイオード203と、電荷蓄積部である、第1の浮遊拡散層(Floating Diffusion)204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207と、信号電荷を排出するドレイン202とを含む。
 1回のパルス光の出射に起因して各画素に入射したフォトンは、フォトダイオード203によって信号電荷である信号エレクトロンに変換される。変換された信号エレクトロンは、制御回路30から入力される制御信号に従って、ドレイン202に排出されるか、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207のいずれかに振り分けられる。
 光源10からのパルス光の出射と、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207への信号電荷の蓄積と、ドレイン202への信号電荷の排出が、この順序で繰り返し行われる。この繰り返し動作は高速であり、例えば動画像の1フレームの時間(例えば約1/30秒)内に数万回から数億回繰り返され得る。画素201は、最終的に、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207に蓄積された信号電荷に基づく4つの画像信号を生成して出力する。
 この例における制御回路30は、光源10に、第1の波長をもつ第1のパルス光と、第2の波長をもつ第2のパルス光とを、順に繰り返し出射させる。第1の波長および第2の波長として、被検者500の内部組織に対する吸収率が異なる2波長を選択することで、被検者500の状態を分析することができる。例えば、第1の波長として805nmよりも長い波長を選択し、第2の波長として805nmよりも短い波長を選択してもよい。これにより、被検者500の血液中の酸素化ヘモグロビン濃度および脱酸素化ヘモグロビン濃度のそれぞれの変化を検出することが可能になる。
 制御回路30は、まず、光源10に、第1のパルス光を出射させる。制御回路30は、第1のパルス光の表面反射成分I1がフォトダイオード203に入射している第1の期間に、第1の浮遊拡散層204に信号電荷を蓄積させる。続いて、制御回路30は、第1のパルス光の内部散乱成分I2がフォトダイオード203に入射している第2の期間に、第2の浮遊拡散層205に信号電荷を蓄積させる。次に、制御回路30は、光源10に、第2のパルス光を出射させる。制御回路30は、第2のパルス光の表面反射成分I1がフォトダイオード203に入射している第3の期間に、第3の浮遊拡散層206に信号電荷を蓄積させる。続いて、制御回路30は、第2のパルス光の内部散乱成分I2がフォトダイオード203に入射している第4の期間に、第4の浮遊拡散層207に信号電荷を蓄積させる。
 このように、制御回路30は、第1のパルス光の発光を開始した後、所定の時間差を空けて、第1の浮遊拡散層204および第2の浮遊拡散層205に、フォトダイオード203からの信号電荷を順次蓄積させる。その後、制御回路30は、第2のパルス光の発光を開始した後、上記所定の時間差を空けて、第3の浮遊拡散層206および第4の浮遊拡散層207に、フォトダイオード203からの信号電荷を順次蓄積させる。以上の動作を複数回繰り返す。外乱光および環境光の光量を推定するために、光源10を消灯した状態で不図示の他の浮遊拡散層に信号電荷を蓄積する期間を設けてもよい。第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207の信号電荷量から、上記他の浮遊拡散層の信号電荷量を差し引くことで、外乱光および環境光成分を除去した信号を得ることができる。
 なお、本実施形態では、電荷蓄積部の数を4としているが、目的に応じて2以上の複数の数に設計してよい。例えば、1種類の波長のみを用いる場合には、電荷蓄積部の数は2であってよい。また、使用する波長が1種類で、表面反射成分I1を検出しない用途では、画素ごとの電荷蓄積部の数は1であってもよい。また、2種類以上の波長を用いる場合であっても、それぞれの波長を用いた撮像を別のフレームで行えば、電荷蓄積部の数は1であってもよい。また、後述するように、表面反射成分I1の検出と内部散乱成分I2の検出とをそれぞれ別のフレームで行えば、電荷蓄積部の数は1であってもよい。
 図1Eは、イメージセンサ20の構成の一例を示す図である。図1Eにおいて、二点鎖線の枠で囲まれた領域が1つの画素201に相当する。画素201には1つのフォトダイオードが含まれる。図1Eでは2行2列に配列された4画素のみを示しているが、実際にはさらに多数の画素が配置され得る。画素201は、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207を含む。第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207に蓄積される信号は、あたかも一般的なCMOSイメージセンサの4画素の信号のように取り扱われ、イメージセンサ20から出力される。
 各画素201は、4つの信号検出回路を有する。各信号検出回路は、ソースフォロワトランジスタ309と、行選択トランジスタ308と、リセットトランジスタ310とを含む。この例では、リセットトランジスタ310が図1Dに示すドレイン202に対応し、リセットトランジスタ310のゲートに入力されるパルスがドレイン排出パルスに対応する。各トランジスタは、例えば半導体基板に形成された電界効果トランジスタであるが、これに限定されない。図示されるように、ソースフォロワトランジスタ309の入力端子および出力端子の一方(典型的にはソース)と、行選択トランジスタ308の入力端子および出力端子のうちの一方(典型的にはドレイン)とが接続されている。ソースフォロワトランジスタ309の制御端子であるゲートは、フォトダイオード203に接続されている。フォトダイオード203によって生成された信号電荷(すなわち正孔または電子)は、フォトダイオード203とソースフォロワトランジスタ309との間の電荷蓄積部である浮遊拡散層に蓄積される。
 図1Eには示されていないが、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207はフォトダイオード203に接続される。フォトダイオード203と、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207との間には、スイッチが設けられ得る。このスイッチは、制御回路30からの信号蓄積パルスに応じて、フォトダイオード203と、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207の各々との間の導通状態を切り替える。これにより、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207の各々への信号電荷の蓄積の開始と停止とが制御される。本実施形態における電子シャッタは、このような露光制御のための機構を有する。
 第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207に蓄積された信号電荷は、行選択回路302によって行選択トランジスタ308のゲートがONにされることにより、読み出される。この際、第1の浮遊拡散層204、第2の浮遊拡散層205、第3の浮遊拡散層206、および第4の浮遊拡散層207の信号電位に応じて、ソースフォロワ電源305からソースフォロワトランジスタ309およびソースフォロワ負荷306へ流入する電流が増幅される。垂直信号線304から読み出されるこの電流によるアナログ信号は、列毎に接続されたアナログ-デジタル(AD)変換回路307によってデジタル信号データに変換される。このデジタル信号データは、列選択回路303によって列ごとに読み出され、イメージセンサ20から出力される。行選択回路302および列選択回路303は、1つの行の読出しを行った後、次の行の読み出しを行い、以下同様に、全ての行の浮遊拡散層の信号電荷の情報を読み出す。制御回路30は、全ての信号電荷を読み出した後、リセットトランジスタ310のゲートをオンにすることで、全ての浮遊拡散層をリセットする。これにより、1つのフレームの撮像が完了する。以下同様に、フレームの高速撮像を繰り返すことにより、イメージセンサ20による一連のフレームの撮像が完結する。
 本実施の形態では、CMOS型のイメージセンサ20の例を説明したが、イメージセンサ20は他の種類の撮像素子であってもよい。イメージセンサ20は、例えば、CCD型であっても、単一光子計数型素子であっても、増幅型イメージセンサ(例えば、EMCCDまたはICCD)であっても構わない。
 図1Fは、本実施形態における1フレーム内の動作の例を示す図である。図1Fに示すように、1フレーム内で、第1のパルス光の発光と第2のパルス光の発光とを交互に複数回切り替えてもよい。このようにすると、2種類の波長による検出画像の取得タイミングの時間差を低減でき、動きがある被検者500であっても、ほぼ同時に第1および第2のパルス光での撮影が可能である。
 本実施形態では、イメージセンサ20が、パルス光の表面反射成分I1と内部散乱成分I2の両方を検出する。表面反射成分I1の時間的または空間的な変化から、被検者500の第1の生体情報を取得することができる。第1の生体情報は、例えば、被検者500の脈拍数であり得る。一方、内部散乱成分I2の時間的または空間的な変化から、被検者500の第2の生体情報である脳活動情報を取得することができる。
 第1の生体情報は、表面反射成分I1を検出する方法とは異なる方法によって取得してもよい。例えば、イメージセンサ20とは異なる他の種類の検出器を利用して、第1の生体情報を取得してもよい。その場合、イメージセンサ20は、内部散乱成分I2のみを検出する。他の種類の検出器は、例えばレーダまたはサーモグラフィであってもよい。
 第1の生体情報は、例えば、被検者の脈拍数、発汗量、呼吸数、体温の少なくとも1つであり得る。第1の生体情報は、被検者の頭部に照射されたパルス光の内部散乱成分I2を検出することにより得られる脳活動情報以外の生体情報であればよい。ここで、「脳活動情報以外」とは、第1の生体情報中に脳活動に起因する情報が一切含まれないことを意味するものではない。第1の生体情報は、脳活動とは別の生体活動に起因する生体情報が含まれていればよい。第1の生体情報は、例えば、自律的または反射的な生体活動に起因する生体情報である。
 本明細書において、第1の生体情報を示す信号を「第1の生体信号」または単に「生体信号」と称することがある。また、脳活動情報を示す信号を「脳活動信号」と称することがある。
 [1-3.制御回路30および信号処理回路40]
 制御回路30は、光源10のパルス光発光タイミングと、イメージセンサ20のシャッタタイミングとの時間差を調整する。以下、当該時間差を「位相」または「位相遅れ」と称することがある。光源10の「発光タイミング」とは、光源10が発光するパルス光が立ち上がりを開始するタイミングである。「シャッタタイミング」とは、露光を開始するタイミングである。制御回路30は、発光タイミングを変化させて位相を調整しても良いし、シャッタタイミングを変化させて位相を調整しても良い。
 制御回路30は、イメージセンサ20の各画素で検出された信号からオフセット成分を取り除くように構成されてもよい。オフセット成分は、太陽光もしくは蛍光灯などの環境光、または外乱光による信号成分である。光源10が発光しない状態、つまり光源10の駆動をOFFにした状態で、イメージセンサ20が信号を検出することで環境光、外乱光によるオフセット成分が見積もられる。
 制御回路30は、例えばプロセッサおよびメモリの組み合わせ、またはプロセッサおよびメモリを内蔵するマイクロコントローラ等の集積回路であり得る。制御回路30は、例えばプロセッサがメモリに記録されたプログラムを実行することにより、発光タイミングとシャッタタイミングとの調整、オフセット成分の見積り、およびオフセット成分の除去等を行う。
 信号処理回路40は、イメージセンサ20から出力された画像信号を処理する回路である。信号処理回路40は、画像処理等の演算処理を行う。信号処理回路40は、例えばデジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)等のプログラマブルロジックデバイス(PLD)、または中央演算処理装置(CPU)もしくは画像処理用演算プロセッサ(GPU)とコンピュータプログラムとの組み合わせによって実現され得る。なお、制御回路30および信号処理回路40は、統合された1つの回路であってもよいし、分離された個別の回路であってもよい。また、信号処理回路40は、例えば遠隔地に設けられたサーバーなどの外部の装置の構成要素であってもよい。この場合、サーバーなどの外部の装置は通信手段を備え、光源10、イメージセンサ20、および制御回路30と相互にデータの送受信を行う。
 本実施形態における信号処理回路40は、イメージセンサ20から出力された信号に基づき、皮膚表面の血流および脳血流の時間変化を示す動画像データを生成することができる。信号処理回路40は、そのような動画像データに限らず、他の情報を生成してもよい。例えば、他の機器と同期させることで、脳における血流量、血圧、血中酸素飽和度、または心拍数などの生体情報を生成してもよい。
 脳血流量またはヘモグロビンなどの血液内成分の変化と、人間の神経活動との間には密接な関係があることが知られている。例えば、人間の感情の変化に応じて神経細胞の活動が変化することにより、脳血流量または血液内の成分が変化する。したがって、脳血流量または血液内成分の変化などの生体情報を計測できれば、被検者の心理状態を推定することができる。被検者の心理状態とは、例えば、気分(例えば、快、不快)、感情(例えば、安心、不安、悲しみ、憤りなど)、健康状態(例えば、元気、倦怠)、温度感覚(例えば、暑い、寒い、蒸し暑い)などを意味する。また、これに派生して、脳活動の程度を表す指標、例えば熟練度、習熟度、および集中度なども心理状態に含まれる。信号処理回路40は、脳血流量などの変化に基づいて、被検者の集中度などの心理状態を推定し、推定結果を示す信号を出力してもよい。
 図1Gは、制御回路30による動作の概略を示すフローチャートである。制御回路30は、概略的には図1Gに示す動作を実行する。なお、ここでは内部散乱成分I2の検出のみを行う場合の動作を説明する。制御回路30は、まず、光源10に所定時間だけパルス光を発光させる(ステップS101)。このとき、イメージセンサ20の電子シャッタは露光を停止した状態にある。制御回路30は、パルス光の一部が被検者500の表面で反射されてイメージセンサ20に到達する期間が完了するまで、電子シャッタに露光を停止させる。次に、制御回路30は、当該パルス光の他の一部が被検者500の内部を散乱してイメージセンサ20に到達するタイミングで、電子シャッタに露光を開始させる(ステップS102)。所定時間経過後、制御回路30は、電子シャッタに露光を停止させる(ステップS103)。続いて、制御回路30は、上記の信号蓄積を実行した回数が所定の回数に達したか否かを判定する(ステップS104)。この判定がNoの場合、Yesと判定するまで、ステップS101からS103を繰り返す。ステップS104においてYesと判定すると、制御回路30は、各浮遊拡散層に蓄積された信号電荷に基づく画像を示す信号をイメージセンサ20に生成させて出力させる(ステップS105)。
 以上の動作により、測定対象の内部で散乱された光の成分を高い感度で検出することができる。なお、複数回の発光および露光は必須ではなく、必要に応じて行われる。
 [1-4.その他]
 生体計測装置100は、被検者500の2次元像をイメージセンサ20の受光面上に形成する結像光学系を備えてもよい。結像光学系の光軸は、イメージセンサ20の受光面に対して略直交する。結像光学系は、ズームレンズを含んでいてもよい。ズームレンズの位置が変化すると被検者500の2次元像の拡大率が変更し、イメージセンサ20上の2次元像の解像度が変化する。したがって、被検者500までの距離が遠くても測定したい領域を拡大して詳細に観察することが可能となる。
 また、生体計測装置100は、被検者500とイメージセンサ20の間に光源10から発する波長の帯域またはその近傍の光のみを通過させる帯域通過フィルタを備えてもよい。これにより、環境光などの外乱成分の影響を低減することができる。帯域通過フィルタは、多層膜フィルタまたは吸収フィルタによって構成される。光源10の温度およびフィルタへの斜入射に伴う帯域シフトを考慮して、帯域通過フィルタの帯域幅は20から100nm程度の幅を持たせてもよい。
 また、生体計測装置100は、光源10と被検者500との間、およびイメージセンサ20と被検者500との間にそれぞれ偏光板を備えてもよい。この場合、光源10側に配置される偏光板とイメージセンサ側に配置される偏光板の偏光方向は直交ニコルの関係である。これにより、被検者500の表面反射成分I1のうち正反射成分、すなわち入射角と反射角が同じ成分がイメージセンサ20に到達することを防ぐことができる。つまり、表面反射成分I1がイメージセンサ20に到達する光量を低減させることができる。
 [2.動作]
 本開示の生体計測装置100は、表面反射成分I1から内部散乱成分I2を区別して検出することができる。被検者500を人とし、被検部を額とした場合、検出したい内部散乱成分I2による信号強度は非常に小さくなる。前述のように、レーザ安全基準を満たす非常に小さな光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血流による光の散乱および吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、さらに数十分の1の大きさに相当し非常に小さくなる。したがって、本実施形態では、検出したい信号成分の数千倍から数万倍である表面反射成分I1をできるだけ混入させずに撮影される。
 以下、本実施の形態における生体計測装置100の動作の例を説明する。
 図1Aに示すように、光源10が被検者500にパルス光を照射すると、表面反射成分I1および内部散乱成分I2が発生する。表面反射成分I1および内部散乱成分I2はその一部がイメージセンサ20に到達する。内部散乱成分I2は、光源10から発せられてイメージセンサ20に到達するまでに被検者500の内部を通過するため光路長が表面反射成分I1に比べて長くなる。したがって、内部散乱成分I2は、イメージセンサ20に到達する時間が表面反射成分I1に対して平均的に遅れる。図2は、光源10から矩形パルス光が発せられて被検者500から戻ってきた光がイメージセンサ20に到達する光信号を表す図である。横軸は波形(a)から(d)においていずれも時間(t)を表し、縦軸は波形(a)から(c)においては強度、波形(d)においては電子シャッタのOPENまたはCLOSEの状態を表す。波形(a)は、表面反射成分I1を示す。波形(b)は、内部散乱成分I2を示す。波形(c)は表面反射成分I1と内部散乱成分I2の合算成分を示す。波形(a)に示すように、表面反射成分I1は矩形を維持する。一方、波形(b)に示すように、内部散乱成分I2はさまざまな光路長を経た光の合算であるため、パルス光の後端で尾を引いたような(すなわち表面反射成分I1よりも立ち下がり時間が長くなる)特性を示す。波形(c)の光信号から内部散乱成分I2の割合を高めて抽出するためには、波形(d)に示すとおり、表面反射成分I1の後端以降(すなわち表面反射成分I1が立ち下がった時またはその後)に電子シャッタが露光を開始すれば良い。このシャッタタイミングは、制御回路30によって調整される。上述したとおり、本開示の生体計測装置100は表面反射成分I1と対象深部に到達した内部散乱成分I2とを区別して検出できれば良いため、発光パルス幅およびシャッタ幅は任意である。したがって、従来のストリークカメラを使用した方法と異なり簡便な構成で実現できコストを大幅に低下させることができる。
 図2における波形(a)では、表面反射成分I1の後端が垂直に立ち下がっている。言い換えると、表面反射成分I1が立下りを開始してから終了するまでの時間がゼロである。しかし、現実的には光源10が照射するパルス光自体の波形の立ち上がり部分および立ち下がり部分が完全な垂直で無かったり、被検者500の表面に微細な凹凸があったり、表皮内での散乱により、表面反射成分I1の後端が垂直に立ち下がらないことがある。また、被検者500は不透明な物体であることから、表面反射成分I1は内部散乱成分I2よりも非常に光量が大きくなる。したがって、表面反射成分I1の後端が垂直な立下り位置からわずかにはみ出した場合であっても、内部散乱成分I2が埋もれてしまう可能性がある。また、電子シャッタの読み出し期間中の電子移動に伴う時間遅れにより、図2における波形(d)に示すような理想的なバイナリな読み出しが実現できないことがある。したがって、制御回路30は電子シャッタのシャッタタイミングを表面反射成分I1の立ち下がり直後よりやや遅らせても良い。例えば、0.5nsから5ns程度遅らせてもよい。尚、電子シャッタのシャッタタイミングを調整する代わりに、制御回路30は光源10の発光タイミングを調整しても良い。制御回路30は、電子シャッタのシャッタタイミングと光源10の発光タイミングとの時間差を調整すればよい。非接触で脳活動時の血流量または血流内成分の変化を計測する場合は、あまりにもシャッタタイミングを遅らせすぎると、もともと小さい内部散乱成分I2がさらに減少してしまう。このため、表面反射成分I1の後端近傍にシャッタタイミングを留めておいてもよい。被検者500の散乱による時間遅れが4nsであるため、シャッタイミングの最大の遅らせ量は4ns程度である。
 光源10がパルス光を複数回発光し、各パルス光に対して同じ位相のシャッタタイミングで複数回露光することで、内部散乱成分I2の検出光量を増幅しても良い。
 なお、被検者500とイメージセンサ20との間に帯域通過フィルタを配置することに替えて、またはそれに加えて、制御回路30が、光源10を発光させない状態で同じ露光時間で撮影することによってオフセット成分を見積もってもよい。見積もったオフセット成分は、イメージセンサ20の各画素で検出された信号から差分除去される。これによってイメージセンサ20上で発生する暗電流成分を除去することができる。
 内部散乱成分I2には、被検者500の内部特性情報、例えば、脳血流情報が含まれる。被検者500の脳血流量の時間的な変動に応じて血液に吸収される光の量に変化が生じ、イメージセンサ20による検出光量も相応に増減する。したがって、内部散乱成分I2をモニタリングすることで被検者500の脳血流量の変化から脳活動状態を推定することが可能となる。本明細書において、イメージセンサ20から出力される信号のうち、内部散乱成分I2を示す信号を、「脳活動信号」と称することがある。脳活動信号は、被検者の脳血流の増減情報を含み得る。
 次に、表面反射成分I1の検出方法の例を説明する。表面反射成分I1には、被検者500の表面特性情報、例えば、顔および頭皮の血流情報が含まれる。イメージセンサ20は、光源10が発するパルス光が被検者500に到達し、再びイメージセンサ20に戻る光信号のうち、表面反射成分I1を検出する。
 図3Aは、表面反射成分I1を検出する場合のタイミングチャートの一例を示している。表面反射成分I1の検出のために、例えば、図3Aに示すように、パルス光がイメージセンサ20に到達する前にシャッタをOpenにし、パルス光の後端が到達するよりも前にシャッタをcloseにしてもよい。このようにシャッタを制御することで、内部散乱成分I2の混入を少なくすることができる。被検者500の表面近傍を通過した光の割合を大きくすることができる。特に、シャッタcloseのタイミングを、イメージセンサ20への光の到達直後にしてもよい。このようにすることで、光路長が比較的短い表面反射成分I1の割合を高めた信号検出が可能となる。表面反射成分I1の信号を取得することで、被検者500の脈拍数、または顔血流の酸素化度を検出することが可能となる。他の表面反射成分I1の取得方法として、イメージセンサ20がパルス光全体を取得したり、光源10から連続光を照射して検出したりしてもよい。
 図3Bは、内部散乱成分I2を検出する場合のタイミングチャートの一例を示している。パルスの後端部分がイメージセンサ20に到達する期間にシャッタをOpenにすることで、内部散乱成分I2の信号を取得することができる。
 表面反射成分I1は、内部散乱成分I2を取得する生体計測装置100以外の装置で検出してもよい。内部散乱成分I2を取得する装置とは別体の装置、または脈波計もしくはドップラ血流計といった別デバイスを用いても良い。別デバイスを用いる場合、デバイス間のタイミング同期、光の干渉、および検出箇所の合わせこみを考慮して使用することになる。本実施形態のように、同一カメラまたは同一センサによる時分割撮像を行えば、時間的および空間的なずれが発生しにくい。同一のセンサで表面反射成分I1および内部散乱成分I2の両方の信号を取得する場合、図3Aおよび図3Bに示すように、1フレームごとに取得する成分を切り替えてもよい。あるいは、図1Dから図1Fを参照して説明したように、1フレーム内で高速に取得する成分を交互に切り替えてもよい。その場合、表面反射成分I1と内部散乱成分I2の検出時間差を低減できる。
 さらに、表面反射成分I1と内部散乱成分I2のそれぞれの信号を、2つの波長の光を用いて取得してもよい。例えば、750nmと850nmの2波長のパルス光を利用してもよい。このようにすることで、それぞれの波長での検出光量の変化から、酸素化ヘモグロビンの濃度変化および脱酸素化ヘモグロビンの濃度変化を算出することができる。表面反射成分I1と内部散乱成分I2を、それぞれ2波長で取得する場合、例えば図1Dから図1Fを参照して説明したように、4種類の電荷蓄積を1フレーム内で高速に切り替える方法が利用され得る。そのような方法により、検出信号の時間的なずれを低減できる。
 生体計測装置100は、被検者500の額に向けてパルス状の近赤外光または可視光を照射し、表面反射成分I1の時間的変化から、頭皮または顔の酸素化ヘモグロビン量の変化または脈拍を検出することができる。表面反射成分I1を取得するための光源10は、近赤外光または可視光を出射する。近赤外光であれば昼夜問わず計測が可能である。脈拍を計測する場合、より感度が高い可視光を用いてもよい。日中であれば外乱光である日射または室内光源を照明代わりに使用してもよい。光量が不足する場合は専用の光源で補強してもよい。内部散乱成分I2は、脳まで到達した光成分を含む。内部散乱成分I2の時間変化を計測することで、脳血流量の時間的な増減を計測できる。
 脳まで到達した光は、頭皮および顔表面も通過するため、頭皮および顔の血流の変動も重畳されて検出される。その影響を除去または低減するために、信号処理回路40は、イメージセンサ20によって検出された内部散乱成分I2から表面反射成分I1を減算する処理を行ってもよい。このようにすることで、頭皮および顔の血流情報を除いた純粋な脳血流情報を取得することができる。減算方法には、例えば、内部散乱成分I2の信号から、光路長差を考慮して決定された1以上のある係数を表面反射成分I1の信号に掛けた値を減算する方法が用いられ得る。この係数は、例えば、一般的な人の頭部光学定数の平均値に基づいて、シミュレーションまたは実験によって算出され得る。このような減算処理は、同一のカメラまたはセンサを用いて、同一の波長の光を用いて計測する場合に特に容易にできる。これは、時間的および空間的なずれを低減し易く、内部散乱成分I2に含まれる頭皮血流成分と、表面反射成分I1の特性とを一致させ易いからである。
 脳と頭皮との間には頭蓋骨が存在する。このため、脳血流の2次元分布と頭皮および顔の血流の2次元分布とは独立である。したがって、イメージセンサ20で検出される信号に基づいて、内部散乱成分I2の2次元分布と表面反射成分I1の2次元分布とを、独立成分分析または主成分分析などの統計手法を用いて分離してもよい。
 次に、上記の生体計測装置100を用いて被検者500のバイタルセンシングを行う例を説明する。
 図4Aは、人の脈拍数と脳活動量と身体の状態との関係を模式的に示す図である。図4Aにおける横軸は、1分あたりの脈拍数を示し、縦軸は脳活動量を示している。脳活動量は、内部散乱成分I2の信号強度の変化の大きさによって見積もられる。例えば、内部散乱成分I2の信号強度の最大値と最小値との差、または時間変化率などの指標によって脳活動量を見積もることができる。
 覚醒時には、脈拍数および脳活動量の両方が、比較的大きくなる。一方、睡眠時には、脳活動量はあまり変わらないが、脈拍数が覚醒時よりも低下する。したがって、表面反射成分I1の測定データから脈拍数を算出することで、被検者500が覚醒しているのか睡眠中なのかを判別することができる。
 睡眠時の大脳皮質は、記憶の整理および定着のために強く活動する。これに対し、意識障害時には、脳活動量が低下する。したがって、内部散乱成分I2の測定データから脳血流量の変化を測定することで、被検者500が睡眠中なのか意識障害の状態にあるのかを判別することができる。特に、脈拍数に関しては、覚醒、睡眠、および意識障害で重なる領域があり、脈拍数の情報だけではこれらの区別が難しい。意識障害には、徐脈の場合と頻脈の場合とがある。徐脈は、脈拍数が平常時よりも少ない状態であり、脳への血液の供給が不足するために意識障害を引き起こす。脈拍数が40回/分以下になると、危険な状態であるといえる。一方、頻脈は、脈拍数が異常に多い状態である。脈拍数が140回/分以上になると、危険な状態であるといえる。徐脈の場合の意識障害は、睡眠時との区別が難しい。一方、頻脈の場合の意識障害は、覚醒時との区別が難しい。本実施形態のように、脳血流量の変化の情報も活用することで、より正確な判別が可能となる。
 また、マインドフルネスの状態の時及び意識障害の状態の時は、ともに脳活動量が低下するため、脳血流量の測定のみでは、マインドフルネスの状態と意識障害の状態とを区別することは難しい。しかし、マインドフルネスの状態の時は、意識障害の状態の時に比べて、脈拍数が正常値に近いため、脳血流量の測定に加えて、脈拍数の測定を行うことにより、マインドフルネスの状態と意識障害の状態とを区別することができる。
 脳の酸素消費量は全身の酸素消費量の約20%であり、脳血流は全身の血流の約15%程度である。この脳血流が低下すると脳の活動が下がり意識障害が発生する。認知に関する中枢は大脳皮質に存在する。このため、生体計測装置100は、露出している頭部における額部の肌を通して大脳皮質における脳血流の変化を観察する。これにより、意識障害であるか覚醒状態または睡眠状態にあるかを判別することができる。
 本実施形態において利用され得る生体情報は、脈拍数に限らず、例えば発汗量、体温、または呼吸数などの他の情報であってもよい。発汗量、体温、または呼吸数だけでは判別が困難な身体状態を、脳活動情報を利用することにより、適格に判別することが可能である。
 図4Bは、人の発汗量と脳活動量と身体の状態との関係を模式的に示す図である。図4Cは、人の体温と脳活動量と身体の状態との関係を模式的に示す図である。睡眠中は、レム睡眠の場合もノンレム睡眠の場合も、覚醒時よりも発汗量が多く、体温が低い。一般に、睡眠開始時には大きな発汗作用が起こり、体温が急激に低下するとともにノンレム睡眠に入る。その約1時間後、体温が上昇し脳が覚醒に近いレム睡眠となる。その後、再び発汗が起こるとともに体温が低下し、ノンレム睡眠に移行する。このサイクルが、睡眠中、複数回繰り返される。
 図4Dは、人の呼吸数と脳活動量と身体の状態との関係を模式的に示す図である。レム睡眠中は覚醒時よりも呼吸数が低下する。ノンレム睡眠ではさらに10から0%ほど呼吸数が減少する。また、徐脈時は平静時に比べ呼吸数が少なく、頻脈では酸素不足を補うために呼吸数が増加する傾向がある。
 図4Bから図4Dに示すように、脈拍数と同様に、発汗量、体温、または呼吸数によっても人が睡眠状態にあるか覚醒状態にあるかを判別できる。しかし、これらの生体情報だけでは、意識障害であるか睡眠状態にあるかを判別することは難しい。本実施形態のように、上記の生体情報に加えて、脳活動情報も利用することにより、意識障害であるか否かを判別することができる。
 生体計測装置100が発汗量を生体情報として計測する場合、生体計測装置100は、発汗量を計測するセンサを備え得る。生体計測装置100が体温を生体情報として計測する場合、生体計測装置100は、体温を計測するセンサを備え得る。生体計測装置100が呼吸数を生体情報として計測する場合、生体計測装置100は、呼吸数を計測するセンサを備え得る。それらのセンサは、例えば赤外線を検出するイメージセンサであってもよい。発汗量、呼吸数、または体温は、脳活動情報を取得するイメージセンサ20により計測してもよい。また、画像処理を利用して、発汗量、体温、または呼吸数を推定してもよい。このように、生体信号は、脈拍数、発汗量、呼吸数、および体温の少なくとも1つの情報を含み得る。
 次に、本実施形態の生体計測装置100の応用例を説明する。
 図5は、自動運転中のタクシーの乗客のバイタルサインを生体計測装置100で検出する様子を示す。生体計測装置100は車室内に設置されている。自動運転で乗客を送迎中、あるいは送迎後に、生体計測装置100は、乗客のバイタルセンシングを行う。生体計測装置100は、乗客の異常を検知した場合には、例えば無線通信を利用して、医療機関にあるサーバコンピュータなどの外部の装置に乗客の異常を通知する。
 図6は、本応用例における生体計測装置100の構成例を示す図である。この例では、生体計測装置100は、制御回路30に接続された通信回路60およびスピーカ70を備える。通信回路60は、例えば公知の無線通信規格に準拠した通信を行う。信号処理回路40が、乗客すなわち被検者500の異常を検知すると、制御回路30は、通信回路60を介して、医療機関などにある外部の装置200に異常を通知する。
 図7は、生体計測装置100の動作の例を示すフローチャートである。生体計測装置100の制御回路30は、自動運転で乗客を送迎中または送迎後、乗客に異常がないかを判断する(ステップS601)。例えば、乗客の様子がおかしい場合、または目的地に到着して一定時間が経過しても乗客が降車しない場合には、異常があると判断される。この判断は、例えばイメージセンサ20または不図示の他のセンサの出力に基づいて行われ得る。乗客の異常が検知された場合、乗客の具合を確認するために、まずはエラー音または音声による呼びかけが行われる(ステップS602)。この呼びかけは、スピーカ70を介して行われる。なお、スピーカ70は、生体計測装置100ではなく、車両に設置されていてもよい。
 次に、制御回路30は、乗客からの反応があるかを判断する(ステップS603)。この判断は、例えばイメージセンサ20によって取得された画像、または不図示のマイクによって検知された乗客の音声などの情報に基づいて行われ得る。応答があり、特に問題が無い場合には、目的地到着後、乗客に、自動決済または電子決済による支払い手続きを済ませ降車いただく(ステップS604)。
 音声による呼びかけに応じない場合、あるいは、うなり声を上げているような場合は、乗客が睡眠中か意識障害の可能性がある。そこで、生体計測装置100は、初期観察を実施する(ステップS605)。まず、生体計測装置100は、生体計測装置100の光源10およびイメージセンサ20が乗客に向くように自動調整する。例えば、制御回路30は、光源10からのパルス光が乗客の額に入射するように光源10およびイメージセンサ20の向きを調整する。生体計測装置100は、この調整を可能にするモータなどの駆動機構を備える。この状態で、生体計測装置100は、例えば乗客の呼吸確認、顔および頭皮の表面血流に基づく血中酸素飽和度(SpO)の確認、および脈拍数の確認を実施する。SpOは、血液中のヘモグロビンの総量に対する酸素と結合したヘモグロビンの量の比である。生体計測装置100は、画像を取得するカメラの機能も有している。このため、カメラ画像に映る乗客の体動から呼吸確認を行うことができる。SpOの算出のために、近赤外の2波長での計測、あるいは、赤色光と近赤外光の2波長での計測が行われ得る。それぞれの検出光量の比またはHbOとHbとの比を計算することで、SpOを推定できる。脈拍数は、乗客の顔または額の血流変化から測定できる。測定は、例えば10秒または20秒などの短い時間で行われ得る。このような短時間のスクリーニングによって基本的なバイタルデータが取得される。
 次に、制御回路30は、乗客の脈拍数の測定値が基準範囲内か否かを判定する(ステップS606)。測定値が基準範囲内である場合は、制御回路30は、睡眠中であって健常状態であると判断し、乗客に降車を促す(ステップS607)。例えば、制御回路30は、スピーカ70を介して音声によって乗客に降車を促す。脈拍数の基準範囲は、例えば50回/分以上100回/分以下の範囲であり得る。
 脈拍数の測定値が基準範囲外である場合、睡眠中で脈拍数が極端に低下している可能性もあるが、意識障害の可能性もある。このため、生体計測装置100は、早急に医療機関へ連絡する(ステップS608)。例えば、制御回路30は、通信回路60を介して、医療機関にあるコンピュータに、乗客の脈拍数が異常値にある旨の信号またはアラートを送信する。この際、例えば車両のIDおよび場所などの情報も併せて送信してもよい。生体計測装置100は、脳血流の測定を開始する(ステップS609)。
 特に、山間部および村里では救急隊の到着に時間を要するため、早い判断ができるよう即時に乗客のバイタルチェックができる環境が求められる。脳血流の測定は、生体計測装置100が乗客の頭部に光を照射し、前頭葉で散乱された内部散乱成分I2を検出することによって行われ得る。乗客が意識障害であれば睡眠中に比べて脳血流の変動が大きく低下している可能性が高い。このため、測定された脳血流の変動状態に基づいて、睡眠中か意識障害かを判別することができる。
 ステップS609における脳血流の計測時間は、ステップS605における脈拍数の計測時間よりも長い。なぜなら、周期が比較的短い脈拍に比べ、脳血流の変化の周期は比較的長いからである。脳血流の計測は、例えば1分以上5分以下の時間にわたって行われ得る。制御回路30は、この計測によって得たデータを、例えばリアルタイムで病院などの医療機関におけるコンピュータなどの外部の装置200に転送する(ステップS610)。これにより、医師が即座に乗客のバイタルサインを確認できる。生体計測装置100は、近赤外画像または可視光画像も取得できるため、その画像も送信してもよい。これにより、乗客の容態を画像で観察できるようになる。また、ステップS610において、脈拍の信号も併せて送信され得る。
 次に、生体計測装置100の信号処理回路40は、脳血流の変化量が基準値以上であるかを判断する(ステップS611)。脳血流の変化量は、例えば、1周期あたりの脳血流量の最大値と最小値との差、振幅、または時間変化率などの値であり得る。この値が、所定の基準値よりも小さい場合、脳血流の変動が小さいと判断され、意識障害であると判断される(ステップS613)。この場合、制御回路30は、通信回路60を介して救急手配を要求する信号を外部の装置200に送信する(ステップS614)。
 以上のように、本実施形態においては、信号処理回路40は、第1の診断である初期観察と、第2の診断である脳血流の測定とを順に行う。初期観察では、信号処理回路40は、例えば脈拍などの、脳活動信号とは異なる生体信号に基づいて被検者の状態を推定し、推定結果を示す第1の信号を出力する。脳血流の測定では、信号処理回路40は、脳活動信号に基づいて、被検者500の状態を推定し、推定結果を示す第2の信号を出力する。本実施形態では、第2の診断に要する時間は、第1の診断に要する時間よりも長い。つまり、パルス光の照射開始から脳活動信号が出力されるまでの時間は、パルス光の照射開始から上記生体信号が取得されるまでの時間よりも長い。また、脈拍などの生体信号を取得してから第1の信号を出力するまでの時間よりも、脳活動信号を取得してから第2の信号を出力するまでの時間の方が長い。通信回路60は、信号処理回路40が、上記の生体信号および/または脳活動信号に基づいて被検者500が健常状態にないと判断した場合、医療機関における外部の装置200に通知する。この通知には、第1および第2の信号が含まれ得る。
 以上のような動作により、自動運転車の乗客に意識障害が生じた場合でも、現地に救急車を手配するなどの行動を迅速に行うことができる。上記の例のように、乗客が睡眠中である場合または意識不明の状態にある場合には、体動が小さい。このため、体動に起因する光源および検出器の位置の補正を行わなくても、必要な脳活動信号を得ることができる。
 図7の例において、乗客の観察過程で意識が回復しても健康状態に問題がある可能性がある。このため、遠隔での問診または全身観察を実施してもよい。遠隔での問診または全身観察は、生体計測装置100のカメラを通して医師が乗客とコンタクトすることで実現できる。医師は、例えば乗客が低血糖である疑いが強そうであれば、乗客に手を握れるかの確認、または目(例えば、瞳孔、眼位および眼球運動、または眼振)の確認を行うことができる。あるいは、脳卒中の疑いが強ければ、強い頭痛、吐き気、めまい、視覚障害、または失語症の確認を行うことができる。
 生体計測装置100は、異常発生の初期段階からの動画データを外部の装置200に転送してもよい。それにより、意識障害の時間的経過(例えば持続または回復)を医師に確認してもらうことができる。また、自動運転時および乗客の降車時に限らず、自動運転での事故時の乗客のバイタルチェックにも生体計測装置100は有効である。生体計測装置100は、近赤外脳機能計測法(fNIRS)などの従来の脳血流測定装置とは異なり、イメージセンサ20を含むカメラを用いて非接触で計測できる。このため、被検者500へのデバイスの取り付けが不要であり、被検者以外に人がいない状況でも計測が可能である。
 生体計測装置100を用いたバイタルチェックは車室内に限定されず、他の環境で行ってもよい。例えば、図8に示すように、病床の患者の生体情報の計測を行ってもよい。また、図9に示すように、入浴中の人の生体情報の計測を行ってもよい。生体計測装置100は、バイタルサインを確認したいあらゆる環境に展開可能である。
 図10は、生体計測装置100により、被検者500である車両のドライバの意識障害あるいは居眠りを検出する様子を示す図である。生体計測装置100は、表面反射成分I1をもとにドライバの脈拍数を計測し、内部散乱成分I2をもとにドライバの脳血流の変化を計測する。取得した脈拍数データ、および脳血流データをもとに、ドライバが覚醒状態、居眠り状態および意識障害状態のいずれであるかを判定する。脳血流計測においては、平常運転時のドライバの脳血流量または脳血流分布のデータベース、あるいは日々蓄積したドライバの覚醒状態の脳血流量または脳血流分布のデータベースと、計測データとを比較し、異常値ではないかを判定する。
 また、表面反射成分I1により、脈拍数以外にも、発汗量を計測してもよい。発汗量は、皮膚表面の正反射成分により計測できる。発汗があると、生体計測装置100から照射される光がドライバの皮膚表面で正反射する成分が増加し、照かり成分として現れる。照かり成分は、周辺に対してコントラストが高い部分として画像から検出される。これにより、頻脈による発汗を検知し得る。脳血流データと発汗量データとを統合的に評価することでドライバが意識障害であるか、あるいは居眠り状態であるかの判定の精度を向上させることが可能となる。
 発汗量に加えて、室温、直射日光の状態、あるいはドライバの体形を並行してセンシングすることで、発汗が車室内環境によるものであるのか、あるいはドライバの体調不良によるものであるのかの見極め精度を高めることができる。室温、直射日光の状態、およびドライバの体形は、別途車室内に取り付けられたセンサで検出しても良い。また、直射日光の状態、およびドライバの体形は、生体計測装置100が備えるイメージセンサ20をカメラとして活用することにより検出してもよい。また、車体に取り付けられた別のセンシングシステムにより検出された進行進路、あるいは周囲の車に対する自車の速度状態等も考慮することで、ドライバの状態をさらに高精度で検出することが可能となる。
 皮膚血流情報、脈拍数情報、あるいは発汗情報等の生体情報、および脳血流情報をもとにドライバが意識障害であると推測される場合は、生体計測装置100は、ドライバへの音声による呼びかけを実施する。音声による呼びかけを実施後に、再度、生体計測装置100によるドライバの状態の検出を行う。再度、ドライバが意識障害であると推測される場合は、医療機関等へ連絡をする。車両が自動運転システムを備えている場合は、自動運転システムにより、車体を路肩に寄せて停止させる処置を取ってもよい。
 図11Aは、ヘッドマウントディスプレイ400と一体化した生体計測装置100の例を示す。図11Bは、図11Aに示す生体計測装置100を被検者が使用している様子を示す。ヘッドマウントディスプレイ400は、映画の視聴あるいはゲーム等のエンターテイメントに用いられる。表面反射成分I1を検出することにより取得した脈拍情報から脈拍数の高まりを検知した場合は、緊張状態あるいは恐怖を感じている状態を示している可能性があり、脈拍数の低下を検知した場合は、リラックス状態あるいは退屈状態を示している可能性がある。また、発汗がある場合は、緊張状態あるいは興奮状態を示している可能性がある。一方、内部散乱成分I2を検出することにより取得した脳血流情報からは、被検者500であるユーザの理解度、集中度、あるいはリラックス度を評価できる。これらの情報を統合することで、ユーザの心理状態推定の確度を向上させることが可能となる。心理状態を推定する方法としては、表面反射成分I1を検出することにより取得した生体情報と内部散乱成分I2を検出することにより取得した脳活動情報とを合わせた総合情報に対して機械学習を適応させれば良い。推定した心理状態をもとに、ヘッドマウントディスプレイ400に表示される映像の切り替え、ストーリの切り替え、あるいは音量の調整などを行い、ユーザに与える刺激の強弱を調整しても良い。音量調整の一例として、コンテンツの恐怖度が足りないと推定された場合は、音量のコントラストを高めてもよい。
 また、ヘッドマウントディスプレイ400は、VR(Virtual Reality)、AR(Augmented Reality)、あるいはMR(Mixed Reality)などの、仮想現実、あるいは現実世界と仮想世界とを融合したものにも適用し得る。例えば、ARを用いた道案内、あるいは工場作業での指示等において、表面反射成分I1を検出することにより取得した生体情報、および内部散乱成分I2を検出することにより取得した脳活動情報をもとに、ユーザの理解度を判定し、理解度に応じてリピート再生あるいはアナウンスのスピードの調整を実施しても良い。
 図12は、家庭内あるいはオフィス内に生体計測装置100を設置することで、日々の健康チェックに用いる例を示している。生体計測装置100は非接触で生体情報および脳活動情報を取得できるため、例えば洗面台の鏡の裏に設置し得る。鏡は可視光を反射し、近赤外光(例えば、700nm以上の波長の光)を透過するように干渉膜コーティングがなされている。可視光を反射させる干渉膜をコーティングすることで、鏡として、被検者500であるユーザの姿を反射させるが、鏡の裏に設置されたカメラはユーザには見えない。一方、鏡が近赤外光を透過することで、測定光を鏡越しにユーザに向けて照射することが可能となる。したがって、カメラの存在をユーザに意識させないため、ユーザが自然な精神状態の下で、生体情報の測定および脳血流の測定を実施できる。また、ユーザの正面からの測定が可能となり、前頭部を効率的に計測できる。さらに、洗顔時では、ヘアバンド等で前髪を留めることが多いため、遮蔽物となる前髪を上げる指示をする必要が無く、ユーザの手を煩わさなくて済む。また、洗面台ではユーザは鏡の前に立つため、一定距離かつ近距離で測定が可能となり、測定の安定性が高くなる。
 生体計測装置100の近傍には焦電センサ等の人感センサを設置しておいても良い。人感センサで人を検知すると、生体計測装置100に信号を送信し、生体計測装置100による人の計測が開始する。人感センサと連携することで、人がいないときは生体計測装置100中の光源及び電気回路の駆動を停止させることができるため、消費電力を低減することができる。
 生体計測装置100により計測した表面血流あるいは脈拍数をもとに、寝不足、疲れ、あるいは貧血等のフィジカル的な体調データを取得することが可能となる。また、同時に取得された脳血流情報により、集中状態、頭の冴え具合、あるいは気分の落ち込み等のメンタル的な体調データを検出することが可能である。このように、表面反射成分I1を検出することにより取得した生体情報と内部散乱成分I2を検出することにより取得した脳活動情報との両方を評価することにより、フィジカルとメンタルとの両面での健康状態の推定が可能となる。
 ユーザが鏡の前に立つ度に生体計測装置100による計測を行い、取得したデータを蓄積してもよい。蓄積された日々のデータを比較して得られる相対的な変化情報から、ユーザの日常的な平常状態に対する、ある日の体調の異変を検出し得る。また、日常的な時系列のデータの測定を積み重ね、これら時系列データに時間的な移動平均処理を施すことで、一時(いっとき)のイレギュラーな体調変化を表す高周波成分を除去し、数年単位の長期的な体調の変化を表す低周波成分のモニタリングができる。その結果、脳卒中、脳腫瘍、あるいは認知症といった、循環器あるいは脳神経系の大病の早期発見に繋がり得る。この場合、気温あるいは体調の季節変動成分の影響を予め見積もっておくことにより、キャリブレーションしてもよい。気温あるいは体調の季節変動成分の影響を除去することで、検出精度を向上させることができる。
 システムが体調の変化を検出した場合は、洗面台に設置されたディスプレイ、あるいは反射ミラー上に設けられたディスプレイに、推定したユーザの健康状態を表示する。また、日々の測定結果をグラフとして出力することで、健康の改善具合を可視化し、ユーザのヘルスケアに対する改善取り組みのモチベーションを高めることが可能となる。別のデータ表示方法として、測定データをWi-Fi(登録商標)、Wi-Fi Direct(登録商標)、BLUETOOTH(登録商標)、あるいはクラウド経由等でユーザのスマートフォンあるいはタブレット端末に送信し、スマートフォンあるいはタブレット端末上に表示させても良い。
 図13は、生体計測装置100を、被検者500であるドライバの飲酒検知へ応用する例を示す図である。内部散乱成分I2をもとに取得した脳活動情報から、ドライバが物事を正常に考えることができているか、頭が働いているか、および運転に集中できる状態かを評価する。加えて、表面反射成分I1をもとに表面血流量、心拍数、あるいは発汗量を検出する。これらの情報を統合して評価することにより、ドライバが飲酒している可能性を判定し、可能性が高いと判定された場合は、音声またはディスプレイへの表示でその旨を告げる。加えて、エンジンを作動させない、または、作動を停止させる等の車両制御を行う。
 図14は、生体計測装置100を用いて室内空調を調整する例を示す図である。表面反射成分I1と内部散乱成分I2との両情報からユーザの発汗状態を検出しても良い。表面反射成分I1には、ユーザの皮膚表面の正反射成分が多く含まれるため、ユーザが発汗すると表面反射率が高まり、照かり成分として検出できる。また、内部散乱成分I2を用いて、暑さを不快と感じているかを測定する。表面反射成分I1から発汗を検出し、かつ、内部散乱成分I2から暑さを不快と感じていることを検出した際には、空気調節装置600の温度、風量、あるいは向きを制御しても良い。
 上記のように、生体計測装置100は、被検者500の状態の判定結果に基づいて、被検者500への通知の出力、被検者500の周辺の機器の制御、および外部装置との通信のいずれかを行うことができる。被検者への通知には、被検者に視覚、聴覚、または触覚などの刺激を与えることが含まれる。被検者の周辺の機器には、被検者の周辺に配置され、被検者に視覚、聴覚、または触覚などの刺激を与え得る機器が含まれる。また、被検者の周辺の機器には、被検者が操作する機器が含まれる。外部装置との通信には、前述のように、生体計測装置100から離れた場所に配置されたサーバーなどの装置に信号またはデータを送信することが含まれる。
 本実施形態では、図6に示すように、信号処理回路40は、メモリ42を備え、図4Aから図4Dに示すデータに基づいて定められた複数の基準値を予めメモリ42に記憶している。信号処理回路40は、第1の生体情報を表す信号と第1基準値とを比較し、脳活動情報を表す信号と第2基準値とを比較する。これにより、第1の生体情報および脳活動情報を表す信号の両方に基づいて被検者の状態を判別することができる。このように、被検者の状態の判定は、第1の生体情報を表す信号および脳活動情報を表す信号を、メモリ42に記憶された2つの基準値とそれぞれ比較することにより行われ得る。
 信号処理回路40は、脳活動量と、第1の生体情報に関する活動量と、身体の状態との関係を示すデータテーブルをメモリ42に記憶していてもよい。信号処理回路40は、取得した脳活動情報を表す信号および第1の生体情報を表す信号を、当該データテーブルを参照して評価することにより、被検者の状態を判別してもよい。このように、被検者の状態の判定は、生体信号および脳活動信号を、メモリ42に記憶されたデータテーブルを参照して評価することにより行われ得る。データテーブルは、脳活動信号と、生体信号と、身体の状態との関係を表す。
 信号処理回路40は、脳活動情報を表す信号および第1の生体情報を表す信号の時系列変化を取得してもよい。そして、信号処理回路40は、当該時系列変化の変化パターンまたは特徴量を、メモリ42に記憶された参照パターンまたは参照特徴量と比較してもよい。あるいは、相関などの統計値を算出することにより、被検者の状態を判別してもよい。当該時系列変化の特徴量は、事前に大量の被検者のデータセットを読み込み、その中に含まれる特徴をディープラーニング、サポートベクターマシン、回帰木、またはベイズ推定などの教師ありの機械学習を用いて学習することにより、算出してもよい。データセットは、検出信号と被検者の状態を表す正解値とのセットである。事前に学習したこの特徴量を学習データとして、これに基づき現在の被検者の状態を機械学習により判別してもよい。被検者の測定の度に、この新たな被検者データを用いて学習データを更新してもよい。医療機関などの専門機関の詳細検査の結果、例えば図7のフローを実行して得られた判定結果が真値と異なっている場合がある。この場合、被検者の状態の正解値を修正し、機械学習に掛け直してもよい。
 また、教師あり学習を用いる以外にも、階層クラスタリング、k平均法クラスタリング、自己組織化マップ、またはディープラーニングなどの教師なしの機械学習を用いて、被検者の状態を判別してもよい。
 脳活動情報を表す信号および第1の生体情報を表す信号の時系列変化以外にも、カメラまたはイメージセンサとして機能する光検出器を用いる場合、2次元データをデータセットとして用いてもよい。例えば、2次元画像データ内での脳血流信号もしくは第1の生体信号の分布、偏り、または強度が高い位置に基づき、被検者の状態の判別、パターンもしくは相関の比較、特徴量抽出、または機械学習をしてもよい。
 以上のように、被検者の状態の判定は、時系列データまたは前記2次元パターンに対し、メモリ42に記憶された参照パターンまたは参照特徴量と比較すること、統計値を算出すること、および/または、機械学習を用いて判定すること、によって行われ得る。
 信号処理回路40は、生体計測装置100または他のセンサによって取得された被検者に関する情報、または事前に登録された被検者に関する情報を基に、被検者の年齢、性別、または健康状態を判別してもよい。そして、信号処理回路40は、判別結果を基に、基準値、データテーブル、および参照パターンを更新してもよい。
 以上のように、本開示の実施形態によれば、被検者の脳活動状態に関する情報を、被検者に接触しない状態で、かつ、被検者の表面からの反射成分によるノイズを抑制した状態で測定できる。また、安価な方法で被検者のバイタルチェックを安定的に実施できる。
 (他の実施形態)
 生体計測装置100は、脳活動情報以外の他の生体情報を、イメージセンサ20などの光検出器とは異なる他の検出器から取得してもよい。図15は、そのような生体計測装置100の例を示す図である。この例における生体計測装置100は、イメージセンサ20とは別に、脈拍などの生体情報を計測する検出器50を備えている。検出器50として例えばミリ波レーダを用いれば、被検者500の脈波または呼吸を検出することができる。検出器50として例えばサーモグラフィを用いれば、被検者500の発汗量および体温を計測することができる。検出器50を用いる場合、イメージセンサ20は、被検者500の表面反射成分I1を検出する必要はない。検出器50によって検出された被検者500の生体情報に基づいて、被検者500のバイタルチェックを行うことができる。
 前述の実施形態では、主に光検出器がイメージセンサ20である例について説明した。しかし、本開示はそのような例に限定されない。光検出器として、例えばアバランシェフォトダイオードとメモリとの組み合わせ、またはPINフォトダイオードとメモリとの組み合わせを用いても良い。光検出器として、アバランシェフォトダイオードとメモリとの組み合わせ、またはPINフォトダイオードとメモリとの組み合わせを用いた場合であっても、例えば、反射パルス光の立ち上がり成分と立ち下がり成分とをそれぞれパルスごとに検出し、メモリに繰り返し蓄積することで十分な信号量が得られる。メモリに蓄積した信号量を用いて演算することで、皮膚血流を示す信号と脳血流を示す信号とを分離することができる。
 本開示は、生体計測装置100のみならず、生体計測装置100を用いた生体情報の取得方法、および生体計測装置100を備える車両も含む。
 本開示における生体計測装置は、非接触で被検者の内部情報を取得するカメラまたは測定機器に有用である。生体計測装置は、生体または医療センシングに応用できる。
 10  光源
 20  イメージセンサ
 22  光電変換素子
 24  電荷蓄積部
 30  制御回路
 32  光源制御部
 34  センサ制御部
 40  信号処理回路
 42  メモリ
 50  検出器
 60  通信回路
 70  スピーカ
 100  生体計測装置
 200  外部装置
 400  ヘッドマウントディスプレイ
 500  被検者
 600  空気調節装置

Claims (31)

  1.  被検者の脳活動の状態を示す脳活動信号を検出して出力する第1の検出器と、
     信号処理回路と、
    を備え、
     前記信号処理回路は、
      前記脳活動信号を取得し、
      前記脳活動信号とは異なる、前記被検者の生体信号を取得し、
      前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定し、
      前記被検者の状態を示す信号を生成して出力する、
    生体計測装置。
  2.  前記第1の検出器が、さらに、前記生体信号を検出して出力する、
    請求項1に記載の生体計測装置。
  3.  前記生体信号を検出して出力する第2の検出器をさらに備える、
    請求項1に記載の生体計測装置。
  4.  前記被検者の頭部に照射されるパルス光を出射する光源と、
     制御回路と、
    をさらに備え、
     前記第1の検出器は、前記頭部から戻った反射パルス光の少なくとも一部を検出し、
     前記制御回路は、
      前記光源に前記パルス光を出射させ、
      前記第1の検出器に、前記反射パルス光のうち、前記被検者の脳内で散乱された内部散乱成分を、前記脳活動信号として検出して出力させる、
    請求項1から3のいずれかに記載の生体計測装置。
  5.  前記生体信号は、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの情報を含む、
    請求項1から4のいずれかに記載の生体計測装置。
  6.  前記脳活動信号は、前記被検者の脳血流量の変化の情報を含む、
    請求項1から5のいずれかに記載の生体計測装置。
  7.  前記信号処理回路は、
     前記生体信号を取得した後、前記脳活動信号を取得する、
    請求項1から6のいずれかに記載の生体計測装置。
  8.  前記信号処理回路は、前記生体信号と、前記脳活動信号とに基づいて、前記被検者の脈拍が徐脈であるか頻脈であるかを判定して出力する、
    請求項1から7のいずれかに記載の生体計測装置。
  9.  前記生体信号は、前記被検者の皮膚の表面における血流の情報を含む、
    請求項1から8のいずれかに記載の生体計測装置。
  10.  前記制御回路は、前記第1の検出器に、
     前記反射パルス光のうち、前記被検者の皮膚の表面で反射された表面反射成分をさらに検出させ、
     前記表面反射成分の変動を示す信号を、前記生体信号として出力させる、
    請求項4に記載の生体計測装置。
  11.  前記制御回路は、前記第1の検出器に、
     前記反射パルス光のうち、前記反射パルス光の強度が減少を開始した後の部分を検出させることにより、前記内部散乱成分を検出させ、
     前記反射パルス光のうち、少なくとも前記反射パルス光の強度が減少を開始する前の部分を検出させることにより、前記表面反射成分を検出させる、
    請求項10に記載の生体計測装置。
  12.  前記第1の検出器は、二次元的に配列された複数の画素を含むイメージセンサであり、
     前記複数の画素の各々は、
     受光した光を信号電荷に変換する光電変換素子と、
     前記表面反射成分に対応する前記信号電荷を蓄積する第1の電荷蓄積部と、
     前記内部散乱成分に対応する前記信号電荷を蓄積する第2の電荷蓄積部と、
    を含む、
    請求項10または11に記載の生体計測装置。
  13.  前記パルス光の照射開始から前記脳活動信号が取得されるまでの時間は、前記パルス光の照射開始から前記生体信号が取得されるまでの時間よりも長い、
    請求項4に記載の生体計測装置。
  14.  前記信号処理回路は、
     前記生体信号に基づいて、前記被検者の状態に関する第1の判定を行い、前記第1の判定の結果を示す第1の信号を出力し、
     前記第1の信号を出力した後、前記脳活動信号に基づいて、前記被検者の状態に関する第2の判定を行い、前記第2の判定の結果を示す第2の信号を出力する、
    請求項1から13のいずれかに記載の生体計測装置。
  15.  前記生体計測装置の外部にある外部装置との間で通信する通信回路をさらに備え、
     前記通信回路は、前記信号処理回路が、前記生体信号および前記脳活動信号からなる群から選択される少なくとも1つに基づいて、前記被検者が健常状態にないと判定した場合、前記外部装置に、前記被検者が健常状態にないことを通知する、
    請求項14に記載の生体計測装置。
  16.  被検者の脳活動信号を取得する工程、
     前記脳活動信号とは異なる、前記被検者の生体信号を取得する工程、および
     前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定する工程、を含む
    生体計測方法。
  17.  前記脳活動信号を取得する工程は、
      光源、光検出器、信号処理回路、および制御回路を含む生体計測装置における前記光源を用いて、前記被検者の頭部にパルス光を照射する工程と、
      前記光検出器を用いて、前記頭部から戻った反射パルス光のうち、前記被検者の脳内で散乱された内部散乱成分を、前記脳活動信号として検出して出力させる工程と、を含み、
     前記信号処理回路を用いて、前記判定する工程を行う、
    請求項16に記載の生体計測方法。
  18.  前記被検者の状態の判定の結果に基づいて、前記制御回路は、前記被検者への通知の出力、前記生体計測装置と異なる前記被検者の周辺の機器の制御、および前記生体計測装置の外部にある外部装置との通信のいずれかを行う、
    請求項17に記載の生体計測方法。
  19.  前記生体信号は、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの情報を含む、
    請求項16から18のいずれかに記載の生体計測方法。
  20.  前記脳活動信号は、前記被検者の脳血流量の変化の情報を含む、
    請求項16から19のいずれかに記載の生体計測方法。
  21.  前記生体信号を取得する工程後に、前記脳活動信号を取得する工程を行う、
    請求項16から20のいずれかに記載の生体計測方法。
  22.  前記判定する工程は、前記被検者の脈拍が徐脈であるか頻脈であるかを判定することを含む、
    請求項16から21のいずれかに記載の生体計測方法。
  23.  前記生体信号は、前記被検者の皮膚の表面における血流の情報を含む、
    請求項16から22のいずれかに記載の生体計測方法。
  24.  前記生体計測装置は、前記生体信号の基準値である第1基準値と、前記脳活動信号の基準値である第2基準値とを記憶するメモリをさらに含み、
     前記判定する工程は、前記生体信号を前記第1基準値と比較すること、および前記脳活動信号を前記第2基準値と比較することにより行われる、
    請求項17または18に記載の生体計測方法。
  25.  前記生体計測装置は、前記脳活動信号と、前記生体信号と、前記被検者の状態との関係を表すデータテーブルを記憶するメモリをさらに含み、
     前記判定する工程は、前記データテーブルを参照することにより行われる、
    請求項17または18に記載の生体計測方法。
  26.  前記生体信号および前記脳活動信号の時系列データを取得する工程をさらに含み、
     前記生体計測装置は、前記時系列データに対応する参照時系列データを記憶するメモリをさらに含み、
     前記判定する工程は、前記時系列データを前記参照時系列データと比較すること、前記時系列データの統計値を算出すること、および前記時系列データと前記被検者の状態との相関の機械学習を行うことからなる群から選択される少なくとも1つを含む、
    請求項17または18に記載の生体計測方法。
  27.  前記生体信号および前記脳活動信号に対応する2次元画像データを取得する工程、および
     前記2次元画像データに含まれる特徴量を抽出する工程をさらに含み、
     前記生体計測装置は、前記特徴量に対応する参照特徴量を記憶するメモリをさらに含み、
     前記判定する工程は、前記特徴量を前記参照特徴量と比較すること、前記特徴量の統計値を算出すること、および前記特徴量と前記被検者の状態との相関の機械学習を行うことからなる群から選択される少なくとも1つを含む、
    請求項17または18に記載の生体計測方法。
  28.  1つ以上のメモリと、
     動作時に、
      被検者の脳活動信号を取得し、
      前記脳活動信号とは異なる、前記被検者の生体信号を取得し、かつ
      前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態が、覚醒状態、睡眠状態および意識障害状態のいずれであるかを判定する
     回路と、を備える
    判定装置。
  29.  被検者の頭部に照射されるパルス光を出射する光源と、
     前記頭部から戻った反射パルス光の少なくとも一部を検出する光検出器と、
     前記光源および前記光検出器を制御する制御回路と、
     信号処理回路と、
    を備え、
     前記制御回路は、
      前記光源に前記パルス光を出射させ、
      前記光検出器に、前記反射パルス光のうち、前記被検者の脳内で散乱された内部散乱成分を、脳活動信号として検出および出力させ、
      前記光検出器に、前記反射パルス光のうち、前記被検者の皮膚の表面で反射された表面反射成分を、前記脳活動信号とは異なる生体信号として検出および出力させ、
     前記信号処理回路は、前記生体信号と前記脳活動信号とに基づいて、前記被検者の状態を示す信号を生成して出力する、
    生体計測装置。
  30.  前記制御回路は、前記光検出器に、
     前記反射パルス光のうち、前記反射パルス光の強度が減少を開始した後の部分を検出させることにより、前記内部散乱成分を検出させ、
     前記反射パルス光のうち、少なくとも前記反射パルス光の強度が減少を開始する前の部分を検出させることにより、前記表面反射成分を検出させる、
    請求項29に記載の生体計測装置。
  31.  前記生体信号は、脈拍数、発汗量、呼吸数、および体温からなる群から選択される少なくとも1つの情報を含む、
    請求項29に記載の生体計測装置。
PCT/JP2018/044173 2017-12-19 2018-11-30 生体計測装置、生体計測方法、及び判定装置 WO2019124023A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201880063910.0A CN111148469B (zh) 2017-12-19 2018-11-30 生物体计测装置、生物体计测方法及判定装置
EP18891882.5A EP3730054B1 (en) 2017-12-19 2018-11-30 Biological measurement apparatus
CN202410348166.6A CN118078291A (zh) 2017-12-19 2018-11-30 生物体信息处理方法及生物体信息处理装置
JP2019560918A JP7386440B2 (ja) 2017-12-19 2018-11-30 生体計測装置、生体計測装置の作動方法、及び判定装置
US16/899,114 US20200297270A1 (en) 2017-12-19 2020-06-11 Biometric apparatus, biometric method, and determination apparatus
JP2023187735A JP2024028235A (ja) 2017-12-19 2023-11-01 コンピュータにおける情報処理方法および情報処理システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017243045 2017-12-19
JP2017-243045 2017-12-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/899,114 Continuation US20200297270A1 (en) 2017-12-19 2020-06-11 Biometric apparatus, biometric method, and determination apparatus

Publications (1)

Publication Number Publication Date
WO2019124023A1 true WO2019124023A1 (ja) 2019-06-27

Family

ID=66994099

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/044173 WO2019124023A1 (ja) 2017-12-19 2018-11-30 生体計測装置、生体計測方法、及び判定装置

Country Status (5)

Country Link
US (1) US20200297270A1 (ja)
EP (1) EP3730054B1 (ja)
JP (2) JP7386440B2 (ja)
CN (2) CN111148469B (ja)
WO (1) WO2019124023A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145986A (ja) * 2020-03-19 2021-09-27 株式会社日立製作所 情報処理装置及び方法
WO2022024617A1 (ja) * 2020-07-30 2022-02-03 ダイキン工業株式会社 快適性判定装置、空気調和機、及び快適性判定方法
WO2022202057A1 (ja) * 2021-03-22 2022-09-29 パナソニックIpマネジメント株式会社 ユーザの感情状態を推定する方法および装置
WO2022270570A1 (ja) * 2021-06-25 2022-12-29 株式会社Jvcケンウッド 記憶定着制御装置、記憶定着方法及び記憶定着プログラム
EP4173573A4 (en) * 2020-08-07 2023-12-20 Sony Group Corporation BIOLOGICAL SENSOR AND METHOD FOR DIFFERENTIATION OF BIOLOGICAL STATE

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111655149A (zh) * 2018-03-15 2020-09-11 松下知识产权经营株式会社 用于推断用户的心理状态的***、记录介质以及方法
US11579688B2 (en) * 2019-06-28 2023-02-14 Canon Kabushiki Kaisha Imaging display device and wearable device
JP7226160B2 (ja) * 2019-07-16 2023-02-21 トヨタ自動車株式会社 車両走行制御装置
WO2021138672A1 (en) * 2020-01-02 2021-07-08 Gentex Corporation Radar-based monitoring in a vehicle
US11741689B2 (en) 2020-10-20 2023-08-29 David Godwin Frank Automated, dynamic digital financial management method and system with phsyical currency capabilities
US11771374B2 (en) 2020-11-30 2023-10-03 Ceyeber Corp. Cranial implant
FR3121028B1 (fr) * 2021-03-25 2024-07-05 Valeo Comfort & Driving Assistance Système de surveillance d’un occupant d’un véhicule automobile
CN113197553A (zh) * 2021-05-12 2021-08-03 Oppo广东移动通信有限公司 电子设备及生物信息检测方法
US20230148959A1 (en) * 2021-11-16 2023-05-18 Meta Platforms Technologies, Llc Devices and Methods for Sensing Brain Blood Flow Using Head Mounted Display Devices

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04189349A (ja) 1990-11-22 1992-07-07 Olympus Optical Co Ltd 被検体内部情報観察装置
JPH11164826A (ja) 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2004310738A (ja) 2003-04-03 2004-11-04 Phanumphai Polchai 居眠り運転検出装置及び自動居眠り警報機
JP2005253590A (ja) * 2004-03-10 2005-09-22 Nissan Motor Co Ltd 運転支援装置
JP2011010714A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 生体光計測装置、ゲームシステムおよび生体信号発生方法
JP2015134157A (ja) * 2013-12-20 2015-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 光脳機能計測装置
JP2017011693A (ja) * 2015-06-17 2017-01-12 パナソニックIpマネジメント株式会社 撮像装置
WO2017090487A1 (ja) * 2015-11-24 2017-06-01 セイコーエプソン株式会社 支援装置およびユーザー端末
JP2017143889A (ja) 2016-02-15 2017-08-24 ルネサスエレクトロニクス株式会社 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06171392A (ja) * 1992-10-05 1994-06-21 Toyota Motor Corp 走行車線逸脱防止装置
JPH07117518A (ja) * 1993-10-26 1995-05-09 Toyota Motor Corp 居眠り運転防止装置
US20060184047A1 (en) * 1995-11-17 2006-08-17 Yuichi Yamashita Optical measurement instrument for living body
JP3892232B2 (ja) * 2001-01-30 2007-03-14 株式会社日立製作所 生体監視システム
JP2003106993A (ja) * 2001-09-28 2003-04-09 Communication Research Laboratory 生体情報撮像装置
JP2003322612A (ja) * 2002-04-30 2003-11-14 Communication Research Laboratory 脳活動計測装置、脳活動計測用頭部装着具
JP3635332B2 (ja) * 2003-03-20 2005-04-06 独立行政法人情報通信研究機構 頭部装着具
US20080146951A1 (en) * 2006-09-20 2008-06-19 Meide Zhao Regional cerebral volume flow using quantitative magnetic resonance angiography
JP4273359B2 (ja) * 2007-09-28 2009-06-03 Necソフト株式会社 年齢推定システム及び年齢推定方法
JP4798127B2 (ja) * 2007-12-20 2011-10-19 トヨタ自動車株式会社 緊急退避システム、緊急退避方法
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
DE102011110486A1 (de) * 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
JP2014094708A (ja) * 2012-11-12 2014-05-22 Koito Mfg Co Ltd 車室照明システム
US9087147B1 (en) * 2014-03-31 2015-07-21 Heartflow, Inc. Systems and methods for determining blood flow characteristics using flow ratio
CN106687026A (zh) * 2014-05-12 2017-05-17 汽车技术国际公司 驾驶员健康以及疲劳监控***和方法
JP6520506B2 (ja) * 2014-09-03 2019-05-29 株式会社デンソー 車両の走行制御システム
JP6553818B2 (ja) * 2015-12-22 2019-07-31 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Eeg信号における心臓活動情報および脳活動情報に基づく睡眠段階判別のためのシステムおよび方法
CN107468209B (zh) * 2016-06-07 2021-10-08 松下知识产权经营株式会社 摄像装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04189349A (ja) 1990-11-22 1992-07-07 Olympus Optical Co Ltd 被検体内部情報観察装置
JPH11164826A (ja) 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
JP2003339648A (ja) * 2002-05-24 2003-12-02 Communication Research Laboratory 画像生体診断装置
JP2004310738A (ja) 2003-04-03 2004-11-04 Phanumphai Polchai 居眠り運転検出装置及び自動居眠り警報機
JP2005253590A (ja) * 2004-03-10 2005-09-22 Nissan Motor Co Ltd 運転支援装置
JP2011010714A (ja) * 2009-06-30 2011-01-20 Hitachi Ltd 生体光計測装置、ゲームシステムおよび生体信号発生方法
JP2015134157A (ja) * 2013-12-20 2015-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 光脳機能計測装置
JP2017011693A (ja) * 2015-06-17 2017-01-12 パナソニックIpマネジメント株式会社 撮像装置
JP2017009584A (ja) * 2015-06-17 2017-01-12 パナソニックIpマネジメント株式会社 撮像装置
WO2017090487A1 (ja) * 2015-11-24 2017-06-01 セイコーエプソン株式会社 支援装置およびユーザー端末
JP2017143889A (ja) 2016-02-15 2017-08-24 ルネサスエレクトロニクス株式会社 開眼度検出システム、居眠り検知システム、自動シャッタシステム、開眼度検出方法及び開眼度検出プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021145986A (ja) * 2020-03-19 2021-09-27 株式会社日立製作所 情報処理装置及び方法
JP7382261B2 (ja) 2020-03-19 2023-11-16 株式会社日立製作所 情報処理装置及び方法
WO2022024617A1 (ja) * 2020-07-30 2022-02-03 ダイキン工業株式会社 快適性判定装置、空気調和機、及び快適性判定方法
JP6997400B1 (ja) 2020-07-30 2022-02-04 ダイキン工業株式会社 快適性判定装置、空気調和機、及び快適性判定方法
JP2022031580A (ja) * 2020-07-30 2022-02-21 ダイキン工業株式会社 快適性判定装置、空気調和機、及び快適性判定方法
EP4173573A4 (en) * 2020-08-07 2023-12-20 Sony Group Corporation BIOLOGICAL SENSOR AND METHOD FOR DIFFERENTIATION OF BIOLOGICAL STATE
WO2022202057A1 (ja) * 2021-03-22 2022-09-29 パナソニックIpマネジメント株式会社 ユーザの感情状態を推定する方法および装置
WO2022270570A1 (ja) * 2021-06-25 2022-12-29 株式会社Jvcケンウッド 記憶定着制御装置、記憶定着方法及び記憶定着プログラム

Also Published As

Publication number Publication date
EP3730054A4 (en) 2021-01-13
CN111148469B (zh) 2024-04-09
JP7386440B2 (ja) 2023-11-27
EP3730054A1 (en) 2020-10-28
JP2024028235A (ja) 2024-03-01
EP3730054B1 (en) 2024-03-27
CN111148469A (zh) 2020-05-12
CN118078291A (zh) 2024-05-28
JPWO2019124023A1 (ja) 2020-12-17
US20200297270A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
WO2019124023A1 (ja) 生体計測装置、生体計測方法、及び判定装置
JP7336696B2 (ja) 生体情報検出装置
EP3590426B1 (en) Work appropriateness determination system
JP7386438B2 (ja) 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP7308430B2 (ja) ユーザの心理状態を推定するためのシステム、記録媒体、および方法
CN106943117A (zh) 生物体信息计测装置
JP2020103879A (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
WO2020028193A1 (en) Non-invasive systems and methods for detecting mental impairment
JP2024016142A (ja) コンピュータにおける情報処理方法および生体計測システム
CN112188866A (zh) 生物体计测装置及生物体计测方法
WO2020137276A1 (ja) 撮像装置
JP7417867B2 (ja) 光計測装置
WO2020137352A1 (ja) 生体計測方法、地図データ生成方法、プログラム、コンピュータ読み取り可能な記録媒体、および生体計測装置
WO2022202057A1 (ja) ユーザの感情状態を推定する方法および装置
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18891882

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019560918

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018891882

Country of ref document: EP

Effective date: 20200720