CN113302076A - 用于车辆碰撞后支持的***、装置和方法 - Google Patents
用于车辆碰撞后支持的***、装置和方法 Download PDFInfo
- Publication number
- CN113302076A CN113302076A CN201980087004.9A CN201980087004A CN113302076A CN 113302076 A CN113302076 A CN 113302076A CN 201980087004 A CN201980087004 A CN 201980087004A CN 113302076 A CN113302076 A CN 113302076A
- Authority
- CN
- China
- Prior art keywords
- data
- vehicle
- collision
- crash
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000001953 sensory effect Effects 0.000 claims abstract description 73
- 208000027418 Wounds and injury Diseases 0.000 claims abstract description 55
- 230000006378 damage Effects 0.000 claims abstract description 47
- 208000014674 injury Diseases 0.000 claims abstract description 46
- 238000004458 analytical method Methods 0.000 claims description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 36
- 238000001514 detection method Methods 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 30
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 26
- 230000033001 locomotion Effects 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000005286 illumination Methods 0.000 claims description 13
- 206010052428 Wound Diseases 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 6
- 206010039203 Road traffic accident Diseases 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 35
- 238000003384 imaging method Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 13
- 238000013519 translation Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000004927 fusion Effects 0.000 description 9
- 206010019196 Head injury Diseases 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000011157 data evaluation Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 210000000038 chest Anatomy 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033764 rhythmic process Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000004883 computer application Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 238000010348 incorporation Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010021079 Hypopnoea Diseases 0.000 description 1
- 206010061245 Internal injury Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000004611 spectroscopical analysis Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 230000000451 tissue damage Effects 0.000 description 1
- 231100000827 tissue damage Toxicity 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000003966 vascular damage Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/01—Emergency care
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pulmonology (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Electromagnetism (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Databases & Information Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
提供了用于在车辆事故之后向第一响应者提供关于所述车辆的乘坐者的医疗状态和受伤的有用信息的***和方法。所述***包含座舱内传感器，所述座舱内传感器包括图像传感器、深度传感器和微振动传感器中的至少一个或多个，用于捕获车辆座舱的感觉数据，包含碰撞前数据、碰撞期间数据和碰撞后数据。所述***还包含至少一个处理器，所述至少一个处理器被配置成分析所述感觉数据。
Description
交叉引用
本申请要求2018年12月28日申请的标题为“用于车辆碰撞后支持的***、装置和方法(SYSTEM,DEVICE AND METHOD FOR VEHICLE POST-CRASH SUPPORT)”(代理人案号为GR003/USP)的第62/785,724号美国临时申请的优先权，所述美国临时申请以全文引用的方式并入本文中。
技术领域
在本发明的一些实施例中，本发明涉及一种用于在车辆事故之后分析座舱内数据以提供医疗相关信息的***和方法。
援引并入
本说明书中提及的所有公开、专利以及专利申请都以引用的方式并入本文中，其引用的程度如同每个单独的公开、专利或专利申请经特定并且单独地指示以引用的方式并入一般。
背景技术
当发生例如车祸之类的车辆事故时，第一响应者团队和医疗团队的正确行动具有长期意义。了解汽车乘坐者受伤的性质和严重性可以提高在优先顺序和立即治疗方面的响应。这也有助于指导正确的第一响应者团队，从而缩短正确设备到达现场所需的时间。
虽然为减少车辆事故的数量和严重性付出了巨大努力，但车辆事故确实不断发生，而且令人遗憾的是，在可预见的未来还会发生。
目前，救援团队无法提前知道车辆内部的情况，并且通常只有到达现场时才会收到有关乘坐者医疗状况的更新信息。此外，即使救援团队到达现场，可用的信息也只有通过视觉检查以及与有关乘坐者进行交流才能获得，前提是这种交流是可能的。这种交流虽然提供了重要的信息，但受到乘坐者意识和知识水平的限制。
鉴于上述情况，对于能够例如实时提供关于乘坐者的碰撞后状态的医疗相关信息的座舱内***仍然存在未满足的需求。这种***将提高在车辆事故中幸存的可能性，并且减少长期的医疗影响。这也会带来经济效益，可能会对保险成本产生影响。
发明内容
本公开提供了一种用于评估例如在碰撞后情况下一个或多个车辆乘坐者的医疗状况的***、装置和方法。根据一个实施例，提供了一种用于检测车辆乘坐者的呼吸或心跳的***。所述***包括：至少一个照明源，其被配置成在场景上以预定光图案投射光；成像装置，其被配置成捕获多个图像，所述多个图像包括来自所述场景中的一个或多个乘坐者的所述光图案的反射；以及至少一个处理器，其被配置成通过分析所述光图案的所述反射来提取所述一个或多个乘坐者的呼吸或心跳数据。
本公开还提供了一种用于分析来自所述反射光图案的所述多个图像的心跳或呼吸信号的方法。根据实施例，所述分析包括以下步骤：在所述多个图像的至少一些连续图像中检测所述光图案的至少一个所述反射的一个或多个散斑图案中的一个或多个变化；基于所述散斑图案分析标识所述至少一个对象的微振动；以及分析所述微振动以提取呼吸或心跳信号。在一些实施例中，所述呼吸或心跳信号用于评估所述乘坐者的所述医疗状况。在一些实施例中，所述***包括在近红外(NIR)光谱范围中使用照明源。
在实施例中，所述***包括通信模块，所述通信模块被配置成将医疗相关数据发送到第一响应者的救援团队。
在实施例中，将所述数据上传到云服务以供第一响应者的救援团队提取。
在实施例中，所述***包括存储器。在另外的实施例中，所述***被配置成记录由所述成像装置捕获的碰撞后图像。
在实施例中，所述碰撞后图像通过通信模块发送到第一响应者的团队或上传到云服务。
在实施例中，所述***被配置成存储碰撞前图像。在另外的实施例中，所述***还被配置成将所述碰撞前图像发送到第一响应者的团队或将所述图像上传到云服务以供第一响应者的团队提取。
在实施例中，所述处理器被配置成分析一个或多个碰撞后图像并且提取碰撞后身体姿势，从而提供对受伤的性质或严重性的评估。
在实施例中，所述处理器被配置成分析一个或多个存储的碰撞前图像，以便提取碰撞前身体姿势。在另外的实施例中，所述处理器被配置成任选地结合有关撞击的物理参数的任何可用信息来分析所述碰撞前身体姿势，从而提供对受伤的所述性质或严重性的评估。
在实施例中，所述处理器被配置成分析一个或多个碰撞前图像，以便提取至少一个身体属性，包含但不限于体重、高度、宽度、体积、年龄和性别。在一些实施例中，所述处理器还被配置成任选地结合有关撞击的物理参数的任何可用信息来使用所述至少一个身体属性，以便分析和评估受伤的所述性质或严重性。
在实施例中，所述评估通过通信模块发送到第一响应者的团队或上传到云服务。
在实施例中，触发所述***以通过使用车辆撞击传感器来启动对受伤的性质或严重性的分析。在各种实施例中，车辆撞击传感器包括位于车辆保险杠内部的微型开关，所述微型开关被配置成检测强撞击。在实施例中，所述***使用与车辆的安全气囊部署***相同的传感器。
在实施例中，触发所述***以通过视觉检测车辆内部的乘坐者的快速忙乱运动来启动所述分析。这种检测机构的实例基于光流算法，所述光流算法被配置成分析对象在两个或更多个连续帧之间的相对位移。
根据实施例，所述***包括至少一个高速成像装置。在某些实施例中，所述高速成像装置被配置成在事故发生期间以高速率捕获多个图像。在另外的实施例中，所述***处理器被配置成分析所述高速率图像，从而评估受伤的性质或严重性。在额外的实施例中，所述评估是基于在所述事故期间视觉跟踪所述座舱内发生的撞击。
根据实施例，所述***包括被配置成产生座舱内深度图的深度传感器。
在实施例中，所述***被配置成存储深度数据。
在实施例中，所述处理器被配置成使用所述深度图分析碰撞后身体姿势，从而评估受伤的所述性质和严重性。
在实施例中，处理器被配置成分析已存储的碰撞前深度图，从而提供关于车辆乘坐者的碰撞前身体姿势的信息。在若干实施例中，所述处理器还被配置成任选地结合有关撞击的物理参数的任何可用信息来使用所述身体姿势，以便分析和评估受伤的所述性质或严重性。
在实施例中，所述处理器被配置成分析一个或多个碰撞前深度图，以提取身体属性，包含但不限于体重、高度、宽度、体积、年龄和性别。在另外的实施例中，所述处理器还被配置成任选地结合有关撞击的物理参数的任何可用信息来使用所述至少一个身体属性，以便分析和评估受伤的所述性质或严重性。
在实施例中，所述分析包括使用至少一个图像和至少一个深度图的组合。
在实施例中，所述***使用例如但不限于卷积神经网络之类的深度学习方法，以便提供所述分析。
根据另一方面，提供了一种用于提供车辆座舱内至少一个乘坐者的医疗信息的***，所述***包括：感测模块，其包括被配置成捕获所述车辆座舱的感觉数据的至少一个传感器；以及控制模块，其包括至少一个处理器，所述处理器被配置成：从所述传感器接收所述感觉数据；并且
使用一种或多种分析方法分析所述感觉数据，以提供所述至少一个乘坐者的所述医疗信息。
在实施例中，所述分析方法是以下各项中的一种或多种：计算机视觉方法、机器学习方法、深度神经网络方法、信号处理方法。
在实施例中，所述医疗信息包括在所述车辆的事故之后所述至少一个车辆乘坐者的医疗状态。
在实施例中，所述医疗信息包括所述至少一个乘坐者的医疗状况评估或受伤评估。
在实施例中，所述信息包括在所述车辆的事故之后所述至少一个车辆乘坐者的所述医疗状态。
在实施例中，所述***包括通信模块，所述通信模块被配置成将所述信息发送到第一响应者团队。
在实施例中，所述至少一个传感器是图像传感器。
在实施例中，所述感测模块还包括至少一个照明器，所述至少一个照明器包括被配置成将光图案投射到所述车辆座舱上的光源。
在实施例中，所述光源包括激光器或发光二极管(LED)。
在实施例中，所述光源包括用于分离由所述光源产生的单个光束的一个或多个光学元件，所述一个或多个光学元件选自由以下各项组成的群组：DOE、分离镜和漫射器。
在实施例中，所述感测模块包括深度传感器。
在实施例中，所述深度传感器被配置成通过将光图案投射到所述车辆座舱上来捕获深度数据，并且其中所述至少一个处理器被配置成分析所述深度数据中已知光图案元素的位置。
在实施例中，通过使用所述计算机视觉方法分析所述深度数据来估计所述至少一个乘坐者的姿势。
在实施例中，所述感测模块包括微振动传感器。
在实施例中，所述微振动传感器被配置成：将光投射到所述车辆座舱的场景上；捕获多个图像，其中所述多个图像中的每个图像包括反射漫射光元素；并且
其中所述处理器被配置成：接收已捕获的图像；并且分析所述多个图像的至少一些连续图像中的所述多个反射漫射光元素中的至少一个的散斑图案中的一个或多个时间变化，以产生微振动数据。
在实施例中，所述感测模块包括选自包括以下各项的至少两个传感器的组合：图像传感器、深度传感器和微振动传感器。
在实施例中，所述处理器还被配置成基于至少一个微振动数据对一个或多个对象的属性进行分类或标识。
在实施例中，所述感觉数据包括多个图像，并且其中所述至少一个处理器还被配置成通过视觉分析由所述至少一个传感器捕获的所述多个图像中的至少一个图像来使用所述计算机视觉方法对所述至少一个车辆乘坐者进行分类。
在实施例中，所述感测模块被配置成检测所述车辆的即将发生的碰撞。
在实施例中，对即将发生的碰撞进行的所述检测由以下各项中的一个或多个执行：
车辆撞击传感器、忙乱移动检测传感器；以及外部感觉***。
在实施例中，所述至少一个处理器被配置成：分析所述感觉数据，其中在对即将发生的碰撞进行的所述检测之前、在所述碰撞期间和所述碰撞之后捕获所述感觉数据；并且基于所述已分析的感觉数据评估所述碰撞之后所述至少一个车辆乘坐者的所述医疗状态。
在实施例中，使用所述机器视觉方法分析在对所述即将发生的碰撞进行的所述检测之前捕获的所述感觉数据，以提取碰撞前分类。
在实施例中，所述碰撞前分类包括所述至少一个乘坐者的身体姿势、体重、年龄、身体尺寸和性别中的一个或多个。
在实施例中，所述***被配置成提供对因汽车事故而受伤的可能性和严重性的测量。
在实施例中，所述***被配置成在对所述即将发生的碰撞进行的所述检测之后提供所述车辆座舱的高速率数据。
在实施例中，所述高速率数据用于提取所述车辆中的所述至少一个乘坐者或一个或多个对象的轨迹。
在实施例中，已提取的轨迹用于评估所述至少一个乘坐者的所述受伤的所述可能性和严重性。
在实施例中，所述***被配置成记录座舱内碰撞后信息；并且
评估至少一个汽车乘坐者的所述医疗状态。
在实施例中，所述***被配置成提供至少一个汽车乘坐者的碰撞前、碰撞期间和碰撞后医疗状态评估中的至少一个。
在实施例中，所述控制模块被配置成与外部进行无线通信并且将所述信息传送到第一响应者团队。
在实施例中，将所述信息上传到云服务。
在实施例中，所述感测模块安装在所述车辆的车顶或舱顶上。
在实施例中，使用至少一个深度学习算法执行所述分析。
根据另一方面，提供了一种用于在车辆的事故之后估计车辆座舱中的一个或多个乘坐者的医疗状态的***，所述***包括：
感测模块，其包括：照明器，其包括一个或多个照明源，所述一个或多个照明源被配置成将呈结构光图案的光投射到所述车辆座舱上；至少一个图像传感器，其被配置成在所述车辆的碰撞之前、期间和之后捕获感觉数据，所述感觉数据包括所述车辆座舱的一系列2D(二维)图像和3D(三维)图像，其中所述2D图像中的至少一个包括来自所述座舱中的所述一个或多个乘坐者的所述结构光图案的反射；控制模块，其包括：存储器模块；至少一个处理器，所述至少一个处理器被配置成：从所述感测模块接收所述已捕获的感觉数据；接收所述车辆的即将发生的碰撞的撞击检测信号；将在所述撞击检测接收之前捕获的已接收的感觉数据存储在所述存储器模块中；使用计算机视觉算法或机器学习算法分析所述已接收的感觉数据，以产生包括在所述碰撞之前所述一个或多个乘坐者的状态的标识的碰撞前评估数据；从所述感测模块接收在所述碰撞期间捕获的感觉数据；分析在所述碰撞期间捕获的所述已接收的感觉数据，以产生包括所述一个或多个乘坐者的身体轨迹的碰撞期间评估数据；基于所述碰撞期间评估数据和碰撞前评估数据提供在所述碰撞之后所述一个或多个乘坐者的医疗信息。
在实施例中，所述至少一个处理器还被配置成：接收在所述碰撞之后捕获的感觉数据；使用计算机视觉算法或机器学习算法分析在碰撞数据之后捕获的所述已接收的感觉数据，以产生所述一个或多个乘坐者的碰撞后评估数据中的一个或多个。
在实施例中，所述碰撞后评估数据包括以下各项中的一个或多个：心跳、呼吸速率、身体姿势、身体运动、可见伤口。
在实施例中，所述处理器还被配置成将所述碰撞后评估数据与所述碰撞期间评估数据和所述碰撞前评估数据组合，以产生在所述碰撞之后所述一个或多个乘坐者的所述医疗信息。
在实施例中，通过分析所述多个图像的至少一些连续图像中的所述结构光图案的至少一个所述反射的一个或多个散斑图案中的一个或多个变化来标识所述心跳或呼吸速率；并且基于所述散斑图案分析标识所述一个或多个乘坐者的振动。
在实施例中，通过分析所述车辆座舱的所述一系列2D图像或3D图像来检测所述身体姿势、身体运动和可见伤口中的所述一个或多个。
在实施例中，使用骨骼模型、视觉跟踪方法的光流中的一个或多个来标识所述身体姿势或身体运动。
根据另一方面，提供了一种用于提供车辆座舱中至少一个乘坐者的医疗信息的方法，所述方法包括：从感测模块接收所述车辆座舱的已捕获的感觉数据；接收所述车辆的即将发生的碰撞的撞击检测信号；将在所述撞击检测接收之前捕获的已接收的感觉数据存储在存储器模块中；使用计算机视觉算法或机器学习算法分析所述已接收的感觉数据，以产生包括在所述碰撞之前所述至少一个乘坐者的状态的标识的碰撞前评估数据；从所述感测模块接收在所述碰撞期间捕获的感觉数据；分析在所述碰撞期间捕获的所述已接收的感觉数据，以产生包括所述一个或多个乘坐者的身体轨迹的碰撞期间评估数据；基于所述碰撞期间评估数据和碰撞前评估数据提供在所述碰撞之后所述一个或多个乘坐者的医疗信息。
根据另一方面，提供了一种用于在发生事故之后向第一响应者提供关于车辆的车辆乘坐者的医疗状态或受伤的信息的方法，所述方法包括以下步骤：i.使用座舱内传感器来监测所述车辆的座舱；
ii.组合对碰撞前数据、碰撞期间数据和碰撞后数据中的至少一个进行的分析；以及iii.向第一响应者提供所述分析。
附图说明
通过参考以下阐述了说明性实施例的详细描述和附图，将获得对本公开的特征和优点的更好理解，在所述实施例中使用了本公开的原理。
图1A-1C分别示出根据本公开的一些实施例的在车辆的事故之前、事故期间和事故之后的车辆的侧视图；
图2A示出根据本公开的一些实施例的***原始数据的实例；
图2B是示出根据本公开的一些实施例的标识例如车辆座舱中的隐藏对象之类的对象并且提供关于已标识对象的信息的步骤的流程图；
图2C示出根据本公开的一些实施例的包括监测***的车辆的更详细框图；
图3A示出根据本公开的一些实施例的包括感测模块和控制模块的***的高级框设计；
图3B示出根据本公开的一些实施例的包括不同类型传感器的***的高级框设计；
图4示出根据本公开的一些实施例的用于捕获和处理座舱内数据的流程图；
图5A示出根据本公开的一些实施例的车辆碰撞后数据、碰撞期间数据和碰撞前数据收集程序的高级框图；
图5B示出根据本公开的一些实施例的用于检测一个或多个乘坐者的心跳和/或呼吸的方法的流程图；
图6示出根据本公开的一些实施例的处理***与第一响应者的团队之间的通信的可能方式的示意图；
图7A示出根据本公开的一些实施例的用于捕获光图案图像并且转换已标识的散斑图案以测量一个或多个乘坐者的心跳和/或呼吸节奏的示例性配置；
图7B示出根据本公开的一些实施例的示例性已捕获的图像；
图7C-7E示出根据实施例的适合并入的示例性曲线图结果；
图8A示出根据实施例的适合并入的乘坐者胸部的已捕获的图像的示例性放大图；并且
图8B-8D示出根据实施例的适合并入的示例性曲线图结果。
具体实施方式
在以下描述中，将描述本发明的各个方面。出于解释的目的，阐述具体细节以便提供对本发明的透彻理解。对于所属领域技术人员显而易见的是，本发明的其它实施例在细节上有所不同，但不影响其本质。因此，本发明不受图中所示和说明书中所描述的限制，而仅如所附权利要求书中所指示，其中适当范围仅由所述权利要求书的最广泛解释来确定。
需要强调的是，本文中所示的细节是作为实例并且仅出于说明性论述本发明的优选实施例的目的，并且是为了提供被认为本发明的原理和概念方面的最有用且容易理解的描述而呈现。
本文所公开的配置可以多种方式中的一种或多种方式进行组合，以提供例如在碰撞后事故情况下将例如包含受伤乘坐者的状态的医疗信息之类的信息通知到第一响应者或救援团队的方式。本文所公开的配置的一个或多个组件和方法可以多种方式彼此组合。如本文所描述的***和方法使用座舱内感测模块来监测车辆乘坐者的医疗状态以及分析可能的受伤及其严重性。
根据一些实施例，***可以装设和/或安装，和/或集成和/或嵌入在车辆中，具体地说在车辆的座舱中。
根据一些实施例，所述***包括一个或多个成像装置，以及任选地或另外一个或多个照明源，所述一个或多个照明源被配置成并且能够以预定图案将光投射在座舱内场景上。一个或多个成像装置被配置成捕获场景的多个图像。多个图像可能含有来自场景中一个或多个对象(例如，车辆乘坐者)的光图案的反射。所述***还可以包括一个或多个处理器，所述一个或多个处理器被配置成并且能够分析多个已捕获的图像以执行碰撞后医疗状态分析，和/或监测车辆乘坐者的医疗状况和/或分析乘坐者的可能受伤及其严重度，如下文详述。
替代地或组合地，一个或多个处理器被配置成分析由一个或多个照明源在场景上引起的光图案的散斑含量。散斑图案可用于获得场景中一个或多个对象的微振动图案。
根据一个实施例，当一个或多个乘坐者是存在于场景处的人时，微振动信号可以与呼吸运动或心跳引起的皮肤运动或其组合相关联。因此，所公开的***可以例如在碰撞后情况下监测车辆乘坐者的生命体征。
有利地，所述***提供呼吸或心跳的生命体征信号和碰撞后座舱的多个图像数据两者，所以这些都使用单个装置或***。
此外，所述***提供可用于进一步评估细节和受伤程度的碰撞后数据和碰撞前数据。
如本文所使用，相似字符指代相似元素。
如本文所使用，术语“光”涵盖电磁光谱的紫外部分、可见部分或包含短波IR、近IR和长IR的红外(IR)部分中的一个或多个部分中具有波长的电磁辐射。
本文所使用的术语“光图案”被定义为将已知的像素图案投射到场景的过程。术语“图案”用于表示由任何非均一照明产生的形式和形状，具体地说是采用多个图案特征的图案化照明，所述图案特征例如线、条纹、点、几何形状等，具有例如形状、大小、强度等均一或不同的特征。作为非限制性实例，图案光照明图案可以包括作为图案特征的多个平行线。
如本文所使用，术语“深度图”被定义为含有与从视点到场景对象表面的距离有关的信息的图像。深度图可以是用z轴数据连接所有点的网格形式。
如本文所使用，术语“乘坐者”被定义为存在于车辆中的任何个体，包含驾驶员和任何乘客。所述术语还包含非人类乘坐者。
如本文所使用，术语“车辆”是指私人汽车、商用汽车、卡车、公交车、运输车、可驾驶机械设备或用于在道路或轨道上运送人员的任何车厢。
如本文所使用，术语“正常车辆操作模式”是指例如在驾驶时或在车辆发生事故之前车辆停下来时车辆的任何操作。
如本文所使用，术语“碰撞前数据”是指任何类型的数据，例如视觉图像、在车辆碰撞之前获得的车辆内的对象的3D图像。
如本文所使用，术语“碰撞后数据”是指任何类型的数据，例如视觉图像、在车辆碰撞之后获得的车辆内的对象的3D图像。
现在参考附图，图1A、图1B和图1C分别示出根据实施例的车辆的事故之前(图1A)、事故期间(图1B)和事故之后(图1C)的车辆100和乘客座舱120的侧视图。车辆100包含感测***110，所述感测***被配置成并且能够捕获和获得事故前的数据(例如，碰撞前数据)、事故期间的数据(例如，碰撞数据期间)和事故发生后的数据(碰撞后数据)。每个数据可以包含视觉数据(例如，视频图像)和立体数据(例如，深度图)，例如，2D(二维)图像和/或3D(三维)图像和车辆100内的区域和对象的振动(例如微振动)数据。根据实施例，可以例如实时或接近实时地分析每个数据，以评估车辆事故之后一个或多个乘坐者的医疗状态。
具体地说，感测***110被配置成在事故发生前、事故期间和事故发生后监测车辆内的区域和对象，以获得区域和对象(例如乘坐者)的各种类型的感觉数据，并且使用一个或多个处理器分析已获得的数据以提取视觉数据和深度数据并且检测用于标识振动(例如微振动)的散斑图案动态，并且使用已提取的数据估计乘坐者的医疗状态。根据实施例，此类对象的非限制性实例可以是车辆的乘坐者中的一个或多个，例如驾驶员111或乘客112。
更具体地说，提供了方法和***，所述方法和***被配置成分析已捕获的感觉数据，以检测事故发生前乘坐者的姿势和位置，以及由于车辆碰撞产生的所述乘坐者的轨迹118和包含例如与乘坐者伤口和心跳有关的信息之类的医疗信息的最终事故结果(例如，碰撞后数据)。在一些情况下，根据实施例，可以例如实时地将医疗信息传送到外部单位和部队，例如救援团队。
根据一些实施例，感测***110可以与例如车辆传感器之类的车辆单元连接或可以与其进行通信，所述车辆传感器例如撞击检测传感器或105和/或安全气囊控制单元(ACU)108和/或车辆计算***(VCS)109和/或防撞***(CAS)105。例如，感测***可以从CAS105接收包含额外感觉数据的一个或多个信号。感测***110可以与例如加速度计之类的其它类型的车辆传感器进行通信，并且可以将额外数据与已提取的数据融合并使用，以估计乘坐者的医疗状态。
具体地说，根据一些实施例，感测***110可以连接到车辆的CAS或可以与车辆的CAS进行通信，例如进行无线通信，所述车辆的CAS被配置成防止严重碰撞或降低碰撞的严重性。此类CAS的实例可以包含用于检测即将发生的碰撞的雷达(全天候)和/或激光器(LIDAR)和摄像机(采用图像识别)。感测***110可以将从CAS接收的数据与已提取的数据组合，例如在车辆的碰撞之后，使用数据来估计乘坐者的医疗状态。
根据一些实施例，感测***110可以允许查看整个座舱的方式安装在舱顶或车顶处，例如在车辆的车顶的前部分115中。根据一些实施例，感测***110可以装设、安装、集成和/或嵌入在车辆中，具体地说在车辆的座舱中，使得场景是座舱内部120，并且存在于座舱中的对象可以包含例如以下各项中的一个或多个：车辆乘坐者(例如驾驶员、乘客、宠物等)、与座舱相关联的一个或多个对象(例如座椅、车门、车窗、头靠、扶手等)、与一个或多个车辆乘坐者相关联的物品(例如婴儿座椅、宠物笼、公文包、玩具等)等。
需要强调的是，将***110安装在车辆的车顶或舱顶中的主要优点之一是，在车辆的这个位置，***110在事故期间较少受到损坏和强烈撞击。
根据一些实施例，所述***和方法被配置成在车辆的事故之后产生一个或多个乘坐者的输出，例如包含例如实时医疗状态之类的医疗信息的一个或多个输出信号。
根据一些实施例，感测***110可以包含例如不同类型的一个或多个传感器，例如2D成像传感器和/或3D成像传感器(例如立体摄像机)和/或RF成像传感器和/或振动(微振动)传感器、结构光传感器、超声波传感器等，以捕获车辆座舱的感觉数据，如还将在图3B中示出的。具体地说，2D成像传感器可以捕获例如来自不同角度的车辆座舱的图像，并且产生座舱的原始视觉图像。在实施例中，感测***110可以包含成像传感器和至少一个处理器，所述成像传感器被配置成捕获车辆座舱的2D和3D图像，所述至少一个处理器被配置成分析图像以产生座舱的深度图。
在另一实施例中，***110可以使用一个或多个振动传感器检测座舱中一个或多个对象的振动(例如微振动)，和/或分析已捕获的2D或3D图像以标识对象的振动(例如微振动)。
根据另一实施例，***110还可以包含面部检测器传感器和/或面部检测和/或面部识别软件模块，以用于分析已捕获的2D和/或3D图像。
在实施例中，***110可以包含包括一个或多个处理器的计算模块或可以与其进行通信，所述一个或多个处理器被配置成接收由***110的传感器捕获的感觉数据，并且根据计算机视觉算法和/或机器学习算法中的一个或多个来分析数据，以产生包含对车辆座舱中一个或多个乘坐者的医疗状况的估计的医疗信息，如下所示。
具体地说，根据实施例，一个或多个处理器被配置成在事故前、事故期间和事故之后将车辆座舱的各种类型的感觉数据(例如2D数据(例如已捕获的2D图像)、3D数据(深度图))沿着例如几秒或几分钟(例如1、2、3、4-100秒及以上)的时间段组合，以产生与车辆座舱中一个或多个乘坐者有关的医疗信息。
有利地，***110仅提供最小硬件，例如用于捕获车辆110内部的视觉图像和深度图像的一个或多个传感器和成像器。在一些情况下，连接到***110的接口可以供应必要的电力，并且将获取的数据传送到车辆的计算和/或处理单元，例如VCS 109和/或ACU 108，其中利用其计算能力使所有处理都在进行。因此，根据一些实施例，安装***110变得非常容易并且使用现成组件。
根据一些实施例，感测***110包括例如照明器103之类的一个或多个照明器和传感器101。照明器103产生光，例如光的图案，其在此示意性地指示为光斑102的光线。在某些情况下，产生的光图案可以覆盖车辆100的所有或选定部分的乘坐者，例如乘客203和驾驶员207，如图2A所示。
根据一些实施例，传感器101可以选自由以下各项组成的群组：飞行时间(ToF)图像传感器、摄像机、RF(射频)装置、立体摄像机、结构光传感器、超声波传感器。
根据一些实施例，传感器101可以是配备有允许覆盖整个座舱的鱼眼镜头的图像传感器。在一些情况下，为了覆盖车辆中的乘坐者的所有可能位置，可以使用超过150度的典型覆盖度。传感器可以是具有例如VGA、2MP、5MPMP、8MP的分辨率的CMOS传感器(互补金属氧化物半导体)或CCD传感器(电荷耦合装置)。所述镜头可以在可见范围或IR范围中起作用。
根据一些实施例，照明器103产生可以覆盖一个或多个部分或整个座舱120的光图案。这种图案的实例是光斑图案。图2A示出覆盖标准乘客汽车中的前座椅和后座椅的光斑图案206的此实例。图案可以是光斑图案，如图2A所示的线、网格或任何其它预配置形状。有利地，使光集中在小区域中，例如图2A中所示的光斑，可以提高信背比，并且从而提供更清晰的散斑信号。
图2B是流程图296，其示出根据一个实施例的检测乘坐状态的步骤，所述步骤包含标识对象，例如车辆座舱中的隐藏对象，以及提供关于已标识对象的信息。如图2B所示，感测***280包含例如照明器274之类的一个或多个照明单元以及例如传感器276之类的一个或多个传感器，所述一个或多个照明单元向位于例如车辆座舱100中后部部分处的对象271和272提供具有特定照明图案(例如，光斑或条纹或其它图案)的结构光，并且所述一个或多个传感器捕获车辆座舱100中的对象271和272的图像。
根据一个实施例，感测***280可以包含一个或多个处理器，例如处理器252。处理器252可以与装置和其它处理器进行有线或无线通信。例如，来自处理器252的输出可以触发处理器252内的过程，或者可以被传送到另一处理器或装置以激活其它处理器或装置的过程。
根据另一实施例，处理器252可以在感测***280外部，并且可以嵌入车辆中或可以是车辆的处理单元的一部分。
在一个实施例中，处理器252可以指示照明器265以对车辆座舱中的特定区域进行照明。
根据一些实施例，感测***280还可以包含RF传送-接收单元275，例如包含：例如RF收发器之类的RF传送-接收单元275，其被配置成使用RF天线275产生RF光束并且使其指向对象271和272，并且接收反射的RF光束以提供车辆座舱100和对象271和272的RF图像。将包含例如RF信号和反射图案图像的已捕获的图像提供到处理器252，以产生车辆座舱100和/或对象271和272的深度图表示291和2D/3D分割。
根据一个实施例，感测***可以包含例如一个或多个超声波传感器和/或定向麦克风之类的声音传感器269，所述声音传感器被配置成并且能够检测人员的存在和/或活力迹象，以定位例如正在说话的人员的嘴，并且产生数据输入以检测车辆中一个或多个对象的位置。根据一些实施例，处理器252还可以接收和/或产生额外数据279，包含例如由车辆传感器273捕获的关于车辆状态278、速度和加速度277的信息。感觉数据282和额外数据279由处理器252分析。
根据一些实施例，使用多种计算机视觉算法和机器学习算法分析感觉数据282和额外数据279。这些可以包含但不限于检测人的卷积神经网络、专门检测面部、手、躯干和其它身体部位的网络、能够基于2D和3D图像分割图像并具体地说分割图像中的乘客的网络、可以计算对象和人的体积的算法，以及可以确定汽车某个区域是否有运动的算法。
所述分析输出关于车辆座舱中的对象的多种类型的数据，例如关于乘坐者或无生命对象的信息，例如一盒或一袋杂货或空的儿童座椅，包含例如。具体地说，在一些情况下，所述数据可以包含：基于在车辆座舱中的深度学习286而检测到的对象289的身体部位和/或对象288的运动和/或对象287的体积和/或乘坐状态。
根据一些实施例，多种类型的数据可以包含深度数据294，所述深度数据包含例如由传感器276获得的一个或多个深度图像。深度数据可以具体用于检测乘客的身体部位，并且对图像中的身体或身体部位进行分割。在某些情况下，深度数据还可以用于确定人员的姿势，例如直立地坐着、向侧边倾斜或侧向倾斜。
根据一些实施例，多种类型的数据可以包含先验知识292。
先验知识的非限制性实例可以包含：关于车辆单元的信息，例如车门/车窗/安全带状态和/或关于车辆中对象和/或乘客的先验信息，和/或规则或假设，例如与车辆内部移动可能性有关的物理假设或座椅转换规则，例如以排除乘坐情况预测中不太可能发生的变化或替代地确认车辆中乘坐状态的预期变化。物理假设的具体实例可以包含例如驾驶员座椅在驾驶车辆(非自主车辆)中被占用的高概率和/或乘客可以在预定的短时间内或在单个帧中从一个座椅移动到另一个座椅的低概率。
在下面的步骤293处，将多种类型的数据进行融合，以确定在步骤294处，检测和/或标识乘坐情况和/或对象(例如乘客)的座椅数目，例如对象271和272的位置和属性(例如，乘客是否坐直、侧身或前倾)。例如，所述检测可以包含标识一个或多个乘客，例如车辆后部部分的完整身体或身体部分，例如面部或手。
根据一个实施例，多种类型的数据由融合算法进行融合，所述融合算法输出最佳决策，所述最佳决策考虑每个数据输入(例如，对象288的运动和/或对象287的体积和/或基于深度学习286、面部检测290、先验知识292的乘坐状态。
具体地说，融合算法包含分析已融合的数据以产生一个或多个预测乘坐状态概率的随机预测模型(例如马尔可夫链，例如呈马尔可夫矩阵的形式)。预测模型用于随着时间的推移不断更新一个或多个当前乘坐状态的概率(例如概率向量)，以产生已更新的乘坐状态，例如实时确定对象271和272的位置和/或车辆座舱中对象的数目。在一些情况下，预测状态和当前状态通过使用例如线性时不变(LTI)方法，例如无限脉冲响应(IIR)滤波器对其不确定性进行加权来组合。一旦检测到身体或身体部位，在步骤295处跟踪对象。例如，可以使用例如相关***和边缘***之类的常规***在2D图像或深度图像中跟踪对象。
根据一个实施例，基于已确定的乘坐状态，处理器252可以在步骤295处输出可以用于提供信息和/或用于控制装置的数据或信号，所述装置可以是远程的或与车辆集成在一起的，例如，如报警器、警报或照明之类的电子装置可以在偏离位置时发出警报，并且因此激活乘坐者保护设备(例如，安全气囊)或其它装置。根据实施例，装置可以由信号输出控制，例如被激活或调制。
在一些情况下，输出信号可以包含安全带提醒(SBR)、例如用于安全气囊抑制的偏离位置指示(OOP)以及用于驾驶员警报的驾驶员监测***(DMS)。
替代地或组合地，一旦使用神经网络标识对象，则训练神经网络以输出若干点，例如与特定身体部位或骨架线相对应的预定数目的点。在接下来的步骤处，可以使用常规跟踪算法，例如卡尔曼(Kalman)滤波器来及时跟踪这些点和线。需要强调的是，即使跟踪丢失，例如当身体的整个或部分被遮挡，即被前座椅遮挡时，***也可以估计这些点的位置。
根据一些实施例，可以使用计算机视觉算法和/或神经网络检测乘客的身体部位，所述计算机视觉算法和/或神经网络被训练以检测例如人体轮廓的人员，例如完整的人体和/或特定的人体部位。具体地说，可以通过众所周知的检测或识别方法检测人员的面部。此类方法的非限制性实例包含Viola-Jones算法或SSD神经网络。身体部位可以由神经网络检测，所述神经网络被专门训练以检测身体姿势。此类方法的非限制性实例包含OpenPose或OpenPose Plus方法。
图2C示出车辆100的更详细的框图。值得注意的是，车辆100可以包含比图2B中所示的组件更多或更少的组件。例如，车辆100可以包含例如USB接口或Wi-Fi之类的有线或无线***接口，这些接口用于将感测***110和车辆的计算单元205与例如车辆***202-208之类的车辆***200、例如车辆传感器212-218之类的车辆传感器201、座椅位置232-238和相应的座椅传感器232'-238'连接。图2B的硬件架构表示代表性车辆的一个实施例，所述代表性车辆包括感测***110，所述感测***被配置成自动监测并标识车辆中的例如隐藏对象之类的对象和区域。在这方面，图2C中的车辆还实施了一种用于监测对象和/或乘客的方法，以标识对象和/或乘客的属性，并且在由于短暂的低能见度或错误检测而可能无法标识对象和/或乘客的情况下也是如此。标识可以基于例如实时地从例如嵌入传感***110的专用传感器和嵌入车辆100中各种位置的现有车辆传感器之类的车辆中各种类型的传感器接收的各种类型的信息。
如图2C所示，车辆100包含控制车辆的***和传感器的车辆计算单元205和包含控制板250的感测***110，所述控制板控制感测***110，并且可能与例如车辆计算单元205和车辆***200之类的车辆单元和***进行通信。在一些情况下，控制板可以包含在计算单元205中。车辆100还包括乘客座椅位置232-238，其包含驾驶员的座椅位置232、前排乘客座椅位置234，以及左右后排乘客座椅位置236和238。尽管出于说明的目的，在图2B中示出四个座椅位置，但是本发明并不受限于此，并且可以容纳车辆内任何布置中的任意数目的座椅。在一个实施方案中，每个乘客座椅位置具有针对座椅舒适度的自动可调整设置，包含但不限于座椅高度调整、前后调整位置、座椅靠背角度调整。每个乘客座椅位置还可以包含分别可单独配置的一个或多个传感器232'-238'，其用于控制乘客的座椅和车窗，以及视情况而定地针对加热、冷却、通风方向和音频/视频控制台的环境控制。在一些情况下，乘客可能具有通信装置242-248，每个乘客位置处有一个通信装置，指示车辆100中的每个乘客都携带通信装置。尽管图2C中示出的示例性实施例示出携带通信装置的每个乘客，但各种实施方案设想并非所有乘客都需要携带装置。
根据一个实施例，感测***110可以包含不同形式的多个传感器。例如，感测***110可以包含振动传感器241和/或加速度传感器242和/或3D传感器243和/或RF传感器244和/或例如2D摄像机之类的摄像机245,
在一些情况下，感测***可以包含图像传感器和光源，例如适于投射例如车辆座舱上的多束图案之类的结构光图案的相干光源，所述图像传感器用于映射由形成于车辆表面上的每个光斑产生的散斑场。根据实施例，例如处理器252之类的处理器被配置成处理由图像传感器接收的散斑场信息，并且导出表面振动信息以标识座舱中的一个或多个对象，包含例如一个或多个检测到的对象的运动和微振动。
投射的结构光图案可以由多个漫射光元素构成，例如，点、线、形状和/或其组合可以由场景中存在的一个或多个对象反射，并且由集成在一体的成像装置中的成像传感器捕获。
根据一些实施例，控制单元250可以经由一个或多个有线连接而连接到车辆***202-208、车辆的传感器110、感测***传感器、座椅232-238和/或座椅的传感器'232'-238'。替代地，控制单元250可以通过无线接口经由无线连接单元252连接到车辆***202-208、车辆的传感器110、感测***传感器、座椅232-238和/或座椅的传感器'232'-238'。无线连接252可以是任何无线连接，包含但不限于Wifi(IEEE 802.11x)、蓝牙或其它已知的无线协议和/或。
根据实施例，计算单元205还优选地可控制地连接到车辆***202-208、车辆的传感器110、感测***传感器、座椅232-238和/或座椅的传感器'232'-238'。车辆***222-228可以通过如图2所示的有线连接进行连接，或通过其它手段连接。
车辆***可以包含但不限于发动机调整***、发动机限制***、车灯、空调、多媒体、GPS/导航***等。
控制板250可以包括处理器252、存储器254和通信电路***256中的一个或多个。控制板150的组件可以被配置成传送、存储和/或分析已捕获的感觉数据，如本文进一步详细描述的。
控制单元还可连接到用户界面260。用户界面260可以包含输入装置261、输出装置263和被配置成允许用户与控制板交互的软件程序。此类输入和输出装置分别包含但不限于显示器268、扬声器266、键盘264、方向键、方向旋钮、麦克风265、触摸屏262等。
麦克风265有助于捕获声音(例如，语音命令)并将已捕获的声音转换成电信号。在一些情况下，电信号可以由与各种应用程序352介接的车载计算机104使用。
处理器252可以包括有形介质，所述有形介质包括计算机程序指令；例如，处理器可以包括数字信号处理单元，所述数字信号处理单元可以被配置成使用多种类型的检测方法来分析和融合例如从各种传感器接收的感觉数据之类的数据。在一些情况下，已处理的数据输出可以接着传送到通信电路***256，所述通信电路***可以包括数据加密/传送组件，例如Bluetooth TM。一旦加密，数据输出就可以经由蓝牙传送到车辆计算单元和/或车辆用户界面，并且可以进一步呈现给车辆上的驾驶员。替代地或组合地，可以将输出数据传送到监测单元接口。
图3A示出根据实施例的感测***310的示意图，所述感测***被配置成并且能够捕获例如车辆座舱320之类的场景的包含一个或多个乘坐者(例如驾驶员311和/或乘客312)的感觉数据，并且分析感觉数据以估计例如在车辆的事故之后一个或多个乘坐者的医疗状况。在一些情况下，感测***310可以是图1A和1B的***110。
***310包含感测模块300和控制模块315。这两个模块可以驻留在同一包中，或者可以分成两个不同的物理模块。例如，对于分离配置，感测模块300可以位于车辆的舱顶，而控制模块315可以位于仪表板后面。这两个模块通过通信线路连接和/或可以例如通过例如USB连接之类的专用连接、无线连接或本领域已知的任何连接进行电通信和/或无线通信。
在一个实施例中，感测***310连接到车辆的电源。在替代实施例中，***310包括电池，任选地可充电电池，其允许即使在车辆的电源断开时也可以工作。这种设计将使***即使在事故期间车辆电源发生故障时也能继续工作。在另一实施例中，电池可从汽车的电池或汽车的交流发电机充电。
感测***310还可以配备有或具有到撞击传感器325的接口，所述撞击传感器被配置成检测即将发生的碰撞。此类撞击传感器的一个非限制性实例是存在于汽车中并且负责安全气囊部署的撞击传感器。在这种配置中，撞击的通知通过来自撞击传感器的电子信号传送到***310。电子信号可以直接传送或通过例如车辆的CAN总线接口的通信***传送。在一些情况下，撞击传感器可以是或可以包含在如本文关于图1A所提及的CAS中。
替代地或组合地，感测***310配备有内置式撞击传感器，例如加速度计312。当检测到高于某个阈值的加速度(或更确切地说是减速)时，***310认为撞击信号已经发出，碰撞很快就会发生。
在另一实施例中，可以通过例如使用感测模块300分析从车辆座舱内捕获的数据来确定撞击。例如，***310可以监测驾驶者、乘客和对象在座舱中的视频运动。当检测到快速或忙乱移动超出预定义阈值时，***会断定正在发生撞击。此类分析可以基于计算机视觉算法，例如但不限于光流或跟踪。
根据实施例，感测模块300包括图像传感器301和至少一个照明器303，所述图像传感器可以被配置成捕获包含场景(例如车辆座舱)的一个或多个图像的感觉数据，并且进一步传送视觉数据以提取视觉数据、使用控制模块的场景的深度图(例如密度深度图)和振动(例如微振动数据)，如本文进一步详细描述的。
图像传感器301配备有镜头302。镜头可以是覆盖整个座舱的鱼眼镜头。照明器303产生对场景320进行照明的光图案。光图案可任选地被设计成覆盖与图像传感器大致相同的视场。
图像传感器301可以是各种分辨率格式的CMOS或CCD传感器。例如，它可以是VGA格式(640x480像素)或2M像素格式(1920x1080)。
为了产生照明图案，照明器303可以包含光源324，作为实例，所述光源可以是相干激光光源。照明器303还可以配备有图案产生光学元件，作为实例，所述图案产生光学元件可以是衍射光学元件(DOE)326。用于图案产生的其它实例可以是遮罩，或分离镜和漫射器。
例如，光源324可以包含光学范围或电磁光谱的一部分中波长的电磁能量，所述波长包含人类可见光范围或其一部分中的波长(例如，大约390nm-750nm)和/或近红外(NIR)中的波长(例如，大约750nm-1400nm)或红外(例如，大约750nm-1mm)部分和/或电磁光谱的近紫外(NUV)(例如，大约400nm-300nm)或紫外(例如，大约400nm-122nm)部分。特定波长是示例性的，并且不意味着是限制性的。可以采用电磁范围的其它波长。在一些实施例中，照明器303波长可以是约830nm、约840nm、约850nm或约940nm中的任何一个。
在具体实施例中，在近红外(NIR，约750nm到1400nm)频谱范围中执行照明，以便防止图案对于乘坐者的肉眼可见。
在一些情况下，图像传感器301可以配备有带通光谱滤波器，从而防止其捕获波长与照明器波长不匹配的光。当将此带通滤波器添加到图像传感器301中时，信背比得到改善。
在实施例的一些方面中，图像传感器301和照明器303(例如感测模块300)都连接到例如位于控制模块315中的处理器304之类的一个或多个处理器或可以与其进行通信。
在若干实施例中，处理器304可以根据监测策略操作照明器303和图像传感器301。例如，处理器304可以每秒30帧(FPS)的帧速率操作图像传感器301，并且将照明器303作为恒定光源操作。作为另一实例，处理器304可以30FPS的速率操作图像传感器301，并且替代地照明器303可以仅每隔一帧获得图案，而其余帧没有图案。例如，一个选项可以包含捕获干净帧(例如，其不包含反射图案)，然后将帧图案化。替代地，捕获5个干净帧，然后捕获一个图案帧等。后一种模式可能是可取的，因为它可以有利地用于为深度学习算法获得替代的干净图像帧，以及可用于振动监测和生命体征提取的图案帧。可以使用其它选项，其包含图案帧数目与干净帧数目之间的不同关系。
在实施例中，处理器304被配置成从视频流提取例如视频图像、深度数据和振动数据之类的任何一个或多个图像或图像的组合。
在实施例中，通过选择其中照明源324关闭并且没有光图案投射到场景上的视频帧来执行提取视频图像。在另一实施例中，视频图像可以包含由照明器产生的光图案。
在实施例中，通过使用结构技术执行提取深度数据。由照明器303引起的光图案由图像传感器301捕获。处理器304被配置成接收已捕获的图像并且分析已捕获的图像以标识每个预先已知的光图案元素的位移，从而计算对象在此位置处的深度。
可以通过使用下面等式1中的公式来估计每个图案元素的深度：
等式1：
其中z表示深度估计，B表示图像传感器与图案照明器之间的基线距离，f表示摄像机模块镜头的焦距，并且Δ表示差异，即图案元件在图像平面上移位的距离。
替代地或另外地，深度还可以通过采用查找表机构获得。为了采用这种机构，***需要经历校准过程，在所述校准过程中，将光图案投射到定位在若干预定距离处的屏幕上。对于每个距离，图案被记录并且存储在例如存储器模块305之类的存储器中。然后，对于包含摄像机在操作期间观察到的一些光图案元素的每个小区域，采用基于相关性的算法来评估最接近的匹配图案元素出现在哪一屏幕距离处。选择相关性最高的距离作为这个区域的估计距离。
应注意，已提取的深度点的数目不需要与图像中的像素数目相匹配。相反，其与照明器引起的光图案有关。根据实施例，深度点的数目由投射图案中的不同光图案元素的数目限定。例如，这可以是假随机光斑图案中的光斑数目，或由于使用2-3个点的集群作为不同图案而产生的所述数目的较小系数。
在另一示例性实施例中，处理器304还被配置成从场景提取振动信息，例如微振动信息。通过分析已捕获的图像中的至少一些光(例如光斑)图案元素的散斑含量来执行微振动的提取。散斑图案随时间的变化可指示微振动，即非常小且细微的运动，其可能太小而无法通过分析深度数据或不包含光图案元素的视频图像中的变化来检测。
在一些实施例中，散斑图案分析可以包含通过测量多个连续已捕获的图像上的相应反射漫射光元素的强度的时间标准差来检测散斑图案的变化，以标识时间畸变图案。例如，假设Ii是在图像编号i中描绘光图案元素和/或其一部分的特定像素的灰度强度，则例如处理器304之类的一个或多个处理器可以根据下面的等式2计算时间标准差。
等式2：
其中n表示当前图像，并且k表示先前图像的数目。
所述分析还可以包含将时间标准差的结果与预定阈值进行比较以确定是否发生微振动。在时间标准差值超过预定阈值的情况下，例如由处理器304确定特定光图案元素中的微振动的幅度增加。另一方面，在时间标准差值没有超过预定阈值的情况下，处理器304可以确定微振动的幅度没有变化。在某些实施例中，预定阈值可以是固定的并且是预先设置的。可选地，预定阈值可以根据随时间推移测量的时间标准差的值进行动态调整。
任选地，为了提高对可能影响散斑图案的强度水平的噪声的抗扰性并且增加散斑图案的强度的信噪比(SNR)，时间标准差可以在每个光斑的多个像素(例如5x5像素)上进行平均。
任选地，为了提高对可能影响散斑图案的强度水平的噪声的抗扰性并且增加散斑图案的强度的信噪比(SNR)，时间标准差可以在从相同表面反射并且在已捕获的图像中描绘于相同区域中的漫射光元素的多个散斑图案上进行平均。
根据另一实施例，可以例如由处理器304通过分析散斑图案的横向平移来检测散斑图案的变化，所述横向平移指示反射对象相对于图像传感器的倾斜。可以根据一个或多个散斑图案点随时间(连续帧)的平移速度导出例如微弧度尺度上可能非常小的倾斜。横向散斑图案平移可以从对根据下面的等式3的多个连续已捕获的图像中描绘的漫射光图案元素的分析中导出。
等式3：
其中I表示已捕获的图像中像素的强度，灰度级相对于时间t或位置x而不同。
在已捕获的图像中，某个像素(i,j)相对于其在i方向上的相邻像素的变化的角速度可以由下面的等式4表示n。
等式4：
某个像素(i,j)变化的角速度可以在j方向上类似地表示。角速度的结果以每帧像素为单元表示。
任选地，像素(i,j)的强度Ii,j可以例如通过处理器304随着时间被归一化，以补偿由于光斑强度包封效应引起的强度Ii,j的不均匀性。例如，强度Ii,j可以通过应用滑动时间窗口对连续已捕获的图像中的一个或多个像素(i,j)的强度Ii,j进行平均来进行归一化。
在另一个实例中，处理器304可以通过对Ii,j应用无限脉冲响应来平滑时域中的强度Ii,j以产生已平滑强度
如下面的等式5所示。
等式5：
其中α表示小系数，例如0.05。
可以通过将一个或多个像素(i,j)的强度Ii,j与在多个连续已捕获的图像中随时间测量的平均强度相除来进行归一化，以产生归一化强度
如下面的等式6所示。
等式6：
将等式4中强度
的表达式替换为归一化强度
角速度可以由下面的等式7表示。
等式7：
在一些实施例中，为了进一步提高测量强度对噪声影响的稳定性，处理器304还可以在空间上平均已捕获的图像中多个相邻反射漫射光元素(例如点、光斑等)的强度。处理器还可以对空间平均强度值应用时间滤波以改善所产生的强度信号。
关于用于检测微振动的散斑图案分析的进一步细节，可以在标题为“检测表面振动的***和方法(System and Method for Detecting Surface Vibrations)”的第US10,345,137号的美国专利和标题为“从环境获取信息的***和方法”的第WO2019012535号PCT国际申请公开中找到，所述美国专利和所述PCT国际申请公开中的每一个都以全文引用的方式并入本文中。
应注意，根据处理器304的配置，可以单独地或一起(例如同时地)从已捕获的图像中提取深度数据和振动(例如微振动)。
在一些情况下，处理器304还可以分析已提取的深度数据和振动(例如微振动)以及已捕获的视觉数据，以提供包含对例如车辆中一个或多个乘坐者的受伤相关状态之类的医疗状态的分析的医疗信息。在某些情况下，实时地或接近实时地提供医疗信息。在某些实施例中，处理器分析碰撞后生命体征、姿势和受伤严重性，如本文进一步详细描述的。
根据各个方面和实施例，处理器304连接到存储器模块305或可以与其进行通信。存储器模块被配置成在分析期间存储数据，例如2D数据(例如视觉图像)和/或3D数据和/或振动。所述存储器模块还可以存储碰撞前数据，以便在发生事故时检索。在一些情况下，存储器模块305可以从车辆中的例如车辆的计算机装置和/或存储器单元之类的内部单元和/或从例如移动电话装置之类的外部装置接收数据。
处理器304可以连接到通信模块306或可以与其进行(例如无线地)通信，以便将分析结果(例如医疗数据)传送到外部世界。在某些情况下，可以将结果传送到基于云的存储***307或救援团队309。
在许多实施例中，感测***310可以与基于云的存储***307进行无线通信116。在一些情况下，***可以使用通信模块306将数据传送到移动装置350，所述通信模块具有通信链路，例如无线串行通信链路，例如，BluetoothTM。手持装置可以从***接收数据并且将数据传送到基于云的存储***307的后端服务器。
所传送的数据可以消息的形式进行构造，所述消息包含例如碰撞后车辆内一个或多个乘坐者的位置或状态等信息。在实施例中，传送的数据还可以包含形成传感器的图像或视频序列。
根据实施例，可以基于如本文进一步详细描述的碰撞前数据、碰撞期间数据和碰撞后数据的任何组合来执行对车辆乘坐者的碰撞后医疗状况的估计。
图3B示出根据实施例的感测***370的示意图，所述感测***被配置成并且能够捕获例如车辆座舱320之类的场景的包含一个或多个乘坐者(例如驾驶员311和/或乘客312)的感觉数据，并且分析感觉数据以估计例如在车辆的事故之后一个或多个乘坐者的医疗状况。
***370呈现前述***310的所有元件，但还包含多个传感器，例如图像传感器372、深度传感器374、例如立体摄像机和微振动传感器376。
图4示出根据实施例的方法400的流程图，所述方法用于捕获和处理包含碰撞前数据、碰撞期间数据和碰撞后数据的座舱内数据，以提供例如车辆事故之后或期间的医疗信息之类的信息。在步骤410处，在正常车辆操作期间，例如图1A-1C的***110或图3A的***310之类的***接收并且记录例如车辆座舱内已捕获的感觉数据(例如原始数据—定义为从例如传感模块中的传感器之类的一个或多个传感器收集的基本数据)之类的数据。根据实施例，感觉数据可以由感测模块300捕获，并且可以包含视频图像、深度数据和振动数据中的任何一个或多个。在一些情况下，可以使用例如缓冲器301之类的缓冲器来存储已捕获的感觉数据。在一些情况下，缓冲器301可以是包括例如10秒长度、20秒长度或更大长度的存储容量的循环缓冲器。本文所使用的术语“循环”是指用于存储在一定时间内捕获的数据的固定量的存储器，使得当存储器被填满时，旧数据以循环方式被新数据覆盖。
在一些情况下，感觉数据可以包含从例如车辆嵌入式传感器之类的车辆单元获得的车辆内部数据。
在步骤420，可以例如在控制模块处接收撞击检测信号。在一些情况下，可以在即将发生的碰撞检测之后由撞击传感器325和/或处理器和/或感测模块产生撞击检测信号。在一些情况下，从例如CAS之类的车辆嵌入传感器或其它感测模块获得撞击检测。
此类撞击传感器的一个非限制性实例是存在于汽车中并且负责安全气囊部署的撞击传感器。在这种配置中，撞击的通知通过来自撞击传感器的电子信号传送到***。电子信号可以直接传送或通过例如车辆的CAN总线接口的通信***传送。在另一实施例中，所述***配备有例如上文所提及的加速度计之类的内置撞击传感器。当检测到高于某个阈值的加速度(或更确切地说是减速)时，***认为撞击信号已经发出。在另一实施例中，根据***数据分析撞击情况。例如，***可以监测驾驶者、乘客和对象在座舱中的视频运动。当检测到快速或忙乱移动超出预定义阈值时，***会断定正在发生撞击。此类分析可以基于计算机视觉算法，例如但不限于光流或跟踪。
在一些情况下，在步骤430处，一旦例如从撞击检测传感器302接收到撞击检测信号，***模式就从“正常车辆操作模式”更改为“事故模式”。根据实施例，作为“事故模式”的一部分，所述***操作如下所示的一个或多个动作：在步骤432处，停止在循环缓冲器301上的记录，并且使缓冲器中含有的原始数据(例如，感觉数据)在存储器303中“冻结”以供进一步分析。
可选地或组合地，还可以将感觉数据传送到外部源，例如位于例如警察、医院等紧急机构的基于云的存储器单元307，以进行高级碰撞调查。传送可能在碰撞期间发生，也可能在启动调查的稍后阶段中发生。
在实施例中，例如由处理器标识的撞击的细节还可以由处理器记录。此类细节可以包含撞击的幅度和/或方向。然后，这些细节可以用于评估事故的结果。
在步骤440处，根据实施例，例如由处理器分析存储在缓冲器中的感觉数据，以产生包含例如碰撞之前对车辆乘坐者状态的标识(例如碰撞前状态)的碰撞前数据。此类分析可以提供乘坐者的位置、身体姿势、身体属性的任何组合，所述身体属性例如体重、高度、年龄、性别和体型。所述分析还可以包含座舱内存在的对象，并且这些对象可能在事故期间造成受伤风险。
本文所描述的分析可以使用计算机视觉算法和/或机器学习算法执行。通过训练计算机视觉模块来标识汽车内个体的存在，从而获得乘坐者的位置。可以通过训练神经网络***以根据视频图像估计身体姿势来获得身体姿势。可以通过训练神经网络以估计来自视频图像的属性来获得身体属性。
在实施例中，还可以通过使用深度数据层来执行或增强分析，从而提供关于个体的体积及其物理尺寸的信息。深度信息还可以提供与身体姿势有关的信息。
在实施例中，处理器被配置成分析一个或多个碰撞前深度图以提取身体属性，包含如图2B和2C中所示的体重、高度、宽度、体积、年龄和性别。
在实施例中，所述分析包括使用至少一个图像和至少一个深度图的组合。
在步骤450处，根据实施例，在步骤440处的碰撞前汽车乘坐者状态标识之后，所述***基于包含在事故之前乘坐者状态的标识中的已分析的碰撞前数据来从受伤和医疗问题方面评估可能的事故结果。
在实施例中，所述***采用可以使用已记录的碰撞前数据的人体机械模型，以从受伤和医疗问题方面评估车辆碰撞结果。可用的碰撞前信息可能包含一个或多个或所有车辆乘坐者的身体属性、身体的初始姿势、体重、年龄、身体尺寸和性别以及例如幅度和方向之类的碰撞参数。
在一些情况下，人体机械模型可以是身体的有限元模型。替代地或组合地，人体机械模型可以含有基于现有受伤数据库的启发式等式。
在实施例中，触发所述***以通过使用车辆撞击传感器来启动对受伤的性质或严重性的分析。在各种实施例中，例如传感器325之类的车辆撞击传感器包括位于车辆保险杠内部的微型开关，所述微型开关被配置成检测强撞击。在实施例中，所述***使用与车辆的安全气囊部署***相同的传感器。
为了说明这种评估中可能考虑的因素，讨论了碰撞前乘坐者102相对于身体的头部姿势。如图1B所示，车祸中的甩鞭效应会对乘坐者的颈部造成各种类型的受伤。知道例如从撞击传感器获得的撞击的方向和幅度，以及通过分析已捕获的图像来获得和提取的头部相对于身体和汽车的位置和方向，***可以提供对受伤的性质和严重性的预测。具体地说，所述分析可能包含标识哪个身体部位受到了撞击。基于这个身体部位的性质和估计的撞击强度，预测组织损伤、血管损伤、骨骼损伤等。
在实施例中，所述***被配置成存储碰撞前图像。在另外的实施例中，所述***还被配置成将碰撞前图像和碰撞前数据发送到第一响应者的团队或将所述图像上传到云服务以供第一响应者的团队提取。
在实施例中，所述处理器被配置成分析一个或多个存储的碰撞前图像，以便提取碰撞前身体姿势。在另外的实施例中，所述处理器被配置成任选地结合有关撞击的物理参数的任何可用信息来分析碰撞前深度图(例如身体姿势)，从而提供对受伤的性质或严重性的评估。
在实施例中，所述处理器被配置成分析一个或多个碰撞前图像，以便提取至少一个身体属性，包含但不限于体重、高度、宽度、体积、年龄和性别。在一些实施例中，所述处理器还被配置成任选地结合有关撞击的物理参数的任何可用信息来使用所述至少一个身体属性，以便分析和评估受伤的所述性质或严重性。
根据一些实施例，在步骤460处一旦例如在***(例如处理器)接收到对(例如步骤420的)撞击的检测，就可以指示例如***感测模块之类的***的传感器将传感器和/或摄像机的操作模式切换到高帧速率捕获模式，以便在事故发生期间收集高帧速率数据。高帧速率的非限制性实例包含约500至1000帧/秒或更多。事故发生的时长的非限制性实例包含约1-5秒或更久。
在步骤470处，所述***被配置成捕获例如在例如高帧速率时间段之类的事故期间获得的感觉数据(例如碰撞期间数据)之类的数据，以便遵循汽车内乘坐者和对象的轨迹。所述***可以使用已捕获的视频图像和/或深度数据中的任一个，以便使用如本领域已知的计算机视觉方法来分析轨迹。轨迹对于检测身体与车辆的结构和各种表面的撞击，以及检测车辆内对象对乘坐者的撞击来说尤为重要。
在步骤480处，轨迹和撞击数据用于提供医疗信息输出，所述医疗信息输出包含对乘坐者的受伤的性质和严重性的评估和预测。在一些情况下，可以基于例如包含碰撞前数据的额外数据来提供医疗信息输出。例如，检测乘坐者头部与汽车结构之间的撞击可以指示头部创伤的高概率。更具体地说，如图1A所示，包含乘客112头部与前排座椅头靠113之间的距离‘d’和“正常车辆运行模式”期间的车辆100速度的数据可以被分析并且可以与从车辆100碰撞期间捕获的数据中提取的乘客轨迹118和破碎车窗114轨迹相结合。
在一些情况下，医疗信息输出可以作为一个或多个输出信号传送到例如第一响应者单元之类的外部单元或传送到车辆的内部单元以激活例如车辆的装置之类的一个或多个装置或***。
现在参考图5A，其示出根据实施例的车辆碰撞后数据、碰撞期间数据、碰撞前数据收集程序的高级框图500。收集程序可由例如图1的感测***110或图3的感测***310之类的感测***执行。在一些情况下，所述***可以与额外传感器进行通信或可以包含额外传感器。如示意性所示，***110收集车辆座舱中可用的一些或所有信息，以产生包含对乘坐者的医疗状况状态和受伤的性质和严重性的评估的医疗信息。
根据实施例，每种类型的已捕获的信息可以转换为包含相关信息的一个或多个信号。
在实施例中，例如***110之类的***可以通过捕获和分析身体的微振动，例如由***110获得并由一个或多个处理器分析的一个或多个微振动信号来收集乘坐者的心跳501。使用如上文详述的散斑时间分析来捕获微振动。由于脉冲，心跳引起皮肤机械微振动，这种微振动可以由被配置成测量微振动的***110检测。心率或心跳不足提供了有关车辆中一个或多个乘坐者的医疗状况状态以及他们受伤的性质和严重性的重要信息。
在另一实施例中，例如***110之类的***被配置成通过分析身体的微振动，并且具体地说是胸部区域的微振动来收集乘坐者的呼吸速率502。呼吸运动引起可以由被配置成测量微振动的***110检测到的微振动或振动。呼吸速率或呼吸不足提供了有关一个或多个乘坐者的医疗状态以及他们受伤的性质和严重性的重要信息。
根据实施例，可以通过分析碰撞后身体微振动信号来获得心跳速率和呼吸速率的信号。为了区分两个信号，可以采用光谱分析。例如，微振动信号可以含有更强的呼吸信号和较弱的心率信号的叠加。心脏信号的典型范围可能为每分钟50次(BPM)或以上(约1-1.2Hz)，而呼吸信号的典型范围可能为每分钟15-20次(约3-4Hz)。因此，在此实例中以约2Hz执行光谱分析并且将信号分离成高通和低通将允许获得两个单独的信号。
此外，在另一实施例中可以使用相同的频谱分析以区分生命体征信号与由车辆或环境产生的机械振动。例如，在汽车的发动机持续运转的碰撞后情况下，可以预期将存在与所述发动机的工作相关联的机械振动。假设发动机的每分钟空转(RPM)为600RPM，这意味着发动机引起的机械振动的典型基频为10Hz。通过使用低于此频率的低通，可以从已捕获的信号中清除发动机引起的振动。
在实施例中，所述***还被配置成检测碰撞后身体姿势503。***110可以使用已捕获的图像和深度数据中的一些或全部。然后，***采用骨骼模型或其它启发式方法来估计身体姿势。身体姿势，并且具体地说是头部和四肢的相对位置和定向，可以提供有关医疗状况状态、受伤的性质和严重性的宝贵信息。在一些情况下，可以使用标题为“用于检测和获得车辆中对象的信息的***、装置和方法(SYSTEM,DEVICE,AND METHODS FOR DETECTINGAND OBTAINING INFORMATION ON OBJECTS IN A VEHICLE)”的第62/806,840号USP申请中所描述的***和方法来标识乘坐者的身体姿势，所述USP申请以引用的方式并入本文中。
在另一实施例中，所述***还被配置成使用例如视频图像之类的图像和/或深度数据，以便检测乘坐者的身体运动504。检测可以由已知的计算机视觉算法来执行，例如但不限于光流和视觉跟踪方法。例如，OpenCV中的Lucas-Kanade光流算法。检测车辆中一个或多个乘坐者的运动或不运动可以提供有关一个或多个乘坐者的医疗状况状态、受伤的性质和严重性的宝贵信息。
在一些情况下，触发所述***以通过视觉检测车辆内部的乘坐者的快速忙乱运动来启动所述分析。这种检测机构的实例基于光流算法，所述光流算法被配置成分析对象在两个或更多个连续帧之间的相对位移。
在另一实施例中，所述***还被配置成检测所述一个或多个乘坐者的身体伤口505的视觉体征。视觉上可检测的伤口的实例可以是皮肤破裂(rapture)或骨折。配置***以检测伤口的一种方式是通过训练深度学习分类器以例如通过示出伤口图像和训练分类器以识别伤口来检测破损的皮肤或出血。在操作中，在操作深度神经网络以得到预测并且检测和标识受伤类型的处理器处获得已捕获的一个或多个受伤乘坐者的图像。
根据实施例，每种类型的已捕获的例如心跳501、呼吸速率502之类的信息可以转换为包含相关信息的一个或多个信号。
在各种实施例中，信息到一个或多个信号的转换可以在本地(使用随***提供的处理器和软件)或远程执行。例如，对于更复杂的分析，可以远程执行更繁重的计算。
根据实施例，上文提及的信号和评估510中的全部或部分被传送到数据评估模块，例如单个碰撞后数据评估模块506。已收集的数据信号501、502、503、504和505可以一起或分开使用。需要强调的是，在一些情况下，因为一些信号未被接收或者由于一些其它期望的配置，仅有一些信号可以被使用。例如，在一些情况下，可以仅接收信号501和502。
根据实施例，碰撞后数据评估模块506被配置成融合包含已捕获的信息的不同接收信号，并且处理接收信号以产生包含车辆的一个或多个乘坐者的医疗状况的碰撞后评估数据506'。
作为实例，评估可以包含使用例如二元检查表之类的检查表，所述二元检查表包含问题表，所述问题表包括用于评估乘坐者的医疗状况的医疗问题。检查表可能包含以下问题中的一个或多个：是否有脉搏和呼吸；和/或是否有意识的迹象；和/或是否有骨折的嫌疑以及哪个身体部位有骨折的嫌疑；和/或是否有内伤嫌疑；和/或是否有头部受伤的嫌疑；和/或是否有开放性伤口或失血的嫌疑等。应理解，本发明的实施例可以使用任何其它类型的诊断检查表或其它方法来基于已捕获的数据标识乘坐者的医疗状况。
根据实施例，所述***还包括碰撞前评估模块508，所述碰撞前评估模块被配置成接收例如存储的碰撞前数据508'之类的原始数据(例如感觉数据)，以例如在缓冲器处分析原始数据以产生碰撞前评估数据508”。碰撞前评估数据508”包含对车辆的一个或多个乘坐者的碰撞前状态的标识。此类分析可以包含乘坐者的位置、身体姿势、身体属性的任何组合，所述身体属性例如体重、高度、年龄、性别和体型。所述分析还可以包含座舱内存在的对象，并且这些对象可能在事故期间造成受伤风险。
根据另外的实施例，所述***包括碰撞期间数据评估模块507，所述碰撞期间数据评估模块被配置成接收、存储并且分析例如在车辆事故期间捕获的碰撞期间数据507'之类的感觉数据，以产生包含允许***遵循车辆乘坐者和/或对象的轨迹的信息的碰撞期间评估数据507'。
由模块506、507和508相应地提取的碰撞期间评估数据507”、碰撞后评估数据506”和碰撞前评估数据被传送到融合模块509，所述融合模块被配置成根据一个或多个融合方法和逻辑对接收数据进行组合和处理，以产生与乘坐者的医疗状态相关的一个或多个最终碰撞后评估结果520。
根据实施例，融合模块509使用的融合逻辑的实例包含其中***被配置成评估在事故之后车辆座舱中的一个或多个乘坐者的头部创伤的可能性的情境。评估过程包含在碰撞后数据评估模块506处获取一种或多种类型的碰撞后数据510，例如身体姿势503、身体运动504等，以及分析已获取的碰撞后数据510，以便检查乘坐者头部是否存在受伤迹象。在一些情况下，所述***接着还可以使用碰撞期间数据评估模块507，以基于已接收的碰撞期间数据来标识在碰撞期间是否存在汽车元件或其它对象对头部的撞击。这种撞击将增加头部创伤的可能性。如果在碰撞期间没有检测到头部撞击，并且没有发生头部阻塞，则头部创伤的可能性就会降低。最后，***还可以在碰撞前评估数据模块508处获得碰撞前数据508'，以便分析乘坐者头部相对于各种汽车元件的位置并且产生碰撞前评估数据。然后，在融合和最终评估模块509处融合碰撞前评估数据508'、碰撞期间评估数据和碰撞后评估数据506'，以估计头部创伤的风险。具体地说，融合估计可以基于外部撞击车辆的方向和力，使用身体模型，模块509可以推断出头部创伤风险的增加或减少。
应强调的是，对于头部创伤类型的受伤，分析主要基于视觉检测和受伤分类。
还强调的是，融合模块509可以基于来自碰撞前数据508'、碰撞期间数据507'和碰撞后数据510的可用数据的任何部分和/或组合，提供最终评估结果520。
融合模块509可以包含一个或多个预测状态概率的随机预测模型(例如，马尔可夫链，例如呈马尔可夫矩阵的形式)。
图1C示出根据实施例的以消息形式构造的最终评估结果122的实例。消息可以包含以下细节中的一个或多个：
乘坐者初始位置：左后侧
乘坐者性别：女
乘坐者估计年龄：50-65
乘坐者估计体重：60-75Kg
疑似受伤：颈部创伤、肋骨、下背部
碰撞后生命体征：HR：110BPM，每分钟呼吸次数：70
图5B示出根据实施例的用于通过分析包括反射光图案的多个已捕获的图像来检测例如车辆中的一个或多个乘坐者的心跳和/或呼吸的方法540的流程图。根据一个实施例，所述方法包括以下步骤：在步骤550处，接收例如来自处理器处的感测模块的多个图像。在步骤560处，在多个图像的至少一些连续图像中检测光图案的至少一个反射的一个或多个散斑图案的一个或多个变化。在步骤570处，基于散斑图案分析标识至少一个乘坐者的微振动。在步骤580处，使用例如但不限于光流或跟踪的计算机视觉算法分析微振动，以提取乘坐者的呼吸速率或心跳信号。用于提取乘坐者的呼吸率或心跳信号的分析方法的具体实例在图7A-7E和图8A-8D中示出。在一些实施例中，呼吸或心跳信号用于评估乘坐者的医疗状况，如图5A所示。在步骤590处，检测到的呼吸或心跳信号用于评估乘坐者的医疗状况。
图6示出根据实施例的两个选项，其中包含例如图5A中提供的医疗状况和受伤评估的最终碰撞后评估结果520，可以被传送到外部响应器单元，例如第一救援响应者。
在第一选项中，评估结果520经由直接通信链路605从车辆600中的***610直接传送到第一响应者603。例如，***610可以经由本地无线网络将包含评估结果520的一个或多个传送信号广播给第一响应者603。在接收到信号之后，通过登录到本地网络，第一响应者603可以下载评估结果520，所述评估结果包含例如有关车辆的一个或多个乘坐者的座舱内状态的医疗信息。
在第二选项中，***610可以通过通信信道606将包含例如评估结果520的数据发送到云服务604。云服务可以是存储来自***的所有信息的虚拟服务。然后，第一响应者603可以登录云服务并且下载相关信息。
与第一方法相比，第二方法的主要优点是，甚至可以在到达碰撞场景之前访问医疗状况评估数据。这将允许向场景发送正确的第一响应者工具和车辆。
在一些情况下，云服务还可以连接到例如医院之类的治疗设施，以提醒医疗团队有即将到来的患者。
云服务的另一个优点是，即使***601在碰撞中无法继续存在，它仍能接收部分数据。在实施例中，一旦产生碰撞前数据508'和期间碰撞数据507'，就可以将其发送到云服务。在这种情况下，即使***由于碰撞而发生故障或可能无法操作，仍然可以基于云上可用的数据进行评估。
一旦第一响应者可以获得车内医疗评估，所述车内医疗评估就可以用于准备正确的抢救程序和所需的即时治疗。所述评估还可以帮助第一响应者在多人伤亡的情况下确定抢救和治疗的优先顺序。
在另一实施例中，所述***可以使用图4的撞击检测302，以便向当地第一响应者组织，例如警察、消防部门和医疗团队发送自动警报。
现在参考图7A，其示出根据实施例使用的示例性配置，以用于捕获光图案图像并且平移已标识的散斑图案，以用于测量例如车辆正在移动时一个或多个乘坐者呼吸的心跳和/或呼吸节奏。
假设照明器几乎平行于图像传感器光学轴线，则CMOS的散斑图案的平移根据以下等式得出：
其中：
| Φ | 镜头光圈 |
| λ | 波长 |
| M | 放大率 |
| z<sub>2</sub> | 从对象到成像平面的距离 |
| z<sub>3</sub> | 从成像平面到镜头的距离 |
| F | 焦距 |
| D | 表面上的激光光斑直径 |
| α(t) | 表面倾斜 |
| T(t) | CMOS上的散斑平移 |
| S | CMOS上的散焦光斑尺寸 |
| Δx | CMOS像素大小 |
| f<sub>s</sub> | 摄像机取样速率 |
| z | CMOS与焦平面之间的距离 |
为了测量已捕获的图像上的散斑大小，可以通过***放大倍数减小主要散斑大小：
散焦光斑大小(模糊圈)由镜头光圈(z2＞＞z3)给出，如下所示：
我们发现
并不依赖于M：
这可以表达典型值，所述典型值例如按以下计算：
图7B示出根据实施例的示例性已捕获的图像750。在这些图像中，标识每个散斑图案相对于初始图案的位移。此后，使用例如正弦拟合，例如图7C的正弦拟合图760来提取以像素为单位的散斑平移幅度。
因此，直接从平移测量中提取速率。平移速率与光斑大小呈线性关系，如图7D的图770和780所示。另外，每个测量的M是根据dT/dα计算的，并且与M进行比较，以形成如例如图7E的图790所示的光斑大小。
在下一步骤中，可以提取期望的测量极限，例如允许散斑跟踪的最大线性和角速度。为避免产热(boiling)，垂直于光束的表面线速度应为：
在一些情况下，散斑场的平移应小于图像中的光斑的大小：
因此，通过使用典型值计算下列不等式
基于这些不等式，我们期望在fs～200Hz下，乘坐者必须几乎静止不动才能测量他的生命体征。
根据实施例，还可以估计最大暴露时间。假设在以下情况下，斑点在暴露时间内会稍微模糊：
其中
是以像素/秒为单位的散斑平移速度，并且τ是暴露时间。对于典型值，我们发现：
使用
我们获得以下值：
τ将允许给定
的最大值
例如因此，***将受到fs的限制：
实验数据
图8A示出根据实施例的适合并入的乘坐者胸部的已捕获的图像810的示例性放大图。所述图像包括使用照明器的反射光，所述照明器包含对乘坐者胸部区域进行照明的830nm激光功率。已捕获的图像810示出特性特征，包含检测到的散斑图案的变化。如上文所提及的，通过分析用于横向平移的指示反射对象相对于图像传感器的倾斜的散斑图案，可以检测乘坐者的心跳。可以根据一个或多个散斑图案点随时间(连续帧)的平移速度导出例如微弧度尺度上可能非常小的倾斜。横向散斑图案平移可以从对多个连续已捕获的图像中描绘的漫射光图案元素的分析中导出。
图8B示出分别根据实施例的，在乘坐者没有呼吸并且仅检测到其心跳的情况下，对已捕获的乘坐者的图像进行处理的结果820、830和840的曲线图。曲线图840示出已处理图像的示例性光谱(fft)。在此实例中，使用以下参数：
fs＝200Hz暴露＝5000μs D＝1mm S＝20像素(M＝29)
图8C示出分别根据实施例的，在乘坐者正常呼吸时，包含乘坐者心跳变化的对已捕获的车辆中乘坐者的图像进行处理的结果850、860和870。曲线图870示出已处理图像的示例性光谱(fft)。具体地说，在场景中，乘坐者的呼吸与心跳相比是强烈的，因此掩盖了心跳。在此实例中，使用与图8B的参数相同的参数。
图8D示出分别根据实施例的对已捕获的空车辆(在车辆中没有任何乘坐者)的图像进行处理的结果880和890，因此没有检测到心跳或呼吸。在此实例中，测量是在FIAT 500汽车中执行的，并且感测***位于仪表板上并且包含以下参数：fs＝200Hz暴露＝5000μs Z2＝77cm到驾驶员的胸部。
z2＝96cm到驾驶员的座椅。
D＝1mm,S＝20像素(M＝29)
在一些实施例中，感测***不分析收集的数据，并且感测模块将数据中继到远程处理和控制单元，例如后端服务器。替代地或组合地，感测***可以在传送到远程处理和控制单元之前部分地分析数据。远程处理和控制单元可以是基于云的***，其可以将分析数据或结果传送给用户。在一些实施例中，手持装置被配置成接收分析数据，并且可以与感测***相关联。例如，所述相关联可以通过物理连接或无线通信来实现。
在一些实施例中，感测***配备有存储器和微处理器，所述存储器中存储有数据的数据库，并且所述微处理器具有用指令编程的分析软件。在一些实施例中，感测***与计算机存储器和微处理器进行通信，所述计算机存储器中存储有数据库，并且所述微处理器具有编程于其中的分析软件。存储器可以是易失性或非易失性的，以便将测量值存储在存储器中。数据库和/或分析软件的全部或部分可以远程存储，并且感测***可以通过任何适当方法经由网络(例如无线网络)与远程存储器进行通信。
在本发明的各种实施例中，原始数据到医疗信息的转换可以在本地(使用随***提供的处理器和软件)或远程执行。例如，对于更复杂的分析，可以远程执行更繁重的计算。
在另外的实施例中，本文所公开的***包含处理单元，所述处理单元可以是数字处理装置，其包含执行所述装置的功能的一个或多个硬件中央处理单元(CPU)。在又另外的实施例中，数字处理装置还包括被配置成执行可执行指令的操作***。在一些实施例中，数字处理装置任选连接到计算机网络。在另外的实施例中，数字处理装置任选地连接到互联网，使得所述数字处理装置能够访问万维网。在又另外的实施例中，数字处理装置任选连接到云计算基础设施。在其它实施例中，数字处理装置任选连接到内联网。在其它实施例中，数字处理装置任选连接到数据存储装置。
根据本文的描述，作为非限制性实例，合适的数字处理装置包含：服务器计算机、台式计算机、膝上型计算机、笔记本计算机、电子手账型计算机、上网本计算机、记事本计算机、机顶计算机、手持计算机、互联网家电、移动智能电话、平板计算机、个人数字助理、视频游戏控制台和车辆。所属领域技术人员将认识到，许多智能电话适合在本文所描述的***中使用。所属领域技术人员还将认识到，具有任选的计算机网络连接性的选择电视适合在本文所描述的***中使用。合适的平板电脑包含具有所属领域技术人员已知的小册子、平板和可转换配置的平板计算机。
在一些实施例中，数字处理装置包含被配置成执行可执行指令的操作***。例如，操作***是包含程序和数据的软件，其管理装置的硬件，并且为应用程序的执行提供服务。所属领域技术人员将认识到，作为非限制性示例，合适的服务器操作***包含FreeBSD、OpenBSD、
Linux、
Mac OS X
Windows
以及
所属领域技术人员将认识到，作为非限制性示例，合适的个人计算机操作***包含
Mac OS
以及例如
之类的UNIX类操作***。在一些实施例中，操作***由云计算提供。所属领域技术人员还将认识到，作为非限制性实例，合适的移动智能电话操作***包含
OS、
Research In
BlackBerry
Windows
OS、
Windows
OS、
以及
在一些实施例中，所述装置包含存储装置和/或存储器装置。存储和/或存储器装置是一个或多个物理设备，用于暂时或永久存储数据或程序。在一些实施例中，所述装置是易失性存储器，并且需要电力来维持所存储的信息。在一些实施例中，所述装置是非易失性存储器，并且当所述数字处理装置未被供电时保留所存储的信息。在另外的实施例中，非易失性存储器包括快闪存储器。在一些实施例中，非易失性存储器包括动态随机存取存储器(DRAM)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(FRAM)。在一些实施例中，非易失性存储器包括相变随机存取存储器(PRAM)。在其它实施例中，所述装置是存储装置，作为非限制性实例，所述存储装置包含CD-ROM、DVD、快闪存储器装置、磁盘驱动器、磁带驱动器、光盘驱动器和基于云计算的存储装置。在另外的实施例中，存储装置和/或存储器装置是例如本文所公开的那些装置的组合。
在一些实施例中，数字处理装置包含将视觉信息发送给用户的显示器。在一些实施例中，显示器是阴极射线管(CRT)。在一些实施例中，显示器是液晶显示器(LCD)。在另外的实施例中，显示器是薄膜晶体管液晶显示器(TFT-LCD)。在一些实施例中，显示器是有机发光二极管(OLED)显示器。在多个另外的实施例中，OLED显示器是无源矩阵OLED(PMOLED)或有源矩阵OLED(AMOLED)显示器。在一些实施例中，显示器是等离子显示器。在其它实施例中，显示器是视频投射器。在又另外的实施例中，显示器是例如本文所公开的那些装置的组合。
在一些实施例中，数字处理装置包含从用户接收信息的输入装置。在一些实施例中，输入装置是键盘。在一些实施例中，输入装置是指向装置，作为非限制性实例，所述指向装置包含鼠标、轨迹球、跟踪板、操纵杆、游戏控制器或触笔。在一些实施例中，输入装置是触摸屏或多触摸屏。在其它实施例中，输入装置是用于捕获语音或其它声音输入的麦克风。在其它实施例中，输入装置是捕获运动或视觉输入的摄像机。在又另外的实施例中，输入装置是例如本文所公开的那些装置的组合。
在一些实施例中，本文所公开的***包含使用程序编码的一个或多个非暂时性计算机可读存储介质，所述程序包含可由任选地联网数字处理装置的操作***执行的指令。在另外的实施例中，计算机可读存储介质是数字处理装置的有形组件。在又另外的实施例中，计算机可读存储介质任选地可以从数字处理装置移除。
在一些实施例中，作为非限制性实例，计算机可读存储介质包含CD-ROM、DVD、快闪存储器装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算***和服务等。在一些情况下，所述程序和指令永久地、基本上永久地、半永久地或非暂时地编码在介质上。在一些实施例中，本文所公开的***包含至少一个计算机程序或其用途。计算机程序包含指令序列，所述指令序列可在数字处理装置的CPU中执行，写入以执行特定任务。计算机可读指令可以实施为程序模块，例如功能、对象、应用程序编程接口(API)、数据结构等等，所述程序模块执行特定任务或实施特定抽象数据类型。根据本文所提供的公开内容，所属领域技术人员将认识到，计算机程序可以用各种语言的各种版本来编写。
计算机可读指令的功能性可以按需要在各种环境中组合或分布。在一些实施例中，计算机程序包括指令序列。在一些实施例中，计算机程序包括多个指令序列。在一些实施例中，从一个位置提供计算机程序。在其它实施例中，从多个位置提供计算机程序。在各种实施例中，计算机程序包含一个或多个软件模块。在各种实施例中，计算机程序部分或全部包含一个或多个网络应用程序、一个或多个移动应用程序、一个或多个独立应用程序、一个或多个网络浏览器插件、扩展、外接程序或外接程序或其组合。在一些实施例中，计算机程序包含提供到移动数字处理装置的移动应用程序。在一些实施例中，移动应用程序在制造时被提供到移动数字处理装置。在其它实施例中，移动应用程序经由本文所描述的计算机网络被提供到移动数字处理装置。
鉴于本文所提供的公开内容，通过所属领域技术人员已知的技术使用所属领域已知的硬件、语言和发展环境来产生移动应用程序。所属领域的技术人员将认识到，移动应用程序是以多种语言编写的。作为非限制性实例，合适的编程语言包含C、C++、C#、Objective-C、JavaTM、Javascript、Pascal、Object Pascal、PythonTM、Ruby、VB.NET、WML以及具有或没有CSS的XHTML/HTML或其组合。
合适的移动应用程序开发环境可以从若干来源获得。作为非限制性实例，商业上可用的开发环境包含AirplaySDK、alcheMo、
Celsius、Bedrock、FlashLite、.NET Compact Framework、Rhomobile以及WorkLight移动平台。作为非限制性实例，其它开发环境可免费获得，包含但不限于Lazarus、MobiFlex、MoSyn以及Phonegap。此外，作为非限制性实例，移动装置制造商分发软件开发工具包，所述软件开发工具包包含但不限于iPhone和iPad(iOS)SDK、AndroidTMSDK、
SDK、BREW SDK、
OS SDK、Symbian SDK、webOS SDK以及
Mobile SDK。
所属领域技术人员将认识到，作为非限制性实例，若干商业论坛可用于分发移动应用程序，所述移动应用程序包含
应用商城、AndroidTM市场、
应用世界、用于掌上装置的应用商城、用于webOS应用目录、用于移动市场的
用于
装置的特色服务、
应用程序以及
商店。
在一些实施例中，本文所公开的***包含软件、服务器和/或数据库模块，或其用途。鉴于本文所提供的公开内容，软件模块是通过所述领域技术人员已知的技术，使用所属领域技术人员已知的机器、软件和语言来创建的。本文所公开的软件模块以多种方式实施。在各种实施例中，软件模块包括文件、代码段、编程对象、编程结构或其组合。在另外的各种实施例中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或其组合。在各种实施例中，作为非限制性实例，一个或多个软件模块包括网络应用程序、移动应用程序和独立应用程序。在一些实施例中，软件模块在一个计算机程序或应用程序中。在其它实施例中，软件模块在多于一个计算机程序或应用程序中。在一些实施例中，软件模块托管在一个机器上。在其它实施例中，软件模块托管在多于一个机器上。在另外的实施例中，软件模块托管在云计算平台上。在一些实施例中，软件模块托管在一个位置的一个或多个机器上。在其它实施例中，软件模块托管在多于一个位置的一个或多个机器上。
在一些实施例中，本文所公开的***包含一个或多个数据库或所述数据库的用途。鉴于本文所提供的公开内容，所属领域的技术人员将认识到，许多数据库适合于存储和检索如本文所描述的信息。在各种实施例中，作为非限制性实例，合适的数据库包含关系数据库、非关系数据库、面向对象数据库、对象数据库、实体关系模型数据库、关联数据库和XML数据库。在一些实施例中，数据库是基于互联网的。在另外的实施例中，数据库是基于网络的。在又另外的实施例中，数据库是基于云计算的。在其它实施例中，数据库基于一个或多个本地计算机存储装置。
在以上描述中，实施例是本发明的实例或实施方案。“一个实施例”、“实施例”或“一些实施例”的各种出现不一定都指相同的实施例。
尽管可在单个实施例的上下文中描述本发明的各种特征，但所述特征还可单独地或以任何合适的组合提供。相反地，尽管为了清楚起见，本文可在单独实施例的上下文中描述本发明，但本发明还可在单个实施例中实施。
说明书中对“一些实施例”、“实施例”、“一个实施例”或“其它实施例”的引用意味着结合实施例描述的特定特征、结构或特性包含在本发明的至少一些实施例中，但不一定包含在所有实施例中。
应理解，本文中采用的措辞和术语不应被解释为限制性的并且仅用于描述目的。
参考随附的描述、图和实例可以更好地理解本发明教示的原理和用途。
应理解，本文中阐述的细节并不解释为对本发明的应用的限制。
此外，应理解，可以各种方式执行或实践本发明，并且可以在除上述描述中概述的实施例之外的实施例中实施本发明。
应理解，术语“包含”、“包括”、“组成”及其语法变体并不排除添加一个或多个组件、特征、步骤或整数或其群组，并且术语应被解释为指定组件、特征、步骤或整数。
如果说明书或权利要求书提及“额外”元件，则不排除存在多于一个额外元件。
应理解，在权利要求书或说明书提及“一(a)”或“一个(an)”元件的情况下，此类提及不应被解释为仅存在所述元件中的一个。应理解，在说明书表述组件、特征、结构或特性“可以”、“可能”、“可”或“能够”被包含在内的情况下，所述特定组件、特征、结构或特性不是必须被包含在内。在适用的情况下，尽管可以使用状态图、流程图或两者来描述实施例，但本发明不限于那些图示或对应描述。例如，流程不需要移动通过每个示出的框或状态，或者以与示出和描述的完全相同的顺序移动。本发明的方法可以通过手动地、自动地或其组合地执行或完成所选择的步骤或任务来实施。
权利要求书和说明书中呈现的描述、实例、方法和材料不应被解释为限制性的，而应仅被解释为说明性的。除非另外定义，否则本文中使用的技术术语和科学术语的含义是本发明所属领域的一般技术人员通常所理解的含义。本发明可在测试或实践中使用与本文所描述的方法和材料等效或类似的方法和材料来实施。
虽然已经参照有限数目的实施例描述了本发明，但是这些不应被解释为对本发明范围的限制，而是作为一些优选实施例的范例。其它可能的变化、修改和应用也在本发明的范围内。因此，本发明的范围不应由迄今为止所描述的内容限制，而应由所附权利要求及其合法等效物限制。
本说明书中所提及的所有公开、专利和专利申请在此以全文引用的方式并入本说明书中，同样，每个单独的公开、专利或专利申请也特定且单独地指示以引用的方式并入本文中。另外，本申请中对任何参考文件的引用或标识不应被解释为承认此类参考文件可作为本发明的现有技术而获得。就使用章节标题而言，不应将章节标题解释为必定限制性的。
Claims (42)
1.一种用于提供车辆座舱中至少一个乘坐者的医疗信息的***，所述***包括：
感测模块，其包括至少一个传感器，所述至少一个传感器被配置成捕获所述车辆座舱的感觉数据；以及
控制模块，其包括至少一个处理器，所述处理器被配置成：
从所述传感器接收所述感觉数据；并且
使用一种或多种分析方法分析所述感觉数据，以提供所述至少一个乘坐者的所述医疗信息。
2.根据权利要求1所述的***，其中所述分析方法是以下各项中的一种或多种：
计算机视觉方法、机器学习方法、深度神经网络方法、信号处理方法。
3.根据权利要求1所述的***，其中所述医疗信息包括在所述车辆发生事故之后所述至少一个车辆乘坐者的医疗状态。
4.根据权利要求1所述的***，其中所述医疗信息包括所述至少一个乘坐者的医疗状况评估或受伤评估。
5.根据权利要求1所述的***，其中所述信息包括在所述车辆发生事故之后所述至少一个车辆乘坐者的所述医疗状态。
6.根据权利要求1所述的***，其中所述***包括通信模块，所述通信模块被配置成将所述信息发送到第一响应者团队。
7.根据权利要求2所述的***，其中所述至少一个传感器是图像传感器。
8.根据权利要求7所述的***，其中所述感测模块还包括至少一个照明器，所述至少一个照明器包括被配置成将光图案投射到所述车辆座舱上的光源。
9.根据权利要求8所述的***，其中所述光源包括激光器或发光二极管(LED)。
10.根据权利要求8所述的***，其中所述光源包括用于分离由所述光源产生的单个光束的一个或多个光学元件，所述一个或多个光学元件选自由以下各项组成的群组：
DOE、分离镜和漫射器。
11.根据权利要求2所述的***，其中所述感测模块包括深度传感器。
12.根据权利要求11所述的***，其中所述深度传感器被配置成通过将光图案投射到所述车辆座舱上来捕获深度数据，并且其中所述至少一个处理器被配置成分析所述深度数据中已知光图案元素的位置。
13.根据权利要求12所述的***，其中通过使用所述计算机视觉方法分析所述深度数据来估计所述至少一个乘坐者的姿势。
14.根据权利要求2所述的***，其中所述感测模块包括微振动传感器。
15.根据权利要求14所述的***，其中所述微振动传感器被配置成：
将光投射到所述车辆座舱的场景上；
捕获多个图像，其中所述多个图像中的每个图像包括反射漫射光元素；并且
其中所述处理器被配置成：
接收已捕获的图像；并且
分析所述多个图像的至少一些连续图像中的多个反射漫射光元素中的至少一个的散斑图案中的一个或多个时间变化，以产生微振动数据。
16.根据权利要求2所述的***，其中所述感测模块包括选自包括以下各项的至少两个传感器的组合：
图像传感器、深度传感器和微振动传感器。
17.根据权利要求15所述的***，其中所述处理器还被配置成基于至少一个微振动数据对一个或多个对象的属性进行分类或标识。
18.根据权利要求2所述的***，其中所述感觉数据包括多个图像，并且其中所述至少一个处理器还被配置成通过视觉分析由所述至少一个传感器捕获的所述多个图像中的至少一个图像来使用所述计算机视觉方法对所述至少一个车辆乘坐者进行分类。
19.根据权利要求2所述的***，其中所述感测模块被配置成检测所述车辆的即将发生的碰撞。
20.根据权利要求19所述的***，其中对即将发生的碰撞进行的所述检测由以下各项中的一个或多个执行：
车辆撞击传感器、忙乱移动检测传感器；以及外部感觉***。
21.根据权利要求19所述的***，其中所述至少一个处理器被配置成：
分析所述感觉数据，其中在对即将发生的碰撞进行的所述检测之前、在所述碰撞期间和所述碰撞之后捕获所述感觉数据；并且
基于所述已分析的感觉数据评估所述碰撞之后所述至少一个车辆乘坐者的所述医疗状态。
22.根据权利要求21所述的***，其中使用所述机器视觉方法分析在对即将发生的碰撞进行的所述检测之前捕获的所述感觉数据，以提取碰撞前分类。
23.根据权利要求19所述的***，其中碰撞前分类包括所述至少一个乘坐者的身体姿势、体重、年龄、身体尺寸和性别中的一个或多个。
24.根据权利要求19所述的***，其中所述***被配置成提供对因汽车事故而受伤的可能性和严重性的测量。
25.根据权利要求17所述的***，其中所述***被配置成在对所述即将发生的碰撞进行的所述检测之后提供所述车辆座舱的高速率数据。
26.根据权利要求22所述的***，其中所述高速率数据用于提取所述车辆中的所述至少一个乘坐者或一个或多个对象的轨迹。
27.根据权利要求23所述的***，其中所述已提取的轨迹用于评估所述至少一个乘坐者的所述受伤的所述可能性和严重性。
28.根据权利要求1所述的***，其中所述***被配置成记录座舱内碰撞后信息；并且
评估至少一个汽车乘坐者的医疗状态。
29.根据权利要求1所述的***，所述***提供至少一个汽车乘坐者的碰撞前、碰撞期间和碰撞后医疗状态评估中的至少一个。
30.根据权利要求1所述的***，其中所述控制模块被配置成与外部进行无线通信并且将所述信息传送到第一响应者团队。
31.根据权利要求1所述的***，其中将所述信息上传到云服务。
32.根据权利要求1所述的***，其中所述感测模块安装在所述车辆的车顶或舱顶上。
33.根据权利要求1所述的***，其中使用至少一个深度学习算法执行所述分析。
34.一种用于在车辆的事故之后估计车辆座舱中的一个或多个乘坐者的医疗状态的***，所述***包括：
感测模块，其包括：
照明器，其包括一个或多个照明源，所述一个或多个照明源被配置成将呈结构光图案的光投射到所述车辆座舱上；
至少一个图像传感器，其被配置成在所述车辆的碰撞之前、期间和之后捕获感觉数据，所述感觉数据包括所述车辆座舱的一系列2D(二维)图像和3D(三维)图像，其中所述2D图像中的至少一个包括来自所述座舱中的所述一个或多个乘坐者的所述结构光图案的反射；
控制模块，其包括：
存储器模块；
至少一个处理器，所述至少一个处理器被配置成：
从所述感测模块接收所述已捕获的感觉数据；
接收所述车辆的即将发生的碰撞的撞击检测信号；
将在所述撞击检测接收之前捕获的已接收的感觉数据存储在所述存储器模块中；
使用计算机视觉算法或机器学习算法分析所述已接收的感觉数据，以产生包括在所述碰撞之前所述一个或多个乘坐者的状态的标识的碰撞前评估数据；
从所述感测模块接收在所述碰撞期间捕获的感觉数据；
分析在所述碰撞期间捕获的所述已接收的感觉数据，以产生包括所述一个或多个乘坐者的身体轨迹的碰撞期间评估数据；
基于所述碰撞期间评估数据和碰撞前评估数据提供在所述碰撞之后所述一个或多个乘坐者的医疗信息。
35.根据权利要求34所述的***，其中所述至少一个处理器还被配置成：
接收在所述碰撞之后捕获的感觉数据；
使用计算机视觉算法或机器学习算法分析在碰撞数据之后捕获的所述已接收的感觉数据，以产生所述一个或多个乘坐者的碰撞后评估数据中的一个或多个。
36.根据权利要求35所述的***，其中所述碰撞后评估数据包括以下各项中的一个或多个：心跳、呼吸速率、身体姿势、身体运动、可见伤口。
37.根据权利要求35所述的***，其中所述处理器还被配置成将所述碰撞后评估数据与所述碰撞期间评估数据和所述碰撞前评估数据组合，以产生在所述碰撞之后所述一个或多个乘坐者的所述医疗信息。
38.根据权利要求36所述的***，其中通过分析所述多个图像的至少一些连续图像中的所述结构光图案的至少一个所述反射的一个或多个散斑图案中的一个或多个变化来标识所述心跳或呼吸速率；并且
基于所述散斑图案分析标识所述一个或多个乘坐者的振动。
39.根据权利要求34所述的***，其中通过分析所述车辆座舱的所述一系列2D图像或3D图像来检测所述身体姿势、身体运动和可见伤口中的所述一个或多个。
40.根据权利要求34所述的***，其中使用骨骼模型、视觉跟踪方法的光流中的一个或多个来标识所述身体姿势或身体运动。
41.一种用于提供车辆座舱中至少一个乘坐者的医疗信息的方法，所述方法包括：
从感测模块接收所述车辆座舱的已捕获的感觉数据；
接收所述车辆的即将发生的碰撞的撞击检测信号；
将在所述撞击检测接收之前捕获的已接收的感觉数据存储在存储器模块中；
使用计算机视觉算法或机器学习算法分析所述已接收的感觉数据，以产生包括在所述碰撞之前所述至少一个乘坐者的状态的标识的碰撞前评估数据；
从所述感测模块接收在所述碰撞期间捕获的感觉数据；
分析在所述碰撞期间捕获的所述已接收的感觉数据，以产生包括所述一个或多个乘坐者的身体轨迹的碰撞期间评估数据；
基于所述碰撞期间评估数据和碰撞前评估数据提供在所述碰撞之后所述一个或多个乘坐者的医疗信息。
42.一种用于在发生事故之后向第一响应者提供关于车辆的车辆乘坐者的医疗状态或受伤的信息的方法，所述方法包括以下步骤：
i.使用座舱内传感器来监测所述车辆的座舱；
ii.组合对碰撞前数据、碰撞期间数据和碰撞后数据中的至少一个进行的分析；以及
iii.向第一响应者提供所述分析。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862785724P | 2018-12-28 | 2018-12-28 | |
| US62/785,724 | 2018-12-28 | ||
| PCT/IL2019/051422 WO2020136658A1 (en) | 2018-12-28 | 2019-12-28 | Systems, devices and methods for vehicle post-crash support |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113302076A true CN113302076A (zh) | 2021-08-24 |
Family
ID=71129268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980087004.9A Pending CN113302076A (zh) | 2018-12-28 | 2019-12-28 | 用于车辆碰撞后支持的***、装置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220067410A1 (zh) |
| EP (1) | EP3902697A4 (zh) |
| CN (1) | CN113302076A (zh) |
| WO (1) | WO2020136658A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023029407A1 (zh) * | 2021-08-31 | 2023-03-09 | 上海商汤智能科技有限公司 | 用于车辆的向紧急呼叫中心发送信息的方法及装置 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10586122B1 (en) * | 2016-10-31 | 2020-03-10 | United Services Automobile Association | Systems and methods for determining likelihood of traffic incident information |
| US10825196B2 (en) * | 2019-02-15 | 2020-11-03 | Universal City Studios Llc | Object orientation detection system |
| WO2021005603A1 (en) * | 2019-07-09 | 2021-01-14 | Guardian Optical Technologies Ltd | Systems, devices and methods for measuring the mass of objects in a vehicle |
| WO2022042868A1 (en) * | 2020-08-31 | 2022-03-03 | Continental Automotive Gmbh | Method for a vehicle for determining an injury information and vehicle electronic control device for determining an injury information |
| JP2022040539A (ja) * | 2020-08-31 | 2022-03-11 | 株式会社Subaru | 自動通報機能を有する車両 |
| US11735017B2 (en) * | 2021-06-23 | 2023-08-22 | Bank Of America Corporation | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations |
| US11954990B2 (en) | 2021-06-23 | 2024-04-09 | Bank Of America Corporation | Artificial intelligence (AI)-based security systems for monitoring and securing physical locations |
| US20230048359A1 (en) * | 2021-08-12 | 2023-02-16 | Toyota Connected North America, Inc. | Message construction based on potential for collision |
| US12030489B2 (en) | 2021-08-12 | 2024-07-09 | Toyota Connected North America, Inc. | Transport related emergency service notification |
| US11887460B2 (en) | 2021-08-12 | 2024-01-30 | Toyota Motor North America, Inc. | Transport-related contact notification |
| US11894136B2 (en) * | 2021-08-12 | 2024-02-06 | Toyota Motor North America, Inc. | Occupant injury determination |
| EP4142317B1 (en) | 2021-08-30 | 2024-07-10 | Emsense AB | Vehicle emergency system and method for providing emergency information |
| EP4198922A1 (en) * | 2021-12-16 | 2023-06-21 | Aptiv Technologies Limited | Computer implemented method, computer system and non-transitory computer readable medium for detecting a person in the passenger compartment of a vehicle |
| DE102022104129A1 (de) | 2022-02-22 | 2023-08-24 | Audi Aktiengesellschaft | Verfahren zur Ermittlung einer gesundheitlichen Auswirkung, Verfahren zum Trainieren einer Prognosefunktion, Überwachungsvorrichtung, Fahrzeug und Trainingsvorrichtung |
| DE102022108519A1 (de) | 2022-04-08 | 2023-10-12 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Übermitteln von Informationen über einen Gesundheitszustand eines Insassen nach einem Unfall mit dem Fahrzeug, computerlesbares Medium, System, und Fahrzeug |
| IT202200007022A1 (it) * | 2022-04-08 | 2023-10-08 | Fiat Ricerche | "Sistema di monitoraggio passeggeri per autoveicolo e relativo procedimento" |
| WO2023208751A1 (en) * | 2022-04-26 | 2023-11-02 | Trinamix Gmbh | Monitoring a condition of a living organism |
| DE102022126736A1 (de) | 2022-10-13 | 2024-04-18 | Audi Aktiengesellschaft | Verfahren zum Betrieb eines Notfallinformationssystems, Kraftfahrzeug und Notfallinformationssystem |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020188392A1 (en) * | 1992-05-05 | 2002-12-12 | Breed David S. | Telematics system |
| US20090066065A1 (en) * | 1995-06-07 | 2009-03-12 | Automotive Technologies International, Inc. | Optical Occupant Sensing Techniques |
| US20130267194A1 (en) * | 2002-06-11 | 2013-10-10 | American Vehicular Sciences Llc | Method and System for Notifying a Remote Facility of an Accident Involving a Vehicle |
| US20150313475A1 (en) * | 2012-11-27 | 2015-11-05 | Faurecia Automotive Seating, Llc | Vehicle seat with integrated sensors |
| CN105705353A (zh) * | 2013-11-15 | 2016-06-22 | 金泰克斯公司 | 包括对颜色衰减进行动态补偿的成像*** |
| US20170015263A1 (en) * | 2015-07-14 | 2017-01-19 | Ford Global Technologies, Llc | Vehicle Emergency Broadcast |
| US20170270252A1 (en) * | 2016-03-18 | 2017-09-21 | Beyond Lucid Technologies, Inc. | System and method for post-vehicle crash |
| US9886841B1 (en) * | 2016-04-27 | 2018-02-06 | State Farm Mutual Automobile Insurance Company | Systems and methods for reconstruction of a vehicular crash |
| WO2018146266A1 (en) * | 2017-02-10 | 2018-08-16 | Koninklijke Philips N.V. | Driver and passenger health and sleep interaction |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6746078B2 (en) * | 1997-12-17 | 2004-06-08 | Automotive Technologies International, Inc. | System and method for moving a headrest based on anticipatory sensing |
| US6552550B2 (en) * | 2000-09-29 | 2003-04-22 | Intelligent Mechatronic Systems, Inc. | Vehicle occupant proximity sensor |
| US7386376B2 (en) * | 2002-01-25 | 2008-06-10 | Intelligent Mechatronic Systems, Inc. | Vehicle visual and non-visual data recording system |
| WO2004081850A1 (en) * | 2003-03-13 | 2004-09-23 | Intelligent Mechatronic Systems Inc. | Visual classification and posture estimation of multiple vehicle occupants |
| US7372977B2 (en) * | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
| US20050201103A1 (en) * | 2004-03-12 | 2005-09-15 | Honeywell International Inc. | Luminaires with batwing light distribution |
| JP5096168B2 (ja) * | 2005-02-08 | 2012-12-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 光スペックルパターン検査 |
| JP5174684B2 (ja) * | 2006-03-14 | 2013-04-03 | プライムセンス リミテッド | スペックル・パターンを用いた三次元検出 |
| US9491420B2 (en) * | 2009-09-20 | 2016-11-08 | Tibet MIMAR | Vehicle security with accident notification and embedded driver analytics |
| US8335616B2 (en) * | 2010-09-27 | 2012-12-18 | GM Global Technology Operations LLC | Individualizable post-crash assist system |
| US20150379362A1 (en) * | 2013-02-21 | 2015-12-31 | Iee International Electronics & Engineering S.A. | Imaging device based occupant monitoring system supporting multiple functions |
| EP3237836B1 (en) | 2014-12-27 | 2023-10-11 | Gentex Corporation | System and method for detecting surface vibrations |
| GB201604610D0 (en) * | 2016-03-18 | 2016-05-04 | Jaguar Land Rover Ltd | Vehicle analysis method and system |
| US9919648B1 (en) * | 2016-09-27 | 2018-03-20 | Robert D. Pedersen | Motor vehicle artificial intelligence expert system dangerous driving warning and control system and method |
| KR102026806B1 (ko) | 2017-04-28 | 2019-09-30 | 쌍용자동차 주식회사 | 차량에서 탑승자 건강상태 측정을 통한 헬스 케어 장치 |
| US11182915B2 (en) * | 2017-07-12 | 2021-11-23 | Gentex Corporation | Visual, depth and micro-vibration data extraction using a unified imaging device |
| US11416942B1 (en) * | 2017-09-06 | 2022-08-16 | State Farm Mutual Automobile Insurance Company | Using a distributed ledger to determine fault in subrogation |
-
2019
- 2019-12-28 WO PCT/IL2019/051422 patent/WO2020136658A1/en unknown
- 2019-12-28 CN CN201980087004.9A patent/CN113302076A/zh active Pending
- 2019-12-28 US US17/419,213 patent/US20220067410A1/en active Pending
- 2019-12-28 EP EP19902414.2A patent/EP3902697A4/en active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020188392A1 (en) * | 1992-05-05 | 2002-12-12 | Breed David S. | Telematics system |
| US20090066065A1 (en) * | 1995-06-07 | 2009-03-12 | Automotive Technologies International, Inc. | Optical Occupant Sensing Techniques |
| US20130267194A1 (en) * | 2002-06-11 | 2013-10-10 | American Vehicular Sciences Llc | Method and System for Notifying a Remote Facility of an Accident Involving a Vehicle |
| US20150313475A1 (en) * | 2012-11-27 | 2015-11-05 | Faurecia Automotive Seating, Llc | Vehicle seat with integrated sensors |
| CN105705353A (zh) * | 2013-11-15 | 2016-06-22 | 金泰克斯公司 | 包括对颜色衰减进行动态补偿的成像*** |
| US20170015263A1 (en) * | 2015-07-14 | 2017-01-19 | Ford Global Technologies, Llc | Vehicle Emergency Broadcast |
| US20170270252A1 (en) * | 2016-03-18 | 2017-09-21 | Beyond Lucid Technologies, Inc. | System and method for post-vehicle crash |
| US9886841B1 (en) * | 2016-04-27 | 2018-02-06 | State Farm Mutual Automobile Insurance Company | Systems and methods for reconstruction of a vehicular crash |
| WO2018146266A1 (en) * | 2017-02-10 | 2018-08-16 | Koninklijke Philips N.V. | Driver and passenger health and sleep interaction |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023029407A1 (zh) * | 2021-08-31 | 2023-03-09 | 上海商汤智能科技有限公司 | 用于车辆的向紧急呼叫中心发送信息的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020136658A1 (en) | 2020-07-02 |
| EP3902697A4 (en) | 2022-03-09 |
| EP3902697A1 (en) | 2021-11-03 |
| US20220067410A1 (en) | 2022-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113302076A (zh) | 用于车辆碰撞后支持的***、装置和方法 | |
| US11935248B2 (en) | System, device, and methods for detecting and obtaining information on objects in a vehicle | |
| JP7216672B2 (ja) | 統合撮像装置を使用しての視覚的データ、深さデータ、および微小振動データの抽出 | |
| US20230030426A1 (en) | Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s) | |
| CN110114246B (zh) | 3d飞行时间有源反射感测***和方法 | |
| US7831358B2 (en) | Arrangement and method for obtaining information using phase difference of modulated illumination | |
| US7983817B2 (en) | Method and arrangement for obtaining information about vehicle occupants | |
| US7477758B2 (en) | System and method for detecting objects in vehicular compartments | |
| US11861867B2 (en) | Systems, devices and methods for measuring the mass of objects in a vehicle | |
| US20080065291A1 (en) | Gesture-Based Control of Vehicular Components | |
| US20090268947A1 (en) | Real time environment model generation system | |
| US20080157510A1 (en) | System for Obtaining Information about Vehicular Components | |
| US20080292146A1 (en) | Security System Control for Monitoring Vehicular Compartments | |
| US20070025597A1 (en) | Security system for monitoring vehicular compartments | |
| CN105144199A (zh) | 支持多种功能的基于成像装置的乘坐者监控*** | |
| CN106687026A (zh) | 驾驶员健康以及疲劳监控***和方法 | |
| US20180204078A1 (en) | System for monitoring the state of vigilance of an operator | |
| US11455810B2 (en) | Driver attention state estimation | |
| CN115635890A (zh) | 用于运载工具的方法和***以及非暂时性存储介质 | |
| JP6597524B2 (ja) | 生体情報記録装置 | |
| JP2018081622A (ja) | 運転支援装置および運転支援方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220913 Address after: Michigan, USA Applicant after: GENTEX Corp. Address before: Tel Aviv Applicant before: GUARDIAN OPTICAL TECHNOLOGIES LTD. |