JP7256086B2 - 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 - Google Patents
無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 Download PDFInfo
- Publication number
- JP7256086B2 JP7256086B2 JP2019130227A JP2019130227A JP7256086B2 JP 7256086 B2 JP7256086 B2 JP 7256086B2 JP 2019130227 A JP2019130227 A JP 2019130227A JP 2019130227 A JP2019130227 A JP 2019130227A JP 7256086 B2 JP7256086 B2 JP 7256086B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- passenger
- algorithm
- feature
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 43
- 238000000605 extraction Methods 0.000 claims description 92
- 238000012544 monitoring process Methods 0.000 claims description 88
- 238000012360 testing method Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 43
- 230000008921 facial expression Effects 0.000 claims description 24
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012880 independent component analysis Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
- G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Cardiology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
Description
無人運転車:無人運転車は、車載センサシステムにより道路環境を検知し、走行ルートを自動的に計画するとともに、車両が所定の場所にたどり着くよう制御するスマートカーである。それは、車載センサを利用して車両の周囲環境を検知するとともに、検知した道路、車両位置及び障害物情報に基づき、車両の走行方向及び速度を制御することにより、車両は道路において安全で且つ確実に走行するようにする。自動制御、システム構成、人工知能、ビジュアルコンピューティング等様々な技術を統合しており、コンピュータ技術、パターン識別及びスマート制御技術の高度に発展した産物であり、国の科学研究の実力と産業レベルを評価する上で重要な指標でもあり、国防と国民経済の分野において幅広く利用される見込みがある。本願の実施例において、無人運転車は無人車と略称される。
図1は、本願の実施例1に係る無人車内の乗客状態の識別方法のフローチャートであり、図1に示すとおり、本願の実施例の実行主体は無人車内の乗客状態の識別装置であり、当該無人車内の乗客状態の識別装置は、端末機器の中に集積されてもよい。端末機器は無人車内の車載端末機器であり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ101~ステップ103を含む。
図2は、本願の実施例2に係る無人車内の乗客状態の識別方法のフローチャートであり、図2に示すとおり、本実施例に係る無人車内の乗客状態の識別方法は、本願の実施例1に係る無人車内の乗客状態の識別方法をベースにして、ステップ101~ステップ103をより細かくするものであり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ201~ステップ208を含む。
まず、内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集する。
図3は、本願の実施例3に係る無人車内の乗客状態の識別方法のフローチャートであり、図3に示すとおり、本実施例に係る無人車内の乗客状態の識別方法は、本願の実施例1に係る無人車内の乗客状態の識別方法をベースにして、ステップ101~ステップ103をより細かくするものであり、本実施例に係る無人車内の乗客状態の識別方法は、以下のステップ301~ステップ306を含む。
図4は、本願の実施例4に係る無人車内の乗客状態の識別装置の構造模式図であり、図4に示すとおり、本実施例に係る無人車内の乗客状態の識別装置40は、データ取得モジュール41と、特徴抽出モジュール42と、状態識別モジュール43とを含む。
図5は、本願の実施例5に係る無人車内の乗客状態の識別装置の構造模式図であり、図5に示すとおり、本実施例に係る無人車内の乗客状態の識別装置50は、本願の実施例4に係る無人車内の乗客状態の識別装置をベースにして、第1のサンプル取得モジュール51と、第1の最適化モジュール52と、第2のサンプル取得モジュール53と、第2の最適化モジュール54とをさらに含む。
図6は、本願の実施例6に係る端末機器の構造模式図であり、図6に示すとおり、本実施例に係る端末機器60は、1つ以上のプロセッサ61と、記憶装置62と、データ収集装置63とを含む。
本願の実施例7は、コンピュータ読み取り可能な記憶媒体を提供し、当該記憶媒体には、プロセッサにより実行されて、本願の実施例1に係る無人車内の乗客状態の識別方法又は本願の実施例2に係る無人車内の乗客状態の識別方法又は本願の実施例3に係る無人車内の乗客状態の識別方法を実現するためのコンピュータプログラムが記憶される。
Claims (4)
- 無人車内の乗客状態の識別方法であって、
乗客が無人車を利用する間の異なる次元の監視データを取得することと、
前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することと、
前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことと、を含み、
前記乗客状態は危険状態又は安全状態であり、
乗客が無人車を利用する間の異なる次元の監視データを取得することは、具体的に、
無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することを含み、
前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含み、
無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集することは、具体的に、
前記内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集することと、
前記マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集することと、
前記バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集することと、
前記衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集することと、を含み、
前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成することは、具体的に、
それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成することを含み、
前記それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成することは、具体的に、
前記表情監視データに対して、表情特徴抽出アルゴリズムを用いて特徴抽出を行い、表情特徴データを生成することであって、前記表情特徴抽出アルゴリズムは、主成分分析(PCA)による特徴抽出アルゴリズム又は独立成分分析(ICA)による特徴抽出アルゴリズムである、ことと、
前記身体動作監視データに対して、身体動作特徴抽出アルゴリズムを用いて特徴抽出を行い、身体動作特徴データを生成することと、
前記音声監視データに対して、音声特徴抽出アルゴリズムを用いて特徴抽出を行い、音声特徴データを生成することであって、前記音声特徴抽出アルゴリズムは、メルフィルタバンク(melfilterbank)による特徴抽出アルゴリズム又はメル周波数ケプストラム係数(mfcc)による特徴抽出アルゴリズムである、ことと、
前記バイタルサイン監視データに対して、バイタルサイン特徴抽出アルゴリズムを用いて特徴抽出を行い、バイタルサイン特徴データを生成することと、
前記衝突データに対して、衝突特徴抽出アルゴリズムを用いて特徴抽出を行い、衝突特徴データを生成することと、を含み、
前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことは、
第1のトレーニングサンプル及び第1のテストサンプルを取得することと、
前記第1のトレーニングサンプルを用いて第1の識別アルゴリズムに対してトレーニングを行い、前記第1のテストサンプルを用いて前記第1の識別アルゴリズムに対してテストを行い、前記第1の識別アルゴリズムは最適であるか否かを判断し、最適でない場合、前記第1の識別アルゴリズムが収束して最適の第1の識別アルゴリズムになるまで、引き続き前記第1の識別アルゴリズムのモデルに対してトレーニングを行うことと、
前記最適の第1の識別アルゴリズムを用いて、前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行うことと、を含み、
前記第1の識別アルゴリズムはそれぞれの次元の前記特徴データに対応する乗客状態の確率データを確定するアルゴリズムであり、前記第1の識別アルゴリズムは、前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、を含み、
前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の表情特徴データであり、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の身体動作特徴データであり、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の音声特徴データであり、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客のバイタルサイン特徴データであり、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の衝突特徴データであり、
前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うことは、具体的に、
それぞれの次元の特徴データを対応する第1の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力することと、
それぞれの次元の乗客状態の確率データに対応する重み値を取得することと、
前記それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得することと、
前記乗客状態の総確率データ及び予め設定された閾値に基づき前記乗客状態を確定することと、を含み、
前記対応する第1の識別アルゴリズムは前記最適の第1の識別アルゴリズムである、ことを特徴とする無人車内の乗客状態の識別方法。 - 無人車内の乗客状態の識別装置であって、
乗客が無人車を利用する間の異なる次元の監視データを取得するために用いられるデータ取得モジュールと、
前記異なる次元の監視データに対し特徴抽出を行うことにより、異なる次元の特徴データを生成するために用いられる特徴抽出モジュールと、
前記異なる次元の特徴データに基づき前記乗客状態に対して識別を行うために用いられる状態識別モジュールと、
第1のトレーニングサンプル及び第1のテストサンプルを取得するために用いられるサンプル取得モジュールと、
前記第1のトレーニングサンプルを用いて第1の識別アルゴリズムに対してトレーニングを行い、前記第1のテストサンプルを用いて前記第1の識別アルゴリズムに対してテストを行い、前記第1の識別アルゴリズムは最適であるか否かを判断し、最適でない場合、前記第1の識別アルゴリズムが収束して最適の識別アルゴリズムになるまで、引き続き前記第1の識別アルゴリズムのモデルに対してトレーニングを行うために用いられる最適化モジュールと、を含み、
前記乗客状態は危険状態又は安全状態であり、
前記状態識別モジュールは、前記最適の第1の識別アルゴリズムを用いて、前記異なる次元の特徴データに基づき、前記乗客状態に対して識別を行い、
前記データ取得モジュールは、具体的に、
無人車内に設けられた各種センサを用いて乗客が無人車を利用する間の対応する次元の監視データをリアルタイムに収集するために用いられ、
前記センサは、少なくとも内部カメラ、マイクロフォン、バイタルサインセンサ、衝突センサを含み、
前記データ取得モジュールは、具体的に、
前記内部カメラを用いて乗客が無人車を利用する間の表情監視データ及び身体動作監視データを収集し、前記マイクロフォンを用いて乗客が無人車を利用する間の音声監視データを収集し、前記バイタルサインセンサを用いて乗客が無人車を利用する間のバイタルサイン監視データを収集し、前記衝突センサを用いて乗客が無人車を利用する間に車体又は座席に衝突する時の衝突データを収集するために用いられ、
前記特徴抽出モジュールは、具体的に、
それぞれの次元の監視データに対し対応する特徴抽出アルゴリズムを用いて特徴抽出を行うことにより、対応する次元の特徴データを生成するために用いられ、
前記特徴抽出モジュールは、具体的に、
前記表情監視データに対して、表情特徴抽出アルゴリズムを用いて特徴抽出を行い、表情特徴データを生成することであって、前記表情特徴抽出アルゴリズムは、主成分分析(PCA)による特徴抽出アルゴリズム又は独立成分分析(ICA)による特徴抽出アルゴリズムである、ことと、
前記身体動作監視データに対して、身体動作特徴抽出アルゴリズムを用いて特徴抽出を行い、身体動作特徴データを生成することと、
前記音声監視データに対して、音声特徴抽出アルゴリズムを用いて特徴抽出を行い、音声特徴データを生成することであって、前記音声特徴抽出アルゴリズムは、メルフィルタバンク(melfilterbank)による特徴抽出アルゴリズム又はメル周波数ケプストラム係数(mfcc)による特徴抽出アルゴリズムである、ことと、
前記バイタルサイン監視データに対して、バイタルサイン特徴抽出アルゴリズムを用いて特徴抽出を行い、バイタルサイン特徴データを生成することと、
前記衝突データに対して、衝突特徴抽出アルゴリズムを用いて特徴抽出を行い、衝突特徴データを生成することと、に用いられ、
前記第1の識別アルゴリズムはそれぞれの次元の前記特徴データに対応する乗客状態の確率データを確定するアルゴリズムであり、前記第1の識別アルゴリズムは、前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムと、を含み、
前記表情特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の表情特徴データであり、前記身体動作特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の身体動作特徴データであり、前記音声特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の音声特徴データであり、前記バイタルサイン特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客のバイタルサイン特徴データであり、前記衝突特徴データに対応する乗客状態の確率データを確定する識別アルゴリズムに対して、前記第1のトレーニングサンプル及び前記第1のテストサンプルは、それぞれの乗客の衝突特徴データであり、
前記状態識別モジュールは、具体的に、
それぞれの次元の特徴データを対応する第1の識別アルゴリズムに入力して、それぞれの次元の特徴データに対応する乗客状態の確率データを出力し、次に、それぞれの次元の乗客状態の確率データに対応する重み値を取得し、そして、前記それぞれの次元の乗客状態の確率データに対し加重加算演算を行って、乗客状態の総確率データを取得し、最後に、前記乗客状態の総確率データ及び予め設定された閾値に基づき前記乗客状態を確定するために用いられ、
前記対応する第1の識別アルゴリズムは前記最適の第1の識別アルゴリズムである、
ことを特徴とする無人車内の乗客状態の識別装置。 - 端末機器であって、
1つ以上のプロセッサと、
1つ以上のプログラムを記憶するために用いられる記憶装置と、
異なる次元の監視データを収集するために用いられるデータ収集装置と、を含み、
前記1つ以上のプログラムが前記1つ以上のプロセッサにより実行されることで、前記1つ以上のプロセッサは請求項1に記載の無人車内の乗客状態の識別方法を実現することを特徴とする端末機器。 - コンピュータ読み取り可能な記憶媒体であって、プロセッサにより実行されて、請求項1に記載の無人車内の乗客状態の識別方法を実現するためのコンピュータプログラムが記憶されることを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021189288A JP2022033805A (ja) | 2018-09-10 | 2021-11-22 | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811050981.5 | 2018-09-10 | ||
CN201811050981.5A CN109409207B (zh) | 2018-09-10 | 2018-09-10 | 无人车内乘客状态的识别方法、装置、设备及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189288A Division JP2022033805A (ja) | 2018-09-10 | 2021-11-22 | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042785A JP2020042785A (ja) | 2020-03-19 |
JP7256086B2 true JP7256086B2 (ja) | 2023-04-11 |
Family
ID=65464687
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019130227A Active JP7256086B2 (ja) | 2018-09-10 | 2019-07-12 | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
JP2021189288A Pending JP2022033805A (ja) | 2018-09-10 | 2021-11-22 | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021189288A Pending JP2022033805A (ja) | 2018-09-10 | 2021-11-22 | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11315349B2 (ja) |
EP (1) | EP3620963A1 (ja) |
JP (2) | JP7256086B2 (ja) |
CN (1) | CN109409207B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110766812B (zh) * | 2019-10-31 | 2020-11-10 | 广东科学技术职业学院 | 一种无人驾驶汽车的乘车付费方法、装置及电子设备 |
DE102021119271A1 (de) | 2021-07-26 | 2023-01-26 | Bayerische Motoren Werke Aktiengesellschaft | Einrichtung zur ausgabe eines eine vitalfunktion eines insassen eines fahrzeugs signalisierenden signals |
CN113781278A (zh) * | 2021-09-10 | 2021-12-10 | 未鲲(上海)科技服务有限公司 | 基于特征识别的事件提示方法、装置、设备及存储介质 |
CN114676174B (zh) * | 2022-03-24 | 2023-11-10 | 北京阿帕科蓝科技有限公司 | 一种堆积车辆识别方法、***及计算机存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4305759B2 (ja) | 2004-03-16 | 2009-07-29 | エステー株式会社 | 保湿性手袋及びその製造方法 |
JP2009301457A (ja) | 2008-06-17 | 2009-12-24 | Seiko Epson Corp | 救援システム、送信装置および通信装置 |
JP2010128920A (ja) | 2008-11-28 | 2010-06-10 | Toyota Motor Corp | 車両用安全装置 |
JP2015532743A (ja) | 2012-08-14 | 2015-11-12 | ボルボ ラストバグナー アーベー | ドライバの運転状態を判断する方法 |
JP2016103178A (ja) | 2014-11-28 | 2016-06-02 | 富士電機株式会社 | 見守りシステムおよび広域見守りシステム |
JP2017188127A (ja) | 2017-05-15 | 2017-10-12 | みこらった株式会社 | 自動運転車 |
WO2018047392A1 (ja) | 2016-09-06 | 2018-03-15 | Cyberdyne株式会社 | モビリティ及びモビリティシステム |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04305759A (ja) * | 1991-04-02 | 1992-10-28 | Mitsubishi Electric Corp | ニューラルネットワークの学習評価システム |
JP2940334B2 (ja) | 1993-02-08 | 1999-08-25 | トヨタ自動車株式会社 | 車両用衝突センサの取付け構造 |
WO2000054008A1 (en) * | 1999-03-11 | 2000-09-14 | Intelligent Technologies International, Inc. | Methods and apparatus for preventing vehicle accidents |
US7110570B1 (en) * | 2000-07-21 | 2006-09-19 | Trw Inc. | Application of human facial features recognition to automobile security and convenience |
EP1324274A3 (en) * | 2001-12-28 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Vehicle information recording system |
JP5131475B2 (ja) * | 2008-09-25 | 2013-01-30 | マツダ株式会社 | 車両の走行制御装置 |
US20140310610A1 (en) * | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | Vehicle occupant impairment assisted vehicle |
DE102012014717A1 (de) | 2012-07-25 | 2014-01-30 | Audi Ag | Verfahren und Fahrerassistenzsystem zum Betreiben eines Fahrzeugs bei einer gesundheitlichen Störung eines Fahrers |
US20150379362A1 (en) * | 2013-02-21 | 2015-12-31 | Iee International Electronics & Engineering S.A. | Imaging device based occupant monitoring system supporting multiple functions |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
US9714037B2 (en) * | 2014-08-18 | 2017-07-25 | Trimble Navigation Limited | Detection of driver behaviors using in-vehicle systems and methods |
CN104331953B (zh) * | 2014-10-29 | 2016-09-07 | 云南大学 | 一种基于物联网技术的汽车行为数据识别与管理方法 |
US20160379466A1 (en) * | 2015-06-26 | 2016-12-29 | Continental Automotive Systems, Inc. | System For Warning A Driver That A Passenger Is Left In A Vehicle |
JP6237725B2 (ja) * | 2015-07-27 | 2017-11-29 | トヨタ自動車株式会社 | 乗員情報取得装置及び車両制御システム |
CN105608884A (zh) * | 2015-10-30 | 2016-05-25 | 东莞酷派软件技术有限公司 | 车载备案装置和乘客信息备案方法 |
CN107212861A (zh) * | 2016-03-21 | 2017-09-29 | 罗伯特·博世有限公司 | 应用于车辆的生理特征检测***及方法 |
EP3468469A4 (en) * | 2016-06-13 | 2020-02-19 | Xevo Inc. | METHOD AND SYSTEM FOR PROVIDING THE BEHAVIOR OF A VEHICLE DRIVER USING A VIRTUAL CYCLE |
CN107703931B (zh) * | 2016-08-09 | 2019-04-05 | 北京百度网讯科技有限公司 | 用于控制无人驾驶车辆的方法和装置 |
US10759424B2 (en) * | 2016-08-16 | 2020-09-01 | Honda Motor Co., Ltd. | Vehicle data selection system for modifying automated driving functionalities and method thereof |
CN107791974B (zh) * | 2016-08-31 | 2021-06-08 | 联创汽车电子有限公司 | 车载安全生态*** |
CN106297189B (zh) * | 2016-11-09 | 2019-01-29 | 招商局重庆交通科研设计院有限公司 | 交通事故汽车自动报警***及交通事故监测报警方法 |
CN107215307A (zh) * | 2017-05-24 | 2017-09-29 | 清华大学深圳研究生院 | 基于车辆传感器校正数据的驾驶员身份识别方法及*** |
CN107212897A (zh) * | 2017-08-02 | 2017-09-29 | 沈阳东康智能科技有限公司 | 基于云平台的车载人体健康数据采集***以及健康监控方法 |
CN107634991B (zh) * | 2017-08-31 | 2019-02-01 | 北京豪络科技有限公司 | 一种用于人身安全防护的出行*** |
CN107791840A (zh) * | 2017-09-06 | 2018-03-13 | 温州大学 | 一种防止车内乘客超载的装置及方法 |
CN107571735A (zh) * | 2017-10-13 | 2018-01-12 | 苏州小黄人汽车科技有限公司 | 一种机动车驾驶员状态监测***及监测方法 |
CN107958269B (zh) * | 2017-11-28 | 2020-01-24 | 江苏大学 | 一种基于隐马尔可夫模型的行车危险度预测方法 |
CN108001158A (zh) * | 2017-12-06 | 2018-05-08 | 戴姆勒股份公司 | 车内环境控制*** |
CN108146360A (zh) * | 2017-12-25 | 2018-06-12 | 出门问问信息科技有限公司 | 车辆控制的方法、装置、车载设备和可读存储介质 |
CN108492053A (zh) * | 2018-04-11 | 2018-09-04 | 北京汽车研究总院有限公司 | 驾驶员风险评估模型训练、风险评估方法和装置 |
-
2018
- 2018-09-10 CN CN201811050981.5A patent/CN109409207B/zh active Active
-
2019
- 2019-07-12 JP JP2019130227A patent/JP7256086B2/ja active Active
- 2019-07-18 EP EP19187077.3A patent/EP3620963A1/en active Pending
- 2019-07-18 US US16/516,137 patent/US11315349B2/en active Active
-
2021
- 2021-11-22 JP JP2021189288A patent/JP2022033805A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4305759B2 (ja) | 2004-03-16 | 2009-07-29 | エステー株式会社 | 保湿性手袋及びその製造方法 |
JP2009301457A (ja) | 2008-06-17 | 2009-12-24 | Seiko Epson Corp | 救援システム、送信装置および通信装置 |
JP2010128920A (ja) | 2008-11-28 | 2010-06-10 | Toyota Motor Corp | 車両用安全装置 |
JP2015532743A (ja) | 2012-08-14 | 2015-11-12 | ボルボ ラストバグナー アーベー | ドライバの運転状態を判断する方法 |
JP2016103178A (ja) | 2014-11-28 | 2016-06-02 | 富士電機株式会社 | 見守りシステムおよび広域見守りシステム |
WO2018047392A1 (ja) | 2016-09-06 | 2018-03-15 | Cyberdyne株式会社 | モビリティ及びモビリティシステム |
JP2017188127A (ja) | 2017-05-15 | 2017-10-12 | みこらった株式会社 | 自動運転車 |
Also Published As
Publication number | Publication date |
---|---|
CN109409207B (zh) | 2022-04-12 |
JP2020042785A (ja) | 2020-03-19 |
US11315349B2 (en) | 2022-04-26 |
JP2022033805A (ja) | 2022-03-02 |
EP3620963A1 (en) | 2020-03-11 |
CN109409207A (zh) | 2019-03-01 |
US20200082187A1 (en) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7256086B2 (ja) | 無人車内の乗客状態の識別方法、装置、機器及び記憶媒体 | |
EP3588372B1 (en) | Controlling an autonomous vehicle based on passenger behavior | |
Halim et al. | Artificial intelligence techniques for driving safety and vehicle crash prediction | |
CN111063162A (zh) | 静默报警方法、装置、计算机设备和存储介质 | |
US20080249774A1 (en) | Method and apparatus for speech speaker recognition | |
CN110544360B (zh) | 一种列车安全驾驶监测***及方法 | |
JP2019523943A (ja) | 視覚的且つ動的な運転シーンの知覚的負荷を決定する制御装置、システム及び方法 | |
Sathyanarayana et al. | Information fusion for robust ‘context and driver aware’active vehicle safety systems | |
US11609565B2 (en) | Methods and systems to facilitate monitoring center for ride share and safe testing method based for selfdriving cars to reduce the false call by deuddaction systems based on deep learning machine | |
CN112744174B (zh) | 车辆碰撞监测方法、装置、设备及计算机可读存储介质 | |
JP7022674B2 (ja) | 衝突傷害予測モデル作成方法、衝突傷害予測方法、衝突傷害予測システム及び先進事故自動通報システム | |
Alluhaibi et al. | Driver behavior detection techniques: A survey | |
CN111951560A (zh) | 服务异常检测方法、训练服务异常检测模型的方法和训练声音模型的方法 | |
CN115731534A (zh) | 自主交通工具乘客的不适当行为的检测和缓解 | |
CN110555346A (zh) | 驾驶员情绪检测方法、装置、电子设备及存储介质 | |
CN115017967A (zh) | 检测和收集事故相关驾驶体验事件数据 | |
KR20220082500A (ko) | 운전자 및 차량 외, 내부의 직, 간접적인 영향 분석을 통한 졸음운전 방지 시스템 | |
CN114475502A (zh) | 一种乘车人员下车安全保护方法及保护装置 | |
CN116631150B (zh) | 脑控轮椅防碰撞预警方法及装置、设备、存储介质 | |
WO2019125278A1 (en) | Method and control arrangement for adapting information in a surveillance system | |
CN118042418B (zh) | 基于移动终端的老人安全出行智能监管处理*** | |
CN115320626B (zh) | 基于人车状态的危险感知能力预测方法、装置及电子设备 | |
WO2022025088A1 (ja) | 車両用安全支援システム | |
US20240087328A1 (en) | Monitoring apparatus, monitoring system, monitoring method, and non-transitory computer-readable medium storing program | |
WO2021210088A1 (ja) | 収集システム、収集装置、その方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210521 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210720 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20211029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211122 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211122 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20220201 |
|
C12 | Written invitation by the commissioner to file intermediate amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C12 Effective date: 20220201 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220221 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220222 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220311 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220315 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220510 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220705 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230131 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20230228 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7256086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |