JP6815613B2 - 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 - Google Patents
人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 Download PDFInfo
- Publication number
- JP6815613B2 JP6815613B2 JP2020005967A JP2020005967A JP6815613B2 JP 6815613 B2 JP6815613 B2 JP 6815613B2 JP 2020005967 A JP2020005967 A JP 2020005967A JP 2020005967 A JP2020005967 A JP 2020005967A JP 6815613 B2 JP6815613 B2 JP 6815613B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- paf
- passenger
- detection device
- keypoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000010191 image analysis Methods 0.000 title claims description 14
- 238000001514 detection method Methods 0.000 claims description 71
- 208000009144 Pure autonomic failure Diseases 0.000 claims description 52
- 239000013312 porous aromatic framework Substances 0.000 claims description 52
- 238000000605 extraction Methods 0.000 claims description 42
- 238000012549 training Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012567 pattern recognition method Methods 0.000 description 2
- 208000037063 Thinness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 206010048828 underweight Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
Claims (16)
- 車両の室内イメージ分析に基づいた乗客キーポイントを用いて車両占有(vehicle occupancy)を検出する方法において、
(a)前記車両の前記室内イメージが取得されると、車両占有検出装置が、(i)前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、(ii)前記特徴テンソルをキーポイントヒートマップ(keypoint heatmap)−PAF(part affinity field)抽出器に入力することにより、前記キーポイントヒートマップ−PAF抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びPAFを生成するようにし、(iii)前記キーポイントヒートマップ及び前記PAFをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、(iv)前記PAFそれぞれを参照して前記抽出されたキーポイントをグルーピング(grouping)することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出する段階;及び
(b)前記車両占有検出装置が、前記各乗客別キーポイントを座席占有マッチャー(matcher)に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたROI(Region Of Interest)と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング(matching)するようにして、前記車両占有を検出する段階;
を含むことを特徴とする方法。 - 前記(a)段階で、
前記車両占有検出装置は、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする請求項1に記載の方法。 - 前記(a)段階で、
前記車両占有検出装置は、前記特徴テンソルを前記キーポイントヒートマップ−PAF抽出器に入力することにより、前記キーポイントヒートマップ−PAF抽出器をもって、FCN(fully convolutional network)または1x1コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記PAFを生成するようにする請求項1に記載の方法。 - 前記(a)段階で、
前記車両占有検出装置は、前記キーポイントヒートマップ及び前記PAFを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする請求項1に記載の方法。 - 前記車両占有検出装置は、前記キーポイント検出装置をもって、前記PAFを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする請求項4に記載の方法。
- 前記(b)段階で、
前記車両占有検出装置は、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたROIそれぞれに対して、(i)前記各乗客別キーポイント、(ii)前記各乗客別キーポイントの前記平均ポイントそれぞれ及び(iii)前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる請求項1に記載の方法。 - 前記車両占有検出装置は、前記座席占有マッチャーをもって、特定座席の特定ROIに対して、(i)特定乗客に対応する特定平均ポイントが前記特定ROI内に位置し、(ii)前記特定乗客に対応する特定分散が予め設定された第1閾値以下であり、(iii)前記特定ROI内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第2閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする請求項6に記載の方法。
- 前記特徴抽出ネットワークと、前記キーポイントヒートマップ−PAF抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、(i)前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、(ii)前記学習用特徴テンソルを前記キーポイントヒートマップ−PAF抽出器に入力することにより、前記キーポイントヒートマップ−PAF抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用PAFを生成するようにするプロセス、(iii)前記学習用キーポイントヒートマップ及び前記学習用PAFをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用PAFそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び(iv)ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するGT(ground truth)を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−PAF抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である請求項1に記載の方法。
- 車両の室内イメージ分析に基づいた乗客キーポイントを利用して車両占有を検出する車両占有検出装置において、
インストラクションを格納する少なくとも一つのメモリ;及び
(I)前記車両の前記室内イメージが取得されると、(i)前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、(ii)前記特徴テンソルをキーポイントヒートマップ(keypoint heatmap)−PAF(part affinity field)抽出器に入力することにより、前記キーポイントヒートマップ−PAF抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びPAFを生成するようにし、(iii)前記キーポイントヒートマップ及び前記PAFをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、(iv)前記PAFそれぞれを参照して前記抽出されたキーポイントをグルーピング(grouping)することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出するプロセス、及び(II)前記各乗客別キーポイントを座席占有マッチャー(matcher)に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたROI(Region Of Interest)と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング(matching)するようにして、前記車両占有を検出するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ;
を含むことを特徴とする車両点有検出装置。 - 前記(I)プロセスで、
前記プロセッサは、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする請求項9に記載の車両点有検出装置。 - 前記(I)プロセスで、
前記プロセッサは、前記特徴テンソルを前記キーポイントヒートマップ−PAF抽出器に入力することにより、前記キーポイントヒートマップ−PAF抽出器をもって、FCN(fully convolutional network)または1x1コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記PAFを生成するようにする請求項9に記載の車両点有検出装置。 - 前記(I)プロセスで、
前記プロセッサは、前記キーポイントヒートマップ及び前記PAFを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする請求項9に記載の車両点有検出装置。 - 前記プロセッサは、前記キーポイント検出装置をもって、前記PAFを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする請求項12に記載の車両点有検出装置。
- 前記(II)プロセスで、
前記プロセッサは、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたROIそれぞれに対して、(i)前記各乗客別キーポイント、(ii)前記各乗客別キーポイントの前記平均ポイントそれぞれ及び(iii)前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる請求項9に記載の車両点有検出装置。 - 前記プロセッサは、前記座席占有マッチャーをもって、特定座席の特定ROIに対して、(i)特定乗客に対応する特定平均ポイントが前記特定ROI内に位置し、(ii)前記特定乗客に対応する特定分散が予め設定された第1閾値以下であり、(iii)前記特定ROI内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第2閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする請求項14に記載の車両点有検出装置。
- 前記特徴抽出ネットワークと、前記キーポイントヒートマップ−PAF抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、(i)前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、(ii)前記学習用特徴テンソルを前記キーポイントヒートマップ−PAF抽出器に入力することにより、前記キーポイントヒートマップ−PAF抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用PAFを生成するようにするプロセス、(iii)前記学習用キーポイントヒートマップ及び前記学習用PAFをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用PAFそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び(iv)ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するGT(ground truth)を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−PAF抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である請求項9に記載の車両点有検出装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962798981P | 2019-01-30 | 2019-01-30 | |
US62/798,981 | 2019-01-30 | ||
US16/721,957 | 2019-12-20 | ||
US16/721,957 US10635917B1 (en) | 2019-01-30 | 2019-12-20 | Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020121713A JP2020121713A (ja) | 2020-08-13 |
JP6815613B2 true JP6815613B2 (ja) | 2021-01-20 |
Family
ID=70332658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020005967A Active JP6815613B2 (ja) | 2019-01-30 | 2020-01-17 | 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10635917B1 (ja) |
EP (1) | EP3690713A1 (ja) |
JP (1) | JP6815613B2 (ja) |
KR (1) | KR102313123B1 (ja) |
CN (1) | CN111507156B (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102510881B1 (ko) * | 2020-07-01 | 2023-03-16 | 주식회사 딥브레인에이아이 | 신경망 기반의 특징점 학습 장치 및 방법 |
CN113763467B (zh) * | 2021-01-04 | 2024-06-18 | 北京沃东天骏信息技术有限公司 | 图像处理方法、装置、计算设备及介质 |
CN112699861B (zh) * | 2021-03-24 | 2021-06-22 | 杭州学谷智能科技有限公司 | 一种基于神经网络热点图的自然场景票据矫正方法 |
EP4125063A1 (en) * | 2021-07-29 | 2023-02-01 | Aptiv Technologies Limited | Methods and systems for occupancy class prediction and methods and systems for occlusion value determination |
CN116796021B (zh) * | 2023-08-28 | 2023-12-05 | 上海任意门科技有限公司 | 图像检索方法、***、电子设备和介质 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4075345B2 (ja) | 2001-10-11 | 2008-04-16 | 日産自動車株式会社 | 自動巡航制御装置 |
CA2397389A1 (en) * | 2002-08-09 | 2004-02-09 | Djemel Ziou | Image model based on n-pixels and defined in algebraic topology, and applications thereof |
JP2005014690A (ja) | 2003-06-24 | 2005-01-20 | Ntt Data Corp | 車両状況推定方法、車両状況推定支援方法、車両状況推定装置および車両状況推定システム |
US20050036691A1 (en) * | 2003-08-13 | 2005-02-17 | Pascal Cathier | Method and system for using structure tensors to detect lung nodules and colon polyps |
US9363483B2 (en) * | 2013-06-19 | 2016-06-07 | Xerox Corporation | Method for available parking distance estimation via vehicle side detection |
FR3019926B1 (fr) * | 2014-04-15 | 2017-08-18 | Esii | Procede et dispositif pour la detection d'occupation d'une zone, et procede et systeme de gestion de file d'attente mettant en œuvre de tels procede et dispositif |
JP2015219892A (ja) * | 2014-05-21 | 2015-12-07 | 大日本印刷株式会社 | 視線分析システムおよび視線分析装置 |
US9436895B1 (en) * | 2015-04-03 | 2016-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Method for determining similarity of objects represented in images |
JP6661398B2 (ja) * | 2016-02-03 | 2020-03-11 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
US10246014B2 (en) * | 2016-11-07 | 2019-04-02 | Nauto, Inc. | System and method for driver distraction determination |
JP6772786B2 (ja) * | 2016-11-25 | 2020-10-21 | アイシン精機株式会社 | 乗員検知装置および乗員検知プログラム |
US10068140B2 (en) * | 2016-12-02 | 2018-09-04 | Bayerische Motoren Werke Aktiengesellschaft | System and method for estimating vehicular motion based on monocular video data |
CN108229488B (zh) * | 2016-12-27 | 2021-01-01 | 北京市商汤科技开发有限公司 | 用于检测物体关键点的方法、装置及电子设备 |
JP2018149990A (ja) * | 2017-03-14 | 2018-09-27 | オムロン株式会社 | 運転者の着座判定装置 |
JP6977337B2 (ja) * | 2017-07-03 | 2021-12-08 | 富士通株式会社 | 部位認識方法、装置、プログラム、及び撮像制御システム |
JP2019040465A (ja) * | 2017-08-25 | 2019-03-14 | トヨタ自動車株式会社 | 行動認識装置,学習装置,並びに方法およびプログラム |
US10322728B1 (en) * | 2018-02-22 | 2019-06-18 | Futurewei Technologies, Inc. | Method for distress and road rage detection |
JP6392478B1 (ja) * | 2018-04-26 | 2018-09-19 | 株式会社 ディー・エヌ・エー | 情報処理装置、情報処理プログラム、及び、情報処理方法 |
CN109190662A (zh) * | 2018-07-26 | 2019-01-11 | 北京纵目安驰智能科技有限公司 | 一种基于关键点回归的车辆三维检测方法、***、终端和存储介质 |
-
2019
- 2019-12-20 US US16/721,957 patent/US10635917B1/en active Active
-
2020
- 2020-01-06 KR KR1020200001717A patent/KR102313123B1/ko active IP Right Grant
- 2020-01-15 EP EP20151922.0A patent/EP3690713A1/en active Pending
- 2020-01-17 JP JP2020005967A patent/JP6815613B2/ja active Active
- 2020-01-19 CN CN202010057857.2A patent/CN111507156B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
KR20200094642A (ko) | 2020-08-07 |
US10635917B1 (en) | 2020-04-28 |
CN111507156B (zh) | 2023-09-15 |
KR102313123B1 (ko) | 2021-10-18 |
JP2020121713A (ja) | 2020-08-13 |
CN111507156A (zh) | 2020-08-07 |
EP3690713A1 (en) | 2020-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6865366B2 (ja) | 人の状態認識を基盤として身体部位の長さ及び顔情報を使用して乗客の身長及び体重を予測する方法及び装置 | |
JP6815613B2 (ja) | 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 | |
JP6930765B2 (ja) | V2v連結によって人の状態認識を活用して検出された運転者の異常状態を警告するための方法及び装置{method and device for alerting abnormal driver situation detected by using humans’ status recognition via v2v connection} | |
CN104573646B (zh) | 基于激光雷达和双目相机的车前行人检测方法及*** | |
JP6814334B2 (ja) | ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
KR102349979B1 (ko) | 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치 | |
JP6938055B2 (ja) | 運転者の状態に応じて特化型のキャリブレーションのために運転者補助装置を自動で調整する方法及び装置 | |
KR101973933B1 (ko) | 승차인원 검지방법 및 그 장치 | |
JP6869561B2 (ja) | ブラインドスポットモニタリングのためのcnnの学習方法、テスティング方法、学習装置、及びテスティング装置 | |
CN110472470A (zh) | 用于确定车辆的周围环境状态的方法和*** | |
KR20150067679A (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
KR20230135222A (ko) | 차량 승객 거동 추정 장치 및 방법 | |
KR20220073412A (ko) | 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법 | |
CN115239949A (zh) | 基于yolo神经网络的目标检测跟踪方法、存储介质及设备 | |
KR20180081913A (ko) | 보행자 검출 장치 및 보행자 검출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6815613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |