JP2020121713A - 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 - Google Patents

人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 Download PDF

Info

Publication number
JP2020121713A
JP2020121713A JP2020005967A JP2020005967A JP2020121713A JP 2020121713 A JP2020121713 A JP 2020121713A JP 2020005967 A JP2020005967 A JP 2020005967A JP 2020005967 A JP2020005967 A JP 2020005967A JP 2020121713 A JP2020121713 A JP 2020121713A
Authority
JP
Japan
Prior art keywords
keypoint
passenger
learning
paf
specific
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020005967A
Other languages
English (en)
Other versions
JP6815613B2 (ja
Inventor
− ヒョン キム、ケイ
Kye-Hyeon Kim
− ヒョン キム、ケイ
キム、ヨンジュン
Young Jun Kim
− キョン キム、ハク
Hak-Kyoung Kim
− キョン キム、ハク
ナム、ウヒョン
Woonhyu Nam
ブー、ソッフン
Sukhoon Boo
ソン、ミュンチュル
Myungchul Sung
シン、ドンス
Dongsoo Shin
ヨー、ドンフン
Donghun Yeo
リュー、ウジュ
Wooju Ryu
− チュン イ、ミョン
Myeong-Chun Lee
− チュン イ、ミョン
イ、ヒョンス
Hyungsoo Lee
チャン、テウン
Taewoong Jang
ジョン、キュンチョン
Kyungjoong Jeong
チェ、ホンモ
Hongmo Je
チョウ、ホジン
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020121713A publication Critical patent/JP2020121713A/ja
Application granted granted Critical
Publication of JP6815613B2 publication Critical patent/JP6815613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】乗客キーポイントを用いて車両占有を検出する方法及び装置を提供する。【解決手段】車両占有を検出する方法は、室内イメージを取得する段階と、車両占有検出装置が室内イメージにコンボリューション演算を適用して特徴テンソルを生成する段階と、特徴テンソルをキーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、キーポイントヒートマップ及びＰＡＦを生成する段階と、キーポイントヒートマップ及びＰＡＦをキーポイント検出装置に入力することにより、キーポイントヒートマップそれぞれからキーポイントを抽出する段階と、ＰＡＦに基づいたキーポイントをグルーピングすることにより、各乗客ごとにキーポイントを検出する段階と、キーポイントを座席占有マッチャーに入力することにより、入力されたキーポイントと、座席の予め設定されたＲＯＩとを参照して、座席に乗客をマッチングするようにして、車両占有を検出する段階と、を含む。【選択図】図３

Description

本発明は、人の状態の識別のためのイメージ分析によって検出された少なくとも一人の乗客の一つ以上のポイントを利用して車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出する方法に関し；より詳細には、車両の少なくとも一つの室内イメージを分析し、乗客検出のための人の身体キーポイント検出装置によって前記乗客に対応するキーポイントを検出し、検出された乗客が自動車のどの座席にマッチングされるかを確認することにより、車両占有を検出する前記方法及びこれを用いた前記装置に関するものである。
一般的に車の車室には、乗客が着席できる座席が設置されている。運転席や助手席にある座席には、乗客が着席すると乗客の類型を区分し、乗客の有無を判断し、シートベルトを着用しているか否かを知らせる機能などを果たす様々な乗客識別装置が含まれている。
そのうち、パターン認識方式、圧力認識方式、重量認識方式が最も多く使われている。パターン認識方式は、自動車の座席内部にセンサマットが取り付けられており、センサマット上にマトリックス状で圧力センサが配列されていて、座席に着席した乗客の重量や骨盤パターンを認識して乗客を識別する。
圧力認識方式は、液体がつまった薄いブラダー（ｂｌａｄｄｅｒ）と圧力センサが座席クッション下側に装着されており、座席に乗客が着席するとブラダーから流出した液体を圧力センサが感知して乗客を識別する。
重量認識方式は、座席の内部に備えられた座席フレームがマウンティングされる位置にストレインゲージセンサが取り付けられており、乗客の重さを感知して座席に着席した乗客を識別する。
しかし、前記のように多様な乗客識別装置を備えても、多様な識別エラーが発生する。例えば、乗客が着席の際に片側に偏ったり、着席状態が不良だったりすると、着席をしていないと識別することがある。また、低体重の成人乗客を子ども乗客として識別することもある。
このような識別エラーによって成人乗客を子ども乗客と誤って識別するようになると、自動車事故が発生した際、エアバッグが子ども乗客の体型に対応するように展開されて成人乗客を安全に保護することができず、２次傷害を負うなどの問題が発生する。
また、座席に乗客が着席してないと識別されると、エアバッグが展開されず、乗客が大きな傷害を負う恐れがあるなど、乗客識別ミスによる多くの問題が発生してしまう。
これに加え、自動車の座席毎にセンサを取り付けなければならないので、コストが増加するだけでなく、処理すべき情報が増えるため、処理速度が低下するという短所がある。
したがって、最近ではカメラによって撮影されたイメージを利用して自動車の乗客を検出したり、乗客数を検出したりする技術が提供されている。
つまり、図１を参照すれば、自動車の外部、つまり、走行中の道路沿い及び周辺構造物上にカメラを設置した後、これにより取得されるイメージを分析して自動車内に搭乗中の乗客数を測定している。これにより、構造物上のカメラによって自動車の前部座席を確認し、道路沿いのカメラによって自動車の後部座席を確認している。
しかし、こうした道路沿い及び構造物上のカメラが利用する場合には、暗さ、雪、雨、自動車ガラスのフィルムなどで自動車内部がよく見えない場合、自動車の乗客数を確認できないという短所がある。
本発明は、前述した問題点を全て解決することを目的とする。
本発明は、費用の増加なしに車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出できるようにすることを他の目的とする。
本発明は、周辺環境に影響されずに車両占有を検出できるようにすることをまた他の目的とする。
本発明は、処理すべき情報を最小化し、車両占有を検出できるようにすることをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための、本発明の特徴的な構成は下記の通りである。
本発明の一態様によれば、車両の室内イメージ分析に基づいた乗客キーポイントを用いて車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出する方法において、（ａ）前記車両の前記室内イメージが取得されると、車両占有検出装置が、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）・ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出する段階；及び（ｂ）前記車両占有検出装置が、前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出する段階；を含むことを特徴とする方法が提供される。
一実施例として、前記（ａ）段階で、前記車両占有検出装置は、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする。
一実施例として、前記（ａ）段階で、前記車両占有検出装置は、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする。
一実施例として、前記（ａ）段階で、前記車両占有検出装置は、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする。
一実施例として、前記車両占有検出装置は、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする。
一実施例として、前記（ｂ）段階で、前記車両占有検出装置は、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる。
一実施例として、前記車両占有検出装置は、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする。
一実施例として、前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である。
本発明の他の態様によれば、車両の室内イメージ分析に基づいた乗客キーポイントを利用して車両占有を検出する車両占有検出装置において、インストラクションを格納する少なくとも一つのメモリ；及び（Ｉ）前記車両の前記室内イメージが取得されると、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出するプロセス、及び（ＩＩ）前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；を含むことを特徴とする車両点有検出装置が提供される。
一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする。
一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする。
一実施例として、前記（Ｉ）プロセスで、前記プロセッサは、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする。
一実施例として、前記プロセッサは、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする。
一実施例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる。
一実施例として、前記プロセッサは、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする。
一実施例として、前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である。
この他にも、本発明の方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。
本発明によると、カメラを用いて撮影された車両の室内イメージを分析し、車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出することにより、従来のセンサ方式に比べてコストを削減できる効果がある。
また、本発明によれば、カメラを用いて撮影された車両の室内イメージを分析して車両占有を検出するので、周辺環境に影響されずに車両占有を検出できる効果がある。
また、本発明によれば、カメラを用いて撮影された車両の室内イメージを分析して、車両占有を検出するので、従来のセンサ方式に比べて処理すべき情報が少ないことから、従来のセンサ方式より処理速度を向上できる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野でおいて、通常の知識を有する者（以下「通常の技術者」）は、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、車両の外部に設置されたカメラから取得されるイメージが分析され、前記車両内の乗客数を測定する従来技術を概略的に示した図面である。 図２は、本発明の一実施例に係るイメージ分析によって検出された少なくとも一人の乗客の一つ以上のキーポイントを利用して、車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出する車両占有検出装置を概略的に示した図面である。 図３は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出する方法を概略的に示した図面である。 図４は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して前記車両占有を検出する前記方法において、前記乗客の前記キーポイントを検出するプロセスを概略的に示した図面である。 図５は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して前記車両占有を検出する前記方法において、前記車両の座席に前記乗客の前記キーポイントをマッチングするプロセスを概略的に示した図面である。 図６は、本発明の一実施例に係る前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出するための特徴抽出ネットワークと、キーポイントヒートマップ−ＰＡＦ（Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄ）抽出器とを学習させるプロセスを概略的に示した図面である。
後述する本発明に対する詳細な説明は、本発明の各目的、技術的解決方法及び長所を明確にするために、本発明が実施され得る特定実施例を例示として示す添付図面を参照する。これらの実施例は、通常の技術者が本発明を実施することができるように充分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のあらゆる可能な組み合わせを網羅する。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一例と関連して、本発明の精神及び範囲を逸脱せず、かつ他の実施例で実装され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は、本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されれば、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
本願に提供されている本発明の題名及び要約は、便宜のためのものであり、実施例の範囲を限定したり、実施例の意味を解析したりするものではない。
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面に基づいて詳細に説明する。
図２は、本発明の一実施例に係るイメージ分析によって検出された少なくとも一人の乗客の一つ以上のキーポイントを利用して、車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出する車両占有検出装置を概略的に示した図面である。図２を参照すれば、前記車両占有検出装置１００は、前記イメージ分析によって検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出するための各インストラクションを格納するメモリ１１０と、前記メモリ１１０に格納された前記各インストラクションに対応するプロセスを遂行するプロセッサ１２０とを含むことができる。
具体的に、前記車両点有検出装置１００は、典型的に少なくとも一つのコンピューティング装置（例えば、コンピュータのプロセッサ、メモリ、ストレージ、入力装置及び出力装置、その他の従来のコンピューティング装置の各構成要素；ルータ、スイッチなどのような電子通信装置；ネットワーク接続ストレージ（ＮＡＳ）及びストレージエリアネットワーク（ＳＡＮ）のような電子情報ストレージシステム）と、少なくとも一つのコンピュータソフトウェア（つまり、前記コンピューティング装置をもって、特定の方式で機能させる各インストラクション）との組み合わせを利用して希望するシステム性能を達成するものであり得る。
前記コンピューティング装置のプロセッサは、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、キャッシュメモリ（Ｃａｃｈｅ Ｍｅｍｏｒｙ）、データバス（Ｄａｔａ Ｂｕｓ）などのハードウェア構成を含むことができる。また、前記コンピューティング装置は、オペレーティングシステム（ＯＳ）及び特定の目的を遂行するアプリケーションのソフトウェア構成をさらに含むこともできる。
しかし、前記コンピューティング装置が本発明を行うためのミディアム、プロセッサ、メモリまたはほかのコンピューティング構成要素が統合された形である統合プロセッサを含む場合を排除するものではない。
このように構成された本発明の実施例に係る前記車両占有検出装置１００によって前記イメージ分析で検出された前記乗客の前記キーポイントを利用して、前記車両占有を検出する方法について、図３を参照して説明する。
まず、車両の室内を撮影するカメラによって生成された少なくとも一つの室内イメージが取得されると、前記車両占有検出装置１００が、前記室内イメージを特徴抽出ネットワークに入力することで、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して、前記室内イメージに対応する特徴テンソルを生成するようにすることができる。
この際、前記特徴抽出ネットワークは、少なくとも一つのコンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含む一つ以上のコンボリューションブロックをもって、前記室内イメージに多重コンボリューション演算を適用するようにすることができる。
その後、前記車両点有検出装置１００は、前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにできる。
その際、前記キーポイントヒートマップ−ＰＡＦ抽出器は、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含み得る。
また、前記キーポイントヒートマップ−ＰＡＦ抽出器は、前記特徴テンソルに少なくとも一つの１ｘ１コンボリューション演算を適用する一つ以上の１ｘ１コンボリューションレイヤを含むことができる。
一方、図４を参照すれば、前記「キーポイントヒットマップ」は、熱を意味するヒート（ｈｅａｔ）と地図を意味するマップ（ｍａｐ）を結合させたもので、色で表現できる多様な情報をイメージの上に熱分布状態でグラフィック的に表すものであり得る。
そして、前記ＰＡＦは、前記キーポイント間の関係を表すベクトルマップの一種であり得る。つまり、前記ＰＡＦは、特定キーポイントの他のキーポイントとのつながりを表現したマップであり得、それぞれのキーポイントヒートマップのペア内でそれぞれの前記キーポイントが互いにつながるそれぞれの確率を示すマップであり得る。
その際、前記キーポイントヒートマップ−ＰＡＦ抽出器は、前記キーポイント間の関係を二分マッチング（ｂｉｐａｒｔｉｔｅ ｍａｔｃｈｉｎｇ）を利用して検出することで、前記ＰＡＦを生成し得る。つまり、キーポイントがそれぞれどのような乗客のものか、前記キーポイント間にどのような関係があるのかを前記二分マッチングによって確認できる。
その後、前記車両占有検出装置１００は、前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することで、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれから前記キーポイントを抽出するようにし、前記ＰＡＦを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより前記室内イメージ内の前記乗客それぞれに対応する各乗客別のキーポイントを検出することができる。
この際、前記キーポイント検出装置は、各チャネルに対応するそれぞれの前記キーポイントヒートマップ内それぞれの最も高い地点、すなわち、最も高いヒート値を有するそれぞれのポイントを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出でき、前記ＰＡＦを参照して、前記抽出されたキーポイントのうち、連結される確率が最も高いキーポイント同士をペアにしてつなげることで、前記抽出されたキーポイントをグルーピングすることができる。一例として、前記抽出されたキーポイントのいずれか一つのキーポイントと連結される確率が最も高い他の一つのキーポイントを一つのペアとして連結する過程を抽出されたキーポイント全てに対して遂行することで各キーポイントをグルーピングし、これによって、イメージ内に位置する乗客の数に対応するキーポイントグループが形成され得る。
そして、前記検出された乗客別キーポイントは、前記室内イメージ内前記キーポイントの位置に対する座標情報で表現され得る。
一方、前記車両の室内に設置された前記カメラにより撮影された映像またはイメージは、身体の隠れ（ｏｃｃｌｕｓｉｏｎ）が多い。つまり、前部座席の場合、ほとんどの乗客の上半身だけが見え、後部座席の場合、前部座席によって隠れることもある。このような状態で、従来の物体検出装置は、隠れが多いため前記乗客の検出に失敗することもあるが、本発明によれば、前記検出されたキーポイントは、前記乗客の存在可否を決定するには十分であり、前記車両の前記乗客は歩行者よりもポーズ（ｐｏｓｅ）変動が大きいため、本発明によって前記乗客のキーポイントを利用して前記乗客を検出した方が有利であろう。
次に、図５を参照すれば、前記車両占有検出装置１００は、前記キーポイント検出装置から取得された、前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出できる。
一例として、前記車両占有検出装置１００は、前記キーポイント検出装置から取得されたそれぞれの前記乗客に対する前記キーポイント、つまり前記キーポイントの座標を前記座席占有マッチャーに入力することができる。
その後、前記座席占有マッチャーは、それぞれの前記乗客に対応する前記キーポイント、例えば頭部と胴体の前記キーポイントグループそれぞれの、平均ポイントそれぞれ及び分散それぞれを算出することができる。
そして、前記座席占有マッチャーは、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認して、それぞれの前記座席にそれぞれの前記乗客をマッチングすることができる。
つまり、それぞれの前記乗客に対する前記キーポイントをそれぞれの前記乗客のキーポイントグループそれぞれに属するものと想定すると、特定座席に対応する予め設定された特定ＲＯＩに対して、特定乗客に対応する特定キーポイントグループの特定平均ポイントが前記特定ＲＯＩ内に位置するかが決定され得る。その際、前記特定平均ポイントが前記特定ＲＯＩ内に位置していないものと決定されると、前記特定乗客は、前記特定座席にマッチングされないものと決定され得る。
また、前記特定キーポイントグループの特定分散が予め設定された第１閾値以下であるか否かが決定され得る。この際、前記予め設定された第１閾値は、誤って検出されたキーポイントを除外するために利用され得、前記特定分散が前記予め設定された第１閾値を超過する場合、前記特定乗客が前記特定座席にマッチングされないものと決定され得る。
そして、前記特定ＲＯＩ内の前記特定キーポイントグループの前記特定キーポイントの数が予め設定された第２閾値以上であるかどうかが決定され得る。この際、前記予め設定された第２閾値は、誤って検出されたキーポイントを除外するために利用され得、前記特定ＲＯＩ内の前記特定キーポイントグループの前記特定キーポイントの数が、前記予め設定された第２閾値未満である場合、前記特定乗客は、前記特定座席にマッチングされないものと決定され得る。
そのため、前記特定平均ポイントが前記特定ＲＯＩ内に位置し、前記特定分散が前記予め設定された第１閾値以下であり、前記特定ＲＯＩ内の前記特定キーポイントグループの前記特定キーポイント数が、前記予め設定された第２閾値以上である場合、前記座席占有マッチャーは、前記特定乗客が前記特定座席にマッチングされるものと決定され得る。
これによって、前記座席占有マッチャーは、前記車両のそれぞれの前記座席にそれぞれの前記乗客をマッチングすることができ、これによって前記車両占有検出装置１００は、前記車両占有を検出できるようになる。
一方で、前記車両占有検出装置１００の前記特徴抽出ネットワークと、前記キーポイントヒットマップ−ＰＡＦ抽出器とは、学習装置によって学習された状態であり得る。
次に、前記特徴抽出ネットワークと、前記キーポイントヒットマップ−ＰＡＦ抽出器とを学習する方法を、図６を参照して簡略的に説明する。以下の説明において、図１ないし図５の説明から容易に理解可能な部分については、詳細な説明を省略する。
まず、少なくとも一つの学習用物体を含む少なくとも一つのトレーニングのイメージが取得されると、前記学習装置２００は、前記トレーニングイメージを前記特徴抽出ネットワークに入力することで、前記特徴抽出ネットワークをもって、これのコンボリューション演算を前記トレーニングイメージに適用して学習用特徴テンソルを生成するようにすることができる。
その後、前記学習装置２００は、前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにできる。
その後、前記学習装置２００は、前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにでき、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体に対応する学習用物体別キーポイントを検出することができる。
次に、前記学習装置２００は、ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させるようにし、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整できる。
また、以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で実装されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで読取り可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ読取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知となって利用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同様である。
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (16)

  1. 車両の室内イメージ分析に基づいた乗客キーポイントを用いて車両占有（ｖｅｈｉｃｌｅ ｏｃｃｕｐａｎｃｙ）を検出する方法において、
    （ａ）前記車両の前記室内イメージが取得されると、車両占有検出装置が、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出する段階；及び
    （ｂ）前記車両占有検出装置が、前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出する段階；
    を含むことを特徴とする方法。
  2. 前記（ａ）段階で、
    前記車両占有検出装置は、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする請求項１に記載の方法。
  3. 前記（ａ）段階で、
    前記車両占有検出装置は、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする請求項１に記載の方法。
  4. 前記（ａ）段階で、
    前記車両占有検出装置は、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする請求項１に記載の方法。
  5. 前記車両占有検出装置は、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする請求項４に記載の方法。
  6. 前記（ｂ）段階で、
    前記車両占有検出装置は、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる請求項１に記載の方法。
  7. 前記車両占有検出装置は、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする請求項６に記載の方法。
  8. 前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である請求項１に記載の方法。
  9. 車両の室内イメージ分析に基づいた乗客キーポイントを利用して車両占有を検出する車両占有検出装置において、
    インストラクションを格納する少なくとも一つのメモリ；及び
    （Ｉ）前記車両の前記室内イメージが取得されると、（ｉ）前記室内イメージを特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記室内イメージにコンボリューション演算を適用して一つ以上の特徴テンソルを生成するようにし、（ｉｉ）前記特徴テンソルをキーポイントヒートマップ（ｋｅｙｐｏｉｎｔ ｈｅａｔｍａｐ）−ＰＡＦ（ｐａｒｔ ａｆｆｉｎｉｔｙ ｆｉｅｌｄ）抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記特徴テンソルそれぞれに対するキーポイントヒートマップ及びＰＡＦを生成するようにし、（ｉｉｉ）前記キーポイントヒートマップ及び前記ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記キーポイントヒートマップそれぞれからキーポイントを抽出するようにし、（ｉｖ）前記ＰＡＦそれぞれを参照して前記抽出されたキーポイントをグルーピング（ｇｒｏｕｐｉｎｇ）することにより、前記室内イメージ内の乗客それぞれに対応する各乗客ごとにキーポイントを検出するプロセス、及び（ＩＩ）前記各乗客別キーポイントを座席占有マッチャー（ｍａｔｃｈｅｒ）に入力することにより、前記座席占有マッチャーをもって、前記車両の座席それぞれの予め設定されたＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と、前記各乗客別キーポイントとを参照してそれぞれの前記乗客をマッチング（ｍａｔｃｈｉｎｇ）するようにして、前記車両占有を検出するプロセスを遂行するための、前記インストラクションを実行するように構成された少なくとも一つのプロセッサ；
    を含むことを特徴とする車両点有検出装置。
  10. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記室内イメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、多重コンボリューション演算を遂行する一つ以上のコンボリューションレイヤを含むコンボリューションブロックによる前記多重コンボリューション演算を前記室内イメージに適用するようにする請求項９に記載の車両点有検出装置。
  11. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）または１ｘ１コンボリューションレイヤによるコンボリューション演算を前記特徴テンソルに適用して、前記特徴テンソルに対する前記キーポイントヒートマップ及び前記ＰＡＦを生成するようにする請求項９に記載の車両点有検出装置。
  12. 前記（Ｉ）プロセスで、
    前記プロセッサは、前記キーポイントヒートマップ及び前記ＰＡＦを前記キーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、それぞれの前記キーポイントヒートマップ上の最も高い地点それぞれを、それぞれの前記キーポイントヒートマップに対応するそれぞれの前記キーポイントとして抽出するようにする請求項９に記載の車両点有検出装置。
  13. 前記プロセッサは、前記キーポイント検出装置をもって、前記ＰＡＦを参照して、前記抽出されたキーポイントのうちの連結される確率が最も高いキーポイント同士をペアにしてつなげることにより、前記抽出されたキーポイントをグルーピングする請求項１２に記載の車両点有検出装置。
  14. 前記（ＩＩ）プロセスで、
    前記プロセッサは、前記座席占有マッチャーをもって、前記各乗客別キーポイントの平均ポイントそれぞれ及び前記各乗客別キーポイントの分散それぞれを算出するようにし、各前記座席の前記予め設定されたＲＯＩそれぞれに対して、（ｉ）前記各乗客別キーポイント、（ｉｉ）前記各乗客別キーポイントの前記平均ポイントそれぞれ及び（ｉｉｉ）前記各乗客別キーポイントの分散それぞれが、少なくとも一つの予め設定された条件を満たしているか否かを確認し、それぞれの前記座席にそれぞれの前記乗客をマッチングさせる請求項９に記載の車両点有検出装置。
  15. 前記プロセッサは、前記座席占有マッチャーをもって、特定座席の特定ＲＯＩに対して、（ｉ）特定乗客に対応する特定平均ポイントが前記特定ＲＯＩ内に位置し、（ｉｉ）前記特定乗客に対応する特定分散が予め設定された第１閾値以下であり、（ｉｉｉ）前記特定ＲＯＩ内に位置する前記特定乗客に対応する特定キーポイントの個数が予め設定された第２閾値以上である場合、前記特定座席に前記特定乗客をマッチングするようにする請求項１４に記載の車両点有検出装置。
  16. 前記特徴抽出ネットワークと、前記キーポイントヒートマップ−ＰＡＦ抽出器とは、学習装置により学習された状態であり、前記学習装置は、一つ以上の学習用物体を含む少なくとも一つのトレーニングイメージが取得されると、（ｉ）前記トレーニングイメージを前記特徴抽出ネットワークに入力することにより、前記特徴抽出ネットワークをもって、前記トレーニングイメージにコンボリューション演算を適用して一つ以上の学習用特徴テンソルを生成するようにするプロセス、（ｉｉ）前記学習用特徴テンソルを前記キーポイントヒートマップ−ＰＡＦ抽出器に入力することにより、前記キーポイントヒートマップ−ＰＡＦ抽出器をもって、前記学習用特徴テンソルそれぞれに対する学習用キーポイントヒートマップ及び学習用ＰＡＦを生成するようにするプロセス、（ｉｉｉ）前記学習用キーポイントヒートマップ及び前記学習用ＰＡＦをキーポイント検出装置に入力することにより、前記キーポイント検出装置をもって、前記学習用キーポイントヒートマップそれぞれから学習用キーポイントを抽出するようにし、前記学習用ＰＡＦそれぞれを参照して前記抽出された学習用キーポイントをグルーピングすることにより、前記トレーニングイメージ内の前記学習用物体それぞれに対応する各学習用物体別キーポイントを検出するプロセス、及び（ｉｖ）ロスレイヤをもって、前記各学習用物体別キーポイント及びこれに対応するＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）を参照して一つ以上のロスを算出させることで、前記ロスを利用したバックプロパーゲーションによって前記ロスが最小化されるように前記特徴抽出ネットワーク及び前記キーポイントヒートマップ−ＰＡＦ抽出器の一つ以上のパラメータを調整するプロセスを遂行した状態である請求項９に記載の車両点有検出装置。
JP2020005967A 2019-01-30 2020-01-17 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置 Active JP6815613B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798981P 2019-01-30 2019-01-30
US62/798,981 2019-01-30
US16/721,957 2019-12-20
US16/721,957 US10635917B1 (en) 2019-01-30 2019-12-20 Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition

Publications (2)

Publication Number Publication Date
JP2020121713A true JP2020121713A (ja) 2020-08-13
JP6815613B2 JP6815613B2 (ja) 2021-01-20

Family

ID=70332658

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020005967A Active JP6815613B2 (ja) 2019-01-30 2020-01-17 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置

Country Status (5)

Country Link
US (1) US10635917B1 (ja)
EP (1) EP3690713A1 (ja)
JP (1) JP6815613B2 (ja)
KR (1) KR102313123B1 (ja)
CN (1) CN111507156B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510881B1 (ko) * 2020-07-01 2023-03-16 주식회사 딥브레인에이아이 신경망 기반의 특징점 학습 장치 및 방법
CN113763467B (zh) * 2021-01-04 2024-06-18 北京沃东天骏信息技术有限公司 图像处理方法、装置、计算设备及介质
CN112699861B (zh) * 2021-03-24 2021-06-22 杭州学谷智能科技有限公司 一种基于神经网络热点图的自然场景票据矫正方法
EP4125063A1 (en) * 2021-07-29 2023-02-01 Aptiv Technologies Limited Methods and systems for occupancy class prediction and methods and systems for occlusion value determination
CN116796021B (zh) * 2023-08-28 2023-12-05 上海任意门科技有限公司 图像检索方法、***、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005535951A (ja) * 2002-08-09 2005-11-24 ユニヴェルシテ・ドゥ・シャーブルック ｎ−ピクセルに基づくと共に、代数学的位相幾何学で定義されたイメージモデル、及びそれに基づくアプリケーション
JP2007502465A (ja) * 2003-08-13 2007-02-08 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 構造テンソルを利用して肺小結節及び大腸ポリープを検知する方法及びシステム
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
JP2018506788A (ja) * 2015-04-03 2018-03-08 三菱電機株式会社 物体の再同定の方法
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法
JP2019012497A (ja) * 2017-07-03 2019-01-24 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4075345B2 (ja) * 2001-10-11 2008-04-16 日産自動車株式会社 自動巡航制御装置
JP2005014690A (ja) * 2003-06-24 2005-01-20 Ntt Data Corp 車両状況推定方法、車両状況推定支援方法、車両状況推定装置および車両状況推定システム
US9363483B2 (en) * 2013-06-19 2016-06-07 Xerox Corporation Method for available parking distance estimation via vehicle side detection
FR3019926B1 (fr) * 2014-04-15 2017-08-18 Esii Procede et dispositif pour la detection d'occupation d'une zone, et procede et systeme de gestion de file d'attente mettant en œuvre de tels procede et dispositif
JP7290567B2 (ja) * 2016-11-07 2023-06-13 ナウト，インコーポレイテッド 運転者の注意散漫決定のためのシステム及び方法
JP6772786B2 (ja) * 2016-11-25 2020-10-21 アイシン精機株式会社 乗員検知装置および乗員検知プログラム
US10068140B2 (en) * 2016-12-02 2018-09-04 Bayerische Motoren Werke Aktiengesellschaft System and method for estimating vehicular motion based on monocular video data
CN108229488B (zh) * 2016-12-27 2021-01-01 北京市商汤科技开发有限公司 用于检测物体关键点的方法、装置及电子设备
JP2018149990A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 運転者の着座判定装置
JP2019040465A (ja) * 2017-08-25 2019-03-14 トヨタ自動車株式会社 行動認識装置，学習装置，並びに方法およびプログラム
US10322728B1 (en) * 2018-02-22 2019-06-18 Futurewei Technologies, Inc. Method for distress and road rage detection
CN109190662A (zh) * 2018-07-26 2019-01-11 北京纵目安驰智能科技有限公司 一种基于关键点回归的车辆三维检测方法、***、终端和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005535951A (ja) * 2002-08-09 2005-11-24 ユニヴェルシテ・ドゥ・シャーブルック ｎ−ピクセルに基づくと共に、代数学的位相幾何学で定義されたイメージモデル、及びそれに基づくアプリケーション
JP2007502465A (ja) * 2003-08-13 2007-02-08 シーメンス　メディカル　ソリューションズ　ユーエスエー　インコーポレイテッド 構造テンソルを利用して肺小結節及び大腸ポリープを検知する方法及びシステム
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
JP2018506788A (ja) * 2015-04-03 2018-03-08 三菱電機株式会社 物体の再同定の方法
JP2017138808A (ja) * 2016-02-03 2017-08-10 キヤノン株式会社 情報処理装置および情報処理方法
JP2019012497A (ja) * 2017-07-03 2019-01-24 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム
JP6392478B1 (ja) * 2018-04-26 2018-09-19 株式会社 ディー・エヌ・エー 情報処理装置、情報処理プログラム、及び、情報処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHANGHO SONG: "Robust Vehicle Occupant Detection based on RGB-Depth-thermal Camera", JOUNAL OF KOREA BOBOTICS SOCIETY, vol. vol.13, no.1,, JPN7020003984, 31 March 2018 (2018-03-31), pages 31 - 37, ISSN: 0004403333 *
ZHE CAO: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR2017), JPN7020003985, 14 April 2017 (2017-04-14), pages 7291 - 7299, XP055712609, ISSN: 0004403334, DOI: 10.1109/CVPR.2017.143 *

Also Published As

Publication number Publication date
CN111507156B (zh) 2023-09-15
EP3690713A1 (en) 2020-08-05
JP6815613B2 (ja) 2021-01-20
CN111507156A (zh) 2020-08-07
KR20200094642A (ko) 2020-08-07
KR102313123B1 (ko) 2021-10-18
US10635917B1 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
KR102338757B1 (ko) 사람의 상태 인식을 기반으로 신체 부위 길이 및 얼굴 정보를 사용하여 승객의 키 및 몸무게를 예측하는 방법 및 장치
JP2020121713A (ja) 人の状態識別のためのイメージ分析により検出された乗客のポイントを利用して車両占有を検出する方法及び装置
Abouelnaga et al. Real-time distracted driver posture classification
KR102321011B1 (ko) V2v 연결을 통해 사람의 상태 인식을 활용해 검출된 운전자의 이상 상태를 경고하기 위한 방법 및 장치
JP6443393B2 (ja) 行動認識装置，学習装置，並びに方法およびプログラム
US10474930B1 (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US20030204384A1 (en) High-performance sensor fusion architecture
US20220084316A1 (en) Method and electronic device for recognizing abnormal sitting posture, and storage medium
US20190375312A1 (en) Method and system for controlling a state of an occupant protection feature for a vehicle
KR20200095384A (ko) 운전자 상태에 따라 맞춤형의 캘리브레이션을 위해 운전자 보조 장치를 자동으로 조정하는 방법 및 장치
KR102349906B1 (ko) 자동차의 블라인드 스팟 모니터링을 위한 학습 방법과 테스팅 방법, 및 이를 이용한 학습 장치와 테스팅 장치
KR102338777B1 (ko) 카메라를 이용한 차량 내부 인원 모니터링 방법
KR20230135222A (ko) 차량 승객 거동 추정 장치 및 방법
KR20220073412A (ko) 승객 모니터링 시스템 및 방법, 그리고 이를 이용한 승하차 인식 방법
CN117373002A (zh) 乘坐乘客身高估计
KR20210074037A (ko) 차량 탑승자 정보 획득 방법 및 이를 지원하는 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201215

R150 Certificate of patent or registration of utility model

Ref document number: 6815613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250