JP6814977B2 - 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP6814977B2
JP6814977B2 JP2016199340A JP2016199340A JP6814977B2 JP 6814977 B2 JP6814977 B2 JP 6814977B2 JP 2016199340 A JP2016199340 A JP 2016199340A JP 2016199340 A JP2016199340 A JP 2016199340A JP 6814977 B2 JP6814977 B2 JP 6814977B2
Authority
JP
Japan
Prior art keywords
image
seat
conversion
learning
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016199340A
Other languages
English (en)
Other versions
JP2018060466A (ja
Inventor
荒井　結子
結子 荒井
新　浩治
浩治 新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016199340A priority Critical patent/JP6814977B2/ja
Priority to US15/713,604 priority patent/US10417511B2/en
Publication of JP2018060466A publication Critical patent/JP2018060466A/ja
Application granted granted Critical
Publication of JP6814977B2 publication Critical patent/JP6814977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/301—Sensors for position or displacement
    • B60Y2400/3015—Optical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、所定の状態の学習および検知に用いられる画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラムに関する。
近年、移動体（例えば、自動車等の車両）の乗員の状態を検知する技術が開発されている。例えば特許文献１には、乗員の状態の検知精度を向上させるシステム（以下、従来技術という）が開示されている。
従来技術では、まず、車両内の座席を撮影可能なカメラからの距離データに基づいて、予め用意された頭部テンプレート（人物の頭部を表現する型紙）のサイズが正規化される。次に、カメラにより撮影された画像と、正規化された頭部テンプレートとのテンプレートマッチングにより相関値が算出される。そして、算出された相関値が閾値以上である場合、乗員が着座していると判定される。
特開２００７−１９８９２９号公報
しかしながら、従来技術では、頭部テンプレートのサイズの正規化に必要な距離データを得るために、多大なコストがかかる。
本発明の目的は、低コストで精度良く乗員の状態を検知できる画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラムを提供することである。
本開示の画像処理装置は、座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する変換パラメータ記憶部と、前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する画像変換部と、を有し、前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータであって、前記画像上の座席の所定点に基づく線分の傾きと予め定められた傾きとに基づいて前記画像を変換させるパラメータである。
本開示の検知装置は、本開示の画像処理装置を含む検知装置であって、学習モデルと前記画像処理装置に含まれる画像変換部から出力された変換後の画像から抽出された特徴量とに基づいて、該画像における所定状態を検知する検知部、を有する。
本開示の学習装置は、本開示の画像処理装置を含む学習装置であって、前記カメラによって撮影された、前記座席における第１状態を示す正解画像と、前記座席における第２状態を示す不正解画像とを受け取る画像入力部と、前記正解画像および前記不正解画像から抽出された特徴量に基づいて学習モデルを生成する学習部と、を有し、前記画像処理装置に含まれる画像変換部は、前記変換パラメータに基づいて、前記画像入力部が受け取った前記正解画像および前記不正解画像を変換し、変換後の正解画像および変換後の不正解画像を前記学習部へ出力し、前記学習部は、前記画像変換部から出力された前記変換後の正解画像および前記変換後の不正解画像から抽出された特徴量に基づいて学習モデルを生成する。
本開示の画像処理方法は、座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶し、前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力し、前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータであって、前記画像上の座席の所定点に基づく線分の傾きと予め定められた傾きとに基づいて前記画像を変換させるパラメータである。
本開示の画像処理プログラムは、座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する処理と、前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する処理と、をコンピュータに実行させ、前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータであって、前記画像上の座席の所定点に基づく線分の傾きと予め定められた傾きとに基づいて前記画像を変換させるパラメータである。
本発明によれば、低コストで精度良く乗員の状態を検知できる。
車両におけるカメラの設置例を示す図 着座状態の撮影画像と非着座状態の撮影画像の一例を示す図 特徴量のプロット例を示す図 着座状態の撮影画像の一例を示す図 特徴量のプロット例を示す図 本発明の実施の形態に係る学習装置の構成例を示すブロック図 本発明の実施の形態に係る学習装置の動作例を示すフローチャート 変換パラメータの算出処理に用いられる画像の一例を示す図 算出された座標および基準座標の一例を示す図 変換パラメータを用いて変換された画像の一例を示す図 本発明の実施の形態に係る検知装置の構成例を示すブロック図 本発明の実施の形態に係る検知装置の動作例を示すフローチャート 本発明の変形例に係るパラメータの算出処理の一例を説明する図 本発明の変形例に係るパラメータの算出処理の一例を説明する図 本発明の変形例に係る学習装置の構成例を示すブロック図 本発明の変形例に係る検知装置の構成例を示すブロック図
＜発明に至った知見＞
従来、車両の乗員の状態を学習し、学習結果に基づいて検知する技術では、車室内に設置されたカメラが用いられる。カメラの設置例を、図１（ａ）および図１（ｂ）に示す。図１（ａ）は車両を側方から見た断面図であり、図１（ｂ）は車両を真上から見た断面図である。
カメラ１０は、例えば近赤外線カメラであり、図１（ａ）および図１（ｂ）に示すように、車両１の車室内において天井近くに設置される。カメラ１０の角度は、運転席２０に着座した乗員を撮影できるように調整される。
このように設置されたカメラ１０により撮影された画像の一例を図２（ａ）および図２（ｂ）に示す。図２（ａ）は、乗員が運転席２０に着座している状態（以下、着座状態という）を撮影した画像の一例である。図２（ｂ）は、乗員が運転席２０に着座していない状態（以下、非着座状態という）を撮影した画像の一例である。
そして、図２（ａ）の画像および図２（ｂ）の画像は、例えば、ＳＶＭ（Support Vector Machine）などの、教師つき機械学習に用いられる。ＳＶＭでは、例えば、図２（ａ）に示した着座状態の画像が正解画像（正解サンプル）として、図２（ｂ）に示した非着座状態の画像が不正解画像（不正解サンプル）として、それぞれ大量に学習される。これにより、着座状態と非着座状態とを識別するための学習モデルが生成される。
この学習モデルについて、図３を用いて説明する。図３は、正解画像および不正解画像のそれぞれから抽出された特徴量のプロット例を示す図である。なお、図３では、説明の便宜上、抽出された特徴量が２次元で表現される場合を示している。
図３において、丸で示される点は、正解画像から抽出された特徴量（以下、第１特徴量という）であり、菱形で示される点は、不正解画像から抽出された特徴量（以下、第２特徴量という）である。このように第１特徴量群と第２特徴量群が抽出された場合、第１特徴量群と第２特徴量群の双方から最大距離となる直線Ｌが決定される。直線Ｌの上側は正解（着座状態）であり、直線Ｌの下側は不正解（非着座状態）である。学習モデルは、特徴量が直線Ｌの上側にあるか下側にあるかを識別するための数値を算出する関数である。
ところで、車両には様々な車種が存在し、車種によって例えば車高、バックミラーおよびルームランプの位置、内装デザインなどが異なる。そのため、カメラの設置位置は、車種によって異なる可能性がある。なお、本実施の形態でいう「カメラの設置位置」には、カメラの設置角度が含まれるとする。
カメラの設置位置が異なれば、撮影された画像における乗員の映り方（以下、見かけという）も異なることになる。例えば、図２（ａ）の画像の撮影時に比べて、カメラ１０をより乗員に近い位置に、かつ、ピッチ角が大きくなるよう設置して着座状態を撮影した場合、図４に示す画像となる。図４の画像では、図２（ａ）の画像に比べて、乗員はより大きく映り、乗員の上半身は左側に傾くように映っている。すなわち、図２（ａ）の画像と図４の画像は両方とも、着座状態を撮影した画像であるが、乗員の見かけが異なる。
図４のような画像を正解画像として学習する場合、抽出される特徴量も異なる。この例を図５に示す。図５において、星型の点は、図４のような画像から抽出された特徴量である。図５に示すように、星型の点は、直線Ｌの上側と下側に分布している。そのため、着座状態または非着座状態の識別を精度良く行うことができない。
高精度の識別を実現するためには、カメラの設置位置毎に学習モデルを生成すればよい。しかし、そのためには、一般的には少なくとも十万オーダーの正解画像と不正解画像を準備する必要がある。また、正解画像は、様々な条件（例えば、姿勢、体格、服装等）の乗員が撮影された画像である必要がある。このようなことから、カメラの設置位置毎に学習モデルを生成するためには、多大なコストがかかる。
そこで、本願発明者は、複数のカメラの設置位置に対応する１つの学習モデル（換言すれば、カメラの設置位置に依存しない１つの学習モデル）を生成することに着目した。そのために、学習に用いられる正解画像と不正解画像、状態検知の対象である撮影画像において乗員が同じような見え方（同じような見かけ）となるように、各画像を変換（正規化ともいう）することとした。画像上の乗員の見かけが同じであれば、特徴量も近い値が抽出されるため、状態検知を高精度に実現できる学習モデルを生成できる。画像の変換には、変換パラメータを用いるが、これについては後述する。
座席に着座した乗員は様々な体勢をとるため、乗員の身体の角度は座席の背もたれの角度で常に近似できる訳ではないが、乗員の体勢は座席の背もたれの角度または座席の位置によって制限されるため、乗員の見かけの違いは、座席の見かけの違いで近似できると言える。
また、車両の座席は、車種によって形状に多少の違いはあるものの、大きさ、位置などはほとんど同じである。よって、座席の見かけは、カメラの設置位置と相関関係にあると言える。
以上のことから、本発明は、学習時において、正解画像および不正解画像のそれぞれを、座席が同じ見え方となるように変換し、変換後の各画像に基づいて、カメラの設置位置に依存しない１つの学習モデルを生成するようにする。これにより、本発明は、学習用の画像をカメラの設置位置ごとに大量に用意する必要がなくなり、コストを低減できる。
また、本発明は、乗員の状態の検知時において、状態検知の対象となる撮影画像を、学習時における座席の見かけと同じ見え方となるように変換し、変換後の画像と上記学習モデルに基づいて、乗員の状態を検知するようにする。これにより、本発明は、乗員の状態の検知を精度良く実現できる。
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
＜学習装置の構成＞
本実施の形態に係る学習装置１００の構成について、図６を用いて説明する。図６は、学習装置１００の構成例を示すブロック図である。
図６に示すように、学習装置１００は、画像処理装置１１０および学習部１２０を有する。画像処理装置１１０は、画像記憶部１１１、変換パラメータ記憶部１１２、および画像変換部１１３を有する。学習装置１００は、後述する検知装置１０１で使用される学習モデルを生成する装置である。
なお、図示は省略するが、学習装置１００および画像処理装置１１０は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、図６に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
画像記憶部１１１は、学習用の画像として、複数の正解画像と複数の不正解画像を記憶する。正解画像は、例えば、乗員の着座状態を示す画像（例えば、図２（ａ）、図４参照）である。不正解画像は、例えば、乗員の非着座状態を示す画像である。不正解画像は、着座していない状態の乗員の画像のほか、乗員が着座していない座席の画像（例えば、図２（ｂ）参照）を含む。
正解画像と不正解画像は、カメラの設置位置毎に撮影されたものであればよく、乗員の体勢毎、服装毎に用意される必要はない。
また、正解画像および不正解画像には、それらの画像を撮影したカメラの設置位置を示す情報（以下、設置位置情報という）が対応付けられている。
なお、本実施の形態では、座席に着座する乗員が人間である場合を例に挙げて説明するが、乗員は、人間に限らず、その他の生物であってもよい。
変換パラメータ記憶部１１２は、変換パラメータを記憶する。変換パラメータは、設置位置が異なる各カメラで撮影された正解画像、不正解画像および撮影画像のそれぞれにおける座席の見かけ（見え方）を、予め定められた座席の見かけに近似させる（または、予め定められた座席の見かけと同じにする）ように、画像を変換するためのパラメータである。
変換パラメータは、カメラの設置位置毎に算出される（算出方法については後述する）。よって、変換パラメータ記憶部１１２は、複数の変換パラメータを記憶する。各変換パラメータには、カメラの設置位置を示す設置位置情報が対応付けられている。
画像変換部１１３は、画像記憶部１１１から正解画像および不正解画像を読み出し、それらの画像に付された設置位置情報に対応する変換パラメータを変換パラメータ記憶部１１２から読み出す。
そして、画像変換部１１３は、読み出された変換パラメータに基づいて、読み出された正解画像および不正解画像の変換を行う。以下、変換後の正解画像を「変換正解画像」といい、変換後の不正解画像を「変換不正解画像」という。
この画像変換処理によって、設置位置が異なるカメラによって撮影された各正解画像および各不正解画像における座席の見かけは、同じようになる。
そして、画像変換部１１３は、変換正解画像および変換不正解画像を学習部１２０へ出力する。
学習部１２０は、画像変換部１１３から変換正解画像および変換不正解画像を受け取る。
そして、学習部１２０は、変換正解画像および変換不正解画像から特徴量を抽出し、抽出された特徴量に基づいて、学習モデルを生成する。
そして、学習部１２０は、生成された学習モデルを所定装置へ出力する。所定装置は、例えば、後述する検知装置１０１の検知部１４０（図１１参照）、または、検知部１４０がアクセス可能な記憶装置（図示略）などである。
以上、学習装置１００の構成について説明した。
＜学習装置の動作＞
本実施の形態に係る学習装置１００の動作について、図７を用いて説明する。図７は、学習装置１００の動作例を示すフローチャートである。
まず、画像変換部１１３は、正解画像、不正解画像、および、それらに対応する変換パラメータを読み出す（ステップＳ１０１）。
次に、画像変換部１１３は、変換パラメータを用いて、正解画像および不正解画像の変換を行う（ステップＳ１０２）。そして、画像変換部１１３は、変換正解画像および変換不正解画像を学習部１２０へ出力する。
次に、学習部１２０は、画像変換部１１３から受け取った変換正解画像および変換不正解画像に基づいて、学習モデルを生成する（ステップＳ１０３）。そして、学習部１２０は、生成された学習モデルを所定装置へ出力する。
以上、学習装置１００の動作について説明した。
＜変換パラメータの算出例＞
変換パラメータの算出例について、図８〜図１０を用いて説明する。以下では、射影変換を例に挙げて説明する。また、以下に説明する変換パラメータの算出処理は、学習装置１００またはそれ以外の装置（図示略）により行われるが、以下では学習装置１００が行う場合を例に挙げて説明する。
まず、学習装置１００は、例えば図８に示す画像３１〜３３を所定装置（カメラまたは画像記憶装置）から受け取る。画像３１〜３３は、座席が撮影された画像である。画像３１〜３３を撮影したカメラの設置位置は、それぞれ、異なるものとする。このため、画像３１〜３３上の座席の見かけは異なる。例えば、図８に示した点線は、各画像上の座席における点ａ〜ｄの位置の違い（ずれ）を示している。
次に、学習装置１００は、画像３１〜３３上の各座席における点ａ〜ｄの座標を算出する。点ａは、座席の背もたれの右側上方の点であり、点ｂは、座席の背もたれの左側上方の点である。また、点ｃは、座席の座面の左側前方の点であり、点ｄは、座席の座面の右側前方の点である。
このようにして算出された座標の一例を図９に示す。図９は、画像毎に算出された点ａ〜ｄのｘ座標とｙ座標を示している。また、図９に示した基準座標は、変換後の目標として定められた座標である。
学習装置１００は、各画像３１〜３３における点ａ〜ｄの座標が、基準座標として定められた点ａ〜ｄの座標と一致するように変換パラメータを算出する。これにより、画像３１〜３３毎に変換パラメータが算出される。すなわち、カメラの設置位置毎に変換パラメータが算出される。
そして、学習装置１００は、算出された変換パラメータを、例えば変換パラメータ記憶部１１２に記憶させる。このとき、上述したとおり、各変換パラメータには、カメラの設置位置を示す設置位置情報が対応付けられる。なお、算出された変換パラメータは、例えば、学習装置１００の製品出荷前に、変換パラメータ記憶部１１２に記憶される。
算出された変換パラメータによって変換された各画像の例を図１０に示す。画像３１ａは、図８に示した画像３１が変換パラメータによって変換された画像である。画像３２ａは、図８に示した画像３２が変換パラメータによって変換された画像である。画像３３ａは、図８に示した画像３３が変換パラメータによって変換された画像である。このように変換後の画像３１ａ〜３３ａでは、図１０の点線に示すように、各画像上の座席における点ａ〜ｄの見かけの位置が同じようになる（図８に示したずれが解消される）。すなわち、画像３１ａ〜３３ａ上の座席の見かけは同じようになる。
なお、カメラの設置位置の違いだけではなく、撮影された座席の車室内における実際の座席角度（例えば、背もたれの角度）および座席位置（例えば、座面の前端の位置）の違いによっても各画像上の座席の見かけは異なる。そのため、画像３１〜３３毎に座席角度の情報および座席位置の情報が対応付けられている場合には、各変換パラメータは、座席角度、座席位置、およびカメラの設置位置に基づいて決定される、画像上の座席における複数点の座標を用いて算出されてもよい。また、変換パラメータがカメラの設置位置毎に算出される場合には、変換パラメータは、カメラ設置位置毎に予め設定された座席角度および座席位置それぞれの代表的な数値を用いて算出されてもよい。座席角度および座席位置それぞれの代表的な数値とは、例えば車両の乗員となることが想定される一般的な体格の男性が着座した場合の座席角度および座席位置である。
以上、変換パラメータの算出例について説明した。
＜検知装置の構成＞
本実施の形態に係る検知装置１０１の構成について、図１１を用いて説明する。図１１は、検知装置１０１の構成例を示すブロック図である。
図１１に示す検知装置１０１は、例えば、車両等の移動体において用いられる。すなわち、検知装置１０１は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、本実施の形態では、検知装置１０１が車両に適用されたものとして説明するが、車両に限定されない。
図１１に示すように、検知装置１０１は、画像処理装置１３０および検知部１４０を有する。画像処理装置１３０は、画像入力部１３１、変換パラメータ記憶部１３２、および画像変換部１３３を有する。
なお、図示は省略するが、検知装置１０１および画像処理装置１３０は、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、ＲＡＭ等の作業用メモリ、および通信回路を有する。この場合、図１１に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
画像入力部１３１は、カメラ２００から、状態検知の対象となる撮影画像を受け取る。カメラ２００は、図１に示したカメラ１０と同様に、車室内の所定位置に設置され、座席、または、その座席に着座した乗員を撮影する。なお、ここでは例として、カメラ２００は、車両の出荷前に、車室内の所定位置に固定して取り付けられているとする。
そして、画像入力部１３１は、カメラ２００から受け取った撮影画像を画像変換部１３３へ出力する。
なお、ここでは、画像入力部１３１がカメラ２００から撮影画像を受け取る場合を例に挙げて説明したが、画像入力部１３１は、カメラ２００以外の装置（例えば、カメラ２００から撮影画像を受け取る記憶装置）から撮影画像を受け取ってもよい。
変換パラメータ記憶部１３２は、カメラ２００の設置位置に対応する１つの変換パラメータを記憶する。この変換パラメータは、上記「変換パラメータの算出例」で説明したように、カメラ２００の設置位置に対応して予め算出されたものであり、例えば、検知装置１０１の製品出荷前に、変換パラメータ記憶部１３２に記憶される。
画像変換部１３３は、画像入力部１３１から撮影画像を受け取り、変換パラメータ記憶部１３２から変換パラメータを読み出す。
そして、画像変換部１３３は、変換パラメータに基づいて、撮影画像の変換を行う。変換後の撮影画像を、以下「変換撮影画像」という。
そして、画像変換部１３３は、変換撮影画像を検知部１４０へ出力する。
検知部１４０は、画像変換部１３３から変換撮影画像を受け取り、その変換撮影画像から特徴量を抽出する。
そして、検知部１４０は、抽出された特徴量と、学習装置１００によって生成された学習モデルとに基づいて、乗員の状態（例えば、乗員が着座状態であるかまたは非着座状態であるか）を検知する。
そして、検知部１４０は、検知結果を示す情報（以下、検知結果情報という）を所定装置へ出力する。所定装置は、図示は省略するが、例えば、車両の走行を制御するＥＣＵ（Electronic Control Unit）、または記憶装置等が挙げられる。
以上、検知装置１０１の構成について説明した。
＜検知装置の動作＞
本実施の形態に係る検知装置１０１の動作について、図１２を用いて説明する。図１２は、検知装置１０１の動作例を示すフローチャートである。
まず、画像入力部１３１は、カメラ２００から撮影画像を受け取る（ステップＳ２０１）。そして、画像入力部１３１は、その撮影画像を画像変換部１３３へ出力する。
次に、画像変換部１３３は、画像入力部１３１から撮影画像を受け取り、変換パラメータ記憶部１３２から変換パラメータを読み出す（ステップＳ２０２）。
次に、画像変換部１３３は、変換パラメータを用いて撮影画像の変換を行う（ステップＳ２０３）。そして、画像変換部１３３は、変換撮影画像を検知部１４０へ出力する。
検知部１４０は、画像変換部１３３から受け取った変換撮影画像に基づいて、乗員の状態を検知する（ステップＳ２０４）。そして、検知部１４０は、検知結果情報を所定装置へ出力する。
以上、検知装置１０１の動作について説明した。
＜本実施の形態の効果＞
以上説明したように、本実施の形態によれば、学習時において、設置位置が異なるカメラによって撮影された正解画像および不正解画像のそれぞれを、座席が同じ見え方となるように変換し、変換後の各画像に基づいて、カメラの設置位置に依存しない１つの学習モデルを生成する。これにより、学習用の画像をカメラの設置位置ごとに大量に用意する必要がなくなり、コストを低減できる。
また、本実施の形態によれば、乗員の状態の検知時において、状態検知の対象となる撮影画像を、学習時における座席の見かけと同じ見え方となるように変換し、変換後の画像と上記学習モデルに基づいて、乗員の状態を検知する。これにより、乗員の状態を精度良く検知できる。
＜本発明の変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
（変形例１）
上記実施の形態では、画像上の座席の４点（点ａ〜ｄ）の座標が基準座標と同じになるように変換パラメータを算出する場合を例に挙げて説明したが、変換パラメータの算出方法は、これに限定されない。例えば、画像上の座席の予め定められた点を結ぶ線を用いて変換パラメータを算出してもよい。この具体例について、図１３、図１４を用いて以下に説明する。
まず、第１の算出方法について、図１３を用いて説明する。
例えば、まず、学習装置１００は、所定装置（カメラまたは画像記憶装置）から画像４１、４２を受け取る。画像４１および画像４２は、それぞれ、異なる設置位置のカメラにより撮影された座席の画像である。
次に、学習装置１００は、画像４１、４２のそれぞれにおいて、線分Ｌ１、Ｌ２を算出する。線分Ｌ１、Ｌ２は、それぞれ、画像上のヘッドレストの頂点ｅと、画像上の背もたれと画像上の座面の境界の中点ｆとを結ぶ仮想線である。また、学習装置１００は、線分Ｌ１、Ｌ２それぞれの傾き（角度）を算出する。ここでいう傾きは、例えば、画像４１、４２の垂直方向に対する傾き（角度）である。
次に、学習装置１００は、線分Ｌ１、Ｌ２の傾きが、予め定められた傾き（例えば、垂直）に一致するように変換パラメータを算出する。そして、学習装置１００は、算出された変換パラメータに設置位置情報を対応付けて、変換パラメータ記憶部１１２に記憶させる。
図１３に示す画像４１ａ、４２ａは、それぞれ、算出された変換パラメータを用いて画像４１、４２が変換された画像である。画像４１ａ、４２ａでは、それぞれ、線分Ｌ１、Ｌ２が垂直に変換され、座席の見かけが近似している。
次に、第２の算出方法について、図１４を用いて説明する。
例えば、まず、学習装置１００は、所定装置（カメラまたは画像記憶装置）から画像５１、５２を受け取る。画像５１および画像５２は、それぞれ、異なる設置位置のカメラにより撮影された座席および着座状態の乗員の画像である。
次に、学習装置１００は、画像４１、４２のそれぞれにおいて、線分Ｌ１、Ｌ２を算出する。線分Ｌ１、Ｌ２は、第１の算出方法で説明した通りである。
次に、学習装置１００は、線分Ｌ１、Ｌ２の傾きが、予め定められた傾き（例えば、垂直）に一致するように変換パラメータを算出する。
図１４に示す画像５１ａ、５２ａは、それぞれ、算出された変換パラメータを用いて画像５１、５２が変換された画像である。画像５１ａ、５２ａでは、それぞれ、線分Ｌ１、Ｌ２が垂直に変換され、座席および着座状態の乗員の見かけが近似している。
次に、学習装置１００は、線分Ｌ１、Ｌ２の長さが、予め定められた長さになるように変換パラメータを補正する。そして、学習装置１００は、補正された変換パラメータに設置位置情報を対応付けて、変換パラメータ記憶部１１２に記憶させる。
図１４に示す画像５１ｂ、５２ｂは、それぞれ、補正された変換パラメータを用いて画像５１ａ、５２ａが変換された画像である。図１４の例では、線分Ｌ１と線分Ｌ２が同じ長さとなるように、画像５１ａが拡大されて画像５１ｂとなり、画像５２ａが縮小されて画像５２ｂとなっている。これにより、画像５１ｂ、５１ｂでは、それぞれ、座席および着座状態の乗員の見かけが近似している。
このようにして算出された本変形例の変換パラメータは、実施の形態と同様に、学習装置１００における画像変換処理（図７のステップＳ１０２）、および、検知装置１０１における画像変換処理（図１２のステップＳ２０３）に用いられる。
（変形例２）
上記実施の形態では、検知装置１０１の変換パラメータ記憶部１３２には、カメラ２００の設置位置に対応した１つの変換パラメータが記憶されている場合を例に挙げて説明したが、複数の変換パラメータが記憶されてもよい。
例えば、複数の変換パラメータは、座席角度毎および座席位置毎に予め算出されたものである。よって、変換パラメータ記憶部１３２に記憶される複数の変換パラメータの各々には、座席角度情報および座席位置情報が対応付けられている。
この場合、まず、画像変換部１３３は、座席角度および座席位置を検知可能な座席センサ（図示略）から、例えばＣＡＮ（Controller Area Network）経由で座席角度情報および座席位置情報を受け取る。ここでの座席角度情報および座席位置情報は、それぞれ、カメラ２００による撮影画像の撮影時における、座席角度および座席位置を示す情報である。
次に、画像変換部１３３は、変換パラメータ記憶部１３２に記憶されている複数の変換パラメータの中から、座席センサから受け取った座席角度情報および座席位置情報が対応付けられている変換パラメータを選択する。そして、画像変換部１３３は、その変換パラメータをパラメータ記憶部１３２から読み出し、その変換パラメータを用いて撮影画像の変換を行う。
なお、上記説明では、画像変換部１３３が座席センサから座席角度情報および座席位置情報を受け取る場合を例に挙げて説明したが、これに限定されない。例えば、画像変換部１３３は、画像入力部１３１から受け取った撮影画像に対して所定の画像解析を行い、座席角度情報および座席位置情報を取得してもよい。
また、上記説明では、複数の変換パラメータが、座席角度情報および座席位置情報に対応付けられている場合を例に挙げて説明したが、座席角度情報または座席位置情報のいずれか一方に対応付けられていてもよい。
本変形例によれば、座席角度毎および／または座席位置毎に算出された変換パラメータを用いて撮影画像の変換を行うので、検知の際に、乗員が座席角度および／または座席位置を変更した場合に対応でき、より検知の精度が向上する。
（変形例３）
上記実施の形態では、カメラが車室内の所定位置に予め固定されている場合を例に挙げて説明したが、カメラは、車両の製品出荷後に、ユーザによって車室内に後付けされてもよい。この場合では、検知時における変換パラメータは、以下のようにして算出または決定される。
まず、変換パラメータが算出される場合の一例について説明する。
検知装置１０１の製品出荷時には、カメラの設置位置が未定であるため、変換パラメータ記憶部１３２には、変換パラメータは記憶されていない。その代わり、基準座標（例えば、図９に示した点ａ〜ｄの座標）が変換パラメータ記憶部１３２に記憶されている。
ユーザにより車室内に設置されたカメラにより、状態検知の対象となる撮影画像が取得される。
まず、画像変換部１３３は、画像入力部１３１からその撮影画像を受け取り、変換パラメータ記憶部１３２から４点の基準座標を読み出す。次に、画像変換部１３３は、撮影画像上の座席における４点（例えば、図８に示した点ａ〜ｄ）の座標を算出し、それらの座標が基準座標になるように変換パラメータを算出する。そして、画像変換部１３３は、算出された変換パラメータを用いて撮影画像の変換を行う。また、画像変換部１３３は、算出された変換パラメータを変換パラメータ記憶部１３２に記憶させる。
次に、変換パラメータが決定される場合の一例について説明する。
検知装置１０１の製品出荷時には、想定されるカメラの設置位置に対応して複数の変換パラメータが、変換パラメータ記憶部１３２に記憶されている。また、基準座標（例えば、図９に示した点ａ〜ｄの座標）も記憶されているとする。
その後、ユーザによりカメラが車室内に設置され、そのカメラにより、状態検知の対象となる撮影画像が取得されたとする。
まず、画像変換部１３３は、画像入力部１３１からその撮影画像を受け取り、変換パラメータ記憶部１３２から、全ての変換パラメータと、４点の基準座標とを読み出す。次に、画像変換部１３３は、撮影画像上の座席における４点（例えば、図８に示した点ａ〜ｄ）の座標を算出し、それらの座標を、各変換パラメータを用いて変換する。次に、画像変換部１３３は、各変換後の座標と、基準座標との比較を行う。この比較の結果、画像変換部１３３は、最も基準座標に近い変換後の座標を選択し、その変換後の座標に対して用いられた変換パラメータを、撮影画像の変換に用いる変換パラメータに決定する。そして、画像変換部１３３は、決定された変換パラメータを用いて撮影画像の変換を行う。
（変形例４）
また、上記実施の形態では、座席の所定の点の画像における見かけの位置に基づいて変換パラメータを算出したが、これに限定されない。例えば、車室内の装置（乗員が乗車した際に座席位置に制限を与える装置。例えば、ステアリング）の所定の点の画像における見かけの位置に基づいて変換パラメータを算出してもよい。または、座席の所定の点の画像における見かけの位置と、車室内の装置の所定の点の画像における見かけの位置とに基づいて変換パラメータを算出してもよい。
（変形例５）
上記実施の形態では、学習の対象および検知の対象が着座状態または非着座状態である場合を例に挙げて説明したが、学習の対象および検知の対象は、これに限定されず、例えば、人物の体勢、顔などであってもよい。
（変形例６）
上記実施の形態では、学習装置１００と検知装置１０１が別々の構成である場合を例に挙げて説明したが、学習装置１００と検知装置１０１とを合わせて１つの学習検知装置として構成してもよい。その場合、画像処理装置１１０と画像処理装置１３０とを合わせて１つの画像処理装置として構成してもよい。
（変形例７）
上記実施の形態では、学習装置１００の画像処理装置１１０が画像記憶部１１１と変換パラメータ記憶部１１２を有する場合を例に挙げて説明したが、画像記憶部１１１と変換パラメータ記憶部１１２は、例えば図１５に示すように、画像処理装置１１０の外部に設けられてもよい。その場合、画像処理装置１１０は、画像記憶部１１１から正解画像および不正解画像を受け取る画像入力部１１４と、変換パラメータ記憶部１１２から変換パラメータを受け取る変換パラメータ入力部１１５とを備える構成としてもよい。なお、画像入力部１１４と変換パラメータ入力部１１５を合わせて１つの入力部として構成してもよい。
また、上記実施の形態では、検知装置１０１の画像処理装置１３０が変換パラメータ記憶部１３２を有する場合を例に挙げて説明したが、変換パラメータ記憶部１３２は、例えば図１６に示すように、画像処理装置１３０の外部に設けられてもよい。その場合、画像処理装置１３０は、変換パラメータ記憶部１３２から変換パラメータを受け取る変換パラメータ入力部１３５を備える構成としてもよい。なお、画像入力部１３１と変換パラメータ入力部１３５を合わせて１つの入力部として構成してもよい。
本発明は、所定の状態の学習および検知に用いられる画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラムに有用である。
１ 車両
１０、２００ カメラ
２０ 運転席
１００ 学習装置
１０１ 検知装置
１１０、１３０ 画像処理装置
１１１ 画像記憶部
１１２、１３２ 変換パラメータ記憶部
１１３、１３３ 画像変換部
１１４、１３１ 画像入力部
１１５、１３５ 変換パラメータ入力部
１２０ 学習部
１４０ 検知部

Claims (7)

  1. 座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する変換パラメータ記憶部と、
    前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する画像変換部と、を有し、
    前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータであって、前記画像上の座席の所定点に基づく線分の傾きと予め定められた傾きとに基づいて前記画像を変換させるパラメータである、
    画像処理装置。
  2. 前記変換パラメータは、
    前記画像上の座席の所定点に基づく線分の傾きが予め定められた傾きと一致するように、前記画像を変換させるパラメータである、
    請求項１に記載の画像処理装置。
  3. 請求項１または２に記載の画像処理装置を含む検知装置であって、
    学習モデルと前記画像処理装置に含まれる画像変換部から出力された変換後の画像から抽出された特徴量とに基づいて、該画像における所定状態を検知する検知部、を有する、
    検知装置。
  4. 請求項１または２に記載の画像処理装置を含む学習装置であって、
    前記カメラによって撮影された、前記座席における第１状態を示す正解画像と、前記座席における第２状態を示す不正解画像とを受け取る画像入力部と、
    前記正解画像および前記不正解画像から抽出された特徴量に基づいて学習モデルを生成する学習部と、を有し、
    前記画像処理装置に含まれる画像変換部は、前記変換パラメータに基づいて、前記画像入力部が受け取った前記正解画像および前記不正解画像を変換し、変換後の正解画像および変換後の不正解画像を前記学習部へ出力し、
    前記学習部は、前記画像変換部から出力された前記変換後の正解画像および前記変換後の不正解画像から抽出された特徴量に基づいて学習モデルを生成する、
    学習装置。
  5. 前記第１状態は、
    前記座席に人物が着座している状態であり、
    前記第２状態は、
    前記座席に人物が着座していない状態である、
    請求項４に記載の学習装置。
  6. 座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶し、
    前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力し、
    前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータであって、前記画像上の座席の所定点に基づく線分の傾きと予め定められた傾きとに基づいて前記画像を変換させるパラメータである、
    画像処理方法。
  7. 座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する処理と、
    前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する処理と、をコンピュータに実行させ、
    前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータであって、前記画像上の座席の所定点に基づく線分の傾きと予め定められた傾きとに基づいて前記画像を変換させるパラメータである、
    画像処理プログラム。
JP2016199340A 2016-10-07 2016-10-07 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム Active JP6814977B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016199340A JP6814977B2 (ja) 2016-10-07 2016-10-07 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム
US15/713,604 US10417511B2 (en) 2016-10-07 2017-09-23 Image processor, detection apparatus, learning apparatus, image processing method, and computer program storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016199340A JP6814977B2 (ja) 2016-10-07 2016-10-07 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2018060466A JP2018060466A (ja) 2018-04-12
JP6814977B2 true JP6814977B2 (ja) 2021-01-20

Family

ID=61829684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016199340A Active JP6814977B2 (ja) 2016-10-07 2016-10-07 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム

Country Status (2)

Country Link
US (1) US10417511B2 (ja)
JP (1) JP6814977B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7173811B2 (ja) * 2018-09-27 2022-11-16 株式会社アイシン 乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラム
US11783602B2 (en) 2018-11-05 2023-10-10 Nec Corporation Object recognition system, recognition device, object recognition method, and object recognition program
KR20190103085A (ko) * 2019-08-15 2019-09-04 엘지전자 주식회사 지능형 진단 디바이스
CN114981837A (zh) * 2020-01-24 2022-08-30 三菱电机株式会社 物体识别装置及物体识别方法
US11951935B2 (en) * 2021-07-22 2024-04-09 GM Global Technology Operations LLC System and method for assessing seatbelt routing using seatbelt routing zones that are based on size and shape of occupant

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609893B2 (en) * 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム，車両内状態検知装置および方法
JP2011210087A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 車両周囲監視装置および車両周囲監視方法
JP2012044404A (ja) * 2010-08-18 2012-03-01 Toyota Motor Corp 車室内監視装置
US8582819B2 (en) * 2011-11-18 2013-11-12 Xerox Corporation Methods and systems for improving yield in wanted vehicle searches
WO2016012041A1 (en) * 2014-07-23 2016-01-28 Metaio Gmbh Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
US9996772B2 (en) * 2016-04-28 2018-06-12 International Business Machines Corporation Detection of objects in images using region-based convolutional neural networks
US10210451B2 (en) * 2016-07-22 2019-02-19 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments

Also Published As

Publication number Publication date
US20180101741A1 (en) 2018-04-12
JP2018060466A (ja) 2018-04-12
US10417511B2 (en) 2019-09-17

Similar Documents

Publication Publication Date Title
JP6814977B2 (ja) 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム
JP2021504236A5 (ja)
US9822576B2 (en) Method for operating an activatable locking device for a door and/or a window, securing device for a vehicle, vehicle
JP2021504236A (ja) 車両シート知能化調節方法及び装置、車両、電子機器並びに媒体
US7065230B2 (en) Image processing system and driving support system
US20170004354A1 (en) Determination device, determination method, and non-transitory storage medium
JP6739672B2 (ja) 体格推定装置および体格推定方法
JP5790762B2 (ja) 瞼検出装置
JP6870294B2 (ja) 乗員情報検出装置およびプログラム
US20060280336A1 (en) System and method for discriminating passenger attitude in vehicle using stereo image junction
US7295123B2 (en) Method for detecting a person in a space
JP2020047273A (ja) ３次元特徴点情報生成装置
EP3545818A1 (en) Sight line direction estimation device, sight line direction estimation method, and sight line direction estimation program
JP7134364B2 (ja) 体格判定装置および体格判定方法
JP2019189101A (ja) 乗員情報判定装置
US7134688B2 (en) Safety apparatus against automobile crash
JP5082620B2 (ja) 余所見判定装置
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
EP3650267B1 (en) Control device for vehicle, system, method and storage medium
JP2022038225A (ja) 顔情報取得装置および顔情報取得方法
JP2021056968A (ja) 物体判定装置
JPH11217056A (ja) 乗員の姿勢判別装置
JP7259550B2 (ja) 物***置検出装置
KR20180031146A (ko) 차량 및 장애물 검출 방법
CN117121061A (zh) 用于生成注意区域的计算机实现的方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190703

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201204

R151 Written notification of patent or utility model registration

Ref document number: 6814977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03