JP2022133723A - 身体情報取得装置 - Google Patents
身体情報取得装置 Download PDFInfo
- Publication number
- JP2022133723A JP2022133723A JP2021032579A JP2021032579A JP2022133723A JP 2022133723 A JP2022133723 A JP 2022133723A JP 2021032579 A JP2021032579 A JP 2021032579A JP 2021032579 A JP2021032579 A JP 2021032579A JP 2022133723 A JP2022133723 A JP 2022133723A
- Authority
- JP
- Japan
- Prior art keywords
- physical information
- imaging state
- information acquisition
- captured image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 192
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 238000011156 evaluation Methods 0.000 claims abstract description 31
- 238000009966 trimming Methods 0.000 claims description 5
- 238000010191 image analysis Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 208000003443 Unconsciousness Diseases 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 108010066114 cabin-2 Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- PICXIOQBANWBIZ-UHFFFAOYSA-N zinc;1-oxidopyridine-2-thione Chemical class [Zn+2].[O-]N1C=CC=CC1=S.[O-]N1C=CC=CC1=S PICXIOQBANWBIZ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Chair Legs, Seat Parts, And Backrests (AREA)
- Seats For Vehicles (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、身体情報取得装置に関するものである。
従来、撮影画像に含まれる人の骨格点を検出することにより、その撮像された人の身体情報を取得する身体情報取得装置がある。例えば、特許文献1に記載の乗員情報判定装置は、車両の乗員を撮像することにより、その骨格点となる乗員の頭部を検出する。更に、この乗員情報判定装置は、その骨格点に基づく身体寸法として頭部の大きさを検出する。そして、これにより、その撮像された乗員の身体情報として、この乗員の体格及び姿勢を判定する構成になっている。
また、この従来例においては、上記のような骨格点の検出と併せて、その車両のシートに着座する乗員のシート荷重が検出される。そして、例えば、カメラの視野が遮られた場合、或いは画角から乗員の体が外れた場合等、その撮影画像から骨格点の検出ができない場合には、シート荷重に基づいて、その乗員の体格及び姿勢が判定される構成となっている。
しかしながら、撮像可能であっても、その撮影画像に基づいた骨格点の検出精度が低下している可能性がある。そして、このような場合には、その対象となる人の身体情報を精度よく取得できないという問題がある。
上記課題を解決する身体情報取得装置は、撮影画像に含まれる人の骨格点を検出する骨格点検出部と、前記骨格点の検出に基づいて前記人の身体情報を取得する身体情報取得部と、前記撮影画像に映る前記人の撮像状態が予め定められた評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する撮像状態判定部と、を備え、前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記骨格点の検出に基づいた前記身体情報の取得を実行しない。
上記構成によれば、撮影画像に映る人の撮像状態を要因として骨格点の検出精度が低下するような状態を特定撮像状態に設定して、このような場合には、その画像解析による骨格点の検出を身体情報の取得に利用しないことができる。そして、これにより、誤判別の発生を回避して、精度よく、例えば、撮影画像に映る人の体格や姿勢等、その身体情報を取得することができる。
上記課題を解決する身体情報取得装置は、前記人の体動波形を生成する体動波形生成部を備え、前記撮像状態判定部は、前記体動波形に表れる体の動きの大きさを前記撮像状態の前記評価指標値として、前記体の動きの大きさが所定の体動閾値以上である場合に前記特定撮像状態に該当すると判定することが好ましい。
即ち、撮影画像に映る人の「体の動きの大きさ」が大きい場合には、その画像解析による骨格点の検出精度が低下する可能性がある。この点、上記構成によれば、人の体動波形から、その「体の動きの大きさ」が大きい状態が特定される。そして、この状態を特定撮像状態として、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、誤判別の発生を抑制することができる。
更に、体動の発生を、例えば、前かがみや上体ひねり等、人が極端な姿勢をとることにより、そのカメラの画角から外れてしまうような、より大きな「体の動き」を前兆と捉えて、これに伴う判定精度の低下及び誤判別の発生を未然に回避することができる。そして、これにより、より精度よく、その人の身体情報を取得することができる。
上記課題を解決する身体情報取得装置において、前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の高輝度閾値以上である場合に前記特定撮像状態に該当すると判定することが好ましい。
即ち、撮影画像の「輝度」が高い場合には、撮影画像が明るくなることで、その撮影画像に映る人の像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点の検出精度が低下するおそれがある。
この点、上記構成によれば、撮影画像の「輝度」を撮像状態の評価指標値として、その「輝度」が高すぎる状態が特定される。そして、このような状態を特定撮像状態として、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、その誤判別の発生を抑制することができる。
上記課題を解決する身体情報取得装置において、前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の低輝度閾値以下である場合に前記特定撮像状態に該当すると判定することが好ましい。
即ち、撮影画像の「輝度」が低い場合には、撮影画像が暗くなることで、その撮影画像に映る人の像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点の検出精度が低下するおそれがある。
この点、上記構成によれば、撮影画像の「輝度」を撮像状態の評価指標値として、その「輝度」が低すぎる状態が特定される。そして、このような状態を特定撮像状態として、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、その誤判別の発生を抑制することができる。
上記課題を解決する身体情報取得装置において、前記撮像状態判定部は、前記撮影画像に映る前記人の撮像領域をトリミングすることにより、前記撮影画像の輝度に基づいた前記特定撮像状態の判定を実行することが好ましい。
上記構成によれば、撮影画像に映る人の撮像状態について、より精度よく、その撮影画像の「輝度」に基づいた撮像状態判定を実行することができる。
上記課題を解決する身体情報取得装置は、前記身体情報取得部は、前記人の身体情報として、車両のシートに着座する乗員の体格情報を取得することが好ましい。
上記課題を解決する身体情報取得装置は、前記身体情報取得部は、前記人の身体情報として、車両のシートに着座する乗員の体格情報を取得することが好ましい。
即ち、画像解析による骨格点の検出に基づいて乗員の体格情報を判定することにより、例えば、スライド位置やリクライニング位置、或いはリフト位置等、そのシート位置に依らず、精度よく、その乗員の体格を判定することができる。また、乗員の姿勢が変化した場合であっても、精度よく、その体格を判定することができる。更に、骨格点の検出精度が低下するような特定撮像状態にある場合には、その画像解析による骨格点の検出を身体情報の取得に利用しないことにより、誤判別の発生を回避することができる、そして、これにより、精度よく、その乗員の体格情報を取得することができる。
本発明によれば、精度よく、人の身体情報を取得することができる。
以下、身体情報取得装置の一実施形態を図面に従って説明する。
図1及び図2に示すように、本実施形態の車両1には、その車室2内を撮影するカメラ3が設けられている。具体的には、本実施形態の車両1は、その車室2内に前後二列のシート4を配置した所謂4ドアセダンとしての構成を有している。また、カメラ3には、例えば、赤外線カメラ等が用いられる。そして、本実施形態の車両1においては、その車室2の前方側(各図中、左側)から各シート4に着座する乗員5を撮像する位置、例えば、センターコンソール6やオーバーヘッドコンソール7等に、そのカメラ3が設置されている。
図1及び図2に示すように、本実施形態の車両1には、その車室2内を撮影するカメラ3が設けられている。具体的には、本実施形態の車両1は、その車室2内に前後二列のシート4を配置した所謂4ドアセダンとしての構成を有している。また、カメラ3には、例えば、赤外線カメラ等が用いられる。そして、本実施形態の車両1においては、その車室2の前方側(各図中、左側)から各シート4に着座する乗員5を撮像する位置、例えば、センターコンソール6やオーバーヘッドコンソール7等に、そのカメラ3が設置されている。
また、図3に示すように、本実施形態の車両1において、カメラ3が映す車室2内の撮影画像Vdは、制御装置10に入力される。そして、この制御装置10は、その撮影画像Vdを解析する画像解析部11と、この画像解析部11と連携することにより、その画像解析の結果に基づいて、撮影画像Vdに映る車室2内の人、つまりは、車両1の乗員5を認識する人認識部12を備えている。
更に、図3及び図4に示すように、本実施形態の制御装置10は、これらの画像解析部11及び人認識部12と連携することにより、その画像解析の結果に基づいて、その撮影画像Vdに含まれる人Hの骨格点SPを検出する骨格点検出部13を備えている。即ち、骨格点SPは、関節や体表面上の点等、人Hの身体を特徴付ける固有の点であり、例えば、頭部、首、肩、腋、肘、手首、手先、腰、股関節、臀部、膝、足首等が該当する。更に、本実施形態の制御装置10は、この骨格点検出部13による骨格点SPの検出に基づいて、その撮影画像Vdに映る人H、つまりは車両1の乗員5についての身体情報IBを取得する身体情報取得部15を備えている。そして、本実施形態の制御装置10は、これにより、身体情報取得装置20としての機能を有するものとなっている。
詳述すると、本実施形態の人認識部12においては、機械学習により生成された推論モデルを用いることにより、その人Hの認識処理が実行される。そして、骨格点検出部13においてもまた、機械学習により生成された推論モデルを用いることにより、その骨格点SPの検出処理が実行される。
また、本実施形態の身体情報取得部15は、撮影画像Vdに映る人Hの身体情報として、その車両1の乗員5である人Hの体格を判定する体格判定部21を備えている。具体的には、この体格判定部21は、車両1のシート4に着座する乗員5が、「大人」であるか、又は、女性等「小柄な大人」に該当するか、或いは、「子供」であるかを判定する。更に、本実施形態の制御装置10は、この身体情報取得部15において取得した乗員5の身体情報IBを、図示しない上位の制御装置に出力する。そして、本実施形態の車両1においては、これにより、その身体情報IBに含まれる乗員5の体格情報Iphに基づいて、例えば、エアバッグの展開制御等が実行される構成となっている。
尚、本実施形態の身体情報取得部15は、撮影画像Vdに映る人Hの身体情報IBとして、その車両1の乗員5である人Hの姿勢を判定する姿勢判定部22を備えている。本実施形態の制御装置10は、この姿勢判定部22が実行する姿勢判定の結果に基づき取得した乗員5の姿勢情報Ipoについてもまた、この乗員5の身体情報IBとして、図示しない上位の制御装置に出力する。そして、本実施形態の車両1においては、この乗員5の姿勢情報Ipoに基づいて、例えば、エアバッグの展開制御、或いは自動運転制御の許可判定等が実行される構成となっている。
また、図1~図3に示すように、本実施形態の車両1は、各シート4の下方に設けられた荷重センサ25を備えている。尚、この荷重センサ25は、例えば、そのシートクッション下方の四隅、或いは、その車幅方向内側の隅に位置する2つの角部に配置される。そして、本実施形態の制御装置10は、この荷重センサ25の出力信号に基づいて、そのシート4に着座する乗員5のシート荷重WSを検出するシート荷重検出部26を備えている。
更に、本実施形態の制御装置10においては、このシート荷重検出部26において検出されるシート荷重WSもまた、その身体情報取得部15が実行する身体情報IBの取得に利用される。そして、本実施形態の制御装置10は、これにより、より精度よく、その乗員5の身体情報IBを取得することが可能になっている。
(身体情報の取得制御)
次に、本実施形態の制御装置10が実行する身体情報IBの取得制御、詳しくは、乗員5の体格判定について説明する。
次に、本実施形態の制御装置10が実行する身体情報IBの取得制御、詳しくは、乗員5の体格判定について説明する。
図3に示すように、本実施形態の制御装置10は、骨格点SPの検出に基づき人Hの身体情報IBを取得する際、その撮影画像Vdに映る人Hの撮像状態VSを判定する撮像状態判定部27を備えている。具体的には、本実施形態の制御装置10においては、身体情報IBを取得する人Hの撮影画像Vdについて、予め、その撮像状態VSを評価するための評価指標値が設定されている。そして、本実施形態の撮像状態判定部27は、その撮影画像Vdに映る乗員5の撮像状態VSが、この予め定められた撮像状態VSの評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する構成になっている。
また、本実施形態の制御装置10においては、この撮像状態判定部27による判定結果が、身体情報取得部15に入力される。そして、本実施形態の身体情報取得部15は、この撮像状態VSの判定結果に基づいて、その撮影画像Vdに映る乗員5の身体情報IBを取得する際の処理手順、詳しくは、体格判定部21による体格判定の処理手順を変更する構成になっている。
即ち、図5のフローチャートに示すように、本実施形態の制御装置10は、車室2内の撮影画像Vdを取得すると(ステップ101)、画像解析を実行することにより、その撮影画像Vdに含まれる乗員5の骨格点SPを検出する(ステップ102)。次に、制御装置10は、上記ステップ102における骨格点SPの検出処理が正しく行われたか否かを判定する(ステップ103)。尚、本実施形態の制御装置10において、骨格点SPの検出処理が正しく行わない状況には、例えば、カメラ3の視野が遮られた場合、或いはカメラ3の画角から乗員5の体が外れた場合等、その撮影画像Vdから乗員5の骨格点SPが検出できない状況が該当する。更に、制御装置10は、乗員の骨格点SPが検出できていると判定した場合(ステップ103:YES)には、ステップ101において取得した撮影画像Vdに映る乗員5の撮像状態VSについて、その評価指標値Veiを取得する(ステップ104)。そして、本実施形態の制御装置10は、このステップ104において取得した評価指標値Veiに基づいて、その撮影画像Vdに映る乗員5の撮像状態VSが特定撮像状態VS1に該当するか否かの判定処理を実行する(ステップ105)。
次に、本実施形態の制御装置10は、上記ステップ105における撮像状態判定の結果が、特定撮像状態VS1に該当しないことを示す場合(ステップ106:NO)には、通常の撮像状態VS0に対応した身体情報IBの取得処理を実行する(ステップ107)。そして、制御装置10は、上記ステップ105における撮像状態判定の結果が、特定撮像状態VS1に該当することを示す場合(ステップ106:YES)には、その特定撮像状態VS1に対応した身体情報IBの取得処理を実行する(ステップ108)。
また、本実施形態の制御装置10は、上記ステップ103において、乗員の骨格点SPが検出できていないと判定した場合(ステップ103:NO)、上記ステップ104~ステップ108の処理を実行しない。そして、この場合、その骨格点SPの非検出状態VS2にある場合に対応した身体情報IBの取得処理を実行する(ステップ109)。
具体的には、本実施形態の制御装置10は、上記ステップ107の通常時身体情報取得処理として、上記ステップ102において実行した骨格点SPの検出に基づいた身体情報IBの取得処理を実行する。更に、制御装置10は、上記ステップ108の特定時身体情報取得処理として、上記ステップ102における骨格点SPの検出に依らない身体情報IBの取得処理を実行する。つまり、上記ステップ106において特定撮像状態VS1に該当すると判定した場合(ステップ106:YES)には、その骨格点SPの検出に基づいた身体情報IBの取得処理を実行しない。そして、本実施形態の制御装置10は、上記ステップ109の非検出時身体情報取得処理においてもまた、その骨格点SPの検出に依らない身体情報IBの取得処理を実行する。
詳述すると、図3及び図6のフローチャートに示すように、本実施形態の制御装置10において、身体情報取得部15は、通常の撮像状態VS0にある場合(ステップ201:YES)、骨格点検出部13から乗員5の骨格点SPを取得する(ステップ202)。また、身体情報取得部15は、シート荷重検出部26から、その撮影画像Vdに映る乗員5のシート荷重WSを取得する(ステップ203)。更に、身体情報取得部15は、上記ステップ201において取得した骨格点SP及び上記ステップ201において取得した乗員5のシート荷重WSに基づいて、その身体情報IBを取得する乗員5の特徴量FVを算出する(ステップ204)。そして、本実施形態の身体情報取得部15は、このステップ203において算出した乗員5の特徴量FVに基づいて、その身体情報IBの取得処理を実行する(ステップ205)。
具体的には、本実施形態の身体情報取得部15は、例えば、撮影画像Vdから検出される乗員5の頭部や肩等、その骨格点SPの位置に基づいた特徴量FVを算出する。また、身体情報取得部15は、例えば、乗員5の肩幅等、その複数の骨格点SPに示される身体寸法に基づいた特徴量FVを算出する。更に、本実施形態の身体情報取得部15は、乗員5のシート荷重WSに基づいた特徴量FVを算出する。そして、本実施形態の身体情報取得部15においては、これらの特徴量FVを機械学習により生成された推論モデルに対して入力することにより、その体格判定部21による乗員5の体格判定が実行される。
さらに詳述すると、本実施形態の制御装置10は、図5に示す上記ステップ101~ステップ109の処理を周期的に実行する。即ち、本実施形態の制御装置10においては、その骨格点検出部13による骨格点SPの検出、身体情報取得部15による身体情報IBの取得、及び撮像状態判定部27による撮像状態VSの判定が周期的に実行される。
また、図3に示すように、本実施形態の制御装置10において、身体情報取得部15は、前回の周期において取得した人Hの身体情報IBを、その身体情報IBの前回値IBbとして保持する前回値保持部28を備えている。そして、本実施形態の身体情報取得部15は、その非検出時身体情報取得処理(図5参照、ステップ109)として、この身体情報IBの前回値IBbを今回の周期において取得した身体情報IBとする構成になっている。
詳述すると、図7のフローチャートに示すように、本実施形態の身体情報取得部15は、骨格点SPの非検出状態VS2にある場合(ステップ301:YES)には、先ず、その非検出状態VS2が所定時間以上継続しているか否かを判定する(ステップ302)。更に、身体情報取得部15は、この骨格点SPの非検出状態VS2が所定時間以上継続していないと判定した場合(ステップ302:NO)、その前回値保持部28から身体情報IBの前回値IBbを読み出す(ステップ303)。そして、本実施形態の身体情報取得部15は、この前回値IBbを今回の周期における乗員5の身体情報IBとして取得する(ステップ304)。
具体的には、本実施形態の身体情報取得部15においては、骨格点SPの非検出状態VS2にある場合、その体格判定部21が、前回の周期において実行した体格判定の結果、つまりは、体格情報Iphの前回値Iphbを前回値保持部28から取得する。そして、本実施形態の体格判定部21は、この前回値Iphbを今回の周期において取得した乗員5の体格情報Iphとすることで、前回の周期において実行した体格判定の結果を今回の周期における体格判定に引き継ぐ構成になっている。
尚、本実施形態の身体情報取得部15は、上記ステップ302において骨格点SPの非検出状態VS2が所定時間以上継続していると判定した場合(ステップ302:YES)、上記ステップ303及びステップ304の処理を実行しない。そして、撮影画像Vdに映るシート4上には、身体情報IBを取得する乗員5がいない、つまりは、そのシート4が空席であると推定する構成になっている(ステップ305)。
さらに詳述すると、本実施形態の制御装置10においては、撮像状態VSの評価指標値Veiとして、その車室2の撮影画像Vdに映る乗員5の「体の動きの大きさ」が設定されている。そして、本実施形態の撮像状態判定部27は、この乗員5の「体の動きの大きさ」に基づいて、その撮像状態VSの判定処理を実行する構成になっている(図5参照、ステップ104及びステップ105)。
具体的には、図3に示すように、本実施形態の撮像状態判定部27には、撮影画像Vdに映る人Hの体動波形αを生成する体動波形生成部31が設けられている。そして、本実施形態の撮像状態判定部27は、この体動波形αに表れる「体の動きの大きさ」を、撮像状態VSの評価指標値Veiとして、その特定撮像状態VS1に該当するか否かの判定を実行する体動判定部32を備えている。
図3及び図8に示すように、本実施形態の体動波形生成部31は、その記憶領域31mに、上記骨格点検出部13が周期的に検出する骨格点SPの時系列データDtSPを保持する。また、体動波形生成部31は、その記憶領域31mに、上記シート荷重検出部26が周期的に検出するシート荷重WSの時系列データDtWSを保持する。そして、本実施形態の体動波形生成部31は、これらの時系列データDtSP,DtWSに基づいて、その車室2内の撮影画像Vdに映る乗員5の体動波形αを生成する。
図8に示すように、本実施形態の体動波形生成部31において、骨格点SPの時系列データDtSPは、例えば、乗員5が映る撮影画像Vd中のX座標SPx及びY座標SPyに表される。また、本実施形態の体動波形生成部31は、この骨格点SPの時系列データDtSPの周波数解析を行う。具体的には、フィルタ処理の実行により、骨格点SPの時系列データDtSPに含まれる体動周波数成分αx,αyを抽出する。更に、体動波形生成部31は、シート荷重WSの時系列データDtWSについても、同様のフィルタ処理を実行する。そして、本実施形態の体動波形生成部31は、これにより、その乗員5の体動波形αを生成する構成となっている。
また、図3及び図9に示すように、本実施形態の体動判定部32は、この体動波形生成部31が出力する体動波形αの振幅Aを取得する。具体的には、本実施形態の体動判定部32は、乗員5の体動波形αをデジタル処理することにより、その振幅Aを取得する。更に、体動判定部32は、この振幅Aを所定の体動閾値Athと比較する。そして、本実施形態の体動判定部32は、その体動波形αの振幅Aが体動閾値Ath以上である場合に、その撮影画像Vdに映る乗員5の撮像状態VSが、上記特定撮像状態VS1に該当する体動発生状態VS1aであると判定する構成になっている。
即ち、図10のフローチャートに示すように、本実施形態の撮像状態判定部27は、乗員5の骨格点SP及びシート荷重WSの各時系列データDtSP,DtWSを読み出す(ステップ401及びステップ402)。そして、撮像状態判定部27は、これらの各時系列データDtSP,DtWSに基づいて、乗員5の体動波形αを生成する(ステップ403)。
尚、本実施形態の制御装置10においては、骨格点SPの時系列データDtSPに基づいた乗員5の体動波形αが優先される。そして、シート荷重WSの時系列データDtWSに基づいた乗員5の体動波形αは、その補完的な位置づけとなっている。
更に、撮像状態判定部27は、上記ステップ403において生成した体動波形αの振幅Aが体動閾値Ath以上であるか否かを判定する(ステップ404)。そして、撮像状態判定部27は、その体動波形αの振幅Aが体動閾値Ath以上である場合(A≧Ath、ステップ404:YES)に、乗員5の撮像状態VSについて、その乗員5に大きな体動が生じた体動発生状態VS1aであると判定する(ステップ405)。
即ち、体動波形αの振幅Aは、そのまま、撮影画像Vdに映る乗員5の「体の動きの大きさ」を示している。そして、この体動波形αに示される「体の動きの大きさ」が大きい状態、つまり体動発生状態VS1aにある場合には、その画像解析による骨格点SPの検出精度が低下する可能性がある。
この点を踏まえ、本実施形態の制御装置10においては、その撮像状態判定部27に設けられた体動波形生成部31及び体動判定部32によって、撮影画像Vdに映る乗員5の撮像状態VSが、このような体動発生状態VS1aにあることが検知される。そして、本実施形態の制御装置10は、この撮像状態判定部27による撮像状態判定の結果に基づいて、その骨格点SPの検出に依らない特定時身体情報取得処理(図5参照、ステップ108)を実行する構成になっている。
詳述すると、本実施形態の制御装置10において、身体情報取得部15は、このような体動発生状態VS1aにある場合、前回の周期において取得した人Hの身体情報IB、つまりは身体情報IBの前回値IBbを読み出す(ステップ406)。更に、本実施形態の身体情報取得部15は、この前回値IBbを今回の周期における乗員5の身体情報IBとする(ステップ407)。そして、本実施形態の制御装置10は、これにより、その前回の周期において取得した乗員5の身体情報IBを今回の周期に引き継ぐことで、その乗員5の体動を要因とした誤判別の発生を回避する構成になっている。
具体的には、本実施形態の身体情報取得部15においては、体動発生状態VS1aにある場合、その体格判定部21が、前回の周期において実行した体格判定の結果、つまりは、体格情報Iphの前回値Iphbを前回値保持部28から取得する。そして、本実施形態の体格判定部21は、この前回値Iphbを今回の周期において取得した乗員5の体格情報Iphとすることで、その前回の周期における判定結果を今回の周期に引き継ぐ構成となっている。
尚、本実施形態の撮像状態判定部27は、上記ステップ404において、体動波形αの振幅Aが体動閾値Athより小さいと判定した場合(A<Ath、ステップ404:NO)、上記ステップ405~ステップ407の処理を実行しない。更に、撮像状態判定部27は、この場合、撮影画像Vdに映る乗員5に「大きな体動はない」と判定する(体動なし、ステップ408)。そして、本実施形態の制御装置10は、これにより、撮影画像Vdに映る乗員5の撮像状態VSが通常の撮像状態VS0にあると判定されることで、その通常時身体情報取得処理が実行される構成になっている(図5参照、ステップ107)。
また、本実施形態の制御装置10においては、上記のような人Hの「体の動きの大きさ」とともに、その撮像状態VSの評価指標値Veiとして、撮影画像Vdの「輝度」が取得される。そして、本実施形態の撮像状態判定部27は、この撮影画像Vdの「輝度」に基づいて、その撮像状態VSの判定処理を実行する構成になっている(図5参照、ステップ104及びステップ105)。
即ち、撮影画像Vdの「輝度」が高い場合には、撮影画像Vdが明るくなることで、その撮影画像Vdに映る人Hの像が不鮮明になる可能性がある。特に、赤外線カメラを用いた場合等、その撮影画像Vdがモノクロ画像である場合には、この撮影画像Vdに含まれる人Hの像が全体的に白色で表示される所謂「白飛び」状態となることで、その傾向が、より顕著に現れやすい。そして、これにより、その画像解析による骨格点SPの検出精度が低下するおそれがある。
また、撮影画像Vdの「輝度」が低い場合にも、撮影画像Vdが暗くなることで、その撮影画像Vdに映る人Hの像が不鮮明になる可能性がある。更に、この場合についてもまた、そのモノクロの撮影画像Vdに含まれる人Hの像が全体的に黒色で表示される所謂「黒写り」状態となる。そして、これにより、その画像解析による骨格点SPの検出精度が低下するおそれがある。
この点を踏まえ、本実施形態の撮像状態判定部27は、撮影画像Vdの「輝度」に基づいた撮像状態VSの判定処理を実行する。そして、撮影画像Vdの「輝度」が「高すぎる場合」又は「低すぎる場合」には、骨格点SPの検出に基づいた身体情報IBの取得を行わないことで、その誤判別による精度の低下を回避する構成になっている。
詳述すると、図3に示すように、本実施形態の撮像状態判定部27には、撮影画像Vdを構成するピクセル毎のピクセル輝度値Lを検出するピクセル輝度値検出部33が設けられている。更に、本実施形態の制御装置10においては、このピクセル輝度値Lを用いて、その撮影画像Vdの「輝度」が表現される。そして、本実施形態の撮像状態判定部27は、このピクセル輝度値Lに表される撮影画像Vdの「輝度」を撮像状態VSの評価指標値Veiとして、その特定撮像状態VS1に該当するか否かの判定を実行する白飛び判定部34及び黒写り判定部35を備えている。
図11及び図12に示すように、本実施形態のピクセル輝度値検出部33は、撮影画像Vdの「輝度」を示す値として、そのピクセル輝度値Lの平均値Lavを演算する。尚、図11は、横軸をピクセル輝度値L、縦軸をピクセル数nとして、その撮影画像Vdにおけるピクセル輝度値Lの分布を示すグラフである。また、本実施形態の撮像状態判定部27において、白飛び判定部34は、このピクセル輝度値検出部33が出力するピクセル輝度値Lの平均値Lavを所定の高輝度閾値LthHと比較する。そして、この白飛び判定部34は、そのピクセル輝度値Lの平均値Lavが高輝度閾値LthH以上である場合に、その撮影画像Vdに映る乗員5の撮像状態VSが、上記特定撮像状態VS1に該当する白飛び状態VS1bであると判定する。
また、黒写り判定部35は、そのピクセル輝度値Lの平均値Lavを所定の低輝度閾値LthLと比較する。そして、この黒写り判定部35は、そのピクセル輝度値Lの平均値Lavが低輝度閾値LthL以下である場合に、その撮影画像Vdに映る乗員5の撮像状態VSが、上記特定撮像状態VS1に該当する黒写り状態VS1cであると判定する構成になっている。
さらに詳述すると、図3及び図13のフローチャートに示すように、本実施形態の撮像状態判定部27は、車室2内の撮影画像Vdを取得すると(ステップ501)、この撮影画像Vdに映る人H、つまりは乗員5の撮像領域γをトリミングする(ステップ502)。
図14に示すように、本実施形態の撮像状態判定部27において、この乗員5の撮像領域γを切り出すトリミング処理は、乗員5の上半身、少なくとも頭部と胴体部を含むかたちで行われる。
更に、図3及び図13のフローチャートに示すように、本実施形態の撮像状態判定部27においては、そのピクセル輝度値検出部33が、この乗員5の撮像領域γにおけるピクセル輝度値Lを検出し、及び、その平均値Lavを演算する。そして、本実施形態の撮像状態判定部27は、これにより、その乗員5が映る撮影画像Vdの「輝度」を取得する(ステップ503)。
次に、本実施形態の撮像状態判定部27においては、その白飛び判定部34が、上記ステップ503において撮影画像Vdの「輝度」として演算されたピクセル輝度値Lの平均値Lavを高輝度閾値LthHと比較する(ステップ504)。そして、白飛び判定部34は、ピクセル輝度値Lの平均値Lavが高輝度閾値LthH以上である場合(Lav≧LthH、ステップ504:YES)に、その撮影画像Vdに映る乗員5の撮像状態VSを白飛び状態VS1bと判定する(ステップ505)。
更に、上記ステップ504において、高輝度閾値LthHよりも小さいと判定された場合(Lav<LthH、ステップ504:NO)には、黒写り判定部35が、そのピクセル輝度値Lの平均値Lavを低輝度閾値LthLと比較する(ステップ506)。そして、黒写り判定部35は、そのピクセル輝度値Lの平均値Lavが低輝度閾値LthL以下である場合(Lav≦LthL、ステップ506:YES)に、その撮影画像Vdに映る乗員5の撮像状態VSを黒写り状態VS1bと判定する(ステップ507)。
また、本実施形態の制御装置10においては、このような白飛び状態VS1b又は黒写り状態VS1cとなることにより特定撮像状態VS1に該当すると判定された場合、身体情報取得部15が乗員5のシート荷重WSを取得する(ステップ508)。そして、本実施形態の身体情報取得部15は、このシート荷重WSに基づいて、その撮影画像Vdに映る乗員5について、身体情報IBの取得を実行する構成になっている(ステップ509)。
具体的には、本実施形態の身体情報取得部15においては、この場合、その体格判定部21が、シート荷重WSを所定の閾値と比較することにより、乗員5の体格判定を実行する。そして、本実施形態の身体情報取得部15は、これにより、その乗員5の体格情報Iphを取得する構成となっている。
尚、本実施形態の撮像状態判定部27は、そのピクセル輝度値Lの平均値Lavが低輝度閾値LthLと高輝度閾値LthHとの間にある場合(LthL<Lav<LthH、ステップ506:NO)、通常の撮像状態VS0にあると判定する(ステップ510)。そして、本実施形態の制御装置10においては、これにより、その身体情報取得部15において、通常時身体情報取得処理、つまりは骨格点SPの検出に基づいた身体情報IBの取得が実行される構成になっている(図5参照、ステップ107)。
次に、本実施形態の作用について説明する。
身体情報取得装置20としての機能を有する制御装置10においては、車室2内の撮影画像Vdに映る乗員5の撮像状態VSが、予め定められた評価指標値Veiに基づき特定される特定撮像状態VS1に該当するか否かを判定される。そして、このような特定撮像状態VS1に該当する場合には、その骨格点SPの検出に基づいた乗員5に関する身体情報IBの取得が実行されない。
身体情報取得装置20としての機能を有する制御装置10においては、車室2内の撮影画像Vdに映る乗員5の撮像状態VSが、予め定められた評価指標値Veiに基づき特定される特定撮像状態VS1に該当するか否かを判定される。そして、このような特定撮像状態VS1に該当する場合には、その骨格点SPの検出に基づいた乗員5に関する身体情報IBの取得が実行されない。
次に、本実施形態の効果について説明する。
(1)身体情報取得装置20としての制御装置10は、撮影画像Vdに含まれる人Hの骨格点SPを検出する骨格点検出部13を備える。また、制御装置10は、骨格点SPの検出に基づいて人Hの身体情報IBを取得する身体情報取得部15を備える。更に、制御装置10は、撮影画像Vdに映る人Hの撮像状態VSが予め定められた評価指標値Veiに基づき特定される特定撮像状態VS1に該当するか否かを判定する撮像状態判定部27を備える。そして、身体情報取得部15は、特定撮像状態VS1に該当する場合には、その骨格点SPの検出に基づいた身体情報IBの取得を実行しない。
(1)身体情報取得装置20としての制御装置10は、撮影画像Vdに含まれる人Hの骨格点SPを検出する骨格点検出部13を備える。また、制御装置10は、骨格点SPの検出に基づいて人Hの身体情報IBを取得する身体情報取得部15を備える。更に、制御装置10は、撮影画像Vdに映る人Hの撮像状態VSが予め定められた評価指標値Veiに基づき特定される特定撮像状態VS1に該当するか否かを判定する撮像状態判定部27を備える。そして、身体情報取得部15は、特定撮像状態VS1に該当する場合には、その骨格点SPの検出に基づいた身体情報IBの取得を実行しない。
上記構成によれば、撮影画像Vdに映る人Hの撮像状態VSを要因として骨格点SPの検出精度が低下するような状態を特定撮像状態VS1に設定して、このような場合には、その画像解析による骨格点SPの検出を身体情報IBの取得に利用しないことができる。そして、これにより、誤判別の発生を回避して、精度よく、その人Hの身体情報IBを取得することができる。
(2)撮像状態判定部27には、撮影画像Vdに映る人Hの体動波形αを生成する体動波形生成部31が設けられる。更に、撮像状態判定部27は、この体動波形αに表れる「体の動きの大きさ」を、撮像状態VSの評価指標値Veiとして、その人Hの撮像状態VSが特定撮像状態VS1に該当するか否かの判定を実行する体動判定部32を備える。そして、体動判定部32は、「体の動きの大きさ」を示す体動波形αの振幅Aが体動閾値Ath以上である場合(A≧Ath)に、その人Hの撮像状態VSが特定撮像状態VS1に該当すると判定する。
即ち、撮影画像Vdに映る人Hの「体の動きの大きさ」が大きい場合には、その画像解析による骨格点SPの検出精度が低下する可能性がある。この点、上記構成によれば、人Hの体動波形αから、その「体の動きの大きさ」が大きい体動発生状態VS1aが特定される。そして、この体動発生状態VS1aを特定撮像状態VS1として、その画像解析による骨格点SPの検出を身体情報IBの取得に利用しないことにより、誤判別の発生を抑制することができる。
更に、体動発生状態VS1aを、例えば、前かがみや上体ひねり等、人Hが極端な姿勢をとることで、そのカメラ3の画角から外れてしまうような、より大きな「体の動き」を前兆と捉えて、これに伴う判定精度の低下及び誤判別の発生を回避することができる。そして、これにより、より精度よく、その人Hの身体情報IBを取得することができる。
(3)撮像状態判定部27には、撮影画像Vdを構成するピクセル毎のピクセル輝度値Lを検出するピクセル輝度値検出部33が設けられる。また、撮像状態判定部27は、そのピクセル輝度値Lの平均値Lavに表される撮影画像Vdの「輝度」を撮像状態VSの評価指標値Veiとして、その人Hの撮像状態VSが特定撮像状態VS1に該当するか否かの判定を実行する白飛び判定部34を備える。そして、白飛び判定部34は、ピクセル輝度値Lの平均値Lavが所定の高輝度閾値LthH以上である場合(Lav≧LthH)に、その人Hの特定撮像状態VS1に該当すると判定する。
即ち、撮影画像Vdの「輝度」が高い場合には、撮影画像Vdが明るくなることで、その撮影画像Vdに映る人Hの像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点SPの検出精度が低下するおそれがある。
この点、上記構成によれば、ピクセル輝度値の平均値Lavに表される撮影画像Vdの「輝度」を撮像状態VSの評価指標値Veiとして、その「輝度」が高すぎる白飛び状態VS1bが特定される。そして、この白飛び状態VS1bを特定撮像状態VS1として、その画像解析による骨格点SPの検出を身体情報IBの取得に利用しないことにより、その誤判別の発生を抑制することができる。
(4)撮像状態判定部27は、ピクセル輝度値Lの平均値Lavに表される撮影画像Vdの「輝度」を撮像状態VSの評価指標値Veiとして、その撮像状態VSが特定撮像状態VS1に該当するか否かの判定を実行する黒写り判定部35を備える。そして、黒写り判定部35は、ピクセル輝度値Lの平均値Lavが所定の低輝度閾値LthL以下である場合(Lav≦LthL)に、その人Hの撮像状態VSが特定撮像状態VS1に該当すると判定する。
即ち、撮影画像Vdの「輝度」が低い場合にも、撮影画像Vdが暗くなることで、その撮影画像Vdに映る人Hの像が不鮮明になる可能性がある。そして、これにより、その画像解析による骨格点SPの検出精度が低下するおそれがある。
この点、上記構成によれば、ピクセル輝度値の平均値Lavに表される撮影画像Vdの「輝度」を撮像状態VSの評価指標値Veiとして、その「輝度」が低すぎる黒写り状態VS1cが特定される。そして、この黒写り状態VS1cを特定撮像状態VS1として、その画像解析による骨格点SPの検出を身体情報IBの取得に利用しないことにより、その誤判別の発生を抑制することができる。
(5)撮像状態判定部27は、撮影画像Vdに映る人Hの撮像領域γをトリミングすることにより、その撮影画像Vdの「輝度」に基づいた特定撮像状態VS1の判定を実行する。これにより、撮影画像Vdに映る人Hの撮像状態VSについて、より精度よく、その撮影画像Vdの「輝度」に基づいた撮像状態判定を実行することができる。
(6)身体情報取得部15は、撮影画像Vdに映る人Hの身体情報IBとして、車両1のシート4に着座する乗員5の体格情報Iphを取得する。
即ち、画像解析による骨格点SPの検出に基づいて乗員5の体格情報Iphを判定することにより、例えば、スライド位置やリクライニング位置、或いはリフト位置等、そのシート位置に依らず、精度よく、その乗員5の体格を判定することができる。また、乗員5の姿勢が変化した場合であっても、精度よく、その体格を判定することができる。更に、骨格点SPの検出精度が低下するような特定撮像状態VS1にある場合には、その画像解析による骨格点SPの検出を身体情報IBの取得に利用しないことにより、誤判別の発生を回避することができる、そして、これにより、精度よく、その乗員5の体格情報Iphを取得することができる。
即ち、画像解析による骨格点SPの検出に基づいて乗員5の体格情報Iphを判定することにより、例えば、スライド位置やリクライニング位置、或いはリフト位置等、そのシート位置に依らず、精度よく、その乗員5の体格を判定することができる。また、乗員5の姿勢が変化した場合であっても、精度よく、その体格を判定することができる。更に、骨格点SPの検出精度が低下するような特定撮像状態VS1にある場合には、その画像解析による骨格点SPの検出を身体情報IBの取得に利用しないことにより、誤判別の発生を回避することができる、そして、これにより、精度よく、その乗員5の体格情報Iphを取得することができる。
(7)体動波形生成部31は、骨格点SPの時系列データDtSPに基づいて、人Hの体動波形αを生成する。
上記構成によれば、画像解析による骨格点SPの検出と併せて、その撮影画像Vdに映る人Hの体動波形αを生成することができる。そして、これにより、新たな構成を追加することなく、人Hの体動波形αを生成することができる。
上記構成によれば、画像解析による骨格点SPの検出と併せて、その撮影画像Vdに映る人Hの体動波形αを生成することができる。そして、これにより、新たな構成を追加することなく、人Hの体動波形αを生成することができる。
(8)制御装置10は、乗員5のシート荷重WSを検出するシート荷重検出部26を備える。そして、体動波形生成部31は、そのシート荷重WSの時系列データDtWSに基づいて、乗員5の体動波形を生成する。
上記構成によれば、車両1の多くに採用されているシート4の荷重センサ25を利用して、そのシート4に着座する人H、つまりは乗員5の体動波形αを生成することができる。そして、これにより、新たな構成の追加を抑えて、そのシート4に着座する乗員5の体動波形αを生成することができる。
(9)制御装置10は、骨格点検出部13による骨格点SPの検出、身体情報取得部15による身体情報IBの取得、及び撮像状態判定部27による撮像状態VSの判定を周期的に実行する。また、身体情報取得部15は、前回の周期において取得した身体情報IBを、その身体情報IBの前回値IBbとして保持する前回値保持部28を備える。そして、身体情報取得部15は、体動波形αに表れる「体の動きの大きさ」に基づいて特定撮像状態VS1に該当すると判定された体動発生状態VS1aにある場合には、その身体情報IBの前回値IBbを今回の周期において取得した身体情報IBとする。
即ち、画像解析による骨格点SPの検出精度が低下する前の判定結果を用いることで、誤判別の発生を回避することができる。そして、前回の「判定結果」である身体情報IBの前回値IBbを保持する構成とすることで、その判定に用いる状態値の今回値と前回値が混在する状況を回避することができる。
(10)身体情報取得部15は、撮影画像Vdの「輝度」に基づいて特定撮像状態に該当すると判定された白飛び状態VS1b又は黒写り状態VS1cにある場合には、シート荷重WSに基づいて、乗員5の身体情報IBを取得する。これにより、画像解析による骨格点SPの検出精度が低下した状態でも、精度よく、その乗員5の身体情報IBを取得することができる。
(11)身体情報取得部15は、骨格点SPの検出に基づき算出される特徴量FVを機械学習により生成された推論モデルに入力することにより、人Hの身体情報IBを取得する。これにより、精度よく、その画像解析による骨格点SPの検出に基づいて人Hの身体情報IBを取得することができる。
(12)身体情報取得部15は、シート荷重WSを特徴量FVに用いる。これにより、より精度よく、その機械学習により生成された推論モデルに基づいて、人Hの身体情報IBを取得することができる。
なお、上記実施形態は、以下のように変更して実施することができる。上記実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、撮影画像Vdに含まれる骨格点SPの位置、複数の骨格点SPに示される身体寸法、及び乗員5のシート荷重WSに基づいて人Hの特徴量FVを算出する。そして、その特徴量FVを機械学習により生成された推論モデルに対して入力することにより、撮影画像Vdに映る人Hの身体情報IB、詳しくは、その体格判定を実行することとした。しかし、これに限らず、統計的な手法やマップ演算を用いる等により、その画像解析による骨格点SPの検出に基づいた身体情報IBの取得を実行する構成に適用してもよい。
・また、シート荷重WSを検出するための荷重センサ25を有しない構成に具体化してもよい。このような構成では、特定撮像状態VS1に該当することにより骨格点SPの検出に基づいた身体情報IBの取得を実行しない場合、例えば、前回の周期に取得した身体情報IBの前回値IBbを今回の周期において取得した身体情報IBとするとよい。そして、体動波形αの生成についてもまた、骨格点SPの時系列データDtSPに基づいて行うとよい。
・例えば、可視光カメラ等を用いる等、カメラ3の形式は、任意に変更してもよい。そして、その設置する位置についてもまた、任意に変更してもよい。
・また、身体情報IBの取得に利用する骨格点SPや身体寸法については、任意に設定してもよい。
・また、身体情報IBの取得に利用する骨格点SPや身体寸法については、任意に設定してもよい。
・上記実施形態では、車両1に設けられたカメラ3によって、車室2内の乗員5、詳しくは、そのシート4に着座する乗員5を撮影する。そして、その撮影画像Vdに映る人Hとしての乗員5について、その画像解析による骨格点SPの検出に基づいた身体情報IBの取得を実行する構成に具体化した。しかし、これに限らず、例えば、乗り合い車両等、立位姿勢で乗車する車両1の乗員5について、その身体情報IBを取得する構成としてもよい。そして、例えば、路上や建物の室内について、その撮影画像Vdに映る人Hの身体情報IBを取得する構成に適用してもよい。
・上記実施形態では、特定撮像状態VS1に該当する撮像状態VSとして、体動波形αに表れる「体の動きの大きさ」に基づいた体動発生状態VS1a、撮影画像Vdの「輝度」に基づいた白飛び状態VS1b及び黒写り状態VS1cが特定されることとした。しかし、これに限らず、「体の動きの大きさ」に基づいた撮像状態判定、又は撮影画像Vdの「輝度」に基づいた撮像状態判定の何れか一方を行う構成としてもよい。また、撮影画像Vdの「輝度」に基づく撮像状態判定についてもまた、白飛び状態VS1b又は黒写り状態VS1cの何れか一方のみについて、その該当判定を行う構成としてもよい。更に、白飛び状態VS1b又は黒写り状態VS1cの何れか一方の該当判定を体動発生状態VS1aの該当判定と組み合わせる構成であってもよい。そして、これらの体動発生状態VS1a、白飛び状態VS1b及び黒写り状態VS1cの該当判定と、他の撮像状態VSの評価指標値Veiに基づいた特定撮像状態VS1の該当判定とを組み合わせる構成としてもよい。
・上記実施形態では、乗員5の撮像領域γを切り出すトリミング処理は、乗員5の上半身、少なくとも頭部と胴体部を含むかたちで行われることとしたが、その撮像領域γの設定範囲は任意に変更してもよい。例えば、そのトリミングする撮像領域γを楕円形状とする等、撮像領域γの切り出し形状を変更してもよい。また、複数の撮像領域γを切り出す構成としてもよい。そして、乗員5の撮像領域γをトリミングすることなく、撮影画像Vdの全体的な「輝度」に基づいて、その撮像状態判定を行う構成であってもよい。
・上記実施形態では、ピクセル輝度値の平均値Lavを、その撮影画像Vdの「輝度」に表す値に用いることとしたが、ピクセル輝度値の中央値や分布のピーク値を用いる構成としてもよい。
次に、上記実施形態及び変更例から把握できる技術的思想について記載する。
(イ)前記体動波形生成部は、前記骨格点の時系列データに基づいて、前記体動波形を生成すること、を特徴とする。
(イ)前記体動波形生成部は、前記骨格点の時系列データに基づいて、前記体動波形を生成すること、を特徴とする。
上記構成によれば、画像解析による骨格点の検出と併せて、その撮影画像に映る人の体動波形を生成することができる。そして、これにより、新たな構成を追加することなく、人の体動波形を生成することができる。
(ロ)前記乗員のシート荷重を検出するシート荷重検出部を備え、前記体動波形生成部は、前記シート荷重の時系列データに基づいて、前記体動波形を生成すること、を特徴とする。
上記構成によれば、車両の多くに採用されているシートの荷重センサを利用して、そのシートに着座する人、つまりは乗員の体動波形を生成することができる。そして、これにより、新たな構成の追加を抑えて、そのシートに着座する乗員の体動波形を生成することができる。
(ハ)前記撮影画像を構成するピクセル毎のピクセル輝度値を検出するピクセル輝度値検出部を備え、前記撮像状態判定部は、前記ピクセル輝度値の平均値、中間値、又はピーク値の何れかを前記撮影画像の輝度とすること、を特徴とする。これにより、定量的に、その撮影画像の「輝度」を撮像状態の評価指標値とした特定撮像状態の該当判定を行うことができる。
(ニ)前記骨格点の検出、前記身体情報の取得、及び前記撮像状態の判定は周期的に実行されるものであって、前記身体情報取得部は、前回の周期において取得した前記身体情報を該身体情報の前回値として保持する前回値保持部を備え、前記特定撮像状態に該当する場合には、前回の周期において取得した前記身体情報の前回値を今回の周期において取得した前記身体情報とすること、を特徴とする。
即ち、画像解析による骨格点の検出精度が低下する前の判定結果を用いることで、誤判別の発生を回避することができる。そして、前回の「判定結果」である身体情報の前回値を保持する構成とすることで、その判定に用いる状態値の今回値と前回値が混在する状況を回避することができる。
(ホ)前記乗員のシート荷重を検出するシート荷重検出部を備え、前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記シート荷重に基づいて、前記人の身体情報を取得すること、を特徴とする。これにより、画像解析による骨格点の検出精度が低下した状態でも、精度よく、その乗員の身体情報を取得することができる。
(ヘ)前記身体情報取得部は、前記撮影画像の輝度に基づいて前記特定撮像状態に該当すると判定された場合には、前記シートの荷重に基づいて前記人の身体情報を取得し、前記体の動きの大きさに基づき前記特定撮像状態に該当すると判定された場合には、前記前回の周期において取得した前記身体情報の前回値を今回の周期において取得した前記身体情報とすること、を特徴とする。
即ち、体の動きの大きさに基づき特定撮像状態に該当すると判定された場合には、シートの荷重に基づいた人の身体情報の取得についても同様に、その精度が低下する可能性がある。従って、このような場合には、画像解析による骨格点の検出精度が低下する前の判定結果を用いることにより、誤判別の発生を回避して、精度よく、その身体情報を取得することができる。
(ト)前記身体情報取得部は、前記骨格点の検出に基づき算出される特徴量を機械学習により生成された推論モデルに入力することにより、前記人の身体情報を取得すること、を特徴とする。これにより、精度よく、その画像解析による骨格点の検出に基づいて人の身体情報を取得することができる。
(チ)前記身体情報取得部は、前記シート荷重を前記特徴量に用いること、を特徴とする。これにより、より精度よく、その機械学習により生成された推論モデルに基づいて、人の身体情報を取得することができる。
10…制御装置
13…骨格点検出部
15…身体情報取得部
20…身体情報取得装置
27…撮像状態判定部
Vd…撮影画像
H…人
SP…骨格点
IB…身体情報
Vei…評価指標値
VS…撮像状態
VS1…特定撮像状態
13…骨格点検出部
15…身体情報取得部
20…身体情報取得装置
27…撮像状態判定部
Vd…撮影画像
H…人
SP…骨格点
IB…身体情報
Vei…評価指標値
VS…撮像状態
VS1…特定撮像状態
Claims (6)
- 撮影画像に含まれる人の骨格点を検出する骨格点検出部と、
前記骨格点の検出に基づいて前記人の身体情報を取得する身体情報取得部と、
前記撮影画像に映る前記人の撮像状態が予め定められた評価指標値に基づき特定される特定撮像状態に該当するか否かを判定する撮像状態判定部と、を備え、
前記身体情報取得部は、前記特定撮像状態に該当する場合には、前記骨格点の検出に基づいた前記身体情報の取得を実行しない身体情報取得装置。 - 請求項1に記載の身体情報取得装置において、
前記人の体動波形を生成する体動波形生成部を備え、
前記撮像状態判定部は、前記体動波形に表れる体の動きの大きさを前記撮像状態の前記評価指標値として、前記体の動きの大きさが所定の体動閾値以上である場合に前記特定撮像状態に該当すると判定すること、を特徴とする身体情報取得装置。 - 請求項1又は請求項2に記載の身体情報取得装置において、
前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の高輝度閾値以上である場合に前記特定撮像状態に該当すると判定すること、を特徴とする身体情報取得装置。 - 請求項1~請求項3の何れか一項に記載の身体情報取得装置において、
前記撮像状態判定部は、前記撮影画像の輝度を前記撮像状態の前記評価指標値として、前記撮影画像の輝度が所定の低輝度閾値以下である場合に前記特定撮像状態に該当すると判定すること、を特徴とする身体情報取得装置。 - 請求項3又は請求項4に記載の身体情報取得装置において、
前記撮像状態判定部は、前記撮影画像に映る前記人の撮像領域をトリミングすることにより、前記撮影画像の輝度に基づいた前記特定撮像状態の判定を実行すること、
を特徴とする身体情報取得装置。 - 請求項1~請求項5の何れか一項に記載の身体情報取得装置において、
前記身体情報取得部は、前記人の身体情報として、車両のシートに着座する乗員の体格情報を取得すること、を特徴とする身体情報取得装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021032579A JP2022133723A (ja) | 2021-03-02 | 2021-03-02 | 身体情報取得装置 |
US17/652,760 US11915496B2 (en) | 2021-03-02 | 2022-02-28 | Body information acquisition device |
DE102022104723.7A DE102022104723A1 (de) | 2021-03-02 | 2022-02-28 | Körperinformations-Erfassungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021032579A JP2022133723A (ja) | 2021-03-02 | 2021-03-02 | 身体情報取得装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022133723A true JP2022133723A (ja) | 2022-09-14 |
Family
ID=82898343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021032579A Pending JP2022133723A (ja) | 2021-03-02 | 2021-03-02 | 身体情報取得装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11915496B2 (ja) |
JP (1) | JP2022133723A (ja) |
DE (1) | DE102022104723A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230004745A1 (en) * | 2021-06-30 | 2023-01-05 | Fotonation Limited | Vehicle occupant monitoring system and method |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8135209B2 (en) * | 2005-07-19 | 2012-03-13 | Nec Corporation | Articulated object position and posture estimation device, method and program |
US7792328B2 (en) * | 2007-01-12 | 2010-09-07 | International Business Machines Corporation | Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream |
US8564534B2 (en) * | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US8437506B2 (en) * | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
WO2012046392A1 (ja) * | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
JP2015097301A (ja) * | 2012-03-09 | 2015-05-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
US9047507B2 (en) * | 2012-05-02 | 2015-06-02 | Apple Inc. | Upper-body skeleton extraction from depth maps |
JP6636557B2 (ja) * | 2018-03-29 | 2020-01-29 | 株式会社Subaru | 車両の乗員保護装置 |
JP2019189101A (ja) | 2018-04-26 | 2019-10-31 | アイシン精機株式会社 | 乗員情報判定装置 |
US20200090299A1 (en) * | 2018-09-13 | 2020-03-19 | Aisin Seiki Kabushiki Kaisha | Three-dimensional skeleton information generating apparatus |
CN113556975A (zh) * | 2019-02-17 | 2021-10-26 | 贾迪安光学技术有限公司 | 检测车辆中的对象并获得对象信息的***、装置和方法 |
JP7215228B2 (ja) * | 2019-03-01 | 2023-01-31 | トヨタ自動車株式会社 | 制御装置、制御方法、制御プログラム |
JP7415469B2 (ja) * | 2019-11-15 | 2024-01-17 | 株式会社アイシン | 体格推定装置および姿勢推定装置 |
JP7490428B2 (ja) * | 2020-04-07 | 2024-05-27 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、および記憶媒体 |
-
2021
- 2021-03-02 JP JP2021032579A patent/JP2022133723A/ja active Pending
-
2022
- 2022-02-28 US US17/652,760 patent/US11915496B2/en active Active
- 2022-02-28 DE DE102022104723.7A patent/DE102022104723A1/de active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102022104723A1 (de) | 2022-09-08 |
US20220284716A1 (en) | 2022-09-08 |
US11915496B2 (en) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107427242B (zh) | 脉波检测装置、以及脉波检测程序 | |
CN107427233B (zh) | 脉波检测装置、以及脉波检测程序 | |
US20200334477A1 (en) | State estimation apparatus, state estimation method, and state estimation program | |
US9405982B2 (en) | Driver gaze detection system | |
US9822576B2 (en) | Method for operating an activatable locking device for a door and/or a window, securing device for a vehicle, vehicle | |
EP1870295A1 (en) | Vehicle occupant detecting system, operation device controlling system, and vehicle | |
JP2017093760A (ja) | 心拍に連動する周期的変動の計測装置及び計測方法 | |
DE112017007011B4 (de) | Gesichtsrichtungsschätzvorrichtung und Gesichtsrichtungsschätzverfahren | |
US20220284718A1 (en) | Driving analysis device and driving analysis method | |
US11453401B2 (en) | Closed eye determination device | |
JP2022133723A (ja) | 身体情報取得装置 | |
JP7134364B2 (ja) | 体格判定装置および体格判定方法 | |
CN114103961B (zh) | 面部信息获取装置以及面部信息获取方法 | |
JP2004334786A (ja) | 状態検出装置及び状態検出システム | |
JP7240910B2 (ja) | 乗員観察装置 | |
JP6737213B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
CN115923607A (zh) | 座椅参数调节方法、设备、存储介质及装置 | |
CN111696312B (zh) | 乘员观察装置 | |
CN114983397A (zh) | 姿势辨别装置 | |
JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 | |
CN115484365A (zh) | 图像解析装置以及监视*** | |
KR20150067679A (ko) | 차량용 제스처 인식 시스템 및 그 방법 | |
JP7374373B2 (ja) | 体格判定装置および体格判定方法 | |
CN117944533B (zh) | 一种座舱座椅的调整***、方法、介质和电子设备 | |
JP7479575B2 (ja) | 体格推定装置および体格推定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240111 |