JP7053341B2 - 処理装置、及びプログラム - Google Patents
処理装置、及びプログラム Download PDFInfo
- Publication number
- JP7053341B2 JP7053341B2 JP2018066466A JP2018066466A JP7053341B2 JP 7053341 B2 JP7053341 B2 JP 7053341B2 JP 2018066466 A JP2018066466 A JP 2018066466A JP 2018066466 A JP2018066466 A JP 2018066466A JP 7053341 B2 JP7053341 B2 JP 7053341B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- coordinates
- occupant
- region
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
[2]前記制御部は、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記[1]に記載の処理装置であってもよい。
[3]また、前記制御部は、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記[1]又は[2]に記載の処理装置であってもよい。
[4]また、前記制御部は、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記[3]に記載の処理装置であってもよい。
[5]また、前記制御部は、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記[4]に記載の処理装置であってもよい。
[6]また、前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記[3]から[5]までのいずれか1に記載の処理装置であってもよい。
[7]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、をコンピュータに実行させるためのプログラムを提供する。
[8]前記制御ステップは、前記乗員の頭部として検出した各画素との距離のばらつきが最も小さくなる特定の座標を探索する探索処理を実行し、その探索処理の結果、特定された特定の座標を前記頭部中心位置とする、上記[7]に記載のプログラムであってもよい。
[9]また、前記制御ステップは、前記乗員の頭部として検出した各画素と、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記特定の座標として探索することを、前記探索処理として実行する、上記[7]又は[8]に記載のプログラムであってもよい。
[10]また、前記制御ステップは、前記頭部中心に対応する座標を、規定された距離変更して、前記評価値が最小となる座標を特定の座標として探索することを、前記探索処理として実行する、上記[9]に記載のプログラムであってもよい。
[11]また、前記制御ステップは、前記特定の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、上記[10]に記載のプログラムであってもよい。
[12]また、前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、上記[9]から[11]までのいずれか1に記載のプログラムであってもよい。
本発明の実施の形態に係る処理装置1は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部における頭部中心位置Cを求める位置検出処理を実行する制御部と、を有して構成されている。
取得部としては撮像対象の3次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてTOF(Time Of Flight)カメラ10を使用する。TOFカメラ10は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。TOFカメラ10は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
距離画像における座標値u,vと、座標(u,v)における画素値d(u,v)は、以下の式を用いて3次元空間上の点(x,y,z)に変換することで、図1に示すカメラ座標系(x,y,z)における3次元画素群を作成することができる。
カメラ座標系(x,y,z)は、検出対象であるドライバ(例えば腰骨の位置)を原点とする車両座標系(w,l,h)に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をw軸、前方をl軸(エル軸)、上方をh軸とし、原点はドライバの腰骨位置とする。
制御部20は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部20は、図1に示すように、TOFカメラ10と接続されている。制御部20は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)21、半導体メモリであるRAM(Random Access Memory)22及びROM(Read Only Memory)23を備えている。
図2、図10で示す本発明の実施の形態に係る処理装置1の動作を示すフローチャートに基づいて、説明する。制御部20は、各フローチャートに従って以下の演算、処理を実行する。
取得部としてのTOFカメラ10は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの1フレームとして取得することができる。取得された距離画像は、以下の処理における入力(3次元画素群)として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、図3(a)に示すように、検出エリアに含まれる3次元画素群201を抽出できる。以下の処理においては、車両座標系(w,l,h)の3次元画素群で演算、処理等が実行される。
制御部20は、頭頂部の抽出として、まず、図3(b)に示すように、検出エリア内の画素群202を抽出する。検出エリアを定義し、その空間に含まれる画素群を抽出することで、領域を絞り込む。検出エリアは、着座時に頭部50が存在すると考えられる、車室内上方の空間とする。例えば、ドライバ腰骨位置203を原点とし、-510<w<360、-280<l<700、430<h<750の範囲である。単位はmmである(以下、同じ)。
頭頂部が含まれる領域を抽出するために、Step2で抽出した画素群の領域204(図6(a))をl軸方向から見た時、最も画素群密度が高くなる領域は高尤度領域として頭頂部が含まれていると考えられる。ここでは、頭部モデル定義の横幅Dをもとにw軸の方向に分割し(図6(b))、wh平面上で最も画素群が多い領域205を抽出する(図6(c))。
制御部20は、頭頂部位置を算出する、頭頂部特定処理を実行する。Step3で抽出した画素群のうち、図7に示すように、h軸において最も高い部分が頭頂部60であると考えられる。なお、h方向において抽出した画素群205(図6(c))の大きい値の何点かの平均により、頭頂部60を抽出してもよい。抽出された頭頂部60の座標を、(wt,lt,ht)とする。
制御部20は、頭部領域を抽出する。頭頂部の抽出処理で抽出した頭頂部60および頭部モデル定義(図5)から頭部50を抽出する。頭頂部60の座標(wt,lt,ht)を基準とし、図8(a)~(d)のように画素群を抽出することで、頭部領域206を得る。頭部領域206は、wt-w1<w<wt+w1、lt-l1<l<lt+l1、ht-h1<h<htの範囲である。頭部モデル定義例(図5)を適合させると、w1=176/2、l1=176/2、h1=146である。なお、h1は、TOFカメラの特性による頭髪部分の情報欠落を想定し、頭部モデル定義の高さHから60だけマイナスして、h1=206-60=146としている。
制御部20は、頭部位置を算出する、頭部特定処理を実行する。Step5で抽出した領域206において、図9で示すように、上記のw、l、hの範囲で規定される領域に含まれる頭部領域206の画素群の重心を求めることにより、頭部位置として重心位置G(wg,lg,hg)を出力することができる。
制御部20は、初期化を行なう。制御部20は、頭部中心位置Cの初期値を、Step6で出力した重心位置Gとする。すなわち、頭部中心位置Cの空間上の座標を(wg,lg,hg)とする。また、sを座標の更新ステップ幅とする。sの初期値は例えば1[mm]とする。
制御部20は、(wc,lc,hc)及び、この点(wc,lc,hc)に3次元方向に隣接する周囲の26点((wc±s,lc,hc)、(wc,lc±s,hc)、(wc,lc,hc±s)、(wc±s,lc±s,hc)、(wc±s,lc,hc±s)、(wc,lc±s,hc±s)、(wc±s,lc±s,hc±s))について、以下の評価関数の値(分散)を算出する。
ここで、nは、頭部領域に含まれる点の数、pkは頭部領域に含まれる点(p=0,1,…,n-1)、d(a,b)は、点a,b間のユークリッド距離とする。
制御部20は、Step8で算出した27点のうち、最も評価値の小さい座標を頭部中心位置Cとして更新する。この評価値は、頭部中心に対応する座標及び頭部中心の周囲に設定された複数の座標との間の距離のばらつきを示す値である。
制御部20は、頭部中心位置Cが変化したか(更新されたか)どうかを判断する。頭部中心位置Cが変化した場合は、Step11へ進み(Step10:Yes)、頭部中心位置Cが変化しない場合は、Step12へ進む(Step10:No)。
制御部20は、頭部中心位置Cの初期位置と更新後の位置の距離差が閾値未満かどうかを判断する。閾値未満の場合は、Step13へ進み(Step11:Yes)、閾値未満でない場合は、Step14へ進む(Step11:No)。
制御部20は、座標のステップ幅sをより小さい値(例えば1/10)に更新して、Step8へ戻って探索処理を繰り返して実行する。
制御部20は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値を比較し、その差分が閾値未満かどうかを判断する。閾値未満の場合は、Step15へ進み(Step13:Yes)、閾値未満でない場合は、Step8へ戻って探索処理を繰り返して実行する。
制御部20は、頭部中心位置Cを更新前に戻す。すなわち、特定の座標が変更されない場合、規定された距離を、予め定められた距離よりも短い距離とする。
制御部20は、頭部位置として頭部中心位置Cを出力して処理を終了する。上記示した一連の動作により、図11(a)に示す頭部領域における画素群の初期位置(重心位置G)が、図11(b)に示す頭部中心位置Cに補正される。なお、領域207は、図9における領域206の中の重心位置Gの周囲領域を示したものである。
コンピュータに、処理装置1で示した、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部50が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部50における頭部中心位置Cを求める位置検出処理を実行する制御ステップと、を、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
本発明の実施の形態によれば、以下のような効果を有する。
(1)本発明の実施の形態に係る処理装置は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って抽出され、乗員5の頭部が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部50を特定し、その特定された乗員の頭部における頭部中心位置Cを求める位置検出処理を実行する制御部と、を有して構成されている。TOFカメラから得られる距離画像の各画素を3次元空間上に変換した画素群(3次元画素群)をもとに検出される頭部位置は顔表面に偏るが、頭部を球体で近似することで検出位置を頭部中心に補正することが可能となる。
(2)物体表面の情報から、物体中心位置を検出することが可能となる。すなわち、顔を撮影する方向によらず、常に頭部中心付近の位置を頭部位置として検出可能となる。
(3)以上により、車両の乗員の頭部を検出する技術において、乗員の頭部中心位置に関する情報を取得する処理装置、及びプログラムを提供することが可能になる。
Claims (10)
- 車両の乗員を含む撮像領域を撮像対象とし、与えられた2次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得部と、
前記取得部で取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御部と、
を有し、
前記制御部は、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、
処理装置。 - 前記制御部は、前記第2の座標系において前記原点から前記車両の右方向を正、左方向を負とする第1の軸、前記車両の前方向を正とする第2の軸、及び前記車両の上方向を正とする第3の軸とした場合、
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第2の軸の方向に分割して最も画素群が多い第1の領域を抽出し、
前記横幅に基づいて前記第1の領域を前記第1の軸の方向に分割して最も画素群が多い第2の領域を抽出し、
さらに抽出した前記第2の領域において前記第3の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、
請求項1に記載の処理装置。 - 前記制御部は、前記頭部中心位置の座標を、規定された距離変更して、前記評価値が最小となる座標を新たに前記頭部中心位置の座標として探索することを、前記探索処理として実行する、請求項1又は2に記載の処理装置。
- 前記制御部は、前記頭部中心位置の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、請求項3に記載の処理装置。
- 前記制御部は、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、請求項1から4までのいずれか1項に記載の処理装置。
- 車両の乗員を含む撮像領域を撮像対象とし、与えられた2次元座標系の座標に対応する画素ごとに前記撮像対象までの距離情報を割り当てた距離画像を取得する取得ステップと、
前記取得ステップで取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群から抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定し、その特定された前記乗員の頭部における頭部中心位置を求める位置検出処理を実行する制御ステップと、
を有し、
前記制御ステップは、前記乗員の頭部の重心の座標を特定し、特定された前記重心の座標を前記頭部中心位置の初期値とし、
前記重心の座標及び前記重心の座標の周囲に設定された複数の座標との間の距離のばらつきを示す評価値が最小となる座標を前記頭部中心位置の座標として更新する探索処理を実行する、ことをコンピュータに実行させるためのプログラム。 - 前記制御ステップは、前記第2の座標系において前記原点から前記車両の右方向を正、左方向を負とする第1の軸、前記車両の前方向を正とする第2の軸、及び前記車両の上方向を正とする第3の軸とした場合、
予め規定された頭部モデルに応じて予め規定された横幅に基づいて、抽出した前記高尤度領域を前記第2の軸の方向に分割して最も画素群が多い第1の領域を抽出し、
前記横幅に基づいて前記第1の領域を前記第1の軸の方向に分割して最も画素群が多い第2の領域を抽出し、
さらに抽出した前記第2の領域において前記第3の軸の正方向に沿って最も高い部分を前記乗員の頭頂部とし、
前記頭部モデルを前記乗員の頭頂部に対し適合させることで前記乗員の頭部領域を特定し、
前記頭部領域の重心の座標を前記乗員の頭部の前記重心の座標として特定する、請求項6に記載のプログラム。 - 前記制御ステップは、前記頭部中心位置の座標を、規定された距離変更して、前記評価値が最小となる座標を新たに前記頭部中心位置の座標として探索することを、前記探索処理として実行する、請求項7に記載のプログラム。
- 前記制御ステップは、前記頭部中心位置の座標が変更されない場合、前記規定された距離を、予め定められた距離よりも短い距離とする、請求項8に記載のプログラム。
- 前記制御ステップは、更新後の頭部中心位置に対する評価値と更新前の頭部中心位置に対する評価値との差分が所定の閾値以上か否かにより、前記位置検出処理を続行するかどうかを判断する、請求項6から9までのいずれか1項に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066466A JP7053341B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066466A JP7053341B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179287A JP2019179287A (ja) | 2019-10-17 |
JP7053341B2 true JP7053341B2 (ja) | 2022-04-12 |
Family
ID=68278646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018066466A Active JP7053341B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7053341B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021079911A1 (ja) * | 2019-10-23 | 2021-04-29 | 株式会社小糸製作所 | センサシステム及びセンサユニット |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012127811A (ja) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | 乗員検知装置 |
-
2018
- 2018-03-30 JP JP2018066466A patent/JP7053341B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012127811A (ja) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | 乗員検知装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2019179287A (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6184877B2 (ja) | 車両用外界認識装置 | |
JP6125188B2 (ja) | 映像処理方法及び装置 | |
KR20190095592A (ko) | 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치 | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
JP6782433B2 (ja) | 画像認識装置 | |
JP6592991B2 (ja) | 物体検出装置、物体検出方法及びプログラム | |
JP2014009975A (ja) | ステレオカメラ | |
CN111149131A (zh) | 区划线识别装置 | |
JP2018156408A (ja) | 画像認識撮像装置 | |
EP3955207A1 (en) | Object detection device | |
JP7053341B2 (ja) | 処理装置、及びプログラム | |
KR101995466B1 (ko) | 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치 | |
JP6077785B2 (ja) | 対象物検出装置及びプログラム | |
JP7053340B2 (ja) | 処理装置、及びプログラム | |
JP2018092608A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP7117878B2 (ja) | 処理装置、及びプログラム | |
CN112400094B (zh) | 物体探测装置 | |
JP4765363B2 (ja) | 乗員検出装置及び乗員検出方法 | |
JP7240193B2 (ja) | 顔方向判別装置、コンピュータプログラム、および記憶媒体 | |
JP5141275B2 (ja) | 車両用画像処理装置及び車両用画像処理方法 | |
JP2015215235A (ja) | 物体検出装置及び物体検出方法 | |
JP6354963B2 (ja) | 物体認識装置、物体認識方法、および物体認識プログラム | |
JP7053342B2 (ja) | 処理装置、及びプログラム | |
JP7195963B2 (ja) | 頭部判別装置、コンピュータプログラム、および記憶媒体 | |
JP7288309B2 (ja) | 頭部判別装置、コンピュータプログラム、および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180501 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7053341 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |