JP2010133722A - 顔向き検出装置 - Google Patents
顔向き検出装置 Download PDFInfo
- Publication number
- JP2010133722A JP2010133722A JP2008307305A JP2008307305A JP2010133722A JP 2010133722 A JP2010133722 A JP 2010133722A JP 2008307305 A JP2008307305 A JP 2008307305A JP 2008307305 A JP2008307305 A JP 2008307305A JP 2010133722 A JP2010133722 A JP 2010133722A
- Authority
- JP
- Japan
- Prior art keywords
- slit light
- image processing
- image
- processing range
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】撮影範囲に対してスリット光に照らされた部分が占める割合が大きい場合であっても、画像処理の処理時間を短くすることができる顔向き検出装置を提供する。
【解決手段】スリット光画像10内のスリット光11部分を特定して、スリット光11を抽出し、スリット光11の大きさと位置を算出し、スリット光11の大きさに応じてその後に撮像されるスリット光画像10の画像処理範囲を縮小させるよう画像処理範囲を設定することで、スリット光11の部分を確実に画像処理し、かつ、画像処理時間を短縮する。
【選択図】図5
【解決手段】スリット光画像10内のスリット光11部分を特定して、スリット光11を抽出し、スリット光11の大きさと位置を算出し、スリット光11の大きさに応じてその後に撮像されるスリット光画像10の画像処理範囲を縮小させるよう画像処理範囲を設定することで、スリット光11の部分を確実に画像処理し、かつ、画像処理時間を短縮する。
【選択図】図5
Description
本願発明は、車両に搭載される乗員の顔の向きを検出する顔向き検出装置に関する。
この種の技術としては、特許文献1に記載の技術が開示されている。この公報では、スリット光源とスリット光の2次元画像を撮影する2次元撮像装置に対して、撮影対象物をあらかじめ定められた移動経路に沿って移動させ、移動中に複数回画像を撮影し、この撮影結果に基づいて撮影対象物の3次元データを得るものが開示されている。3次元データを得るために撮影した画像に対して画像処理を行っているが、画像処理を行う範囲をスリット光に照らされる部分に限定し、処理時間を短縮している。
特開2001−116528号公報
撮影した撮影対象物が撮影範囲に対して占める範囲が比較的大きく、スリット光の照射範囲が撮影範囲の広範囲に渡る場合や、撮影対象物が奥行き方向に深く、撮影したスリット光の段差が大きい場合には、撮影範囲に対してスリット光に照らされる部分が占める割合が大きくなる。このような場合、上記従来技術では、画像処理範囲を小さくすることができないため、処理時間を短くすることができないといった問題があった。
本発明は上記問題に着目してなされたもので、その目的とするところは、撮影範囲に対してスリット光に照らされた部分が占める割合が大きい場合であっても、画像処理の処理時間を短くすることができる顔向き検出装置を提供することである。
上記目的を達成するため、本発明の顔向き検出装置においては、スリット光画像内のスリット光部分に基づいて、その後に撮像されるスリット光画像の画像処理範囲を縮小させるようにした。
よって、スリット光画像内のスリット光部分を特定してスリット光画像の画像処理範囲を設定するため、スリット光の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
以下、本発明の顔向き検出装置を実現する最良の形態を、実施例1乃至実施例4に基づいて説明する。
〔実施例1〕
[顔向き検出装置の構成]
実施例1の顔向き検出装置1の構成について説明する。図1は実施例1の顔向き検出装置1の構成を示す構成図である。
〔実施例1〕
[顔向き検出装置の構成]
実施例1の顔向き検出装置1の構成について説明する。図1は実施例1の顔向き検出装置1の構成を示す構成図である。
顔向き検出装置1は、運転者の顔部分を撮影するカメラ2、運転者の顔にスリット光を照射するスリット光照射器3、カメラ2およびスリット光照射器3を制御するとともに、カメラ2からの画像から運転者の顔の向き画像処理によって求めるコントロールユニット4、運転者の顔の向きから運転者の状態を判定する状態判定ユニット6を備えている。
カメラ2は、インストルメントパネル5の上部に、運転者の顔全体が撮影できるように設けられている。スリット光照射器3はステアリングコラム7の上部に設けられている。
コントロールユニット4は、カメラ2とスリット光照射器3と接続し、スリット光照射器3がスリット光を照射するタイミングや照射角度、カメラ2が撮影を行うタイミングなどを制御している。またコントロールユニット4は、カメラ2が撮影した画像を基に運転者の顔の向きを求める。
状態判定ユニット6は、コントロールユニット4によって求めた運転者の顔の向きに応じて運転者の状態を判定し、運転者の状態に応じた処理を行う。例えば、運転者の顔が所定時間、下を向いている場合には、運転者が居眠りをしていると判定して警報を発する。また運転者の顔が所定時間、横を向いているときには、運転者がよそ見をしていると判定して警報を発する。また警報を発しても運転者の顔の向きが変わらない(運転者が前方を見ない)場合には、車両を減速させるように制御を実施する。
図2は、スリット光照射器3が照射したスリット光をカメラ2によって撮影するメカニズムを示した図である。スリット光照射器3は、アクチュエータ3aによって回動し、1本のスリット光を任意の照射角度で照射することができる。ある角度でスリット光照射器3がスリット光を照射したタイミングでカメラ2が運転者の顔を撮影し、別のある角度でスリット光照射器3がスリット光を照射したタイミングでカメラ2が運転者の顔を撮影する。これを繰り返すことにより、運転者の顔全体をスキャンしたスリット光の画像を得ることができる。
図3は顔向き検出装置1の制御ブロック図である。コントロールユニット4は、画像入力部4a、タイミング制御部4b、先頭画像判定部4c、画像処理範囲算定部4d、画像処理部4e、3次元データ算出部4f、データメモリ部4g、最終データ判定部4h、顔形状/顔角度算定部4i、顔角度出力部4jを備えている。
画像入力部4aは、カメラ2により撮影したスリット光画像を取り込み、記憶する。
タイミング制御部4bは、カメラ2の撮影タイミングとスリット光照射器3がスリット光を照射する照射タイミングとを同期させるとともに、スリット光照射器3の照射角度を制御する。
タイミング制御部4bは、カメラ2の撮影タイミングとスリット光照射器3がスリット光を照射する照射タイミングとを同期させるとともに、スリット光照射器3の照射角度を制御する。
実施例1の顔向き検出装置1は、運転者の顔に対してスリット光を上から下に照射しながら撮影する工程を1周期としている。先頭画像判定部4cは、撮影した画像がこの1周期のうち最初に撮影した画像(先頭画像)であるか否かを判定している。
画像処理範囲算定部4dは、先頭画像判定部4cが判定した先頭画像から画像処理範囲を算定する。この画像処理範囲を算定についての詳細は後述する。
画像処理部4eは、1周期内に撮影した各スリット光画像からスリット光部分のみのデータを画像処理により抽出する。
画像処理部4eは、1周期内に撮影した各スリット光画像からスリット光部分のみのデータを画像処理により抽出する。
3次元データ算出部4fは、画像処理部4eにおいて抽出したスリット光のデータから光切断法により3次元データを算出する。
データメモリ部4gは、3次元データ算出部4fにおいて算出した3次元データを記憶する。
データメモリ部4gは、3次元データ算出部4fにおいて算出した3次元データを記憶する。
最終データ判定部4hは、データメモリ部4gにおいて記憶したデータが、1周期のうち最後に撮影した画像の3次元データ(最終データ)であるか否かを判定している。
顔形状/顔角度算定部4iは、データメモリ部4gにおいて記憶している3次元データに基づいて、運転者の顔の形状(顔の幅、鼻の位置等)を算定し、また顔の形状から顔の角度(顔の向き)を算定する。
顔角度出力部4jは、顔形状/顔角度算定部4iにより算定した顔の角度を状態判定ユニット6へ出力する。
顔形状/顔角度算定部4iは、データメモリ部4gにおいて記憶している3次元データに基づいて、運転者の顔の形状(顔の幅、鼻の位置等)を算定し、また顔の形状から顔の角度(顔の向き)を算定する。
顔角度出力部4jは、顔形状/顔角度算定部4iにより算定した顔の角度を状態判定ユニット6へ出力する。
[顔向き検出処理]
図4はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
図4はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
ステップS1では、スリット光照射器3によりスリット光を運転者に対して照射して、ステップS2へ移行する。
ステップS2では、カメラ2によりスリット光画像を撮影して、ステップS3へ移行する。
ステップS2では、カメラ2によりスリット光画像を撮影して、ステップS3へ移行する。
ステップS3では、ステップS2で撮影したスリット光画像が先頭画像であるか否かを判定し、先頭画像である場合にはステップS4へ移行し、先頭画像でない場合にはステップS5へ移行する。
ステップS4では、ステップS2で撮影したスリット光画像の全範囲においてスリット光を抽出する画像処理を行い、ステップS7へ移行する。
ステップS5では、ステップS4における画像処理により抽出したスリット光の大きさから縮小画像処理範囲を決定する。また前回の画像処理により抽出したスリット光の位置から予め設定した移動量で移動した位置に縮小画像処理範囲を設定し、画像処理を行う範囲を限定してステップS6へ移行する。
ステップS5では、ステップS4における画像処理により抽出したスリット光の大きさから縮小画像処理範囲を決定する。また前回の画像処理により抽出したスリット光の位置から予め設定した移動量で移動した位置に縮小画像処理範囲を設定し、画像処理を行う範囲を限定してステップS6へ移行する。
ステップS6では、ステップS7で限定した画像処理範囲においてスリット光を抽出する画像処理を行い、ステップS7へ移行する。
ステップS7では、ステップS4またはステップS6における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS8では、データメモリ部4gにステップS7において算出した3次元データを記憶して、ステップS9へ移行する。
ステップS7では、ステップS4またはステップS6における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS8では、データメモリ部4gにステップS7において算出した3次元データを記憶して、ステップS9へ移行する。
ステップS9では、ステップS8において記憶したデータが最終データであるか否かを判定し、最終データである場合にはステップS10へ移行し、最終データでない場合にはステップS1へ移行する。
ステップS10では、運転者の顔の形状を算定して、ステップS11へ移行する。
ステップS11では、顔の形状から顔の角度を算定して、処理を終了する。
ステップS10では、運転者の顔の形状を算定して、ステップS11へ移行する。
ステップS11では、顔の形状から顔の角度を算定して、処理を終了する。
[画像処理範囲の限定]
次にスリット光画像の画像処理を行う範囲の限定について説明する。
図5はカメラ2によるスリット光画像10の撮影の様子と、撮影したスリット光画像10を示す図である。図5(a)はスリット光照射器3と被検出部(運転者の顔)との距離が遠いときのカメラ2、スリット光照射器3と運転者の顔の位置との関係と、そのときのスリット光画像10を示す。図5(b)はスリット光照射器3と運転者の顔との距離が近いときのカメラ2、スリット光照射器3と運転者の顔の位置との関係と、そのときのスリット光画像10を示す。
次にスリット光画像の画像処理を行う範囲の限定について説明する。
図5はカメラ2によるスリット光画像10の撮影の様子と、撮影したスリット光画像10を示す図である。図5(a)はスリット光照射器3と被検出部(運転者の顔)との距離が遠いときのカメラ2、スリット光照射器3と運転者の顔の位置との関係と、そのときのスリット光画像10を示す。図5(b)はスリット光照射器3と運転者の顔との距離が近いときのカメラ2、スリット光照射器3と運転者の顔の位置との関係と、そのときのスリット光画像10を示す。
図5(a)に示すように、スリット光照射器3と運転者の顔との距離が遠いときは、スリット光11はスリット光画像10の上方に表示される。一方、図5(b)に示すように、スリット光照射器3と運転者の顔との距離が近いときは、スリット光11はスリット光画像10の下方に表示される。そのため先頭画像においては、スリット光11がスリット光画像10のどの位置に表示されるかわからない。
図6はスリット光画像の画像処理の概要を示す図である。図6(a)はスリット光照射角度が「a」であるときのカメラ2、スリット光照射器3と運転者の顔の位置との関係とそのときのスリット光画像10、スリット光画像10を画像処理しスリット光11を抽出した処理画像を示す図である。図6(b)はスリット光照射角度が「b」であるときのカメラ2、スリット光照射器3と運転者の顔の位置との関係とそのときのスリット光画像10、スリット光画像10を画像処理しスリット光11を抽出した処理画像13を示す図である。図6(c)はスリット光照射角度が「c」であるときのカメラ2、スリット光照射器3と運転者の顔の位置との関係とそのときのスリット光画像10、スリット光画像10を画像処理しスリット光11を抽出した処理画像13を示す図である。
スリット光照射角度が「a」であるときに撮影したスリット光画像10が先頭画像である。先頭画像においてはスリット光11がスリット光画像10のどの位置に表示されるかわからない。そのため、スリット光画像10の全体を画像処理範囲12として画像処理を行う。
先頭画像においてスリット光画像10の全体を画像処理してスリット光11を抽出すると、スリット光11の大きさと位置とがわかる。スリット光11の大きさに応じて縮小画像処理範囲13を設定する。また次に撮影する画像のスリット光照射角度は「b」と分かっているから、このスリット照射角度「b」に応じた位置に縮小画像処理範囲13を設定して画像処理を行う。また次に撮影する画像のスリット光照射角度は「c」と分かっているから、このスリット照射角度「c」に応じた位置に縮小画像処理範囲13を設定して画像処理を行う。
図7はスリット光画像の画像処理の概要を示す図である。先頭画像においてはスリット光画像10の全体を画像処理範囲12としてスリット光11を抽出する。抽出したスリット光11の大きさから縮小画像処理範囲13を設定する。
次に撮影されたスリット光画像10では、前回の縮小画像処理範囲13aから予め定めた移動量だけ縮小画像処理範囲13を下にずらす。以降、最終データを得るまで撮影と画像処理を繰り返す。各撮影の3次元データから運転者の顔の形を算出すると、図7の一番下に示す合成画像14を得ることができる。
[作用]
次に実施例1の顔向き検出装置1の作用について説明する。
次に実施例1の顔向き検出装置1の作用について説明する。
スリット光画像からスリット光を抽出する画像処理を行う場合、画像処理の範囲が小さいほど処理時間を短くすることができる。実施例1の顔向き検出装置1では、運転者の顔全体が撮影できるようにカメラ2を設置するため、撮影した運転者の顔は、撮影した画像全体に対して大きな割合を占める。また運転者の顔のうち鼻の部分や顎から首にかけての部分は奥行き方向の変化が大きいため撮影したスリット光の段差が大きい。そのためスリット光画像の全体が画像処理の対象範囲となりえることとなり、画像処理の範囲を絞ることができず処理時間がかかってしまう問題があった。
そこで実施例1では、スリット光画像10内のスリット光11部分に基づいて、その後に撮像されるスリット光画像10の画像処理範囲を縮小させるようにした。
この構成により、スリット光画像10内のスリット光11部分を特定してスリット光画像10の画像処理範囲を設定するため、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
この構成により、スリット光画像10内のスリット光11部分を特定してスリット光画像10の画像処理範囲を設定するため、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
また実施例1では、スリット光画像10内のスリット光11の位置を判断し、このスリット光11の位置の周囲に、スリット光画像の範囲よりも縮小した縮小画像処理範囲13を設定し、次の画像処理以降で、スリット光照射角度の変更量に基づいて予め設定した所定量で、縮小画像処理範囲13を移動して限定された画像処理範囲を設定するようにした。
この構成により、スリット光画像10内のスリット光11部分を特定してスリット光画像10の画像処理範囲を設定するため、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
この構成により、スリット光画像10内のスリット光11部分を特定してスリット光画像10の画像処理範囲を設定するため、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
[実施例1の効果]
次に実施例1の顔向き検出装置1の効果について説明する。
次に実施例1の顔向き検出装置1の効果について説明する。
(1)車両乗員の顔向きを検出する顔向き検出装置1であって、車両乗員の少なくとも顔を含む被検出部にスリット光11を照射するスリット光照射器3と、被検出部からの反射されたスリット光11のスリット光画像10を撮像するカメラ2と、スリット光照射器3の投光角度を変更するアクチュエータ3aと、カメラ2の撮像タイミングとスリット光照射器3の投光角度、及びスリット光照射器3の投光タイミングを制御し、被検出部の異なる位置にスリット光を照射した複数のスリット光画像を撮像させ、スリット光画像10を画像処理し、画像処理結果に基づいて、被検出部の形状を算出し、算出された形状に基づいて、顔向きを算出し、スリット光画像10内のスリット光11部分に基づいて、その後に撮像されるスリット光画像10の画像処理範囲を縮小させるコントロールユニット4を備えた。
よって、スリット光画像10内のスリット光11部分を特定してスリット光画像10の画像処理範囲を設定するため、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
(2)コントロールユニット4は、スリット光画像10内のスリット光11の位置を判断し、このスリット光11の位置の周囲に、スリット光画像の範囲よりも縮小した縮小画像処理範囲13を設定し、次の画像処理以降で、スリット光照射器3の照射角度の変更量に基づいて予め設定した所定量で、縮小画像処理範囲13を移動して限定された画像処理範囲を設定するようにした。
よって、スリット光画像10内のスリット光11部分を特定してスリット光画像10の画像処理範囲を設定するため、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
〔実施例2〕
実施例1の顔向き検出装置1では、縮小画像処理範囲13を予め設定していた移動量で下方に移動させるようにしていたが、実施例2の顔向き検出装置1では、縮小画像処理範囲13を前回のスリット光11の位置と、今回のスリット光11の位置との差分に基づいて設定した移動量で下方に移動させるようにした。
実施例1の顔向き検出装置1では、縮小画像処理範囲13を予め設定していた移動量で下方に移動させるようにしていたが、実施例2の顔向き検出装置1では、縮小画像処理範囲13を前回のスリット光11の位置と、今回のスリット光11の位置との差分に基づいて設定した移動量で下方に移動させるようにした。
以下、実施例2の顔向き検出装置1について説明するが、実施例1と同じ構成については同一の符号を付して説明を省略する。
[顔向き検出処理]
図8はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
図8はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
ステップS21では、スリット光照射器3によりスリット光を運転者に対して照射して、ステップS22へ移行する。
ステップS22では、カメラ2によりスリット光画像を撮影して、ステップS23へ移行する。
ステップS22では、カメラ2によりスリット光画像を撮影して、ステップS23へ移行する。
ステップS23では、ステップS22で撮影したスリット光画像が先頭画像であるか否かを判定し、先頭画像である場合にはステップS24へ移行し、先頭画像でない場合にはステップS25へ移行する。
ステップS24では、ステップS22で撮影したスリット光画像の全範囲においてスリット光を抽出する画像処理を行い、ステップS27へ移行する。
ステップS25では、ステップS4における画像処理により抽出したスリット光の大きさから縮小画像処理範囲を決定する。また前々回の画像処理により抽出したスリット光の位置と前回の画像処理により抽出したスリット光の位置との差分に基づいて設定した移動量で移動した位置に縮小画像処理範囲を設定し、画像処理を行う範囲を限定してステップS26へ移行する。なお、2回目の画像処理時には、前々回には画像処理が行われていないため、先頭画像の画像処理により求めた縮小画像処理範囲の位置から予め設定した移動量で移動した位置に縮小画像処理範囲を設定する。
ステップS25では、ステップS4における画像処理により抽出したスリット光の大きさから縮小画像処理範囲を決定する。また前々回の画像処理により抽出したスリット光の位置と前回の画像処理により抽出したスリット光の位置との差分に基づいて設定した移動量で移動した位置に縮小画像処理範囲を設定し、画像処理を行う範囲を限定してステップS26へ移行する。なお、2回目の画像処理時には、前々回には画像処理が行われていないため、先頭画像の画像処理により求めた縮小画像処理範囲の位置から予め設定した移動量で移動した位置に縮小画像処理範囲を設定する。
ステップS26では、ステップS27で限定した画像処理範囲においてスリット光を抽出する画像処理を行い、ステップS27へ移行する。
ステップS27では、ステップS24またはステップS26における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS28では、データメモリ部4gにステップS7において算出した3次元データを記憶して、ステップS29へ移行する。
ステップS27では、ステップS24またはステップS26における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS28では、データメモリ部4gにステップS7において算出した3次元データを記憶して、ステップS29へ移行する。
ステップS29では、ステップS28において記憶したデータが最終データであるか否かを判定し、最終データである場合にはステップS30へ移行し、最終データでない場合にはステップS21へ移行する。
ステップS30では、運転者の顔の形状を算定して、ステップS31へ移行する。
ステップS31では、顔の形状から顔の角度を算定して、処理を終了する。
ステップS30では、運転者の顔の形状を算定して、ステップS31へ移行する。
ステップS31では、顔の形状から顔の角度を算定して、処理を終了する。
[画像処理の限定]
次にスリット光画像の画像処理を行う範囲の限定について説明する。
次にスリット光画像の画像処理を行う範囲の限定について説明する。
図9はスリット光画像の画像処理の概要を示す図である。先頭画像においてはスリット光画像10の全体を画像処理範囲12としてスリット光11を抽出する。抽出したスリット光11の大きさから縮小画像処理範囲13を設定する。
次に撮影されたスリット光画像10では、先頭画像に対して求めた縮小画像処理範囲13から予め定めた移動量だけ縮小画像処理範囲13を下にずらす。この縮小画像処理範囲13で画像処理を行ってスリット光11を抽出し、先頭画像において抽出したスリット光11aの位置との差分から次回の縮小画像処理範囲13bの移動量を決定する。以降、前回の画像処理において抽出したスリット光11aの位置と、今回の画像処理において抽出したスリット光11の位置との差分から次回の縮小画像処理範囲13bの移動量を決定し、最終データを得るまで撮影と画像処理を繰り返す。各撮影の3次元データから運転者の顔の形を算出すると、図9の一番下に示す合成画像14を得ることができる。
[実施例2の効果]
次に実施例2の顔向き検出装置1の効果について説明する。
次に実施例2の顔向き検出装置1の効果について説明する。
(3)コントロールユニット4は、スリット光画像10内のスリット光11の位置を判断し、このスリット光の位置の周囲に、スリット光画像10の範囲よりも縮小した縮小画像処理範囲13設定し、前回撮影したスリット光画像10内のスリット光11aの位置と、今回撮影したスリット光画像10内のスリット光11の位置との差分に基づいて設定した移動量で、縮小画像処理範囲13を移動して限定された画像処理範囲を設定するようにした。
よって、スリット光画像10内のスリット光11部分をより正確に特定することができ、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
〔実施例3〕
実施例1の顔向き検出装置1では、縮小画像処理範囲13を予め設定していた移動量で下方に移動させるようにしていたが、実施例3の顔向き検出装置1では、縮小画像処理範囲13を被検出部とカメラ2との距離に基づいて設定した移動量で下方に移動させるようにした。
〔実施例3〕
実施例1の顔向き検出装置1では、縮小画像処理範囲13を予め設定していた移動量で下方に移動させるようにしていたが、実施例3の顔向き検出装置1では、縮小画像処理範囲13を被検出部とカメラ2との距離に基づいて設定した移動量で下方に移動させるようにした。
以下、実施例3の顔向き検出装置1について説明するが、実施例1,2と同じ構成については同一の符号を付して説明を省略する。
[顔向き検出装置の構成]
実施例3の顔向き検出装置1の構成について説明する。
[顔向き検出装置の構成]
実施例3の顔向き検出装置1の構成について説明する。
図10は顔向き検出装置1の制御ブロック図である。コントロールユニット4は、画像入力部4a、タイミング制御部4b、先頭画像判定部4c、画像処理範囲算定部4d、画像処理部4e、データメモリ部4g、最終データ判定部4h、顔形状/顔角度算定部4i、顔角度出力部4j、移動量算出部4k、3次元データ算出部/距離算出部4mを備えている。
以下、実施例1,2と異なる移動量算出部4k、3次元データ算出部/距離算出部4mについて説明する。
3次元データ算出部/距離算出部4mは、画像処理部4eにおいて抽出したスリット光のデータから光切断法により3次元データを算出する。また、画像処理部4eにおいて抽出したスリット光のデータからカメラ2と被検出部との距離を算出する。カメラ2と被検出部との距離は周知の光切断法により算出すことができる。
移動量算出部4kは、3次元データ算出部/距離算出部4mにおいて算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の移動量を算出する。
3次元データ算出部/距離算出部4mは、画像処理部4eにおいて抽出したスリット光のデータから光切断法により3次元データを算出する。また、画像処理部4eにおいて抽出したスリット光のデータからカメラ2と被検出部との距離を算出する。カメラ2と被検出部との距離は周知の光切断法により算出すことができる。
移動量算出部4kは、3次元データ算出部/距離算出部4mにおいて算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の移動量を算出する。
[顔向き検出処理]
図11はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
図11はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
ステップS51では、スリット光照射器3によりスリット光を運転者に対して照射して、ステップS52へ移行する。
ステップS52では、カメラ2によりスリット光画像を撮影して、ステップS53へ移行する。
ステップS52では、カメラ2によりスリット光画像を撮影して、ステップS53へ移行する。
ステップS53では、ステップS52で撮影したスリット光画像が先頭画像であるか否かを判定し、先頭画像である場合にはステップS54へ移行し、先頭画像でない場合にはステップS55へ移行する。
ステップS54では、ステップS52で撮影したスリット光画像の全範囲においてスリット光を抽出する画像処理を行い、ステップS57へ移行する。
ステップS55では、ステップS54における画像処理により抽出したスリット光の大きさから縮小画像処理範囲を決定する。先頭画像の画像処理時に後述するステップS59において設定した縮小画像処理範囲13の移動量で移動した位置に縮小画像処理範囲を設定し、画像処理を行う範囲を限定してステップS56へ移行する。
ステップS55では、ステップS54における画像処理により抽出したスリット光の大きさから縮小画像処理範囲を決定する。先頭画像の画像処理時に後述するステップS59において設定した縮小画像処理範囲13の移動量で移動した位置に縮小画像処理範囲を設定し、画像処理を行う範囲を限定してステップS56へ移行する。
ステップS56では、ステップS55で限定した画像処理範囲においてスリット光を抽出する画像処理を行い、ステップS57へ移行する。
ステップS57では、ステップS54またはステップS56における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS57では、ステップS54またはステップS56における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS58では、ステップS54における画像処理により抽出されたスリット光のデータからカメラ2と被検出部との距離を算出してステップS59へ移行する。
ステップS59では、ステップS58において算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の移動量を算出する。
ステップS59では、ステップS58において算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の移動量を算出する。
ステップS60では、データメモリ部4gにステップS7において算出した3次元データを記憶して、ステップS61へ移行する。
ステップS61では、ステップS60において記憶したデータが最終データであるか否かを判定し、最終データである場合にはステップS62へ移行し、最終データでない場合にはステップS51へ移行する。
ステップS62では、運転者の顔の形状を算定して、ステップS63へ移行する。
ステップS63では、顔の形状から顔の角度を算定して、処理を終了する。
ステップS62では、運転者の顔の形状を算定して、ステップS63へ移行する。
ステップS63では、顔の形状から顔の角度を算定して、処理を終了する。
[作用]
次に実施例3の顔向き検出装置1の作用について以下に説明する。
図12はカメラ2と被検出部との距離に応じた縮小画像処理範囲13の移動量の算出について説明する図である。図12(a)はカメラ2と被検出部との距離が遠い場合、図12(b)はカメラ2と被検出部との距離が近い場合を示す。
次に実施例3の顔向き検出装置1の作用について以下に説明する。
図12はカメラ2と被検出部との距離に応じた縮小画像処理範囲13の移動量の算出について説明する図である。図12(a)はカメラ2と被検出部との距離が遠い場合、図12(b)はカメラ2と被検出部との距離が近い場合を示す。
カメラ2は、カメラ2から遠い位置にあるものほど広範囲に撮影することができる。スリット光照射器3と被検出部との距離が遠い場合には、スリット光11の本数を多く撮影でき、例えば図12(a)では7本のスリット光11を撮影することができる。また、スリット光照射器3と被検出部との距離が近い場合には、スリット光11の本数は少なくしか撮影できず、例えば図12(b)では5本のスリット光11を撮影することができる。
スリット光画像10の大きさは一定であるため、スリット光照射器3と被検出部との距離が遠い(スリット光11の本数を多く撮影できる)場合には、スリット光画像10を合成した合成画像14上では、スリット光11と隣り合うスリット光11との間隔が密になる。一方、スリット光照射器3と被検出部との距離が近い(スリット光11の本数が少なくしか撮影できない)場合には、スリット光画像10を合成した合成画像14上では、スリット光11と隣り合うスリット光11との間隔が疎になる。
そこで実施例3では、スリット光照射器3と被検出部との距離が遠いときには、縮小画像処理範囲13の移動量を小さく設定し、スリット光照射器3と被検出部との距離が近いときには、縮小画像処理範囲13の移動量を大きく設定した。
この構成により、スリット光11と隣り合うスリット光11との間隔に応じて縮小画像処理範囲13の移動量を設定することができるため、スリット光画像10内のスリット光11部分をより正確に特定することができ、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
[実施例3の効果]
次に実施例3の顔向き検出装置1の効果について説明する。
次に実施例3の顔向き検出装置1の効果について説明する。
(4)コントロールユニット4は、スリット光画像10内のスリット光11の位置を判断し、このスリット光11の位置の周囲に、スリット光画像の範囲よりも縮小した縮小画像処理範囲13を設定し、スリット光画像10からカメラ2と被検出部との距離を算出し、カメラ2と被検出部との距離に基づいて設定した移動量で、縮小画像処理範囲を移動して限定された画像処理範囲を設定するようにした。
よって、スリット光11と隣り合うスリット光11との間隔に応じて縮小画像処理範囲13の移動量を設定することができるため、スリット光画像10内のスリット光11部分をより正確に特定することができ、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
〔実施例4〕
実施例1の顔向き検出装置1では、縮小画像処理範囲13の縦方向幅は縮小画像処理範囲13を被検出部とカメラ2との距離に限らず一定であったが、実施例4の顔向き検出装置1では、縮小画像処理範囲13を被検出部とカメラ2との距離に基づいて縮小画像処理範囲13の縦方向幅を可変に設定するようにした。
〔実施例4〕
実施例1の顔向き検出装置1では、縮小画像処理範囲13の縦方向幅は縮小画像処理範囲13を被検出部とカメラ2との距離に限らず一定であったが、実施例4の顔向き検出装置1では、縮小画像処理範囲13を被検出部とカメラ2との距離に基づいて縮小画像処理範囲13の縦方向幅を可変に設定するようにした。
以下、実施例4の顔向き検出装置1について説明するが、実施例1〜3と同じ構成については同一の符号を付して説明を省略する。
[顔向き検出装置の構成]
実施例4の顔向き検出装置1の構成について説明する。
[顔向き検出装置の構成]
実施例4の顔向き検出装置1の構成について説明する。
図13は顔向き検出装置1の制御ブロック図である。コントロールユニット4は、画像入力部4a、タイミング制御部4b、先頭画像判定部4c、画像処理範囲算定部4d、画像処理部4e、データメモリ部4g、最終データ判定部4h、顔形状/顔角度算定部4i、顔角度出力部4j、3次元データ算出部/距離算出部4m、縦方向の幅算出部4nを備えている。
以下、実施例1〜3と異なる縦方向の幅算出部4nについて説明する。
縦方向の幅算出部4nは、3次元データ算出部/距離算出部4mにおいて算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の縦方向の幅を算出する。
縦方向の幅算出部4nは、3次元データ算出部/距離算出部4mにおいて算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の縦方向の幅を算出する。
[顔向き検出処理]
図14はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
図14はコントロールユニット4において行われる顔向き検出の処理の流れを示すフローチャートである。
ステップS71では、スリット光照射器3によりスリット光を運転者に対して照射して、ステップS72へ移行する。
ステップS72では、カメラ2によりスリット光画像を撮影して、ステップS73へ移行する。
ステップS72では、カメラ2によりスリット光画像を撮影して、ステップS73へ移行する。
ステップS73では、ステップS72で撮影したスリット光画像が先頭画像であるか否かを判定し、先頭画像である場合にはステップS74へ移行し、先頭画像でない場合にはステップS75へ移行する。
ステップS74では、ステップS72で撮影したスリット光画像の全範囲においてスリット光を抽出する画像処理を行い、ステップS77へ移行する。
ステップS75では、ステップS74における画像処理により抽出したスリット光の大きさ、および後述するステップS79において算出した縮小画像処理範囲の縦方向の幅に基づいて縮小画像処理範囲を決定して、ステップS76へ移行する。
ステップS75では、ステップS74における画像処理により抽出したスリット光の大きさ、および後述するステップS79において算出した縮小画像処理範囲の縦方向の幅に基づいて縮小画像処理範囲を決定して、ステップS76へ移行する。
ステップS76では、ステップS75で限定した画像処理範囲においてスリット光を抽出する画像処理を行い、ステップS77へ移行する。
ステップS77では、ステップS74またはステップS76における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS77では、ステップS74またはステップS76における画像処理により抽出されたスリット光のデータから光切断法により3次元データを算出する。
ステップS78では、ステップS74における画像処理により抽出されたスリット光のデータからカメラ2と被検出部との距離を算出してステップS79へ移行する。
ステップS79では、ステップS78において算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の縦方向の幅を算出する。
ステップS79では、ステップS78において算出したカメラ2と被検出部との距離に応じて縮小画像処理範囲13の縦方向の幅を算出する。
ステップS80では、データメモリ部4gにステップS7において算出した3次元データを記憶して、ステップS81へ移行する。
ステップS81では、ステップS80において記憶したデータが最終データであるか否かを判定し、最終データである場合にはステップS82へ移行し、最終データでない場合にはステップS71へ移行する。
ステップS82では、運転者の顔の形状を算定して、ステップS83へ移行する。
ステップS83では、顔の形状から顔の角度を算定して、処理を終了する。
ステップS82では、運転者の顔の形状を算定して、ステップS83へ移行する。
ステップS83では、顔の形状から顔の角度を算定して、処理を終了する。
[作用]
次に実施例4の顔向き検出装置1の作用について以下に説明する。
図15はカメラ2と被検出部との距離に応じた縮小画像処理範囲13の移動量の算出について説明する図である。図15(a)はカメラ2と被検出部との距離が遠い場合、図15(b)はカメラ2と被検出部との距離が近い場合を示す。
次に実施例4の顔向き検出装置1の作用について以下に説明する。
図15はカメラ2と被検出部との距離に応じた縮小画像処理範囲13の移動量の算出について説明する図である。図15(a)はカメラ2と被検出部との距離が遠い場合、図15(b)はカメラ2と被検出部との距離が近い場合を示す。
カメラ2及びスリット光照射器3と被検出部との距離が遠い場合、カメラ2とスリット光照射器3とのなす角度が小さくなるため、スリット光画像10内のスリット光11の縦方向幅が小さくなる。一方、カメラ2及びスリット光照射器3と被検出部との距離が近い場合、カメラ2とスリット光照射器3とのなす角度が大きくなるため、スリット光画像10内のスリット光11の縦方向幅が大きくなる。
そこで実施例4では、カメラ2及びスリット光照射器3と被検出部との距離が遠いときには、縮小画像処理範囲13の縦方向の幅を小さく設定し、カメラ2及びスリット光照射器3と被検出部との距離が近いときには、縮小画像処理範囲13の縦方向の幅を大きく設定した。
この構成により、スリット光11の縦方向の幅に合わせて縮小画像処理範囲13の縦方向の幅を設定することができるため、スリット光画像10内のスリット光11部分をより正確に特定することができ、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
[実施例4の効果]
次に実施例4の顔向き検出装置1の効果について説明する。
次に実施例4の顔向き検出装置1の効果について説明する。
(5)コントロールユニット4は、スリット光画像10内のスリット光11の位置を判断し、このスリット光11の位置の周囲に、スリット光画像の範囲よりも縮小した縮小画像処理範囲13を設定し、スリット光画像10からカメラ2と被検出部との距離を算出し、カメラ2と被検出部との距離に基づいて縮小画像処理範囲13の大きさを設定するようにした。
よって、スリット光11の縦方向の幅に合わせて縮小画像処理範囲13の縦方向の幅を設定することができるため、スリット光画像10内のスリット光11部分をより正確に特定することができ、スリット光11の部分を確実に画像処理することができるとともに、画像処理時間を短くすることができる。
〔他の実施例〕
以上、本発明を実施するための最良の形態を、実施例1〜4に基づいて説明したが、本発明の具体的な構成は、実施例1〜4に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
以上、本発明を実施するための最良の形態を、実施例1〜4に基づいて説明したが、本発明の具体的な構成は、実施例1〜4に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
図16は他の実施例を説明するための図である。
例えば図16に示すように、実施例1〜4のスリット光照射器3に代えて、スリット光を発生させるスリット光源3bと、スリット光をスリット光反射部3cと、スリット光反射部3cを回動させるアクチュエータ3dを用いても良い。
例えば図16に示すように、実施例1〜4のスリット光照射器3に代えて、スリット光を発生させるスリット光源3bと、スリット光をスリット光反射部3cと、スリット光反射部3cを回動させるアクチュエータ3dを用いても良い。
また図16に示すように、カメラ2とスリット光反射部3c(またはスリット光照射器3)の位置は逆に設置するようにしても良い。
1 顔向き検出装置
2 カメラ(撮像手段)
3 スリット光照射器(投光手段)
3a アクチュエータ(投光角度変更手段)
4 コントロールユニット(制御手段、画像処理手段、形状算出手段、顔向き算出手段)
2 カメラ(撮像手段)
3 スリット光照射器(投光手段)
3a アクチュエータ(投光角度変更手段)
4 コントロールユニット(制御手段、画像処理手段、形状算出手段、顔向き算出手段)
Claims (5)
- 車両乗員の顔向きを検出する顔向き検出装置であって、
車両乗員の少なくとも顔を含む被検出部にスリット光を照射する投光手段と、
前記被検出部からの反射されたスリット光のスリット光画像を撮像する撮像手段と、
前記投光手段の投光角度を変更する投光角度変更手段と、
前記撮像手段の撮像タイミングと前記投光角度変更手段の投光角度、及び前記投光手段の投光タイミングを制御し、被検出部の異なる位置にスリット光を照射した複数のスリット光画像を撮像させる制御手段と、
前記スリット光画像を画像処理する画像処理手段と、
画像処理結果に基づいて、前記被検出部の形状を算出する形状算出手段と、
算出された形状に基づいて、顔向きを算出する顔向き算出手段と、
を備え、
前記画像処理手段は、前記スリット光画像内のスリット光部分に基づいて、その後に撮像されるスリット光画像の画像処理範囲を縮小させる画像処理範囲縮小手段を備えたことを特徴とする顔向き検出装置。 - 請求項1に記載の顔向き検出装置において、
前記画像処理範囲縮小手段は、
前記スリット光画像内のスリット光の位置を判断し、このスリット光の位置の周囲に、前記スリット光画像の範囲よりも縮小した縮小画像処理範囲を設定する処理範囲決定手段と、
次の画像処理以降で、前記投光角度の変更量に基づいて予め設定した所定量で、前記縮小画像処理範囲を移動して限定された画像処理範囲を設定する画像処理範囲設定手段と、
を備えたことを特徴とする顔向き検出装置。 - 請求項1に記載の顔向き検出装置において、
前記画像処理範囲縮小手段は、
前記スリット光画像内のスリット光の位置を判断し、このスリット光の位置の周囲に、前記スリット光画像の範囲よりも縮小した縮小画像処理範囲を設定する処理範囲決定手段と、
前回撮影したスリット光画像内のスリット光の位置と、今回撮影したスリット光画像内のスリット光の位置との差分に基づいて設定した移動量で、前記縮小画像処理範囲を移動して限定された画像処理範囲を設定する画像処理範囲設定手段と、
を備えたことを特徴とする顔向き検出装置。 - 請求項1に記載の顔向き検出装置において、
前記画像処理範囲縮小手段は、
前記スリット光画像内のスリット光の位置を判断し、このスリット光の位置の周囲に、前記スリット光画像の範囲よりも縮小した縮小画像処理範囲を設定する処理範囲決定手段と、
前記スリット光画像から前記撮像手段と前記被検出部との距離を算出する距離算出手段と、
前記撮像手段と前記被検出部との距離に基づいて設定した移動量で、前記縮小画像処理範囲を移動して限定された画像処理範囲を設定する画像処理範囲設定手段と、
を備えたことを特徴とする顔向き検出装置。 - 請求項2乃至請求項4のいずれか1項に記載の顔向き検出装置において、
前記画像処理範囲縮小手段は、
前記スリット光画像から前記撮像手段と前記被検出部との距離を算出する距離算出手段を備え、
前記処理範囲決定手段は、前記撮像手段と前記被検出部との距離に基づいて前記縮小画像処理範囲の大きさを設定することを特徴とする顔向き検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008307305A JP2010133722A (ja) | 2008-12-02 | 2008-12-02 | 顔向き検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008307305A JP2010133722A (ja) | 2008-12-02 | 2008-12-02 | 顔向き検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010133722A true JP2010133722A (ja) | 2010-06-17 |
Family
ID=42345164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008307305A Pending JP2010133722A (ja) | 2008-12-02 | 2008-12-02 | 顔向き検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010133722A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3166475U (ja) * | 2010-09-07 | 2011-03-10 | 研治 片山 | 追突防止警告装置 |
JP2011147270A (ja) * | 2010-01-14 | 2011-07-28 | Aichi Elec Co | 発電機および駆動機の固定子 |
JP2013200246A (ja) * | 2012-03-26 | 2013-10-03 | Anritsu Sanki System Co Ltd | 変位測定装置 |
WO2014148025A1 (ja) * | 2013-03-21 | 2014-09-25 | 株式会社デンソー | 走行制御装置 |
WO2014156723A1 (ja) * | 2013-03-27 | 2014-10-02 | 株式会社ニコン | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP2019087231A (ja) * | 2017-11-07 | 2019-06-06 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 顔の位置を追跡して使用者に警報する方法及びシステム |
-
2008
- 2008-12-02 JP JP2008307305A patent/JP2010133722A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011147270A (ja) * | 2010-01-14 | 2011-07-28 | Aichi Elec Co | 発電機および駆動機の固定子 |
JP3166475U (ja) * | 2010-09-07 | 2011-03-10 | 研治 片山 | 追突防止警告装置 |
JP2013200246A (ja) * | 2012-03-26 | 2013-10-03 | Anritsu Sanki System Co Ltd | 変位測定装置 |
WO2014148025A1 (ja) * | 2013-03-21 | 2014-09-25 | 株式会社デンソー | 走行制御装置 |
JP2014181020A (ja) * | 2013-03-21 | 2014-09-29 | Denso Corp | 走行制御装置 |
WO2014156723A1 (ja) * | 2013-03-27 | 2014-10-02 | 株式会社ニコン | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP6044705B2 (ja) * | 2013-03-27 | 2016-12-14 | 株式会社ニコン | 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム |
JP2019087231A (ja) * | 2017-11-07 | 2019-06-06 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 顔の位置を追跡して使用者に警報する方法及びシステム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020121973A1 (ja) | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 | |
JP2010133722A (ja) | 顔向き検出装置 | |
US8929608B2 (en) | Device and method for recognizing three-dimensional position and orientation of article | |
JP2010185769A (ja) | 物体検出装置 | |
JP2013033206A (ja) | 投影型表示装置、情報処理装置、投影型表示システム、およびプログラム | |
JP2010039634A (ja) | 画像処理装置 | |
JP6435661B2 (ja) | 物体識別システム、情報処理装置、情報処理方法及びプログラム | |
WO2014108976A1 (ja) | 物体検出装置 | |
JP2013220757A (ja) | 車両のヘッドランプの配光制御装置 | |
JP4670521B2 (ja) | 撮像装置 | |
JP2006339960A (ja) | 物体検出装置、および物体検出方法 | |
JP6065629B2 (ja) | 物体検知装置 | |
JP5302730B2 (ja) | 運転者監視装置 | |
JP2006236184A (ja) | 画像処理による人体検知方法 | |
CN105365659A (zh) | 照射*** | |
JP6540261B2 (ja) | 高速度撮像システム及び高速度撮像方法 | |
JP2010071942A (ja) | 物体検出装置 | |
JP2007094536A (ja) | 対象物追跡装置及び対象物追跡方法 | |
JP4645292B2 (ja) | 車載物体検出装置、および物体検出方法 | |
JP2020140497A (ja) | 演算装置、視差算出方法 | |
JP5004099B2 (ja) | カーソル移動制御方法及びカーソル移動制御装置 | |
JP2010079573A (ja) | 車線逸脱防止装置 | |
JP2009044631A (ja) | 物体検出装置 | |
JP2008287648A (ja) | 移動体検出方法及び装置、並びに監視装置 | |
JP2019057240A (ja) | 撮像装置 |