JP2007257333A - 車両乗員顔向き検出装置および車両乗員顔向き検出方法 - Google Patents
車両乗員顔向き検出装置および車両乗員顔向き検出方法 Download PDFInfo
- Publication number
- JP2007257333A JP2007257333A JP2006081245A JP2006081245A JP2007257333A JP 2007257333 A JP2007257333 A JP 2007257333A JP 2006081245 A JP2006081245 A JP 2006081245A JP 2006081245 A JP2006081245 A JP 2006081245A JP 2007257333 A JP2007257333 A JP 2007257333A
- Authority
- JP
- Japan
- Prior art keywords
- face
- feature point
- vehicle occupant
- face orientation
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】第1、第2カメラ2a,2bにより撮像された顔画像を取込む第1、第2画像取込部4a,4bと、取込んだ顔画像から顔特徴点を抽出する第1、第2顔特徴点出力部5a,5bと、抽出された顔特徴点を入力し、以降の処理を3次元座標か2次元座標かによって行うかを判断する処理判断部6と、処理判断部6の判断で3次元座標の推定を行う場合に、顔特徴点の3次元座標を推定する3次元座標推定部7と、3次元座標から顔向きを計算する顔向き計算部9と、処理判断部6の判断で2次元座標を用いる場合に、2次元座標情報から顔向きを推定する顔向き推定部8と、推定された顔向きが複数の場合に、適切な1つの顔向きを選択する顔向き設定部10と、顔向きの変化に応じて、顔向き計算部9及び顔向き推定部8で得られたいずれか一方の顔向きを出力する顔向き出力部11とを備えている。
【選択図】図1
Description
〈顔特徴点検出部12の処理〉
本実施形態においては、顔特徴点として、例えば図9に示すように、右眼(EyeR)、左眼(EyeL)、右眉(BrowR)、左眉(BrowL)、右鼻孔(NoseR)、左鼻孔(NoseL)、口または唇(Lip)、顎(Chin)、右上眼鏡フレーム(GlasBL)、眼鏡フレーム中心(GlasC)という13個の点を規定することができる。なお、以下においては、右鼻孔(NoseR)と左鼻孔(NoseL)との中点位置を鼻(の位置)として一つにまとめ、顔特徴点の数を12個の点として説明する。
顔特徴点追跡部13による顔特徴点追跡処理を、図12に示すフローチャートを参照して説明する。
〈処理判断部6の処理〉
3次元座標推定部7は、少なくとも2つの顔特徴点の座標から3点測量の要領にて顔特徴点の3次元座標を推定し、顔特徴点の3次元座標を出力する。図16(a)、(b)を参照して、2台のカメラ(前記第1、第2カメラ2a,2bに相当)による顔特徴点の3次元座標の推定方法の一例について説明する。
0C2=tV2+0B…式(2)
V3=u(V1×V2)
よって、この関係から以下の式が成立する。
sV1−tV2−u(V1×V2)=0B−0A…式(3)
顔向き計算部9は、3次元座標推定部7から入力される顔特徴点の3次元座標に基づいて顔の向きを計算(推定)する。以下、顔向き計算部9での顔の向き計算方法の一例を、図17を参照して説明する。
顔向き推定部8は、顔特徴点の2次元座標から顔の向きを推定する。以下にその推定方法の一例について説明する。一般に顔は左右対称に近い形状をしており、顔を左右に回転させると顔の特徴点の見かけの位置がずれる。そこで、このときに顔の対称性に生じる歪を用いることにより、顔の向きを推定することができる。
CE:CF=t:(1−t)…式(5)
AE:BF=u:(1−u)…式(6)
顔向き設定部10は、顔向き推定部8で推定される顔向きが1つのみの場合はその値を出力する値とし、顔向き推定部8で推定される顔向きが複数の場合はいずれか1つの値を選択するか、もしくは複数の結果から出力する値を計算し、その計算結果に基づいて設定する。以下、顔向き推定部8で推定される顔向きが複数の場合における選択方法について説明する。
顔向き出力部11は、入力される顔向き計算部9および顔向き設定部10で求められた顔向き結果に基づき、顔の左右方向の回転角に応じて顔向き計算部9と顔向き設定部10のいずれか一方の顔向き結果を出力する。
2a 第1カメラ(撮像手段)
2b 第2カメラ(撮像手段)
3 装置本体
4a 第1画像取込部(画像取込手段)
4b 第2画像取込部(画像取込手段)
5a 第1顔特徴点出力部(顔特徴点出力手段)
5b 第2顔特徴点出力部(顔特徴点出力手段)
6 処理判断部(処理判断手段)
7 3次元座標推定部(3次元座標推定手段)
8 顔向き推定部(顔向き推定手段)
9 顔向き計算部(顔向き計算手段)
10 顔向き設定部(顔向き設定手段)
11 顔向き出力部(顔向き出力手段)
12 顔特徴点検出部
13 顔特徴点追跡部
Claims (10)
- 車両乗員の顔をその正面前方側の左右から撮像するための少なくとも2台の撮像手段と、
前記各撮像手段により撮像された顔画像をそれぞれ取り込む画像取込手段と、
前記各画像取込手段からそれぞれ取り込んだ顔画像から顔特徴点を抽出して出力する顔特徴点出力手段と、
前記各顔特徴点出力手段から前記顔特徴点を入力し、以降の処理を3次元座標によって行うか2次元座標によって行うかを判断する処理判断手段と、
前記処理判断手段による判断で3次元座標の推定を行う場合に、前記各顔特徴点出力手段で得られた前記顔特徴点の3次元座標を推定する3次元座標推定手段と、
前記3次元座標推定手段で推定された3次元座標から前記車両乗員の顔向きを計算する顔向き計算手段と、
前記処理判断手段による判断で2次元座標を用いる場合に、前記各顔特徴点出力手段で得られた2次元座標情報から前記車両乗員の顔向きを推定する顔向き推定手段と、
前記顔向き推定手段で推定された顔向きが複数の場合に、適切な1つの顔向きを選択する顔向き設定手段と、
前記車両乗員の顔向きの変化に応じて、前記顔向き計算手段および前記顔向き推定手段で得られたいずれか一方の顔向きを出力する顔向き出力手段と、を備えた、
ことを特徴とする車両乗員顔向き検出装置。 - 前記各撮像手段は、車両乗員の着座位置で正面方向を注視したときの顔の垂直中心線が存在すると想定される位置を境に左右方向に分け、かつ同条件下で車両乗員の同一顔部位が撮像できるような向きにして設置されている、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記処理判断手段は、前記顔特徴点出力手段により得られた顔特徴点の数をカウントして、カウント値が2以上であれば以降の処理を前記3次元座標推定手段で行うように判断し、カウント値が1であれば以降の処理を前記顔向き推定手段で行うように判断し、更に、カウント値が0であれば前回の値に基づいて判断する、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記処理判断手段は、前回の前記顔向き出力手段により得られた顔向きと、前記各撮像手段の設置位置と向き、および前記各撮像手段の内部パラメータにより設定される撮像範囲とに基づいて、以降の処理を前記3次元座標推定手段によって行うか前記顔向き推定手段によって行うかを判断する、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記顔向き設定手段は、前記各顔特徴点出力手段で得られた結果から1つの顔向きを選択する、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記顔向き設定手段は、前回の前記顔向き出力手段により得られた顔向きと、前記各撮像手段の設置位置と向き、および前記各撮像手段の内部パラメータにより設定される撮像範囲とに基づいて、前記各顔特徴点出力手段で得られた結果から1つの顔向きを選択する、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記処理判断手段は、車両情報取得手段によって得られる車両情報に基づいて、以降の処理を前記3次元座標推定手段によって行うか前記顔向き推定手段によって行うかを判断する、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記顔向き設定手段は、車両情報取得手段によって得られる車両情報に基づいて、前記各顔特徴点出力手段で得られた結果から1つの顔向きを選択する、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 前記各撮像手段の設置位置および向きは、車両乗員のシート位置、操作装置の位置に基づいて設定される、
ことを特徴とする請求項1に記載の車両乗員顔向き検出装置。 - 車両乗員の顔の正面前方側の左右にそれぞれ設置した少なくとも2台の各撮像手段により撮像された顔画像をそれぞれ取り込む画像取込みステップと、
前記画像取込みステップにより取り込んだ顔画像から顔特徴点を抽出して出力する顔特徴点出力ステップと、
前記顔特徴点出力ステップで抽出された前記顔特徴点を入力し、以降の処理を3次元座標によって行うか2次元座標によって行うかを判断する処理判断ステップと、
前記処理判断ステップによる判断で3次元座標の推定を行う場合に、前記各顔特徴点出力手段で得られた前記顔特徴点の3次元座標を推定する3次元座標推定ステップと、
前記3次元座標推定ステップで推定された3次元座標から前記車両乗員の顔向きを計算する顔向き計算ステップと、
前記処理判断ステップによる判断で2次元座標を用いる場合に、前記各顔特徴点出力ステップで得られた2次元座標情報から前記車両乗員の顔向きを推定する顔向き推定ステップと、
前記顔向き推定ステップで推定された顔向きが複数の場合に、適切な1つの顔向きを選択する顔向き設定ステップと、
前記車両乗員の顔向きの変化に応じて、前記顔向き計算ステップおよび前記顔向き推定ステップで得られたいずれか一方の顔向きを出力する顔向き出力ステップと、を有する、
ことを特徴とする車両乗員顔向き検出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006081245A JP4735361B2 (ja) | 2006-03-23 | 2006-03-23 | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006081245A JP4735361B2 (ja) | 2006-03-23 | 2006-03-23 | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007257333A true JP2007257333A (ja) | 2007-10-04 |
JP4735361B2 JP4735361B2 (ja) | 2011-07-27 |
Family
ID=38631511
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006081245A Expired - Fee Related JP4735361B2 (ja) | 2006-03-23 | 2006-03-23 | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4735361B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009148188A1 (ja) * | 2008-06-06 | 2009-12-10 | 株式会社山城自動車教習所 | 運転行動自動評価システム |
JPWO2009116242A1 (ja) * | 2008-03-18 | 2011-07-21 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
JP2012068719A (ja) * | 2010-09-21 | 2012-04-05 | Fujitsu Ltd | 画像処理プログラムおよび画像処理装置 |
WO2014207892A1 (ja) * | 2013-06-28 | 2014-12-31 | 楽天株式会社 | 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体 |
JP2016181051A (ja) * | 2015-03-23 | 2016-10-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2019087231A (ja) * | 2017-11-07 | 2019-06-06 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 顔の位置を追跡して使用者に警報する方法及びシステム |
JP6562437B1 (ja) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | 監視装置、及び、監視方法 |
CN111665513A (zh) * | 2019-03-05 | 2020-09-15 | 阿尔派株式会社 | 面部特征部检测装置、面部特征部检测方法 |
DE102019103197B4 (de) * | 2018-02-27 | 2020-12-17 | Omron Corporation | Insassenüberwachungsvorrichtung |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115847A (ja) * | 2003-10-10 | 2005-04-28 | Babcock Hitachi Kk | 特定立体画像と2次元画像に映し出された被写体の照合方法 |
-
2006
- 2006-03-23 JP JP2006081245A patent/JP4735361B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005115847A (ja) * | 2003-10-10 | 2005-04-28 | Babcock Hitachi Kk | 特定立体画像と2次元画像に映し出された被写体の照合方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2009116242A1 (ja) * | 2008-03-18 | 2011-07-21 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
JP2011154721A (ja) * | 2008-03-18 | 2011-08-11 | Panasonic Corp | 運転者監視装置、運転者監視方法及び車両 |
WO2009148188A1 (ja) * | 2008-06-06 | 2009-12-10 | 株式会社山城自動車教習所 | 運転行動自動評価システム |
JP2012068719A (ja) * | 2010-09-21 | 2012-04-05 | Fujitsu Ltd | 画像処理プログラムおよび画像処理装置 |
US9811736B2 (en) | 2013-06-28 | 2017-11-07 | Rakuten, Inc. | Information processing device, information processing method, information processing device program, and recording medium |
WO2014207892A1 (ja) * | 2013-06-28 | 2014-12-31 | 楽天株式会社 | 情報処理装置、情報処理方法、情報処理装置用プログラム、および、記録媒体 |
JP5894707B2 (ja) * | 2013-06-28 | 2016-03-30 | 楽天株式会社 | 情報処理装置、情報処理方法、および、情報処理装置用プログラム |
JPWO2014207892A1 (ja) * | 2013-06-28 | 2017-02-23 | 楽天株式会社 | 情報処理装置、情報処理方法、および、情報処理装置用プログラム |
JP2016181051A (ja) * | 2015-03-23 | 2016-10-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2019087231A (ja) * | 2017-11-07 | 2019-06-06 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 顔の位置を追跡して使用者に警報する方法及びシステム |
DE102019103197B4 (de) * | 2018-02-27 | 2020-12-17 | Omron Corporation | Insassenüberwachungsvorrichtung |
CN111665513A (zh) * | 2019-03-05 | 2020-09-15 | 阿尔派株式会社 | 面部特征部检测装置、面部特征部检测方法 |
CN111665513B (zh) * | 2019-03-05 | 2024-05-07 | 阿尔派株式会社 | 面部特征部检测装置、面部特征部检测方法 |
JP6562437B1 (ja) * | 2019-04-26 | 2019-08-21 | アースアイズ株式会社 | 監視装置、及び、監視方法 |
JP2020182146A (ja) * | 2019-04-26 | 2020-11-05 | アースアイズ株式会社 | 監視装置、及び、監視方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4735361B2 (ja) | 2011-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4735361B2 (ja) | 車両乗員顔向き検出装置および車両乗員顔向き検出方法 | |
JP4899424B2 (ja) | 物体検出装置 | |
JP4889351B2 (ja) | 画像処理装置及びその処理方法 | |
JP4919036B2 (ja) | 移動物体認識装置 | |
JP4832321B2 (ja) | カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法 | |
US8299942B2 (en) | Composite-image parking-assistant system | |
US20090015675A1 (en) | Driving Support System And Vehicle | |
EP1637836A1 (en) | Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system | |
US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
JP5105481B2 (ja) | 車線検出装置、車線検出方法、及び車線検出プログラム | |
US20060093239A1 (en) | Image processing method and image processing device | |
JP5086824B2 (ja) | 追尾装置及び追尾方法 | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JP2008309519A (ja) | 画像処理を用いた物体検出装置 | |
WO2018167996A1 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2019148491A (ja) | 乗員監視装置 | |
JP3936683B2 (ja) | 道路位置検出装置及びプログラム | |
JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
JP2008033781A (ja) | 路面勾配検出装置及び画像表示装置 | |
KR20170114523A (ko) | Avm용 주행 자동 공차 보정 장치 및 방법 | |
JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
EP3227827B1 (en) | Driver assistance system, motor vehicle and method for classifying a flow vector | |
JPH1055446A (ja) | 物体認識装置 | |
JP4070450B2 (ja) | 前方車両認識装置及び認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110304 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110411 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |