JP2020081756A - 顔画像処理装置、画像観察システム、及び瞳孔検出システム - Google Patents
顔画像処理装置、画像観察システム、及び瞳孔検出システム Download PDFInfo
- Publication number
- JP2020081756A JP2020081756A JP2018225770A JP2018225770A JP2020081756A JP 2020081756 A JP2020081756 A JP 2020081756A JP 2018225770 A JP2018225770 A JP 2018225770A JP 2018225770 A JP2018225770 A JP 2018225770A JP 2020081756 A JP2020081756 A JP 2020081756A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- face image
- image processing
- face
- pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
Description
まず、図1〜3を用いて、実施形態に係る顔画像処理装置1の全体構成を説明する。図1は、顔画像処理装置1の側面図、図2は、顔画像処理装置1の正面図、図3は、顔画像処理装置1の平面図である。顔画像処理装置1は、対象者Spを撮像することにより顔画像を取得し、その顔画像を対象に画像処理を実行する装置群である。一例として、対象者Spがガラス板等の透明な物体又は電子基板等の不透明な物体である検査対象物So等を目視検査する際に、対象者Spの検査対象物So上の注視点を検出する装置として説明する。ここでは、顔画像処理装置1を対象者Spの瞳孔および角膜反射の検出結果を基に視線を検出する装置として例示しているが、対象者Spの顔自体の検出のほか、対象者Spの鼻孔、口、耳、眉、鼻先、頭部等の顔上の様々な部位、あるいは、眼鏡、ゴーグル、イヤホン等の対象者Spの顔に付属する物体を検出する装置であってもよい。顔画像処理装置1は、マーカー検出用カメラ3、顔画像取得用ステレオカメラ5、カメラ駆動系7、及び、コンピュータ(算出部)9を含んで構成されている。以下、顔画像処理装置1の各構成要素について説明する。なお、検査対象物Soとして、電子基板等不透明な物体を対象とする場合には、検査対象物Soが顔画像取得用ステレオカメラ5による対象者Spの撮像の邪魔にならないようにその位置が調整される。
P=Ci+k×Vn
により、計算する(上記式中、kは未定定数)。この未定定数kは、マーカー検出用カメラ3等のTOFカメラによる検出結果を用いて計算された対象者Spまでの距離を用いて求めてもよいし、特許第4431749号に記載されたように瞳孔及び鼻孔を検出して瞳孔の三次元座標を計測する手法を用いて求めてもよい。ここでも、顔画像にひずみ等がある場合には、ピンホールから瞳孔へ向かう単位方向ベクトルを、カメラ較正時に得られたカメラパラメータを用いて補正することが好ましい。一方で、画像処理部27は、2台のカメラ5a,5bの顔画像を基にピンホールの位置から瞳孔に向かうベクトルを求め、それらの2つのベクトルの交点を求めることで、瞳孔位置Pを検出することもできる。また、画像処理部27は、国際公開WO2015/190204号に記載の手法を用いて、2本のベクトルの最近点を瞳孔位置Pとして検出することもできる。この場合には、誤差のため2つのベクトルの交点が存在しない場合にも瞳孔位置Pを求めることができる。
Pi=Pi−1+(Pi−1−Pi−2)
この場合、等速モデルの代わりに線形カルマンフィルターを用いてもよい。そして、画像処理部27は、処理対象のフレームに対応するカメラ5a,5bの位置Ciと、計算した瞳孔位置Piとから、ピンホールモデルを用いて、処理対象の顔画像中の瞳孔の位置PCiを推測する。そして、画像処理部27は、差分位置補正の際に、対象のフレームの1つ前のフレームにおける瞳孔の位置PC(i−1)が対象のフレームでの瞳孔の位置PCiに位置するように画像の位置補正を行う。この際に、画像処理部27は、前のフレームで角膜反射が検出されている場合には、対象のフレームで瞳孔の位置PCiを中心とした小ウィンドウ中から角膜反射を検出し、前のフレームにおける角膜反射が対象のフレームにおける角膜反射に一致するように前のフレームの同サイズの小ウィンドウをずらした上で、対象フレームの小ウィンドウ内の画像と差分して差分画像を生成する。さらに、画像処理部27は、差分画像を対象に瞳孔を抽出し対象のフレームの顔画像上における瞳孔の位置(中心位置)を検出する。このような処理を繰り返すことにより、画像処理部27は、毎フレームにおける顔画像上の瞳孔の位置を検出する。
第1実施形態に係るコンピュータ9においては、画像処理部27が画像処理として対象者Spの視線および注視点を検出していたが、このような画像処理には限定されず、瞳孔の三次元位置から対象者Spの頭部の動きを検出するようにしてもよいし、鼻孔の検出結果も併せて頭部姿勢を検出するようにしてもよい。この場合、画像処理部27は、特許第4765008号、あるいは、特許第4431749号に記載の手法を実行する機能を有する。
x2+z2=dp 2
によって与えられ、回転円上にある点C(xc,zc)を通る接線の方程式は、下記式;
xxc+zzc=dp 2
によって与えられる。カメラ位置検出部25は、各カメラ5a,5bからマーカーMへ向かう方向ベクトルが既知であるので、その方向ベクトルと顔画像上のマーカーMの位置を基に各カメラ5a,5bの光軸の方向ベクトルを計算し、光軸の方向ベクトルと上記式で与えられる接線とが一致するという条件から点Cの座標を求め、その座標を各カメラ5a,5bのピンホールの位置Ciとして得ることができる。さらに、カメラ位置検出部25は、ピンホールの位置Ciを基に、各カメラ5a,5bの回転角度を得ることができ、その回転角度から、各カメラ5a,5bの姿勢を取得することができる。
図9には、第2実施形態に係る画像観察システム300の構成を示している。この画像観察システム300は、観察者が遠隔地から観察者とは別の対象者の顔を観察するための画像処理システムである。この画像処理システムは、互いに遠隔地に存在する観察者と対象者との間のコミュニケーションシステムとしての用途が考えられる。図9に示すように、画像観察システム300は、観察者Sp1側に配置される観察者検出用カメラ(光学系)305a、コンピュータ309a、及びディスプレイ装置(表示装置)311と、観察対象である対象者Sp2側に配置される顔画像処理装置301とを含んで構成される。顔画像処理装置301は、顔画像取得用カメラ305b、カメラ駆動系307、及びコンピュータ(算出部)309bを含んでいる。これらのコンピュータ309a,309bは、図5に示したハードウェア構成と同様なハードウェア構成を有し、図示しない通信ネットワークを介して互いに画像データ等のデータを送受信可能に構成される。
図13には、第3実施形態に係る瞳孔検出システムである自動車用監視システムを構成する顔画像処理装置400の構成を示し、図14には、顔画像処理装置400に含まれる顔画像取得用ステレオカメラ405の配置状態を示している。この顔画像処理装置400は、自動車の車内に設けられ、自動車のドライバーである対象者Spの視線、顔姿勢、又は眼の開閉状態を検出する装置群である。
Claims (12)
- 対象者の顔及び前記顔とは独立した固定点を撮像することで顔画像を取得する少なくとも1台のカメラと、
前記顔画像を対象に画像処理を実行する算出部と、を備え、
前記算出部は、前記顔画像上における前記固定点の位置を基に前記カメラの位置あるいは姿勢を検出し、前記カメラの位置あるいは姿勢を基に前記画像処理を実行する、
顔画像処理装置。 - 前記カメラの位置あるいは姿勢を制御する駆動系をさらに備える、
請求項1記載の顔画像処理装置。 - 前記カメラは、3箇所以上の前記固定点を撮像する、
請求項1又は2に記載の顔画像処理装置。 - 前記算出部は、前記固定点の位置を基に前記カメラの位置及び姿勢を検出し、前記カメラの位置及び姿勢を用いて前記画像処理を実行する、
請求項1〜3のいずれか1項に記載の顔画像処理装置。 - 前記算出部は、前記画像処理を用いて、前記対象者の瞳孔の前記カメラから見た方向あるいは距離を算出する、
請求項1〜4のいずれか1項に記載の顔画像処理装置。 - 前記算出部は、前記画像処理を用いて、前記対象者の瞳孔の三次元位置を算出する、
請求項1〜4のいずれか1項に記載の顔画像処理装置。 - 前記算出部は、前記カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の前記顔画像の位置補正を行うことによって前記対象者の瞳孔の前記顔画像上の位置を検出する、
請求項5又は6記載の顔画像処理装置。 - 前記算出部は、前記カメラの位置及び/又は姿勢を基に前記顔画像のブレを補正する、
請求項2記載の顔画像処理装置。 - 請求項8記載の顔画像処理装置と、
前記対象者とは別の観察者の頭部の位置及び姿勢を検出する光学系と、
前記観察者に対して前記顔画像を表示する表示装置とを備え、
前記駆動系は、前記頭部の位置及び姿勢に基づいて前記カメラの位置及び姿勢を制御し、
前記算出部は、ブレが補正された前記顔画像を前記表示装置に表示させる、
画像観察システム。 - 前記算出部は、前記カメラの位置及び姿勢を基に前記顔画像を拡大あるいは縮小を行ってから前記表示装置に表示させる、
請求項9に記載の画像観察システム。 - 請求項1記載の顔画像処理装置を備え、
前記カメラは、前記対象者が操作する可動物体に取り付けられ、前記対象者の顔及び前記固定点を撮像し、
前記算出部は、前記対象者の瞳孔を検出する、
瞳孔検出システム。 - 前記算出部は、前記カメラの位置あるいは姿勢の変化を反映した異なる時間での複数の前記顔画像の位置補正を行うことによって前記対象者の瞳孔の前記顔画像上の位置あるいは形状を検出する、
請求項11記載の瞳孔検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225770A JP7269617B2 (ja) | 2018-11-30 | 2018-11-30 | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225770A JP7269617B2 (ja) | 2018-11-30 | 2018-11-30 | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020081756A true JP2020081756A (ja) | 2020-06-04 |
JP7269617B2 JP7269617B2 (ja) | 2023-05-09 |
Family
ID=70905242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018225770A Active JP7269617B2 (ja) | 2018-11-30 | 2018-11-30 | 顔画像処理装置、画像観察システム、及び瞳孔検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7269617B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441417B2 (ja) | 2020-03-13 | 2024-03-01 | マツダ株式会社 | ドライバ状態推定装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998030029A1 (fr) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Dispositif et procede pour synthese d'images |
JP2016502165A (ja) * | 2012-10-19 | 2016-01-21 | オートリブ ディベロップメント エービー | 運転者注意力検出方法および装置 |
JP2017102731A (ja) * | 2015-12-02 | 2017-06-08 | 国立大学法人静岡大学 | 視線検出装置及び視線検出方法 |
JP2017111746A (ja) * | 2015-12-18 | 2017-06-22 | 国立大学法人静岡大学 | 視線検出装置及び視線検出方法 |
JP2017188766A (ja) * | 2016-04-05 | 2017-10-12 | レノボ・シンガポール・プライベート・リミテッド | カメラを備える電子機器、撮影映像の補正方法および記憶媒体 |
WO2018078857A1 (ja) * | 2016-10-31 | 2018-05-03 | 日本電気株式会社 | 視線推定装置、視線推定方法及びプログラム記録媒体 |
-
2018
- 2018-11-30 JP JP2018225770A patent/JP7269617B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998030029A1 (fr) * | 1996-12-26 | 1998-07-09 | Sony Corporation | Dispositif et procede pour synthese d'images |
JP2016502165A (ja) * | 2012-10-19 | 2016-01-21 | オートリブ ディベロップメント エービー | 運転者注意力検出方法および装置 |
JP2017102731A (ja) * | 2015-12-02 | 2017-06-08 | 国立大学法人静岡大学 | 視線検出装置及び視線検出方法 |
JP2017111746A (ja) * | 2015-12-18 | 2017-06-22 | 国立大学法人静岡大学 | 視線検出装置及び視線検出方法 |
JP2017188766A (ja) * | 2016-04-05 | 2017-10-12 | レノボ・シンガポール・プライベート・リミテッド | カメラを備える電子機器、撮影映像の補正方法および記憶媒体 |
WO2018078857A1 (ja) * | 2016-10-31 | 2018-05-03 | 日本電気株式会社 | 視線推定装置、視線推定方法及びプログラム記録媒体 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441417B2 (ja) | 2020-03-13 | 2024-03-01 | マツダ株式会社 | ドライバ状態推定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7269617B2 (ja) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
JP5467303B1 (ja) | 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体 | |
JP5858433B2 (ja) | 注視点検出方法及び注視点検出装置 | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
CN109804220B (zh) | 用于跟踪头部运动的装置和方法 | |
WO2015190204A1 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
WO2005063114A1 (ja) | 視線検出方法および装置ならびに三次元視点計測装置 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
EP3644826A1 (en) | A wearable eye tracking system with slippage detection and correction | |
JP2008256946A (ja) | 画像表示装置のための酔い防止装置 | |
US11624907B2 (en) | Method and device for eye metric acquisition | |
JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
JP6324119B2 (ja) | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム | |
JP2016099759A (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7269617B2 (ja) | 顔画像処理装置、画像観察システム、及び瞳孔検出システム | |
JPH06189906A (ja) | 視線方向計測装置 | |
JPH0449943A (ja) | 眼球運動分析装置 | |
JP6430813B2 (ja) | 位置検出装置、位置検出方法、注視点検出装置、及び画像生成装置 | |
JP2017102731A (ja) | 視線検出装置及び視線検出方法 | |
JP6496917B2 (ja) | 視線測定装置および視線測定方法 | |
WO2021117606A1 (ja) | 画像処理装置、システム、画像処理方法、および画像処理プログラム | |
JP2005323905A (ja) | 眼球運動測定装置、及び眼球運動測定プログラム | |
JP5522799B2 (ja) | 視線位置推定システム及び視線位置推定プログラム | |
JPH1014882A (ja) | 非接触視線測定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230411 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7269617 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |