JP2007164517A - 図形中心検出方法、楕円検出方法、画像認識装置、制御装置 - Google Patents

Abstract

【課題】入力画像中の楕円を少ない処理量で検出する楕円の検出方法及びその検出方法を実行する画像認識装置、入力画像から検出された楕円を用いた各種制御を、画像の撮影から小さなタイムラグで実行する制御装置の提供。
【解決手段】画像データ中の対象図形を一つ抽出し、対象図形に内接したうえ、第一距離と第二距離が一致した状態におけるＡ点、Ｂ点、Ｃ点、Ｄ点を頂点とした平行四辺形の重心を検出する。そして、画像データの画素位置と対応した座標系を有し、予めメモリ上に設定された中心点候補マップの平行四辺形の重心の位置に対応した位置におけるカウントを増加させ、中心点候補マップ上のカウントが多い中心点の位置を対象図形の中心点として抽出する。さらに、対象図形の中心点の位置と同一の位置である重心を有した複数の平行四辺形の頂点位置を用いて楕円方程式を解き、復元した楕円と候補図形を比較することで楕円を検出する。
【選択図】図２

Description

本発明は、入力画像中の図形から、図形の中心を検出する図形中心検出方法、楕円を検出する楕円検出方法及び画像認識装置、楕円の検出結果に基づき各種制御を実行する制御装置に関する。

近年、自動車などの車両を運転する運転者の顔面等を撮影した画像から運転者の挙動を推定し、推定結果に対応した様々な制御（具体的には、運転支援や警報を発する等）を行うための研究がなされている。

なお、運転者の挙動を把握するには、運転者の視線を特定することが有効であり、そのためには、撮影した画像から運転者の虹彩または瞳孔を検知することが重要である。そして、現在のところ、目の周辺を撮影した画像から楕円を検出し、この楕円を運転者の虹彩または瞳孔として認識することが試みられている。

ところで、撮影される画像には、虹彩や瞳孔が必ずしも完全な楕円として示されるわけではなく、図６（ａ）に示すようにまぶたが瞳孔にかかったり、図６（ｂ）に示すように瞳孔に光が映り込んだりすることにより、輪郭の一部が欠損した不完全な図形として示される場合がある。

したがって、この種の制御では、輪郭の一部が欠損していても、検出すべき図形（ここでは楕円）を復元できることが要求される。
このように輪郭の一部から図形を復元する方法としては、一般化ハフ変換が知られている（特許文献１）。

この一般化ハフ変換を用いてある形状の図形を検出する場合、検出すべき図形と同一形状のテンプレート図形を用意し、このテンプレート図形の特徴を表す複数（Ｍ個）の特徴点Ｐｉ（ｉ＝１〜Ｍ）を、予め設定された基準点に対する極座標ベクトル（Ｒｉ，αｉ）で表し、その極座標ベクトル（Ｒｉ，αｉ）を列挙したテーブルをテンプレートとして設定する。

なお、Ｒｉは、予め設定された基準点からの距離、αｉは、基準点を通る基準軸に対する角度である。また、検出すべき図形が楕円である場合、特徴点として楕円の輪郭点、基準点として楕円中心を用いればよい。

そして、入力画像から図形の輪郭上に位置する複数（Ｎ個）の検査点Ｐｊ（ｊ＝１〜Ｎ）を抽出し、この検査点Ｐｊを入力画像上に設定された直交座標系（Ｘｊ，Ｙｊ）で表し、更に、この直交座標（Ｘｊ，Ｙｊ）を（１）、（２）式を用いて座標変換する。但し、θは、テンプレート図形の傾きを表す。

この座標変換は、検査点Ｑｊ＝（Ｘｊ，Ｙｊ）がテンプレートに示された特徴点Ｐｉ＝（Ｒｉ，αｉ）に相当すると仮定して、入力画像上での基準点の位置を求めるものである。従って、検査点Ｑｊを固定して、テーブルに列挙された全ての極座標ベクトルについて座標変換を行えば、基準点候補の軌跡が求められることになる。特に、θを固定して考えた場合には、この基準点候補の軌跡は、テンプレートと同じ形状となる。

つまり、複数の検査点Ｑｊについて、同様の座標変換を実行することにより、図１０に示すように、基準点候補の軌跡２１が複数求められ、その複数ある全ての軌跡２１が１点にて重なり合う地点が、検出すべき図形の基準点２３となる。なお、図１０における点線２０は、検査対象の図形としての楕円であり、点２２は、検査点Ｑｊを表したものである。
特開平８−６９５３３

ところで、図４（ａ）、（ｂ）に示すような車両内に固定されたカメラによって運転者の目の周辺を撮影した画像では、その画像中に示される運転者の目（虹彩または瞳孔）の大きさや形状、即ち、検出すべき楕円の大きさ（長軸の長さ）や楕円の長軸と短軸の比率、楕円の傾き（長軸の傾斜角度）が、運転者の着座位置や運転者の顔面の向きによって様々に異なったものとなる。

例えば、図１１（ａ）に示すように、テンプレートの楕円と入力画像の楕円とで傾きθは同じであるが、テンプレートの楕円と入力画像の楕円とで大きさが異なる場合や、図１１（ｂ）に示すように、テンプレートの楕円と入力画像の楕円とで大きさが同じであるが、テンプレートの楕円と入力画像の楕円とで傾きθが異なる場合は、軌跡２５が一点において重ならず楕円の中心（基準点）は、検出されない。ただし、図１１における点線２７は、検査対象の図形としての楕円であり、点２６は、検査点Ｑｊである。

このように、大きさや形状が一定しない楕円を一般化ハフ変換で検出しようとすると、長軸と短軸の比率が異なる楕円毎にテンプレートを用意する必要があるだけでなく、座標変換を行う際には、楕円の傾きを考慮して（１）、（２）式のθを変化させると共に、楕円の大きさ（長軸の長さ）を考慮してテンプレートの拡大／縮小を行う必要があり、楕円の中心を検出するまでの処理量が膨大なものとなるという問題があった。

そして、特に、画像処理のために車両に搭載されるプロセッサは、安価であること、耐ノイズ性に優れていることが要求されるため、十分に高速なものを用いることができない。このため、運転者の虹彩または瞳孔を検出して、その検出結果に基づいて運転者支援等を行う車載制御装置において、虹彩または瞳孔の検出に一般化ハフ変換を用いると、制御に遅延が生じてしまい、実用に耐えうるものを実現できないという問題があった。

そこで、本発明は、入力画像中の図形から、図形の中心を少ない処理量で検出する図形中心検出方法、入力画像中の楕円を少ない処理量で検出する楕円の検出方法及び、それらの検出方法を実行する画像認識装置、入力画像から検出された楕円を用いた各種制御を、画像の撮影から小さなタイムラグで実行する制御装置の提供を目的とする。

上記目的を達成するためになされた請求項１に記載の図形中心検出方法は、輪郭抽出過程において入力画像からその入力画像中に示された図形の輪郭を抽出し、重心位置検出過程において、輪郭抽出過程により輪郭が抽出された図形を対象図形とし、対象図形の輪郭に内接する互いに異なった複数の平行四辺形のそれぞれについて、平行四辺形の重心位置を検出する。

そして、中心位置決定過程では、重心位置検出過程によって検出された重心位置の中で、出現頻度が最も高い重心位置を、対象図形の中心位置とする。
このような本発明の図形中心検出方法によれば、一般化ハフ変換を用いた中心位置の検出とは異なり、対象図形の輪郭点の座標変換を行うことなく、対象図形の中心位置を検出することができる。このため、画像の入力から対象図形の中心位置の検出までの画像処理における処理量を大幅に削減できる。

また、請求項２に記載の楕円検出方法は、輪郭抽出過程において入力画像からその入力画像中に示された図形の輪郭を抽出し、重心位置検出過程において、輪郭抽出過程により輪郭が抽出された図形を対象図形とし、対象図形の輪郭に内接する互いに異なった複数の平行四辺形のそれぞれについて、平行四辺形の重心位置を検出する。

そして、中心位置決定過程では、重心位置検出過程によって検出された重心位置の中で、出現頻度が最も高い重心位置を、対象図形の中心位置とし、楕円パラメータ算出過程では、中心位置決定過程で対象図形の中心位置を決定する際に用いられた複数の前記平行四辺形の頂点位置から、対象図形の輪郭を近似した楕円を表す楕円パラメータを算出する。

このような本発明の楕円検出方法によれば、一般化ハフ変換を用いた楕円検出とは異なり、対象図形の輪郭点の座標変換を行うことなく、楕円を検出することができる。このため、画像の入力から楕円の検出までの画像処理における処理量を大幅に削減できる。

ところで、入力画像中には、直線や長方形のように楕円とは程遠い図形も含まれていることがあり、これらの図形が楕円として検出されると検出精度の低下を招いてしまう。
そこで、請求項３に記載の楕円検出方法は、適合率算出過程において、楕円パラメータ算出過程により算出された楕円パラメータから生成される楕円と、対象図形の輪郭との一致度合いを表す適合率を算出し、楕円外図形除去過程において、適合率算出過程により算出された適合率が、予め設定された閾値より小さい場合に、対象図形が楕円以外の形状を有する図形であるものとして除去する。

このような本発明の楕円検出方法によれば、楕円パラメータに基づいた楕円と適合しない対象図形は、楕円以外の図形として除去されるため、楕円のみを確実に検出することができる。

また、請求項４に記載の画像認識装置は、請求項１に記載の図形中心検出方法を実現するための装置である。そして、請求項５に記載の画像認識装置は、請求項２に記載の楕円検出方法を実現するための装置であり、請求項６に記載の画像認識装置は、請求項３に記載の楕円検出方法を実現するための装置である。

従って、請求項４に記載の画像認識装置によれば、請求項１に記載の図形中心検出方法により得られる効果と同様の効果を得ることができる。
そして、請求項５及び請求項６に記載の画像認識装置によれば、請求項２及び請求項３に記載の楕円検出方法により得られる効果と同様の効果を得ることができる。

また、請求項７に記載の画像認識装置のように、入力画像は、少なくとも人間の顔面を含む画像であり、対象図形は、画像中の人間の虹彩または瞳孔であってもよい。
また、請求項８に記載の画像認識装置のように、入力画像は、赤外線撮影された画像であってもよい。

このように構成された画像認識装置によれば、入力画像として暗室のような暗い場所で撮影された画像を用いても、楕円を検出することができる。
特に、赤外線撮影された画像の中でも、入力画像として人間の顔面を含む画像を用いれば、虹彩または瞳孔は、浮き上がったように撮像されるため、画像内のその他の部位との識別が容易である。

さらに、請求項９に記載の制御装置は、請求項７に記載の画像認識装置を備え、瞳孔検出手段が、楕円パラメータ算出手段により算出された楕円パラメータから生成される楕円の動きを、入力画像中の人間の虹彩または瞳孔の動きとして検出し、制御実行手段が、瞳孔検出手段により検出された虹彩または瞳孔の動きから、入力画像中の人間の挙動を推定し、その推定結果に適合した制御を実行する。

このように構成された制御装置によれば、楕円の動きから人間の動きを推定し、推定結果に応じた制御を行うことができる。このため、例えば、このような制御装置を自動車などの車両に搭載した場合、画像処理結果に基づき運転者の挙動を推定し、運転者が脇見運転や居眠り運転をしていると判定した場合には、警報を発することや車両を減速させることなどの制御が可能である。

以下、本発明の実施形態について図面と共に説明する。
図１は、自動車などの車両に搭載され、運転者の挙動を検出し運転者に対する警報などを発生させる車載制御装置１の概略を示すブロック図である。

車載制御装置１は、画像を撮影するためのカメラ１１と、被写体を照らすライト１２と、撮影した画像を画像処理する画像認識装置としての画像処理部１３と、プログラムに基づき各部を制御する制御部１４とを少なくとも備えている。

そして、ライト１２は、被写体である運転者が運転席のどのような位置に着座しても、被写体を的確に照射できる位置及び向きに配置されており、夜間であっても適切な画像が撮影できるよう近赤外光を発光する近赤外のＬＥＤからなる。なお、ライト１２は、被写体を的確に照射するため複数設けられてもよい。

また、カメラ１１は、被写体を撮像可能なＣＣＤ素子またはＣＭＯＳ素子を有し、少なくとも運転者の顔面を含む画像を撮影できる位置及び向きに配置（例えば、ダッシュボード上）され、ライト１２が照射した近赤外光が被写体である運転者に反射された像のみを撮影できるように、近赤外光のみを通過させるフィルタが取り付けられている。

ここで、図５（ａ）は、可視光領域における運転者の目の周辺画像であり、図５（ｂ）は、近赤外光領域における運転者の目の周辺画像である。図５に示されるように、可視光領域において撮影された画像は、虹彩内に反射した光が入り込んでいたり、画像内にまつげが入り込んでいたりと、瞳孔と画像内の他の部位とを区別しにくい画像であるが、近赤外領域において撮影された画像では、瞳孔が黒く浮き出て撮影されており画像内の他の部位と区別しやすい画像である。つまり、カメラ１１及びライト１２は、瞳孔の検出に適した画像が得られるように設定されている。

また、制御部１４は、少なくともＣＰＵ、ＲＯＭ、ＲＡＭ、及びこれらを接続するバスからなる周知のマイクロコンピュータを中心に構成されたものである。
そして、制御部１４には、警報音を発するスピーカー１５と、警告を文字や図形で表示するモニター１６とが接続されている。なお、スピーカー１５及びモニター１６は、車載制御装置１専用のものでもよいし、予め車両に搭載されているものや他の車載装置に付属されたものでもよい。

次に、画像処理部１３は、制御部１４からの指令に従って、カメラ１１で撮影された画像から目の周辺を切り出す画像切出処理や画像切出処理により切り出された運転者の目の周辺画像から楕円（人間の瞳孔）を検出する楕円検出処理等を実行する画像処理専用のプロセッサからなる。

そして、画像処理部１３では、画像が撮影されると、画像切出処理を実行し、運転者の目の周辺の画像を切り出す。なお、この処理は、周知の技術であり、本発明の要旨ではないため、詳しい説明は省略する。

以下、楕円検出処理について、図２に示すフローチャートを用いて説明する。
但し、制御部１４のＲＡＭ上には、各要素が画像データの各画素位置と対応づけられたマップ（以下、中心点候補マップ）が用意されているものとする。

まず、本処理が実行されると、Ｓ１１０では、運転者の目の周辺における画像（画像切出処理により切り出された画像）を画像データとして取得する。
続くＳ１２０では、Ｓ１１０において取得された画像データを二値化し、画像データ中の図形の輪郭を明確にするためのエッジ処理を行う。即ち、二値化処理により、画像データ内における図形の形状が明確となり、図６（ｃ）、図６（ｄ）に示すような検出対象である運転者の瞳孔が画像内の他の部位と大きく異なる画像を得ることができる。

また、エッジ処理では、画像データ中の図形の輪郭に位置する画素（以下、輪郭に位置する画素を輪郭画素とする）を強調する処理が行われる。つまり、エッジ処理により、図６（ｅ）、図６（ｆ）に示すような運転者の瞳孔の輪郭が示された画像を得ることができる。

続くＳ１３０では、画像データの中から検査対象とする図形（以下、対象図形とする）を一つ抽出する。そして、図３（ａ）に示すように、対象図形（ここでは楕円）の輪郭点を表す画素（以下、輪郭画素という）のうち、図中の座標Ｙが最も大きい画素から一または数画素だけ座標Ｙが小さい輪郭画素を、後述する中心点の探査に用いるＡ点の初期値として設定し、図中の座標Ｙが最も小さい輪郭画素を、同じく中心点の探査に用いるＢ点の初期値として設定する。

そして、Ｓ１４０では、Ａ点から水平に延びる第一水平線と対象図形の輪郭画素との交点（以下、Ｃ点とする）を検出し、Ａ点とＣ点との間の第一距離を算出する。
同様に、Ｓ１５０では、Ｂ点から水平に延びる第二水平線と対象図形の輪郭画素との交点（以下、Ｄ点とする）を検出し、Ｂ点とＤ点との間の第二距離を算出する。

続くＳ１６０では、Ｓ１４０及びＳ１５０において算出された第一距離と第二距離とが一致するか否かを判定する。
つまり、図３（ｂ）に示すように、Ａ１点とＣ１点との間の第一距離（Ｌ１１）と、Ｂ１点とＤ１点との間の第二距離（Ｌ１２）とが一致するか否かを判定する。なお、図３（ｂ）におけるＡ１点、Ｂ１点、Ｃ１点、Ｄ１点とは、ある検査位置におけるＡ点、Ｂ点、Ｃ点、Ｄ点である。

この判定の結果、第一距離と第二距離とが一致しない場合には、Ｓ２６０へ進み、Ｂ点を座標Ｙが大きくなる方向へ一または数画素だけ移動させた輪郭点の画素を新たなＢ点として再設定し、Ｓ１５０へと戻る。つまり、第二距離が長くなって第一距離に近づくようにＢ点を移動させる。

また、Ｓ１６０での判定の結果、第一距離と第二距離とが一致する場合、Ｓ１７０へと進み、Ａ〜Ｄ点は、対象図形に内接した平行四辺形の各頂点を形成するものとして、その平行四辺形の重心の位置を求め、その重心の位置を、Ａ〜Ｄ点の位置と対応付けて制御部１４のＲＡＭ上に記憶する。

なお、平行四辺形の重心の位置は、Ａ点、Ｂ点、Ｃ点、Ｄ点の画素の位置に基づき、平行四辺形の対角線の交点となる位置の画素を算出することで求められる。
続く、Ｓ１８０では、中心点候補マップのうち、Ｓ１７０で検出された平行四辺形の重心の位置に対応した位置（要素）のカウントを増加させる。

そして、Ｓ１９０では、Ａ点とＢ点とが一致するか否かを判定し、一致しない場合にはＳ２７０へ進み、現在のＡ点から座標Ｙが小さくなる方向へ一または数画素下方へと移動させた輪郭画素を新たなＡ点として再設定し、Ｓ１４０へと戻る。つまり、第一距離が長くなるようにＡ点を移動させ、上述したＳ１４０〜Ｓ１８０の処理を繰り返す。

これにより、例えば、図３（ｂ）に示されたＡ１点、Ｃ１点、Ｄ１点、Ｂ１点は、Ａ２点、Ｃ２点、Ｄ２点、Ｂ２点へと移動され、Ａ２点とＣ２点との距離（Ｌ２１）と、Ｄ２点とＢ２点との距離（Ｌ２２）とが一致する場合には、Ａ２点、Ｃ２点、Ｄ２点、Ｂ２点を頂点とした新たな平行四辺形の重心が検出され、中心点候補マップ上のカウントが加算される。

また、Ｓ１９０における判定の結果、Ａ点とＢ点とが一致する場合には、Ｓ２００へと進み、中心点候補マップ上のカウントが多い要素に対応する位置を対象図形の中心点として抽出する。ただし、中心点候補マップにおける全ての位置のカウントが予め設定された規定値よりも低い場合には、その対象図形の中心位置を検出できないものとし、その対象図形を除去する。

続く、Ｓ２１０では、Ｓ１６０にてＲＡＭに記憶させたＡ〜Ｄ点のうち、Ｓ２００で抽出された対象図形の中心の位置を重心の位置として対応づけられているものを、対象図形の輪郭点として読み出す。

そして、この読み出した複数の輪郭点の位置を用いてガウスニュートン法により、（３）式に示した楕円方程式を解き、楕円パラメータＡ〜Ｆを算出する。ただし、ここで言う輪郭点は、Ａ〜Ｄ点を一つの組として取り扱い、（３）式に示した楕円方程式は、最低でも５組の輪郭点を用いて解かれる。

続く、Ｓ２２０では、Ｓ２１０において算出された楕円パラメータ及び楕円方程式から楕円を復元し、対象図形の輪郭と復元された楕円との一致度合いを表す適合率を算出する。なお、ここでは、復元された楕円を構成する全画素のうち、対象図形の輪郭の画素と重なり合う画素の割合を適合率として求めている。

そして、Ｓ２３０では、Ｓ２２０において算出された適合率が、予め設定された閾値（ここでは、適合率７０％とする）を超えるか否かについて判定し、判定の結果、超えていなければＳ２８０へと進む。

そして、このＳ２８０では、Ｓ１３０にて選択した対象図形の形状は楕円ではないものとして、この対象図形を画像データから削除し、Ｓ２５０へと進む。
また、Ｓ２３０における判定の結果、適合率が閾値を超えていた場合には、Ｓ２４０へと進み、Ｓ１３０にて選択した対象図形は楕円（即ち、運転者の瞳孔）であるものとして抽出する。

そして、その後Ｓ２５０では、画像データ中に対象図形とすべき図形が残っているか否かを判定する。判定の結果、そのような図形が存在する場合には、Ｓ１３０へと戻り、そのような図形が存在しない場合には、楕円検出処理を終了する。

次に、制御部１４は、楕円検出処理により検出された楕円（即ち、運転者の瞳孔）の位置等の情報を画像処理部１３より取得し、楕円検出結果やその他の画像処理結果に基づき運転者の視線や居眠りなどの運転者の状態を判定する。そして、制御部１４が運転者が居眠りをしているなど運転にふさわしい状態でないと判定した場合には、スピーカー１５を鳴動させ運転者に警報を発し、モニター１６に文字や図形等の警告を表示する。

以上説明したように、車載制御装置１によれば、一般化ハフ変換のように座標変換することなく入力画像から楕円を検出しているため、画像の入力から楕円の検出までの処理量を削減でき、結果として処理時間を短縮することができる。

その結果、車載制御装置１では、画像の撮影から大きなタイムラグなく、警報音を発したり、警告を文字や図で表示したりできるため、運転者に安全な運転をするよう促すことができる。

また、車載制御装置１によれば、対象図形から復元した楕円と対象図形との適合度が低い場合には、その対象図形は楕円以外の図形であるものとして除去するようにされているため、楕円のみを確実に検出することができる。

更に、車載制御装置１では、対象図形に内接する平行四辺形の重心位置を楕円の中心位置として求めると共に、楕円パラメータを算出する際には、重心位置が楕円の中心位置と一致しない平行四辺形を構成する輪郭点を排除するようにされている。

従って、車載制御装置１によれば、対象図形が図６（ａ）、（ｂ）に示すような輪郭の一部が欠損した楕円であっても、欠損した部分を構成する輪郭（アウトライア）が、楕円パラメータの算出に用いられることがなく、ガウスニュートン法を用いた楕円パラメータの算出を速やかに収束させることができると共に、対象図形の輪郭である楕円を正しく復元することができる。

なお、図４に示す画像（６４０×４８０画素）を用いて実験を行った結果、楕円（瞳孔）の検出に、車載制御装置１ではおよそ０．００７秒を要し、これに対して、従来技術である一般化ハフ変換ではおよそ９０秒を要した。この結果から、車載制御装置１によれば、非常に高速な楕円の検出が可能であることがわかる。

また、対象図形の輪郭（楕円）の欠損率を変化させて実験を行った結果、車載制御装置１では、輪郭の欠損が全周上で連続して２５％以下であれば、良好な楕円中心の検出精度が得られ、また、全周上で２５％以上の欠損がある場合でも、それが連続した欠損でなければ、楕円中心は正確に検出できることが確認された。

なお、ここで述べた輪郭の連続欠損率は、図６（ｅ）、（ｆ）に示すようなエッジ処理後の画像について述べている。また、瞳孔に照明が映り込んだような画像では、楕円の連続欠損率が非常に高くなる傾向にある。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、本実施形態では、運転者の瞳孔を楕円として検出し、その検出結果から運転者の視線などを推定したが、運転者及び同乗者の頭部を楕円として検出し、エアバックの開閉タイミングまたはスピードの制御を行ってもよい。さらに、運転者及び同乗者の頭部を楕円として検出し、乗車しているときには、運転者及び同乗者にシートベルトの着用などを促すような制御を行ってもよい。

また、本実施形態では、楕円検出処理により検出された楕円から運転者の視線や居眠りなどの運転者の状態を判定し、運転者の状態によっては、スピーカー１５を鳴動させ運転者に警報を発するなどの制御を行ったが、運転者の状態によっては、ブレーキを作動し車両を減速させることやアクセルの開度を緩めること等の制御を行ってもよい。

また、平行四辺形の重心を求める方法としては、平行四辺形の相対する辺の中点を結ぶ直線を算出し、その直線の交点を算出することで求めてもよい。
なお、本実施形態では、Ａ点、Ｂ点を楕円の上下方向（座標Ｙの増減方向）に移動させ、第一水平線及び第二水平線の長さを（即ち、平行四辺形の大きさ）変化させることで、複数の平行四辺形の重心を設定したが、Ａ点、Ｂ点は、それぞれ楕円の左右両端から楕円の左右方向に移動させることで、複数の平行四辺形の重心を設定してもよい。なお、Ａ点、Ｂ点を楕円の左右方向に移動させる場合、第一水平線及び第二水平線の代わりに、それぞれＡ点、Ｂ点から垂直方向に延びる第一垂直線及び第二垂直線を用いてもよい。

また、楕円パラメータを算出する数値解析手法は、ガウスニュートン法に限られるものではなく、最急降下法のように、小さな誤差で算出できるものであればどのような方法であってもよい。

また、本実施形態では、カメラ１１の設置場所の一例としてダッシュボード上を挙げたが、車両に配置された、メータ内、ハンドルカラム上、ルームミラー付近等であってもよい。つまり、カメラ１１は、少なくとも運転者の顔面を含む画像を撮影できる位置及び向きであればどのような位置でもよい。

また、適合率に対する閾値を７０％としたが、楕円を検出する目的に応じて変更してもよい。
また、入力画像は、近赤外領域において撮影された画像に限られない。つまり、一般的な可視光領域において撮影されたものでも、赤外線領域において撮影されたものでもよい。

また、本実施形態では、運転者の虹彩または瞳孔を検出したが、検出する楕円は、運転者の虹彩または瞳孔に限られるものではない。つまり、図７に示すような楕円やその他の図形（対象図形５０）を含んだ画像から楕円のみを抽出するようなものでもよい。

そして、この場合、対象図形の中心５１が検出できないものは入力画像のデータから除去されるため、図８に示す図形のみが残る。さらに、対象図形５０の輪郭と復元された楕円５２との適合率がある閾値以下の場合には、その対象図形が除去されるため、図９のように楕円のみを検出することができる。

このような応用例から、形状の異なる複数の工具の中から楕円を含む工具を選択し、使用する工作機械などにも適用できる。

画像認識装置の概略を示すブロック図。 楕円検出処理のフローチャート。 楕円中心検出の説明図。 検出対象をとする運転者の目の周辺画像。 可視光領域における撮影画像と近赤外領域における撮影画像の説明図。 対象図形の輪郭が欠損した画像による楕円の検出の説明図。 実施形態の一例を示す説明図。 実施形態の一例を示す説明図。 実施形態の一例を示す説明図。 一般化ハフ変換の説明図。 一般化ハフ変換の説明図。

符号の説明

１…画像認識装置 １１…カメラ １２…ライト １３・・・画像処理部 １４…制御部 １５…スピーカー １６…モニター ２０、２７・・・対象図形の輪郭 ２１、２５・・・基準点候補の軌跡 ２２、２６・・・検査点 ２３・・・検出された基準点

Claims (9)

1. 入力画像からその入力画像中に示された図形の輪郭を抽出する輪郭抽出過程と、
   前記輪郭抽出過程により輪郭が抽出された図形を対象図形とし、前記対象図形の輪郭に内接する互いに異なった複数の平行四辺形のそれぞれについて、前記平行四辺形の重心位置を検出する重心位置検出過程と、
   前記重心位置検出過程によって検出された重心位置の中で、出現頻度が最も高い重心位置を、前記対象図形の中心位置とする中心位置決定過程と、
   を有することを特徴とする図形中心検出方法。
2. 入力画像からその入力画像中に示された図形の輪郭を抽出する輪郭抽出過程と、
   前記輪郭抽出過程により輪郭が抽出された図形を対象図形とし、前記対象図形の輪郭に内接する互いに異なった複数の平行四辺形のそれぞれについて、前記平行四辺形の重心位置を検出する重心位置検出過程と、
   前記重心位置検出過程によって検出された重心位置の中で、出現頻度が最も高い重心位置を、前記対象図形の中心位置とする中心位置決定過程と、
   前記中心位置決定過程で前記対象図形の中心位置を決定する際に用いられた前記複数の平行四辺形の頂点位置から、前記対象図形の輪郭を近似した楕円を表す楕円パラメータを算出する楕円パラメータ算出過程と、
   を有することを特徴とする楕円検出方法。
3. 前記楕円パラメータ算出過程により算出された前記楕円パラメータから生成される楕円と、前記対象図形の輪郭との一致度合いを表す適合率を算出する適合率算出過程と、
   前記適合率算出過程により算出された適合率が、予め設定された閾値より小さい場合に、前記対象図形が楕円以外の形状を有する図形であるものとして除去する楕円外図形除去過程と、
   を有することを特徴とする請求項２に記載の楕円検出方法。
4. 入力画像からその入力画像中に示された図形の輪郭を抽出する輪郭抽出手段と、
   前記輪郭抽出手段により輪郭が抽出された図形を対象図形とし、前記対象図形の輪郭に内接する互いに異なった複数の平行四辺形のそれぞれについて、前記平行四辺形の重心位置を検出する重心位置検出手段と、
   前記重心位置検出手段によって検出された重心位置の中で、出現頻度が最も高い重心位置を、前記対象図形の中心位置とする中心位置決定手段と、
   を備えることを特徴とする画像認識装置。
5. 前記中心位置決定手段で前記対象図形の中心位置を決定する際に用いられた複数の前記平行四辺形の頂点位置から、前記対象図形の輪郭を近似した楕円を表す楕円パラメータを算出する楕円パラメータ算出手段を備えることを特徴とする請求項４に記載の画像認識装置。
6. 前記楕円パラメータ算出手段により算出された前記楕円パラメータから生成される楕円と、前記対象図形の輪郭との一致度合いを表す適合率を算出する適合率算出手段と、
   前記適合率算出手段により算出された適合率が、予め設定された閾値より小さい場合に、前記対象図形が楕円以外の形状を有する図形であるものとして除去する楕円外図形除去手段と、
   を備えることを特徴とする請求項５に記載の画像認識装置。
7. 前記入力画像は、少なくとも人間の顔面を含む画像であり、前記対象図形は、画像中の人間の虹彩または瞳孔であることを特徴とする請求項５または請求項６に記載の画像認識装置。
8. 前記入力画像は、赤外線撮影された画像であることを特徴とする請求項４ないし請求項７のいずれかに記載の画像認識装置。
9. 請求項７に記載の画像認識装置と、
   前記楕円パラメータ算出手段により算出された楕円パラメータから生成される楕円の動きを、前記入力画像中の人間の虹彩または瞳孔の動きとして検出する瞳孔検出手段と、
   前記瞳孔検出手段により検出された虹彩または瞳孔の動きから、前記入力画像中の人間の挙動を推定し、その推定結果に適合した制御を実行する制御実行手段と、
   を備えることを特徴とする制御装置。