JP2018088647A - 眼球追跡装置及び撮像システム - Google Patents

Abstract

【課題】自車のドライバの眼に焦点を合わせて撮像する撮像システムにおいて、自車のドライバの眼に精度よく焦点を合わせやすくすることを可能にする。【解決手段】広角画像取得部１０１で取得した広角画像中のドライバの眼の位置に基づいて、望遠カメラ３０でドライバの眼を拡大して撮像するようにパンチルト機構３３及びフォーカス機構３２を動作させる調整部１１３と、広角画像取得部１０１で取得した広角画像と望遠画像取得部１０２で取得した望遠画像との視差を逐次特定する視差特定部１０５と、パンチルト機構３３の機構誤差がないとした場合の視差と視差特定部１０５で特定した実際の視差とのずれをもとに、パンチルト機構３３の機構誤差に応じたパンチルト機構３３の補正量を逐次決定するパンチルト補正部１１１とを備え、調整部１１３は、パンチルト補正部１１１で逐次決定する補正量に従ってパンチルト機構３３を動作させる。【選択図】図３

Description

本発明は、自車のドライバの眼に焦点を合わせて撮像を行わせる眼球追跡装置及びこの眼球追跡装置を含む撮像システムに関するものである。

特許文献１には、セキュリティシステムの個人認証等で使用する虹彩の画像を撮像する虹彩撮像装置が開示されている。特許文献１の虹彩撮像装置は、立位の被写体を撮像するための１台の広角カメラと、赤外光を照射してその被写体までの距離を計測する距離計と、その被写体の虹彩を撮像するための望遠カメラとを備えている。特許文献１の虹彩撮像装置は、広角カメラの画像中の被写体の眼の位置と距離計で計測した被写体距離とから、望遠カメラに対する被写体の眼の位置を求める。そして、求めた眼の位置が撮像画像の中央となるように望遠カメラのパン位置及びチルト位置を微調整する。また、距離計で計測した被写体距離にフォーカスレンズの焦点が合うように駆動制御する。

特開２００２−１２５１４２号公報

しかしながら、特許文献１の虹彩撮像装置は、立位の被写体を想定しているように、車載での利用について想定したものではない。よって、車載利用時の振動といった負荷等によって生じる、望遠カメラのパン，チルト，フォーカス動作等を行う機構自体のずれといった機構誤差について考慮していない。従って、車載利用時には、この機構誤差によって、自車のドライバの眼に精度よく焦点を合わせにくいという問題点が生じる。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、自車のドライバの眼に焦点を合わせて撮像する撮像システムにおいて、自車のドライバの眼に精度よく焦点を合わせやすくすることを可能にする眼球追跡装置及び撮像システムを提供することにある。

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

上記目的を達成するために、本発明の眼球追跡装置は、車両で用いられ、車両の運転席にドライバが着座した場合の顔部分を含む範囲を撮像するよう撮像方向を固定した広角カメラ（２０）の撮像画像である広角画像を逐次取得する広角画像取得部（１０１）と、広角カメラに対する設置間隔が固定されているとともに広角カメラよりも画角が狭く、且つ、パンチルト機構（３３）及びフォーカス機構（３２）を有する望遠カメラ（３０）の撮像画像である望遠画像を逐次取得する望遠画像取得部（１０２）と、広角画像取得部で取得した広角画像中のドライバの眼の位置に基づいて、望遠カメラでドライバの眼を拡大して撮像するようにパンチルト機構及びフォーカス機構を動作させる調整部（１１３）と、広角画像取得部で取得した広角画像と望遠画像取得部で取得した望遠画像との視差を逐次特定する視差特定部（１０５）と、パンチルト機構の機構誤差がないとした場合の視差と視差特定部で特定した実際の視差とのずれをもとに、パンチルト機構の機構誤差に応じたパンチルト機構の補正量を逐次決定するパンチルト補正部（１１１）とを備え、調整部は、望遠カメラでドライバの眼を拡大して撮像するようにパンチルト機構及びフォーカス機構を動作させる際に、パンチルト補正部で逐次決定する補正量に従ってパンチルト機構を動作させる。

これによれば、パンチルト機構の機構誤差がないとした場合の広角カメラの広角画像と望遠カメラの望遠画像との視差と、実際のこの視差とのずれをもとに、パンチルト機構の補正量をパンチルト補正部が逐次決定する。広角カメラと望遠カメラとの設置間隔が固定されていることから、上述の視差のずれは、パンチルト機構の機構誤差に応じた値となる。よって、このずれをもとにすることで、パンチルト機構の機構誤差に応じたパンチルト機構の補正量を逐次決定することが可能になる。また、調整部は、望遠カメラでドライバの眼を拡大して撮像するようにパンチルト機構及びフォーカス機構を動作させる際に、パンチルト補正部で逐次決定する補正量に従ってパンチルト機構を動作させる。従って、車載利用時の振動といった負荷等によって、望遠カメラのパンチルト機構の機構誤差が生じた場合にも、この機構誤差による撮像方向のずれを抑えて、望遠カメラでドライバの眼を拡大して撮像しやすくすることが可能になる。その結果、自車のドライバの眼に焦点を合わせて撮像する撮像システムにおいて、自車のドライバの眼に精度よく焦点を合わせやすくすることが可能になる。

また、上記目的を達成するために、本発明の撮像システムは、車両で用いられ、車両の運転席にドライバが着座した場合の顔部分を含む範囲を撮像するよう撮像方向を固定した広角カメラ（２０）と、広角カメラに対する位置が固定されているとともに広角カメラよりも画角が狭く、且つ、パンチルト機構（３３）及びフォーカス機構（３２）を有する望遠カメラ（３０）と、前述の眼球追跡装置（１０）とを含む。

これによれば、前述の眼球追跡装置を含むので、自車のドライバの眼に焦点を合わせて撮像する撮像システムにおいて、自車のドライバの眼に精度よく焦点を合わせやすくすることが可能になる。

撮像システム１の概略的な構成の一例を示す図である。 望遠カメラ３０の概略的な構成の一例を示す図である。 制御ユニット１０の概略的な構成の一例を示す図である。 広角画像と望遠画像とのパターンマッチングの一例について説明するための図である。 撮像の目的とする領域に対して望遠カメラ３０で実際に撮像できる領域がずれる例について説明するための図である。 制御ユニット１０での眼球追跡関連処理の流れの一例を示すフローチャートである。

図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。

（実施形態１）
＜撮像システム１の概略構成＞
以下、本実施形態について図面を用いて説明する。図１に示す撮像システム１は、自動車といった車両で用いられるものであり、制御ユニット１０、広角カメラ２０、望遠カメラ３０、広角用照明４０、及び望遠用照明５０を含んでいる。

撮像システム１は、所謂ＤＳＭ（Driver Status Monitor）であって、自車の車室内のうち、運転席に着座したドライバの顔部分を含む範囲を広角カメラ２０及び望遠カメラ３０で撮像できる位置に設けられる。一例としては、ステアリングコラムカバー，インスツルメントパネルの上面等に設置され、運転席に着座したドライバの前方側から撮像を行う構成とすればよい。

広角カメラ２０は、撮像システム１の設置位置から、運転席に着座したドライバの顔部分を含む範囲を撮像するよう撮像方向が固定されるカメラである。広角カメラ２０は、運転席にドライバが着座している場合、このドライバの顔部分を含む範囲を撮像する。一例として、広角カメラ２０のフレームレートは３０Ｈｚ等とすればよい。広角カメラ２０は、撮像した撮像画像（以下、広角画像）を制御ユニット１０に出力する。

望遠カメラ３０は、広角カメラ２０よりも画角が狭いカメラであって、運転席に着座したドライバの眼を拡大して撮像するためのカメラである。一例として、望遠カメラ３０のフレームレートは２００Ｈｚ等とすればよい。望遠カメラ３０は、撮像した撮像画像（以下、望遠画像）を制御ユニット１０に出力する。望遠カメラ３０は、撮像方向が固定された広角カメラ２０とは異なり、撮像方向を調整可能となっている。また、望遠カメラ３０は、撮像システム１において、広角カメラ２０に対して自車の左右方向に、固定された間隔で並んで配置される。

望遠カメラ３０は、図２に示すように、望遠カメラ本体３１、フォーカス機構３２、及びパンチルト機構３３を備えている。望遠カメラ本体３１は、撮像素子が内蔵された望遠カメラ３０の機器本体である。本実施形態では、望遠カメラ本体３１は、その光軸が広角カメラ２０と望遠カメラ３０との配列方向、つまり、自車の左右方向に並行するよう設けられている。

フォーカス機構３２は、望遠カメラ３０の焦点を変更するための機構である。フォーカス機構３２は、公知のフォーカス機構と同様に、レンズユニットを構成するレンズと望遠カメラ本体３１の撮像素子との間の距離を、モータを用いて変化させることで、望遠カメラ３０の焦点を変更する構成とすればよい。本実施形態では、このモータとしてステッピングモータを用いる場合を例に挙げて説明を行う。

パンチルト機構３３は、望遠カメラ３０の撮像方向をパン方向及びチルト方向に変化させるための機構である。パンチルト機構３３は、反射した光を望遠カメラ本体３１に入射するためのミラーと、このミラーを駆動するパン用モータ及びチルト用モータとを備えている。ミラーは、撮像システム１が水平面に設けられたとした場合の、水平方向と垂直方向とに回動可能となっている。パン用モータは、ミラーをこの水平方向に回動させるためのモータである。また、チルト用モータは、ミラーをこの垂直方向に回動させるためのモータである。本実施形態では、パン用モータ及びチルト用モータとして、ステッピングモータを用いる場合を例に挙げて説明を行う。なお、撮像システム１において、広角カメラ２０と望遠カメラ３０とは、組み付け時には垂直方向の視差がなくなるように組み付けられているものとする。

望遠カメラ本体３１は、撮像した撮像画像の情報だけでなく、フォーカス機構での合焦に関連した情報（以下、合焦関連情報）も制御ユニット１０に出力する。例えば合焦関連情報としては、合焦の有無，合焦からのズレ量等がある。一例として、望遠カメラ３０は、オートフォーカス（ＡＦ）機能を有しており、望遠カメラ本体３１の撮像素子で、合焦の有無，合焦からのズレ量を検出するものとすればよい。ＡＦ機能が、公知の位相差検出法を用いるものである場合には、セパレータレンズで生成した２つの像の間隔をラインセンサで計測することで、合焦からのズレ量を検出すればよい。また、ＡＦ機能が、公知のコントラスト検出法を用いるものである場合には、フォーカス機構のレンズを駆動させつつ得られる撮像画像のコントラストの変化をもとに、合焦からのズレ量を検出すればよい。

広角用照明４０は、広角カメラ２０の撮像範囲に近赤外光を照射するよう設けられている。一例として、広角用照明４０は、図１に示すように、広角カメラ２０と望遠カメラ３０との配列方向に複数設ける構成とすればよい。望遠用照明５０は、望遠カメラ３０の撮像範囲の移動に応じてその撮像範囲に近赤外光を集光して照射するよう設けられている。一例として、望遠用照明５０は、集光レンズによって集光する構成とすればよい。また、望遠用照明５０は、望遠用照明５０の照射方向をパン方向，チルト方向に傾けるための機構によって、望遠カメラ３０の撮像範囲の移動に応じてその撮像範囲に近赤外光を集光して照射する構成とすればよい。広角用照明４０及び望遠用照明５０としては、ＬＥＤを用いる構成とすればよい。この広角用照明４０及び望遠用照明５０が請求項の照明装置に相当する。なお、望遠用照明５０を備えずに、広角用照明４０と望遠用照明５０とのうちの広角用照明４０のみで近赤外光を照射する構成としてもよい。

制御ユニット１０は、プロセッサ、揮発性メモリ、不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備え、不揮発性メモリに記憶された制御プログラムを実行することで各種の処理を行う。この制御ユニット１０が請求項の眼球追跡装置に相当する。例えば、制御ユニット１０は、望遠カメラ３０の撮像方向を逐次調整することで、ドライバの眼を追跡して逐次撮像する。また、制御ユニット１０は、望遠カメラ３０で撮像したドライバの眼の撮像画像をもとにドライバの視線検出を行う。他にも、制御ユニット１０は、広角用照明４０及び望遠用照明５０の発光強度を調整する。制御ユニット１０の詳細については後述する。

＜制御ユニット１０の概略構成＞
続いて、図３を用いて、制御ユニット１０の概略構成についての説明を行う。図３に示すように、制御ユニット１０は、広角画像取得部１０１、望遠画像取得部１０２、画像処理部１０３、メモリ１０４、視差特定部１０５、視線検出部１０６、合焦関連情報取得部１０７、変動量特定部１０８、距離推定部１０９、照明制御部１１０、パンチルト補正部１１１、移動関連値特定部１１２、調整部１１３、及びフォーカス補正部１１４を備えている。

広角画像取得部１０１は、広角カメラ２０から逐次出力される広角画像を逐次取得する。望遠画像取得部１０２は、望遠カメラ３０の望遠カメラ本体３１から逐次出力される望遠画像を逐次取得する。

画像処理部１０３は、広角画像取得部１０１で取得した広角画像から、公知の画像認識処理によって特徴点を検出する。画像処理部１０３は、広角画像から検出した特徴点をもとに、公知の画像認識処理によって眼を検出できる場合には、広角画像中の眼の位置を検出する。また、画像処理部１０３は、望遠画像取得部１０２で取得した望遠画像から、公知の画像認識処理によって特徴点を検出する。画像処理部１０３は、望遠画像から検出した特徴点をもとに、公知の画像認識処理によって眼を検出できる場合には、望遠画像中の眼の位置を検出する。画像処理部１０３は、検出した広角画像中の特徴点の位置，広角画像中の眼の位置，望遠画像中の特徴点の位置，望遠画像中の眼の位置をメモリ１０４に逐次記憶する。メモリ１０４は、一例として揮発性メモリとすればよい。なお、特徴点として眼を検出できている場合には、特徴点の位置として眼の位置をメモリ１０４に記憶する構成とすればよい。特徴点，眼の位置は、ピクセル座標等の画像上の座標で表す構成とすればよい。

また、画像処理部１０３は、望遠画像から眼を検出できる場合には、望遠画像中の眼から、公知の画像認識処理によって瞳孔及び角膜反射の位置を検出する。また、画像処理部１０３は、望遠画像中の瞳孔の大きさを検出する構成としてもよい。画像処理部１０３は、望遠画像中の瞳孔の大きさを検出する場合には、逐次検出する望遠画像中の瞳孔の大きさをメモリ１０４に逐次記憶する構成とすればよい。眼の大きさは、ピクセル数等の画像上での大きさで表す構成とすればよい。

さらに、画像処理部１０３は、広角画像取得部１０１で取得した広角画像と望遠画像取得部１０２で取得した望遠画像とのパターンマッチングを行う。パターンマッチングは、略同一のタイミングで撮像された広角画像と望遠画像とで行う構成とすればよい。一例として、広角画像取得部１０１で取得した直近の広角画像と望遠画像取得部１０２で取得した直近の望遠画像とのパターンマッチングを行う構成とすればよい。パターンマッチングは、広角画像及び望遠画像のいずれからも検出できた共通の特徴点について、望遠画像を縮小することでサイズを合わせた上で行う構成とすればよい（図４参照）。

視差特定部１０５は、画像処理部１０３で逐次行う広角画像と望遠画像とのパターンマッチングの結果から、広角画像と望遠画像との視差を逐次特定する。一例として、視差特定部１０５は、パターンマッチングした広角画像と望遠画像とについて、広角画像の中心に対する望遠画像の中心の位置ずれを視差として逐次特定する。例えばこの位置ずれは、広角画像の中心を原点とする座標で表す構成とすればよい。視差特定部１０５は、逐次特定する視差をメモリ１０４に逐次記憶していくものとする。なお、本実施形態では、お互いフレームレートが異なる広角カメラ２０と望遠カメラ３０との略同一タイミングで撮像した画像間での視差を、視差特定部１０５が特定することになる。

視線検出部１０６は、画像処理部１０３で望遠画像からドライバの瞳孔及び角膜反射を検出できた場合に、公知の角膜反射法を用いて、この検出した瞳孔と角膜反射との位置関係から車室内の基準位置に対するドライバの視線方向を逐次検出する。基準位置は、例えば撮像システム１の設置位置等とすればよい。視線検出部１０６で逐次検出する視線方向の変化からは、例えばサッケードといった眼球運動を検出する。そして、このサッケードをもとに、ドライバの漫然状態の判定等を行う。サッケードの検出及び／又は漫然状態の判定は、制御ユニット１０で行う構成としてもよいし、制御ユニット１０以外の装置で行う構成としてもよい。

合焦関連情報取得部１０７は、望遠カメラ３０の望遠カメラ本体３１から逐次出力される前述の合焦関連情報を逐次取得する。変動量特定部１０８は、メモリ１０４に逐次記憶される広角画像の特徴量点の位置及び望遠画像の特徴点の位置の変化から、広角画像の変動量及び望遠画像の変動量を逐次特定する。一例として、変動量特定部１０８は、広角画像の特徴点の位置及び望遠画像の特徴点の位置がメモリ１０４に記憶されるごとに、前回記憶した位置と新たに記憶した位置との変化量を算出し、この変化量を変動量として特定する構成とすればよい。なお、特徴点の位置として眼の位置がメモリ１０４に記憶されている場合には、眼の位置の変化量を変動量として特定すればよい。

距離推定部１０９は、望遠カメラ３０からドライバの眼までの距離（以下、対象距離）を逐次推定し、メモリ１０４に逐次記憶する。一例として、パンチルト機構３３のミラーからドライバの眼までの距離を推定する構成とすればよい。距離推定部１０９は、視差特定部１０５で特定された広角画像と望遠画像との視差をもとに、ステレオカメラの画像の視差から対象までの距離を推定するのと同様にして、三角測量の原理で対象距離を推定する。広角カメラ２０と望遠カメラ３０との設置間隔等、視差以外の対象距離の推定に必要な値は不揮発性メモリに予め記憶されているものとする。

また、距離推定部１０９は、変動量特定部１０８で特定される広角画像の変動量及び望遠画像の変動量のいずれもが閾値範囲内であった場合には、対象距離の推定を新たに行わず、前回推定した対象距離を継続して推定結果とすることが好ましい。これによれば、対象距離を推定する処理の負荷を軽減することが可能になる。ここで言うところの閾値範囲は、任意に設定可能な範囲であって、例えば距離推定部１０９で推定される対象距離の差が誤差程度におさまる範囲とすればよい。なお、閾値範囲は、広角画像と望遠画像とで異なっていてもよい。

さらに、距離推定部１０９は、前回距離推定部１０９で推定した対象距離に従って後述の調整部１１３がフォーカス機構３２を動作させる調整により、望遠カメラ３０が合焦した場合に、以下のような処理を行う構成としてもよい。例えば、距離推定部１０９は、望遠カメラ３０が合焦した対象距離と、変動量特定部１０８で特定する広角画像の変動量及び望遠画像の変動量とをもとに、次回の対象距離を推定する構成とすればよい。この場合には、広角画像の変動量及び望遠画像の変動量と対象距離の変動量との相関関係をもとに、次回の対象距離を推定すればよい。この相関関係は、例えば予め不揮発性メモリに記憶しておく構成とすればよい。

照明制御部１１０は、広角用照明４０及び望遠用照明５０を制御する。例えば、照明制御部１１０は、広角カメラ２０の撮像タイミングに合わせて広角用照明４０からの近赤外光の照射を行わせる一方、望遠カメラ３０の撮像タイミングに合わせて望遠用照明５０からの近赤外光の照射を行わせる構成とすればよい。なお、照明制御部１１０は、撮像システム１が起動している間、広角用照明４０及び望遠用照明５０からの近赤外光の照射を常時行わせる構成としてもよい。また、照明制御部１１０は、距離推定部１０９で推定した対象距離が短くなるのに応じて、広角用照明４０及び望遠用照明５０の発光強度を低減させることが好ましい。これにより、近赤外光の眼に対する影響をより小さくすることが可能になる。

パンチルト補正部１１１は、パンチルト機構３３の機構誤差がないとした場合の広角画像と望遠画像との視差（以下、基準視差）と視差特定部１０５で特定した実際の視差とのずれをもとに、パンチルト機構３３の補正量を逐次決定する。例えばパンチルト機構３３の機構誤差とは、自車の振動によるパン用モータ，チルト用モータの脱調で生じるもの等がある。また、基準視差については不揮発性メモリに予め記憶されているものとする。基準視差と実際の視差とのずれは、パンチルト機構３３のパン用モータ及びチルト用モータのそれぞれの機構誤差に応じたずれとなる。よって、基準視差と実際の視差とのずれを解消するパンチルト機構３３の補正量を決定することで、パンチルト機構３３の機構誤差に応じた補正量を決定する。一例として、基準視差と実際の視差とのずれと、このずれを解消するパン用モータ及びチルト用モータの補正量との対応関係を予め不揮発性メモリに記憶しておく構成とすればよい。そして、パンチルト補正部１１１は、基準視差と実際の視差とのずれをもとに、この対応関係を用いてパンチルト機構３３の補正量を決定すればよい。

また、パンチルト機構３３のうち、回転中心のずれが大きくなりやすいパン用モータについては、メモリ１０４に記憶された複数回分の視差を用いて、補正量を決定する構成とすることが好ましい。一例として、メモリ１０４に記憶された複数回分の視差から最小二乗法で算出した尤もらしい視差と基準視差とのずれをもとに、補正量を決定すればよい。これによれば、メモリ１０４に記憶された１回分の視差だけでは誤差が大きい場合でも、より誤差の小さい視差を用いて、精度のより高い補正量を決定することが可能になる。メモリ１０４に複数回分の視差が記憶されていない場合は、複数回分の視差が記憶されるまで補正量を決定しない構成としてもよいし、１回分の視差を用いて補正量を決定する構成としてもよい。なお、チルト用モータについても、同様に、メモリ１０４に記憶された複数回分の視差を用いて、補正量を決定する構成としてもよい。

移動関連値特定部１１２は、メモリ１０４に逐次記憶される広角画像中の眼の位置から、ドライバの眼の位置の移動速度及び移動範囲（以下、移動関連値）を逐次特定し、特定した移動関連値をメモリ１０４に逐次記憶する。例えば移動速度は、フレームあたりの眼の位置の変化量で表す構成とすればよい。また、移動範囲は、広角画像中の座標で表す構成とすればよい。

調整部１１３は、メモリ１０４に記憶されている広角画像中の眼の位置に基づいて、望遠カメラ３０でドライバの眼を拡大して撮像するようにパンチルト機構３３及びフォーカス機構３２を動作させて、望遠カメラ３０の撮像方向及び焦点の調整を行う。デフォルトとして、調整部１１３は、広角画像中のドライバの左眼の位置と、対象距離として仮に既定した既定距離とから、望遠カメラ３０に対するドライバの左眼の位置を算出し、この左眼の中心に光軸が向くようにパンチルト機構３３及びフォーカス機構３２を動作させる。既定距離は、運転席にドライバが着座した場合のドライバと望遠カメラ３０との大まかな距離を考慮して予め設定された値を用いる構成とすればよく、例えば５００ｍｍ等とすればよい。

上述したデフォルトの調整では、図５に示すように、既定距離（図５のＡ参照）と実際の対象距離との誤差が存在する場合、この誤差分だけ、撮像の目的とする領域（図５のＢ参照）に対して望遠カメラ３０で実際に撮像できる領域（図５のＣ参照）がずれることなる。なお、図５のＤの破線で囲まれる範囲が広角カメラ２０の撮像範囲を示しており、図５のＥの破線で囲まれる範囲が望遠カメラ３０の撮像範囲を示している。また、上述したデフォルトの調整では、パンチルト機構３３及びフォーカス機構３２の機構誤差が存在する場合にも、この誤差分だけ、撮像の目的とする領域に対して望遠カメラ３０で実際に撮像できる領域がずれることなる。

このようなずれを解消するため、調整部１１３は以下のような処理を行う。調整部１１３は、距離推定部１０９で対象距離を推定していた場合には、既定距離の代わりに距離推定部１０９で推定した直近の対象距離に焦点が合うようにフォーカス機構３２を動作させる。なお、調整部１１３は、この直近の対象距離を、メモリ１０４から読み出して用いる構成とすればよい。また、調整部１１３は、パンチルト補正部１１１でパンチルト機構３３の補正量を決定していた場合には、パンチルト補正部１１１で決定した直近の補正量に従ってパンチルト機構３３を動作させる。さらに、調整部１１３は、後述するフォーカス補正部１１４でフォーカス機構３２の補正量を決定していた場合には、フォーカス補正部１１４で決定した直近の補正量に従ってフォーカス機構３２を動作させる。

なお、調整部１１３での調整による合焦の有無，合焦からのズレ量等を、前述の合焦関連情報として扱う構成とすればよい。調整部１１３での調整によって合焦しなかった場合には、例えばＡＦ機能によって合焦させる構成とすればよい。

調整部１１３は、画像処理部１０３で望遠画像から眼を検出できる場合、画像処理部１０３で望遠画像から検出した瞳孔の位置の中心と望遠画像の中心とのずれ量を算出する。そして、算出したずれ量を解消するようにパンチルト機構３３を動作させることで、瞳孔の位置の中心が望遠画像の中心となるように調整する。これによれば、パンチルト機構３３の機構誤差が新たに生じて撮像方向にずれが生じる場合にも、望遠画像から瞳孔が外れにくくなり、このずれを許容しやすくなる。なお、パンチルト補正部１１１で補正量が決定されている場合には、算出したずれ量を解消するように、この補正量に従ってパンチルト機構３３を動作させればよい。

また、調整部１１３は、移動関連値特定部１１２で特定する移動関連値が所定範囲内である場合に、パンチルト機構３３及びフォーカス機構３２を動作させる一方、この移動関連値が所定範囲内でない場合には、パンチルト機構３３及びフォーカス機構３２を動作させない。ここで言うところの所定範囲とは、任意に設定可能な値であって、ドライバの眼の過度の追跡を抑制するように設定される。一例としては、眼の位置の移動速度として人間の移動速度と推定される範囲を所定範囲とすればよい。他にも、眼の移動範囲としてドライバが正面を向いていると推定される範囲を所定範囲としてもよい。

さらに、調整部１１３は、広角画像取得部１０１で取得する広角画像中のドライバの顔向きに応じて、望遠カメラ３０で拡大して撮像する対象とするドライバの眼を切り替える構成とすることが好ましい。この構成を採用する場合には、眼の移動範囲としてドライバが正面を向いていると推定される範囲を前述の所定範囲としないものとする。

なお、ドライバの顔向きは、画像処理部１０３で公知の画像認識処理によって検出した顔向きを用いる構成としてもよいし、移動関連値特定部１１２で特定したドライバの眼の位置の移動範囲から特定した顔向きを用いる構成としてもよい。一例として、調整部１１３は、ドライバの顔向きが正面及び右向きの場合には、撮像対象をドライバの左眼とし、顔向きが左向きの場合には、撮像対象をドライバの右眼とすればよい。顔向きは、正面から所定値以上左に傾いた状態を左向き、正面から所定値以上右に傾いた状態を右向きとすればよい。ここで言うところの所定値は任意に設定可能な値であって、例えば正面から大きく左右に傾いた状態を左向き，右向きとするように設定してもよい。

フォーカス補正部１１４は、パンチルト補正部１１１で決定した補正量に従ってパンチルト機構３３を動作させるとともに、距離推定部１０９で推定した対象距離に従ってフォーカス機構３２を動作させる調整部１１３での調整によって望遠カメラ３０が合焦しなかった場合に、フォーカス機構３２の補正量を決定する。具体的には、上述した調整部１１３での調整によって合焦しなかった望遠カメラ３０を合焦させるのに必要と推定されるフォーカス機構３２の補正量を決定する。

一例としては、前述の合焦関連情報のうちの合焦からのズレ量に応じて、フォーカス機構３２の補正量を決定すればよい。他の例としては、合焦していた場合の基準となる瞳孔の大きさに対する、メモリ１０４に記憶されている望遠画像中の直近の瞳孔の大きさの比率に応じて、フォーカス機構３２の補正量を決定する構成としてもよい。なお、他の方法によって、上述した調整部１１３での調整によって合焦しなかった望遠カメラ３０を合焦させるのに必要と推定されるフォーカス機構３２の補正量を決定する構成としてもよい。

＜制御ユニット１０での眼球追跡関連処理＞
続いて、図６のフローチャートを用いて、制御ユニット１０での、ドライバの眼を追跡しながらドライバの眼を拡大して撮像する処理に関連する処理（以下、眼球追跡関連処理）の流れの一例について説明を行う。図６のフローチャートは、例えば撮像システム１の電源がオンになったときに開始し、撮像システム１の電源がオフになったときに終了する構成とすればよい。図６のフローチャートでは、広角カメラ２０及び望遠カメラ３０はそれぞれのフレームレートで逐次撮像を行うものとする。

まず、ステップＳ１では、画像処理部１０３が、広角画像取得部１０１で取得した広角画像中の眼の位置を検出する。ステップＳ２では、調整部１１３が、望遠カメラ３０でドライバの眼を撮像するための撮像距離を設定する。デフォルトでは、前述した既定距離を設定し、距離推定部１０９で対象距離を推定していた場合には、推定した直近の対象距離を設定する。

ステップＳ３では、調整部１１３が、広角画像中のドライバの対象とする側の眼の位置と、設定した撮像距離とから、望遠カメラ３０に対するドライバの眼の位置を算出する。そして、この眼の中心に光軸が向くようにパンチルト機構３３及びフォーカス機構３２を動作させる調整を行う。

ステップＳ４では、画像処理部１０３が、Ｓ３での調整後に広角画像取得部１０１で取得した広角画像と望遠画像取得部１０２で取得した望遠画像とのパターンマッチングを行う。そして、視差特定部１０５が、このパターンマッチングの結果から、広角画像と望遠画像との視差を特定する。ステップＳ５では、距離推定部１０９が対象距離を推定する。

ステップＳ６では、視線検出部１０６がドライバの視線方向の検出を試みる。ステップＳ７では、視線検出部１０６でドライバの視線方向の検出が成功した場合（Ｓ７でＹＥＳ）には、ステップＳ１１に移る。一方、ドライバの視線方向の検出が失敗した場合（Ｓ７でＮＯ）には、ステップＳ８に移る。ドライバの視線方向の検出が失敗する場合の一例としては、画像処理部１０３で望遠画像からドライバの瞳孔及び角膜反射を検出できなかった場合が挙げられる。

ステップＳ８では、パンチルト補正部１１１が、基準視差とＳ４で特定した実際の視差とのずれをもとに、パンチルト機構３３の補正量を決定する。ステップＳ９では、フォーカス機構３２の補正量の決定が必要な場合（Ｓ９でＹＥＳ）には、ステップＳ１０に移る。一方、フォーカス機構３２の補正量の決定が必要でない場合（Ｓ９でＮＯ）には、Ｓ１に戻って処理を繰り返す。フォーカス機構３２の補正量の決定が必要な場合とは、パンチルト補正部１１１で決定した補正量に従ってパンチルト機構３３を動作させるとともに、距離推定部１０９で推定した対象距離に従ってフォーカス機構３２を動作させる調整部１１３での調整によって望遠カメラ３０が合焦しなかった場合である。

ステップＳ１０では、フォーカス補正部１１４がフォーカス機構３２の補正量を決定し、Ｓ１に戻って処理を繰り返す。Ｓ７でドライバの視線方向の検出が成功した場合に行う処理であるステップＳ１１では、調整部１１３が、瞳孔の位置の中心が望遠画像の中心となるように調整し、Ｓ４に戻って処理を繰り返す。

なお、図６のフローチャートでは、前述したように、移動関連値特定部１１２で特定する移動関連値が所定範囲内でない場合には、パンチルト機構３３及びフォーカス機構３２を動作させず、調整を中断することが好ましい。これによれば、ドライバの眼の過度の追跡を抑制し、ドライバの眼の追跡を失敗した場合にも、再度の追跡までの復帰時間を短縮することが可能になる。

図６のフローチャートでは、パンチルト機構３３及びフォーカス機構３２のいずれも機構誤差が生じている場合には、処理を繰り返してお互いの機構誤差を逐次補正していくことで、パンチルト機構３３及びフォーカス機構３２の両方の機構誤差を精度良く補正することになる。また、パンチルト機構３３のパン用モータ、パンチルト機構３３のチルト用モータ、及びフォーカス機構３２のモータのうち、例えば脱調が発生しにくい等の機構誤差が少ないものを基準として、機構誤差を逐次補正していく構成としてもよい。例えば、機構誤差が大きくなると予め推定されるものについての補正から順次行っていく構成としてもよい。

＜実施形態１のまとめ＞
広角カメラ２０と望遠カメラ３０との設置間隔が固定されていることから、基準視差と視差特定部１０５で特定した実際の視差とのずれは、パンチルト機構３３の機構誤差に応じた値となる。実施形態１の構成によれば、このずれをもとに、パンチルト機構３３の補正量をパンチルト補正部１１１が逐次決定するので、パンチルト機構３３の機構誤差に応じたパンチルト機構の補正量を逐次決定することが可能になる。調整部１１３は、望遠カメラ３０でドライバの眼を拡大して撮像するようにパンチルト機構及びフォーカス機構を動作させる際に、この補正量に従ってパンチルト機構３３を動作させる。よって、車載利用時の振動といった負荷等によって、望遠カメラ３０のパンチルト機構３３の機構誤差が生じた場合にも、この機構誤差による撮像方向のずれを抑えて、望遠カメラ３０でドライバの眼に撮像方向を合わせやすくなる。その結果、自車のドライバの眼に焦点を合わせて撮像する撮像システムにおいて、自車のドライバの眼に精度よく焦点を合わせやすくなる。

実施形態１の構成によれば、調整部１１３での調整によって合焦しなかった望遠カメラ３０を合焦させるのに必要と推定されるフォーカス機構３２の補正量を決定し、この補正量に従ってフォーカス機構３２を動作させる。よって、車載利用時の振動といった負荷等によって、望遠カメラ３０のフォーカス機構３２の機構誤差が生じた場合にも、この機構誤差による焦点のずれを抑えて、望遠カメラ３０でドライバの眼に焦点を合わせやすくなる。以上から、望遠カメラ３０のフォーカス機構３２とパンチルト機構３３との機構誤差が同時に発生した場合であっても、これらの機構誤差による撮像方向及び焦点のずれを抑えて、自車のドライバの眼に精度よく焦点を合わせやすくすることが可能になる。

他にも、実施形態１の構成によれば、対象距離を逐次推定するので、頻繁に位置が変わるドライバに対して継続的に対象距離を推定することができる。さらに、実施形態１の構成によれば、この対象距離に従って調整部１１３がフォーカス機構３２を動作させる。また、調整部１１３が、望遠カメラ３０でドライバの眼を拡大して撮像するようにパンチルト機構３３を動作させて、望遠カメラ３０の撮像方向の調整を逐次行う。よって、頻繁に位置が変わるドライバの眼を追跡して望遠カメラ３０で撮像することが可能になる。

また、実施形態１の構成によれば、広角カメラ２０の広角画像と望遠カメラ３０の望遠画像との視差をもとに、対象距離を推定するので、対象距離を推定するために広角カメラ２０及び望遠カメラ３０以外に測距装置を新たに備える必要がない。よって、撮像システム１の構成をより簡素化することが可能になる。

（実施形態２）
前述の実施形態では、距離推定部１０９が、広角カメラ２０の広角画像と望遠カメラ３０の望遠画像との視差をもとに対象距離を推定する構成を示したが、必ずしもこれに限らない。例えば、距離推定部１０９は、望遠カメラ３０が例えばＡＦ機能等によって合焦した場合の望遠カメラ３０の撮像素子とフォーカス機構３２のレンズとの距離から対象距離を推定する構成としてもよい。なお、距離推定部１０９は、望遠カメラ３０が合焦していなくても、前述の合焦関連情報のうちの合焦からのズレ量をもとに対象距離を推定する構成としてもよい。

他にも、例えば赤外線測距センサ等の測距装置を広角カメラ２０及び望遠カメラ３０以外に撮像システム１に備えることで、距離推定部１０９がこの測距装置を用いて対象距離を推定する構成としてもよい。

（実施形態３）
前述の実施形態では、パンチルト補正部１１１が、パン用モータの補正量とチルト用モータの補正量とをそれぞれ独立に決定する構成を示したが、必ずしもこれに限らない。例えば、予めチルト用モータの補正量とパン用モータの補正量との相関関係を制御ユニット１０に記憶しておくことで、この相関関係をもとに、チルト用モータの補正量から、パン用モータの補正量を決定する構成としてもよい。これによれば、パン用モータの補正量をより容易に決定することが可能になる。

（実施形態４）
前述の実施形態では、撮像システム１が自動車で用いられる構成を示したが、必ずしもこれに限らない。撮像システム１は種々の車両で用いることが可能であり、例えば、鉄道車両，原動機付自転車等の自動車以外の車両で用いられる構成としてもよい。

なお、本発明は、上述した実施形態及び変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態及び変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 撮像システム、１０ 制御ユニット（眼球追跡装置）、２０ 広角カメラ、３０ 望遠カメラ、３１ 望遠カメラ本体、３２ フォーカス機構、３３ パンチルト機構、４０
広角用照明（照明装置）、５０ 望遠用照明（照明装置）、１０１ 広角画像取得部、１０２ 望遠画像取得部、１０３ 画像処理部、１０４ メモリ、１０５ 視差特定部、１０６ 視線検出部、１０７ 合焦関連情報取得部、１０８ 変動量特定部、１０９ 距離推定部、１１０ 照明制御部、１１１ パンチルト補正部、１１２ 移動関連値特定部、１１３ 調整部、１１４ フォーカス補正部

Claims (11)

1. 車両で用いられ、
   前記車両の運転席にドライバが着座した場合の顔部分を含む範囲を撮像するよう撮像方向を固定した広角カメラ（２０）の撮像画像である広角画像を逐次取得する広角画像取得部（１０１）と、
   前記広角カメラに対する設置間隔が固定されているとともに前記広角カメラよりも画角が狭く、且つ、パンチルト機構（３３）及びフォーカス機構（３２）を有する望遠カメラ（３０）の撮像画像である望遠画像を逐次取得する望遠画像取得部（１０２）と、
   前記広角画像取得部で取得した前記広角画像中の前記ドライバの眼の位置に基づいて、前記望遠カメラで前記ドライバの眼を拡大して撮像するように前記パンチルト機構及び前記フォーカス機構を動作させる調整部（１１３）と、
   前記広角画像取得部で取得した前記広角画像と前記望遠画像取得部で取得した前記望遠画像との視差を逐次特定する視差特定部（１０５）と、
   前記パンチルト機構の機構誤差がないとした場合の前記視差と前記視差特定部で特定した実際の前記視差とのずれをもとに、前記パンチルト機構の機構誤差に応じた前記パンチルト機構の補正量を逐次決定するパンチルト補正部（１１１）とを備え、
   前記調整部は、前記望遠カメラで前記ドライバの眼を拡大して撮像するように前記パンチルト機構及び前記フォーカス機構を動作させる際に、前記パンチルト補正部で逐次決定する補正量に従って前記パンチルト機構を動作させる眼球追跡装置。
2. 請求項１において、
   前記望遠カメラから前記ドライバの眼までの対象距離を逐次推定する距離推定部（１０９）を備え、
   前記調整部は、前記望遠カメラで前記ドライバの眼を拡大して撮像するように前記パンチルト機構及び前記フォーカス機構を動作させる際に、前記距離推定部で逐次推定した前記対象距離に従って前記フォーカス機構を動作させる眼球追跡装置。
3. 請求項２において、
   前記距離推定部は、前記視差特定部で特定した前記視差をもとに、前記望遠カメラから前記ドライバの眼までの対象距離を逐次推定する眼球追跡装置。
4. 請求項２又は３において、
   前記広角画像取得部で逐次取得する前記広角画像の変動量と前記望遠画像取得部で逐次取得する前記望遠画像の変動量とを逐次特定する変動量特定部（１０８）を備え、
   前記距離推定部は、前記変動量特定部で特定した前記広角画像の変動量及び前記望遠画像の変動量のいずれも閾値範囲内であった場合には、前記対象距離の推定を新たに行わず、前回推定した前記対象距離を継続して推定結果とする眼球追跡装置。
5. 請求項２〜４のいずれか１項において、
   前記広角画像取得部で逐次取得する前記広角画像の変動量と前記望遠画像取得部で逐次取得する前記望遠画像の変動量とを逐次特定する変動量特定部（１０８）を備えるものであって、
   前記距離推定部は、前回推定した前記対象距離に従って前記フォーカス機構を動作させて前記望遠カメラが合焦した場合、前記望遠カメラが合焦したその対象距離と、前記変動量特定部で特定する前記広角画像の変動量及び前記望遠画像の変動量とをもとに、次回の前記対象距離を推定する眼球追跡装置。
6. 請求項２〜５のいずれか１項において、
   前記パンチルト補正部で決定した補正量に従って前記パンチルト機構を動作させるとともに、前記距離推定部で推定した対象距離に従って前記フォーカス機構を動作させたにもかかわらず、前記望遠カメラが合焦しなかった場合に、前記望遠カメラを合焦させると推定される前記フォーカス機構の補正量を決定するフォーカス補正部（１１４）を備え、
   前記調整部は、前記望遠カメラで前記ドライバの眼を拡大して撮像するように前記パンチルト機構及び前記フォーカス機構を動作させる際に、前記フォーカス補正部で決定した補正量に従って前記フォーカス機構を動作させる眼球追跡装置。
7. 請求項２〜６のいずれか１項において、
   前記ドライバに向けて光を照射する照明装置（４０，５０）を制御する照明制御部（１１０）を備え、
   前記照明制御部は、前記距離推定部で推定した前記対象距離が短くなるのに応じて、前記照明装置の発光強度を低減させる眼球追跡装置。
8. 請求項１〜７のいずれか１項において、
   前記パンチルト補正部は、少なくとも前記パンチルト機構のパン方向についての機構誤差に応じた補正量を、前記視差特定部で特定した実際の前記視差として、前記視差特定部で逐次特定した複数回分の前記視差を用いて決定する眼球追跡装置。
9. 請求項１〜８のいずれか１項において、
   前記広角画像取得部で逐次取得する前記広角画像から前記ドライバの眼の位置の移動速度及び移動範囲の少なくともいずれかである移動関連値を特定する移動関連値特定部（１１２）を備え、
   前記調整部は、前記移動関連値特定部で特定する前記移動関連値が所定範囲内である場合に限り、前記望遠カメラで前記ドライバの眼を拡大して撮像するように前記パンチルト機構及び前記フォーカス機構を動作させる眼球追跡装置。
10. 請求項１〜９のいずれか１項において、
    前記調整部は、前記広角画像取得部で取得する前記広角画像中の前記ドライバの顔向きに応じて、前記望遠カメラで拡大して撮像する対象とする前記ドライバの眼を切り替える眼球追跡装置。
11. 車両で用いられ、
    前記車両の運転席にドライバが着座した場合の顔部分を含む範囲を撮像するよう撮像方向を固定した広角カメラ（２０）と、
    前記広角カメラに対する位置が固定されているとともに前記広角カメラよりも画角が狭く、且つ、パンチルト機構（３３）及びフォーカス機構（３２）を有する望遠カメラ（３０）と、
    請求項１〜１０のいずれか１項に記載の眼球追跡装置（１０）とを含む撮像システム。

Images