JP2017175199A - 車室内用カメラの目標範囲の設定方法および車室内用カメラ - Google Patents

Abstract

【課題】短時間で目標範囲を設定することができる車室内用カメラの目標範囲の設定技術を提供する。【解決手段】車室内用カメラの目標範囲の設定方法は、画像処理プロセッサを内蔵するカメラによって運転者の顔の部分を含む第１画像を取得する第１画像取得ステップと、照明光が照射された顔の部分を含む第２画像をカメラによって取得する第２画像取得ステップと、第１画像と第２画像とを比較して輝度の差分を取得する差分取得ステップと、差分に基づいてカメラの撮影範囲における顔の部分を特定する特定ステップと、特定した部分に基づいて撮影範囲における顔の部分が存在する目標範囲を設定する設定ステップと、を含む。【選択図】 図９

Description

本発明の実施形態は、居眠り運転や脇見運転をしているか否かを判定するために運転者の顔を撮影する車室内用カメラに関する。

従来、夜間の撮影時には、近赤外線投光器を用いて被写体を照らすとともに長時間露光にして撮影を行い、昼間の撮影時には、近赤外線投光器による投光を行わずに短時間露光にして撮影を行う撮影装置がある（例えば、特許文献１参照）。

特開２００５−２９５３４０号公報

近年、居眠り運転や脇見運転を防止するために、運転者の顔を車室内用カメラで撮影して居眠り運転などをしているか否かを判定し、居眠り運転などをしている場合には、警報音などを発する装置がある。このような装置では、カメラの撮影範囲において顔が存在する範囲（目標範囲）を設定し、この範囲のみを顔認識システムで処理することで、居眠り運転などの判定処理の速度を向上させている。しかしながら、太陽光などに基づく外乱光が、運転者の顔やその周囲の部分を照らしていると、カメラの撮影範囲のいずれの部分が顔の部分であるかの特定が困難になってしまう。特に、運転者が脇見をしたときなど、一時的に顔の部分が特定できなくなったときに、再び顔の部分を特定しようとすると、カメラの撮影範囲の全ての範囲を探索しなければならず、顔が存在する範囲を再設定する処理に時間がかかってしまうという課題がある。

本発明の実施形態はこのような事情を考慮してなされたもので、短時間で目標範囲を設定することができる車室内用カメラの目標範囲の設定技術を提供することを目的とする。

本発明の実施形態に係る車室内用カメラの目標範囲の設定方法は、画像処理プロセッサを内蔵するカメラによって運転者の顔の部分を含む第１画像を取得する第１画像取得ステップと、照明光が照射された前記顔の部分を含む第２画像を前記カメラによって取得する第２画像取得ステップと、前記第１画像と前記第２画像とを比較して輝度の差分を取得する差分取得ステップと、前記差分に基づいて前記カメラの撮影範囲における前記顔の部分を特定する特定ステップと、前記特定した部分に基づいて前記撮影範囲における前記顔の部分が存在する目標範囲を設定する設定ステップと、を含む。

運転者を撮影する車室内用カメラが搭載された自動車を示す図。 車室内用カメラを示す正面図。 車室内用カメラを示す側面図。 車室内用カメラの構成を示すブロック図。 第１画像および第２画像の生成態様を示す説明図。 各種タイミングを示すタイミングチャート。 目標範囲の設定態様を示す説明図。 運転状況判定処理を示すフローチャート。 目標範囲設定処理を示すフローチャート。

以下、本実施形態を添付図面に基づいて説明する。図１の符号１は、本実施形態の車室内用カメラである。この車室内用カメラ１は、自動車２の車室内の運転者Ｄの顔の画像を撮影するために設けられ、画像処理プロセッサを内蔵する。例えば、車室内用カメラ１は、自動車２の車内のダッシュボード３におけるハンドル４のベース５の上面に取り付けられる。この車室内用カメラ１は、レンズ１０（図２参照）が運転者Ｄの方向を向いた状態で取り付けられる。

また、車室内用カメラ１は、自動車２に搭載されたスピーカ（図示略）を制御する音制御部（図示略）にケーブル（図示略）を介して接続される。車室内用カメラ１により撮影した運転者Ｄの顔の画像に基づいて、居眠り運転や脇見運転などをしているか否かを判定し、居眠り運転や脇見運転などをしている場合にスピーカから警告音を報知するようにしている。

なお、本実施形態では、後付けで自動車２に取り付けることができる小型の車室内用カメラ１を例示している。また、車室内用カメラ１を自動車２の一部として組み込んでも良く、自動車２の製造時に車室内用カメラ１が搭載されるものであっても良い。

図２に示すように、車室内用カメラ１は、小型の箱状をなす筐体の正面側に設けられたレンズ１０を備える。このレンズ１０の周囲には、近赤外光照射部１１が設けられている。また、近赤外光照射部１１は、運転者Ｄの顔の部分に特定波長の照明光を照射するための装置であって、レンズ１０の周囲を囲む６個（複数）のＬＥＤランプで構成された装置である。本実施例では、近赤外光照射部１１を用いて近赤外光で構成される照明光が照射可能となっている。例えば、波長が８８０〜９４０ｎｍの範囲の近赤外光の照明光が照射される。なお、本実施形態では、複数のＬＥＤランプで近赤外光照射部１１を構成しているが、高輝度の照明光を照射する１つのＬＥＤランプで近赤外光照射部１１を構成しても良い。

図３に示すように、レンズ１０の光軸Ｌの延長線上には、近赤外光を透過する透過フィルタ１２が設けられる。さらに、透過フィルタ１２の背面側には、静止画像や動画像などの映像を撮影するのに用いられる撮像素子１３が設けられている。なお、撮像素子１３は、ＣＣＤまたはＣＭＯＳイメージセンサなどの可視光や赤外線の波長領域の感度を有する撮像素子１３が用いられている。本実施形態では、透過フィルタ１２を透過した近赤外光が撮像素子１３により受光される。

なお、車室内用カメラ１では、その撮影範囲において顔が存在する目標範囲を設定する。そして、居眠り運転などの判定を行うときには、この目標範囲のみを判定の対象とする。このようにすることで、撮影範囲の全範囲を判定の対象にすることと比較して、少ない情報量で判定を実行することができ、処理負荷が低減されるばかりか、処理速度が向上される。

本実施形態では、車室内用カメラ１により画像を撮影するときに、シングルフレーム式のハイダイナミックレンジ合成（ＨＤＲ：high dynamic range imaging）が可能になっている。なお、ダイナミックレンジとは、撮像素子１３が検知することができる最も明るい部分と暗い部分の範囲のことである。さらに、ハイダイナミックレンジ合成とは、幅広いダイナミックレンジを記録、表示するために開発された画像合成技術のことである。

なお、車室内用カメラ１では、通常方式による撮影とＨＤＲ方式による撮影との２種類の撮影方式を切り換えて行うことができる。本実施形態では、運転者Ｄの居眠り運転などを判定する運転状況判定処理（図８参照）を行うときには、通常方式により撮影した画像を使用する。また、車室内用カメラ１の撮影範囲において運転者Ｄの顔の部分を特定して目標範囲を設定する目標範囲設定処理（図９参照）を行うときには、ＨＤＲ方式により撮影した画像を使用する。なお、運転者Ｄの顔の部分が一時的に車室内用カメラ１の撮影範囲から外れたときや、運転者Ｄが一時的に背後を振り向いたときなど、顔の部分が特定できなくなったときに、目標範囲設定処理を用いて再び顔の部分を特定するようにしている。

また、シングルフレーム式のＨＤＲについて、図５および図６を参照して説明する。撮像素子１３は、光を検出して電荷を発生させるフォトダイオードで構成される光電変換素子が横方向および縦方向に整列されている。そして、横方向に並んだ１列の光電変換素子を１のラインとし、複数のラインが縦方向に並設されている。これらのライン毎に取得した各画素を合成することで画像を生成する。ＨＤＲを用いた撮影では、撮像素子１３で画像を撮影するときに、撮像素子１３の各ラインに応じて異なる露光時間で撮影を行う。

図５に示すように、シングルフレーム式のＨＤＲを用いた撮影では、第１露光時間の撮影（短時間露光）と、この第１露光時間よりも長い第２露光時間（長時間露光）の撮影と、をライン毎に行う。なお、本実施形態では、ＨＤＲを用いた撮影を行うときに、短時間露光を行うラインと長時間露光を行うラインとが縦方向に交互に並設される。そして、短時間露光を行うラインに基づいて取得した各画素を合成することで第１画像を生成する。また、長時間露光を行うラインに基づいて取得した各画素を合成することで第２画像を生成する。

なお、通常方式の撮影では、全てのラインで同一の露光時間で撮影を行うとともに、全てのラインに基づいて取得した各画素を合成することで１の画像を生成する。つまり、シングルフレーム式のＨＤＲを用いた撮影により生成された第１画像および第２画像は、通常方式の撮影により生成された画像と比較して解像度が半減された画像になる。

図６に示すように、シングルフレーム式のＨＤＲを用いた撮影では、１フレームにおいて、短時間露光と長時間露光とが行われる。本実施形態では、１秒間に３０フレームの撮影が可能となっている。つまり、１フレームが３３ミリ秒の撮影態様を例示している。例えば、１フレームにおいて、短時間露光と長時間露光とが同じタイミングで開始される。そして、先に短時間露光が終了し、その後に長時間露光が終了する。つまり、短時間露光と長時間露光の終了タイミングが異なっている。

また、１フレームにおいて短時間露光の終了タイミングＴ１から長時間露光の終了タイミングＴ２までに、近赤外光照射部１１（ＬＥＤランプ）を用いて照明光を照射するＬＥＤ点灯タイミングが設けられる。この照明光の照射は、短時間露光の終了タイミングＴ１以後に開始され、長時間露光の終了タイミングＴ２以前に終了する。つまり、長時間露光の期間には、運転者Ｄの顔の部分が近赤外光照射部１１の照明光により照らされる期間が含まれる。

なお、１フレームの撮影において、運転者Ｄの顔の部分を特定できなかったときは、ＨＤＲを用いた撮影が継続される。また、運転者Ｄの顔の部分を特定できたときは、通常方式の撮影に切り替わる。

本実施形態では、１フレームにおいて、長時間露光の時間が、短時間露光の時間の３倍の長さになっている。なお、運転者Ｄの顔の部分を特定するときには、短時間露光により撮影された第１画像の各画素の輝度を３倍にすることで、長時間露光により撮影された第２画像と同じ露光時間で撮影されたときの輝度に相当する値にする。

次に、車室内用カメラ１の撮影範囲において運転者Ｄの顔の部分を特定するときの画像処理の態様について、図７を参照して説明する。まず、第１画像の各画素の輝度を３倍にし、第２画像と同じ露光時間で撮影されたときの輝度に相当する値にする。この第１画像には、外乱光により輝度が高い部分が存在する。なお、外乱光とは、自動車２の車外から差し込む太陽光などの近赤外光を含む光によって明るく照らされた部分である。また、第１画像の撮影タイミング中には、近赤外光照射部１１（ＬＥＤランプ）を用いた照明光が照射されていないので、運転者Ｄの顔の部分の輝度は低くなっている。

さらに、第２画像にも、外乱光により輝度が高い部分が存在する。また、第２画像の撮影タイミング中には、近赤外光照射部１１（ＬＥＤランプ）を用いた照明光が照射されるので、運転者Ｄの顔の部分の輝度が高くなっている。つまり、第２画像には、照明光の照射により輝度が高くなった部分が存在する。

そして、第１画像の各画素と第２画像の各画素とをそれぞれ比較して近赤外光に対応する輝度の差分を取得し、これら差分に基づいて差分画像を生成する。この差分画像では、第１画像および第２画像の両方で輝度が高い部分や輝度が低い部分、つまり、輝度の差が小さい部分が、輝度が低い状態で再現される。また、第１画像および第２画像の一方で輝度が高い部分や輝度が低い部分、つまり、輝度の差が大きい部分が、輝度が高い状態で再現される。

例えば、外乱光により輝度が高い部分は、第１画像および第２画像の両方に存在するので、この部分は、差分画像において輝度が低い部分となる。これに対して、照明光の照射により輝度が高くなった運転者Ｄの顔の部分は、第２画像にのみ存在するので、この部分は、差分画像において輝度が高い部分となる。

さらに、この差分画像の各画素を所定の閾値で２階調化した２値化画像を生成する。このようにすることで、顔の部分が明確に特定される。このように、輝度の差に基づいて顔の部分の特定ができるので、短時間で運転者Ｄの顔の部分の撮影範囲を特定することができる。そして、特定された顔の部分が含まれる所定領域を目標範囲として設定する。例えば、特定された顔の部分の外接矩形座標（外接四角形）を求めて目標範囲として設定しても良いし、特定された顔の部分を中心とした所定の円形領域を目標範囲として設定しても良い。また、差分画像において輝度が高い部分が複数箇所に存在する場合には、その中で最も大きい領域を顔の部分として特定しても良い。

次に、本実施形態の車室内用カメラ１が実行する運転状況判定処理および目標範囲設定処理について図４、図８および図９を用いて説明する。なお、フローチャートの各ステップの説明にて、例えば「ステップＳ１１」と記載する箇所を「Ｓ１１」と略記する。

図４に示すように、本実施形態の車室内用カメラ１は、撮影の制御を行う撮影制御部２０などの各種処理を行う画像処理プロセッサを含む撮影モジュールを備える。撮影制御部２０は、近赤外光照射部１１や撮像素子１３を制御して画像の撮影を行う。

図８に示すように、車室内用カメラ１が起動されて運転状況判定処理が開始されると、まず、目標範囲設定処理が実行される（Ｓ１１）。この目標範囲設定処理では、車室内用カメラ１の撮影範囲において運転者Ｄの顔の部分を特定して目標範囲を設定する。

図９に示すように、目標範囲設定処理では、まず、撮像素子１３を用いて画像の撮影が開始される（Ｓ２１：撮影ステップ）。この撮影は、シングルフレーム式のＨＤＲを用いた撮影となっている（図５および図６参照）。そして、１フレームの開始時点において、短時間露光の撮影が開始されるとともに、長時間露光の撮影が開始される。

次に、短時間露光の終了タイミングＴ１になると、短時間露光の撮影が終了する（Ｓ２２）。そして、撮像素子１３の短時間露光に対応する各ラインで取得した各画素の検出情報が第１画像生成部２１に転送される。また、この第１画像生成部２１に転送された検出情報に基づいて第１画像が生成される（Ｓ２３：第１画像生成ステップ）。さらに、第１画像生成部２１にて生成された第１画像を第１画像取得部２３が取得し、この第１画像が第１画像記憶部２６に転送され、第１画像記憶部２６に記憶される（Ｓ２４：第１画像取得ステップ）。

次に、近赤外光照射部１１（ＬＥＤランプ）を用いて照明光を照射するＬＥＤ点灯タイミングが開始される。そして、一定時間点灯した後に、ＬＥＤ点灯タイミングが終了する（Ｓ２５：照射ステップ）。このように、１フレームにおいて短時間露光（第１露光時間）の終了後から長時間露光（第２露光時間）の終了前までに特定波長である近赤外光の照明光を照射することで、照明光が照射された顔の部分を含む第２画像を取得することができる。

次に、長時間露光の終了タイミングＴ２になると、長時間露光の撮影が終了する（Ｓ２６）。そして、撮像素子１３の長時間露光に対応する各ラインで取得した各画素の検出情報が第２画像生成部２２に転送される。また、この第２画像生成部２２に転送された検出情報に基づいて第２画像が生成される（Ｓ２７：第２画像生成ステップ）。さらに、第２画像生成部２２にて生成された第２画像を第２画像取得部２４が取得し、この第２画像が第２画像記憶部２７に転送され、第２画像記憶部２７に記憶される（Ｓ２８：第２画像取得ステップ）。

次に、第１画像記憶部２６に記憶された第１画像の輝度が、輝度倍加部２９にて倍加される（Ｓ２９：倍加ステップ）。本実施形態では、第１画像の輝度が３倍される。つまり、第１画像の輝度が、第２画像と同じ露光時間で撮影されたときの輝度に相当する値に倍加される。この輝度が倍加された第１画像と第２画像記憶部２７に記憶された第２画像とが、差分画像取得部３０に転送される。この差分画像取得部３０では、第１画像の各画素と第２画像の各画素とをそれぞれ比較して近赤外光に対応する輝度の差分を取得する。そして、差分画像取得部３０は、これら差分に基づいて画像を生成し、差分画像を取得する（Ｓ３０：差分取得ステップ）。なお、差分画像取得部３０が差分画像を取得したときに、第１画像記憶部２６および第２画像記憶部２７の記憶内容が消去される。

次に、差分画像取得部３０にて取得された差分画像が２値化画像取得部３１に転送される。この２値化画像取得部３１では、差分画像の各画素を所定の閾値で２階調化する。そして、２値化画像取得部３１は、２階調化した各画素に基づいて２値化画像を取得する（Ｓ３１）。

次に、２値化画像取得部３１にて取得された２値化画像が設定用顔部分特定部３２に転送される。この設定用顔部分特定部３２では、２値化画像に基づいて運転者Ｄの顔の部分に相当する範囲が特定できたか否かを判定する（Ｓ３２：特定ステップ）。例えば、２値化画像において輝度が高い部分（白色の部分）の面積が、予め設定された特定の第１閾値よりも大きい場合や、予め設定された特定の第２閾値よりも小さい場合は、顔の部分に相当する範囲が特定できなかったと判定する。また、２値化画像において輝度が高い部分（白色の部分）の面積が、予め設定された特定の第１閾値よりも小さく、かつ第２閾値よりも大きい場合は、顔の部分に相当する範囲が特定できたと判定する。

そして、設定用顔部分特定部３２において、顔の部分に相当する範囲が特定できなかったと判定された場合は、前述したＳ２１に戻る。一方、顔の部分に相当する範囲が特定できたと判定された場合は、目標範囲設定部３３において目標範囲が設定される（Ｓ３３：設定ステップ）。設定された目標範囲は判定用顔部分特定部３４に転送され、運転者Ｄの居眠り運転などを判定するときの判定の対象となる。目標範囲が設定されると、当該目標範囲設定処理を終了し、運転状況判定処理に戻る。

図８に戻り、運転状況判定処理では、通常方式により撮影した第３画像に基づいて、運転者Ｄが居眠り運転などをしているか否かの判定を開始する。まず、第３画像を撮影するときには、近赤外光照射部１１（ＬＥＤランプ）を点灯して運転者Ｄの顔の部分に照明光を照射する（Ｓ１２）。さらに、撮像素子１３を用いて第３画像の撮影を行う（Ｓ１３）。そして、撮影後に、近赤外光照射部１１（ＬＥＤランプ）を消灯する（Ｓ１４）。

次に、撮像素子１３にて撮影された第３画像を第３画像取得部２５が取得し、この第３画像が第３画像記憶部２８に転送され、第３画像記憶部２８に記憶される（Ｓ１５：第３画像取得ステップ）。そして、この第３画像が判定用顔部分特定部３４に転送される。この判定用顔部分特定部３４では、第３画像に含まれる目標範囲の部分に基づいて、運転者Ｄの顔の部分が特定できたか否かを判定する（Ｓ１６）。

ここで、運転者Ｄの顔の部分が特定できなかった場合、例えば、運転者Ｄの顔の部分が一時的に車室内用カメラ１の撮影範囲から外れた場合や、運転者Ｄが一時的に背後を振り向いた場合は、前述した目標範囲設定処理（Ｓ１１）に戻り、再び目標範囲を設定する。一方、運転者Ｄの顔の部分が特定できた場合は、特定した顔の部分の範囲に応じて、目標範囲補正部３５が目標範囲の補正を行う（Ｓ１７）。そして、補正された目標範囲は判定用顔部分特定部３４に転送される。なお、特定した顔の部分の範囲が、既に設定された目標範囲と同一である場合は、目標範囲の補正の処理を省略しても良い。

次に、運転状況判定部３６は、第３画像に含まれる目標範囲の解析を行い、運転者Ｄの運転状況を判定する（Ｓ１８）。そして、運転状況判定部３６は、第３画像に含まれる運転者Ｄの顔の部分に基づいて、居眠り運転や脇見運転などをしているか否かを判定する（Ｓ１９：判定ステップ）。ここで、居眠り運転や脇見運転などをしていない場合は、前述したＳ１２に戻り、前述のステップを繰り返す。一方、居眠り運転や脇見運転などをしている場合は、警告出力部３７が音制御部（図示略）などに警告音を出力する旨の警告信号を出力する（Ｓ２０：出力ステップ）。そして、前述したＳ１２に戻り、前述のステップを繰り返す。なお、警告信号を取得した音制御部（図示略）は、スピーカ（図示略）を用いて警告音を所定時間出力する制御を行う。

また、運転状況判定部３６で判定に使用された第３画像は、第３画像記憶部２８から消去しても良い。なお、運転状況判定部３６で判定に使用された第３画像を消去せずに、撮影時刻に対応付けて保存されるようにしても良い。さらに、居眠り運転や脇見運転などをしていると判定されたときの第３画像のみを保存し、それ以外の第３画像を消去しても良い。

このように、本実施形態では、１フレームの撮影において、運転者Ｄの顔の部分を特定することが可能であるので、短時間で目標範囲を設定することができる。また、１フレームで第１画像と第２画像との撮影が同時に行えるので、短時間で第１画像と第２画像との取得を行うことができる。

また、第１画像の輝度を第２露光時間に相当する値に倍加させることで、第１画像と第２画像とで露光時間が異なっていても、第１画像と第２画像とを比較して輝度の差分を取得する処理を行うことができる。

なお、本実施形態では、通常方式による撮影とＨＤＲ方式による撮影との２種類の撮影方式を切り換えて行うことができるものとしたが、ＨＤＲ方式による撮影のみが可能なカメラを用いても良い。つまり、運転状況判定処理（図８参照）を行うときであっても、ＨＤＲ方式による撮影を行っても良い。

本実施形態をまとめると、ＨＤＲ方式による撮影を行って運転者Ｄの顔の部分を特定するときに以下のような手順となる。
（１）短時間露光の画像の取り込み終了後に一定時間ＬＥＤを投射する。
（２）ＬＥＤ投射によって人の顔の部分は周囲より明るくなる。
（３）長時間露光の画像の取り込みを行う。
（４）短時間露光の画像の輝度を、短時間露光と長時間露光との比であるα倍する。
（５）上記α倍した画像と上記（３）の長時間露光の画像との差分画像を求める。
（６）閾値処理を行い、差分の大きい領域を求め、領域検出を行い、最大のものを顔の領域とする。

また、運転者Ｄが居眠り運転や脇見運転をしているか否かを第３画像の目標範囲に基づいて判定することで、目標範囲のみを用いて判定処理を行えば良いので、居眠り運転や脇見運転の判定処理速度を向上できる。

また、近赤外光照射部１１により運転者Ｄの顔の部分に照射される照明光が近赤外光であることで、近赤外光は人間の目に見えない光であるため、運転者Ｄの顔に近赤外光が照射されても運転の妨げになることがない。

また、本実施形態の車室内用カメラ１の目標範囲の設定方法は、居眠り運転や脇見運転などをしているか否かを判定するために用いられているが、この目標範囲の設定方法を、居眠り運転や脇見運転以外の判定に用いる車室内用カメラ１に適用しても良い。例えば、運転者Ｄの顔を個々に識別可能な運転者認識システムに適用しても良い。

なお、本実施形態では、目標範囲が運転者Ｄの顔の部分となっているが、例えば、運転者Ｄの両目の部分のみを目標範囲として設定しても良い。この目の部分のみを目標範囲とすることで、さらに少ない情報量で判定を実行することができ、処理負荷が低減される。

なお、本実施形態では、居眠り運転や脇見運転をしていると判定したときに所定の警告音の出力を行っているが、警告音以外にも、カーナビゲーションシステムの表示画面に所定の警告表示を行っても良い。また、居眠り運転や脇見運転をしていると判定したときに、その旨を出力して、運転者Ｄの居眠り運転や脇見運転を記録するものであっても良い。

なお、本実施形態では、１秒間に３０フレームの撮影周期を例示しているが、その他の撮影周期で撮影を行っても良い。例えば、１秒間に６０フレームの撮影周期であっても良い。また、本実施形態では、第１画像および第２画像を撮影するときと、第３画像の撮影をするときとで、撮影周期が同一となっているが、第１画像および第２画像を撮影するときと、第３画像の撮影をするときとで、撮影周期が異なるものであっても良い。

なお、本実施形態では、１フレームにおいて、長時間露光の時間が短時間露光の時間の３倍の長さになっているが、長時間露光の時間が短時間露光の時間の３倍に限らず、２倍や４倍や５倍の長さであっても良い。また、長時間露光の時間は、短時間露光の時間の整数倍でなくても良く、第１画像と第２画像の輝度の差を比較するときには、第１画像の各画素の輝度を長時間露光の時間に対応する倍率で倍加すれば良い。

なお、本実施形態では、第３画像の撮影を行うときに近赤外光照射部１１を点灯して運転者Ｄの顔の部分に照明光を照射するようにしているが、照度センサなどを車室内用カメラ１に設けて運転者Ｄの周囲の明るさを検知可能とし、太陽光の照射などによって充分に明るいと判定される場合には、第３画像の撮影を行うときに近赤外光照射部１１を点灯することを省略しても良い。

以上説明した実施形態によれば、第１画像と第２画像とを比較して輝度の差分を取得し、輝度の差に基づいて顔の部分の特定ができるので、短時間で目標範囲を設定することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…車室内用カメラ、２…自動車、３…ダッシュボード、４…ハンドル、５…ベース、１０…レンズ、１１…近赤外光照射部、１２…透過フィルタ、１３…撮像素子、２０…撮影制御部、２１…第１画像生成部、２２…第２画像生成部、２３…第１画像取得部、２４…第２画像取得部、２５…第３画像取得部、２６…第１画像記憶部、２７…第２画像記憶部、２８…第３画像記憶部、２９…輝度倍加部、３０…差分画像取得部、３１…２値化画像取得部、３２…設定用顔部分特定部、３３…目標範囲設定部、３４…判定用顔部分特定部、３５…目標範囲補正部、３６…運転状況判定部、３７…警告出力部。

Claims (7)

1. 画像処理プロセッサを内蔵するカメラによって運転者の顔の部分を含む第１画像を取得する第１画像取得ステップと、
   照明光が照射された前記顔の部分を含む第２画像を前記カメラによって取得する第２画像取得ステップと、
   前記第１画像と前記第２画像とを比較して輝度の差分を取得する差分取得ステップと、
   前記差分に基づいて前記カメラの撮影範囲における前記顔の部分を特定する特定ステップと、
   前記特定した部分に基づいて前記撮影範囲における前記顔の部分が存在する目標範囲を設定する設定ステップと、
   を含む車室内用カメラの目標範囲の設定方法。
2. １フレームにおいて第１露光時間の撮影と前記第１露光時間よりも長い第２露光時間の撮影とを撮像素子のライン毎に行う撮影ステップと、
   前記第１露光時間に対応する各ラインに基づいて前記第１画像を生成する第１画像生成ステップと、
   前記第２露光時間に対応する各ラインに基づいて前記第２画像を生成する第２画像生成ステップと、
   を含む請求項１に記載の車室内用カメラの目標範囲の設定方法。
3. １フレームにおいて前記第１露光時間の終了後から前記第２露光時間の終了前までに前記照明光を照射する照射ステップを含む請求項２に記載の車室内用カメラの目標範囲の設定方法。
4. 前記第１画像の輝度を前記第２露光時間に相当する値に倍加させる倍加ステップを含む請求項２または請求項３に記載の車室内用カメラの目標範囲の設定方法。
5. 前記目標範囲を含む第３画像を取得する第３画像取得ステップと、
   前記運転者が居眠り運転や脇見運転をしているか否かを前記第３画像の前記目標範囲に基づいて判定する判定ステップと、
   を含む請求項１から請求項４のいずれか１項に記載の車室内用カメラの目標範囲の設定方法。
6. 前記照明光は、近赤外光となっている請求項１から請求項５のいずれか１項に記載の車室内用カメラの目標範囲の設定方法。
7. 画像処理プロセッサを内蔵するカメラによって運転者の顔の部分を含む第１画像を取得する第１画像取得部と、
   照明光が照射された前記顔の部分を含む第２画像を前記カメラによって取得する第２画像取得部と、
   前記第１画像と前記第２画像とを比較して輝度の差分を取得する差分取得部と、
   前記差分に基づいて前記カメラの撮影範囲における前記顔の部分を特定する特定部と、
   前記特定した部分に基づいて前記撮影範囲における前記顔の部分が存在する目標範囲を設定する設定部と、
   を備える車室内用カメラ。