JP5040776B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP5040776B2
JP5040776B2 JP2008094300A JP2008094300A JP5040776B2 JP 5040776 B2 JP5040776 B2 JP 5040776B2 JP 2008094300 A JP2008094300 A JP 2008094300A JP 2008094300 A JP2008094300 A JP 2008094300A JP 5040776 B2 JP5040776 B2 JP 5040776B2
Authority
JP
Japan
Prior art keywords
light
intensity
driver
sunlight
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008094300A
Other languages
English (en)
Other versions
JP2009246903A (ja
Inventor
顕 藤本
行洋 松浦
義 浅野
敬彦 吉永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2008094300A priority Critical patent/JP5040776B2/ja
Priority to EP09155327.1A priority patent/EP2107413B1/en
Priority to US12/414,459 priority patent/US8368758B2/en
Publication of JP2009246903A publication Critical patent/JP2009246903A/ja
Application granted granted Critical
Publication of JP5040776B2 publication Critical patent/JP5040776B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像装置に関する。
運転者の顔を撮像し、撮像画像を処理して、種々の運転支援制御を実行するドライバモニタシステムが使用されている。ドライバモニタシステムが運転の支援を適切に行うためには、顔の画像を適切に撮影しなければならない。しかし、顔の撮影環境、特に、露光状態は、天候、季節、走行状態等に応じて、変化し、安定した露光状態を維持するのは困難である。また、車載部品(例えば、サンバイザやピラーなど)の強い陰影が運転者の顔に映り込むことがある。そのため、運転者の顔画像を、可視領域に感度を有するカメラで好適に撮像することが困難であった。
特許文献1は、このような問題を回避するため、LED(Light Emitting Diode)により正面上方及び正面下方から運転者の顔に近赤外光を照射し、運転者の顔に影が生じにくい状態で顔画像を撮像する撮影装置を開示する(特許文献1 段落0038〜0040 参照)。
また、特許文献2は、個人認証に使用する運転者の顔画像をカメラで撮像するときに、運転者に光を照射する近赤外LEDの長寿命化を図るため、近赤外LEDに供給する発光駆動用電流を制御する認証システムを開示する(特許文献2 段落0043〜0047 参照)。
特許文献3は、運転者がルームミラーを介して後方を見たときの後方視野に近赤外LEDを設け、その近赤外LEDで運転者の眼及び目の周辺に近赤外光を照射することにより、運転者の顔画像を好適に撮像する撮影装置を開示する(特許文献3 段落0020〜0024 参照)。
特開2005−271876号公報 特開2005−301742号公報 特開2006−248363号公報
しかし、車両は高速で移動し、外光(太陽光)の照射環境は刻一刻と変化する。また、天候や季節の変化による外光の照射環境も変化する。このため、特許文献1〜3に開示されている手法だけでは、撮像画像に与える外光の変化の影響を抑えることができない。特に、近赤外LEDが好適に配置されていない場合、太陽光の影響を抑えることができない。例えば、撮像時に太陽光などによる陰影が運転者の顔に映り込んでいる場合、良好な顔画像を取得できないおそれがある。また、例えば、太陽光などの高輝度な光が眼鏡などの反射体を着用している運転者の顔に照射された場合、その反射体が運転者に照射された光を反射し、良好な顔画像を取得できないおそれがある。カメラに入射する反射光は、光学的なバンドパスフィルタの挿入により、可視光成分を低減すると共に近赤外光の一部を通過させることで抑制できる。しかし、その効果は必ずしも十分なものとはいえない。
さらに、特許文献1〜3に開示されているような手法では、近赤外LEDを設ける数を定めるための適切な基準がない。そのため、配置する近赤外LEDの数が過剰になり易く、消費電力の増大を招き易い。
本発明は、上記実情に鑑みてなされたものであり、外光による陰影が運転者の顔に形成されている場合でも、良好な顔画像を撮像可能とすることを目的とする。
上記課題を解決するため、本発明の撮像装置は、
運転者の顔を撮影する撮像装置であって、
可視光領域と近赤外領域とに感度を有する撮像素子と、
前記運転者と撮像素子との間に配置され、前記撮像素子に入射する可視光の強度を低減させる光学フィルタと、
前記光学フィルタと同等の低減特性を有する光学フィルタを透過した外光の強度に基づいて定められた所定の強さの近赤外光を、運転者に照射する近赤外光照射手段と、
を備え
前記近赤外光照射手段は、
日光が運転者の顔の近傍で前記フィルタを透過したと仮定した場合の透過後の日光の強さを示すデータを取得するデータ取得手段と、
前記光学フィルタにより可視光を低減された日光の強さを分別するための複数の区分と、該各区分に応じた所定値と、をそれぞれ対応付けて記憶する記憶手段と、
前記データ取得手段で取得したデータが示す強さを含む区分を特定し、特定された区分に対応付けられている所定値を、前記記憶手段から選択する選択手段と、
前記データが示す日光の強さと、前記選択手段で選択された所定値と、を乗じた値を求める演算手段と、
を有し、
前記演算手段で求めた値に等しい強さで、近赤外光を運転者の顔に照射する、
ことを特徴とする。
前記近赤外光照射手段は、例えば、前記近赤外光を放出する発光素子と、前記発光素子を発光させるための発光駆動パルスを供給する発光パルス供給手段と、前記発光パルス供給手段が発光駆動パルスの供給を開始するタイミングと、その供給を終了するタイミングと、を制御するパルス供給タイミング制御手段と、を備え、前記撮像素子の露光開始するタイミングを、前記パルス供給タイミング制御手段が発光駆動パルスの供給を開始するタイミングに一致させ、露光終了タイミングを、前記パルス供給タイミング制御手段が発光駆動パルスの供給を終了するタイミングに一致させる露光制御手段、をさらに備えてもよい。
本発明によれば、近赤外領域と可視領域とに感度を有するカメラで顔画像を撮像するときに、可視光成分を光学フィルタにより低減させつつ、近赤外光を運転者の顔に照射する。これにより、外光による陰影が運転者の形成されている場合でも、撮像時に、外光より近赤外光の比重が増す。そのため、陰影の影響を抑制でき、良好な顔画像を撮像できる。
(実施形態1)
以下、本発明の実施形態1に係る撮像システムTS(撮像装置、撮像用照明装置、プログラム、を含む)を説明する。
図1に示すように、撮像システムTSは、撮像装置10と、測定装置20と、から構成される。撮像装置10は、自動車50に搭載され、運転席に着座した運転者40の顔を撮像できる位置(例えば、インストルメントパネル上部の中央)に配置される。測定装置20は、撮像システムTSを設計する段階で使用されるものであり、車両への実装段階では、使用されないものである。
図1の例では、自動車50が有するサンバイザ502は、太陽30からの日差を除けるため開いた状態にある。自動車50の走行中、運転者40の顔には、太陽光Lsによって生じるピラー501やサンバイザ502などの陰影が映り込む。
測定装置20は、光学フィルタで可視光成分を減衰した後の太陽光Lsの光強度(以下、「太陽光強度Is」という)を測定する。減衰対象の可視光成分の波長は、およそ380〜700nmである。なお、測定装置20は、本実施の形態においては、設計段階で使用される。
撮像装置10は、設計段階で測定装置20が測定した太陽光強度Isに基づいて定めた光強度で、近赤外光Liを運転者40に照射する。そして、運転者40の顔画像を、近赤外域と可視領域とに感度を有するCCD(Charge Coupled Devices)カメラで撮像する。近赤外光Liの波長は、およそ700〜2,500nmである。
次に、撮像装置10の構成について説明する。図2(a)に示すように、撮像装置10は、CCDカメラ100と、CCDカメラ100の前面に配置された撮像用フィルタ103と、CCDカメラ100の左右に設けられた複数の照射部101−n(nは1以上N以下の任意の整数)と、を備える。本実施形態では、照射部101−nの数Nは2であり、撮像装置10は、CCDカメラ100のドライバから見て左に配置された第1照射部101−1と右に配置された第2照射部101−2とを備える。
撮像用フィルタ103は、光学的バンドパスフィルタから構成され、CCDカメラ100に入射させる光の波長特性を調節する。例えば、自己に入射された光のうち可視光成分を減衰する。CCDカメラ100は、近赤外領域と可視領域とに感度を有するカメラであり、被写体の光像(以下、「被写体像」という)を表す画像を撮像する。例えば、撮像用フィルタ103を通過した後の被写体像を表す画像を撮像する。
図2(b)に示すように、運転席に着座した運転者40から撮像装置10を見た場合、各照射部101−1,101−2は、平面にて格子状に配列された複数の発光素子L−m(m:1〜M)をそれぞれ有している。そして、各照射部101−1,101−2は、運転者40に各発光素子L−mの放出光を照射する。発光素子L−mは、近赤外光を放出するものであれば任意である。本実施形態では、各発光素子は近赤外LEDから構成されるものとする。近赤外LEDの総数(以下、「LED総数」という)は、照射部101全体でM個である。
測定装置20は、図3に示すように、測定用フィルタ201と、受光部202と、これらを収容する測定用筐体200と、を備える。測定用フィルタ201は、光学的なバンドパスフィルタで構成され、撮像装置10が有する撮像用フィルタ103と同一の光通過特性を有し、可視光域の光を減衰する。なお、第1実施形態においては、測定装置20は、設計段階で使用され、自動車50には配置されていない。
受光部202は、フォトダイオード、フォトトランジスタなどの受光素子等を備え、測定用フィルタ201を通過した後の光を受光面で受け、受けた光を光電変換し、受光強度に応じた電流信号又は電圧信号を発生する。
次に、撮像装置10が有するCCDカメラ100、測定装置20が有する測定用筐体200、の回路構成を説明する。先ず、CCDカメラ100について説明する。図4に示すように、CCDカメラ100は、LED駆動制御部102、撮像部104、アナログ処理部105、信号処理部106、DAC(Digital to Analogue Converter)107、ドライバ108、制御部109、記憶部110、タイミング制御部111、V(Video)ドライバ112、入力部113、を備える。
LED駆動制御部102は、駆動回路や制御回路などから構成され、図2で示した各照射部101−nに発光駆動用電流を供給したりその供給を停止したりすることで、近赤外LEDの点灯・消灯を制御する。各照射部101−1,101−2が有する近赤外LEDは、供給された発光駆動用電流の値に応じた光強度Ir(以下、「赤外光強度Ir」という)で発光する。また、LED駆動制御部102は、タイミング制御部111からの発光制御信号の指示に従って、近赤外LEDの発光タイミング等を制御する。
撮像部104は、CCD(Charge Coupled Devices)撮像素子等の固体撮像素子や電子シャッタ等を備え、図2で示した撮像用フィルタ103通過後の被写体像をCCD撮像素子の受光平面に結像し、その光量に応じてCCD撮像素子が発生した電荷を光電変換し、被写体像を表すアナログ画像信号(電気信号)を出力する。
CCDカメラ100の絞りは固定であり、撮像部104の露光制御は、制御部109の制御下で電子シャッタスピードVs(CCD撮像素子の電荷蓄積時間tc)を変更し、CCD撮像素子の露光量を調節して行う。
アナログ処理部105は、CDS(相関二重サンプリング)、AGC(Auto Gain Control)、ADC(Analogue to Digital Converter)などで構成される。アナログ処理部105は、撮像部104が出力したアナログ画像信号を、CDSでサンプリング及びノイズ除去し、AGCでその信号の利得を制御し、ADCでディジタル画像信号に変換する。
信号処理部106は、アナログ処理部105が出力したディジタル画像信号に所定のディジタル信号処理を施し、制御部109やDAC107に出力する。例えば、NTSC(National Television System Committee)方式などに従った画像形式への変換処理、ホワイトバランスを調整するAWB(Auto White Balance)処理、などを行う。
DAC107は、信号処理部106が出力したデータ形式のディジタル画像信号を、DA変換する。ドライバ108は、DAC107からの画像信号を、外部の表示装置(図示せず)に出力する。
制御部109は、マイクロプロセッサユニット等から構成され、撮像装置10全体の動作を制御する。例えば、制御部109は、信号処理部106の出力を所望出力レベルに調整する自動露光(AE)制御を行う。自動露光制御機能は、オン又はオフにユーザ設定可能である。
自動露光制御機能がオンの場合、制御部109は、被写体像の輝度などに基づいて、撮像部104の電子シャッタスピ−ドVs、アナログ処理部105が有するAGCの信号利得、をそれぞれ制御する。例えば、被写体像の輝度が低く好適な電子シャッタスピードVsが設定できない場合、CCD撮像素子から出力されるアナログ画像信号のレベルを調整することで信号出力の平均値(積分値)を固定値に収束させ、露光不足による不適正露出を補正する。
記憶部110は、各種のデータを記憶する。例えば、制御部109の制御プログラム、撮像部104で撮像された運転者40の顔画像、などを記憶する。記憶部110は、CCDカメラ100に内蔵されるメモリ、着脱可能な外部メモリのいずれから構成されてもよい。
タイミング制御部111は、タイミングジェネレータなどから構成される。タイミングジェネレータは、タイミング制御回路で生成したクロックに基づいてCCD撮像素子の駆動制御信号を生成し、Vドライバ112を介して、撮像部104に供給する。この駆動制御信号は、例えば、CCD撮像素子の積分開始や終了(露光の開始や終了)のタイミング信号、CCD撮像素子で蓄積した電荷の読出制御信号(転送信号)、等である。CCD撮像素子で蓄積した電荷の転送方式は、インターライン転送(IT)型、フルフレーム転送(FFT)型、など任意でよい。
また、タイミング制御部111は、近赤外LEDの発光タイミングを制御するための発光制御信号を、LED駆動制御部102に供給する。
Vドライバ112は、タイミング制御部111から出力されたタイミング信号に従って、撮像部104のCCD撮像素子にクロックを供給する。
入力部113は、各種のキーやスイッチ等を備え、ユーザからの操作を受け付け、操作信号を制御部109に入力する。例えば、入力部113にはスライドスイッチが設けられており、自動露光制御機能をオン又はオフに設定するために使用される。
次に、測定用筐体200の回路構成について説明する。図5に示すように、測定用筐体200は、測定部203と測定データ出力部204とを備える。
測定部203は、電流−電圧変換器などで構成され、図3で示した受光部202が出力した電流信号を電圧信号に変換し、その電圧レベルを測定する。測定データ出力部204は、ドットマトリクスタイプのLCD(液晶表示)パネルとドライバ回路等で構成され、測定部203で測定した太陽光強度Isを示すデータを、表示パネルに表示する
次に、本発明に特徴的な直射日光対策、眼鏡反射対策を施すため、測定装置20で予め測定した太陽光強度Isに基づいて、撮像装置10の第1照射部101−1、第2照射部101−2が有する近赤外LEDの数、電流値、配置、を定める手法を説明する。
ここに、「直射日光対策」とは、近赤外領域と可視領域とに感度を有するカメラで運転者40の顔画像を撮像するときに、直射日光による陰影の影響を抑制することをいう。
また、「眼鏡反射対策」とは、近赤外領域と可視領域とに感度を有するカメラで運転者40の顔画像を撮像するときに、運転者40が着用する眼鏡や車内ガラス等によって反射された太陽光(以下、「間接光」という)の影響を抑制することをいう。
先ず、測定装置20が太陽光強度Isを測定する動作について説明する。測定装置20の測定用フィルタ201は、自己に入射された太陽光Lsから可視光成分を除去する。続いて、受光部202は、測定用フィルタ201通過後の太陽光Lsを受光面で受光し、その光を光電変換して、測定部203に出力する。
図6に示すように、受光部202から電流信号が入力されると(ステップS11)、測定部203は、その電流信号を電圧信号に変換し、その電圧レベルを測定する。これにより、太陽光強度Isが測定できる(ステップS12)。
測定部203は、太陽光強度Isの測定値を示すデータを、測定データ出力部204に送る。そして、測定データ出力部204が、そのデータを表示パネルに表示する(ステップS13)。
なお、測定装置20により太陽光を測定して得られる太陽光強度Isは、季節に応じて変動する。本願発明の発明者が、2007年4月時点に日本国内で太陽光強度Isを測定した例では、その値はおよそ3,000uW/cmである。
このとき、本願発明の発明者が実験により得た、近赤外光(赤外光強度Ir)の照射により、運転者40の顔画像を撮像するときの直射日光による陰影の影響を抑制するための条件(以下、「直射日光対策条件」という)は、数式1で表される。
(数式1) 近赤外光強度Ir≧太陽光強度Is×2
また、本発明の発明者が実験により得た、近赤外光(赤外光強度Ir)の照射により、運転者40の顔画像を撮像するときの間接光の影響を抑制するための条件(以下、「眼鏡反射対策条件」という)は、以下の数式2で表される。
(数式2) 近赤外光強度Ir≧太陽光強度Is×(1/6)
1つの近赤外LEDが発光したときの赤外光強度が、例えば、焦点距離が60cmの際に、100uW/cmであるものとする。このとき、数式1で示した「直射日光対策条件」を満たすためには、少なくとも60個以上の近赤外LEDが必要である。なお、焦点距離を60cmとしたのは、照射部101から運転席に着座した運転者の顔までの距離にほぼ相当するためである。
また、数式2で示した「眼鏡反射対策条件」を満たすためには、少なくとも5個以上の近赤外LEDが必要である。
すなわち、直射日光対策条件と眼鏡反射対策条件とを共に満たすには、第1照射部101−1及び第2照射部101−2に配置する近赤外LEDの数を合計したLED総数Mを、60個以上にすればよい。
これにより、運転者40の顔を照射するためのLED総数Mを好適に定めることができ、消費電力を抑制することが可能となる。
さらに、各照射部101−1,101−2は、運転者40の顔をほぼ均等な赤外光強度で照射するよう、CCDカメラ100を挟んでほぼ対称(図2の例では、左右対称)に配置される。そのため、各照射部101−1,101−2が有する近赤外LEDの数をそれぞれ(LED総数M/照射部の数N)とする。LED総数Mを60に定めた場合、各照射部101−1,101−2に、それぞれ近赤外LEDを30個ずつ設ける。なお、この手法は、照射部101−nの数Nが3以上の場合にも同様に適用される。
そして、このような手法により構成が定められた照射部101を備える撮像装置10により、運転者40の顔画像を撮像すればよい。すなわち、撮像部104は、第1照射部101−1及び第2照射部101−2により所定の赤外光強度Ir(直射日光対策条件や眼鏡反射対策条件を満たす光強度Ir)で照射された運転者40の1フレーム分の顔画像を撮像し、顔画像を示すアナログ画像信号を出力する。これにより、直射日光によって生じる陰影や間接光の影響を抑制でき、良好な顔画像を撮像することができる。
なお、撮像部104から出力されたアナログ画像信号は、アナログ処理部105により、所定のアナログ信号処理後、ディジタル画像信号に変換される。さらに、このディジタル画像信号は、信号処理部106による所定のディジタル信号処理後、制御部109を介して記憶部110に記憶される。また、ドライバ108は、所定のディジタル信号処理後のディジタル画像信号を、外部の表示装置(図示せず)に出力する。
以上説明したように、実施形態1によれば、測定装置20で測定した太陽光強度Isに基づいて、照射部101の赤外光強度Irが直射日光対策条件を満たすように定められ、かつ、各照射部101−nが配置されている。
これにより、太陽光による陰影が運転者の顔に映り込んでいるときに、近赤外領域と可視領域とに感度を有するカメラで顔画像を撮像する場合でも、直射日光よりも近赤外LEDの放出光が支配的になる。そのため、陰影の影響を抑制でき、良好な顔画像を撮像できる。
実施形態1によれば、測定装置20で測定した太陽光強度Isに基づいて、眼鏡反射対策条件を満たすように照射部101の赤外光強度Irが定められている。
これにより、運転者40が着用する眼鏡等が太陽光を反射しているときに、近赤外領域と可視領域とに感度を有するカメラで顔画像を撮像する場合でも、間接光よりも照射部101からの近赤外光が支配的になる。そのため、間接光の影響を抑制でき、良好な顔画像を撮像できる。
なお、実施形態1では、測定した太陽光強度Isに基づいて、各照射部101−nが有する近赤外LEDの数を決定したが、近赤外LEDの数以外に、近赤外LEDの出力値(電流値)や配置等を決定してもよい。要するに、照射部101−nが照射する赤外光強度Irが、直射日光対策条件および眼鏡反射対策条件を満たすように、各照射部101−nを構成してもよい。
(実施形態2)
次に、「眼鏡反射対策条件」を満たすための他の手法について説明する。実施形態1では、予め測定した太陽光強度Isに基づいて、各照射部101−nが有する近赤外LEDの数、電流値、配置、を定めることにより、眼鏡反射対策を施した。しかし、前述した数式2で示したように、眼鏡反射対策条件では、直射日光対策条件(数式1)に比して赤外光強度Irをあまり大きくせずともよい。
そのため、実施形態2では、近赤外LEDに発光駆動用の電流パルス(以下、「発光駆動パルス」という)を供給し、赤外光強度Irを増大させることで眼鏡反射対策を施し、良好な顔画像を撮像する。発光駆動パルスを照射部101に供給する時間は、タイミング制御部111によりパルス幅変調(PWM;Pulse Width Modulation)を行うことで可能である。また、発光駆動パルスの電流レベルは、数式2の眼鏡反射対策条件を満たす赤外光強度Irが得られるように予め設定されている。なお、以下では、発光駆動パルスの供給により眼鏡反射対策条件を満たす赤外光強度Irで近赤外LEDを発光させる動作を「LEDパルス駆動」という。
LEDパルス駆動中でも、近赤外光が運転者40に照射される時間がフィールド周期Tfに比して非常に短いと、CCD撮像素子の露光量は、太陽光Lsが運転者40に照射したことによる明暗の影響が大きくなる。ここに、フィールド周期Tfとは、露光を行う周期、すなわち、CCD撮像素子による電荷の蓄積を行う周期である。
特に自動露光制御機能がオンの場合、制御部109が、図7(c)に示すフィールド周期Tf(例えば、1/60秒)毎に被写体の輝度を判定し、電子シャッタスピードVs(CCD撮像素子が電荷を蓄積する時間である電荷蓄積時間tc)を自動的に制御する。そのため、眼鏡による反射光は抑制されず、太陽光強度Isよりも大きな赤外光強度Irで運転者40を照射した効果が得られにくい。
この問題を回避するため、LEDパルス駆動により眼鏡反射対策を施す場合、ユーザは、入力部113に設けられたスライドスイッチを操作することで自動露光制御機能をオフにする。そして、この状態で、良好に顔画像を撮像できる電子シャッタスピードVsを設定すればよい。
自動露光制御機能をオフして、電子シャッタスピードVsをフィールド周期Tf(例えば、1/60秒)よりも高速(例えば、1/1,000秒)にした場合、LEDパルス駆動による近赤外光の照射効果が得られ、眼鏡反射による間接光の影響を低減できる。しかし、直射日光が運転者40の顔に照射されていると、いわゆる白飛び(顔画像のハイライト部分が飽和し、その部分のデータが欠落した状態)が生じる。
また、電子シャッタスピードVsをさらに高速(例えば、1/5,000秒)にすると、太陽光Lsが運転者40に照射していない際に、顔画像全体の輝度が低下してしまう。
自動露光制御機能をオフして、電子シャッタスピードVsを任意に設定することにより顔画像を良好に撮像するためには、電子シャッタが露光している間に、太陽光Lsの照射時間よりもLED発光駆動が行われる時間が大きくなるようにすればよい。
このような動作を行うため、実施形態2では、図7(a)及び図7(c)に示すように、CCD撮像素子の電荷蓄積時間tcを、近赤外LEDに発光駆動パルスを供給して発光させるときのLED点灯時間teに一致させる。このLED点灯時間teは、近赤外LEDに発光駆動パルスを供給するパルス供給時間ts(図7(b))と同一であり、パルス供給に起因する発熱により近赤外LEDが破壊されないように設定されている。
なお、図7(b)の例では、発光駆動パルスのパルス供給時間tsとパルス供給周期Tpとの比であるデューティ比Rdは、0.2とする。また、図7(a)のLED点灯周期Teと、図7(b)のパルス供給周期Tpと、図7(c)の電子シャッタのフィールド周期Tfとは、同期しているものとする。
図7(c)の例では、CCDカメラ100の電子シャッタは、フィールド周期Tf=1/60秒(約16.7ミリ秒)で動作する。LED点灯周期Teとフィールド周期Tfとは同期しているから、パルス供給時間tsは、フィールド周期Tfにデューティ比Rdを乗じた値と同一である。
すなわち、電荷蓄積時間tc(電子シャッタのシャッタスピードVs)とLED点灯時間te(=パルス供給時間ts)とを一致させるためには、電荷蓄積時間tcを、フィールド周期Tfにデューティ比Rdを乗じた値に設定すればよい。図7(c)の例では、フィールド周期Tfが1/60秒、デューティ比Rdが0.2であるから、電子シャッタスピードVsを1/300秒(=1/60×0.2)に設定する。
なお、電子シャッタスピードVsは、発光駆動パルスのデューティ比Rdとフィールド周期Tfとの乗算値以下に設定してもよい。しかし、電子シャッタスピードVsをLED点灯時間teよりも非常に高速(例えば、1/1,000秒、1/5,000秒)にすると、前述した顔画像の白飛びや輝度低下が生じるおそれがある。このため、電子シャッタスピードVsは、好適に設定する必要がある。
次に、このような電子シャッタの動作制御下で、実施形態2の撮像装置10が眼鏡を着用している運転者40の顔画像を撮像する動作について説明する。運転者40が眼鏡を着用している場合、図8に示すように、撮像装置10のユーザは、入力部113を操作し、自動露光制御機能をオフに設定する(ステップS21)。
設定後、制御部109は、図7(b)で示したパルス供給時間tsをパルス供給周期Tpで除算し、発光駆動パルスのデューティ比Rdを求める。続いて、求めたデューティ比Rdと、電子シャッタのフィールド周期Tfと、を乗算する(ステップS22)。そして、乗算して得られた値に等しい電荷蓄積時間tcでCCD撮像素子を動作させるよう、タイミング制御部111に指示する。
タイミング制御部111は、パルス供給周期Tpと同期したフィールド周期Tfごとに、電荷蓄積時間tcでCCD撮像素子を動作させる(ステップS23)。また、タイミング制御部111は、パルス供給周期Tpで照射部101に発光駆動パルスを供給する。照射部101は、パルス供給時間tsの間、眼鏡反射対策条件を満たす赤外光強度Irの近赤外光を放出する。
撮像部104は、第1照射部101−1及び第2照射部101−2により所定の赤外光強度Irで照射された運転者40の1フレーム分の顔画像を撮像する(ステップS24)。そして、処理を終える。
以上説明したように、実施形態2によれば、電子シャッタが露光するときに、近赤外LEDが被写体を照射する時間(LED点灯時間te)が、太陽光Lsによる被写体の照射時間以上となる。
これにより、眼鏡反射対策条件を満たすように近赤外LEDをパルス発光した効果が得られ、良好な顔画像を撮像できる。
(変形例)
本発明は、上述した実施形態に限定されず、種々の変形及び応用が可能である。また、上述した実施形態や変形例を自由に組み合わせることも可能である。自動露光制御機能のオン又はオフの切替は、ユーザが入力部113を操作して設定する手法に限られない。例えば、制御部109が、撮像画像を解析し、パターンマッチングにより眼鏡と類似する画像の有無を判別して、撮像画像内の人物の眼鏡着用の有無を自動判別する。そして、有ると判別したときに、自動露光制御機能をオフにしてもよい。
(実施形態3)
前述した実施形態1、2では、設計段階で、測定装置20で測定した太陽光強度Isに基づいて、近赤外LEDの数、電流値、配置、が定められた各照射部101−nを使用して、直射日光対策や眼鏡反射対策を施した。
実施形態3では、自動車50に測定装置20を搭載し、撮像装置10が、測定装置20で測定した太陽光強度Isを取得し、太陽光強度Isの値に基づいて、直射日光対策や眼鏡反射対策を行うよう(数式1や数式2の条件を満たすよう)、第1及び第2照射部101−1,101−2の発光動作を制御する。
先ず、実施形態3の撮像システムTSの構成を説明する。実施形態3の撮像システムTSのシステム構成は、図1で示した構成と同一であり、実施形態3の測定装置20の基本構成は図3の例と同一であり、実施形態3の測定用筐体200の回路構成は図5の例と同一である。ただし、測定装置20は、車両に設置されている。
実施形態3の撮像装置10の基本構成は、図2の例と同一である。実施形態3のCCDカメラ100の回路構成は、図4で示した例と基本的に同一である。ただし、実施形態3のCCDカメラ100では、記憶部110は、実施形態3に特徴的な撮像動作を行うための設定情報を記憶する。より具体的には、記憶部110には、図9(a)に示すような直射日光対策情報1101と、図9(b)に示す眼鏡反射対策情報1102とが格納される。
直射日光対策情報1101は、太陽光強度によって分別した複数の光強度区分RKm(mは1以上の任意の整数)と、各光強度区分RKmにおいて直射日光対策条件を満たす赤外線強度Irを求めるための値(以下、「直射日光対策係数KDm」という)と、をそれぞれ対応付ける。制御部109は、入力部113で取得したデータが示す太陽光強度Isを、直射日光対策情報1101に登録された各光強度区分RKmのいずれかに分別する。そして、その光強度区分RKmに対応する直射日光対策係数KDmを太陽光強度Isに乗じて、直射日光対策条件を満たす赤外線強度Irを求める。
眼鏡反射対策情報1102は、太陽光強度Isによって分別した複数の光強度区分RKm(mは1以上の任意の整数)と、各光強度区分RKmにおいて眼鏡反射対策条件を満たす赤外線強度Irを求めるための値(以下、「眼鏡反射対策係数KGm」という)と、をそれぞれ対応付ける。
次に、撮像装置10が、測定装置20で測定した太陽光強度Isを示すデータを取得し、照射部101の赤外光強度Irを制御し、顔画像を撮像する動作について説明する。
なお、実施形態3において、測定装置20が太陽光強度Isを測定する処理は、図6で示した例と同一である。但し、測定値を表示する等の処理は不要である。
先ず、直射日光対策時の動作を説明する。図10に示すように、撮像装置10の制御部109は、入力部113を介して、測定装置20が出力した太陽光強度Isの測定値を示すデータを取得する(ステップS31)。
さらに、制御部109は、図9(a)の直射日光対策情報1101を参照し、ステップS31で取得したデータが示す太陽光強度Isの測定値を、複数の光強度区分RKmのいずれかに分別する。そして、分別された光強度区分RKmに対応する直射日光対策係数KDmを選択する(ステップS32)。例えば、太陽光強度Isが3,000uW/cmの場合、図9(a)の例では光強度区分RKmは2,800〜3,099であり、制御部109は、その光強度区分RKmに対応する直射日光対策係数KDm(=2)を選択する。
制御部109は、選択した直射日光対策係数KDmと、ステップS31で取得した太陽光強度Isと、を乗算する。そして、照射部101の赤外光強度Irが乗算して得られた値となるように、近赤外LEDを発光させる(ステップS33)。具体的には、制御部109は、LED駆動制御部102を介して、各照射部101−1,101−2に供給する発光駆動用電流を変更する。
そして、撮像部104は、第1照射部101−1及び第2照射部101−2の近赤外LEDにより所定の赤外光強度Irで照射された運転者の1フレーム分の顔画像を撮像する(ステップS34)。そして、処理を終える。
眼鏡反射対策を行う場合には、図10のフローにおいて、ステップS32〜S33の処理に代えて、図11に示すステップV11〜V13の処理を実行すればよい。すなわち、太陽光強度Isを示すデータの取得後、制御部109は、図11に示すように、運転者が眼鏡を着用しているか否かを判別する(ステップV11)。例えば、撮像画像を解析し、パターンマッチングにより眼鏡と類似する画像の有無を判別することで、撮像画像内の人物による眼鏡着用の有無を判別する。着用していなければ(ステップV11;No)、処理は図10にリターンし、ステップS34の処理により運転者40の顔画像を撮像する。
眼鏡を着用していれば(ステップV11;Yes)、制御部109は、図9(b)の眼鏡反射対策情報1102を参照し、太陽光強度Isを光強度区分RKmに分別する。続いて、その光強度区分RKmに対応する眼鏡反射対策係数KGmを読み出し(ステップV12)、太陽光強度Isに乗算する。そして、赤外光強度Irが、乗算して得られた値になるよう、各照射部101−1,101−2に供給される発光駆動用電流を制御する(ステップV13)。その後、処理は図10にリターンし、運転者40の顔画像を撮像する(ステップS34)。そして、処理を終える。
以上説明したように、実施形態3によれば、測定装置20で測定した太陽光強度Isに応じて直射日光対策係数KDmを選択し、その直射日光対策係数KDmに基づいて、照射部101の赤外光強度Irを変更する。
これにより、太陽光による陰影が運転者の顔に映り込んでいる場合でも、撮像時の陰影の影響を動的に抑制でき、良好な顔画像を撮像できる。
また、直射日光対策計数KDmは、測定した太陽光強度の区分毎に、最適な値が設定されているため、実施形態1と比べて、より直射日光による陰影の影響を抑制することができる。
実施形態3によれば、運転者の眼鏡着用の有無を判別し、有れば、測定装置20で測定した太陽光強度Isに対応する眼鏡反射対策係数KGmを自動的に選択する。そして、その眼鏡反射対策係数KGmに基づいて、照射部101の赤外光強度Irを変更する。
これにより、運転者40の眼鏡等により反射された間接光が撮像部104に入射しても、その影響を動的に抑制でき、良好な顔画像を撮像できる。
また、眼鏡反射対策計数KGmは、測定した太陽光強度の区分毎に、最適な値が設定されているため、実施形態1と比べて、より間接光の影響を抑制することができる。
なお、測定装置20の測定データ出力部204は、表示パネルを有する表示装置に限らず、ネットワークインターフェースを有する通信装置で構成してもよい。そして、太陽光強度Isの測定値を示すデータを、ネットワークを通じて、撮像装置10に送信してもよい。このとき、撮像装置10にも、測定装置20と通信するためのインターフェースを設ける。図1で示したように測定装置20を車載しない場合、通信方式として、例えば、無線基地局を介して通信する方式を選択すればよい。
また、図10及び図11のフローを組み合わせ、眼鏡反射対策の要否を判別した後に、直射日光対策条件を満たすよう照射部101を制御してもよい。この場合、例えば、図11のステップV11において運転者40の眼鏡着用の有無を判別し、無ければ、図10のステップS32にリターンし、直射日光対策係数KDmを選択すればよい。
(実施形態3の応用例1)
以下、実施形態3の応用例1を説明する。この応用例の撮像装置の構成を、図12に示す。図示するように、本応用例では、照度測定装置20が、ドライバ40の近傍に配置されている。照度測定装置221は、ドライバ40の近傍に配置され(望ましくは、ドライバ40とフロントガラス又はドアガラスの間)に配置されており、可視光域の光の強度(照度)を測定し、測定値Ivを出力する。
また、照射部101−1,101−2は、それぞれ、必要とされる発光量の最大量を発光できる容量を有する。
図4示すLED駆動制御部102は、図13に示すように、コントローラ102aとメモリ102bを備えている。メモリ102bは、図14に示す発光制御テーブル211を格納する。発光制御テーブル211は、照度測定装置221により検出された可視光の照度Ivと、その照度Ivの環境における、照射部101−1,101−2の発光条件を対応付けて記憶する。
図14の例では、発光制御テーブル211は、可視光の照度(強度)Ivと、点灯するLEDの番号と、点灯時間(通電時間)Tと、各LEDに流す電流の値Iとを対応付ける。発光制御テーブル211は、例えば、設計段階で、様々な外部環境下で、発光するLED、点灯時間、電流値等のパラメータを変更してCCDカメラ100で撮像画像を得て、撮像画像を評価し、サンバイザの強い陰等が写り込まない(又は写り込みが少ない)ように選択された値である。
LED駆動制御部102のコントローラ102aには、図13に示すように、照度測定装置221の測定値Ivが供給されている。コントローラ102aは、測定値Ivに応答して、測定された可視光の強度Ivに基づいて、発光制御テーブル211から点灯すべき(電流を流すべき)LEDの識別情報(No)と点灯時間(通電時間)Tと電流値Iを読み出し、読み出した情報に従って、照射部101−1,101−2のLEDのオン・オフ(電流の供給)を制御する。
次に、上記構成の撮像装置の動作を説明する。
太陽光等を含む外光がドライバに照射し、反射光の一部が撮影用フィルタ103によって減衰され、CCDカメラ100に入射する。
照度測定装置20は、ドライバ40の近傍に到達する可視光の強度IVを測定し、測定値を示す信号をLED駆動制御部102のコントローラ102aに供給する。
LED駆動制御部102のコントローラ102aは、周期的にメモリ102bをアクセスし、発光制御テーブル211を参照し、測定値Ivに対応する情報を読み出す。
LED駆動制御部102は、タイミング制御部111から発光制御信号が供給されると、読み出した情報により指定されるNoのLEDに、指定された値Iの駆動電流を指定された時間Tだけ供給し、各LEDを点灯する。照射部101−1,101−2で照射された近赤外光も、ドライバ40に照射され、ドライバ40で反射した近赤外光の一部が撮影用フィルタ103を通過してCCDカメラ100に入射する。ただし、撮影用フィルタ103での減数は小さい。
このとき、CCDカメラ100に入射する光は、太陽光等などの外光(主に可視光)であって、撮影用フィルタ103で減衰されたものと、照射部101−1,101−2から放射されドライバ40で反射し撮影用フィルタ103でわずかに減衰したものとなる。
CCDカメラ100の入射光のうち、可視光の強度と、赤外光の強度とは、数式(1)、(2)を満たすように、即ち、CCDカメラ100に入射する可視光(太陽光)と照射部101−1,101−2からの近赤外光との比が適当な値の範囲となるように、発光制御テーブル211は設定されている。
ドライブの途中で外部環境が変化し、外光の状態が変化すると、照度測定装置221の検出値Ivも変化する。
このため、発光制御テーブル211の参照エントリが測定値に対応するものに順次変化し、照射部101−1,101−2上の発光するLEDの数と位置、点灯時間、発光強度も変化する。
例えば、外光(太陽光)がより強くなれば、発光するLEDの数が増加し(又は1個当たりの発光量が減少し)、CCDカメラ100に入射する近赤外光の量も多くなって、影などの無い適切な画像が得られる。
一方、外光が弱くなれば、発光するLEDの数が減少し(又は1個当たりの発光量が減少し)、CCDカメラ100に入射する近赤外光の量も減少するが、影の無い適切な画像が得られる。ただし、発光量は所定の基準レベル以下にはならないように、発光制御テーブル211が設計されている。これは、夜等、外光が0になった場合でも、撮影を可能とするためである。
このような構成によれば、外部環境の変化に関わらず、適切な画像、即ち、外光(太陽光)等による影などの写り込んでいない(又は少ない)画像が得られる。これにより、この画像を用いた処理が適切に行われる。
(実施形態3の応用例2)
上記実施の形態においては、外光の光量をモニタするために、ドライバ40の近傍に照度測定装置221配置したが、他の構成も可能である。
例えば、図15に示すように、撮影用フィルタ103の背後に照度測定装置221を配置してもよい。
この照度測定装置221は、撮影用フィルタ103を通過した可視光の強度と近赤外光の強度とを独立して測定し、図16に示すように、各測定値をLED駆動制御部102に供給する。
LED駆動制御部102は、例えば、測定された可視光の強度と近赤外光の強度とが、数式(1)、(2)を満たすように、照射部101−1,101−2を制御する。
例えば、可視光強度と近赤外光の強度の比が基準レベル未満と判別した場合、LED駆動制御部102は、例えば、照射装置101−1,1−1−2を、発光量が増加するように制御する。逆に、可視光強度と近赤外光の強度の比が基準レベル以上と判別した場合、LED駆動制御部102は、例えば、照射装置101−1,1−1−2を、発光量が減少するように制御する。
例えば、基準レベルに満たない場合には、1)点灯するLEDをn(自然数)だけ増加する、2)点灯時間の延長が可能な場合、点灯時間をΔtだけ長くし、或いは、3)駆動電流をΔI増加する。一方、基準レベルを越えている場合に、1)点灯するLEDをn個減少し、2)点灯時間の短縮が可能な場合には、点灯時間をΔt短縮し、3)駆動電流をΔI減少する。
LED駆動制御部102は、例えば、周期的に、上述の設定制御を行って、発光制御信号を受信するたびに、設定に従って、照射部101−1,101−2を駆動する。
これにより、外光環境が急激に変化しても、数サイクルで、環境の変化に対応できる。
また、基準レベルとなる比率と実際の比率との差Eを求め、Eの量に応じて、比例制御、比例積分制御、比例積分微分制御で、発光量を変化させるようにしてもよい。また、照度測定装置221を、撮影用フィルタ103の背後に配置したが、ドライバ40からの反射光が、CCDカメラ100と同様の入射光特性が得られる他の場所に配置してもよい。但し、前面に撮像用フィルタ103と同様の光学フィルタを配置する必要がある。
また、図12の構成例において、照度測定装置221を撮影用フィルタ103の背後に配置するようしてもよい。この場合、照度測定装置221専用のフィルタは不要である。また、ドライバ40で反射された可視光の強度を測定することになるので、発光制御テーブル211を、それに合わせて設計する。
その他、本発明は、専用のコンピュータシステムに限らず、例えば、カメラ機能を備える、携帯電話機、PDA、等の任意の電子機器に適用可能である。即ち、コンピュータを撮像装置10として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、撮像装置10として、これを使用、譲渡、貸与などしてもよい。
本発明の撮像システムの全体構成を示すブロック図である。 (a)は、上方から見たときの撮像装置の外観を示す図である。(b)は、正面から見たときの撮像装置の外観を示す図である。 上方から見たときの、測定装置の外観を示す図である。 撮像装置が有するCCDカメラの回路構成を示す図である。 測定装置が有する測定用筐体の回路構成を示す図である。 測定装置が有する測定用筐体による太陽光強度の測定処理を示すフローチャートである。 (a)は、照射部の発光動作の一例を示すタイミングチャートである。(b)は、照射部に発光駆動パルスを供給する動作の一例を示すタイミングチャートである。(c)は、撮像部の撮像動作の一例を示すタイミングチャートである。 実施形態2の撮像装置による、赤外LED及びCCD撮像素子の動作を制御する処理を示すフローチャートである。 (a)は、直射日光対策情報のデータ構造の一例を示す図である。(b)は、眼鏡反射対策情報のデータ構造の一例を示す図である。 実施形態3の撮像装置により直射日光対策を行うときの、発光動作制御及び撮像処理を示す第1のフローチャートである。 実施形態3の撮像装置により眼鏡反射対策を行うときの、発光動作制御及び撮像処理を示す第2のフローチャートである。 撮像装置の応用例を示す図である。 LED駆動制御部と照度測定装置との関係を示す図である。 発光制御テーブルの構成例を示す図である。 撮像装置の応用例を示す図である。 LED駆動制御部と照度測定装置との関係を示す図である。
符号の説明
TS 撮像システム
10 撮像装置
20 測定装置
30 太陽
40 運転者
50 自動車
100 CCDカメラ(撮像素子)
101−1,101−2 照射部(近赤外光照射手段)
102 LED駆動制御部
103 撮像用フィルタ(光学フィルタ)
104 撮像部
105 アナログ処理部
106 信号処理部
107 DAC
108 ドライバ
109 制御部
110 記憶部
111 タイミング制御部
112 垂直ドライバ
113 入力部
1101 直射日光対策情報
1102 眼鏡反射対策情報
200 測定用筐体
201 測定用フィルタ
202 受光部
203 測定部
204 測定データ出力部
501 Aピラー
502 サンバイザ

Claims (2)

  1. 運転者の顔を撮影する撮像装置であって、
    可視光領域と近赤外領域とに感度を有する撮像素子と、
    前記運転者と撮像素子との間に配置され、前記撮像素子に入射する可視光の強度を低減させる光学フィルタと、
    前記光学フィルタと同等の低減特性を有する光学フィルタを透過した外光の強度に基づいて定められた所定の強さの近赤外光を、運転者に照射する近赤外光照射手段と、
    を備え
    前記近赤外光照射手段は、
    日光が運転者の顔の近傍で前記フィルタを透過したと仮定した場合の透過後の日光の強さを示すデータを取得するデータ取得手段と、
    前記光学フィルタにより可視光を低減された日光の強さを分別するための複数の区分と、該各区分に応じた所定値と、をそれぞれ対応付けて記憶する記憶手段と、
    前記データ取得手段で取得したデータが示す強さを含む区分を特定し、特定された区分に対応付けられている所定値を、前記記憶手段から選択する選択手段と、
    前記データが示す日光の強さと、前記選択手段で選択された所定値と、を乗じた値を求める演算手段と、を有し、
    前記演算手段で求めた値に等しい強さで、近赤外光を運転者の顔に照射する、
    ことを特徴とする撮像装置。
  2. 前記近赤外光照射手段は、
    前記近赤外光を放出する発光素子と、
    前記発光素子を発光させるための発光駆動パルスを供給する発光パルス供給手段と、
    前記発光パルス供給手段が発光駆動パルスの供給を開始するタイミングと、その供給を終了するタイミングと、を制御するパルス供給タイミング制御手段と、を備え、
    前記撮像素子の露光開始するタイミングを、前記パルス供給タイミング制御手段が発光駆動パルスの供給を開始するタイミングに一致させ、露光終了タイミングを、前記パルス供給タイミング制御手段が発光駆動パルスの供給を終了するタイミングに一致させる露光制御手段、をさらに備える、
    ことを特徴とする請求項1に記載の撮像装置。
JP2008094300A 2008-03-31 2008-03-31 撮像装置 Expired - Fee Related JP5040776B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008094300A JP5040776B2 (ja) 2008-03-31 2008-03-31 撮像装置
EP09155327.1A EP2107413B1 (en) 2008-03-31 2009-03-17 Imaging apparatus and lighting apparatus for imaging
US12/414,459 US8368758B2 (en) 2008-03-31 2009-03-30 Imaging apparatus and lighting apparatus for imaging

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008094300A JP5040776B2 (ja) 2008-03-31 2008-03-31 撮像装置

Publications (2)

Publication Number Publication Date
JP2009246903A JP2009246903A (ja) 2009-10-22
JP5040776B2 true JP5040776B2 (ja) 2012-10-03

Family

ID=40636677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008094300A Expired - Fee Related JP5040776B2 (ja) 2008-03-31 2008-03-31 撮像装置

Country Status (3)

Country Link
US (1) US8368758B2 (ja)
EP (1) EP2107413B1 (ja)
JP (1) JP5040776B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375973B (zh) * 2010-08-24 2013-04-03 汉王科技股份有限公司 人脸识别方法和***及红外背光补偿方法和***
EP3588939B1 (en) 2010-10-31 2023-10-18 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (das) using near infra red (nir) illumination and a rolling shutter
US10079979B2 (en) 2011-05-13 2018-09-18 Valeo Schalter Und Sensoren Gmbh Camera arrangement for a vehicle and method for calibrating a camera and for operating a camera arrangement
JP5366028B2 (ja) 2011-08-25 2013-12-11 株式会社デンソー 顔画像撮像装置
JP5761074B2 (ja) 2012-02-24 2015-08-12 株式会社デンソー 撮像制御装置及びプログラム
JP5867355B2 (ja) * 2012-10-02 2016-02-24 株式会社デンソー 状態監視装置及び状態監視プログラム
US9128354B2 (en) * 2012-11-29 2015-09-08 Bendix Commercial Vehicle Systems Llc Driver view adapter for forward looking camera
WO2014143276A2 (en) 2012-12-31 2014-09-18 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for natural gas leak detection, exploration, and other active remote sensing applications
EP3184038B1 (en) 2012-12-31 2019-02-20 Omni MedSci, Inc. Mouth guard with short-wave infrared super-continuum lasers for early detection of dental caries
WO2014105520A1 (en) 2012-12-31 2014-07-03 Omni Medsci, Inc. Near-infrared lasers for non-invasive monitoring of glucose, ketones, hba1c, and other blood constituents
US10660526B2 (en) 2012-12-31 2020-05-26 Omni Medsci, Inc. Near-infrared time-of-flight imaging using laser diodes with Bragg reflectors
US9164032B2 (en) * 2012-12-31 2015-10-20 Omni Medsci, Inc. Short-wave infrared super-continuum lasers for detecting counterfeit or illicit drugs and pharmaceutical process control
JP2014230179A (ja) 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
EP3226554B1 (en) * 2014-11-27 2019-07-17 Kyocera Corporation Imaging device and vehicle
JP6811563B2 (ja) * 2015-11-27 2021-01-13 矢崎エナジーシステム株式会社 車両用撮影装置、及び、車両用撮影システム
US11979340B2 (en) 2017-02-12 2024-05-07 Mellanox Technologies, Ltd. Direct data placement
US11190462B2 (en) 2017-02-12 2021-11-30 Mellanox Technologies, Ltd. Direct packet placement
JP7045639B2 (ja) 2017-02-28 2022-04-01 パナソニックIpマネジメント株式会社 作業適正度判定システム
US10984640B2 (en) * 2017-04-20 2021-04-20 Amazon Technologies, Inc. Automatic adjusting of day-night sensitivity for motion detection in audio/video recording and communication devices
US11252464B2 (en) * 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3119031B2 (ja) * 1993-05-10 2000-12-18 三菱電機株式会社 撮影装置
US5739847A (en) * 1995-03-20 1998-04-14 Northrop Grumman Corporation Varied intensity and/or infrared auxiliary illumination of surveillance area
FR2775534B1 (fr) * 1998-02-27 2000-09-15 D Aviat Latecoere Soc Ind Dispositif de surveillance d'une enceinte, notamment de la soute d'un avion
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US6642955B1 (en) * 2000-01-10 2003-11-04 Extreme Cctv Inc. Surveillance camera system with infrared and visible light bandpass control circuit
JP2002084451A (ja) * 2000-09-11 2002-03-22 Minolta Co Ltd デジタル撮像装置、画像処理システム、記録媒体、およびデジタル撮像方法
JP2004129124A (ja) * 2002-10-07 2004-04-22 Nikon Corp 撮影装置
US20070052805A1 (en) * 2002-10-17 2007-03-08 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Interior mirror
JP4269998B2 (ja) 2004-03-26 2009-05-27 株式会社デンソー 撮影装置
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
AT501371B1 (de) * 2004-06-03 2007-03-15 X Pin Com Gmbh Verfahren und vorrichtung zur biometrischen bildaufnahme
US7499090B2 (en) * 2005-01-27 2009-03-03 Datalogic Scanning, Inc. Rolling-reset imager with optical filter
JP2006248363A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者照明装置、運転者撮影装置および運転者監視装置
US7295771B2 (en) * 2005-04-25 2007-11-13 Delphi Technologies, Inc. Method and apparatus for minimizing ambient illumination effects in a vision system

Also Published As

Publication number Publication date
US20090244288A1 (en) 2009-10-01
JP2009246903A (ja) 2009-10-22
EP2107413B1 (en) 2013-06-05
EP2107413A1 (en) 2009-10-07
US8368758B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
JP5040776B2 (ja) 撮像装置
JP5485004B2 (ja) 撮像装置
JP5867355B2 (ja) 状態監視装置及び状態監視プログラム
KR101407849B1 (ko) 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치
US20160198103A1 (en) Imaging device, imaging system, and imaging method
CN102752513B (zh) 照相机以及照相机的控制方法
WO2015198300A1 (en) Gated sensor based imaging system with minimized delay time between sensor exposures
US20050270413A1 (en) Adjustment of illumination light quantity for moving picture in moving picture image pickup device
CN102472950B (zh) 摄像装置以及搭载了该摄像装置的便携式电话机
KR20090117586A (ko) 적외선 발광다이오드를 이용한 카메라 및 적외선 발광다이오드 제어 방법
CN106575349A (zh) 控制成像读取器的目标照明的***及方法
KR101009366B1 (ko) 동화상 카메라
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
JP4652105B2 (ja) 撮像素子を使用する監視カメラを用いる監視システム
JP2012248992A (ja) デジタルカメラ
KR101971535B1 (ko) 이미지 촬영 장치에서 자동 초점 조절 장치 및 방법
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
TW201741756A (zh) 攝影裝置及影像管理系統
JP2004186721A (ja) カメラ
TWI629552B (zh) 攝影裝置及影像管理系統
JP4962132B2 (ja) 撮像装置
TW201639351A (zh) 攝影裝置
JP2023122939A (ja) 撮像装置及び撮像方法
KR101695243B1 (ko) 보조광 제어 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120625

R151 Written notification of patent or utility model registration

Ref document number: 5040776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees