JP6322723B2 - 撮像装置および車両 - Google Patents

撮像装置および車両 Download PDF

Info

Publication number
JP6322723B2
JP6322723B2 JP2016561257A JP2016561257A JP6322723B2 JP 6322723 B2 JP6322723 B2 JP 6322723B2 JP 2016561257 A JP2016561257 A JP 2016561257A JP 2016561257 A JP2016561257 A JP 2016561257A JP 6322723 B2 JP6322723 B2 JP 6322723B2
Authority
JP
Japan
Prior art keywords
image
specific
filter
processing unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016561257A
Other languages
English (en)
Other versions
JPWO2016084385A1 (ja
Inventor
佐藤　博之
博之 佐藤
英敏 梅田
英敏 梅田
圭俊 中田
圭俊 中田
真介 立花
真介 立花
安史 小柴
安史 小柴
翔太 岩野
翔太 岩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JPWO2016084385A1 publication Critical patent/JPWO2016084385A1/ja
Application granted granted Critical
Publication of JP6322723B2 publication Critical patent/JP6322723B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Description

関連出願の相互参照
本出願は、２０１４年１１月２７日に日本国に特許出願された特願２０１４−２４０３５６の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
本発明は、撮像装置および車両に関するものである。
カラー画像の撮像以外の機能を得るため、撮像素子におけるカラーフィルタ配列の一部に、特定の波長域のフィルタを配置した撮像装置が提案されている。例えば、虹彩の撮像に適した波長域のフィルタを撮像素子に配置し、虹彩の撮像時には、当該フィルタを配置した画素のみによって撮像を行うことが提案されている（特許文献１参照）。
特開２００８−２４４２４６号公報
現在、撮像装置は多様な用途に用いられており、用途に応じた特殊な機能を発揮することが求められている。しかし、特許文献１に開示されたカメラでは、必ずしも、用途に応じた特殊な機能を発揮することはできなかった。
本発明の目的は、用途に応じて、特定の機能を発揮し得る撮像装置および車両を提供することにある。
本発明の一実施形態に係る撮像装置は、
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素が生成した信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光と異なる特定の光源の照射状態を検出する画像処理部とを備える。
また、本発明の一実施形態に係る撮像装置は、
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
前記撮像素子の少なくとも前記カラーフィルタを配置した画素による第１撮像画像の明るさが所定の基準未満であるか否かを判定し、前記第１撮像画像の明るさが所定の基準以上であると判定されたときに、前記特定のフィルタを配置した画素のみによる第２撮像画像を取得する画像処理部とを備える。
また、本発明の一実施形態に係る車両は、
各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素の信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光以外の特定の光源の照射状態を検出する画像処理部とを有する撮像装置と
前記特定の光源とを備える。
本発明の実施形態に係る撮像装置および車両によれば、用途に応じて、特定の機能を発揮し得る。
本発明の第１実施形態に係る撮像装置を有する車両における、多様な機器の配置を示す配置図である。 太陽光の分光放射スペクトルである。 図１の撮像装置の概略構成を示す機能ブロック図である。 図３の撮像素子の受光面を覆うカラーフィルタのフィルタ配列を示す配列図である。 図３の画像処理部が実行する、特定の光源の異常検出処理を説明するためのフローチャートである。 図３の画像処理部が実行する、後続する物体への光の照射の有無の判別処理を説明するためのフローチャートである。 図３の画像処理部が実行する、特定の画像処理を説明するためのフローチャートである。 本発明の第２実施形態に係る撮像装置を有する車両における、多様な機器の配置を示す配置図である。 図８の撮像装置の概略構成を示す機能ブロック図である。 図８の画像処理部が実行する、動作モード決定処理を説明するためのフローチャートである。 図８の画像処理部の、対象者の状態を監視する動作を説明するためのフローチャートである。
以下、本発明を適用した撮像装置の実施形態について、図面を参照して説明する。
（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置の車両（移動体）への配置を示す概略的な側面図である。車両１０は、表示部１１、ランプＥＣＵ１２、特定の光源１３、および撮像装置１４を含んで、構成される。撮像装置１４と表示部１１およびランプＥＣＵ１２とは、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。また、ランプＥＣＵ１２と特定の光源１３とも、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。
表示部１１は、運転者が視認可能な位置に設けられる。ランプＥＣＵ１２は、車両１０の任意の位置に設けられる。特定の光源１３は、例えばテールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８を含み、車両１０の後方に設けられる。撮像装置１４は、車両１０の外部の被写体を撮像可能となる位置、例えば車両１０の後方外部の被写体をそれぞれ撮像可能となるように、それぞれ車両１０の後方に設けられる。
表示部１１は、例えば液晶ディスプレイであり、多様な画像を表示する。本実施形態では、表示部１１は、撮像装置１４から取得する画像信号に相当する画像を表示する。
ランプＥＣＵ１２は、運転者による操作入力に対応して、車両１０の多様な種類のランプを駆動する。本実施形態においては、ランプＥＣＵ１２は、例えば、運転者がランプスイッチをＯＮにする操作入力を行うときに、テールランプ１５を点灯させる。また、本実施形態において、ランプＥＣＵ１２は、運転者がブレーキペダルを踏込む操作入力を行うときに、ブレーキランプ１６を点灯させる。また、本実施形態において、ランプＥＣＵ１２は、シフトレバーをリバースのポジションに配置する操作入力を行うときに、バックアップランプ１７を点灯させる。また、本実施形態において、ランプＥＣＵ１２は、運転者がウィンカーレバーをいずれかの方向に回転させる操作入力を行うときに、方向指示ランプ１８を点灯させる。また、ランプＥＣＵ１２は、テールランプ１５、ブレーキランプ１６、バックアップランプ１７および方向指示ランプ１８それぞれが点灯している情報を撮像装置１４に送信する。また、ランプＥＣＵ１２は、後述するように撮像装置１４から取得する後続の車両に関する情報に基づいて、テールランプ１５の光量および照射方向の調整を行う。
テールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８は、ランプＥＣＵ１２の制御に基づいて、点灯および消灯する。テールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８は、例えば白熱電球を光源として有し、太陽光の放射スペクトルにおいて、両側に隣接する波長域よりも分光放射照度が低い特定の波長域の光を少なくとも含む光を発する。特定の波長域は、図２に示すように、例えば、Ｏ３によって吸収される３２０ｎｍ以下の波長域、Ｈ２０またはＯ２によって吸収される７５０ｎｍ以上７６０ｎｍ以内の波長域、９３０ｎｍ以上９７０ｎｍ以内の波長域、１１００ｎｍ以上１１７０ｎｍ以内の波長域などである。
撮像装置１４は、被写体を撮像する。また、撮像装置１４は、撮像した被写体に基づいて、特定の光源１３の照射状態を検出する。また、撮像装置１４は、撮像した被写体の画像に所定の画像処理を施し、表示部１１に出力する。以下に、撮像装置１４の上述の機能を、撮像装置１４の構成とともに詳細に説明する。
図３に示すように、撮像装置１４は、光学系１９、撮像素子２０、入力部２１、画像処理部２２、出力部２３を有する。
光学系１９は、所望の光学特性、例えば焦点距離、焦点深度、画角などを有するように、少なくとも１枚のレンズを含む光学素子によって構成される。光学系１９は、被写体像を撮像素子２０に結像させる。
撮像素子２０は、例えばＣＭＯＳ撮像素子またはＣＣＤ撮像素子であり、受光面に結像した被写体を撮像して、画像信号を生成する。撮像素子２０の受光面上には、２次元状に複数の画素が配置され、各画素は受光量に応じた画素信号を生成する。１フレームの画像信号は、受光面を構成する各画素が生成する画素信号によって構成される。
各画素は、少なくとも１種のカラーフィルタおよび特定のフィルタのいずれかによって覆われる。本実施形態において、少なくとも１種のカラーフィルタは、例えばＲフィルタ、Ｇフィルタ、およびＢフィルタである。少なくとも１種のカラーフィルタは他の可視光域のフィルタであってもよい。特定のフィルタは、上述の特定の光源１３が発する光に含まれる、上述の特定の波長域を透過域として有する。図４に示すように、Ｒフィルタ（符号“Ｒ”参照）、Ｇフィルタ（符号“Ｇ”参照）、Ｂフィルタ（符号“Ｂ”参照）、特定のフィルタ（符号“Ｓ”参照）をそれぞれ１つずつ有する単位配列ＵＡが２次元状に周期的に配置される。ただし、フィルタの配列はこのような配列に限定されない。例えば、特定のフィルタを含む単位配列ＵＡが、ベイヤー配列の行方向および列方向の一部において置換されるように、配置されてもよい。
入力部２１は、ランプＥＣＵ１２から、テールランプ１５、ブレーキランプ１６、バックアップランプ１７、および方向指示ランプ１８それぞれが点灯している情報を取得する。
画像処理部２２は、例えばＤＳＰまたは特定のプログラムを読込むことにより特定の機能を実行する汎用のＣＰＵである。画像処理部２２は、撮像素子２０から画像信号を取得する。画像処理部２２は、画像信号に、ホワイトバランス処理、色補間処理などの前段処理を施す。また、画像処理部２２は、前段処理を施した画像信号に、さらに輪郭強調処理などの後段処理を施す。また、画像処理部２２は、後述するように、画像信号すなわち撮像素子の撮像範囲に照射される特定の光源１３の照射状態を検出する。また、画像処理部２２は、後述するように、前段処理を施した画像信号に、特定の画像処理を、後段処理に含めて、施す。
出力部２３は、画像処理部２２が、前段処理および後段処理を含む所定の画像処理が施された画像信号を表示部１１に出力する。また、出力部２３は、特定の光源１３の照射状態の検出に基づいて画像処理部２２が生成した情報を、表示部１１およびランプＥＣＵ１２の少なくとも一方に出力する。
次に、本実施形態において、画像処理部２２が行う特定の光源１３の照射状態の検出および特定の画像処理の実施について、詳細に説明する。特定の光源１３の照射状態の検出は、特定の光源１３の実際の照射状態の検出、すなわち特定の光源１３の異常検出、および後続する物体への光の照射の有無の判別を含み、以下において、別々に説明する。
画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、特定の光源１３の異常検出を行う。
まず、画像処理部２２は、撮像素子２０から取得する画像信号の中で、特定の波長域の光量に相当する信号成分、例えば特定のフィルタが配置された画素が生成した信号成分を抽出する。信号成分を抽出する画素は、画像を構成する全画素であってもよいし、特定の光源１３から放射される光が照射されると想定される領域内の画素であってもよい。
画像処理部２２は、抽出した信号成分の信号強度、すなわち特定の光源１３の実際の照射光量が十分に大きいときは特定の光源１３は平常であると判別し、信号強度が小さいときに特定の光源１３に異常が発生していると判別する。具体的には、画像処理部２２は、特定の光源１３の点灯時および消灯時における特定のフィルタを配置した画素の信号成分を比較、例えば両者の比を閾値と比較することによって、特定の光源１３の異常判別を行う。または、画像処理部２２は、例えば抽出した信号成分の信号強度の平均値を閾値と比較し、当該平均値が閾値を超えるときに平常であって、閾値以下であるときに異常が発生していると判別してもよい。
画像処理部２２は、特定の光源１３に異常が発生していると判別すると、当該特定の光源１３に異常があることを報知する画像、例えば撮像素子２０から取得した画像にメッセージを重畳した画像を生成する。画像処理部２２は、出力部２３を介して当該報知する画像を表示部１１に出力し、表示部１１に表示させる。
画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３の中で、例えばテールランプ１５が点灯している情報を取得するときに、後続する物体、例えば車両への光の照射の有無の判別を行う。まず、特定の光源１３の異常判別と同様に、画像処理部２２は、撮像素子２０から取得する画像信号の中で、特定の波長域の光量に相当する信号成分、例えば特定のフィルタが配置された画素が生成した信号成分を抽出する。
画像処理部２２は、抽出した信号成分の中で、信号強度が閾値を越える信号成分を抽出し、対応する画素の画像全体の中の位置座標を算出する。画像処理部２２は、画像全体に対して公知の物体認識を行ない、他の車両の検出を行う。画像処理部２２は、検出された車両が占める領域と、算出された位置座標とが重なるか否かを判別する。
画像処理部２２は、検出された車両の位置座標と、算出された位置座標すなわち特定の波長域の光の光量が大きな位置とが重なるときに、テールランプ１５からの光の照射方向を鉛直下方に下げる指令、または光量を低下させる指令を生成する。画像処理部２２は、出力部２３を介して当該指令をランプＥＣＵ１２に出力し、テールランプ１５からの光の照射方向および光量の少なくとも一方を調整させる。
画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３の中で、例えばバックアップランプ１７が点灯している情報を取得するときに、特定の画像処理を実施する。まず、画像処理部２２は、特定の波長域以外の信号成分、たとえばＲＧＢ信号成分に基づく輝度が閾値を超える画素を抽出する。次に、画像処理部２２は、抽出した画素により所定の大きさ（所定の画素数）を超える領域を形成するか否かを判別する。
さらに、画像処理部２２は、所定の大きさを超える領域を形成する画素に対してはＲＧＢの信号成分を用いずに特定の波長域の信号成分、すなわち特定のフィルタを配置した画素が生成した信号成分のみを用いてモノクロ画像を作成する。さらに、画像処理部２２は、他の画素においては、通常と同様にカラー画像を作成し、当該カラー画像とモノクロ画像とを結合した画像を画像信号として生成する。画像処理部２２は、出力部２３を介して当該画像信号を表示部１１に出力し、表示部１１に表示させる。
次に、本実施形態において画像処理部２２が実行する、特定の光源１３の異常検出処理について、図５を用いて説明する。画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、特定の光源１３の異常検出処理を開始する。
ステップＳ１００において、画像処理部２２は、画像信号から、特定の波長域の光量に相当する信号成分を抽出する。信号成分を抽出すると、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、画像処理部２２は、ステップＳ１００において抽出した信号成分の信号強度を平均化する。また、以前のフレームの画像信号に対して既に信号強度の平均化を行っていた場合には、画像処理部２２は、平均化した信号強度を、以前のフレームの画像信号においての平均化した信号強度と平均化する。信号強度の平均化を終えると、プロセスはステップＳ１０２に進む。
ステップＳ１０２では、画像処理部２２は、ステップＳ１０２において平均化した信号強度を画像処理部２２が有するメモリに格納する。メモリに格納すると、プロセスはステップＳ１０３に進む。
ステップＳ１０３では、画像処理部２２は、ランプＥＣＵ１２から特定の光源１３を消灯する情報を取得しているか否かを判別する。消灯する情報を取得していないときには、プロセスはステップＳ１００に戻る。消灯する情報を取得しているときには、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、画像処理部２２は、画像信号から、特定の波長域の光量に相当する信号成分を抽出する。信号成分を抽出すると、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、画像処理部２２は、ステップＳ１０４において抽出した信号成分の信号強度を平均化する。信号強度の平均化を終えると、プロセスはステップＳ１０６に進む。
ステップ１０６では、画像処理部２２は、ステップＳ１０２においてメモリに格納した点灯時の信号強度の平均値を、ステップＳ１０５において算出した消灯時の信号強度の平均値で割った比率と、閾値とを比較する。当該比率が閾値以上であるときには、ステップＳ１０７をスキップして、特定の光源１３の以上検出処理を終了する。当該比率が閾値未満であるときには、プロセスはステップＳ１０７に進む。
ステップＳ１０７では、画像処理部２２は、特定の光源１３に異常があることを報知する画像を生成する。さらに、画像処理部２２は、出力部２３を介して当該画像を表示部１１に出力する。画像の出力後、特定の光源１３の異常検出処理を終了する。
次に、本実施形態において画像処理部２２が実行する、後続する物体への光の照射の有無の判別処理について、図６を用いて説明する。画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、後続する物体への光の照射の有無の判別処理を開始する。
ステップＳ２００において、画像処理部２２は、画像信号から、特定の波長域の光量に相当する信号成分を抽出する。信号成分を抽出すると、プロセスはステップＳ２０１に進む。
ステップＳ２０１では、画像処理部２２は、ステップＳ２００において抽出した信号成分の中で閾値を越える信号成分をさらに抽出する。信号成分をさらに抽出すると、プロセスはステップＳ２０２に進む。
ステップＳ２０２では、画像処理部２２は、ステップＳ２０１において抽出した信号成分に対応する画素の位置座標を算出する。位置座標の算出後、プロセスはステップＳ２０３に進む。
ステップＳ２０３では、画像処理部２２は、画像全体に対して物体認識を行う。物体認識後、プロセスはステップＳ２０４に進む。
ステップＳ２０４では、画像処理部２２は、ステップＳ２０３において実行した物体認識により、画像内に車両が含まれるか否かを判別する。車両が含まれるときには、プロセスはステップＳ２０５に進む。車両が含まれないときには、後続する物体への光の照射の有無の判別処理を終了する。
ステップＳ２０５では、画像処理部２２は、車両が占める領域と、ステップＳ２０２において算出した画素の位置座標が重なるか否かを判別する。重なるときには、プロセスはステップＳ２０６に進む。重ならないときには、後続する物体への光の照射の有無の判別処理を終了する。
ステップＳ２０６では、画像処理部２２は、テールランプ１５からの光の照射方向を鉛直下方に下げる指令、または光量を低下させる指令を生成する。さらに、画像処理部２２は、出力部２３を介して当該指令をランプＥＣＵ１２に出力する。指令の出力後、後続する物体への光の照射の有無の判別処理を終了する。
次に、本実施形態において画像処理部２２が実行する、特定の画像処理について、図７を用いて説明する。画像処理部２２は、ランプＥＣＵ１２から、特定の光源１３が点灯している情報を取得するときに、特定の画像処理を開始する。
ステップＳ３００において、画像処理部２２は、ＲＧＢ信号成分を用いて、各画素における輝度を算出する。全画素の輝度を算出すると、プロセスはステップＳ３０１に進む。
ステップＳ３０１では、画像処理部２２は、画像信号から、輝度が閾値を越える画素を抽出する。画素を抽出すると、プロセスはステップＳ３０２に進む。
ステップＳ３０２では、画像処理部２２は、ステップＳ３０１において抽出した画素が所定の大きさを超える領域を形成するか否かを判別する。所定の大きさを超える領域を形成しないときには、プロセスはステップＳ３０３に進む。所定の大きさを超える領域を形成するときには、プロセスはステップＳ３０４に進む。
ステップＳ３０３では、画像処理部２２は、画像信号の全領域に対して、ＲＧＢ信号成分のみを用いて、カラー画像を生成する。また、画像処理部２２は、生成したカラー画像に対して、後段処理を施して、表示部１１に出力する。カラー画像の出力後、特定の画像処理を終了する。
ステップＳ３０４では、画像処理部２２は、画像信号の、ステップＳ３０２において判別された領域内において、特定の波長域の信号成分のみを用いてモノクロ画像を生成する。モノクロ画像の生成後、プロセスはステップＳ３０５に進む。
ステップＳ３０５では、画像処理部２２は、画像信号の、ステップＳ３０２において判別された領域外において、ＲＧＢ信号成分のみを用いてカラー画像を生成する。カラー画像の生成後、プロセスはステップＳ３０６に進む。
ステップＳ３０６では、画像処理部２２は、ステップＳ３０４において生成したモノクロ画像と、ステップＳ３０５において生成したカラー画像とを結合する。画像処理部２２は、結合した画像に後段処理を施し、表示部１１に出力する。結合した画像の出力後、特定の画像処理を終了する。
以上のような構成の第１実施形態の撮像装置１４によれば、特定のフィルタを配置した画素の信号成分に基づいて、特定の光源１３の照射状態を検出する。したがって、太陽光が十分に照射される屋外においても、肉眼では困難な、特定の光源１３の照射状況を検出可能である。それゆえ、車両１０のように特定の光源１３から光が照射されることのある被写体を撮像するという用途に応じて、被写体が太陽光により明るく照らされるときに特定の光源１３の照射状態を検出するという特定の機能を発揮し得る。
また、本実施形態の撮像装置によれば、撮像装置１４が入力部２１を有するので、特定のフィルタが配置された画素を用いた処理（特定の光源１３の異常検出処理、後続する物体への光の放射の有無の判別処理、特定の画像処理）に対して、開始条件を付与し得る。開始条件を付与することにより、特定のフィルタが配置された画素を用いた処理の、不必要な実行を抑制でき、その結果、消費電力を低減し得る。
また、本実施形態の撮像装置によれば、特定の光源１３から光を照射しているときに、特定のフィルタが配置された画素の信号成分に基づいて、特定の光源１３の実際の照射状態、言い換えると異常の発生の有無を検出する。したがって、日中のように明るい環境下においても、カラー画像では視認の困難な特定の画像を用いて、特定の光源１３の異常を検出し得る。
また、本実施形態の撮像装置によれば、特定の光源１３から光を照射しているとき、後続の車両に当該光が照射されているかを判別し、照射されているときに照射方向などを調整するので、後続の車両の乗員に知覚させる眩しさが抑制され得る。
また、本実施形態の撮像装置によれば、特定のフィルタを配置した画素以外の画素が生成する信号成分が閾値を超える画素においては特定のフィルタを配置した画素が生成する信号成分を用いて画像を生成する。したがって、例えば、トンネル内において撮像した画像において、暗い場所用の露光調整などによりトンネル外部の被写体が白飛びしてしまう場合においても、太陽光の明るさが抑制される一方で特定の光源１３により適度に特定の波長域の光が照射されるので、トンネル外部の被写体を視認可能に再現し得る。
（第２実施形態）
次に、図８を参照して、本発明の第２実施形態に係る撮像装置１４０の車両１０への配置について説明する。以下、同一の構成については同一の符号を付し、説明は省略する。
車両１０は、ランプＥＣＵ１２０と、特定の光源１３０と、撮像装置１４０と、を備える。撮像装置１４０とランプＥＣＵ１２０とは、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。また、ランプＥＣＵ１２０と光源１３０とも、専用線またはＣＡＮなどの車載ネットワークを介して情報および信号を伝達可能である。
ランプＥＣＵ１２０は、車両１０の任意の位置に設けられる。光源１３０は、例えば車両１０のダッシュボード２４０に配置され、運転者などの対象者２５０の顔に光を照射可能である。後述するように、光源１３０は特定の波長域の光を発する。撮像装置１４０は、例えば車両１０のダッシュボード２４０に配置され、光源１３０からの光が照射された対象者２５０の顔を撮像可能である。具体的には、撮像装置１４０の視野内に、車両１０内で対象者２５０の顔が存在し得る比較的広い領域が含まれるように、撮像装置１４０が車両１０に配置される。
ランプＥＣＵ１２０は、後述するように撮像装置１４０から取得する情報に基づいて、光源１３０を点灯させる。ここで光源１３０を点灯させるときは、ランプＥＣＵ１２０は、後述するように撮像装置１４０から取得する同期信号に基づいて、撮像装置１４０による撮像タイミングと同期して光源１３０を点灯させる。好適には、ランプＥＣＵ１２０は、後述するように撮像装置１４０が第１動作モードで動作するときに、光源１３０を消灯させたままにし、撮像装置１４０が第２動作モードで動作するときに、光源１３０を点灯させる。また、ランプＥＣＵ１２０は、上述した第１実施形態と同様に、光源１３０が点灯している情報を撮像装置１４０に送信してもよい。
光源１３０は、例えばＬＥＤなどであって、所定の波長帯域の光を発する。本実施形態において、光源１３０は、Ｏ３によって吸収される３２０ｎｍ以下の波長域、Ｈ２０またはＯ２によって吸収される７５０ｎｍ以上７６０ｎｍ以内の波長域、９３０ｎｍ以上９７０ｎｍ以内の波長域、または１１００ｎｍ以上１１７０ｎｍ以内の波長域などの光を発するランプである。光源１３０は、例えば画角が調整されたレンズを含む照明光学系を備えてもよい。発せられる光の波長域および指向性は、任意のものを採用可能である。好適には、光源１３０は、赤外帯域のうち、７５０ｎｍ以上７６０ｎｍ以内の波長域、９３０ｎｍ以上９７０ｎｍ以内の波長域、または１１００ｎｍ以上１１７０ｎｍ以内の波長域などの光を発する赤外光ランプである。
撮像装置１４０は、対象者２５０の顔を撮像して撮像画像を生成する。また、撮像装置１４０は、撮像画像に基づいて、対象者２５０の状態を判定する。好適には、撮像装置１４０は、対象者２５０が特定の状態であると判定されたときに、対象者２５０に対する警告を行う。以下に、撮像装置１４０の上述の機能を、撮像装置１４の構成とともに詳細に説明する。
図９に示すように、撮像装置１４０は、光学系１９０と、撮像素子２０と、入力部２１０と、画像処理部２２０と、出力部２３０と、を有する。
光学系１９０は、所望の光学特性、例えば焦点距離、焦点深度、画角などを有するように、少なくとも１枚のレンズを含む光学素子を有する。光学系１９０は、被写体像を撮像素子２０に結像させる。撮像光学系１９０は、光源１３０からの照明光の照射先からの反射光を取込可能となるように、撮像装置１４０の筐体に配置される。本実施形態において、光学系１９０は、照明光が照射された対象者２５０の顔を含む被写体の像を結像可能である。
撮像素子２０は、上述した第１実施形態と同一であるため、説明は省略する。
入力部２１０は、後述するように画像処理部２２０が第２動作モードで動作するときに、ランプＥＣＵ１２０から、光源１３０が点灯している情報を取得する。
画像処理部２２０は、例えばＤＳＰまたは特定のプログラムを読込むことにより特定の機能を実行する汎用のＣＰＵである。画像処理部２２０は、撮像素子２０によって生成された画像信号（以下、「撮像画像」ともいう。）に対する種々の画像処理、および撮像装置１４０全体の動作制御を行う。例えば、画像処理部２２０は、撮像のタイミングを示す同期信号を生成し、出力部２３０を介してランプＥＣＵ１２０へ出力する。また画像処理部２２０は、撮像素子２０の動作を制御して、周期的に、例えば６０ｆｐｓで被写体を撮像させる。
本実施形態において、画像処理部２２０は、後述するように第１動作モードまたは第２動作モードで動作する。
（動作モード決定処理）
まず、動作モードを第１動作モードまたは第２動作モードに決定するための動作モード決定処理について説明する。
はじめに画像処理部２２０は、撮像素子２０から撮像画像（第１撮像画像）を取得する。ここで第１撮像画像は、少なくともカラーフィルタが配置された画素による撮像画像であって、例えばカラー画像である。続いて画像処理部２２０は、第１撮像画像に、露出調整処理、ホワイトバランス処理、および色補間処理などの第１前段処理を施す。また画像処理部２２０は、第１前段処理が施された第１撮像画像に、さらに輪郭強調処理などの後段処理を施す。
続いて画像処理部２２０は、第１前段処理および後段処理が施された第１撮像画像の明るさが所定の基準未満であるか否かを判定する。ここで所定の基準の明るさは、例えば第１撮像画像が白飛びするなど、後述する物体検出処理において第１撮像画像上の対象者２５０の顔の検出精度が一定程度低下する明るさである。具体的には、画像処理部２２０は、抽出された信号成分の信号強度、すなわち外光として車両１０内に差し込む太陽光の照射光量が所定の閾値未満であるときに、第１撮像画像の明るさが基準未満であると判定する。所定の閾値は、例えば実験またはシミュレーションによって予め決定可能である。
抽出された信号成分の信号強度が所定の閾値未満であると判定されたときに、すなわち第１撮像画像の明るさが所定の基準未満であると判定されたときに、画像処理部２２０は、動作モードを第１動作モードに決定する。また画像処理部２２０は、光源１３０の駆動停止要求を、出力部２３０を介してランプＥＣＵ１２０に出力する。行動停止要求を取得したランプＥＣＵ１２０は、光源１３０を消灯させたままにする。
一方、抽出された信号成分の信号強度が所定の閾値以上であると判定されたときに、すなわち第１撮像画像の明るさが所定の基準以上であると判定されたときに、画像処理部２２０は、動作モードを第２動作モードに決定する。また画像処理部２２０は、光源１３０の駆動開始要求を、出力部２３０を介してランプＥＣＵ１２０に出力する。駆動開始要求を取得したランプＥＣＵ１２０は、上述した同期信号に基づく光源１３０の点灯を開始させる。
（第１動作モード）
次に、第１動作モードにおける画像処理部２２０の動作について説明する。
はじめに画像処理部２２０は、撮像素子２０から撮像画像を取得する。続いて画像処理部２２０は、撮像画像に、露出調整処理、ホワイトバランス処理、および色補間処理などの第１前段処理を施す。また画像処理部２２０は、第１前段処理が施された撮像画像に、さらに輪郭強調処理などの後段処理を施す。ここで第１撮像画像は、上述した動作モード決定処理において生成された第１撮像画像が用いられてもよい。
続いて画像処理部２２０は、カラー画像である第１撮像画像を用いて物体検出処理を実行する。物体検出処理には、例えばパターンマッチングを用いる手法、または撮像画像上の特徴点を抽出する手法など、任意の手法が採用可能である。また第１動作モードにおける物体検出処理には、例えばカラー画像に対応するアルゴリズムが用いられてもよい。以下、物体検出処理によって、対象者２５０の顔、目、および瞳孔（以下、単に「対象者２５０の顔」ともいう。）が検出されるものとして説明する。
続いて画像処理部２２０は、第１撮像画像上の対象者２５０の検出結果に基づいて、対象者２５０に対する警告を行う。例えば、第１撮像画像上の対象者２５０の眼または瞳孔が所定時間連続して（連続する所定数のフレームに亘って）検出できなかった場合には、対象者２５０がよそ見運転または居眠り運転をしている状態（特定状態）である蓋然性が高い。対象者２５０が特定状態であると判定されたときに、画像処理部２２０は警告を行う。警告の実行は、例えば撮像装置１４０に備えられるスピーカを介した警告音の発生、または車両１０に備えられたスピーカを介して警告音を発生させるための警告信号の出力などを含む。
（第２動作モード）
次に、第２動作モードにおける画像処理部２２０の動作について説明する。
はじめに画像処理部２２０は、撮像素子２０から第１撮像画像を取得する。続いて画像処理部２２０は、撮像素子２０から取得した第１撮像画像の中で、特定のフィルタが配置された画素が生成した画素信号のみを抽出して、第２撮像画像を取得する。第２撮像画像は、例えばモノクロ画像である。続いて画像処理部２２０は、第２撮像画像に、露出調整処理などの第２前段処理を施す。また画像処理部２２０は、第２前段処理が施された第２撮像画像に、さらに輪郭強調処理などの後段処理を施す。
続いて画像処理部２２０は、モノクロ画像である第２撮像画像を用いて物体検出処理を実行する。物体検出処理には、例えばパターンマッチングを用いる手法、または撮像画像上の特徴点を抽出する手法など、任意の手法が採用可能である。また第２動作モードにおける物体検出処理には、例えばモノクロ画像に対応するアルゴリズムが用いられてもよい。以下、物体検出処理によって、対象者２５０の顔、目、および瞳孔（以下、単に「対象者２５０の顔」ともいう。）が検出されるものとして説明する。
続いて画像処理部２２０は、第２撮像画像上の対象者２５０の検出結果に基づいて、対象者２５０に対する警告を行う。例えば、第２撮像画像上の対象者２５０の眼または瞳孔が所定時間連続して（連続する所定数のフレームに亘って）検出できなかった場合には、対象者２５０がよそ見運転または居眠り運転をしている状態（特定状態）である蓋然性が高い。対象者２５０が特定状態であると判定されたときに、画像処理部２２０は警告を行う。警告の実行は、例えば撮像装置１４０に備えられるスピーカを介した警告音の発生、または車両１０に備えられたスピーカを介して警告音を発生させるための警告信号の出力などを含む。ここで、第２動作モードにおいて対象者２５０の状態を判定するアルゴリズムと、上述した第１動作モードにおいて対象者２５０の状態を判定するアルゴリズムと、が異なってもよい。
また画像処理部２２０は、第２動作モードによる動作の実行中に、上述した第１実施形態と同様にして、光源１３０の異常検出を行ってもよい。
出力部２３０は、画像処理部２２０が生成した、光源１３０の駆動停止要求および駆動開始要求をランプＥＣＵ１２０に出力する。また出力部２３０は、画像処理部２２０が生成した警告信号を、例えば車両１０に備えられたＥＣＵなどに出力する。
次に、図１０を参照して、上述した動作モード決定処理を実行する画像処理部２２０の動作について説明する。動作モード決定処理は、撮像素子２０が撮像画像を生成する各フレームにおいて実行されてもよく、一部のフレームにおいて間欠的に実行されてもよい。
ステップＳ４００において、画像処理部２２０は、撮像素子２０から第１撮像画像を取得する。また画像処理部２２０は、第１撮像画像に対して第１前段処理および後段処理を施す。その後、プロセスはステップＳ４０１に進む。
ステップＳ４０１では、画像処理部２２０は、第１撮像画像の明るさが所定の基準未満であるか否かを判定する。明るさが基準未満であると判定されたときには、プロセスはステップＳ４０２に進む。一方、明るさが基準以上であると判定されたときには、プロセスはステップＳ４０４に進む。
ステップＳ４０２では、画像処理部２２０は、動作モードを第１動作モードに決定する。その後、プロセスはステップＳ４０３に進む。
ステップＳ４０３では、画像処理部２２０は、出力部２３０を介して、光源１３０の駆動停止要求をランプＥＣＵ１２０に出力して、動作モード決定処理を終了する。
ステップＳ４０４では、画像処理部２２０は、動作モードを第２動作モードに決定する。その後、プロセスはステップＳ４０５に進む。
ステップＳ４０５では、画像処理部２２０は、出力部２３０を介して、光源１３０の駆動開始要求をランプＥＣＵ１２０に出力する。その後、動作モード決定処理が終了する。
次に、図１１を参照して、第１動作モードまたは第２動作モードにおける画像処理部２２０の動作について説明する。
ステップＳ５００において、画像処理部２２０は、撮像画像を取得する。具体的には、第１動作モードにおいて、画像処理部２２０は、カラー画像である第１撮像画像を取得し、第１前段処理および後段処理を施す。一方、第２動作モードにおいて、画像処理部は、モノクロ画像である第２撮像画像を取得し、第２前段処理および後段処理を施す。その後、プロセスはステップＳ５０１に進む。
ステップＳ５０１では、画像処理部２２０は、撮像画像を用いて物体検出処理を実行する。ここで画像処理部２２０は、第１動作モードと第２動作モードとで、異なるアルゴリズムによって物体検出処理を行ってもよい。その後、プロセスはステップＳ５０２に進む。
ステップＳ５０２では、画像処理部２２０は、物体検出処理による対象者２５０の顔の検出結果に基づいて、対象者２５０の状態を判定する。その後、プロセスはステップＳ５０３に進む。
ステップＳ５０３に示すように、対象者２５０が特定状態（例えば、よそ見運転または居眠り運転をしている状態）であると判定されたときに、プロセスはステップＳ５０４に進む。一方、対象者２５０が特定状態ではないと判定されたときに、プロセスはステップＳ５００に戻る。
ステップＳ５０４では、画像処理部２２０は、対象者２５０に対する警告を行う。
以上のような構成の第２実施形態の撮像装置１４０によれば、少なくともカラーフィルタを配置した画素による第１撮像画像の明るさが所定の基準以上であると判定されたときに、特定のフィルタを配置した画素のみによる第２撮像画像を取得する。したがって、太陽光などの外光の光量が大きく、例えば第１撮像画像が白飛びするような場合に、太陽光の分光放射照度が低い特定の波長域の光による第２撮像画像が取得されるので、例えば撮像画像を用いた物体検出処理の検出精度が向上可能である。
また、撮像装置１４０は、第１撮像画像の明るさが所定の基準未満であると判定されたときに、すなわち第１動作モードで動作するときに、光源１３０の駆動を停止させる。したがって、第２動作モードで動作するときのみ光源１３０を駆動させればよいので、光源１３０の消費電力および発熱が低減可能である。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、上述した第１実施形態において、撮像装置１４は車両１０の後方の風景を撮像可能に設けられるが、撮像方向は車両１０の後方に限定されない。例えば、撮像装置１４が車両１０の前方の被写体を撮像可能に設けてもよい。このような場合、例えば、特定の光源１３の点灯の有無に関わらず、上述の特定の画像処理を施すことにより、肉眼でも眩しく見え得るトンネル外部の被写体の輪郭が鮮明に表示され得る。
１０ 車両
１１ 表示部
１２、１２０ ランプＥＣＵ
１３、１３０ 特定の光源
１４、１４０ 撮像装置
１５ テールランプ
１６ ブレーキランプ
１７ バックアップランプ
１８ 方向指示ランプ
１９、１９０ 光学系
２０ 撮像素子
２１、２１０ 入力部
２２、２２０ 画像処理部
２３、２３０ 出力部
２４０ ダッシュボード
２５０ 対象者
ＵＡ 単位配列

Claims (15)

  1. 各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
    前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素が生成した信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光と異なる特定の光源の照射状態を検出する画像処理部とを備える
    撮像装置。
  2. 請求項１に記載の撮像装置であって、
    前記特定の波長域は、Ｈ２Ｏ、Ｏ２、Ｏ３の少なくともいずれか１種によって吸収される波長域である
    撮像装置。
  3. 請求項１または２に記載の撮像装置であって
    前記少なくとも１種のカラーフィルタは、Ｒフィルタ、Ｇフィルタ、およびＢフィルタであり、
    前記Ｒフィルタ、前記Ｇフィルタ、前記Ｂフィルタ、および前記特定のフィルタをそれぞれ１つ有する単位配列が、２次元状に周期的に配置される
    撮像装置。
  4. 請求項１から３のいずれか１項に記載の撮像装置であって、
    前記特定の光源が点灯している情報を取得する入力部を、さらに備える
    撮像装置。
  5. 請求項４に記載の撮像装置であって、
    前記画像処理部は、前記特定の光源が点灯している情報を取得するときに、前記特定の光源の実際の照射状態を検出する
    撮像装置。
  6. 請求項４または５に記載の撮像装置であって
    前記画像処理部は、前記画像信号に基づいて特定の物体を検出可能であり、前記特定の光源が点灯している情報を取得するときに、前記照射状態の検出として、前記特定の物体が検出された領域における前記特定のフィルタを配置した画素を検出し、該検出した画素の信号成分に基づいて、前記特定の光源の照射方向および光量の少なくとも一方を調整する指令を作成する、
    撮像装置。
  7. 請求項１から６のいずれか１項に記載の撮像装置であって、
    前記画像処理部によって所定の画像処理が施された画像信号を出力する出力部を、さらに備え、
    前記所定の処理は、少なくとも一部の領域の前記特定のフィルタを配置した画素が生成した信号成分に基づいて該一部の領域の画像を生成する処理を含む
    撮像装置。
  8. 請求項７に記載の撮像装置であって、
    前記所定の処理は、前記特定のフィルタを配置した画素以外の画素が生成する信号成分が閾値を超える画素によって形成される領域の画像を、該領域内の前記特定のフィルタを配置した画素が生成した信号成分に基づいて、該領域の画像を生成する処理を含む
    撮像装置。
  9. 各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、
    前記撮像素子の少なくとも前記カラーフィルタを配置した画素による第１撮像画像の明るさが所定の基準未満であるか否かを判定し、前記第１撮像画像の明るさが所定の基準以上であると判定されたときに、前記特定のフィルタを配置した画素のみによる第２撮像画像を取得する画像処理部とを備える
    撮像装置。
  10. 請求項９に記載の撮像装置であって、
    前記画像処理部は、
    前記第１撮像画像の明るさが所定の基準未満であると判定されたときに、前記特定の波長域の光を発する特定の光源の駆動を停止させ、
    前記第１撮像画像の明るさが所定の基準以上であると判定されたときに、前記光源の駆動を開始させる
    撮像装置。
  11. 請求項９または１０に記載の撮像装置であって、
    前記画像処理部は、
    前記第１撮像画像の明るさが所定の基準値未満であると判定されたときに、前記第１撮像画像を用いて物体検出処理を実行し、
    前記第１撮像画像の明るさが所定の基準値以上であると判定されたときに、前記第２撮像画像を用いて物体検出処理を実行する
    撮像装置。
  12. 請求項１１に記載の撮像装置であって、
    前記画像処理部は、前記物体検出処理の結果に基づいて、車両内の対象者が特定状態であると判定されたときに、前記対象者に対する警告を行う
    撮像装置。
  13. 請求項９乃至１２の何れか一項に記載の撮像装置であって、
    前記特定の波長域は、Ｈ２Ｏ、Ｏ２の少なくともいずれか１種によって吸収される波長域である
    撮像装置。
  14. 請求項９乃至１３の何れか一項に記載の撮像装置であって
    前記少なくとも１種のカラーフィルタは、Ｒフィルタ、Ｇフィルタ、およびＢフィルタであり、
    前記Ｒフィルタ、前記Ｇフィルタ、前記Ｂフィルタ、および前記特定のフィルタをそれぞれ１つ有する単位配列が、２次元状に周期的に配置される
    撮像装置。
  15. 各画素に対応して、少なくとも１種のカラーフィルタと、両側に隣接する波長域よりも太陽光の分光放射照度が低い特定の波長域を透過する特定のフィルタとが受光面上に配置された撮像素子と、前記撮像素子から取得する画像信号における、前記特定のフィルタを配置した画素が生成した信号成分に基づいて、前記撮像素子の撮像範囲に照射される太陽光と異なる特定の光源の照射状態を検出する画像処理部とを有する撮像装置と、
    前記特定の光源とを備える
    車両。
JP2016561257A 2014-11-27 2015-11-27 撮像装置および車両 Active JP6322723B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014240356 2014-11-27
JP2014240356 2014-11-27
PCT/JP2015/005910 WO2016084385A1 (ja) 2014-11-27 2015-11-27 撮像装置および車両

Publications (2)

Publication Number Publication Date
JPWO2016084385A1 JPWO2016084385A1 (ja) 2017-05-25
JP6322723B2 true JP6322723B2 (ja) 2018-05-09

Family

ID=56073973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016561257A Active JP6322723B2 (ja) 2014-11-27 2015-11-27 撮像装置および車両

Country Status (4)

Country Link
US (1) US10829042B2 (ja)
EP (1) EP3226554B1 (ja)
JP (1) JP6322723B2 (ja)
WO (1) WO2016084385A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10764515B2 (en) * 2016-07-05 2020-09-01 Futurewei Technologies, Inc. Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
CN106815558B (zh) * 2016-12-21 2020-06-30 上海智驾汽车科技有限公司 基于图像识别的车进隧道前大灯自动提前开启方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6667623B2 (en) * 2001-11-07 2003-12-23 Gelcore Llc Light degradation sensing led signal with visible fault mode
JP4314103B2 (ja) * 2003-11-27 2009-08-12 京セラ株式会社 車載カメラ
US20060092401A1 (en) * 2004-10-28 2006-05-04 Troxell John R Actively-illuminating optical sensing system for an automobile
US7916969B2 (en) * 2007-03-23 2011-03-29 Seiko Epson Corporation Varying the exposure of a digital image by region
JP2008244246A (ja) 2007-03-28 2008-10-09 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP5040776B2 (ja) * 2008-03-31 2012-10-03 アイシン精機株式会社 撮像装置
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8619143B2 (en) * 2010-03-19 2013-12-31 Pixim, Inc. Image sensor including color and infrared pixels
JP2011199798A (ja) * 2010-03-24 2011-10-06 Sony Corp 物理情報取得装置、固体撮像装置、物理情報取得方法
JP5368369B2 (ja) * 2010-04-28 2013-12-18 株式会社デンソー 車載用撮像装置及び車載用画像処理装置
JP2014157184A (ja) * 2013-02-14 2014-08-28 Ushio Inc 光源装置およびプロジェクタ

Also Published As

Publication number Publication date
WO2016084385A1 (ja) 2016-06-02
EP3226554A1 (en) 2017-10-04
EP3226554A4 (en) 2018-06-20
JPWO2016084385A1 (ja) 2017-05-25
US10829042B2 (en) 2020-11-10
EP3226554B1 (en) 2019-07-17
US20170320434A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
JP5783279B2 (ja) 画像処理装置
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP2007142624A (ja) 車両搭載撮像装置
JP4659906B2 (ja) 暗視装置
JP5853947B2 (ja) 暗視装置
JP4927647B2 (ja) 車両周辺監視装置
JP2010257282A (ja) 障害物検知装置、および当該装置を搭載した車両
JP2006350670A (ja) 夜間運転視界支援装置
JP6322723B2 (ja) 撮像装置および車両
JP2008002827A (ja) 乗員検知装置
JP2007013777A (ja) 撮像装置
US11375134B2 (en) Vehicle monitoring system
JP2019204988A (ja) 画像処理装置及び画像処理方法
JP2008146404A (ja) 車載用画像認識装置
WO2015098107A1 (ja) 画像処理装置、警報装置、および画像処理方法
JP6712886B2 (ja) 撮像装置、撮像方法、および車両
JP2015070280A (ja) 画像処理装置、カメラシステム、および画像処理方法
WO2017134918A1 (ja) 視線検出装置
JP6594557B2 (ja) 画像処理装置および配光制御システム
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
JP2010260380A (ja) 車両用監視システム
JP2018074440A (ja) 車両後方画像表示装置
JP2007263704A (ja) 視認不可能領域抽出装置、及び視覚支援装置
JP2017124037A (ja) 視線検出装置
KR20160029303A (ko) Avm 시스템 및 그 동작방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R150 Certificate of patent or registration of utility model

Ref document number: 6322723

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150