JP2017183945A - Imaging apparatus, imaging method, and vehicle - Google Patents
Imaging apparatus, imaging method, and vehicle Download PDFInfo
- Publication number
- JP2017183945A JP2017183945A JP2016066798A JP2016066798A JP2017183945A JP 2017183945 A JP2017183945 A JP 2017183945A JP 2016066798 A JP2016066798 A JP 2016066798A JP 2016066798 A JP2016066798 A JP 2016066798A JP 2017183945 A JP2017183945 A JP 2017183945A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- image
- imaging
- lighting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、撮像方法、および車両に関する。 The present invention relates to an imaging device, an imaging method, and a vehicle.
近年、自動車等の車両に搭載された撮像装置が、該車両の周辺に存在する人物、障害物、路面等の情報を取得し、取得した情報を運転支援に活用することが知られている。 In recent years, it has been known that an imaging apparatus mounted on a vehicle such as an automobile acquires information on a person, an obstacle, a road surface, and the like existing around the vehicle, and uses the acquired information for driving support.
例えば、運転者が直接視認することが困難である車両の後方を含む、車両の周辺を撮像装置が撮像して、運転席の近傍に設置されたディスプレイ等に表示させることが知られている（例えば、特許文献１参照）。特許文献１に記載されている方法では、撮像装置が車両の周辺を撮像するにあたって露出制御およびホワイトバランス調整を適切に行うために、撮像装置の車両への取付け位置、向き、および撮像時刻に基づいて、撮像範囲における測光の対象とする測光領域を決定している。 For example, it is known that an imaging device captures an image of the periphery of a vehicle, including the rear of the vehicle, which is difficult for the driver to directly view, and displays the image on a display or the like installed in the vicinity of the driver's seat ( For example, see Patent Document 1). In the method described in Patent Document 1, in order for the imaging device to appropriately perform exposure control and white balance adjustment when imaging the periphery of the vehicle, the imaging device is based on the mounting position, orientation, and imaging time of the imaging device on the vehicle. Thus, the photometric area to be measured in the imaging range is determined.
しかしながら、上述のような従来技術の方法では、例えば、ナンバーライト、バンパー等の車両の表面を構成する部品、または車両の表面に取り付けられた部品の一部に変更があった場合、露出制御、ホワイトバランス調整等の処理を適切に行えないことがある。 However, in the prior art method as described above, for example, when there are changes in parts constituting the surface of the vehicle such as number lights, bumpers, or parts attached to the surface of the vehicle, exposure control, Processing such as white balance adjustment may not be performed properly.
例えば、ナンバーライトが交換されて、交換前よりも明るい光が照射されるようになったとする。その光がバンパーによって反射され撮像装置に入射し、その明るさに影響された露出制御が行われると、バンパー以外の被写体である人物、障害物、路面等が全体として暗くなり、適切に表示されなくなるおそれがある。同様にして、バンパーをエアロパーツのものに交換した場合も、形状が変化したバンパーによって反射された光が撮像装置に入射し、バンパー以外の被写体が適切に表示されなくなるおそれがある。 For example, it is assumed that the number light is exchanged and light that is brighter than before the exchange is emitted. When the light is reflected by the bumper and incident on the imaging device, and exposure control is performed that is affected by the brightness, people, obstacles, road surfaces, etc. that are subjects other than the bumper become dark as a whole and are displayed appropriately. There is a risk of disappearing. Similarly, when the bumper is replaced with an aero part, the light reflected by the bumper whose shape has changed may enter the imaging apparatus, and subjects other than the bumper may not be displayed properly.
したがって、これらの点に着目してなされた本発明の目的は、取り付け位置の周辺で車両に変更があった場合も適切な画像を出力することを可能とする撮像装置、撮像方法、および車両を提供することにある。 Therefore, an object of the present invention made by paying attention to these points is to provide an imaging device, an imaging method, and a vehicle that can output an appropriate image even when the vehicle is changed around the mounting position. It is to provide.
上記目的を達成する撮像装置は、車両の一部を含む該車両周辺を撮像するカメラと、前記カメラにより撮像された画像に基づく処理を行うコントローラと、を備え、前記コントローラは、前記カメラにより撮像された画像を複数の領域に分割し、前記車両の一部を含む前記分割された複数の領域の少なくとも一部の領域の測光値に基づいて、前記処理に用いない対象外領域を決定する。 An imaging apparatus that achieves the above object includes a camera that captures the periphery of the vehicle including a part of the vehicle, and a controller that performs processing based on an image captured by the camera. The controller captures an image using the camera. The divided image is divided into a plurality of areas, and a non-target area not used for the processing is determined based on a photometric value of at least a part of the plurality of divided areas including a part of the vehicle.
また、上記目的を達成する撮像方法は、車両に搭載される撮像装置が実行する撮像方法であって、カメラが、前記車両の一部を含む該車両周辺を撮像する撮像ステップと、コントローラが、前記カメラにより撮像された画像に基づいて撮像条件を決定する決定ステップと、を含み、前記決定ステップは、前記カメラにより撮像された画像を複数の領域に分割し、前記分割された複数の領域の少なくとも一部の領域の測光値に基づいて、前記撮像条件の決定に用いない対象外領域を決定する。 Further, an imaging method for achieving the above object is an imaging method executed by an imaging device mounted on a vehicle, in which an imaging step in which a camera images the periphery of the vehicle including a part of the vehicle, and a controller, Determining an imaging condition based on an image captured by the camera, wherein the determining step divides the image captured by the camera into a plurality of regions, and A non-target region that is not used for determining the imaging condition is determined based on a photometric value of at least a part of the region.
さらに、上記目的を達成する車両は、車両の一部を含む該車両周辺を撮像するカメラと、前記カメラにより撮像された画像に基づいて撮像条件を決定するコントローラと、を備え、前記コントローラは、前記カメラにより撮像された画像を複数の領域に分割し、前記分割された複数の領域の少なくとも一部の領域の測光値に基づいて、前記撮像条件の決定に用いない対象外領域を決定する、前記車両に搭載される撮像装置、を備える。 Further, a vehicle that achieves the above object includes a camera that captures the periphery of the vehicle including a part of the vehicle, and a controller that determines an imaging condition based on an image captured by the camera, wherein the controller includes: Dividing an image captured by the camera into a plurality of regions, and determining a non-target region that is not used for determination of the imaging condition based on a photometric value of at least a part of the plurality of divided regions; An imaging device mounted on the vehicle.
本発明の実施形態によれば、取り付け位置の周辺で車両に変更があった場合も適切な画像を出力ことができる。 According to the embodiment of the present invention, an appropriate image can be output even when the vehicle is changed around the mounting position.
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
<First Embodiment>
A first embodiment of the present invention will be described below with reference to the drawings.
撮像装置１１は、図１に示すように、カメラ１２と、受信部１３と、画像処理部１４と、駆動部１５と、記憶部１６と、出力部１７等を含んで構成される。また、撮像装置１１は、車両１（図２参照）に搭載され、車両１を制御するための車載ＥＣＵ（Engine Control Unit）２５および画像を出力する表示装置２６と電気的に接続されている。 As shown in FIG. 1, the imaging device 11 includes a camera 12, a receiving unit 13, an image processing unit 14, a driving unit 15, a storage unit 16, an output unit 17, and the like. The imaging device 11 is mounted on the vehicle 1 (see FIG. 2), and is electrically connected to an in-vehicle ECU (Engine Control Unit) 25 for controlling the vehicle 1 and a display device 26 that outputs an image.
カメラ１２は、好適にはＣＣＤ（Charge-Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであり、本実施形態では、車両１の一部を含む車両１周辺を被写体として撮像し、画像を生成する。また、カメラ１２が被写体を撮像する方向は任意であるが、以下の説明では、図２に示すように、カメラ１２は車両１の後方を向くように取り付けられるものとする。なお、カメラ１２としては、モノクロカメラであっても、カラーカメラであってもよい。 The camera 12 is preferably a CCD (Charge-Coupled Device) camera or a CMOS (Complementary Metal Oxide Semiconductor) camera. In the present embodiment, the periphery of the vehicle 1 including a part of the vehicle 1 is imaged as a subject, and the image is captured. Generate. The direction in which the camera 12 captures the subject is arbitrary, but in the following description, the camera 12 is attached so as to face the rear of the vehicle 1 as shown in FIG. The camera 12 may be a monochrome camera or a color camera.
以降の説明において、撮像装置１１が車載ＥＣＵ２３から照明２の消灯を示す照明情報を受信した後に、カメラ１２が車両１の一部を含む車両１周辺を撮像して出力した画像を消灯時画像といい、照明２の点灯を示す照明情報を受信した後に、カメラ１２が車両１の一部を含む車両１周辺を撮像して出力した画像を点灯時画像という。また、適宜、消灯時画像および点灯時画像のうち任意の画像を単に画像という。 In the following description, after the imaging device 11 receives illumination information indicating that the illumination 2 is turned off from the in-vehicle ECU 23, an image output by the camera 12 imaging the periphery of the vehicle 1 including a part of the vehicle 1 is referred to as an off-time image. In other words, after receiving the illumination information indicating that the illumination 2 is turned on, an image output by the camera 12 imaging the periphery of the vehicle 1 including a part of the vehicle 1 is referred to as an on-light image. Further, as appropriate, an arbitrary image among the unlit image and the lit image is simply referred to as an image.
カメラ１２は、光学系１８と、撮像素子１９等を含んで構成される。 The camera 12 includes an optical system 18 and an image sensor 19.
光学系１８は、集光性能を有する１つ以上のレンズ等の光学素子を含んで構成される。 The optical system 18 includes one or more optical elements such as a lens having a light collecting performance.
撮像素子１９は、好ましくは、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである。また、撮像素子１９では、光学系１８を通って入射した光を結像させ、結像した像の光を光電変換する。 The image sensor 19 is preferably a CCD image sensor or a CMOS image sensor. The image sensor 19 forms an image of light incident through the optical system 18 and photoelectrically converts the light of the formed image.
受信部１３は、車両１を制御する車載ＥＣＵ２３から照明情報を受信するレシーバーである。照明情報とは、車両１が備える、例えばナンバーライト等の照明２の点灯または消灯の状態を示す情報である。 The receiving unit 13 is a receiver that receives illumination information from the in-vehicle ECU 23 that controls the vehicle 1. The illumination information is information indicating a lighting or extinguishing state of the illumination 2 such as a number light provided in the vehicle 1.
画像処理部１４は、撮像装置１１の種々の演算処理を実行するコントローラであり、ソフトウェアプログラムに従い処理を実行する汎用のＣＰＵ（Central Processing Unit）および／または画像処理用に設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の一つ以上のプロセッサを含んで構成することができる。 The image processing unit 14 is a controller that executes various arithmetic processes of the imaging apparatus 11, and is a general-purpose CPU (Central Processing Unit) that executes processes according to a software program and / or an ASIC (Application Specific) designed for image processing. It can be configured to include one or more processors such as an integrated circuit) or an FPGA (Field-Programmable Gate Array).
また、画像処理部１４は、Ａ／Ｄ（Analog to Digital）変換部２０と、測定部２１と、対象領域決定部２２と、撮像条件決定部２３と、画像補正部２４等の機能ブロックを含んで構成され、カメラ１２によって撮像した画像に基づいて、カメラ１２の撮像条件を決定したり、画像を補正したりする処理を行う。 The image processing unit 14 includes functional blocks such as an A / D (Analog to Digital) conversion unit 20, a measurement unit 21, a target region determination unit 22, an imaging condition determination unit 23, and an image correction unit 24. Based on the image captured by the camera 12, processing for determining the imaging condition of the camera 12 and correcting the image is performed.
次に、画像処理部１４の各構成要素について説明する。 Next, each component of the image processing unit 14 will be described.
Ａ／Ｄ変換部２０は、カメラ１２によって撮像された画像を表すアナログの画像信号をデジタル化するＡ／Ｄ変換を行う。 The A / D converter 20 performs A / D conversion for digitizing an analog image signal representing an image captured by the camera 12.
測定部２１は、カメラ１２に撮像されて、Ａ／Ｄ変換部２０によってＡ／Ｄ変換された画像を分割した領域ごとに輝度（測光値）を測定する。 The measurement unit 21 measures the luminance (photometric value) for each region obtained by dividing the image captured by the camera 12 and A / D converted by the A / D conversion unit 20.
ここで、測定部２１について図３を参照して説明する。 Here, the measurement part 21 is demonstrated with reference to FIG.
測定部２１は、受信部１３が車載ＥＣＵ２３から照明２の消灯状態を示す照明情報を受信すると、カメラ１２によって撮像され、Ａ／Ｄ変換部２０によって変換された画像の各領域の消灯状態における測光値（消灯時測光値ＰＶ１）を測定する。ここで、画像の各領域とは、カメラ１２が撮像した車両１周辺の被写体を表示する画像を複数に分割したそれぞれの領域である。本実施形態では、周辺の被写体とは車両１の後方周辺の被写体である。また、各領域の測光値とは、各領域内の画素の測光値の統計値（例えば、平均値、中央値等）である。 When the receiving unit 13 receives illumination information indicating the extinction state of the illumination 2 from the in-vehicle ECU 23, the measurement unit 21 performs photometry in the extinction state of each area of the image captured by the camera 12 and converted by the A / D conversion unit 20. The value (photometric value PV1 when extinguished) is measured. Here, each area | region of an image is each area | region which divided | segmented the image which displays the to-be-photographed object around the vehicle 1 which the camera 12 imaged into plurality. In the present embodiment, the peripheral subject is a subject around the back of the vehicle 1. Further, the photometric value of each region is a statistical value (for example, an average value, a median value, etc.) of the photometric values of the pixels in each region.
図３に示す例では、画像は、実空間での水平方向に対応する方向（ｘ方向）に８分割、ｘ方向に垂直な方向（ｙ方向）に６分割することによって全４８の領域に分割されている。さらに、測定部２１は、測光値を測定したとき、各領域を一意に識別するための領域識別子と、該領域識別子が表す領域の測光値とを関連付けて記憶部１６に記憶させるように構成される。 In the example shown in FIG. 3, the image is divided into 48 regions by dividing the image into 8 parts in the direction corresponding to the horizontal direction (x direction) in real space and 6 parts in the direction perpendicular to the x direction (y direction). Has been. Further, when measuring the photometric value, the measuring unit 21 is configured to store the area identifier for uniquely identifying each area and the photometric value of the area represented by the area identifier in the storage unit 16 in association with each other. The
領域識別子は、図３に示すような座標（ｘ，ｙ）で表されてもよいし、画像内で一意となる任意の文字、数字、記号、またはそれらの組み合わせによって表されてもよい。以降の説明では、領域識別子は座標（ｘ，ｙ）であるとして説明する。 The region identifier may be represented by coordinates (x, y) as shown in FIG. 3, or may be represented by any character, number, symbol, or combination thereof that is unique within the image. In the following description, it is assumed that the area identifier is coordinates (x, y).
また、測定部２１は、照明２の点灯状態を示す照明情報を受信すると、点灯状態における画像の周辺領域の測光値（点灯時測光値ＰＶ２）を測定する。周辺領域とは、既に説明した画像の複数の領域のうち、画像の外周部に位置する領域である。図３に示す例では、周辺領域は、座標（１，ｍ），（８，ｍ），（ｎ，１），（ｎ，６）（ただし、ｍ＝１〜６、ｎ＝１〜８）の領域である。 Further, when receiving the illumination information indicating the lighting state of the illumination 2, the measuring unit 21 measures the photometric value (lighting photometric value PV2) of the peripheral region of the image in the lighting state. The peripheral region is a region located in the outer peripheral portion of the image among the plurality of regions of the image described above. In the example shown in FIG. 3, the peripheral area has coordinates (1, m), (8, m), (n, 1), (n, 6) (where m = 1 to 6, n = 1 to 8). It is an area.
車両１に取り付けられている照明２、バンパー３等の部品が交換された場合、カメラ１２の撮像範囲において画像の周辺領域に対応する部分の明るさが大きく変化することがある。例えば、照明２がＬＥＤ（light emitting diode）光源に変更されると、図２に示すカメラ１２の鉛直上方にある、トランクの取っ手４に反射した光の強度が高くなり、画像の上側の周辺領域において測光値が高くなる。また、例えば、図２に示すようなカメラ１２の鉛直下方にあるバンパー３がより大きなエアロバンパーに交換されると、図３（ｂ）の破線内に示すように画像の下側の周辺領域に対応する測光値が高くなる。したがって、対象領域決定部２２が、車両１の部品により測光値に影響が及ぼされやすい周辺領域のうちいずれの領域を上述のような処理の対象とするかを決定するために、測定部２１は、決定に要する点灯時測光値ＰＶ２を周辺領域についてのみ測定する。 When parts such as the illumination 2 and the bumper 3 attached to the vehicle 1 are exchanged, the brightness of the portion corresponding to the peripheral region of the image in the imaging range of the camera 12 may change greatly. For example, when the illumination 2 is changed to an LED (light emitting diode) light source, the intensity of the light reflected on the trunk handle 4 that is vertically above the camera 12 shown in FIG. The photometric value becomes high at. In addition, for example, when the bumper 3 vertically below the camera 12 as shown in FIG. 2 is replaced with a larger aero bumper, as shown in the broken line in FIG. The corresponding photometric value increases. Therefore, in order for the target region determination unit 22 to determine which region among the peripheral regions that are likely to affect the photometric value due to the parts of the vehicle 1 to be subjected to the processing as described above, the measurement unit 21 The lighting-time photometric value PV2 required for the determination is measured only for the peripheral region.
また、対象領域決定部２２は、各周辺領域を表す領域識別子に関連付けて記憶部１６に記憶されている消灯時測光値ＰＶ１を読み出す。そして、対象領域決定部２２は、周辺領域ごとに、測定部２１によって測定した点灯時測光値ＰＶ２と、点灯時測光値ＰＶ２に係る領域と同一の位置にある領域についての消灯時測光値ＰＶ１とを比較して、各周辺領域を対象外領域とするか否かを決定する。具体的には、対象領域決定部２２は、各領域についての消灯時測光値ＰＶ１と点灯時測光値ＰＶ２との差｜ＰＶ２−ＰＶ１｜が所定の値ＰＶ０以上であるか否かを判定する。差｜ＰＶ２−ＰＶ１｜が所定の値ＰＶ０以上であると判定された場合、対象領域決定部２２は、消灯時測光値ＰＶ１および点灯時測光値ＰＶ２に係る周辺領域を対象外領域と決定する。 In addition, the target area determination unit 22 reads the off-time photometric value PV1 stored in the storage unit 16 in association with the area identifier representing each peripheral area. Then, the target area determination unit 22 determines the lighting-time photometric value PV2 measured by the measurement unit 21 and the extinction-time photometric value PV1 of the area at the same position as the area related to the lighting-time photometric value PV2 for each peripheral area. Are compared to determine whether each peripheral region is a non-target region. Specifically, the target region determination unit 22 determines whether or not the difference | PV2-PV1 | between the light-on metering value PV1 and the light-on metering value PV2 for each region is equal to or greater than a predetermined value PV0. When it is determined that the difference | PV2−PV1 | is equal to or greater than the predetermined value PV0, the target region determination unit 22 determines the peripheral regions related to the light-on metering value PV1 and the light-on metering value PV2 as non-target regions.
撮像条件決定部２３は、照明２の点灯時には、カメラ１２によって撮像した画像の全領域のうち対象領域決定部２２によって決定された対象外領域を除く対象領域を選択する。そして、撮像条件決定部２３は、選択した各対象領域について測光して、カメラ１２の絞り、シャッター速度、感度等の撮像条件を決定する。また、撮像条件決定部２３は、照明２の消灯時には、カメラ１２によって撮像した画像の全領域を測光して撮像条件を決定する。 When the illumination 2 is turned on, the imaging condition determination unit 23 selects a target region excluding the non-target region determined by the target region determination unit 22 from the entire region of the image captured by the camera 12. Then, the imaging condition determination unit 23 performs photometry for each selected target region, and determines imaging conditions such as the aperture, shutter speed, and sensitivity of the camera 12. In addition, when the illumination 2 is turned off, the imaging condition determining unit 23 measures the entire area of the image captured by the camera 12 and determines the imaging condition.
画像補正部２４は、照明２の点灯時には、カメラ１２によって撮像されて、Ａ／Ｄ変換部２０によってＡ／Ｄ変換された画像について、対象領域決定部２２によって決定された対象外領域を除いた対象領域について測色を行い、ホワイトバランスを調整する。また、画像補正部２４は、照明２の消灯時には、カメラ１２によって撮像した画像の全領域を測色して画像を補正、例えば、ホワイトバランスを調整する。このように点灯時に対象外領域を除くことで、撮像装置１１を搭載した際には想定されていない、バンパー３などが画像内に映り、その色が測色に影響を与えることを避けることが可能になる。画像補正部２４は、ホワイトバランス調整に加え、明度調整、コントラスト調整、ガンマ補正等の画像補正も行うことができる。 The image correction unit 24 excludes the non-target region determined by the target region determination unit 22 from the image captured by the camera 12 and A / D converted by the A / D conversion unit 20 when the illumination 2 is turned on. Measure the color of the target area and adjust the white balance. Further, when the illumination 2 is turned off, the image correcting unit 24 corrects the image by measuring the entire area of the image captured by the camera 12, for example, adjusts the white balance. In this way, by excluding the non-target region when the light is turned on, it is possible to avoid the bumper 3 and the like appearing in the image, which is not assumed when the imaging device 11 is mounted, and that the color affects the colorimetry. It becomes possible. The image correction unit 24 can perform image correction such as brightness adjustment, contrast adjustment, and gamma correction in addition to white balance adjustment.
駆動部１５は、撮像条件決定部２３によって決定した撮像条件でカメラ１２が駆動するように、カメラ１２に撮像条件を設定する。 The drive unit 15 sets the imaging condition in the camera 12 so that the camera 12 is driven with the imaging condition determined by the imaging condition determination unit 23.
記憶部１６は、画像の各領域を一意に識別するための領域識別子と、測定部２１によって測定された、領域識別子が表す領域の消灯時測光値ＰＶ１とを関連付けて記憶する。また、記憶部１６は、点灯時測光値ＰＶ２も記憶するようにしてもよい。 The storage unit 16 associates and stores a region identifier for uniquely identifying each region of the image and the extinction photometric value PV1 of the region represented by the region identifier measured by the measurement unit 21. The storage unit 16 may also store the lighting photometric value PV2.
出力部１７は、画像補正部２４によってホワイトバランスが調整された画像を車載ＥＣＵ２５、表示装置２６等に出力する。 The output unit 17 outputs an image whose white balance has been adjusted by the image correction unit 24 to the in-vehicle ECU 25, the display device 26, and the like.
続いて、図４のフローチャートを用いて、本実施形態に係る撮像装置１１の撮像方法における処理の対象領域を決定する方法について説明する。以降の処理は、例えば、照明２を点灯するために車両１の周辺が暗くなったことがセンサによって検知されたときに実行される。また、以降の処理が実行されるタイミングはこれに限られず、夜間において車両１のアクセサリー電源がＯＮとなるたび、または、エンジンが起動されるたびに実行されてもよい。また、所定の時間ごとに１回実行されてもよいし、車両１の部品を交換した後にユーザによって処理開始の指示がされたときに実行されてもよい。また、本方法は、夜間やトンネル内にいるときといった照明２を点灯させる必要がある状況で実行される。また、例えば、車両１が車庫内にある場合に、車庫内に設けられた照明のような、車両１の外部からの照明が車両１の一部に照射されて、カメラ１２の撮像範囲における画像の周辺領域に対応する部分の明るさが変化する状況で実行されてもよい。 Next, a method for determining a processing target area in the imaging method of the imaging apparatus 11 according to the present embodiment will be described using the flowchart of FIG. The subsequent processing is executed, for example, when the sensor detects that the periphery of the vehicle 1 has become dark in order to turn on the illumination 2. The timing at which the subsequent processing is executed is not limited to this, and may be executed every time the accessory power supply of the vehicle 1 is turned on at night or when the engine is started. Alternatively, it may be executed once every predetermined time, or may be executed when the user gives an instruction to start processing after replacing parts of the vehicle 1. The method is also performed in situations where it is necessary to turn on the lighting 2 such as at night or when in a tunnel. Further, for example, when the vehicle 1 is in the garage, illumination from the outside of the vehicle 1, such as illumination provided in the garage, is irradiated to a part of the vehicle 1, and an image in the imaging range of the camera 12. It may be executed in a situation where the brightness of the portion corresponding to the peripheral region of the screen changes.
まず、受信部１３が車両１の照明情報を車載ＥＣＵ２３から取得して、対象領域決定部２２が、受信部１３によって受信した照明情報に基づいて照明２が消灯状態であるか否かを判定する（ステップＳ１１）。照明２が消灯状態であると判定されると、対象領域決定部２２は、予め定められた撮像条件（絞り、シャッター速度、感度等）に基づいて駆動部１５を制御して、カメラ１２に車両１の一部を含む該車両１周辺を撮像させる（ステップＳ１２）。ステップＳ１１で照明２が消灯状態でないと判定された場合、引き続き、対象領域決定部２２は、照明２が消灯状態であるか否かを判定して（ステップＳ１１）、消灯状態となってからカメラ１２に車両１周辺を撮像させる（ステップＳ１２）。 First, the receiving unit 13 acquires the lighting information of the vehicle 1 from the in-vehicle ECU 23, and the target area determining unit 22 determines whether or not the lighting 2 is turned off based on the lighting information received by the receiving unit 13. (Step S11). When it is determined that the illumination 2 is off, the target area determination unit 22 controls the driving unit 15 based on predetermined imaging conditions (aperture, shutter speed, sensitivity, etc.) and causes the camera 12 to The periphery of the vehicle 1 including a part of 1 is imaged (step S12). When it is determined in step S11 that the illumination 2 is not turned off, the target area determination unit 22 continues to determine whether or not the illumination 2 is turned off (step S11). 12 is made to image the periphery of the vehicle 1 (step S12).
ステップＳ１２で消灯時画像が撮像されると、Ａ／Ｄ変換部２０は、カメラ１２によって撮像された消灯時画像をＡ／Ｄ変換する（ステップＳ１３）。 When the unlit image is captured in step S12, the A / D converter 20 performs A / D conversion on the unlit image captured by the camera 12 (step S13).
ステップＳ１２で消灯時画像がＡ／Ｄ変換されると、測定部２１は消灯時画像の各領域の消灯時測光値ＰＶ１を測定する（ステップＳ１４）。ここで測定された消灯時測光値ＰＶ１は、領域識別子に関連付けて記憶部１６に記憶される。 When the unlit image is A / D converted in step S12, the measuring unit 21 measures the unlit photometric value PV1 of each area of the unlit image (step S14). The extinction photometric value PV1 measured here is stored in the storage unit 16 in association with the region identifier.
ステップＳ１４で各領域の消灯時測光値ＰＶ１が測定されると、対象領域決定部２２は、車載ＥＣＵ２３からの照明情報に基づいて車両１の照明２が点灯状態であるか否かを判定する（ステップＳ１５）。ステップＳ１５で、照明２が点灯状態であると判定されると、対象領域決定部２２は、消灯時と同じ予め定められた撮像条件に基づいて駆動部１５を制御して、カメラ１２に車両１の一部を含む車両１周辺を撮像させる（ステップＳ１６）。ステップＳ１５で、照明２が点灯状態でないと判定されると、ふたたびステップＳ１２に戻ってステップＳ１２〜Ｓ１５の処理が繰り返される。これにより、記憶部１６の消灯時測光値ＰＶ１は、新しい値に更新される。 When the extinction photometric value PV1 of each area is measured in step S14, the target area determination unit 22 determines whether or not the illumination 2 of the vehicle 1 is in a lighting state based on the illumination information from the in-vehicle ECU 23 ( Step S15). If it determines with the illumination 2 being a lighting state by step S15, the object area | region determination part 22 will control the drive part 15 based on the same predetermined imaging conditions as the time of light extinction, and will make the camera 12 vehicle 1 The periphery of the vehicle 1 including a part of the vehicle is imaged (step S16). If it determines with the illumination 2 not being a lighting state by step S15, it will return to step S12 again and the process of step S12-S15 will be repeated. As a result, the extinction photometric value PV1 of the storage unit 16 is updated to a new value.
ステップＳ１６で点灯時画像が撮像されると、Ａ／Ｄ変換部２０は、カメラ１２によって撮像された点灯時画像をＡ／Ｄ変換する（ステップＳ１７）。 When the lighting image is captured in step S16, the A / D conversion unit 20 performs A / D conversion on the lighting image captured by the camera 12 (step S17).
ステップＳ１７で点灯時画像がＡ／Ｄ変換されると、測定部２１は、照明２の点灯状態で撮像された点灯時画像の各周辺領域についての点灯時測光値ＰＶ２を測定する（ステップＳ１８）。 When the lighting image is A / D converted in step S17, the measuring unit 21 measures the lighting photometric value PV2 for each peripheral region of the lighting image captured in the lighting state of the illumination 2 (step S18). .
ステップＳ１８で点灯時画像の各周辺領域についての点灯時測光値ＰＶ２が測定されると、対象領域決定部２２は、周辺領域ごとに、測定部２１によって測定した点灯時測光値ＰＶ２と、点灯時測光値ＰＶ２に係る領域と同一の領域を表す領域識別子に関連付けて記憶部１６に記憶されている、直前に撮像された消灯時画像の消灯時測光値ＰＶ１とに基づいて各周辺領域を対象外領域とするか否かを決定する。 When the lighting-time photometric value PV2 for each peripheral area of the lighting-time image is measured in step S18, the target area determining unit 22 determines the lighting-time photometric value PV2 measured by the measurement unit 21 for each peripheral area and the lighting time. Each peripheral region is excluded from the target based on the extinction photometric value PV1 of the extinguished image captured immediately before, which is stored in the storage unit 16 in association with the area identifier representing the same area as the area related to the photometric value PV2. Decide whether or not to be an area.
ここでの説明においては、ｎ個の周辺領域それぞれを周辺領域１，２，・・・，ｉ，・・・ｎとする。対象領域決定部２２は、ｉ＝１として（ステップＳ１９およびＳ２０）、周辺領域ｉ、すなわち周辺領域１について消灯時測光値ＰＶ１と点灯時測光値ＰＶ２との差｜ＰＶ２−ＰＶ１｜が所定の値ＰＶ０以上であるか否かを判定する（ステップＳ２１）。ステップＳ２１で、差｜ＰＶ１−ＰＶ２｜が所定の値ＰＶ０以上であると判定された場合、対象領域決定部２２は、消灯時測光値ＰＶ１および点灯時測光値ＰＶ２に係る周辺領域である周辺領域１を対象外領域であると決定する（ステップＳ２２）。また、ステップＳ２１で、差｜ＰＶ１−ＰＶ２｜が所定の値ＰＶ０未満であると判定された場合、対象領域決定部２２は、消灯時測光値ＰＶ１および点灯時測光値ＰＶ２に係る周辺領域である周辺領域１を対象外領域でないと決定する（ステップＳ２３）。 In the description here, each of the n peripheral areas is referred to as peripheral areas 1, 2,..., I,. The target area determination unit 22 sets i = 1 (steps S19 and S20), and for the peripheral area i, that is, the peripheral area 1, the difference | PV2-PV1 | It is determined whether or not PV0 or higher (step S21). When it is determined in step S21 that the difference | PV1-PV2 | is equal to or greater than the predetermined value PV0, the target region determination unit 22 is a peripheral region that is a peripheral region related to the light-on metering value PV1 and the light-on metering value PV2. 1 is determined to be a non-target region (step S22). If it is determined in step S21 that the difference | PV1-PV2 | is less than the predetermined value PV0, the target area determination unit 22 is a peripheral area related to the light-on metering value PV1 and the light-on metering value PV2. It is determined that the peripheral area 1 is not a non-target area (step S23).
対象領域決定部２２は、ステップＳ２１〜２３で周辺領域１について対象外領域であるか否かを決定すると、ｉ＝ｎであるか否かを判定する（ステップＳ２４）。ステップＳ２４で、ｉ＝ｎでないと判定された場合、ステップＳ２０に戻って、ｉ＝ｉ＋１として周辺領域ｉ、すなわち周辺領域２について消灯時測光値ＰＶ１と点灯時測光値ＰＶ２との差｜ＰＶ１−ＰＶ２｜が所定の値ＰＶ０以上であるか否かを判定し、その周辺領域が測光値の測定の対象であるか否かを決定する（ステップＳ２１〜Ｓ２３）。 When the target area determination unit 22 determines whether or not the peripheral area 1 is a non-target area in steps S21 to S23, the target area determination unit 22 determines whether i = n (step S24). If it is determined in step S24 that i = n is not satisfied, the process returns to step S20, i = i + 1 is set, and the difference between the extinction metering value PV1 and the lighting metering value PV2 for the peripheral region i, that is, the peripheral region 2, | PV1- It is determined whether or not PV2 | is equal to or greater than a predetermined value PV0, and it is determined whether or not the surrounding area is a target of photometric value measurement (steps S21 to S23).
また、ステップＳ２２でｉ＝ｎであると判定された場合、全ての周辺領域について対象外領域であるか否かが決定されたため、対象領域決定部２２は、決定された対象領域の情報を、撮像条件決定部２３および画像補正部２４等に通知し、対象領域を判定する処理を終了する。 Further, when it is determined in step S22 that i = n, it is determined whether or not all the peripheral regions are non-target regions, so the target region determination unit 22 determines the information on the determined target region as follows: The imaging condition determination unit 23, the image correction unit 24, and the like are notified, and the process of determining the target area is ended.
このようにして、対象外領域を決定する処理が終了した後においては、画像処理部１４は直近に決定された対象領域に基づいて処理を行う。具体的には、撮像条件決定部２３は、直近に決定された対象領域に基づいてカメラ１２の撮像条件を決定し、画像補正部２４は、直近に決定された対象領域に基づいて画像の補正、例えばホワイトバランスの調整を行う。ここで、撮像条件の決定およびホワイトバランスの調整は、いずれか一方が行われてもよいし、双方が行われてもよい。 In this way, after the process of determining the non-target area is completed, the image processing unit 14 performs the process based on the target area determined most recently. Specifically, the imaging condition determination unit 23 determines the imaging condition of the camera 12 based on the most recently determined target area, and the image correction unit 24 corrects the image based on the most recently determined target area. For example, white balance adjustment is performed. Here, either one of the determination of the imaging condition and the adjustment of the white balance may be performed, or both may be performed.
以上説明したように、第１の実施形態によれば、撮像装置１１は、点灯時画像および消灯時画像の周辺領域に基づいてカメラ１２の撮像条件を決定するため、照明２の点灯時に撮像条件に影響を及ぼす領域を除いて露出制御された画像を出力することができる。例えば、バンパー３がエアロバンパーに交換されたことによって、照明２からの光が反射されるようになる場合、撮像装置１１は、バンパー３が表示される領域を除いて撮像条件を決定するため、バンパー３を表示する領域以外の領域が全体として暗くなって被写体が視認されにくくなるのを回避することができる。同時に、画像にバンパー３が含まれない場合には全ての領域を対象とすることによって、できるだけの多くの情報を用いて露出条件を決定することができる。 As described above, according to the first embodiment, since the imaging device 11 determines the imaging condition of the camera 12 based on the peripheral area of the lighting image and the lighting image, the imaging condition when the illumination 2 is turned on. It is possible to output an exposure-controlled image excluding a region that affects the image quality. For example, when the light from the illumination 2 is reflected by replacing the bumper 3 with an aero bumper, the imaging device 11 determines the imaging conditions except for the area where the bumper 3 is displayed. It can be avoided that the area other than the area where the bumper 3 is displayed becomes dark as a whole and the subject is not easily seen. At the same time, when the bumper 3 is not included in the image, the exposure condition can be determined using as much information as possible by targeting all the regions.
同様にして、撮像装置１１は、点灯時画像および消灯時画像の周辺領域に基づいてカメラ１２のホワイトバランスを調整するため、照明２を反射する車両１の一部に影響される領域を除いてホワイトバランスを調整することができる。例えば、車体の表面が例えば、黄色、青色等である場合、画像にその一部が含まれると、車体の色に影響を受けて全体のホワイトバランスが調整されてしまう。そのため、撮像装置１１は、車体の一部が表示されている領域を測色の対象外領域とすることによって車体の色に影響を受けずに適切なホワイトバランスを調整することができる。 Similarly, since the imaging device 11 adjusts the white balance of the camera 12 based on the peripheral region of the on-image and the off-image, except for the region affected by a part of the vehicle 1 that reflects the illumination 2. The white balance can be adjusted. For example, when the surface of the vehicle body is, for example, yellow, blue, etc., if a part of the image is included in the image, the overall white balance is adjusted by being influenced by the color of the vehicle body. Therefore, the imaging apparatus 11 can adjust an appropriate white balance without being affected by the color of the vehicle body by setting an area where a part of the vehicle body is displayed as a non-color measurement target area.
＜第２の実施形態＞
続いて、本発明の第２の実施形態について説明する。
<Second Embodiment>
Subsequently, a second embodiment of the present invention will be described.
第２の実施形態に係る撮像装置１１は、第１の実施形態に係る撮像装置１１と同様に、カメラ１２と、受信部１３と、画像処理部１４と、駆動部１５と、記憶部１６と、出力部１７等を含んで構成され、画像処理部１４は、Ａ／Ｄ変換部２０と、測定部２１、対象領域決定部２２と、撮像条件決定部２３と、画像補正部２４等の機能ブロックを含んで構成される。 Similar to the imaging device 11 according to the first embodiment, the imaging device 11 according to the second embodiment includes a camera 12, a receiving unit 13, an image processing unit 14, a driving unit 15, and a storage unit 16. The image processing unit 14 includes functions such as an A / D conversion unit 20, a measurement unit 21, a target region determination unit 22, an imaging condition determination unit 23, an image correction unit 24, and the like. Consists of blocks.
第１の実施形態では、測定部２１は、消灯時測光値ＰＶ１および点灯時測光値ＰＶ２を測定するが、第２の実施形態では、測定部２１は、点灯時測光値ＰＶ２のみを測定する。 In the first embodiment, the measurement unit 21 measures the light-time metering value PV1 and the light-time metering value PV2. In the second embodiment, the measurement unit 21 measures only the light-time metering value PV2.
対象領域決定部２２は、測定部２１によって周辺領域ごとに測定された点灯時測光値ＰＶ２が所定の値ＰＶ０’以上である場合に、点灯時測光値ＰＶ２に係る周辺領域を対象外領域とする。所定の値ＰＶ０’は、夜間における周辺環境から一般的に得られる測光値よりも、十分大きな値が設定される。 When the lighting-time photometric value PV2 measured for each peripheral area by the measurement unit 21 is equal to or greater than a predetermined value PV0 ′, the target area determination unit 22 sets the peripheral area related to the lighting-time photometric value PV2 as an untargeted area. . The predetermined value PV0 'is set to a value sufficiently larger than a photometric value generally obtained from the surrounding environment at night.
第２の実施形態におけるその他の構成、作用は第１の実施形態と同様なので、同一または対応する構成要素には、同一参照符号を付して説明を省略する。 Since other configurations and operations in the second embodiment are the same as those in the first embodiment, the same or corresponding components are denoted by the same reference numerals and description thereof is omitted.
図５のフローチャートを用いて、本実施形態に係る撮像装置１１の撮像方法における処理の対象領域を決定する方法について説明する。 A method for determining a processing target area in the imaging method of the imaging apparatus 11 according to the present embodiment will be described with reference to the flowchart of FIG.
まず、対象領域決定部２２は、車載ＥＣＵ２３からの照明情報に基づいて車両１の照明２が点灯状態であるか否かを判定する（ステップＳ３１）。照明２が点灯状態であると判定されると、対象領域決定部２２は、予め定められた撮像条件に基づいて駆動部１５を制御して、カメラ１２に車両１の一部を含む車両１周辺を撮像させる（ステップＳ３２）。ステップＳ３１で照明２が点灯状態でないと判定された場合、引き続き、対象領域決定部２２は、照明２が点灯状態であるか否かを判定して、点灯状態となってからカメラ１２に車両１の一部を含む車両１周辺を撮像させる（ステップＳ３２）。 First, the target area determination unit 22 determines whether or not the illumination 2 of the vehicle 1 is in a lighting state based on the illumination information from the in-vehicle ECU 23 (step S31). When it is determined that the illumination 2 is in the lighting state, the target area determination unit 22 controls the driving unit 15 based on a predetermined imaging condition, and the camera 1 includes a part of the vehicle 1 around the vehicle 1. Is imaged (step S32). If it is determined in step S31 that the illumination 2 is not in the lighting state, the target area determination unit 22 continues to determine whether the illumination 2 is in the lighting state. The periphery of the vehicle 1 including a part of the vehicle is imaged (step S32).
ステップＳ３２で点灯時画像が撮像されると、Ａ／Ｄ変換部２０は、カメラ１２によって撮像された点灯時画像をＡ／Ｄ変換する（ステップＳ３３）。 When the lighting image is captured in step S32, the A / D conversion unit 20 performs A / D conversion on the lighting image captured by the camera 12 (step S33).
ステップＳ３３で点灯時画像がＡ／Ｄ変換されると、測定部２１は、Ａ／Ｄ変換された点灯時画像の各周辺領域についての点灯時測光値ＰＶ２を測定する（ステップＳ３４）。 When the lighting image is A / D converted in step S33, the measurement unit 21 measures the lighting photometric value PV2 for each peripheral region of the lighting image subjected to A / D conversion (step S34).
ステップＳ３４で点灯時画像の各周辺領域についての点灯時測光値ＰＶ２が測定されると、対象領域決定部２２は、周辺領域ごとに、点灯時測光値ＰＶ２に基づいて各周辺領域を対象外領域とするか否かを決定する。 When the lighting photometry value PV2 for each peripheral area of the lighting image is measured in step S34, the target area determination unit 22 determines each peripheral area as a non-target area for each peripheral area based on the lighting photometry value PV2. Decide whether or not.
ここでの説明においては、ｎ個の周辺領域それぞれを領域１，２，・・・，ｉ，・・・ｎとする。対象領域決定部２２は、ｉ＝１として（ステップＳ３５およびＳ３６）、領域ｉ、すなわち領域１について点灯時測光値ＰＶ２が所定の値ＰＶ０’以上であるか否かを判定する（ステップＳ３７）。ステップＳ３７で点灯時測光値ＰＶ２が所定の値ＰＶ０’以上であると判定された場合、対象領域決定部２２は、点灯時測光値ＰＶ２に係る周辺領域を対象外領域であると決定する（ステップＳ３８）。また、ステップＳ３７で、点灯時測光値ＰＶ２が所定の値ＰＶ０’未満であると判定された場合、対象領域決定部２２は、点灯時測光値ＰＶ２に係る周辺領域を対象外領域でないと決定する（ステップＳ３９）。 In the description here, each of the n peripheral regions is defined as regions 1, 2,..., I,. The target area determination unit 22 sets i = 1 (steps S35 and S36), and determines whether or not the lighting-time photometric value PV2 is greater than or equal to a predetermined value PV0 'for the area i, that is, the area 1 (step S37). When it is determined in step S37 that the lighting photometry value PV2 is equal to or greater than the predetermined value PV0 ′, the target area determination unit 22 determines that the peripheral area related to the lighting photometry value PV2 is a non-target area (step). S38). If it is determined in step S37 that the lighting photometry value PV2 is less than the predetermined value PV0 ′, the target area determination unit 22 determines that the peripheral area related to the lighting photometry value PV2 is not a non-target area. (Step S39).
対象領域決定部２２は、ステップＳ３７〜３９で周辺領域１について対象外領域であるか否かを決定すると、ｉ＝ｎであるか否かを判定する（ステップＳ４０）。ステップＳ４０で、ｉ＝ｎでないと判定された場合、ステップＳ３６に戻って、ｉ＝ｉ＋１として周辺領域ｉ、すなわち周辺領域２について点灯時測光値ＰＶ２が所定の値ＰＶ０’以上であるか否かを判定し、その周辺領域が測光値の測定の対象であるか否かを決定する（ステップＳ３７〜Ｓ３９）。 When the target area determination unit 22 determines whether or not the peripheral area 1 is a non-target area in steps S37 to S39, it determines whether or not i = n (step S40). If it is determined in step S40 that i = n is not satisfied, the process returns to step S36, where i = i + 1 is set, and whether or not the lighting photometric value PV2 for the peripheral area i, that is, the peripheral area 2, is equal to or greater than a predetermined value PV0 ′. Is determined, and it is determined whether or not the surrounding area is a target of photometric value measurement (steps S37 to S39).
また、ステップＳ４０でｉ＝ｎであると判定された場合、全ての周辺領域について対象外領域であるか否かが決定されたため、対象領域決定部２２は、決定された対象領域の情報を、撮像条件決定部２３および画像補正部２４等に通知し、対象領域を判定する処理を終了する。 Further, when it is determined in step S40 that i = n, it is determined whether or not all the peripheral regions are non-target regions, so the target region determination unit 22 determines the information on the determined target region as follows: The imaging condition determination unit 23, the image correction unit 24, and the like are notified, and the process of determining the target area is ended.
また、第１の実施形態と同様に、対象外領域を決定する処理が終了した後においては、画像処理部１４は直近に決定された対象領域に基づいて処理を行う。具体的には、撮像条件決定部２３は、直近に決定された対象領域に基づいてカメラ１２の撮像条件を決定し、画像補正部２４は、直近に決定された対象領域に基づいて画像の補正、例えばホワイトバランスの調整を行う。ここで、撮像条件の決定とホワイトバランスの調整は、いずれか一方が行われてもよいし、双方が行われてもよい。 Similarly to the first embodiment, after the process of determining the non-target area is completed, the image processing unit 14 performs the process based on the target area determined most recently. Specifically, the imaging condition determination unit 23 determines the imaging condition of the camera 12 based on the most recently determined target area, and the image correction unit 24 corrects the image based on the most recently determined target area. For example, white balance adjustment is performed. Here, either one of the determination of the imaging condition and the adjustment of the white balance may be performed, or both may be performed.
以上説明したように、第２の実施形態によれば、照明２、バンパー３等の車体の一部の変更に伴って画像に含まれるようになった、撮像装置１１の処理に影響を与える領域を除外して処理を行うことができる。 As described above, according to the second embodiment, the area that affects the processing of the imaging device 11 that is included in the image due to a change in a part of the vehicle body such as the illumination 2 and the bumper 3. It is possible to carry out processing by excluding.
また、第２の実施形態においては、撮像装置１１は、消灯時画像の周辺領域についての測光値を測定したり、測定した測光値を記憶したりする必要がなく、そのため、コントローラの処理負荷、およびメモリの容量を低減することができる。 Further, in the second embodiment, the imaging device 11 does not need to measure the photometric value for the peripheral region of the off-light image or store the measured photometric value. In addition, the memory capacity can be reduced.
（変形例）
本発明は、上記実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、第１の実施形態において、測定部２１は消灯時測光値ＰＶ１を測定し、その後、点灯時測光値ＰＶ２を測定しているが、この限りではない。測定部２１は点灯時測光値ＰＶ２を測定し、その後、消灯時測光値ＰＶ１を測定してもよい。
(Modification)
The present invention is not limited to the above-described embodiment, and many variations or modifications are possible. For example, in the first embodiment, the measurement unit 21 measures the photometric value PV1 when turned off and then measures the photometric value PV2 when turned on, but this is not a limitation. The measuring unit 21 may measure the photometric value PV2 when turned on, and then measure the photometric value PV1 when turned off.
また、撮像装置１１は、対象領域を決定する方法が開始されて、最初に受信した照明情報が点灯状態を表す場合には、点灯時画像についての撮像及び測定を行った後に消灯時画像についての撮像及び測定を行い、最初に受信した照明情報が点灯状態を表す場合には、消灯時画像についての撮像及び測定を行った後に点灯時画像についての撮像及び測定を行うようにしてもよい。 In addition, when the method for determining the target area is started and the first received illumination information indicates a lighting state, the imaging device 11 performs imaging and measurement on the lighting image and then performs the lighting on the lighting image. When imaging and measurement are performed and the illumination information received first represents a lighting state, the lighting image may be captured and measured after the lighting image is captured and measured.
また、上記実施形態においては、消灯時測光値ＰＶ１は、消灯時の任意のタイミングで取得することができる。例えば、消灯時測光値ＰＶ１の測定は消灯時に一定時間ごとに実行し、照明２が点灯したときは、直前に測定した消灯時測光値ＰＶ１を用いて対象外領域か否かの決定をするようにしてもよい。 Moreover, in the said embodiment, the photometric value PV1 at the time of light extinction can be acquired at the arbitrary timings at the time of light extinction. For example, the measurement of the photometric value PV1 when the light is turned off is executed at regular intervals when the light is turned off, and when the illumination 2 is turned on, it is determined whether or not it is a non-target region by using the photometric value PV1 when the light is turned off immediately before. It may be.
また、上記実施形態においては、画像の領域を、水平方向および垂直方向にそれぞれ分割した領域としたが、画像の領域の設定方法はこれに限られない。例えば、画像の中央領域と周辺領域とに分け、周辺領域を分割した領域としてもよい。 In the above embodiment, the image area is divided into the horizontal direction and the vertical direction, but the method for setting the image area is not limited to this. For example, the image may be divided into a central area and a peripheral area of the image, and the peripheral area may be divided.
また、上記実施形態においては、測光値を測定する画像の周辺領域は、画像の周縁に沿って一周するように配置された領域に限られず、その一部、例えば、画像の上側の周辺領域としてもよい。 In the above embodiment, the peripheral region of the image for measuring the photometric value is not limited to the region arranged so as to make a round along the periphery of the image, but a part thereof, for example, the peripheral region on the upper side of the image Also good.
また、上記第１の実施形態においては、消灯時測光値ＰＶ１と点灯時測光値ＰＶ２との差を所定の値と比較することによって、対象外領域であるか否かを決定しているが、これに限られない。光量が他の領域に比べて多いために露出制御、ホワイトバランス調整に影響を与える領域を決定する任意の演算を用いて消灯時測光値ＰＶ１と点灯時測光値ＰＶ２に基づいて対象外領域であるか否かを決定することができる。 In the first embodiment, the difference between the extinction metering value PV1 and the lighting metering value PV2 is compared with a predetermined value to determine whether or not it is a non-target region. It is not limited to this. Since the amount of light is larger than in other areas, it is an out-of-target area based on the off-light metering value PV1 and the on-light metering value PV2 using an arbitrary calculation that determines an area that affects exposure control and white balance adjustment. Or not.
１ 車両
２ 照明
３ バンパー
４ 取っ手
１１ 撮像装置
１２ カメラ
１３ 受信部
１４ 画像処理部
１５ 駆動部
１６ 記憶部
１７ 出力部
１８ 光学系
１９ 撮像素子
２０ Ａ／Ｄ変換部
２１ 測定部
２２ 対象領域決定部
２３ 撮像条件決定部
２４ 画像補正部
２５ 車載ＥＣＵ
２６ 表示装置
DESCRIPTION OF SYMBOLS 1 Vehicle 2 Illumination 3 Bumper 4 Handle 11 Imaging device 12 Camera 13 Reception part 14 Image processing part 15 Drive part 16 Storage part 17 Output part 18 Optical system 19 Imaging element 20 A / D conversion part 21 Measurement part 22 Target area | region determination part 23 Imaging condition determination unit 24 Image correction unit 25 In-vehicle ECU
26 Display device
Claims (10)
前記カメラにより撮像された画像に基づく処理を行うコントローラと、を備え、
前記コントローラは、前記カメラにより撮像された画像を複数の領域に分割し、前記車両の一部を含む前記分割された複数の領域の少なくとも一部の領域の測光値に基づいて、前記処理に用いない対象外領域を決定する、
前記車両に搭載される撮像装置。 A camera for imaging the periphery of the vehicle including a part of the vehicle;
A controller that performs processing based on an image captured by the camera,
The controller divides an image captured by the camera into a plurality of regions, and uses the controller for the processing based on a photometric value of at least a part of the plurality of divided regions including a part of the vehicle. Determine the non-target areas,
An imaging device mounted on the vehicle.
前記コントローラは、前記点灯の状態を示す前記照明情報を受信すると、前記対象外領域を決定する、請求項１または２に記載の撮像装置。 A receiver for receiving lighting information indicating a lighting or extinguishing state of the vehicle lighting;
The imaging device according to claim 1, wherein the controller determines the non-target region when receiving the illumination information indicating the lighting state.
カメラが、前記車両の一部を含む該車両周辺を撮像する撮像ステップと、
コントローラが、前記カメラにより撮像された画像に基づいて撮像条件を決定する決定ステップと、を含み、
前記決定ステップは、前記カメラにより撮像された画像を複数の領域に分割し、前記分割された複数の領域の少なくとも一部の領域の測光値に基づいて、前記撮像条件の決定に用いない対象外領域を決定することを含む撮像方法。 An imaging method executed by an imaging device mounted on a vehicle,
An imaging step in which a camera images the periphery of the vehicle including a part of the vehicle;
A determination step of determining an imaging condition based on an image captured by the camera;
The determining step divides an image captured by the camera into a plurality of regions, and excludes the image from being used for determining the imaging condition based on a photometric value of at least a part of the divided regions. An imaging method including determining an area.
を備える車両。 A camera that captures the periphery of the vehicle including a part of the vehicle, and a controller that determines an imaging condition based on an image captured by the camera, wherein the controller captures a plurality of images captured by the camera. An imaging device mounted on the vehicle, which is divided into regions and determines a non-target region not used for determining the imaging condition based on a photometric value of at least a part of the plurality of divided regions;
A vehicle comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016066798A JP6712886B2 (en) | 2016-03-29 | 2016-03-29 | Imaging device, imaging method, and vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016066798A JP6712886B2 (en) | 2016-03-29 | 2016-03-29 | Imaging device, imaging method, and vehicle |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017183945A true JP2017183945A (en) | 2017-10-05 |
| JP6712886B2 JP6712886B2 (en) | 2020-06-24 |
Family
ID=60007202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016066798A Active JP6712886B2 (en) | 2016-03-29 | 2016-03-29 | Imaging device, imaging method, and vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6712886B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020036165A (en) * | 2018-08-29 | 2020-03-05 | アルパイン株式会社 | Image display device and image display system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08240833A (en) * | 1995-03-02 | 1996-09-17 | Mitsubishi Electric Corp | Exposure controller of camera for vehicle |
| JP2007022454A (en) * | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | Camera system |
| JP2007304407A (en) * | 2006-05-12 | 2007-11-22 | Alpine Electronics Inc | Automatic exposure device and method for vehicle-mounted camera |
| JP2010188765A (en) * | 2009-02-16 | 2010-09-02 | Alpine Electronics Inc | Device and method for determining photometric region |
| WO2012093519A1 (en) * | 2011-01-06 | 2012-07-12 | 富士フイルム株式会社 | Imaging device and light emission amount control method |
| WO2012140697A1 (en) * | 2011-04-14 | 2012-10-18 | 三菱電機株式会社 | On-board image processing device |
-
2016
- 2016-03-29 JP JP2016066798A patent/JP6712886B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08240833A (en) * | 1995-03-02 | 1996-09-17 | Mitsubishi Electric Corp | Exposure controller of camera for vehicle |
| JP2007022454A (en) * | 2005-07-20 | 2007-02-01 | Auto Network Gijutsu Kenkyusho:Kk | Camera system |
| JP2007304407A (en) * | 2006-05-12 | 2007-11-22 | Alpine Electronics Inc | Automatic exposure device and method for vehicle-mounted camera |
| JP2010188765A (en) * | 2009-02-16 | 2010-09-02 | Alpine Electronics Inc | Device and method for determining photometric region |
| WO2012093519A1 (en) * | 2011-01-06 | 2012-07-12 | 富士フイルム株式会社 | Imaging device and light emission amount control method |
| WO2012140697A1 (en) * | 2011-04-14 | 2012-10-18 | 三菱電機株式会社 | On-board image processing device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020036165A (en) * | 2018-08-29 | 2020-03-05 | アルパイン株式会社 | Image display device and image display system |
| JP7009334B2 (en) | 2018-08-29 | 2022-01-25 | アルパイン株式会社 | Image display device, image display system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6712886B2 (en) | 2020-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102086509B1 (en) | Apparatus and method for obtaining 3d image | |
| US10419685B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| JP5257695B2 (en) | Monitoring device | |
| JP2018526851A (en) | Video stream image processing system and method for flicker correction of amplitude modulated light | |
| JP6627866B2 (en) | Imaging device, imaging method, signal processing device, signal processing method, and program | |
| US10416026B2 (en) | Image processing apparatus for correcting pixel value based on difference between spectral sensitivity characteristic of pixel of interest and reference spectral sensitivity, image processing method, and computer-readable recording medium | |
| JP2007286943A (en) | Signal light detection apparatus | |
| JP2016096417A (en) | On-vehicle camera system | |
| JP5644618B2 (en) | projector | |
| JP5712821B2 (en) | Shooting display control system | |
| JP7016712B2 (en) | Image pickup device, control method of image pickup device, and program | |
| CN110235442B (en) | Projection type image display device | |
| JP6712886B2 (en) | Imaging device, imaging method, and vehicle | |
| EP3410688B1 (en) | Method for improving image quality in images acquired by a near-infrared sensitive video camera and such a camera | |
| JP2012008845A (en) | Image processor | |
| US10829042B2 (en) | Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same | |
| US9906705B2 (en) | Image pickup apparatus | |
| JP7278764B2 (en) | IMAGING DEVICE, ELECTRONIC DEVICE, IMAGING DEVICE CONTROL METHOD AND PROGRAM | |
| JP2017162233A (en) | Visual line detection device and visual line detection method | |
| JP5904825B2 (en) | Image processing device | |
| JP6541510B2 (en) | Image pickup apparatus, control method thereof and program | |
| JPWO2020049906A1 (en) | Distance measuring device | |
| JP2019197948A (en) | Imaging device and method for controlling the same | |
| JP7080724B2 (en) | Light distribution control device, light projection system and light distribution control method | |
| JP4677924B2 (en) | Imaging system, moving image processing method, and moving image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180910 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200602 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6712886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |