JP2017126835A - On-vehicle camera lens abnormality detection device - Google Patents

On-vehicle camera lens abnormality detection device Download PDF

Info

Publication number
JP2017126835A
JP2017126835A JP2016003752A JP2016003752A JP2017126835A JP 2017126835 A JP2017126835 A JP 2017126835A JP 2016003752 A JP2016003752 A JP 2016003752A JP 2016003752 A JP2016003752 A JP 2016003752A JP 2017126835 A JP2017126835 A JP 2017126835A
Authority
JP
Japan
Prior art keywords
vehicle
bird
abnormality
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016003752A
Other languages
Japanese (ja)
Other versions
JP6565693B2 (en
Inventor
大輔 杉浦
Daisuke Sugiura
大輔 杉浦
宗昭 松本
Muneaki Matsumoto
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016003752A priority Critical patent/JP6565693B2/en
Priority to PCT/JP2017/000659 priority patent/WO2017122688A1/en
Publication of JP2017126835A publication Critical patent/JP2017126835A/en
Application granted granted Critical
Publication of JP6565693B2 publication Critical patent/JP6565693B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately detect abnormality in an on-vehicle camera lens by using captured images obtained from plural on-vehicle cameras, even when a vehicle travels on a road without a road division lines.SOLUTION: A lens abnormality detection device comprises: plural on-vehicle cameras 4f, 4r for imaging the surrounding of the vehicle; a viewpoint conversion unit 22 which generates a bird's-eye view image by viewpoint conversion of each captured image obtained by each on-vehicle camera; a storage unit 16 which successively stores, as history images, front bird's-eye view images positioned in front of the vehicle in a travel direction; and an abnormality determination unit 26 which compares rear bird's-eye view images positioned in rear of the vehicle in the travel direction with the history images stored in the storage unit and when the differences between the respective images are not smaller than an abnormality determination value, determines the occurrence of lens abnormality in one of the on-vehicle camera.SELECTED DRAWING: Figure 1

Description

本発明は、車載カメラのレンズの異常を検出するレンズ異常検出装置に関する。   The present invention relates to a lens abnormality detection device that detects an abnormality of a lens of a vehicle-mounted camera.

従来、車載カメラを使って車両周囲を撮像することで、車両の走行状態を監視して異常を報知したり、車両周囲を上方から見た鳥瞰画像を生成したりするシステムが知られている。   2. Description of the Related Art Conventionally, a system is known in which a vehicle periphery is imaged by using an in-vehicle camera to monitor a vehicle running state to notify an abnormality or to generate a bird's-eye view image of the vehicle periphery viewed from above.

この種のシステムでは、車載カメラのレンズに傷や汚れ等の異常が生じると、車両周囲を良好に撮像することができなくなるので、撮像画像を処理することでレンズの異常を検出することが提案されている。   In this type of system, if abnormalities such as scratches and dirt occur on the lens of the in-vehicle camera, it is impossible to capture the surroundings of the vehicle well, so it is proposed to detect the lens abnormality by processing the captured image Has been.

例えば、特許文献１には、２つの車載カメラで車両の走行方向前方及び後方の道路を撮像し、その撮像画像から車道中央線や車線境界線等の道路区画線を抽出して、道路区画線の信頼度を算出することが提案されている。そして、この提案の装置では、カメラ毎に算出した道路区画線の信頼度の履歴を比較し、相対的に信頼度が低下している車載カメラがあれば、その車載カメラのレンズに異常があると判断する。   For example, Patent Document 1 captures roads ahead and behind in the traveling direction of a vehicle with two in-vehicle cameras, extracts road lane markings such as a road center line and lane boundary lines from the captured images, and road lane markings. It has been proposed to calculate the reliability of. In this proposed device, the reliability histories of road lane markings calculated for each camera are compared, and if there is an in-vehicle camera with relatively low reliability, the lens of the in-vehicle camera is abnormal. Judge.

特開２０１４−１１５８１４号公報JP 2014-115814 A

上記提案の装置によれば、２つのカメラによる撮像画像の中から重複する画像領域を抽出して比較することで異常判定を行う装置に比べて、レンズの異常を精度よく検出することができる。これは、２つの撮像画像の中から重複する画像領域を抽出して異常判定すると、重複する画像領域に対応しないレンズ部分の異常（例えばレンズの汚れ）を検出できないからである。   According to the proposed apparatus, it is possible to detect a lens abnormality with higher accuracy than an apparatus that performs abnormality determination by extracting and comparing overlapping image regions from images captured by two cameras. This is because if an overlapping image region is extracted from two captured images and an abnormality is determined, an abnormality of a lens portion that does not correspond to the overlapping image region (for example, dirt on the lens) cannot be detected.

しかしながら、上記提案の装置においては、各車載カメラによる撮像画像の中から道路区画線を抽出し、その抽出した道路区画線の直線性と道路区画線の幅方向両側のエッジの平行性とを算出することで、道路区画線の信頼度を求める。このため、上記提案の装置では、車両が道路区画線のない道路を走行しているときには、車載カメラのレンズ異常を検出することができない。   However, in the proposed apparatus, road lane markings are extracted from images captured by each on-vehicle camera, and the straightness of the extracted road lane markings and the parallelism of the edges on both sides in the width direction of the road lane markings are calculated. By doing so, the reliability of the road marking line is obtained. For this reason, in the proposed apparatus, when the vehicle is traveling on a road having no road marking line, it is not possible to detect a lens abnormality of the in-vehicle camera.

また、撮像画像の中から道路区画線を抽出して、その直線性と平行性を算出するには、２つの画像を比較する場合に比べて、複雑な画像処理を行う必要があるため、道路区画線の信頼性の算出、延いてはレンズ異常の判定、に時間がかかるという問題もある。   In addition, in order to extract road marking lines from captured images and calculate their linearity and parallelism, it is necessary to perform more complicated image processing than when comparing two images. There is also a problem that it takes time to calculate the reliability of the lane markings and to determine the lens abnormality.

本発明は、こうした問題に鑑みなされたものであり、車両が道路区画線のない道路を走行しているときにでも、複数の車載カメラから得られる撮像画像を使って、車載カメラのレンズ異常を精度よく検出できるようにすることを目的とする。   The present invention has been made in view of such problems, and even when the vehicle is traveling on a road without a road marking line, the lens abnormality of the in-vehicle camera is detected using captured images obtained from a plurality of in-vehicle cameras. The object is to enable accurate detection.

本発明の車載カメラのレンズ異常検出装置は、複数の車載カメラ（４ｆ、４ｒ）と、視点変換部（２２、Ｓ１１０）と、記憶部（１６、Ｓ１３０）と、異常判定部（２６、Ｓ１６０−Ｓ１８０）とを備える。   The lens abnormality detection device for an in-vehicle camera according to the present invention includes a plurality of in-vehicle cameras (4f, 4r), a viewpoint conversion unit (22, S110), a storage unit (16, S130), and an abnormality determination unit (26, S160-). S180).

複数の車載カメラは、車両周囲を撮像するためのものであり、視点変換部は、その複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する。
そして、記憶部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する。 The plurality of in-vehicle cameras are for imaging the surroundings of the vehicle, and the viewpoint conversion unit generates a bird's-eye view image by converting the viewpoints of the images captured by the plurality of in-vehicle cameras.
And a memory | storage part memorize | stores sequentially according to driving | running | working of a vehicle as a historical image the front bird's-eye view image located ahead of the driving | running | working direction of a vehicle among the bird's-eye view images produced | generated in the viewpoint conversion part.

また、異常判定部は、視点変換部にて生成された鳥瞰画像のうち、車両の走行方向後方に位置する後方鳥瞰画像と、記憶部に記憶された履歴画像とを比較する。
この比較に用いる履歴画像は、後方鳥瞰画像に対応した位置の履歴画像であり、異常判定部は、各画像の差分が異常判定値以上であるとき、複数の車載カメラの一つにレンズ異常が生じていると判定する。 In addition, the abnormality determination unit compares the rear bird's-eye image positioned behind the vehicle in the traveling direction of the bird's-eye image generated by the viewpoint conversion unit with the history image stored in the storage unit.
The history image used for this comparison is a history image at a position corresponding to the rear bird's-eye view image, and the abnormality determination unit has a lens abnormality in one of the plurality of in-vehicle cameras when the difference between the images is equal to or greater than the abnormality determination value. Determine that it has occurred.

なお、レンズ異常とは、車載カメラによって鮮明な画像を撮像できなくなるレンズの異常のことであり、例えば、レンズの傷や破損、汚れ、等が含まれる。
このように、本発明のレンズ異常検出装置によれば、複数の車載カメラで撮像された撮像画像から得られる鳥瞰画像同士を比較することで、車載カメラのレンズの異常を判定する。従って、本発明によれば、レンズ異常の判定対象となるカメラ同士を、撮像領域が重複するように配置しなくても、レンズ異常を判定することができる。 The lens abnormality is an abnormality of the lens that makes it impossible to capture a clear image with the in-vehicle camera, and includes, for example, scratches, damage, dirt, and the like of the lens.
Thus, according to the lens abnormality detection device of the present invention, the abnormality of the lens of the in-vehicle camera is determined by comparing the bird's-eye images obtained from the captured images captured by the plurality of in-vehicle cameras. Therefore, according to the present invention, it is possible to determine the lens abnormality without arranging the cameras that are the target of the lens abnormality determination so that the imaging regions overlap.

また、レンズ異常の判定は、車両の走行方向後方に位置する後方鳥瞰画像と、その後方鳥瞰画像に対応する履歴画像とを比較して、その差分を求めるようにすればよく、各画像から道路区画線を抽出してその直線性や平行性を算出する必要がない。このため、車両の走行路に道路区画線等の特定の物標がなくても異常判定を行うことができる。   In addition, the lens abnormality can be determined by comparing the rear bird's-eye image located behind the vehicle in the traveling direction with the history image corresponding to the rear bird's-eye image, and obtaining the difference between each image. There is no need to extract lane markings and calculate their linearity and parallelism. For this reason, abnormality determination can be performed even if there is no specific target such as a road marking line on the travel path of the vehicle.

また、レンズ異常の判定は、各車載カメラから得られる鳥瞰画像を比較し、その差分を求めることで実施できるため、上述した従来技術に比べて、レンズの異常判定を簡単かつ短時間で実施できることになる。   In addition, the lens abnormality can be determined by comparing the bird's-eye images obtained from the respective on-vehicle cameras and obtaining the difference. Therefore, the lens abnormality can be determined easily and in a shorter time than the above-described conventional technology. become.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。   In addition, the code | symbol in the parenthesis described in this column and a claim shows the correspondence with the specific means as described in embodiment mentioned later as one aspect, Comprising: The technical scope of this invention is shown. It is not limited.

実施形態の撮像システム全体の構成を表すブロック図である。It is a block diagram showing the structure of the whole imaging system of embodiment. 車両への車載カメラの取付位置及び撮像方向を表す説明図である。It is explanatory drawing showing the attachment position and imaging direction of the vehicle-mounted camera to a vehicle. 車載カメラによる撮像範囲及び視点変換後の鳥瞰画像領域を表す説明図である。It is explanatory drawing showing the bird's-eye view image area | region after imaging range and viewpoint conversion with a vehicle-mounted camera. 図１の画像処理部にて実行されるレンズ異常判定処理を表すフローチャートである。It is a flowchart showing the lens abnormality determination process performed in the image processing part of FIG. レンズ異常判定処理により得られる鳥瞰画像とこれを用いた異常判定動作を説明する説明図である。It is explanatory drawing explaining the abnormality determination operation | movement using the bird's-eye view image obtained by lens abnormality determination processing, and this.

以下に本発明の実施形態を図面と共に説明する。
図１に示すように、本実施形態の撮像システム２は、車載カメラとしてのフロントカメラ４ｆ及びリヤカメラ４ｒと、制御ユニット１０と、表示部３０とを備える。 Embodiments of the present invention will be described below with reference to the drawings.
As shown in FIG. 1, the imaging system 2 of the present embodiment includes a front camera 4 f and a rear camera 4 r as vehicle-mounted cameras, a control unit 10, and a display unit 30.

図２に示すように、フロントカメラ４ｆ及びリヤカメラ４ｒは、それぞれ、車両４０の前方及び後方の道路を撮像するためのものであり、車両４０の前部及び後部に取り付けられている。また、フロントカメラ４ｆ及びリヤカメラ４ｒにおいて、撮像方向先端側には、それぞれ、レンズ５ｆ、５ｒが設けられている。   As shown in FIG. 2, the front camera 4 f and the rear camera 4 r are for imaging the road ahead and behind the vehicle 40, respectively, and are attached to the front and rear of the vehicle 40. Further, in the front camera 4f and the rear camera 4r, lenses 5f and 5r are provided on the front end side in the imaging direction, respectively.

制御ユニット１０は、これら各カメラ４ｆ、４ｒによる撮像画像から、車両周囲の道路を鉛直方向から俯瞰した鳥瞰画像を生成する。そして、その生成した鳥瞰画像を、液晶ディスプレイ等にて構成されて車室内に配置される表示部３０に表示させる。また、制御ユニット１０は、本発明のレンズ異常検出装置としても機能する。   The control unit 10 generates a bird's-eye image obtained by bird's-eye view of the road around the vehicle from the images captured by the cameras 4f and 4r. Then, the generated bird's-eye view image is displayed on the display unit 30 configured with a liquid crystal display or the like and disposed in the vehicle interior. The control unit 10 also functions as a lens abnormality detection device of the present invention.

このため、制御ユニット１０には、撮像信号入力部１２、検出信号入力部１４、メモリ１６、表示制御部１８、画像処理部２０、及び、異常報知部３２が備えられている。
撮像信号入力部１２は、フロントカメラ４ｆ及びリヤカメラ４ｒからの撮像信号を取り込み、撮像画像データとして画像処理部２０に入力するためのものである。 For this reason, the control unit 10 includes an imaging signal input unit 12, a detection signal input unit 14, a memory 16, a display control unit 18, an image processing unit 20, and an abnormality notification unit 32.
The imaging signal input unit 12 is for capturing imaging signals from the front camera 4f and the rear camera 4r and inputting them to the image processing unit 20 as captured image data.

検出信号入力部１４は、車両４０の各車輪の回転速度を検出する車輪速センサ６や、ステアリングの操舵角を検出する操舵角センサ８からの検出信号をそれぞれ取り込み、車輪速データ、操舵角データに変換して、画像処理部２０に入力するためのものである。   The detection signal input unit 14 takes in detection signals from the wheel speed sensor 6 that detects the rotational speed of each wheel of the vehicle 40 and the steering angle sensor 8 that detects the steering angle of the steering, respectively, and the wheel speed data and the steering angle data. Is converted into an image and input to the image processing unit 20.

画像処理部２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、等を中心とするマイクロコンピュータにて構成されており、ＣＰＵがＲＯＭ内のプログラムを実行することにより、視点変換部２２、画像合成部２４、異常判定部２６、及び、影判定部２８、として機能する。   The image processing unit 20 is configured by a microcomputer centered on a CPU, ROM, RAM, and the like. When the CPU executes a program in the ROM, the viewpoint conversion unit 22, the image composition unit 24, an abnormality determination Functions as a unit 26 and a shadow determination unit 28.

視点変換部２２は、図３に示すように、撮像信号入力部１２から入力される車両前方及び後方の撮像画像データを視点変換することにより、車両４０の前方及び後方の各道路領域を上方から見た鳥瞰画像５０ｆ及び鳥瞰画像５０ｒを生成するためのものである。   As illustrated in FIG. 3, the viewpoint conversion unit 22 performs viewpoint conversion on the captured image data of the front and rear of the vehicle input from the imaging signal input unit 12, so that each road region of the front and rear of the vehicle 40 is viewed from above. This is for generating the seen bird's-eye image 50f and the bird's-eye image 50r.

そして、視点変換部２２は、車両４０の走行状態を表す車輪速データ及び操舵角データから得られる車両４０の位置及び方向に関連づけて、鳥瞰画像５０ｆ若しくは鳥瞰画像５０ｒをメモリ１６に記憶する。   Then, the viewpoint conversion unit 22 stores the bird's-eye image 50f or the bird's-eye image 50r in the memory 16 in association with the position and direction of the vehicle 40 obtained from the wheel speed data and the steering angle data representing the traveling state of the vehicle 40.

つまり、視点変換部２２は、車両４０の走行時に、走行方向前方に位置する鳥瞰画像５０ｆ若しくは５０ｒをメモリ１６に記憶することで、カメラ４ｆ、４ｒではリアルタイムで撮像できない車両４０直下の鳥瞰画像を履歴画像５２として記憶するのである。   That is, when the vehicle 40 travels, the viewpoint conversion unit 22 stores the bird's-eye view image 50f or 50r positioned in front of the traveling direction in the memory 16 so that the camera 4f or 4r can capture a bird's-eye view directly below the vehicle 40 that cannot be captured in real time. The history image 52 is stored.

なお、メモリ１６は、履歴画像を記憶する記憶部であり、ＥＥＰＲＯＭ、フラッシュメモリ等の読み書き可能な不揮発性メモリにて構成されている。
画像合成部２４は、視点変換部２２で生成された最新の鳥瞰画像５０ｆ、５０ｒと、メモリ１６に記憶された履歴画像５２と、を合成することで、車両４０及びその周囲全体を上方から見た鳥瞰画像を生成する。 The memory 16 is a storage unit that stores a history image, and is configured by a readable / writable nonvolatile memory such as an EEPROM or a flash memory.
The image composition unit 24 composes the latest bird's-eye view images 50f and 50r generated by the viewpoint conversion unit 22 and the history image 52 stored in the memory 16 so that the vehicle 40 and the entire periphery thereof can be viewed from above. A bird's eye view image is generated.

そして、その生成された鳥瞰画像は、画像処理部２０から表示制御部１８に出力され、表示制御部１８を介して表示部３０に表示される。
異常判定部２６は、視点変換部２２にて生成された鳥瞰画像５０ｆ、５０ｒのうち、車両４０の走行方向後方に位置する後方鳥瞰画像と、この後方鳥瞰画像に対応した位置の履歴画像とを比較し、その差分（換言すれば一致度）を算出する。 Then, the generated bird's-eye view image is output from the image processing unit 20 to the display control unit 18 and displayed on the display unit 30 via the display control unit 18.
Of the bird's-eye images 50f and 50r generated by the viewpoint conversion unit 22, the abnormality determination unit 26 uses a rear bird's-eye image located behind the vehicle 40 in the traveling direction and a history image at a position corresponding to the rear bird's-eye image. The comparison (in other words, the degree of coincidence) is calculated.

そして、その算出した差分が異常判定値以上であるとき（換言すれば一致度が閾値未満であるとき）、フロントカメラ４ｆ及びリヤカメラ４ｒのレンズ５ｆ、５ｒの少なくとも一方に異常が生じていると判定し、異常報知部３２を介してその旨を報知する。   When the calculated difference is equal to or greater than the abnormality determination value (in other words, when the degree of coincidence is less than the threshold value), it is determined that an abnormality has occurred in at least one of the lenses 5f and 5r of the front camera 4f and the rear camera 4r. Then, the fact is notified via the abnormality notifying unit 32.

なお、異常報知部３２は、車両４０の乗員にレンズ５ｆ、５ｒの異常を報知できればよく、例えば、ＬＥＤ等の表示ランプを点滅若しくは点灯させる回路にて構成してもよく、表示部３０若しくは他の表示器にエラーメッセージを表示する回路にて構成してもよい。また、レンズ５ｆ、５ｒの異常を音声にて報知できるように、音声合成回路を用いて構成してもよい。   The abnormality notifying unit 32 only needs to be able to notify the passenger of the vehicle 40 of the abnormality of the lenses 5f and 5r. For example, the abnormality notifying unit 32 may be configured by a circuit that blinks or lights a display lamp such as an LED. The display may be configured with a circuit for displaying an error message. Moreover, you may comprise using a speech synthesis circuit so that abnormality of the lenses 5f and 5r can be alert | reported with an audio | voice.

影判定部２８は、異常判定部２６がレンズ５ｆ、５ｒの異常判定に用いる後方鳥瞰画像及び履歴画像の少なくとも一方に、車両４０の影が写っているか否かを判定するためのものである。そして、影判定部２８は、後方鳥瞰画像及び履歴画像の一方に車両４０の影があると判定すると、異常判定部２６によるレンズ５ｆ、５ｒの異常判定を禁止させる。   The shadow determination unit 28 is for determining whether or not the shadow of the vehicle 40 is reflected in at least one of the rear bird's-eye view image and the history image used by the abnormality determination unit 26 for determining the abnormality of the lenses 5f and 5r. When the shadow determination unit 28 determines that one of the rear bird's-eye view image and the history image has a shadow of the vehicle 40, the abnormality determination unit 26 prohibits the abnormality determination of the lenses 5f and 5r.

これは、レンズ５ｆ、５ｒの異常判定に用いる後方鳥瞰画像と履歴画像との一方に車両４０の影が写っている場合、これら両画像を比較すると、影の影響により画像の差分が大きくなり、レンズ５ｆ、５ｒの異常を誤判定してしまうことが考えられるためである。   This is because when the shadow of the vehicle 40 is reflected in one of the rear bird's-eye view image and the history image used for the abnormality determination of the lenses 5f and 5r, when these two images are compared, the difference between the images increases due to the influence of the shadow. This is because it is conceivable that the abnormality of the lenses 5f and 5r is erroneously determined.

次に、画像処理部２０において、視点変換部２２、異常判定部２６、及び、影判定部２８としての機能を実現するために実行されるレンズ異常判定処理を、図４のフローチャートに沿って説明する。   Next, lens abnormality determination processing executed in the image processing unit 20 to realize functions as the viewpoint conversion unit 22, the abnormality determination unit 26, and the shadow determination unit 28 will be described with reference to the flowchart of FIG. To do.

なお、図４に示すレンズ異常判定処理は、画像処理部２０を構成するマイクロコンピュータ（詳しくはＣＰＵ）において、メインルーチンの一つとして繰り返し実行されるプログラムを表している。   The lens abnormality determination process shown in FIG. 4 represents a program that is repeatedly executed as one of the main routines in the microcomputer (specifically, the CPU) that constitutes the image processing unit 20.

本実施形態では、このプログラムは、画像処理部２０内のＲＯＭに記憶されるが、例えば、メモリ１６等、画像処理部２０を構成するマイクロコンピュータとは別体で構成された他の非遷移的実体的記録媒体に記憶されていてもよい。   In the present embodiment, this program is stored in the ROM in the image processing unit 20, but for example, other non-transitional elements configured separately from the microcomputer that configures the image processing unit 20 such as the memory 16. It may be stored in a tangible recording medium.

図４に示すように、レンズ異常判定処理においては、まずＳ１１０（Ｓはステップを表す）にて、撮像信号入力部１２からフロントカメラ４ｆ及びリヤカメラ４ｒによる撮像画像を取り込み、車両前方及び後方の鳥瞰画像５０ｆ、５０ｒを生成する。   As shown in FIG. 4, in the lens abnormality determination process, first, in S110 (S represents a step), images captured by the front camera 4f and the rear camera 4r are captured from the imaging signal input unit 12, and bird's-eye views of the front and rear of the vehicle are taken. Images 50f and 50r are generated.

Ｓ１１０の処理は、視点変換部２２としての機能を実現するための処理である。Ｓ１１０では、撮像画像を視点変換することで鳥瞰画像を生成するが、この生成方法は公知であり、例えば、特開平１０−２１１８４９号公報に記載された手法を利用することができることから、ここでは詳細な説明は省略する。   The process of S110 is a process for realizing the function as the viewpoint conversion unit 22. In S110, the viewpoint image of the captured image is converted to generate a bird's-eye view image. This generation method is publicly known, and for example, a technique described in JP-A-10-211849 can be used. Detailed description is omitted.

次にＳ１２０では、検出信号入力部１４から車輪速データを取り込むことで、現在、車両４０が走行中であるか否かを判断する。そして、車両４０が走行中でなければ、当該レンズ異常判定処理を一旦終了し、車両４０が走行中であれば、Ｓ１３０に移行する。   Next, in S120, it is determined whether or not the vehicle 40 is currently traveling by fetching wheel speed data from the detection signal input unit 14. Then, if the vehicle 40 is not traveling, the lens abnormality determination process is temporarily terminated. If the vehicle 40 is traveling, the process proceeds to S130.

Ｓ１３０では、車輪速データから車両４０の走行方向（つまり、前進又は後退）を判定して、Ｓ１１０にて生成された鳥瞰画像５０ｆ、５０ｒの中から、走行方向前方に位置する前方鳥瞰画像を選択する。そして、その選択した前方鳥瞰画像を、車両走行中の履歴画像として、メモリ１６に記憶する。   In S130, the traveling direction (that is, forward or backward) of the vehicle 40 is determined from the wheel speed data, and the front bird's-eye image located in front of the traveling direction is selected from the bird's-eye images 50f and 50r generated in S110. To do. Then, the selected front bird's-eye view image is stored in the memory 16 as a history image during vehicle travel.

なお、Ｓ１１０にて生成された最新の鳥瞰画像５０ｆ、５０ｒや、Ｓ１３０にてメモリ１６に記憶された履歴画像は、画像合成部２４としての表示制御処理によって、自車両周囲の鳥瞰画像を表示部３０に表示させるのに利用される。   Note that the latest bird's-eye images 50f and 50r generated in S110 and the history image stored in the memory 16 in S130 are displayed as a bird's-eye image around the host vehicle by display control processing as the image composition unit 24. 30 is used for display.

次に、Ｓ１４０では、Ｓ１１０にて生成された鳥瞰画像５０ｆ、５０ｒの中から走行方向後方に位置する鳥瞰画像を選択し、その選択した後方鳥瞰画像に自車両４０の影があるか否かを判断する。   Next, in S140, a bird's-eye view image located at the rear in the traveling direction is selected from the bird's-eye view images 50f and 50r generated in S110, and whether or not there is a shadow of the host vehicle 40 in the selected rear bird's-eye view image. to decide.

Ｓ１４０にて、後方鳥瞰画像に自車両４０の影があると判断された場合には、後述の処理でレンズ５ｆ、５ｒの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。   If it is determined in S140 that there is a shadow of the host vehicle 40 in the rear bird's-eye view image, it is considered that the abnormality of the lenses 5f and 5r is erroneously determined in the process described later. Is temporarily terminated.

一方、Ｓ１４０にて、後方鳥瞰画像に自車両４０の影がないと判断された場合には、Ｓ１５０に移行して、Ｓ１４０で選択した後方鳥瞰画像に対応した履歴画像をメモリ１６から読み出す。   On the other hand, if it is determined in S140 that there is no shadow of the host vehicle 40 in the rear bird's-eye view image, the process proceeds to S150, and the history image corresponding to the rear bird's-eye image selected in S140 is read from the memory 16.

つまり、メモリ１６には、車両４０の走行中に、その走行方向前方の鳥瞰画像が履歴画像として順次記憶される。そこで、Ｓ１５０では、車輪速データから得られる車速に基づき、メモリ１６に記憶された履歴画像の中から、後方鳥瞰画像と同じ位置の前方鳥瞰画像を抽出するのである。   That is, while the vehicle 40 is traveling, the bird's-eye view image ahead of the traveling direction is sequentially stored in the memory 16 as a history image. Therefore, in S150, based on the vehicle speed obtained from the wheel speed data, a front bird's-eye image at the same position as the rear bird's-eye image is extracted from the history image stored in the memory 16.

そして、続くＳ１６０では、Ｓ１５０にてメモリ１６から読み出された履歴画像に自車両４０の影があるか否かを判断する。
Ｓ１６０にて履歴画像に自車両４０の影があると判断された場合にも、後述の処理でレンズ５ｆ、５ｒの異常を誤判定してしまうことが考えられるので、当該レンズ異常判定処理を一旦終了する。また、Ｓ１６０にて履歴画像に自車両４０の影はないと判断された場合には、Ｓ１７０に移行する。 In subsequent S160, it is determined whether or not the history image read from the memory 16 in S150 has a shadow of the host vehicle 40.
Even when it is determined in S160 that there is a shadow of the host vehicle 40 in the history image, it is conceivable that the abnormality of the lenses 5f and 5r is erroneously determined in the process described later. finish. If it is determined in S160 that there is no shadow of the host vehicle 40 in the history image, the process proceeds to S170.

ここで、Ｓ１４０及びＳ１６０の処理は、影判定部２８としての機能を実現するための処理である。そして、この処理において、鳥瞰画像に影が存在するか否かを判定する判定方法は公知であり、例えば、特開２０１０−２３７９７６号公報に記載された影検出技術を利用することができる。   Here, the processing of S140 and S160 is processing for realizing the function as the shadow determination unit 28. In this process, a determination method for determining whether or not a shadow is present in the bird's-eye view image is known, and for example, the shadow detection technique described in Japanese Patent Application Laid-Open No. 2010-237976 can be used.

つまり、例えば、鳥瞰画像の一部領域に対して、色相と輝度に基づいて領域分割を行い、分割された複数の領域のうち、色相の差が所定の閾値以下でありかつ輝度の差が所定値以上となっている２つの領域を抽出する。   That is, for example, for a partial region of the bird's-eye view image, region division is performed based on hue and luminance, and among the plurality of divided regions, the difference in hue is equal to or less than a predetermined threshold and the difference in luminance is predetermined. Two areas that are greater than or equal to the value are extracted.

そして、その抽出した２つのうち輝度の高い方を非陰影領域、輝度の低い方を陰影領域とし、色情報の空間における当該陰影領域から非陰影領域へのベクトルを光源の色情報として特定する。   Then, of the extracted two, the higher luminance is set as a non-shadow region, the lower luminance is set as a shadow region, and a vector from the shadow region to the non-shadow region in the color information space is specified as light source color information.

次に、鳥瞰画像の全領域について、色相と輝度に基づいて領域分割を行い、隣接する領域間の色相の差が光源の色相と所定の範囲内で一致する場合に、それら隣接する領域のうち、輝度の低い方を、影であると特定する。   Next, for all the regions of the bird's-eye view image, region division is performed based on the hue and brightness, and when the hue difference between the adjacent regions matches the hue of the light source within a predetermined range, The lower luminance is specified as a shadow.

そして、Ｓ１４０、Ｓ１６０では、このように特定された影領域が自車両４０の車体形状に対応しているか否かを判断することで、後方鳥瞰画像若しくは履歴画像に自車両４０の影が含まれているか否かを判定できる。   In S140 and S160, it is determined whether or not the shadow area thus identified corresponds to the vehicle body shape of the host vehicle 40, so that the shadow of the host vehicle 40 is included in the rear bird's-eye view image or the history image. It can be determined whether or not.

なお、特開２０１０−２３７９７６号公報には、上記手順とは異なる手順で影検出を行う技術が紹介されているが、Ｓ１４０、Ｓ１６０では、その影検出技術を利用して自車両４０の影を判定するようにしてもよし、他の影検出技術を利用するようにしてもよい。   Japanese Patent Application Laid-Open No. 2010-237976 introduces a technique for performing shadow detection in a procedure different from the above procedure. In S140 and S160, the shadow detection technique is used to shadow the own vehicle 40. It may be determined, or another shadow detection technique may be used.

また、後方鳥瞰画像に自車両４０の影が含まれていても、その影領域が小さく、レンズ５ｆ、５ｒの異常判定に影響を与えることがない場合には、Ｓ１４０、Ｓ１６０にて、自車両４０の影は存在しないと判断するようにしてもよい。   If the shadow of the host vehicle 40 is included in the rear bird's-eye view image, if the shadow region is small and does not affect the abnormality determination of the lenses 5f and 5r, the host vehicle is determined in S140 and S160. It may be determined that 40 shadows do not exist.

次に、Ｓ１７０では、Ｓ１４０、Ｓ１６０にて自車両４０の影はないと判断された後方鳥瞰画像と履歴画像との差分を計算する。この差分計算は、例えば、エッジ検出等によって各画像の中から特徴点を抽出し、特徴点同士を比較することで、その差分（換言すれば一致度）を算出することにより行われる。   Next, in S170, the difference between the rear bird's-eye view image determined to have no shadow of the host vehicle 40 in S140 and S160 and the history image is calculated. This difference calculation is performed by, for example, extracting feature points from each image by edge detection or the like and comparing the feature points to calculate the difference (in other words, the degree of coincidence).

そして、続くＳ１８０では、Ｓ１７０にて算出された差分と予め設定された異常判定値とを比較し、差分が異常判定値未満であれば、フロントカメラ４ｆとリヤカメラ４ｒとによる撮像画像は共に正常であると判断して、当該レンズ異常判定処理を一旦終了する。   In the subsequent S180, the difference calculated in S170 is compared with a preset abnormality determination value. If the difference is less than the abnormality determination value, the images captured by the front camera 4f and the rear camera 4r are both normal. If it is determined that there is, the lens abnormality determination process is temporarily terminated.

Ｓ１８０において、差分が異常判定値以上である場合には、フロントカメラ４ｆとリヤカメラ４ｒとによる撮像画像の一方が異常であり、各カメラのレンズ５ｆ、５ｒの一方に破損、汚れ等の異常があると判断して、Ｓ１９０に移行する。   In S180, when the difference is equal to or larger than the abnormality determination value, one of the images captured by the front camera 4f and the rear camera 4r is abnormal, and one of the lenses 5f and 5r of each camera is abnormal such as breakage or dirt. The process proceeds to S190.

なお、Ｓ１７０及びＳ１８０の処理は、異常判定部２６としての機能を実現するための処理である。
Ｓ１９０では、画像合成部２４としての表示制御処理の実行を禁止することで、自車両周囲の鳥瞰画像の生成、及び、その鳥瞰画像の表示制御部１８への出力を禁止し、表示部３０への鳥瞰画像の表示を中止させる。 Note that the processing of S170 and S180 is processing for realizing the function as the abnormality determination unit 26.
In S190, by prohibiting the execution of the display control process as the image composition unit 24, the generation of the bird's-eye image around the host vehicle and the output of the bird's-eye image to the display control unit 18 are prohibited, and the display unit 30 is directed to. The display of the bird's-eye view image is stopped.

そして、最後に、Ｓ２００にて、異常報知部３２を介して、レンズ５ｆ、５ｒの異常を乗員に報知し、当該レンズ異常判定処理を一旦終了する。なお、当該レンズ異常判定処理は、ＣＰＵにおいてメインルーチンの一つとして実行されることから、所定時間経過後にＳ１１０の処理が開始される。   Finally, in S200, the abnormality notification unit 32 notifies the occupant of the abnormality of the lenses 5f and 5r, and the lens abnormality determination process is temporarily terminated. Since the lens abnormality determination process is executed as one of main routines in the CPU, the process of S110 is started after a predetermined time has elapsed.

以上説明したように、本実施形態の撮像システム２においては、図５に例示するように、車両４０が前方方向に走行しているときには、フロントカメラ４ｆによる撮像画像から生成された鳥瞰画像５０ｆが、履歴画像として順次メモリ１６に記憶される。   As described above, in the imaging system 2 of the present embodiment, as illustrated in FIG. 5, when the vehicle 40 is traveling in the forward direction, the bird's-eye view image 50f generated from the image captured by the front camera 4f is displayed. Are sequentially stored in the memory 16 as history images.

そして、メモリ１６に記憶された履歴画像は、フロントカメラ４ｆ及びリヤカメラ４ｒによる撮像画像から生成された最新の鳥瞰画像５０ｆ、５０ｒと共に、車両４０周囲の鳥瞰画像を生成するのに用いられる。   The history image stored in the memory 16 is used to generate a bird's-eye image around the vehicle 40 together with the latest bird's-eye images 50f and 50r generated from images captured by the front camera 4f and the rear camera 4r.

また、車両４０の走行に伴い、時刻Ｔ１で履歴画像としてメモリ１６に記憶された鳥瞰画像５０ｆ（ｔ１）と同じ領域の鳥瞰画像が、時刻Ｔ２でリヤカメラ４ｒによる撮像画像から生成されることになる。   Further, as the vehicle 40 travels, a bird's-eye image in the same area as the bird's-eye image 50f (t1) stored in the memory 16 as a history image at time T1 is generated from an image captured by the rear camera 4r at time T2. .

そして、本実施形態では、時刻Ｔ２で生成された鳥瞰画像５０ｒ（ｔ２）と、この鳥瞰画像５０ｒ（ｔ２）に対応した履歴画像である鳥瞰画像５０ｆ（ｔ１）とを比較し、両画像の差分が異常判定値以上であるとき、レンズ５ｆ又は５ｒに異常があると判定する。   In this embodiment, the bird's-eye view image 50r (t2) generated at time T2 is compared with the bird's-eye view image 50f (t1) that is a history image corresponding to the bird's-eye view image 50r (t2), and the difference between the two images is compared. Is greater than or equal to the abnormality determination value, it is determined that the lens 5f or 5r is abnormal.

従って、図５に例示するように、鳥瞰画像５０ｒ（ｔ２）と履歴画像である鳥瞰画像５０ｆ（ｔ１）とに横断歩道を表す標識６０が含まれていれば、各画像から標識６０のエッジが検出されて、その位置や形状の差分からレンズ５ｆ、５ｒの異常が判定される。   Therefore, as illustrated in FIG. 5, if the bird's-eye image 50r (t2) and the bird's-eye image 50f (t1) as the history image include the sign 60 representing a pedestrian crossing, the edge of the sign 60 is detected from each image. Then, the abnormality of the lenses 5f and 5r is determined from the difference in position and shape.

また、各画像に標識６０が写っていなくても、路面の模様や凹凸、走行路とその周囲との境界部分の色の違い、等がエッジ検出により特徴点として抽出され、これらの差分からレンズ５ｆ、５ｒに異常があるか否かが判定される。   Even if the sign 60 is not shown in each image, the road surface pattern or unevenness, the color difference of the boundary portion between the traveling road and its surroundings, and the like are extracted as feature points by edge detection, and the lens is determined from these differences. It is determined whether or not there is an abnormality in 5f and 5r.

従って、本実施形態の撮像システム２によれば、異常判定の対象となるカメラ同士を、撮像領域が重複するように配置する必要がない。また、特許文献１に記載のように、フロントカメラ４ｆ及びリヤカメラ４ｒによる撮像画像の中から道路区画線を抽出して、その直線性や平行性を算出する必要がない。   Therefore, according to the imaging system 2 of the present embodiment, it is not necessary to arrange the cameras that are the targets of abnormality determination so that the imaging areas overlap. Further, as described in Patent Document 1, it is not necessary to extract road lane markings from images captured by the front camera 4f and the rear camera 4r and calculate their linearity and parallelism.

このため、本実施形態によれば、車両４０に複数のカメラが搭載されていれば、車両４０が走行する路面に道路区画線等の特定の物標がなくても、そのカメラのレンズ５ｆ、５ｒの異常を判定できる。   Therefore, according to the present embodiment, if a plurality of cameras are mounted on the vehicle 40, even if there is no specific target such as a road marking line on the road surface on which the vehicle 40 travels, the camera lens 5f, An abnormality of 5r can be determined.

また、この異常判定は、各カメラ４ｆ、４ｒの撮像画像から生成される同一位置の鳥瞰画像を比較して、その差分を求めるだけでよいので、道路区画線を抽出して直線性や平行性を算出する場合に比べて、簡単かつ短時間で実施できる。   Further, this abnormality determination only needs to compare the bird's-eye images at the same position generated from the captured images of the cameras 4f and 4r and obtain the difference. Compared with the case of calculating, it can be carried out easily and in a short time.

また、本実施形態では、レンズ５ｆ、５ｒの異常判定に用いる後方鳥瞰画像と履歴画像との一方に自車両の影が含まれている場合には、異常判定を実施しないようにされている。   Further, in the present embodiment, when one of the rear bird's-eye view image and the history image used for abnormality determination of the lenses 5f and 5r includes a shadow of the own vehicle, the abnormality determination is not performed.

このため、本実施形態によれば、例えば、太陽光によって車両４０の前方側若しくは後方側に影ができている場合に、その影の影響を受けてレンズ５ｆ、５ｒの異常を誤判定してしまうのを防止できる。   Therefore, according to the present embodiment, for example, when a shadow is formed on the front side or the rear side of the vehicle 40 due to sunlight, the abnormality of the lenses 5f and 5r is erroneously determined due to the influence of the shadow. Can be prevented.

また、本実施形態では、レンズ５ｆ、５ｒの異常を検出すると、画像合成部２４による表示部３０への鳥瞰画像の表示を禁止し、異常報知部３２を介して、レンズ５ｆ、５ｒの異常を報知する。このため、フロントカメラ４ｆ若しくはリヤカメラ４ｒのレンズに、破損、汚れ等の異常が生じ、車両４０周囲の鳥瞰画像を正常に生成できないときに、表示部３０に不鮮明な鳥瞰画像が表示されてしまうのを抑制できる。また、レンズ５ｆ、５ｒの異常を報知することで、使用者に対し、各カメラ４ｆ、４ｒの点検を促すことができる。   Further, in the present embodiment, when the abnormality of the lenses 5f and 5r is detected, the display of the bird's-eye image on the display unit 30 by the image composition unit 24 is prohibited, and the abnormality of the lenses 5f and 5r is detected via the abnormality notification unit 32. Inform. For this reason, when an abnormality such as breakage or dirt occurs in the lens of the front camera 4f or the rear camera 4r, and a bird's-eye image around the vehicle 40 cannot be normally generated, an unclear bird's-eye image is displayed on the display unit 30. Can be suppressed. In addition, by notifying the abnormality of the lenses 5f and 5r, it is possible to prompt the user to check each of the cameras 4f and 4r.

以上、本発明の一実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱市しない範囲内にて種々の態様をとることができる。
例えば、上記実施形態では、車両４０には、フロントカメラ４ｆとリヤカメラ４ｒとが搭載されているものとして説明したが、本発明は、車両４０に複数のカメラが搭載されていれば、上記実施形態と同様にレンズ異常を判定できる。 As mentioned above, although one Embodiment of this invention was described, this invention is not limited to the said embodiment, A various aspect can be taken in the range which does not deviate from the summary of this invention.
For example, in the above-described embodiment, the vehicle 40 is described as having the front camera 4f and the rear camera 4r mounted thereon. However, the present invention is not limited to the above-described embodiment as long as a plurality of cameras are mounted on the vehicle 40. Lens abnormality can be determined in the same manner as above.

つまり、車両４０には、フロントカメラ４ｆとリヤカメラ４ｒとに加えて、車両の左・右をそれぞれ撮像するサイドカメラが搭載されることがある。
この場合、フロントカメラと一方のサイドカメラとを使って、車両の走行方向前方側の前方鳥瞰画像と走行方向後方側の後方鳥瞰画像とを生成し、前方鳥瞰画像を履歴画像として残す。そして、後方鳥瞰画像と履歴画像とで位置が一致する画像領域同士を比較することで、レンズ異常を判定する。 In other words, in addition to the front camera 4f and the rear camera 4r, the vehicle 40 may be equipped with a side camera that images the left and right sides of the vehicle.
In this case, the front camera and one side camera are used to generate a front bird's-eye image on the front side in the traveling direction of the vehicle and a rear bird's-eye image on the rear side in the traveling direction, and leave the front bird's-eye image as a history image. Then, the lens abnormality is determined by comparing the image regions having the same position in the rear bird's-eye view image and the history image.

このようにしても、上記実施形態と同様に、各カメラのレンズ異常を判定することができる。また、同様に、リヤカメラと一方のサイドカメラとを使って、レンズ異常を判定することもできる。   Even in this case, the lens abnormality of each camera can be determined in the same manner as in the above embodiment. Similarly, a lens abnormality can be determined using the rear camera and one side camera.

またこの場合、フロントカメラ４ｆ、リヤカメラ４ｒ、及び、サイドカメラの一方若しくは両方を使って、それぞれ、鳥瞰画像を生成し、その生成した鳥瞰画像の中から位置が一致する画像領域を抽出して比較することで、レンズ異常を判定するようにしてもよい。   In this case, one or both of the front camera 4f, the rear camera 4r, and the side camera are used to generate bird's-eye images, and image regions whose positions match are extracted from the generated bird's-eye images and compared. By doing so, lens abnormality may be determined.

また次に、上記実施形態では、画像処理部２０はマイクロコンピュータにて構成されていて、ＣＰＵがプログラムを実行することで、視点変換部２２、画像合成部２４、異常判定部２６、影判定部２８としての機能が実現されるものとして説明した。   In the above embodiment, the image processing unit 20 is configured by a microcomputer, and the viewpoint conversion unit 22, the image composition unit 24, the abnormality determination unit 26, and the shadow determination unit are executed by the CPU executing the program. The description has been made assuming that the function 28 is realized.

しかし、画像処理部２０は、これら各部の機能を実現できればよく、その機能の一部若しくは全てを、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するように構成してもよい。   However, the image processing unit 20 only needs to be able to realize the functions of these units, and may be configured to realize part or all of the functions using hardware that combines a logic circuit, an analog circuit, and the like.

また、上記実施形態では、車両４０の位置や進行方向を把握できるようにするために、車輪速センサ６及び操舵角センサ８を用いるものとして説明したが、これらとは別に衛星測位システムを利用するようにしてもよい。   In the above-described embodiment, the wheel speed sensor 6 and the steering angle sensor 8 are described as being used so that the position and traveling direction of the vehicle 40 can be grasped. However, a satellite positioning system is used separately from these. You may do it.

次に、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。   Next, a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or one function of one constituent element may be realized by a plurality of constituent elements. . Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate | omit a part of structure of the said embodiment. In addition, at least a part of the configuration of the above embodiment may be added to or replaced with the configuration of the other embodiment. In addition, all the aspects included in the technical idea specified only by the wording described in the claim are embodiment of this invention.

また、本発明は、上述した撮像システム２の他、当該撮像システム２を構成要素とするシステム、あるいは、当該撮像システム２の画像処理部２０としてコンピュータを機能させるためのプログラム、として実現することができる。また、本発明は、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理部２０にて実現されるレンズ異常検出方法など、種々の形態で実現することもできる。   In addition to the imaging system 2 described above, the present invention can be realized as a system having the imaging system 2 as a constituent element, or a program for causing a computer to function as the image processing unit 20 of the imaging system 2. it can. The present invention can also be realized in various forms such as a non-transitional actual recording medium such as a semiconductor memory in which the program is recorded, a lens abnormality detection method realized by the image processing unit 20, and the like.

２…撮像システム、４ｆ…フロントカメラ、４ｒ…リヤカメラ、５ｆ，５ｒ…レンズ、６…車輪速センサ、８…操舵角センサ、１０…制御ユニット、１２…撮像信号入力部、１４…検出信号入力部、１６…メモリ、１８…表示制御部、２０…画像処理部、２２…視点変換部、２４…画像合成部、２６…異常判定部、２８…影判定部、３０…表示部、３２…異常報知部、４０…車両。   DESCRIPTION OF SYMBOLS 2 ... Imaging system, 4f ... Front camera, 4r ... Rear camera, 5f, 5r ... Lens, 6 ... Wheel speed sensor, 8 ... Steering angle sensor, 10 ... Control unit, 12 ... Imaging signal input part, 14 ... Detection signal input part , 16 ... Memory, 18 ... Display control section, 20 ... Image processing section, 22 ... Viewpoint conversion section, 24 ... Image composition section, 26 ... Abnormality determination section, 28 ... Shadow determination section, 30 ... Display section, 32 ... Abnormality notification 40, vehicle.

Claims (4)

車両周囲を撮像するための複数の車載カメラ（４ｆ、４ｒ）と、
前記複数の車載カメラによる撮像画像をそれぞれ視点変換することで鳥瞰画像を生成する視点変換部（２２、Ｓ１１０）と、
前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向前方に位置する前方鳥瞰画像を、履歴画像として、車両の走行に応じて順次記憶する記憶部（１６、Ｓ１３０）と、
前記視点変換部にて生成された鳥瞰画像のうち、前記車両の走行方向後方に位置する後方鳥瞰画像と、前記記憶部に記憶され、当該後方鳥瞰画像に対応した履歴画像と、を比較し、各画像の差分が異常判定値以上であるとき、前記複数の車載カメラの一つにレンズ異常が生じていると判定する異常判定部（２６、Ｓ１６０−Ｓ１８０）と、
を備えた車載カメラのレンズ異常検出装置。 A plurality of in-vehicle cameras (4f, 4r) for imaging the surroundings of the vehicle;
A viewpoint conversion unit (22, S110) that generates a bird's-eye view image by converting viewpoints of images captured by the plurality of in-vehicle cameras;
A storage unit (16, S130) that sequentially stores, as a history image, a front bird's-eye image that is located in front of the vehicle in the traveling direction among the bird's-eye images generated by the viewpoint conversion unit;
Of the bird's-eye images generated by the viewpoint conversion unit, a rear bird's-eye image located behind the vehicle in the traveling direction is compared with a history image stored in the storage unit and corresponding to the rear bird's-eye image, An abnormality determination unit (26, S160-S180) that determines that a lens abnormality has occurred in one of the plurality of in-vehicle cameras when the difference between the images is equal to or greater than an abnormality determination value;
Lens abnormality detection device for in-vehicle camera equipped with 前記視点変換部にて生成された鳥瞰画像に自車両の影が含まれているか否かを判定する影判定部（２８、Ｓ１４０、Ｓ１５０）を備え、
前記異常判定部は、前記影判定部にて自車両の影が含まれていると判定された鳥瞰画像を利用して前記レンズ異常を判定するのを禁止する、ように構成されている請求項１に記載の車載カメラのレンズ異常検出装置。 A shadow determination unit (28, S140, S150) for determining whether the bird's-eye image generated by the viewpoint conversion unit includes a shadow of the host vehicle;
The said abnormality determination part is comprised so that it may prohibit determining the said lens abnormality using the bird's-eye view image determined that the shadow of the own vehicle is contained in the said shadow determination part. The lens abnormality detection device for an in-vehicle camera according to 1. 前記視点変換部にて生成された鳥瞰画像と前記記憶部に記憶された履歴画像とを合成することで、自車両周囲の鳥瞰画像を生成する画像合成部（２４）を備え、
前記異常判定部は、前記レンズ異常が生じていると判定すると前記画像合成部による画像合成を禁止する、ように構成されている請求項１または請求項２に記載の車載カメラのレンズ異常検出装置。 An image composition unit (24) for generating a bird's-eye image around the host vehicle by combining the bird's-eye image generated by the viewpoint conversion unit and the history image stored in the storage unit;
The in-vehicle camera lens abnormality detection device according to claim 1, wherein the abnormality determination unit is configured to prohibit image composition by the image composition unit when it is determined that the lens abnormality has occurred. . 前記異常判定部にて前記レンズ異常が生じていると判定されると、その旨を報知する異常報知部（３２、Ｓ１９０）を備えている、請求項１〜請求項３のいずれか１項に記載の車載カメラのレンズ異常検出装置。   4. The apparatus according to claim 1, further comprising an abnormality notifying unit (32, S <b> 190) that notifies the abnormality when the abnormality determining unit determines that the lens abnormality has occurred. The on-vehicle camera lens abnormality detection device described.
JP2016003752A 2016-01-12 2016-01-12 In-vehicle camera lens abnormality detection device Active JP6565693B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016003752A JP6565693B2 (en) 2016-01-12 2016-01-12 In-vehicle camera lens abnormality detection device
PCT/JP2017/000659 WO2017122688A1 (en) 2016-01-12 2017-01-11 Device for detecting abnormality of lens of onboard camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016003752A JP6565693B2 (en) 2016-01-12 2016-01-12 In-vehicle camera lens abnormality detection device

Publications (2)

Publication Number Publication Date
JP2017126835A true JP2017126835A (en) 2017-07-20
JP6565693B2 JP6565693B2 (en) 2019-08-28

Family

ID=59311246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016003752A Active JP6565693B2 (en) 2016-01-12 2016-01-12 In-vehicle camera lens abnormality detection device

Country Status (2)

Country Link
JP (1) JP6565693B2 (en)
WO (1) WO2017122688A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019121030A (en) * 2017-12-28 2019-07-22 株式会社デンソーテン Camera deviation detection device, camera deviation detection method, and irregularity detection device
WO2022102425A1 (en) * 2020-11-11 2022-05-19 ソニーセミコンダクタソリューションズ株式会社 Signal processing device, and signal processing method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011108278A1 (en) * 2010-03-05 2011-09-09 パナソニック株式会社 Monitoring system, control method thereof, and semiconductor integrated circuit
JP2013246493A (en) * 2012-05-23 2013-12-09 Denso Corp Vehicle circumference image display controller and vehicle circumference image display control program
JP2014013994A (en) * 2012-07-04 2014-01-23 Denso Corp Vehicle peripheral image display control device and vehicle peripheral image display control program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011108278A1 (en) * 2010-03-05 2011-09-09 パナソニック株式会社 Monitoring system, control method thereof, and semiconductor integrated circuit
JP2013246493A (en) * 2012-05-23 2013-12-09 Denso Corp Vehicle circumference image display controller and vehicle circumference image display control program
JP2014013994A (en) * 2012-07-04 2014-01-23 Denso Corp Vehicle peripheral image display control device and vehicle peripheral image display control program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019121030A (en) * 2017-12-28 2019-07-22 株式会社デンソーテン Camera deviation detection device, camera deviation detection method, and irregularity detection device
JP7009209B2 (en) 2017-12-28 2022-01-25 株式会社デンソーテン Camera misalignment detection device, camera misalignment detection method and abnormality detection device
WO2022102425A1 (en) * 2020-11-11 2022-05-19 ソニーセミコンダクタソリューションズ株式会社 Signal processing device, and signal processing method

Also Published As

Publication number Publication date
WO2017122688A1 (en) 2017-07-20
JP6565693B2 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
JP5421072B2 (en) Approaching object detection system
WO2017158983A1 (en) Object recognition device, object recognition method, and object recognition program
JP6137081B2 (en) Car equipment
JP6429452B2 (en) In-vehicle image processing apparatus and semiconductor device
JP7077910B2 (en) Bound line detection device and lane marking method
US10099617B2 (en) Driving assistance device and driving assistance method
JP6376354B2 (en) Parking assistance system
WO2015186294A1 (en) Vehicle-mounted image-processing device
WO2015122124A1 (en) Vehicle periphery image display apparatus and vehicle periphery image display method
JP6778620B2 (en) Road marking device, road marking system, and road marking method
US10740909B2 (en) Drive recorder
JP6565693B2 (en) In-vehicle camera lens abnormality detection device
JP6635621B2 (en) Automotive vision system and method of controlling the vision system
US9827906B2 (en) Image processing apparatus
JP6601336B2 (en) Lane marking recognition system
JP2016091250A (en) Vehicle surrounding image display apparatus and vehicle surrounding image display method
JP5040851B2 (en) Wakimi driving judgment device
CN111989541A (en) Stereo camera device
CN111460852A (en) Vehicle-mounted 3D target detection method, system and device
JP2008042759A (en) Image processing apparatus
JP4040620B2 (en) Vehicle periphery monitoring device
JP7137356B2 (en) In-vehicle failure detection device and failure detection method
EP3396620B1 (en) Display control device and display control method
US11410288B2 (en) Image processing apparatus
JP2020042716A (en) Abnormality detection device and abnormality detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R151 Written notification of patent or utility model registration

Ref document number: 6565693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250