JP6362945B2 - In-vehicle image processing device - Google Patents

In-vehicle image processing device Download PDF

Info

Publication number
JP6362945B2
JP6362945B2 JP2014148860A JP2014148860A JP6362945B2 JP 6362945 B2 JP6362945 B2 JP 6362945B2 JP 2014148860 A JP2014148860 A JP 2014148860A JP 2014148860 A JP2014148860 A JP 2014148860A JP 6362945 B2 JP6362945 B2 JP 6362945B2
Authority
JP
Japan
Prior art keywords
image
unit
vehicle
detected
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014148860A
Other languages
Japanese (ja)
Other versions
JP2016022845A (en
Inventor
玲 宇田川
玲 宇田川
健人 緒方
健人 緒方
將裕 清原
將裕 清原
健 志磨
健 志磨
彰二 村松
彰二 村松
聡史 鈴木
聡史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2014148860A priority Critical patent/JP6362945B2/en
Publication of JP2016022845A publication Critical patent/JP2016022845A/en
Application granted granted Critical
Publication of JP6362945B2 publication Critical patent/JP6362945B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、例えば路面に描かれた白線等の対象物を画像処理により検出する車載画像処理装置に関するものである。   The present invention relates to an in-vehicle image processing apparatus that detects an object such as a white line drawn on a road surface by image processing.

近年、車両に搭載されたカメラで車両の周辺を撮像し、撮像画像の画像処理により路面に引かれた白線を検出して、検出された白線（または、検出された白線から構成される駐車枠、白線を含む路面標示）と車両との位置関係から、警報や制御を行う装置が研究開発されている。   In recent years, a camera mounted on a vehicle captures the periphery of the vehicle, detects a white line drawn on the road surface by image processing of the captured image, and detects the detected white line (or a parking frame composed of the detected white line Devices that perform alarms and control are being researched and developed based on the positional relationship between vehicles and road markings including white lines).

車室外にカメラを搭載するシステムでは、カメラが風雨に晒された状態で使用されるため、カメラのレンズに水滴や汚れ等の異物が付着する可能性が高い。異物がレンズに付着すると、画像に移り込んでしまい、本来ならば検知できるタイミングで白線を検知できず、警報や制御が遅れる恐れがある。そして、従来からレンズが汚れたことを検知して報知する技術が提案されている（例えば特許文献１）。   In a system in which a camera is mounted outside the passenger compartment, the camera is used in a state where it is exposed to wind and rain. If foreign matter adheres to the lens, it moves to the image, and the white line cannot be detected at a timing that would otherwise be detected, possibly leading to delays in alarms and control. Conventionally, a technique for detecting and notifying that a lens is dirty has been proposed (for example, Patent Document 1).

特開２０１２−１６６７０５号公報JP 2012-166705 A

特許文献１に記載された車載カメラ用異物付着判定装置は、ある時刻で装置が検知した白線の位置と車両情報を用いて計算した次の時刻での白線の位置と、実際に次の時刻で検知した白線の位置を比較して、その比較結果からレンズへの異物の付着を判定していた。   The in-vehicle camera foreign matter adhesion determination device described in Patent Document 1 is based on the position of the white line detected by the device at a certain time, the position of the white line calculated using the vehicle information, and the actual time at the next time. The position of the detected white line is compared, and the adhesion of foreign matter to the lens is determined from the comparison result.

しかしながら、特許文献１に開示された発明は異なる時刻で撮像して得た白線情報を用いるため、処理周期と車両運動によっては適切なタイミングで警報と制御を行えない課題がある。そして、上記した課題は、白線の検知のみに限られず、歩行者や自動車などの対象物の検知に対しても同様に存在するものである。   However, since the invention disclosed in Patent Document 1 uses white line information obtained by imaging at different times, there is a problem that alarm and control cannot be performed at an appropriate timing depending on the processing cycle and vehicle motion. And the above-mentioned subject is not restricted only to detection of a white line, but exists similarly to detection of objects, such as a pedestrian and a car.

本発明は、上記課題に鑑みてなされたものであり、その目的とするところは、撮像部への異物の付着を迅速に判定することができる車載画像処理装置を提供することである。   The present invention has been made in view of the above problems, and an object of the present invention is to provide an in-vehicle image processing apparatus that can quickly determine the adhesion of a foreign substance to an imaging unit.

上記課題を解決する本発明の車載画像処理装置は、撮像部で撮像した画像を画像処理することにより対象物を検出する車載画像処理装置であって、所定のタイミングで撮像された今回画像から対象物を検出する対象物検出部と、該対象物が前記今回画像よりも前のタイミングで撮像された前回画像では検出されておらず、前記今回画像で初めて検出された新規対象物であるか否かを判定する新規対象物判定部と、前記前回画像の撮像時における前記新規対象物の位置を推定し、該推定位置が前記前回画像内に位置している場合に、前記撮像部の光学系に付着物が付着していると判定する付着物判定部と、を有することを特徴としている。   An in-vehicle image processing apparatus of the present invention that solves the above-described problem is an in-vehicle image processing apparatus that detects an object by performing image processing on an image captured by an imaging unit, and is based on a current image captured at a predetermined timing. An object detection unit for detecting an object, and whether or not the object is a new object detected for the first time in the current image but not detected in the previous image captured at a timing before the current image A new object determination unit for determining whether or not the position of the new object at the time of capturing the previous image is estimated, and when the estimated position is located in the previous image, the optical system of the image capturing unit And an adhering matter determination unit that determines that adhering matter is attached to the surface.

本発明によれば、撮像部の光学系に付着物が付着しているか否かを迅速に判定することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。   ADVANTAGE OF THE INVENTION According to this invention, it can be determined rapidly whether the deposit | attachment has adhered to the optical system of the imaging part. Problems, configurations, and effects other than those described above will be clarified by the following description of the embodiments.

第１実施形態における車載画像処理装置の全体構成を説明するシステム図。1 is a system diagram illustrating an overall configuration of an in-vehicle image processing apparatus according to a first embodiment. 第１実施形態における車載画像処理の内容を説明するフローチャート。The flowchart explaining the content of the vehicle-mounted image process in 1st Embodiment. 車両とその周囲環境を表す一例を示す模式図。The schematic diagram which shows an example showing a vehicle and its surrounding environment. レンズに異物が付着していない場合の画像を示す模式図。The schematic diagram which shows an image when the foreign material has not adhered to the lens. レンズに異物が付着している場合の画像を示す模式図。The schematic diagram which shows an image when the foreign material has adhered to the lens. レンズに付着していた異物が消失した場合の画像を示す模式図。The schematic diagram which shows an image when the foreign material adhering to the lens lose | disappears. 第２実施形態における車載画像処理装置の全体構成を説明するシステム図。The system figure explaining the whole structure of the vehicle-mounted image processing apparatus in 2nd Embodiment. 第２実施形態における車載画像処理の内容を説明するフローチャート。The flowchart explaining the content of the vehicle-mounted image process in 2nd Embodiment. 処理領域選択画像の一例を示す図。The figure which shows an example of a process area selection image. 車両とその周囲環境を表す他の一例を示す模式図。The schematic diagram which shows another example showing a vehicle and its surrounding environment. 新規対象物の判定範囲が車両の移動に応じて変更される例を示す図。The figure which shows the example from which the determination range of a new target object is changed according to the movement of a vehicle. 対象物の処理領域内に動体が存在する状態の一例を示す図。The figure which shows an example of the state in which a moving body exists in the process area | region of a target object. 図１２に示す車両のカメラで撮像した画像を模式的に示す図。The figure which shows typically the image imaged with the camera of the vehicle shown in FIG.

＜第１実施形態＞
次に、本発明の第１実施形態について以下に図面を用いて説明する。
車載画像処理装置は、車両に搭載されており、撮像部により車両から外部を撮像した画像を画像処理することにより対象物を検出するものであり、より詳しくは、撮像装置で異なる時間で撮像した複数の画像から撮像装置のレンズへの付着物を検出するものである。検出結果は、例えば車両の走行制御や運転者への警報等に用いられる。車載画像処理装置は、撮像部の光学系に付着物があるかどうかを判定して、その判定結果をもとに警報あるいは制御を行う。 <First Embodiment>
Next, a first embodiment of the present invention will be described below with reference to the drawings.
The in-vehicle image processing apparatus is mounted on a vehicle and detects an object by performing image processing on an image captured from the vehicle by an imaging unit. More specifically, the in-vehicle image processing apparatus captures images at different times with the imaging apparatus. It detects an adhering matter to the lens of the imaging device from a plurality of images. The detection result is used, for example, for vehicle travel control or warning to the driver. The in-vehicle image processing apparatus determines whether there is an adhering substance in the optical system of the imaging unit, and performs an alarm or control based on the determination result.

図１は、本実施形態における車載画像処理装置の全体構成を説明するシステム図である。
車載画像処理装置は、図１に示すように、撮像部１０１と、センサ部１０２と、演算部１０３と、警報部１０４と、制御部１０５と、記憶部１０６を備えている。 FIG. 1 is a system diagram illustrating the overall configuration of the in-vehicle image processing apparatus according to the present embodiment.
As shown in FIG. 1, the in-vehicle image processing apparatus includes an imaging unit 101, a sensor unit 102, a calculation unit 103, an alarm unit 104, a control unit 105, and a storage unit 106.

撮像部１０１は、光学系（レンズ）や撮像素子などを有するカメラであり、不図示の光学系が光軸方向の光を集め、撮像素子が光の強度に合わせてデジタル信号に変換することにより、画像を出力する。撮像部１０１は、例えば車両後部に取り付けられて、車両の後方下部を撮像するバックカメラとして用いられる。センサ部１０２は、車両の変位を検出するためのセンサとして、車速センサや操舵角センサ、ジャイロなどを有しており、操舵角や、速度及び角速度を計測する。   The image pickup unit 101 is a camera having an optical system (lens), an image pickup device, and the like. The optical system (not shown) collects light in the optical axis direction, and the image pickup device converts the light into a digital signal in accordance with the light intensity. , Output an image. The imaging unit 101 is attached to, for example, the rear part of the vehicle and is used as a back camera that images the rear lower part of the vehicle. The sensor unit 102 includes a vehicle speed sensor, a steering angle sensor, a gyro, and the like as sensors for detecting the displacement of the vehicle, and measures the steering angle, speed, and angular velocity.

演算部１０３は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、中央演算処理装置）及びメモリなどのハードウエアと、ハードウエアにより実行されるソフトウエアプログラムとから構成される。演算部１０３は、その内部機能として、画像取得部１１１、センサ出力取得部１１５、対象物検出部１１３、対象物トラッキング部１１４、新規対象物判定部１１７、遮蔽領域判定部１１８、付着物判定部１１９、警報判定部１２０、制御判定部１２１と、を備えている。   The calculation unit 103 includes hardware such as a CPU (central processing unit) and a memory, and a software program executed by the hardware. The calculation unit 103 includes, as its internal functions, an image acquisition unit 111, a sensor output acquisition unit 115, an object detection unit 113, an object tracking unit 114, a new object determination unit 117, a shielding area determination unit 118, and an attachment determination unit. 119, an alarm determination unit 120, and a control determination unit 121.

画像取得部１１１は、撮像部１０１から画像を取得する。センサ出力取得部１１５は、センサ部１０２から出力される車両の操舵角や速度及び角速度の車両情報を取得する。対象物検出部１１３は、撮像部１０１で撮像された画像に対してエッジ抽出や二値化などの画像処理を行い、対象物を検出して、その画像上の位置を算出する。例えば図３に示すように、車両３０１を駐車枠３０２に入れることを想定して、対象物として駐車枠３０２の左右の白線３０３、３０４を検出する。対象物検出部１１３は、撮像部１０１で所定の時間間隔で撮像された各画像に対してそれぞれ対象物を検出する処理を行う。   The image acquisition unit 111 acquires an image from the imaging unit 101. The sensor output acquisition unit 115 acquires vehicle information of the vehicle steering angle, speed, and angular velocity output from the sensor unit 102. The object detection unit 113 performs image processing such as edge extraction and binarization on the image captured by the imaging unit 101, detects the object, and calculates a position on the image. For example, as shown in FIG. 3, assuming that a vehicle 301 is put in a parking frame 302, white lines 303 and 304 on the left and right of the parking frame 302 are detected as objects. The target object detection unit 113 performs a process of detecting a target object for each image captured at a predetermined time interval by the imaging unit 101.

対象物トラッキング部１１４は、センサ出力取得部１１５からの車両情報をもとに、車両の方位及び位置の変位を算出する。これにより、対象物に対する車両の相対的な変位を算出することができる。そして、所定のタイミングで撮像された今回画像から検出した対象物が、今回画像よりも前のタイミングで撮像された前回画像でも検出されているか否かを変位に基づいて判定する。具体的には、今回画像における対象物の位置、車両の変位、撮像部１０１のカメラパラメータに基づいて、前回画像の撮像時における対象物の位置を推定し、推定位置として算出する。ここで、カメラパラメータは、焦点距離、画素ピッチ、レンズ歪、車両におけるカメラの取付位置及び姿勢である。   The object tracking unit 114 calculates the azimuth and position displacement of the vehicle based on the vehicle information from the sensor output acquisition unit 115. Thereby, the relative displacement of the vehicle with respect to the object can be calculated. Then, based on the displacement, it is determined whether or not the object detected from the current image captured at a predetermined timing is also detected from the previous image captured at a timing earlier than the current image. Specifically, based on the position of the object in the current image, the displacement of the vehicle, and the camera parameters of the image capturing unit 101, the position of the object at the time of capturing the previous image is estimated and calculated as the estimated position. Here, the camera parameters are focal length, pixel pitch, lens distortion, camera mounting position and posture in the vehicle.

そして、前回画像における対象物の推定位置と前回画像における対象物の実測位置との差が所定の閾値以内である場合に、前回画像における対象物が今回画像における対象物に対応しており、今回画像における対象物が前回画像でも検出されていたと判定する。そして、今回画像における対象物を前回画像でも検出されている検出済対象物であると判定する。   If the difference between the estimated position of the target object in the previous image and the actual measured position of the target object in the previous image is within a predetermined threshold, the target object in the previous image corresponds to the target object in the current image, It is determined that the object in the image was also detected in the previous image. And it determines with the target object in this image being the detected target object also detected in the last image.

新規対象物判定部１１７は、対象物トラッキング部１１４により前回画像において今回画像の白線に対応するものがないと判定された場合、すなわち、今回画像で検出された対象物が前回画像では検出されていないと判定された場合に、対象物が新規対象物であると判定する。   When the object tracking unit 114 determines that the previous image does not correspond to the white line of the current image, that is, the new object determination unit 117 detects the object detected in the current image in the previous image. When it is determined that there is no object, it is determined that the object is a new object.

遮蔽領域判定部１１８は、新規対象物判定部１１７により今回画像に新規対象物があると判定された場合、新規対象物の今回画像における位置、車両の変位、撮像部１０１のカメラパラメータをもとに、前回画像の撮像時における新規対象物の位置を推定し、その推定位置が前回画像内に位置しているか否かを判定する。そして、推定位置が前回画像内に位置している場合、前回画像における新規対象物を少なくとも覆う領域を遮蔽領域として設定する。この遮蔽領域は、記憶部１０６の遮蔽領域記憶部１３１に記憶される。付着物判定部１１９は、遮蔽領域判定部１１８により遮蔽領域が設定されている場合に、撮像部１０１の光学系に付着物が付着していると判定する。   When the new object determining unit 117 determines that there is a new object in the current image, the shielding area determining unit 118 is based on the position of the new object in the current image, the displacement of the vehicle, and the camera parameters of the imaging unit 101. In addition, the position of the new object at the time of capturing the previous image is estimated, and it is determined whether or not the estimated position is located in the previous image. When the estimated position is located in the previous image, an area that covers at least the new object in the previous image is set as a shielding area. This shielding area is stored in the shielding area storage unit 131 of the storage unit 106. The attached matter determination unit 119 determines that the attached matter is attached to the optical system of the imaging unit 101 when the shielding region is set by the shielding region determination unit 118.

また、遮蔽領域判定部１１８は、対象物トラッキング部１１４により今回画像から検出された対象物が前回画像でも検出されている検出済対象物であると判定された場合に、前回画像内における検出済対象物の検出位置が遮蔽領域内に位置しているか否かを判定する。そして、遮蔽領域内に位置していると判定したときは、撮像部の光学系から付着物が消失したと判定して、遮蔽領域の設定を解除する。   In addition, when the target tracking unit 114 determines that the target detected from the current image is a detected target that is also detected in the previous image, the shielding region determination unit 118 has detected the target in the previous image. It is determined whether or not the detection position of the object is located within the shielding area. And when it determines with it being located in a shielding area, it determines with the deposit | attachment having disappeared from the optical system of the imaging part, and cancels the setting of a shielding area.

警報判定部１２０は、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していると判定された場合に、警報部１０４に対して、画像処理の結果に基づく警報機能を停止させる。一方、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していないと判定された場合に、対象物検出部１１３により検出した対象物の位置に基づいて、警報を出すかどうかを判定する警報判定処理を行う。警報部１０４は、警報判定部１２０で警報を停止すると判定された場合、「警報を停止する」という文字あるいは音声を、車内のディスプレイやスピーカから出力させる。そして、警報判定部１２０で警報を出すと判定された場合、運転手に注意を喚起するための文字あるいは音声を、車内のディスプレイやスピーカから出力させる。   The alarm determination unit 120 provides an alarm function based on the result of image processing to the alarm unit 104 when the adhering material determination unit 119 determines that an adhering material is attached to the optical system of the imaging unit 101. Stop. On the other hand, if the attached matter determining unit 119 determines that no attached matter is attached to the optical system of the imaging unit 101, whether to issue an alarm based on the position of the object detected by the object detecting unit 113. An alarm determination process is performed to determine whether or not. When the alarm determination unit 120 determines that the alarm is to be stopped, the alarm unit 104 causes a character or a voice “stop the alarm” to be output from a display or a speaker in the vehicle. And when it determines with giving the warning by the warning determination part 120, the character or audio | voice for calling a driver | operator's attention is output from the display and speaker in a vehicle.

制御判定部１２１は、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していると判定された場合に、制御部１０５に対して、画像処理の結果に基づく制御機能を停止すると判定する。一方、付着物判定部１１９により、撮像部１０１の光学系に付着物が付着していないと判定された場合に、対象物検出部１１３により検出した対象物の位置に基づいて、制御量を算出する処理を行う。制御部１０５は、制御判定部１２１で制御を停止すると判定された場合、制御を中止する。そして、制御すると判定された場合、制御量に基づいて車両制御を行う。   When the adhering matter determining unit 119 determines that the adhering matter is attached to the optical system of the imaging unit 101, the control determining unit 121 provides the control unit 105 with a control function based on the result of image processing. Determine to stop. On the other hand, when the attached matter determination unit 119 determines that no attached matter is attached to the optical system of the imaging unit 101, the control amount is calculated based on the position of the object detected by the object detection unit 113. Perform the process. When the control determination unit 121 determines to stop the control, the control unit 105 stops the control. And when it determines with controlling, vehicle control is performed based on control amount.

次に、上記構成を有する車載用画像認識装置の動作手順について図２を用いて説明する。
まず、撮像部１０１により画像が出力され（Ｓ２０１）、センサ部１０２により車両の操舵角や速度及び角速度が計測される（Ｓ２０２）。そして、撮像部１０１から出力された画像が画像取得部１１１で取得される（Ｓ２０３）、センサ部１０２で計測された速度及び角速度がセンサ出力取得部１１５で取得される（Ｓ２０４）。 Next, the operation procedure of the in-vehicle image recognition apparatus having the above configuration will be described with reference to FIG.
First, an image is output by the imaging unit 101 (S201), and the steering angle, speed, and angular velocity of the vehicle are measured by the sensor unit 102 (S202). Then, the image output from the imaging unit 101 is acquired by the image acquisition unit 111 (S203), and the velocity and angular velocity measured by the sensor unit 102 are acquired by the sensor output acquisition unit 115 (S204).

次に、対象物検出部１１３により、今回画像から対象物を検出する処理が行われる（Ｓ２０５）。例えば白線を対象物として検出する場合には、画像取得部１１１で取得した画像でエッジ抽出を行い、立ち上がりエッジ及び立下りエッジで囲まれた領域を抽出する。また、画像で二値化処理を行い、輝度が閾値以上である領域を抽出する。そして、上記の２つの領域が重なる領域を白線として抽出する。抽出された画像上の白線の領域は、対象物トラッキング部１１４に送られる。   Next, the object detection unit 113 performs processing for detecting the object from the current image (S205). For example, when a white line is detected as an object, edge extraction is performed using the image acquired by the image acquisition unit 111, and a region surrounded by rising and falling edges is extracted. Also, binarization processing is performed on the image, and a region whose luminance is equal to or higher than a threshold is extracted. Then, a region where the above two regions overlap is extracted as a white line. The white line area on the extracted image is sent to the object tracking unit 114.

そして、対象物トラッキング部１１４により、対象物のトラッキングが行われる（ステップＳ２０６）。対象物トラッキング部１１４は、対象物検出部１１３から今回画像における対象物の領域の情報を受け取る。そして、センサ出力取得部１１５から車両の操舵角や速度及び角速度等の車両情報を受け取り、これらの車両情報をもとに、前回画像の撮像時から今回画像の撮像時までの間における車両の方位変位及び位置変位を算出する。   Then, the object tracking unit 114 performs tracking of the object (step S206). The object tracking unit 114 receives information on the area of the object in the current image from the object detection unit 113. Then, vehicle information such as the steering angle, speed, and angular velocity of the vehicle is received from the sensor output acquisition unit 115, and the direction of the vehicle between the time of capturing the previous image and the time of capturing the current image based on the vehicle information. Displacement and position displacement are calculated.

そして、今回画像の撮像時における対象物の位置と、今回画像の撮像時から前回画像の撮像時までの間における車両の方位変位及び位置変位と、撮像部のカメラパラメータをもとに、今回画像の撮像時から前回画像の撮像時までの間における対象物の位置の変位を算出するとともに、前回画像の撮像時における対象物の位置を推定する。
そして、前回画像の撮像時における対象物の推定位置と、前回画像の撮像時における対象物の実際の検出位置である実測値との差が所定の閾値以内であるか否かを判定する。そして、所定の閾値以内である場合に、前回画像の対象物は今回画像の対象物に対応していると判定し、閾値よりも大きい場合に、前回画像の対象物は今回画像の対象物に対応していないと判定する。 Then, based on the position of the object at the time of capturing the current image, the azimuth and position displacement of the vehicle between the time of capturing the current image and the time of capturing the previous image, and the camera parameters of the imaging unit, The displacement of the position of the target object between the time of imaging and the time of capturing the previous image is calculated, and the position of the target object at the time of capturing the previous image is estimated.
Then, it is determined whether or not the difference between the estimated position of the object at the time of capturing the previous image and the actual measurement value that is the actual detection position of the object at the time of capturing the previous image is within a predetermined threshold. If it is within a predetermined threshold value, it is determined that the object of the previous image corresponds to the object of the current image. If the object is larger than the threshold value, the object of the previous image becomes the object of the current image. It is determined that it is not compatible.

例えば、図４に示すように、前回画像４０１と今回画像４１１に写っている白線４０３、４０４と白線４１３、４１４は対応している、すなわち、前回画像４０１で撮像されている白線４０３、４０４と今回画像４１１で撮像されている白線４１３、４１４は、同じ白線であると判定される。前回画像と今回画像で認識された白線の対応関係は、新規対象物判定部１１７に送られる。   For example, as shown in FIG. 4, the white lines 403 and 404 and the white lines 413 and 414 shown in the previous image 401 and the current image 411 correspond to each other, that is, the white lines 403 and 404 captured in the previous image 401 The white lines 413 and 414 captured in the current image 411 are determined to be the same white line. The correspondence relationship between the white line recognized in the previous image and the current image is sent to the new object determination unit 117.

そして、新規対象物判定部１１７により、新規対象物の判定が行われる（ステップＳ２０７）。新規対象物判定部１１７は、前回画像と今回画像の画像処理で認識された対象物の対応関係を対象物トラッキング部１１４から受け取る。そして、対象物の対応関係の情報をもとに、前回画像には対応する対象物がなく、今回画像の画像処理で新たに認識された対象物を新規対象物であると判定する。   Then, the new object determination unit 117 determines the new object (step S207). The new object determination unit 117 receives from the object tracking unit 114 the correspondence between the objects recognized by the image processing of the previous image and the current image. Then, based on the information on the correspondence relationship between the objects, it is determined that there is no corresponding object in the previous image and the object newly recognized by the image processing of the current image is a new object.

例えば、図５に示すように、今回画像５１１に写っている白線５１３は、前回の処理における画像５０１に写っていないため、新規の白線であると判定される。新規の白線がある場合、遮蔽領域判定部１１８及び付着物判定部１１９に対して新規の白線の位置を示す情報を送る。なお、図５の前回画像５０１では、光学系に付着した水滴５０６によって白線５０３がかくれている状態が示されている。   For example, as shown in FIG. 5, the white line 513 shown in the current image 511 is not shown in the image 501 in the previous process, and thus is determined to be a new white line. When there is a new white line, information indicating the position of the new white line is sent to the shielding area determination unit 118 and the adhering matter determination unit 119. The previous image 501 in FIG. 5 shows a state in which the white line 503 is hidden by the water droplets 506 attached to the optical system.

そして、遮蔽領域判定部１１８により、遮蔽領域の判定が行われる（ステップＳ２０８）。遮蔽領域判定部１１８は、新規対象物がある場合、新規対象物判定部１１７から新規対象物の位置を受け取り、そして、対象物トラッキング部１１４から前回画像と今回画像との間における車両の方位変位及び位置変位を受け取る。そして、それらの情報及びカメラパラメータをもとに、前回画像の撮像時における新規対象物の位置を推定し、推定位置として算出する。   Then, the shielding area determination unit 118 determines the shielding area (step S208). When there is a new object, the shielding area determination unit 118 receives the position of the new object from the new object determination unit 117, and the azimuth displacement of the vehicle between the previous image and the current image from the object tracking unit 114. And receiving positional displacement. Based on the information and camera parameters, the position of the new object at the time of capturing the previous image is estimated and calculated as the estimated position.

前回画像の撮像時における新規対象物の推定位置が前回画像上にある場合、推定位置における新規対象物を少なくとも覆う領域を遮蔽領域５１５として設定し、その設定した遮蔽領域の位置を示す情報を付着物判定部１１９と遮蔽領域記憶部１３１に送る。   When the estimated position of the new object at the time of capturing the previous image is on the previous image, an area covering at least the new object at the estimated position is set as the shielding area 515, and information indicating the position of the set shielding area is attached. The data is sent to the kimono determination unit 119 and the shielding area storage unit 131.

例えば、図５に示すように、前回画像の撮像時における白線５０３（新規対象物）の推定位置を完全に覆う領域が遮蔽領域５０５として設定される。新規の白線がない場合には、遮蔽領域を設定する処理は実施しない。   For example, as shown in FIG. 5, an area that completely covers the estimated position of the white line 503 (new object) at the time of capturing the previous image is set as the shielding area 505. If there is no new white line, the process of setting the shielding area is not performed.

そして、付着物判定部１１９により、付着物の判定が行われる（ステップＳ２０９）。付着物判定部１１９は、遮蔽領域判定部１１８から遮蔽領域の位置の情報を送られた場合、その情報を受け取り、遮蔽領域の位置に対応する光学系の対応位置に付着物が付着していると判定する。遮蔽領域５０５の情報は、警報判定部１２０及び制御判定部１２１に送る。   Then, the adhering matter determination unit 119 determines the adhering matter (step S209). When the information on the position of the shielding area is sent from the shielding area determination unit 118, the attached matter determination unit 119 receives the information, and the attached matter is attached to the corresponding position of the optical system corresponding to the position of the shielding area. Is determined. Information on the shielding area 505 is sent to the alarm determination unit 120 and the control determination unit 121.

また、付着物の判定では、対象物トラッキング部１１４から対応関係がある前回画像と今回画像における白線の位置を受け取り、対応関係がある前回画像と今回画像における対象物の位置から所定の距離以内に、過去に判定した遮蔽領域がある場合、その遮蔽領域から付着物が消失したと判定する。例えば、図６に示すように、今回画像６１１から検出された白線６１３が、前回画像６０１でも検出されている検出済の白線６０３（検出済対象物）である場合には、前回画像６０１内における検出済の白線６０３の検出位置が遮蔽領域６０５内に位置しているか否かを判定し、遮蔽領域６０５内に位置していると判定したときは、その遮蔽領域６０５には付着物がなくなったと判定し、今回画像６１１における遮蔽領域６１５の設定を解除する。   Further, in the determination of the attached matter, the position of the white line in the previous image and the current image having a correspondence relationship is received from the object tracking unit 114, and within a predetermined distance from the position of the object in the previous image and the current image having the correspondence relationship. If there is a previously determined shielding area, it is determined that the deposit has disappeared from the shielding area. For example, as shown in FIG. 6, when the white line 613 detected from the current image 611 is a detected white line 603 (detected object) detected in the previous image 601, When it is determined whether or not the detected position of the detected white line 603 is located in the shielding area 605, and it is determined that the detected position is located in the shielding area 605, it is assumed that there is no deposit in the shielding area 605. The determination is made and the setting of the shielding area 615 in the current image 611 is cancelled.

警報の判定（ステップＳ２１０）では、警報判定部１２０は、付着物判定部１１９から付着物の情報を受け取る。例えば、画像上に付着物が付着しているとの情報を受け取った場合には、警報機能を停止すると判定して、警報機能を停止する信号を警報部１０４に送る。一方、画像上に付着物が付着していないとの情報を受け取った場合には、対象物検出部１１３からの白線の位置と所定の位置との距離をもとに、警報を出すかどうかを判定して、警報の出力結果を警報部１０４に送る。   In the alarm determination (step S <b> 210), the alarm determination unit 120 receives information on the deposit from the deposit determination unit 119. For example, when information indicating that an adhering matter is attached to the image is received, it is determined that the alarm function is to be stopped, and a signal for stopping the alarm function is transmitted to the alarm unit 104. On the other hand, when information indicating that no deposit is attached to the image is received, whether to issue an alarm based on the distance between the position of the white line from the object detection unit 113 and a predetermined position is determined. Determination is made and the alarm output result is sent to the alarm unit 104.

制御の判定（ステップＳ２１１）では、制御判定部１２１は、付着物判定部１１９から付着物の領域の情報を受け取る。例えば、画像上に付着物が付着しているとの情報を受け取った場合には、制御機能を停止すると判定して、警報機能を停止する信号を制御部１０５に送る。一方、画像上に付着物が付着していないとの情報を受け取った場合には、対象物検出部１１３からの白線の位置をもとに、制御部１０５の制御量を算出して、制御量を制御部１０５に送る。   In the control determination (step S <b> 211), the control determination unit 121 receives information on the deposit area from the deposit determination unit 119. For example, when information indicating that the deposit is attached to the image is received, it is determined that the control function is to be stopped, and a signal for stopping the alarm function is transmitted to the control unit 105. On the other hand, when information indicating that no deposit is attached to the image is received, the control amount of the control unit 105 is calculated based on the position of the white line from the object detection unit 113, and the control amount is calculated. Is sent to the control unit 105.

警報部１０４は、警報判定部１２０から警報機能を停止する信号を受け取った場合、「警報を停止する」という文字あるいは音声を出力し、警報判定部１２０から警報を出すという信号を受け取った場合、運転手に注意を喚起するための文字あるいは音声を出力する（ステップＳ２１２）。   When the alarm unit 104 receives a signal to stop the alarm function from the alarm determination unit 120, the alarm unit 104 outputs a character or a voice "stop the alarm" and receives a signal to output an alarm from the alarm determination unit 120, Characters or voices for alerting the driver are output (step S212).

制御部１０５は、制御判定部１２１から制御量を受け取り、制御量をもとに車両制御を行い、制御判定部１２１から制御を停止するという信号を受け取った場合に、車両制御を中止する（ステップ２１３）。   The control unit 105 receives the control amount from the control determination unit 121, performs vehicle control based on the control amount, and stops the vehicle control when receiving a signal to stop control from the control determination unit 121 (step 213).

本実施形態の車載用画像認識装置によれば、今回画像から検出した対象物が前回画像では検出されていない新規対象物である場合に、前回画像の撮像時における新規対象物の位置を推定し、その推定した新規対象物の推定位置が前回画像内に位置しているときは、撮像部の光学系に付着物が付着していると判定するので、撮像部の光学系に水滴や空気中の浮遊物などの付着物が付着した時点で、付着ありと判定することができる。したがって、付着物の付着を即座に判定でき、警報及び制御の誤動作及び未動作を防ぐことができる。   According to the in-vehicle image recognition apparatus of the present embodiment, when the object detected from the current image is a new object that has not been detected in the previous image, the position of the new object at the time of capturing the previous image is estimated. When the estimated position of the estimated new object is located in the previous image, it is determined that the deposit is attached to the optical system of the imaging unit. It is possible to determine that there is an attachment at the time when an attached matter such as a suspended matter is attached. Therefore, it is possible to immediately determine the adhesion of the deposit, and prevent malfunctions and non-operations of the alarm and control.

例えば撮像部１０１についた付着物が水滴である場合、像が歪み、前回画像における白線の位置の推定位置と実測値との差が大きくなり、対象物トラッキング部１１４が、前回画像と今回画像との間の白線の位置に対応関係がないと判定することにより、新規の白線と認識して、付着物があると判定できる。   For example, when the attached matter attached to the imaging unit 101 is a water droplet, the image is distorted, and the difference between the estimated position of the position of the white line in the previous image and the actual measurement value increases, and the object tracking unit 114 determines that the previous image and the current image are By determining that there is no corresponding relationship between the positions of the white lines between the two, it can be determined that there is an adhering substance by recognizing a new white line.

本実施形態の車載用画像認識装置によれば、今回画像から検出された対象物が、前回画像でも検出されている検出済対象物である場合に、前回画像内における検出済対象物の検出位置が遮蔽領域内に位置しているか否かを判定し、遮蔽領域内に位置していると判定したときは、遮蔽領域の設定を解除するので、撮像部の光学系から水滴や空気中の浮遊物などの付着物が消失したことを判定できる。これにより、警報及び制御ができない中止状態から即座に動作させることができる。   According to the in-vehicle image recognition device of the present embodiment, when the object detected from the current image is the detected object detected in the previous image, the detection position of the detected object in the previous image. Is determined to be located in the shielding area, and if it is determined to be located in the shielding area, the setting of the shielding area is canceled. It can be determined that the attached matter such as an object has disappeared. Thereby, it can be made to operate immediately from the stop state which cannot perform an alarm and control.

なお、上述の実施例では、撮像部１０１が単眼カメラである場合を例に説明したが、撮像部１０１の数は一つに限定されるものではなく、複数であってもよい。例えば、撮像部１０１を車両に複数設置して、画像取得部１１１、対象物検出部１１３、対象物トラッキング部１１４、新規対象物判定部１１７、遮蔽領域判定部１１８が複数の画像についてステップ２０３〜２０８を実施することにより、より広い領域の情報をもとに警報及び制御を実施することができる。   In the above-described embodiment, the case where the imaging unit 101 is a monocular camera has been described as an example. However, the number of the imaging units 101 is not limited to one and may be plural. For example, a plurality of imaging units 101 are installed in the vehicle, and the image acquisition unit 111, the object detection unit 113, the object tracking unit 114, the new object determination unit 117, and the shielding area determination unit 118 perform steps 203 to 203 for a plurality of images. By performing 208, alarm and control can be performed based on information in a wider area.

＜第２実施形態＞
次に、本発明の第２実施形態について図７から図１３を用いて説明する。
なお、第１実施形態と同様の構成要素については同様の符号を付することでその詳細な説明を省略する。 Second Embodiment
Next, a second embodiment of the present invention will be described with reference to FIGS.
In addition, the same code | symbol is attached | subjected about the component similar to 1st Embodiment, and the detailed description is abbreviate | omitted.

本実施形態において特徴的なことは、画像取得部１１１により取得した画像の中から、対象物検出部１１３によって対象物を検出可能な処理領域を選択する処理領域選択部１１２と、処理領域選択部１１２によって選択された処理領域内で新規対象物の判定を行う新規対象物判定領域を決定する新規対象物判定領域決定部１１６を設けたことである。   What is characteristic in the present embodiment is that a processing region selection unit 112 that selects a processing region in which an object can be detected by the target object detection unit 113 from images acquired by the image acquisition unit 111, and a processing region selection unit 112 is provided with a new object determination area determination unit 116 that determines a new object determination area in which a new object is determined in the processing area selected by 112.

撮像部１０１は、認識する対象物の種類によって異なる露光枠を用いて基準となる光強度を決定する。例えば、路面上の物体を認識対象物とする場合、路面部分に矩形の露光枠を設けて、その露光枠内の光の平均強度（明るさの平均値）を求め、その光の平均強度を基準値としてデジタル信号に変換する。センサ部１０２は、撮像部１０１で決定された光強度を露光値として取得し、センサ出力取得部１１５に出力することができる。   The imaging unit 101 determines a reference light intensity using an exposure frame that varies depending on the type of object to be recognized. For example, when an object on the road surface is a recognition target, a rectangular exposure frame is provided on the road surface portion, the average light intensity (brightness average value) in the exposure frame is obtained, and the average light intensity is calculated. Convert to digital signal as reference value. The sensor unit 102 can acquire the light intensity determined by the imaging unit 101 as an exposure value and output it to the sensor output acquisition unit 115.

実際の制御では、図８のフローチャートに示すように、ステップＳ２０４でセンサ出力を取得した後、ステップＳ２２４で、対象物の処理領域を選択する処理が行われる。処理領域選択部１１２は、露光値及び画像内輝度の分布から、対象物を認識可能な処理領域を選択する。より詳しくは、センサ出力取得部１１５が取得したカメラ情報（露光値及び画像内輝度の分布を含む）と、認識する対象物の種類と、カメラからの距離とに基づいて、対象物検出部１１３が対象物を検出可能な処理領域を選択する。   In actual control, as shown in the flowchart of FIG. 8, after acquiring the sensor output in step S204, processing for selecting the processing region of the object is performed in step S224. The processing area selection unit 112 selects a processing area in which the object can be recognized from the distribution of the exposure value and the luminance in the image. More specifically, the object detection unit 113 is based on the camera information acquired by the sensor output acquisition unit 115 (including the exposure value and the luminance distribution in the image), the type of the object to be recognized, and the distance from the camera. Selects a processing region in which the object can be detected.

処理領域選択部１１２がないと、例えば前回処理において画像の露光値が極端に低く、対象物検出部１１３が対象物を検出できず、今回処理において画像の露光値が通常の範囲となって対象物を検出できた場合に、新規対象物判定部１１７によって付着物があると誤って判断されるおそれがある。   Without the processing area selection unit 112, for example, the exposure value of the image in the previous process is extremely low, the object detection unit 113 cannot detect the object, and the exposure value of the image becomes the normal range in the current process. When an object can be detected, there is a possibility that the new object determination unit 117 may erroneously determine that there is an attached object.

これに対して、本実施形態では処理領域選択部１１２を設けて処理領域の選択を行っているので、例えば露光値等の問題によって前回処理では対象物を検出できなかったが、今回処理で対象物が検出できた場合でも、異物が付着したとの誤判断を防ぐことができる。   On the other hand, in the present embodiment, the processing area selection unit 112 is provided to select the processing area. For example, the object could not be detected in the previous process due to a problem such as an exposure value. Even when an object can be detected, an erroneous determination that a foreign object has adhered can be prevented.

図９は、処理領域選択部により処理領域を選択する方法を説明する図である。
例えば、図９（ａ）に示す前回画像９０１のように、画像全体が暗い場合、対象物９０２を検出可能な処理領域はなく、処理領域は一つも選択されていない。そして、図９（ｂ）に示す今回画像９１１のように、画像全体が明るくなった場合でも、処理領域が一つも選択されていないので、対象物検出部１１３は、対象物９１２を新規対象物として検出しない。したがって、新規対象物判定部１１７の誤判断を防ぐことができる。 FIG. 9 is a diagram for explaining a method of selecting a processing region by the processing region selection unit.
For example, when the entire image is dark as in the previous image 901 shown in FIG. 9A, there is no processing area where the object 902 can be detected, and no processing area is selected. And even if the entire image becomes bright like the current image 911 shown in FIG. 9B, no processing area is selected, so the object detection unit 113 sets the object 912 as a new object. Does not detect as. Therefore, it is possible to prevent erroneous determination by the new object determination unit 117.

新規対象物判定領域決定部１１６は、処理領域選択部１１２によって選択された処理領域と、センサ出力取得部１１５によって取得された車両情報に基づいて新規対象物判定領域を決定する。   The new object determination area determination unit 116 determines a new object determination area based on the processing area selected by the processing area selection unit 112 and the vehicle information acquired by the sensor output acquisition unit 115.

新規対象物判定領域決定部１１６は、処理領域選択部１１２が選択した処理領域のうち、所定の領域を新規対象物判定領域として決定し、その決定した新規対象物判定領域内で新規対象物判定部１１７により新規対象物の判定が行われる。新規対象物判定領域の決定は、自車の移動、自車周囲の人などの動体の移動によって決定される。   The new object determination area determination unit 116 determines a predetermined area as a new object determination area among the processing areas selected by the processing area selection unit 112, and determines a new object within the determined new object determination area. The new object is determined by the unit 117. The new object determination area is determined by the movement of the own vehicle or the movement of a moving object such as a person around the own vehicle.

実際の制御では、図８のフローチャートに示すように、ステップＳ２０５で対象物を検出し、ステップＳ２０６で対象物のトラッキングを行い、ステップＳ２２６で、新規対象物の判定領域を決定する処理がなされる。   In the actual control, as shown in the flowchart of FIG. 8, the object is detected in step S205, the object is tracked in step S206, and the determination area of the new object is determined in step S226. .

図１０は、車両とその周囲環境を表す他の一例を示す模式図、図１１は、新規対象物の判定範囲が車両の移動に応じて変更される例を示す図である。   FIG. 10 is a schematic diagram illustrating another example of the vehicle and its surrounding environment, and FIG. 11 is a diagram illustrating an example in which the determination range of the new object is changed according to the movement of the vehicle.

図１０に示すように車両３０１が後退しながら駐車枠３０２に進入しようとしている場合、Ｔ１秒の位置では、図１１（ａ）に示すように、駐車枠３０２の白線３０３、３０４に対して、車両３０１が斜めに配置されている。そして、車両３０１の旋回によりその後のＴ２秒の位置では、図１１（ｂ）に示すように、駐車枠３０２の白線３０３、３０４に対して車両３０１は略平行に配置される。   As shown in FIG. 10, when the vehicle 301 is about to enter the parking frame 302 while moving backward, at the position of T1 seconds, as shown in FIG. 11A, with respect to the white lines 303 and 304 of the parking frame 302, A vehicle 301 is disposed obliquely. Then, the vehicle 301 is arranged substantially parallel to the white lines 303 and 304 of the parking frame 302 at the position of T2 seconds after the turn of the vehicle 301, as shown in FIG.

画像１００１は、車両３０１の旋回に応じて画像１０１１に回転するので、例えば新規対象物判定領域１００２の位置が車両３０１に対して固定されていると、図１０（ｂ）に示すように画像１０１１内に障害物１０２１が入ってきた場合に、障害物１０２１を新規対象物として誤って認識するおそれがある。   Since the image 1001 rotates to the image 1011 in response to the turning of the vehicle 301, for example, when the position of the new object determination area 1002 is fixed with respect to the vehicle 301, as shown in FIG. When an obstacle 1021 enters, the obstacle 1021 may be erroneously recognized as a new object.

これに対して、新規対象物判定領域決定部１１６は、新規対象物判定領域１０１２を車両３０１に対して固定せず、車両３０１の動きに応じて変化させている。本実施形態では、最初に駐車枠３０２を認識した時点で新規対象物判定領域１００２を決定し、その後の車両３０１の移動にかかわらず、図１１（ｂ）に示すように、新規対象物判定領域１０１２として路面に対する位置を固定している。したがって、車両３０１の移動によって、処理領域１０１１内に侵入してきた障害物１０２１を、新規対象物であると誤って判定するのを抑制できる。   On the other hand, the new object determination area determination unit 116 does not fix the new object determination area 1012 with respect to the vehicle 301 but changes it according to the movement of the vehicle 301. In the present embodiment, the new object determination area 1002 is determined when the parking frame 302 is first recognized, and the new object determination area 1002 regardless of the subsequent movement of the vehicle 301, as shown in FIG. The position with respect to the road surface is fixed as 1012. Therefore, it can be suppressed that the obstacle 1021 that has entered the processing area 1011 due to the movement of the vehicle 301 is erroneously determined as a new object.

図１２は、車両３０１が進入する駐車枠３０２内に人などの動体が存在する状態を示す図、図１３は、図１２に示す車両のカメラで撮像した画像を模式的に示す図である。   FIG. 12 is a diagram illustrating a state in which a moving body such as a person is present in the parking frame 302 into which the vehicle 301 enters, and FIG. 13 is a diagram schematically illustrating an image captured by the vehicle camera illustrated in FIG.

図１２に示すように、車両３０１の進路上に動体１２０１が存在する場合、図１３に示すように、動体１２０１の位置は、新規対象物判定領域１０１２から除外される。新規対象物判定部１１７は、新規対象物判定領域１０１２から動体１２０１を除外した領域について新規対象物の判定処理を行う。   As shown in FIG. 12, when the moving body 1201 exists on the course of the vehicle 301, the position of the moving body 1201 is excluded from the new object determination area 1012 as shown in FIG. 13. The new object determination unit 117 performs a new object determination process for an area in which the moving object 1201 is excluded from the new object determination area 1012.

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。   Although the embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various designs can be made without departing from the spirit of the present invention described in the claims. It can be changed. For example, the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described. Further, a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment. Furthermore, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.

１０１ 撮像部
１０２ センサ部
１０３ 演算部
１０４ 警報部
１０５ 制御部
１０６ 記憶部
１１１ 画像取得部
１１２ 処理領域選択部
１１３ 対象物検出部
１１４ 対象物トラッキング部
１１５ センサ出力取得部
１１６ 新規対象物判定領域決定部
１１７ 新規対象物判定部
１１８ 遮蔽領域判定部
１１９ 付着物判定部
１２０ 警報判定部
１２１ 制御判定部 DESCRIPTION OF SYMBOLS 101 Imaging part 102 Sensor part 103 Operation part 104 Alarm part 105 Control part 106 Storage part 111 Image acquisition part 112 Processing area selection part 113 Object detection part 114 Object tracking part 115 Sensor output acquisition part 116 New object determination area | region determination part 117 New Object Determination Unit 118 Shielding Area Determination Unit 119 Adhered Object Determination Unit 120 Alarm Determination Unit 121 Control Determination Unit

Claims (7)

撮像部で撮像した画像を画像処理することにより対象物を検出する車載画像処理装置であって、
所定のタイミングで撮像された今回画像から対象物を検出する対象物検出部と、
該対象物が前記今回画像よりも前のタイミングで撮像された前回画像では検出されておらず、前記今回画像で初めて検出された新規対象物であるか否かを判定する新規対象物判定部と、
前記前回画像の撮像時における前記新規対象物の位置を推定し、該推定位置が前記前回画像内に位置している場合に、前記前回画像における前記新規対象物を覆う領域を遮蔽領域として判定する遮蔽領域判定部と、
該遮蔽領域判定部により前記遮蔽領域が設定されている場合に、前記撮像部の光学系に付着物が付着していると判定する付着物判定部と、を有することを特徴とする車載画像処理装置。 An in-vehicle image processing device that detects an object by performing image processing on an image captured by an imaging unit,
An object detection unit for detecting an object from the current image captured at a predetermined timing;
A new object determination unit that determines whether or not the object is a new object that has not been detected in the previous image captured at a timing earlier than the current image and is detected for the first time in the current image; ,
The position of the new object at the time of capturing the previous image is estimated, and when the estimated position is located in the previous image, an area covering the new object in the previous image is determined as a shielding area. A shielding area determination unit;
An in-vehicle image processing comprising: an adhering matter determining unit that determines that an adhering matter is attached to the optical system of the imaging unit when the shielding region is set by the shielding region determining unit. apparatus. 画像の中から前記対象物検出部によって対象物を検出可能な処理領域を選択する処理領域選択部と、
該処理領域選択部によって選択された処理領域内で新規対象物の判定を行う新規対象物判定領域を決定する新規対象物判定領域決定部と、を有することを特徴とする請求項１に記載の車載画像処理装置。 A processing region selection unit that selects a processing region in which an object can be detected by the target object detection unit from an image;
The new object determination region determination unit that determines a new object determination region for determining a new object within the processing region selected by the processing region selection unit. In-vehicle image processing device. 前記処理領域選択部は、露光値及び画像内輝度分布に基づいて前記処理領域を選択することを特徴とする請求項２に記載の車載画像処理装置。   The in-vehicle image processing apparatus according to claim 2, wherein the processing region selection unit selects the processing region based on an exposure value and an in-image luminance distribution. 前記遮蔽領域判定部は、前記今回画像から検出された対象物が、前記前回画像でも検出されている検出済対象物である場合に、前記前回画像内における前記検出済対象物の検出位置が前記遮蔽領域内に位置しているか否かを判定し、該遮蔽領域内に位置していると判定したときは、前記遮蔽領域の設定を解除することを特徴とする請求項１から請求項３のいずれか一項に記載の車載画像処理装置。 When the object detected from the current image is a detected object that is also detected in the previous image, the shielding area determination unit determines the detection position of the detected object in the previous image. 4. The method according to claim 1 , wherein it is determined whether or not the camera is located within the shielding area, and when it is determined that the camera is located within the shielding area, the setting of the shielding area is canceled . The vehicle-mounted image processing apparatus as described in any one of Claims . 前記撮像部の光学系に付着物が付着していると判定した場合に、画像処理の結果に基づく警報機能を停止させ、前記撮像部の光学系に付着物が付着していないと判定した場合に、前記今回画像から検出された対象物の位置に基づいて、警報を出すかどうかを判定する警報判定部を有することを特徴とする請求項１から請求項４のいずれか一項に記載の車載画像処理装置。 When it is determined that the attached matter is attached to the optical system of the imaging unit, the alarm function based on the result of the image processing is stopped, and it is determined that the attached matter is not attached to the optical system of the imaging unit. 5. The apparatus according to claim 1, further comprising an alarm determination unit that determines whether to issue an alarm based on a position of the object detected from the current image. In-vehicle image processing device. 前記撮像部の光学系に付着物が付着していると判定した場合に、画像処理の結果に基づく制御機能を停止させ、前記撮像部の光学系に付着物が付着していないと判定した場合に、前記今回画像から検出された対象物の位置に基づいて、制御量を算出する制御部を有することを特徴とする請求項１から請求項５のいずれか一項に記載の車載画像処理装置。 When it is determined that the deposit is attached to the optical system of the imaging unit, the control function based on the result of the image processing is stopped, and it is determined that the deposit is not attached to the optical system of the imaging unit. The vehicle-mounted image processing apparatus according to claim 1, further comprising a control unit that calculates a control amount based on a position of the object detected from the current image. . 前記対象物が路面標示であることを特徴とする請求項１から請求項６のいずれか一項に記載の車載画像処理装置。 The in-vehicle image processing apparatus according to claim 1, wherein the object is a road marking.
JP2014148860A 2014-07-22 2014-07-22 In-vehicle image processing device Active JP6362945B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014148860A JP6362945B2 (en) 2014-07-22 2014-07-22 In-vehicle image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014148860A JP6362945B2 (en) 2014-07-22 2014-07-22 In-vehicle image processing device

Publications (2)

Publication Number Publication Date
JP2016022845A JP2016022845A (en) 2016-02-08
JP6362945B2 true JP6362945B2 (en) 2018-07-25

Family

ID=55270022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014148860A Active JP6362945B2 (en) 2014-07-22 2014-07-22 In-vehicle image processing device

Country Status (1)

Country Link
JP (1) JP6362945B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6606473B2 (en) * 2016-07-27 2019-11-13 京セラ株式会社 Image processing apparatus, image processing method, imaging apparatus, and moving body

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3675231B2 (en) * 1999-06-14 2005-07-27 三菱自動車工業株式会社 Hydrous substance adhesion detection device
JP5680436B2 (en) * 2011-02-15 2015-03-04 アルパイン株式会社 Foreign matter adhesion determination device for in-vehicle camera lens

Also Published As

Publication number Publication date
JP2016022845A (en) 2016-02-08

Similar Documents

Publication Publication Date Title
JP6120395B2 (en) In-vehicle device
US8582809B2 (en) Method and device for detecting an interfering object in a camera image
JP6246014B2 (en) Exterior recognition system, vehicle, and camera dirt detection method
JP4248558B2 (en) Road marking line detection device
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
JP4733756B2 (en) Vehicle periphery monitoring device
JP5576937B2 (en) Vehicle periphery monitoring device
WO2019026785A1 (en) Attached object detection device, and vehicle system provided with same
JP2008060874A (en) On-vehicle camera and stain detector for on-vehicle camera
JP4528283B2 (en) Vehicle periphery monitoring device
US9001204B2 (en) Vehicle peripheral monitoring device
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
WO2013121357A1 (en) Time to collision using a camera
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
JP5680436B2 (en) Foreign matter adhesion determination device for in-vehicle camera lens
US8373754B2 (en) Method and system for evaluating brightness values in sensor images of image-evaluating adaptive cruise control systems
EP3073465A1 (en) Animal detection system for a vehicle
JP4864953B2 (en) Vehicle periphery monitoring device
JP2007018451A (en) Road boundary line detecting device
JP6362945B2 (en) In-vehicle image processing device
JP4765113B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP6087240B2 (en) Vehicle periphery monitoring device
JP4176558B2 (en) Vehicle periphery display device
JP2014013452A (en) Image processor
JP4975776B2 (en) Vehicle periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180627

R150 Certificate of patent or registration of utility model

Ref document number: 6362945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150