KR20170141640A - Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system - Google Patents

Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system Download PDF

Info

Publication number
KR20170141640A
KR20170141640A KR1020170172378A KR20170172378A KR20170141640A KR 20170141640 A KR20170141640 A KR 20170141640A KR 1020170172378 A KR1020170172378 A KR 1020170172378A KR 20170172378 A KR20170172378 A KR 20170172378A KR 20170141640 A KR20170141640 A KR 20170141640A
Authority
KR
South Korea
Prior art keywords
image
parallax
pixel
abnormal
parallax image
Prior art date
Application number
KR1020170172378A
Other languages
Korean (ko)
Other versions
KR101839813B1 (en
Inventor
타카시 아카사카
타카히로 이시이
Original Assignee
야마하하쓰도키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015157183A external-priority patent/JP6690904B2/en
Priority claimed from JP2015175792A external-priority patent/JP6651313B2/en
Priority claimed from JP2016127534A external-priority patent/JP6657034B2/en
Application filed by 야마하하쓰도키 가부시키가이샤 filed Critical 야마하하쓰도키 가부시키가이샤
Publication of KR20170141640A publication Critical patent/KR20170141640A/en
Application granted granted Critical
Publication of KR101839813B1 publication Critical patent/KR101839813B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • H04N13/0246—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0239—
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

Provided is an abnormal image detecting device capable of detecting an abnormal image based on the total number of pixels with low reliability when at least one among a plurality of photographing parts photographs an image of a practically different scene. The abnormal image detecting device (2) includes: a reliability determining part (24) determining whether a pixel of a parallax image has low reliability; a calculating part (25) calculating the total number of low reliability pixels which have been determined by the reliability determining part (24); and an abnormality determining part (26) determining that the parallax image is abnormal if the total number of the pixels, obtained through the calculating part (25), exceeds a predetermined value. The reliability determining part (24) includes an edge strength determining part (241) determining that a pixel of the parallax image has low reliability if the edge strength of each pixel of an original image is smaller than or equal to a threshold value.

Description

이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량{ABNORMAL IMAGE DETECTING APPARATUS, IMAGE PROCESSING SYSTEM WITH ABNORMAL IMAGE DETECTING APPARATUS AND VEHICLE MOUNTED WITH IMAGE PROCESSING SYSTEM}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and an image processing system,

본 발명은 시차화상 및 시차화상 작성에 따른 원화상의 이상을 검출하는 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량에 관한 것이다.The present invention relates to an abnormal image detecting apparatus for detecting an abnormality of an original image upon creation of a parallax image and a parallax image, an image processing system having an abnormal image detecting apparatus, and a vehicle equipped with the image processing system.

복수의 촬상부를 이용하여 촬영한 화상으로부터 작성한 시차화상에 의거하여 피사체까지의 거리를 구할 수 있는 스테레오 카메라를 탑재한 차량이 제안되어 있다.There has been proposed a vehicle equipped with a stereo camera capable of obtaining a distance to a subject based on a parallax image produced from an image captured using a plurality of image pickup units.

차량에 탑재되는 스테레오 카메라의 이상원인으로서, 예를 들면 스테레오 카메라 자체의 고장(예를 들면 광학적, 기계적, 전기적 고장) 이외에 역광이나 어둠 등의 명암이 심한 조건에서 촬영한 화상에 의거하여 작성한 시차화상을 사용함으로써 깊이 거리를 정확하게 산출할 수 없는 것 등을 들 수 있다.As a cause of an abnormality of a stereo camera mounted on a vehicle, for example, a parallax image created based on an image taken under a severe condition such as backlight or darkness in addition to a failure (for example, optical, mechanical or electrical failure) And the depth distance can not be accurately calculated by using the above.

역광이나 어둠 등의 명암이 심한 조건에 영향을 받지 않고, 스테레오 카메라의 이상상태를 판별가능한 이상 진단 장치가 제안되어 있다(예를 들면 특허문헌 1 참조).There has been proposed an abnormality diagnosis apparatus capable of discriminating an abnormal state of a stereo camera without being affected by a severe condition such as backlight or darkness (see, for example, Patent Document 1).

일본 특허공개 2014-6243호 공보Japanese Patent Application Laid-Open No. 2014-6243

그러나, 차량에 탑재되는 스테레오 카메라에서는 좌우의 카메라에 의해 실질적으로 다른 씬의 화상이 촬상되는 경우가 있다. 예를 들면 어느 하나의 카메라에만 먼지 등이 부착된 상태에서 촬상한 경우에는 텍스쳐가 작아지므로 스테레오 매칭을 해도 바른 시차값(시차화상)이 얻어지지 않는다. 또한 먼지 등이 부착되는 이외에, 좌우의 카메라에 의해 다른 씬을 촬상하는 경우가 있을 수 있다.However, in a stereo camera mounted on a vehicle, images of substantially different scenes may be picked up by the left and right cameras. For example, when imaging is performed in a state in which dust or the like is attached to only one of the cameras, the texture becomes smaller, so that a correct parallax value (parallax image) is not obtained even when stereo matching is performed. In addition to the attachment of dust or the like, other scenes may be captured by the left and right cameras.

상기 특허문헌 1의 이상 진단 장치에 있어서, 시차화상 데이터의 이상 판단은 시차값 분포나 시차값 분포의 변화량(N 프레임 화상의 시차값 화상과 N+1 프레임 화상의 시차값 화상의 변화량)으로부터 판별하고 있다. 구체적인 판단 방법은 이하의 (1)∼(4)이며, (1)시차가 검출되지 않는지를 판단하고, (2)최대 시차값이상의 시차가 있는지를 판단하고, (3)시차값의 피크수가 역치이상 있는지를 판단하고, (4)앞의 프레임과 시차값 분포의 유사도가 낮은지를 판단한다. 그러나, 이들 (1)∼(4)의 판단 방법은 상술의 「한쪽의 카메라에만 먼지 등이 부착된 조건」으로 촬상한 화상에 따른 시차화상 데이터가 이상인지의 여부를 판단하는 것은 어렵고, 모든 판단 결과가 「NO」로 되고, 시차화상 데이터가 정상이다라고 판단되는 경우가 있다.In the abnormality diagnosis apparatus of Patent Document 1, the abnormal judgment of the parallax image data is discriminated from the variation amount of the parallax value distribution or the parallax value distribution (the variation amount of the parallax value image of the N frame image and the parallax value image of the N + 1 frame image) . (1) whether or not a parallax is detected, (2) whether or not there is a parallax more than the maximum parallax value, (3) whether the number of peaks of the parallax value is a threshold value (4) It is determined whether the similarity between the preceding frame and the time difference value distribution is low. However, it is difficult to judge whether the parallax image data according to the image picked up in the above-mentioned " condition in which dust or the like is attached to only one camera " is abnormal or not, The result is " NO ", and it may be judged that the parallax image data is normal.

본 발명은 복수의 촬상부 중 어느 하나의 촬상부에서 다른 촬상부와 실질적으로 다른 씬의 화상이 촬상된 경우에 신뢰도가 낮은 화소의 총수에 의거하여 이상화상을 검출할 수 있는 이상화상 검출장치를 제공하는 것을 목적으로 한다. 또한 상기 이상화상 검출장치를 구비한 화상 처리 시스템을 제공하는 것을 목적으로 한다. 또한 상기 화상 처리 시스템을 탑재한 차량을 제공하는 것을 목적으로 한다.The present invention provides an abnormal image detecting apparatus capable of detecting an abnormal image based on the total number of pixels with low reliability when an image of a scene substantially different from another imaging unit is picked up by any one of the plurality of imaging units The purpose is to provide. And an image processing system including the abnormal image detecting device. It is another object of the present invention to provide a vehicle equipped with the image processing system.

본 발명은 복수의 촬상부로부터 얻어지고, 또한 시차화상의 작성에 사용되는 복수의 원화상 중 적어도 하나의 원화상이 이상인 것을 검출하는 이상화상 검출장치로서,The present invention is an abnormal image detection device for detecting that at least one original image obtained from a plurality of image pickup units and used for creating a parallax image is abnormal,

상기 시차화상의 화소가 저신뢰도인지의 여부를 판정하는 신뢰도 판정부와,A reliability determining section that determines whether pixels of the parallax image are low reliability;

상기 신뢰도 판정부에 의해 판정된 저신뢰도의 화소의 총수를 산출하는 산출부와,A calculating unit that calculates a total number of pixels of low reliability determined by the reliability determining unit;

상기 산출부에서 산출된 저신뢰도의 화소의 총수가 소정값을 초과한 경우에 상기 시차화상이 이상이라고 판단하는 이상 판단부를 갖고,And an abnormality judging section which judges that the parallax image is abnormal when the total number of low reliability pixels calculated by the calculating section exceeds a predetermined value,

상기 신뢰도 판정부는,The reliability judging section judges,

상기 원화상의 각 화소의 엣지 강도가 적어도 역치보다 작거나 또는 같은 경우에, 상기 화소에 의거하여 작성되는 시차화상중의 화소를 저신뢰도의 화소라고 판정하는 엣지 강도 판정부를 갖는다.And an edge strength determining unit that determines a pixel in the parallax image created based on the pixel as a low reliability pixel when the edge strength of each pixel of the original image is at least equal to or smaller than a threshold value.

상기 구성에 있어서, 신뢰도 판정부는 시차화상 작성에 따른 원화상의 화소를 이용하여 시차화상의 화소의 신뢰도를 판정한다. 엣지가 약한 화소를 신뢰도가 낮은 화소(저신뢰도의 화소)로 하고, 그 화소의 총수가 소정값을 초과한 경우에 시차화상이 이상이라고 판단한다. 이것에 의해, 복수의 촬상부 중 어느 하나의 촬상부에서 다른 촬상부와 실질적으로 다른 씬의 화상(원화상)이 촬상된 경우에도 이상인 시차화상을 정밀도 좋게 검출할 수 있다. 저신뢰도의 화소를 그대로 사용한 시차화상으로부터 깊이 거리를 산출하면 정밀도가 나빠지므로 장해물의 검출 정밀도가 저하된다.In the above arrangement, the reliability judging section judges the reliability of the pixel of the parallax image by using the pixels of the original image in the parallax image creation. It is determined that the parallax image is abnormal when the pixel having a weak edge has a low reliability (low reliability pixel) and the total number of the pixels exceeds a predetermined value. This makes it possible to accurately detect an abnormal parallax image even when an image (original image) of a scene substantially different from that of another imaging unit is captured in any one of the plurality of imaging units. If the depth distance is calculated from a parallax image using a low-reliability pixel as it is, the accuracy becomes worse and the detection accuracy of the obstacle is lowered.

상기 엣지 강도 판정부는 원화상의 각 화소의 각각에 대해서 엣지 강도를 판정해도 좋다. 엣지 강도가 역치보다 작거나 또는 같다고 판정된 화소(원화소의 화소)에 대응한 시차 화상중의 화소가 저신뢰도의 화소라고 판정된다.The edge strength determination unit may determine an edge strength for each pixel of the original image. It is determined that the pixel in the parallax image corresponding to the pixel (pixel of the original pixel) whose edge strength is determined to be smaller than or equal to the threshold value is a pixel with low reliability.

원화상의 각 화소의 엣지 강도를 판정하는 경우에, 각 화소는 원화상의 전체 영역의 화소, 일부의 영역의 화소, 전체 영역으로부터 끝영역을 제외한 중심측 영역의 화소 등을 들 수 있다. 끝영역은 복수의 촬상부에서 서로 촬상 에리어가 다르기 때문에 미리 제외하는 것이 바람직하다.In the case of determining the edge intensity of each pixel of the original image, each pixel may be a pixel of the entire area of the original image, a pixel of a partial area, a pixel of the center area excluding the end area from the entire area, and the like. It is preferable that the end area is excluded in advance because a plurality of imaging units have different imaging areas.

여기에서 「엣지 강도가 적어도 역치보다 작거나 또는 같은」에 있어서의 「역치」는 미리 설정된 값이며, 예를 들면 경험적, 실험적으로 구한 값을 채용할 수 있다. 예를 들면 테스트 주행중에 촬상한 화상 또는 시차화상의 엣지 강도를 구하고, 그 평균값, 최대값, 최소값, 표준편차의 지표로부터 역치를 설정할 수 있다. Here, the " threshold value " in " the edge strength is at least equal to or less than the threshold value " is a preset value, and empirically and experimentally obtained values can be employed, for example. For example, the edge intensity of an image or a parallax image taken during a test run can be obtained, and a threshold value can be set from an index of an average value, a maximum value, a minimum value, and a standard deviation.

상기 발명의 일실시형태로서 상기 신뢰도 판정부는 상기 시차화상 각 화소의 시차값이 소정 범위내가 아닌 경우에, 상기 화소가 저신뢰도라고 판정하는 시차값 판정부를 갖는다.In one embodiment of the present invention, the reliability judging section has a parallax value judging section which judges that the pixel has low reliability when the parallax value of each pixel of the parallax image is not within a predetermined range.

이 구성에 의하면, 엣지 강도 판정에 추가해서 시차값이 소정 범위내가 아닌 화소를 저신뢰도의 화소로 하고, 그 화소의 총수가 소정값을 초과한 경우에 시차화상이 이상이라고 판단할 수 있다. 엣지 강도 판정에서 이상 검출할 수 없었던 경우에도, 이 시차값 판정에서 이상인 시차화상을 판정하는 것이 가능하게 된다. 엣지 강도 판정과 시차값 판정을 포함함으로써 시차화상의 이상판정을 보다 확실하게 행할 수 있다.According to this configuration, in addition to edge strength determination, when a pixel whose parallax value is not within a predetermined range is a low-reliability pixel and the total number of pixels exceeds a predetermined value, it can be determined that the parallax image is abnormal. It is possible to determine a parallax image which is abnormal in the determination of the parallax value even when an abnormal detection can not be made in the edge strength determination. By including the edge strength determination and the time difference value determination, it is possible to more reliably determine the abnormality of the parallax image.

시차화상의 각 화소의 시차값을 판정할 경우에, 각 화소는 시차화상의 전체 영역의 화소, 일부의 영역의 화소, 전체 영역으로부터 끝영역을 제외한 중심측 영역의 화소 등을 들 수 있다. 끝영역은 복수의 촬상부에서 서로 촬상 에리어가 다르기 때문에 미리 제외하는 것이 바람직하다.In the case of determining the parallax value of each pixel of the parallax image, each pixel may be a pixel of the entire area of the parallax image, a pixel of the partial area, a pixel of the center area excluding the end area from the entire area, and the like. It is preferable that the end area is excluded in advance because a plurality of imaging units have different imaging areas.

여기에서 「시차값이 소정 범위내」에 있어서의 「소정 범위」는 미리 설정된 값이며, 예를 들면 경험적, 실험적으로 구한 값을 채용한다. 소정 범위는 상한과 하한의 역치로 구성되지만, 어느 한쪽뿐이어도 좋다.Here, the " predetermined range " when the " parallax value is within the predetermined range " is a predetermined value, and empirically and experimentally obtained values are adopted, for example. The predetermined range may be a threshold value of the upper limit and the lower limit, but either one of them may be used.

상기 발명의 일실시형태로서, 상기 시차화상은 상기 복수의 원화상 중, 제 1 원화상(A)을 기준으로 작성되는 제 1 시차화상(Ab)과, 제 2 원화상(B)을 기준에 작성되는 제 2 시차화상(Ba)을 적어도 포함하고,The parallax image includes a first parallax image Ab created based on the first original image A and a second parallax image B based on the second original image B among the plurality of original images, At least a second parallax image Ba to be created,

상기 신뢰도 판정부는 상기 제 1 시차화상(Ab)의 제 1 화소(pA)의 제 1 시차값(d1)과, 상기 제 1 화소(pA)에 대응하는 상기 제 2 시차화상(Ba)의 제 2 화소(pB)의 제 2 시차값(d2)의 차(d1-d2)가 소정 범위내에 없는 경우에, 상기 제 1 화소(pA)가 저신뢰도라고 판정하는 시차값차 판정부를 갖는다.The reliability determining section determines the reliability of the second parallax image Ba based on the first parallax value d1 of the first pixel pA of the first parallax image Ab and the second parallax value d2 of the second parallax image Ba corresponding to the first pixel pA, And has a time difference value difference determining section for determining that the first pixel pA is low reliability when the difference d1-d2 between the second differential values d2 of the pixels pB is not within the predetermined range.

이 구성에 의하면, 엣지 강도 판정 또는 엣지 강도 판정 및 시차값 판정에 추가해서 제 1 , 제 2 시차값과의 차(d1-d2)가 소정 범위내에 없는 화소를 저신뢰도의 화소로 하고, 그 화소의 총수가 소정값을 초과한 경우에 시차화상이 이상이라고 판단할 수 있다. 엣지 강도 판정 또는 시차값 판정에서 이상을 검출할 수 없었던 경우에도, 이 시차값차 판정에서 이상인 시차화상을 판정하는 것이 가능하게 된다. 엣지 강도 판정, 시차값 판정 및 시차값차 판정을 포함함으로써 시차화상의 이상판정을 더욱 확실하게 행할 수 있다. 예를 들면 제 1 원화상(A)이 좌측 원화상이며, 제 2 원화상(B)이 우측 원화상이어도 좋다.According to this configuration, in addition to edge strength determination or edge strength determination and parallax value determination, a pixel whose difference (d1 - d2) from the first and second parallax values is not within a predetermined range is set as a low reliability pixel, It is possible to judge that the parallax image is abnormal when the total number of the parallax images exceeds the predetermined value. It is possible to determine a parallax image that is equal to or larger than the parallax value in the determination of the parallax value even when the edge can not be detected in the edge strength determination or the parallax value determination. By including the edge strength determination, the time difference value determination, and the time difference value difference determination, it is possible to more reliably determine the abnormality of the parallax image. For example, the first original image A may be a left original image, and the second original image B may be a right original image.

제 1 화소(pA)는 제 1 시차화상(Ab)의 전체 영역의 각 화소, 일부의 영역의 각 화소, 전체 영역으로부터 끝영역을 제외한 중심측 영역의 각 화소 등을 들 수 있다. 끝영역은 복수의 촬상부에서 서로 촬상 에리어가 다르기 때문에 미리 제외하는 것이 바람직하다.The first pixel pA includes each pixel of the entire area of the first parallax image Ab, each pixel of the partial area, each pixel of the center area excluding the end area from the entire area, and the like. It is preferable that the end area is excluded in advance because a plurality of imaging units have different imaging areas.

여기에서 「차(d1-d2)가 소정 범위내」에 있어서의 「소정 범위」는 미리 설정된 값이며, 예를 들면 경험적, 실험적으로 구한 값을 채용한다. 소정 범위는 상한과 하한의 역치로 구성되지만, 어느 한쪽만이어도 좋고, 예를 들면 상한의 역치뿐이어도 좋다.Here, the " predetermined range " in the " difference (d1-d2) within a predetermined range " is a predetermined value, and empirically and experimentally obtained values are employed, for example. The predetermined range is constituted by a threshold value of the upper limit and the lower limit, but may be either one or only the upper limit threshold value.

상기 발명의 일실시형태로서 상기 복수의 촬상부는 예를 들면 좌우 배치의 촬상부로 이루어지는 스테레오 카메라, 상하 배치의 촬상부로 이루어지는 스테레오 카메라, 정삼각형의 정점에 배치된 3개의 촬상부로 이루어지는 스테레오 카메라, 3개이상의 촬상부를 갖는 스테레오 카메라를 들 수 있다.In one embodiment of the present invention, the plurality of image pickup units may be, for example, a stereo camera composed of left and right image pickup units, a stereo camera composed of upper and lower image pickup units, a stereo camera composed of three image pickup units arranged at apexes of a regular triangle, And a stereo camera having an image pickup unit.

상기 발명의 일실시형태로서 이상화상 검출장치는 상기 원화상, 상기 원화상에 엣지 강조 처리를 실시한 엣지 강조 화상 및 상기 시차화상으로부터 선택되는 1개이상의 데이터를 보존하는 기억부를 더 갖는다. 기억부는 템포러리 기억부이어도 좋다.The abnormal image detection apparatus according to an embodiment of the present invention further includes a storage section for storing one or more pieces of data selected from the original image, the edge emphasis image subjected to edge emphasis processing on the original image, and the parallax image. The storage unit may be a temporary storage unit.

상기 발명의 일실시형태로서 이상화상 검출장치는 상기 원화상, 상기 원화상에 엣지 강조 처리를 실시한 엣지 강조 화상 및 상기 시차화상으로부터 선택되는 1개이상의 데이터를 외부장치로부터 취득하는 취득부를 더 갖는다. 취득부는 예를 들면 통신 수단(무선, 유선), 기억매체의 독해수단을 들 수 있다.The abnormal image detection apparatus according to one embodiment of the present invention further includes an acquisition section for acquiring one or more data selected from the original image, the edge emphasis image subjected to edge emphasis processing on the original image, and the parallax image from an external apparatus. The acquiring unit may be, for example, communication means (wireless, wired) or reading means of the storage medium.

또한 다른 본 발명은 복수의 촬상부와, 상기 촬상부로부터 얻어진 복수의 원화상에 의거하여 시차화상을 작성하는 시차화상 작성부와, 상기 시차화상 작성부에서 작성된 시차화상에 의거하여 깊이 거리를 산출하는 거리 산출부를 갖는 화상 처리 시스템으로서, 상기에 기재된 이상화상 검출장치와, 상기 이상화상 검출장치가 시차화상의 이상을 검출한 경우에 이상정보를 출력하는 출력부를 구비한다. 또한 일실시형태로서 화상 처리 시스템은 상기 복수의 원화상을 보정 처리하는 화상 보정부를 더 갖는다. 보정 처리로서는 예를 들면 엣지를 강조하는 엣지 강조 처리를 들 수 있다.According to another aspect of the present invention, there is provided an image processing apparatus including a plurality of image pickup units, a parallax image creating unit for creating parallax images based on a plurality of original images obtained from the image pickup unit, and a parallax image creating unit for calculating a depth distance And an output unit for outputting the abnormal information when the abnormal image detecting apparatus detects an abnormality of the parallax image. Further, as an embodiment, the image processing system further includes an image correcting section for correcting the plurality of original images. As the correction processing, for example, an edge emphasis processing for emphasizing an edge can be mentioned.

또한 일실시형태로서 상기 거리 산출부는 상기 시차화상 작성부에서 작성된 시차화상에 있어서 저신뢰도의 화소를 제외한 시차화상에 의거하여 깊이 거리를 산출해도 좋다. 저신뢰도의 화소는 상기 신뢰도 판정부에서 저신뢰도라고 판정된 화소이다.In one embodiment, the distance calculating unit may calculate the depth distance based on the parallax image excluding the low-reliability pixels in the parallax image created by the parallax image creating unit. The pixel with low reliability is the pixel determined to be low in reliability by the reliability determining unit.

또한 일실시형태로서 상기 거리 산출부는 이상이 검출된 시차화상 이외의 시차화상에 의거하여 깊이 거리를 산출해도 좋다.In one embodiment, the distance calculating unit may calculate the depth distance based on a parallax image other than the parallax image in which an abnormality is detected.

또한 일실시형태로서 상기 거리 산출부는 이상이 검출된 시차화상을 이용하여 깊이 거리를 산출할 경우, 저신뢰도의 화소를 제외한 시차화상을 사용한다. In one embodiment, the distance calculator uses a parallax image excluding pixels with low reliability when calculating a depth distance using a parallax image in which an anomaly is detected.

또한 다른 본 발명은 상기 화상 처리 시스템을 탑재하는 차량이다. 일실시형태로서 상기 차량은 촬상부의 촬상 방향 전방에 프론트 윈도우를 구비하고, 상기 프론트 윈도우에 와이퍼를 구비하지 않은 구성이 있다.Still another invention of the present invention is a vehicle mounting the image processing system. In one embodiment, the vehicle is provided with a front window in front of the imaging direction of the imaging section, and the front window is not provided with a wiper.

본 발명에 의하면, 복수의 촬상부 중 어느 하나의 촬상부에서 다른 촬상부와 실질적으로 다른 씬의 화상이 촬상되었을 경우에, 신뢰도가 낮은 화소의 총수에 의거하여 이상화상을 검출할 수 있는 이상화상 검출장치를 제공할 수 있다. 또한 이 이상화상 검출장치를 구비한 화상 처리 시스템을 제공할 수 있다. 또한 이 화상 처리 시스템을 탑재한 차량을 제공할 수 있다.According to the present invention, when an image of a scene substantially different from that of another imaging unit is picked up by one of the plurality of imaging units, an abnormal image capable of detecting an abnormal image based on the total number of low- A detection device can be provided. Further, it is possible to provide an image processing system provided with this abnormal image detection device. It is also possible to provide a vehicle equipped with this image processing system.

도 1a는 실시형태 1에 따른 차량의 앞면도이다.
도 1b는 실시형태 1에 따른 차량의 기능 블럭도이다.
도 2는 실시형태 1에 따른 화상 처리 시스템의 기능 블럭도이다.
도 3은 실시형태 1에 따른 이상화상 검출장치의 기능 블럭도이다.
도 4는 좌측 원화상 및 우측 원화상의 일례이다.
도 5는 도 4의 원화상을 이용하여 작성된 시차화상의 일례이다.
도 6은 엣지 강도 판정부의 신뢰도 판정의 플로챠트이다.
도 7은 시차값 판정부의 신뢰도 판정의 플로챠트이다.
도 8은 시차값차 판정부의 신뢰도 판정의 플로챠트이다.
도 9는 시차값차를 구하기 위한 설명도이다.
도 10은 도 4의 좌측 원화상을 엣지 강조한 화상의 일례이다.
도 11은 먼지가 부착되어 있지 않은 상태의 원화상의 일례이다.
도 12는 도 11의 원화상을 이용하여 작성된 시차화상의 일례이다.
도 13은 도 12의 시차화상의 시차분포를 나타내는 도면이다.
도 14는 도 5의 시차화상의 시차분포를 나타내는 도면이다.
도 15는 실시형태 2에 따른 이상화상 검출장치의 기능 블럭도이다.1A is a front view of a vehicle according to the first embodiment.
1B is a functional block diagram of the vehicle according to the first embodiment.
2 is a functional block diagram of the image processing system according to the first embodiment.
3 is a functional block diagram of the abnormal image detection device according to the first embodiment.
4 is an example of a left original image and a right original image.
5 is an example of a parallax image created using the original image of Fig.
6 is a flowchart of reliability determination of the edge strength determination unit.
7 is a flowchart of reliability determination of the time difference value determining section.
8 is a flowchart of reliability determination of the time difference value difference determination section.
9 is an explanatory diagram for obtaining a time difference value difference.
10 is an example of an image in which the left original image in Fig. 4 is edge-emphasized.
11 is an example of an original image in a state in which no dust is attached.
12 is an example of a parallax image created using the original image of Fig.
13 is a diagram showing the parallax distribution of the parallax images of Fig.
14 is a diagram showing the parallax distribution of the parallax images of Fig.
15 is a functional block diagram of the abnormal image detecting apparatus according to the second embodiment.

(실시형태 1)(Embodiment 1)

실시형태 1에 따른 이상화상 검출장치를 구비하는 차량에 대해서 도면을 참조하면서 설명한다. 이하의 설명에 있어서 차량으로서 자율 주행하는 골프 카트를 예로 들어 설명하지만, 골프 카트에 제한되지 않는다. 「전후」 및 「좌우」는 차량이 전진하는 방향을 기준으로 한다. 본 실시형태에서는 실질적으로 다른 씬의 화상으로서 먼지가 부착된 상태의 화상을 사용하지만, 이것에 제한되지 않고, 그 외의 실질적으로 다른 씬의 화상이어도 좋다.A vehicle equipped with the abnormal image detection device according to the first embodiment will be described with reference to the drawings. In the following description, a golf cart which autonomously travels as a vehicle is described as an example, but it is not limited to a golf cart. &Quot; front and rear " and " left and right " refer to a direction in which the vehicle advances. In the present embodiment, an image in a state in which dust is attached as an image of substantially another scene is used, but the present invention is not limited to this, and images of other substantially different scenes may be used.

(차량의 개략 구성)(Schematic Configuration of Vehicle)

도 1a에 나타내는 차량(1)은 골프장내를 자동 또는 수동 주행하는 골프 카트이다. 차량(1)은 주로에 메입된 유도선으로부터 발생하는 전자파에 유도되어서 자율 주행할 수 있다. 차량(1)에는 촬상부(51)와, 촬상부(51)로부터 얻어진 복수의 원화상에 의거하여 시차화상을 작성하는 시차화상 작성부(52)와, 시차화상 작성부(52)에서 작성된 시차화상에 의거하여 깊이 거리를 산출하는 거리 산출부(53)와, 촬상부(51)로부터 얻어진 복수의 원화상에 의거하여 작성된 시차화상 및 상기 원화상 중 적어도 하나의 원화상이 이상인지를 검출하는 이상화상 검출장치(2)와, 이상화상 검출장치(2)가 시차화상의 이상을 검출했을 경우에, 이상정보를 출력하는 출력부(54)를 갖는 화상 처리 시스템(5)을 탑재하고 있다. 또한 화상 처리 시스템(5)은 차량(1)이 주행하는 주로 상의 장해물을 검출하는 장해물 검출장치(55)를 갖고 있어도 좋다. 본 실시형태 1에 있어서, 차량(1)은 유도선으로 유도되는 자립 주행가능한 차량이지만, 본 발명은 이것에 제한되지 않고, 운전자에 의한 수동 주행도 가능하며, 차량은 유도선이 없는 주로도 자유롭게 주행가능하다. The vehicle 1 shown in Fig. 1A is a golf cart that runs automatically or manually in a golf course. The vehicle 1 is guided to electromagnetic waves generated from the lead wire which is mainly embedded in the vehicle, and can autonomously run. The vehicle 1 is provided with an image pickup section 51, a parallax image creating section 52 for creating parallax images based on a plurality of original images obtained from the image pickup section 51, A distance calculating unit 53 for calculating the depth distance based on the image, and an error detecting unit 53 for detecting whether or not an original image of at least one of the parallax image and the original image created based on the plurality of original images obtained from the image pickup unit 51 is abnormal An abnormal image detecting apparatus 2 and an image processing system 5 having an output section 54 for outputting abnormal information when an abnormal image detecting apparatus 2 detects an abnormality of a parallax image are mounted. The image processing system 5 may also include an obstacle detection device 55 for detecting an obstacle on the main road on which the vehicle 1 travels. In the first embodiment, the vehicle 1 is a self-propelled vehicle that is guided by a guide wire. However, the present invention is not limited to this and the vehicle can be manually driven by a driver. It is possible to drive.

또한 도 1b에 나타내는 차량(1)에는 차량(1)이 유도선을 따라 자율 주행하는 것을 제어하는 자율 주행 제어부(6)와, 장해물 검출장치(55)가 장해물을 검출하면 운전자 및 주위에 경고를 발생하는 경고 출력부(7)와, 장해물의 검출에 의해 감속 또는 정지의 제어를 하는 주행속도 제어부(9)와, 차륜(12)을 구동하고, 주행속도 제어부(9)에 의해 회전수가 제어되는 구동 모터(11)가 설치되어 있다. 본 실시형태 1에 있어서, 차량(1)은 모터로 구동되지만 이것에 한정되지 않고, 엔진에 의해 구동되어도 좋다.The vehicle 1 shown in Fig. 1B is provided with an autonomic running control unit 6 for controlling the autonomous running of the vehicle 1 along the guide line, and a control unit 6 for warning the driver and the surroundings when the obstacle detecting device 55 detects an obstacle A running speed control section 9 for controlling the deceleration or stop by the detection of an obstacle and a control section 9 for driving the wheel 12 and controlling the rotation speed by the running speed control section 9 A drive motor 11 is provided. In the first embodiment, the vehicle 1 is driven by a motor, but not limited thereto, and may be driven by an engine.

(화상 처리 시스템의 구성)(Configuration of image processing system)

도 2를 참조하면서 화상 처리 시스템(5)을 설명한다. 촬상부(51)는 차량(1)의 프론트 유리의 상중앙부에 설치되어 있다. 촬상부(51)는 좌측 화상 센서(511), 우측 화상 센서(512)를 갖는 스테레오 카메라이다. 별실시형태로서 스테레오 카메라는 2개이상의 화상 센서로 구성되어도 좋다. 좌측 화상 센서(511), 우측 화상 센서(512)로서는 예를 들면 가시광선 카메라를 들 수 있다. 좌측 화상 센서(511) 및 우측 화상 센서(512)는 각각 평행 스테레오의 위치 관계에서 배치되어 있다. 본 실시형태에 있어서 특별히 명시하지 않는 한, 좌측 화상 센서(511)를 기준 카메라로 하고, 좌측 화상 센서(511)로 촬영된 화상을 기준화상으로 한다. 화상 처리 시스템(5)은 마이크로 세서와 메모리를 갖고, 각 구성부의 기능을 실현하는 구성이다.The image processing system 5 will be described with reference to Fig. The image pickup unit 51 is provided at the center of the upper portion of the front glass of the vehicle 1. The image pickup section 51 is a stereo camera having a left image sensor 511 and a right image sensor 512. As a separate embodiment, the stereo camera may be composed of two or more image sensors. Examples of the left image sensor 511 and the right image sensor 512 include a visible light camera. The left image sensor 511 and the right image sensor 512 are arranged in a positional relationship of parallel stereo, respectively. Unless otherwise specified in the present embodiment, the left image sensor 511 is used as a reference camera and the image photographed by the left image sensor 511 is used as a reference image. The image processing system 5 has a microprocessor and a memory and realizes the functions of the respective components.

시차화상 작성부(52)는 좌측 화상 센서(511)로 촬영된 화상을 좌측 원화상으로서, 우측 화상 센서(512)로 촬영된 화상을 우측 원화상으로서 시차화상을 작성한다. 도 4(a)는 좌측 원화상, 도 4(b)는 우측 원화상의 일례를 나타낸다. 좌측 원화상의 중앙부의 흑색 에리어(wd)는 좌측 화상 센서(511)의 렌즈 앞면에 먼지가 부착되어 있는 상태에서 촬영한 것을 의미하고 있다.The parallax image creating unit 52 creates a parallax image using the image photographed by the left image sensor 511 as a left original image and the image photographed by the right image sensor 512 as a right original image. Fig. 4 (a) shows an example of a left original image, and Fig. 4 (b) shows an example of a right original image. The black area wd at the center of the left original image means that the image is photographed in a state in which dust is attached to the front surface of the lens of the left image sensor 511. [

시차화상 작성부(52)는 좌측 원화상을 기준화상으로 한 시차화상을 작성한다. 시차화상은 모든 프레임에 대해서 작성되어도 좋고, 임의의 프레임을 추출해서 작성해도 좋지만, 본 실시형태에서는 소정 간격마다의 프레임을 추출해서 작성한다. 도 5는 도 4의 좌측 원화상, 우측 원화상을 이용하여 작성된 시차화상이다. 또한 시차화상 작성부(52)는 시차값차 판정부의 신뢰도 판정에서 사용하기 위해서 우측 원화상을 기준화상으로 한 시차화상도 작성한다. 시차화상은 예를 들면 스테레오 매칭 등으로 작성할 수 있다. 스테레오 매칭으로서 면적 상관법을 사용한다. 면적 상관법은 주목 화소를 중심으로 일정한 크기의 윈도우 단위로 각 화상의 일치도를 계산하고, 가장 일치도가 높아지도록 스테레오 매칭한다. 또한, 일치도가 가장 높은 상태에 있어서의 주목 화소의 시차를 산출한다. 여기에서의 시차는 복수 화상간의 화소의 어긋남량을 나타낸다. 실시형태 1에 있어서, 시차는 기준화상인 좌측 원화상 (또는 우측 원화상)에 대한 우측 원화상(좌측 원화상)의 화소의 어긋남량이다.The parallax image creating unit 52 creates a parallax image using the left original image as a reference image. The parallax image may be generated for all the frames or may be generated by extracting an arbitrary frame. In the present embodiment, frames are extracted at predetermined intervals. 5 is a parallax image created using the left and right original images in Fig. The parallax image creating unit 52 also creates a parallax image using the right original image as a reference image for use in determining the reliability of the parallax value difference determining unit. The parallax image can be created by, for example, stereo matching. Area correlation is used as stereo matching. The area correlation method calculates the matching degree of each image on the basis of a window of a predetermined size centering on the pixel of interest and performs stereo matching so that the highest matching degree is obtained. Further, the parallax of the target pixel in the state of highest agreement is calculated. The parallax here represents the amount of displacement of pixels between a plurality of images. In Embodiment 1, the parallax is a shift amount of a pixel of a right original image (left original image) with respect to a left original image (or right original image) which is a reference image.

거리 산출부(53)는 시차화상 작성부(52)에서 작성된 시차화상에 의거하여 깊이 거리를 산출한다. 거리 산출부(53)는 정상의 시차화상과 이상의 시차화상 중 어느 것에 있어서나 저신뢰도의 화소를 제외한 시차화상을 이용하여 깊이 거리를 산출한다. 즉, 거리 산출부(53)는 정상이라고 판단된 시차화상에 저신뢰도의 화소가 포함되어 있는 경우에는 그 저신뢰도의 화소를 제외한 시차화상을 이용하고, 이상이라고 판단된 시차화상에 있어서는 저신뢰도의 화소를 제외한 시차화상을 이용하여 깊이 거리를 산출한다. 저신뢰도의 화소를 사용하지 않음으로써 고정밀도의 깊이 거리를 얻을 수 있다. 깊이 거리는 장해물 검출장치(55), 주행속도 제어부(9) 등에 제공된다.The distance calculating unit 53 calculates the depth distance based on the parallax image created by the parallax image creating unit 52. [ The distance calculating unit 53 calculates the depth distance using either a normal parallax image or a parallax image or a parallax image excluding pixels with low reliability. That is, when the parallax image determined to be normal includes the pixel of low reliability, the distance calculating unit 53 uses the parallax image except the low-reliability pixel, and in the parallax image determined to be abnormal, The depth distance is calculated using a parallax image excluding pixels. High precision depth distances can be obtained by not using low reliability pixels. The depth distance is provided to the obstacle detection device 55, the traveling speed control section 9, and the like.

출력부(54)는 이상화상 검출장치(2)가 시차화상의 이상을 검출했을 경우에 이상정보를 출력한다. 출력으로서는 예를 들면 이상이다라는 바의 정보를 표시 수단에 표시, 스피커에 소리 또는 음성으로 출력, 점등 수단으로 출력, 이상이다라는 바의 정보를 외부장치로 송신하는 등을 들 수 있다.The output unit 54 outputs the abnormal information when the abnormal image detection device 2 detects an abnormality of the parallax image. As the output, for example, information indicating that the information is abnormal is displayed on the display means, the sound or voice is outputted to the speaker, the light is outputted to the lighting means, and the information indicating the abnormality is transmitted to the external device.

(이상화상 검출장치)(Abnormal image detection device)

도 3에 나타내는 이상화상 검출장치(2)는 시차화상의 화소가 저신뢰도인지의 여부를 판정하는 신뢰도 판정부(24)와, 신뢰도 판정부(24)에 의해 판정된 저신뢰도의 화소의 총수를 산출하는 산출부(25)와, 산출부(25)에서 얻어진 저신뢰도의 화소의 총수가 소정값을 초과한 경우에 시차화상이 이상이라고 판단하는 이상 판단부(26)를 갖는다.The abnormal image detecting apparatus 2 shown in Fig. 3 includes a reliability judging section 24 for judging whether or not the pixels of the parallax image are low reliability, and a judging section 24 for judging whether or not the total number of low reliability pixels determined by the reliability judging section 24 is And an abnormality determination unit (26) for determining that the parallax image is abnormal when the total number of low reliability pixels obtained by the calculation unit (25) exceeds a predetermined value.

신뢰도 판정부(24)는 엣지 강도 판정부(241)과 시차값 판정부(242)와 시차값차 판정부(243)를 갖는다. 각 판정부의 판정에 대해서 이하에 상세하게 설명한다.The reliability determination section 24 has an edge strength determination section 241, a time difference value determination section 242, and a time difference value difference determination section 243. The determination of each determination section will be described in detail below.

엣지 강도 판정부의 판정 방법에 대해서 도 6을 참조하면서 설명한다. 엣지 강도 판정부(241)는 시차화상의 제 1 영역(w)내의 화소에 있어서의 좌측 원화상 및 우측 원화상의 각각의 화소의 엣지 강도가 역치이하인지의 여부를 판정한다. 이하에 있어서, 좌측 원화상의 화소에 대한 판정과, 우측 원화상의 화소에 대한 판정을 병행해서 행하는 방법에 관하여 설명한다. 도 5에 나타내는 시차화상은 도 4(a)에 나타내는 좌측 원화상 및 도 4(b)에 나타내는 우측 원화상을 스테레오 매칭해서 작성되어 있다. 엣지 강도 판정부(241)는 시차화상의 제 1 영역(w)내의 화소 p(u, v)에 있어서의 좌측 원화상의 화소의 엣지 강도 eL(u, v)를 구한다. 마찬가지로 엣지 강도 판정부(241)는 화소 p(u, v)에 있어서의 우측 원화상의 화소의 엣지 강도 eR(u, v)을 구한다(S1). 엣지 강도는 일반적인 엣지검출로 구할 수 있다.A determination method of the edge strength determination unit will be described with reference to FIG. The edge strength judging section 241 judges whether the edge intensities of the pixels of the left original image and the right original image in the pixels in the first area w of the parallax image are equal to or less than a threshold value. Hereinafter, a method of performing determination for pixels of the left original image and determination of pixels of the right original image in parallel will be described. The parallax image shown in Fig. 5 is created by stereo matching the left original image shown in Fig. 4 (a) and the right original image shown in Fig. 4 (b). The edge strength determining section 241 obtains the edge strength eL (u, v) of the pixel of the left original image in the pixel p (u, v) in the first area w of the parallax image. Similarly, the edge strength judging section 241 obtains the edge strength eR (u, v) of the pixel of the right original image in the pixel p (u, v) (S1). The edge strength can be obtained by general edge detection.

본 실시형태에서는 제 1 영역(w)내의 화소 p(u, v)에 있어서의 좌측 원화상의 화소의 엣지 강도 eL(u, v) 및 우측 원화상의 화소의 엣지 강도 eR(u, v)을 구하고 있지만, 이것에 제한되지 않고, 별실시형태로서 시차화상의 영역 wL내의 화소 pL에 있어서의 좌측 원화상의 화소의 엣지 강도 eL을 구하고, 시차화상의 영역 wR(영역 wL과 다른 영역)내의 화소 pR에 있어서의 우측 원화상의 화소의 엣지 강도 eR을 구해도 좋다.In this embodiment, the edge intensities eL (u, v) of the pixels of the left original image and the edge intensities eR (u, v) of the pixels of the right original image in the pixel p (u, v) The edge intensity eL of the pixel of the left original image in the pixel pL in the parallax image area wL is obtained and the edge intensity eL of the parallax image area WR (the area other than the area wL) The edge intensity eR of the pixel of the right original image in the pixel pR may be obtained.

이어서, 엣지 강도 판정부(241)는 엣지 강도 eL이 역치 EL1이하인지의 여부를 구한다. 마찬가지로 엣지 강도 판정부(241)는 엣지 강도 eR이 역치 ER1이하인지의 여부를 구한다(S2). 여기에서, 역치 EL1과 역치 ER1은 같은 값이어도 좋고, 다른 값이어도 좋다.Subsequently, the edge strength determining section 241 determines whether or not the edge strength eL is equal to or less than the threshold value EL1. Similarly, the edge strength determining section 241 determines whether or not the edge strength eR is equal to or smaller than the threshold value ER1 (S2). Here, the threshold value EL1 and the threshold value ER1 may be the same value or different values.

엣지 강도 eL이 역치 EL1이하인 경우에, 엣지 강도 판정부(241)는 좌측 원화상의 화소가 저신뢰도의 화소라고 판정한다. 마찬가지로 엣지 강도 eR이 역치 ER1이하인 경우에, 엣지 강도 판정부(241)는 우측 원화상의 화소가 저신뢰도의 화소라고 판정한다(S3-1). 산출부(25)는 좌측 원화상에 있어서 저신뢰도라고 판정된 화소의 총수 TL1을 카운트한다. 마찬가지로 산출부(25)는 우측 원화상에 있어서 저신뢰도라고 판정된 화소의 총수 TR1을 카운트한다(S4).When the edge intensity eL is equal to or less than the threshold value EL1, the edge strength determination section 241 determines that the pixel of the left original image is a pixel of low reliability. Similarly, when the edge intensity eR is equal to or smaller than the threshold value ER1, the edge strength determination section 241 determines that the pixel of the right original image is a pixel of low reliability (S3-1). The calculating section 25 counts the total number TL1 of the pixels judged as low reliability in the left original image. Similarly, the calculating section 25 counts the total number TR1 of pixels judged as low reliability in the right side original image (S4).

한편, 엣지 강도 eL이 역치 EL1이하가 아닌 경우에, 엣지 강도 판정부(241)는 좌측 원화상의 화소를 저신뢰도의 화소가 아닌 고신뢰도의 화소라고 판정한다. 마찬가지로, 엣지 강도 eR이 역치 ER1이하가 아닌 경우에, 엣지 강도 판정부(241)는 우측 원화상의 화소를 저신뢰도의 화소가 아닌 고신뢰도의 화소라고 판정한다(S3-2). 저신뢰도의 화소로 판정되지 않은 화소를 고신뢰도의 화소라고 칭한다. 제 1 영역(w)내의 화소에 있어서의 좌측 원화상 및 우측 원화상의 모든 화소에 대해서 S2∼S4를 반복한다(S5).On the other hand, when the edge intensity eL is not equal to or less than the threshold value EL1, the edge strength determination section 241 determines that the pixel of the left original image is not a low reliability pixel but a high reliability pixel. Likewise, when the edge intensity eR is not equal to or lower than the threshold value ER1, the edge strength determination section 241 determines that the pixel of the right original image is not a low reliability pixel but a high reliability pixel (S3-2). A pixel which is not determined as a pixel with low reliability is referred to as a high-reliability pixel. S2 to S4 are repeated for all the pixels of the left original image and the right original image in the pixels in the first area w (S5).

이어서, 이상 판단부(26)는 저신뢰도의 화소의 총수 TL1이 소정값 QL1을 초과하는지의 여부를 판정한다. 마찬가지로 이상 판단부(26)는 총수 TR1이 소정값 QR1을 초과하는지의 여부를 판정한다(S6). 소정값 QL1, QR1은 미리 설정되어 있다. 소정값 QL1과 소정값 QR1은 같은 값이어도 좋고, 다른 값이어도 좋다. 이상 판단부(26)는 저신뢰도의 화소의 총수 TL1이 소정값 QL1을 초과한 경우에 좌측 원화상이 이상이라(정상이 아니다)고 판단한다. 마찬가지로 이상 판단부(26)는 총수 TR1이 소정값 QR1을 초과한 경우에 우측 원화상이 이상이라(정상이 아니다)고 판단한다(S7). 이상 판단부(26)는 적어도 어느 한쪽의 원화상이 이상이라고 판단했을 경우, 시차화상도 이상이라고 판단한다. 전술의 출력부(54)는 그러한 바의 정보, 예를 들면 이상인 시차화상이 검출되었다라는 바를 출력할 수 있다. 또한 거리 산출부(53)는 정상의 시차화상과 이상의 시차화상 중 어느 것에 있어서나 저신뢰도의 화소를 제외한 시차화상을 이용하여 깊이 거리를 산출한다. 저신뢰도의 화소의 총수 TL1이 소정값 QL1을 초과하지 않고, 또한 총수 TR1이 소정값 QR1을 초과하지 않았을 경우, 시차값 판정부(242)의 판정이 실행된다.Then, the abnormality determination unit 26 determines whether or not the total number TL1 of low reliability pixels exceeds the predetermined value QL1. Likewise, the abnormality determination unit 26 determines whether or not the total number TR1 exceeds the predetermined value QR1 (S6). The predetermined values QL1 and QR1 are set in advance. The predetermined value QL1 and the predetermined value QR1 may be the same value or different values. The abnormality determination unit 26 determines that the left original image is abnormal (not normal) when the total number TL1 of low reliability pixels exceeds the predetermined value QL1. Similarly, when the total number TR1 exceeds the predetermined value QR1, the abnormality determination unit 26 determines that the right original image is abnormal (not normal) (S7). When the abnormality determination unit 26 determines that at least one of the original images is abnormal, it determines that the parallax image is abnormal. The above-described output unit 54 can output information indicating such bar information, for example, an abnormal parallax image has been detected. Further, the distance calculating unit 53 calculates the depth distance by using a parallax image except for the low-reliability pixel in either the normal parallax image or the parallax image. When the total number TL1 of low reliability pixels does not exceed the predetermined value QL1 and the total number TR1 does not exceed the predetermined value QR1, the determination by the time difference value determination section 242 is executed.

시차값 판정부의 판정 방법에 대해서 도 7을 참조하면서 설명한다. 본 실시형태에 있어서, 판정에 따른 시차화상의 제 1 영역, 제 2 영역, 제 3 영역은 같은 영역(w)으로서 설명하지만, 이것에 제한되지 않고, 별실시형태로서 제 1 영역, 제 2 영역, 제 3 영역은 각각 다른 영역이어도 좋다.A determination method of the time difference value determining section will be described with reference to FIG. In the present embodiment, the first area, the second area, and the third area of the parallax image according to the determination are described as the same area (w), but the present invention is not limited thereto. , And the third area may be a different area.

시차값 판정부(242)는 시차화상의 제 2 영역(w)의 화소 p(u, v)의 시차값 d(u, v)이 소정 범위내가 아닌 경우에, 상기 화소 p(u, v)가 저신뢰도라고 판정한다. 우선, 시차값 판정부(242)는 화소 p(u, v)의 시차값 d(u, v)을 구한다(S11). 시차값은 종래의 방법으로 구해진다.The parallax value judging section 242 judges whether the parallax value d (u, v) of the pixel p (u, v) in the second area w of the parallax image is within the predetermined range, Is low reliability. First, the parallax value judging unit 242 obtains the parallax value d (u, v) of the pixel p (u, v) (S11). The time difference value is obtained by a conventional method.

시차값 판정부(242)는 시차값 d(u, v)이 하한값 D1이상이며 상한값 D2이하 인지의 여부를 구한다(S12). 하한값 D1, 상한값 D2은 미리 설정되어 있다. 시차값 d(u, v)이 하한값 D1이상이며 상한값 D2이하이었을 경우에, 시차값 판정부(242)는 저신뢰도의 화소라고 판정한다(S13-1). 저신뢰도의 화소라고 판정되었을 경우, 산출부(25)는 그 저신뢰도의 화소의 총수 T2를 카운트한다(S14). 한편, 시차값 d(u, v)이 하한값 D1이상이며 상한값 D2이하가 아닌 경우에, 시차값 판정부(242)는 저신뢰도의 화소가 아닌 고신뢰도의 화소라고 판정한다(S13-2). 제 2 영역(w)의 화소 전체에 대해서 S12∼S14를 반복한다(S15).The differential value determining unit 242 determines whether the differential value d (u, v) is equal to or greater than the lower limit value D1 and equal to or less than the upper limit value D2 (S12). The lower limit value D1 and the upper limit value D2 are set in advance. When the parallax value d (u, v) is equal to or greater than the lower limit value D1 and equal to or less than the upper limit value D2, the parallax value determining section 242 determines that the pixel is a low reliability pixel (S13-1). If it is determined that the pixel is of low reliability, the calculating unit 25 counts the total number T2 of the low reliability pixels (S14). On the other hand, when the difference d (u, v) is not less than the lower limit D1 and not more than the upper limit D2, the time difference determining unit 242 determines that the pixel is not a low reliability pixel but a high reliability pixel (S13-2). S12 to S14 are repeated for the entire pixels of the second area w (S15).

이어서, 이상 판단부(26)는 저신뢰도의 화소의 총수 T2가 소정값 Q2을 초과하는지의 여부를 판정한다(S16). 소정값 Q2는 미리 설정되어 있다. 이상 판단부(26)는 저신뢰도의 화소의 총수 T2가 소정값 Q2를 초과했을 경우에 시차화상 및 적어도 어느 한쪽의 원화상이 이상이라(정상이 아니다)고 판단한다(S17). 이상이라고 판단되었을 경우, 전술의 출력부(54)는 그러한 바의 정보, 예를 들면 이상인 시차화상이 검출되었다라는 바를 출력할 수 있다. 또한 거리 산출부(53)는 정상의 시차화상과 이상의 시차화상 중 어느 것에 있어서나 저신뢰도의 화소를 제외한 시차화상을 이용하여 깊이 거리를 산출한다. 저신뢰도의 화소의 총수 T2가 소정값 Q2를 초과하지 않았을 경우, 시차값차 판정부(243)의 판정이 실행된다. Then, the abnormality determination unit 26 determines whether or not the total number T2 of low reliability pixels exceeds the predetermined value Q2 (S16). The predetermined value Q2 is set in advance. When the total number T2 of low-reliability pixels exceeds the predetermined value Q2, the abnormality determination unit 26 determines that the parallax image and / or at least one of the original images is abnormal (not normal) (S17). When it is judged that there is an abnormality, the above-mentioned output unit 54 can output such bar information, for example, that an abnormal parallax image has been detected. Further, the distance calculating unit 53 calculates the depth distance by using a parallax image except for the low-reliability pixel in either the normal parallax image or the parallax image. When the total number T2 of low reliability pixels does not exceed the predetermined value Q2, the determination by the time difference value difference determination section 243 is performed.

시차값차 판정부의 판정 방법에 대해서 도 8을 참조하면서 설명한다. 시차값차 판정부(243)는 예를 들면 좌측 원화상 기준의 시차화상에 제 3 영역(w)을 설정하고, 이 영역(w)내의 화소 pL(u, v)의 시차값 dL(u, v)=d로 하면, 상기 화소 pL(u, v)에 대응하는 우측 원화상 기준의 시차화상의 화소 pR(u-d, v)의 시차값 dR(u-d, v)과의 차(dL-dR)가 소정 범위내에 없을 경우에, 화소 pL(u, v)을 저신뢰도라고 판정한다. 또, 별실시형태로서 우측 원화상 기준의 시차화상에 제 4 영역(w)을 설정하고, 화소 pR(u, v)에 대해서 신뢰도를 판정해도 좋다. 이러한 경우에, 우측 원화상 기준의 시차화상의 시차값 dR(u, v)=d에 대응하는 좌측 원화상 기준의 시차화상의 시차값은 dL(u+d, v)이며, 차(dL-dR)가 소정 범위내에 없을 경우에, 화소 pR(u, v)을 저신뢰도라고 판정한다. 여기에서, 제 3 영역과 제 4 영역은 같은 영역이어도 좋고, 각각 다른 영역이어도 좋다. 좌측 원화상 기준의 시차화상과 우측 원화상 기준의 시차화상은 시차화상 작성부(52)에서 작성된다. 우선, 시차값차 판정부(243)는 시차값차(dL-dR)를 구한다(S21).The determination method of the time difference value difference determining section will be described with reference to FIG. The time difference value difference judging section 243 sets the third area w to the parallax image on the basis of the left original image and sets the parallax values dL (u, v) of the pixel pL (u, v) ) = d, the difference (dL-dR) between the parallax value dR (ud, v) of the pixel pR (ud, v) of the right original image reference parallax image corresponding to the pixel pL When it is not within the predetermined range, the pixel pL (u, v) is determined to be low reliability. As another embodiment, the fourth area w may be set in the parallax image on the right original image basis, and the reliability of the pixel pR (u, v) may be determined. In this case, the parallax value of the parallax image of the left original image reference corresponding to the parallax value dR (u, v) = d of the right original image reference parallax image is dL (u + d, v) dR) is not within the predetermined range, the pixel pR (u, v) is determined to be low reliability. Here, the third region and the fourth region may be the same region or may be different regions. A parallax image on the basis of the left original image and a parallax image based on the right original image are created by the parallax image creating unit 52. [ First, the time difference value difference judging section 243 obtains the time difference value difference dL-dR (S21).

*시차값차 판정부(243)는 시차값차(dL-dR)가 하한값 D3이상이며 상한값 D4이하인지의 여부를 구한다(S22). 하한값 D3, 상한값 D4는 미리 설정되어 있다. 시차값차(dL-dR)가 하한값 D3이상이며 상한값 D4이하인 경우에, 시차값차 판정부(243)는 화소 pL(u, v)을 저신뢰도의 화소라고 판정한다(S23-1).* The time difference value difference judging section 243 determines whether the time difference value difference dL-dR is not less than the lower limit value D3 and not more than the upper limit value D4 (S22). The lower limit value D3 and the upper limit value D4 are set in advance. When the time difference value difference dL-dR is equal to or greater than the lower limit value D3 and equal to or smaller than the upper limit value D4, the time difference difference determination section 243 determines the pixel pL (u, v) as a low reliability pixel (S23-1).

도 9를 참조하면서 시차값차를 구하는 일례를 설명한다. 도 9(a)는 좌측 원화상 기준의 시차화상의 시차값, 도 9(b)는 우측 원화상 기준의 시차화상의 시차값이며, 각각 같은 좌표를 골라내고 있다. 좌측 원화상 기준의 시차화상과 우측 원화상 기준의 시차화상을 비교한다. 좌측 원화상 기준의 시차화상의 범위내는 u좌표가 18이며 시차값이 4이다. u좌표의 차(어긋남량)가 4인 것으로서, 우측 원화상 기준의 시차화상의 동일한 v좌표의 u좌표는 14(=18-4)이며, 이 u좌표 14의 시차값은 9이다. 시차값차는 「5(=9-4)」이다. D3=0, D4=1로 한 경우에, 시차값차 「5」는 D4를 초과하므로 이 좌표의 화소는 저신뢰도라고 판정된다.An example of obtaining the time difference value difference will be described with reference to FIG. 9 (a) is a parallax value of a parallax image based on a left original image, and Fig. 9 (b) is a parallax value of a parallax image based on a right original image. A parallax image based on the left original image and a parallax image based on the right original image are compared. The u coordinate is 18 in the range of the parallax image on the basis of the left original image, and the parallax value is 4. the u coordinate of the same v coordinate of the parallax image based on the right original image is 14 (= 18-4), and the parallax value of the u coordinate 14 is 9, since the difference (displacement amount) The difference in time difference value is "5 (= 9-4)". When D3 = 0 and D4 = 1, the parallax value difference " 5 " exceeds D4, so that the pixel of this coordinate is determined to be low reliability.

저신뢰도의 화소라고 판정되었을 경우, 산출부(25)는 그 저신뢰도의 화소의 총수 T3을 카운트한다(S24). 한편, 시차값차(dL-dR)가 하한값 D3이상이며 상한값 D4이하가 아닌 경우에, 시차값차 판정부(243)는 화소 pL(u, v)을 저신뢰도의 화소 가 아닌 고신뢰도의 화소라고 판정한다(S23-2). 제 3 영역(w)의 화소 전체에 대해서 S22∼S24를 반복한다(S25).If it is determined that the pixel is of low reliability, the calculation unit 25 counts the total number T3 of the low reliability pixels (S24). On the other hand, when the time difference value difference dL-dR is not less than the lower limit value D3 and not the upper limit value D4, the time difference difference determination section 243 determines that the pixel pL (u, v) (S23-2). S22 to S24 are repeated for the entire pixels of the third area w (S25).

이어서, 이상 판단부(26)는 저신뢰도의 화소의 총수 T3이 소정값 Q3을 초과하는지의 여부를 판정한다(S26). 소정값 Q3은 미리 설정되어 있다. 저신뢰도의 화소의 총수 T3이 소정값 Q3을 초과했을 경우에 이상 판단부(26)는 시차화상 및 적어도 어느 한쪽의 원화상이 이상이라(정상이 아니다)고 판단한다(S27). 이상이라고 판단되었을 경우, 전술의 출력부(54)는 그러한 바의 정보, 예를 들면 이상인 시차화상이 검출되었다라는 바를 출력할 수 있다. 또한 거리 산출부(53)는 정상의 시차화상과 이상의 시차화상 중 어느 것에 있어서나 저신뢰도의 화소를 제외한 시차화상을 이용하여 깊이 거리를 산출한다. 저신뢰도의 화소의 총수 T3이 소정값 Q3을 초과하지 않은 경우, 이상 판단부(26)는 시차화상 및 원화상이 이상이 아니라고 판단한다.Then, the abnormality determination unit 26 determines whether or not the total number T3 of the low reliability pixels exceeds the predetermined value Q3 (S26). The predetermined value Q3 is set in advance. When the total number T3 of low reliability pixels exceeds the predetermined value Q3, the abnormality determination unit 26 determines that the parallax image and / or at least one of the original images are abnormal (not normal) (S27). When it is judged that there is an abnormality, the above-mentioned output unit 54 can output such bar information, for example, that an abnormal parallax image has been detected. Further, the distance calculating unit 53 calculates the depth distance by using a parallax image except for the low-reliability pixel in either the normal parallax image or the parallax image. When the total number T3 of low reliability pixels does not exceed the predetermined value Q3, the abnormality determination section 26 determines that the parallax image and the original image are not abnormal.

(실시형태 1의 별구성예)(Constitutional Example of Embodiment 1)

상기 실시형태 1에 있어서, 엣지 강도 판정부(241)는 엣지 강도가 역치이하인지의 여부를 판정했지만, 이것에 제한되지 않고, 엣지 강도가 소정 범위에 있는지의 여부를 판정해도 좋다.In the first embodiment, the edge strength determination section 241 determines whether or not the edge strength is equal to or less than the threshold value. However, the edge strength determination section 241 may determine whether or not the edge strength is within the predetermined range.

상기 실시형태 1에 있어서, 엣지 강도는 예를 들면 SOBEL 필터 등의 엣지 강조 수단을 실시한 후의 값(휘도값)으로 해도 좋다. 도 10에 도 4의 좌측 원화상을 엣지 강조한 도면의 일례를 나타낸다.In the first embodiment, the edge intensity may be a value (luminance value) after edge enhancement means such as an SOBEL filter is performed. Fig. 10 shows an example of a diagram in which the left original image of Fig. 4 is edge emphasized.

상기 실시형태 1에 있어서, 시차값 판정부(242)는 시차값 d(u, v)가 역치이하인 경우에, 상기 화소 p(u, v)가 저신뢰도라고 판정해도 좋다.In the first embodiment, the parallax value judging section 242 may judge that the pixel p (u, v) is low reliability when the parallax value d (u, v) is equal to or less than the threshold value.

상기 실시형태 1에 있어서, 시차값차 판정부(242)는 시차값차(dL-dR)가 역치이하인 경우에, 저신뢰도의 화소라고 판정해도 좋다.In the first embodiment, the time difference difference determining section 242 may determine that the pixel is of low reliability when the time difference value difference dL-dR is equal to or less than the threshold value.

상기 실시형태 1에 있어서, 엣지 강도 판정부(241)가 좌측 원화상과 우측 원화상에 대한 처리(S1∼S7)를 병행하고 있었지만, 이것에 제한되지 않고, 어느 한쪽의 원화상에 대한 처리를 행한 후에, 그 다른쪽의 원화상에 대한 처리를 실행해도 좋다.In the first embodiment, the edge strength determination unit 241 concurrently performs the processing (S1 to S7) on the left original image and the right original image, but the present invention is not limited to this. Processing may be performed on the other original image.

상기 실시형태 1에 있어서, 엣지 강도 판정부(241), 시차값 판정부(242), 시차값차 판정부(243)의 처리 순서로 실행하고 있었지만, 이것에 제한되지 않고, 엣지 강도 판정부(241), 시차값차 판정부(243), 시차값 판정부(242)의 처리 순서이어도 좋다.The edge strength determination unit 241, the parallax value determination unit 242 and the parallax value difference determination unit 243 in the above-described first embodiment are executed in the order of the processing. However, the edge strength determination unit 241 ), The time difference value difference judging section 243, and the time difference value judging section 242.

상기 실시형태 1에 있어서, 이상화상 검출장치(2)가 차량(1)에 탑재되어 있지 않은 구성이어도 좋고, 이 경우, 화상 처리 시스템(5)과 이상화상 검출장치(2)는 네트워크를 통해 접속된다. 또한 화상 처리 시스템(5)이 차량(1)에 탑재되어 있지 않은 구성이어도 좋다. 이 경우, 차량(1)에 탑재된 촬상부(51)의 촬영 화상이 네트워크를 통해 화상 처리 시스템(5)에 송신된다.In this case, the image processing system 5 and the abnormal image detection device 2 are connected via a network (not shown) to the network 1. In this embodiment, the abnormal image detection device 2 is not mounted on the vehicle 1, do. Or the image processing system 5 may not be mounted on the vehicle 1. [ In this case, the picked-up image of the image pickup section 51 mounted on the vehicle 1 is transmitted to the image processing system 5 via the network.

상기 실시형태 1에 있어서, 시차화상 작성부(52)는 좌측 화상 센서(511), 우측 화상 센서(512)에서 촬영된 화상에 여러가지 보정을 실시한 화상으로부터 시차화상을 작성해도 좋다. 이 경우, 화상 처리 시스템(5)은 각 화상을 각종 보정 처리하는 화상 보정부(도면에 나타내지 않는다)를 갖는다. 화상 보정부에서 보정된 각 화상은 시차화상 작성부(52)에 출력된다. 화상의 보정 처리로서, 예를 들면 렌즈의 구경색 등을 원인으로 하는 복수의 화상 센서간의 휘도 불균일을 보정하는 휘도 보정 처리나, 각 화상 센서의 렌즈의 변형을 보정하는 왜곡 수차 보정 처리나, 촬영한 화상의 엣지를 강조하는 엣지 강조 처리를 들 수 있다. 화상 보정으로서 이들의 화상처리의 적어도 1개가 실시된다. 화상 보정으로서 좌, 우측 화상 센서(511,512)간의 휘도를 보정하는 처리, 또는 렌즈 변형을 보정하는 처리, 또는 엣지를 강조하는 처리 중 적어도 1개의 처리를 실시함으로써 좌, 우측 화상 센서(511, 512)의 고유특성에 기인하는 화상의 특성을 평균화할 수 있다. 좌, 우측 화상 센서(511, 512)의 개체차를 저감함으로써, 촬영된 각 화상을 기초로 작성하는 시차화상의 정밀도를 향상시킬 수 있고, 시차 불연속 부분을 정밀도 좋게 검출할 수 있다.In the first embodiment, the parallax image creating unit 52 may create a parallax image from an image obtained by performing various corrections on the image photographed by the left image sensor 511 and the right image sensor 512. [ In this case, the image processing system 5 has an image correction section (not shown) for performing various correction processing on each image. Each image corrected by the image correction section is output to the parallax image creating section 52. [ As image correction processing, for example, there are luminance correction processing for correcting luminance unevenness among a plurality of image sensors due to, for example, aperture diameter of a lens, distortion aberration correction processing for correcting lens distortion of each image sensor, And an edge emphasis process for emphasizing the edge of one image. As image correction, at least one of these image processes is performed. Right image sensors 511 and 512 by performing at least one of processing for correcting the luminance between the left and right image sensors 511 and 512 and processing for correcting the lens deformation or processing for emphasizing the edges as image correction, It is possible to average the characteristics of the image due to the intrinsic characteristics of the image. By reducing the individual differences of the left and right image sensors 511 and 512, it is possible to improve the accuracy of the parallactic image created based on each photographed image, and to detect the parallax discontinuity portion with high precision.

상기 실시형태 1은 시차화상의 소정 영역(화소)의 시차값의 표준편차(분산)의 지표를 산출하는 지표 산출부를 더 갖고, 이상 판단부가 지표 산출부에서 산출된 지표가 소정 범위내에 없는 경우(또는 상한역치를 초과하는 경우)에 상기 시차화상이 이상이라고 판단한다. 이 구성에 의하면, 시차값의 편차가 큰 것을 판정함으로써 원화상이 이상인 것을 판단할 수 있다. 여기에서 「시차화상의 소정 영역」은 예를 들면 전체 화소영역, 전체 화소영역에서 끝영역을 제외한 중심영역 등을 들 수 있다. 끝영역은 복수의 촬상부에서 서로 촬상 에리어가 다르기 때문에 미리 제외하는 것이 바람직하다. 또 「시차화상의 소정 영역」은 상기 「시차화상의 제 1 영역」, 「시차화상의 제 2 영역」, 「시차화상의 제 3 영역 」 중 어느 하나와 같은 영역이어도 좋고, 다른 영역이어도 좋다. The first embodiment further includes an index calculation section for calculating an index of a standard deviation (dispersion) of a parallax value of a predetermined area (pixel) of a parallax image. When the index calculated by the index calculation section is not within a predetermined range Or the upper limit threshold is exceeded), it is determined that the parallax image is abnormal. According to this configuration, it is possible to judge that the original image is abnormal by judging that the deviation of the parallax value is large. Here, the " predetermined area of the parallax image " includes, for example, an entire pixel area, a central area excluding the end area in the entire pixel area, and the like. It is preferable that the end area is excluded in advance because a plurality of imaging units have different imaging areas. The "predetermined area of the parallax image" may be the same area as any one of the "first area of parallax image", "second area of parallax image", "third area of parallax image", or other area.

또한 상기 「시차화상의 제 1 영역」, 「시차화상의 제 2 영역」, 「시차화상의 제 3 영역」은 전체 영역으로부터 끝영역을 제외한 중심측 영역이었지만, 이것에 제한되지 않고, 전체 영역이어도 좋다. The "first region of the parallax image", "the second region of the parallax image", and "the third region of the parallax image" are the central region excluding the end region from the entire region, but the present invention is not limited thereto. good.

상기 실시형태 1은 원화상 중 적어도 2개의 원화상의 소정 영역에 있어서 원화상에서 같은 좌표의 화소의 화소값(휘도값)의 차를 계산하는 화소값차 계산부와, 화소값차 계산부에서 구해진 상기 화소값의 차의 합계, 평균, 최대값, 최소값 및 표준편차 중에서 선택되는 1개 또는 1개이상의 지표를 계산하는 지표 계산부를 더 갖고, 이상 판단부가 상기 지표가 소정 범위내에 없는 경우(또는 상한 역치를 초과하는 경우)에 상기 2개의 원화상 중 한쪽의 원화상이 이상이라고 판단한다. 이 구성에 의하면, 휘도값의 차가 큰 것을 판정함으로써 원화상이 이상인 것을 판단할 수 있다. 여기에서 「원화상의 소정 영역」은 예를 들면 전체 화소영역, 전체 화소영역에서 끝영역을 제외한 중심영역 등을 들 수 있다.In the first embodiment, the pixel value difference calculating section for calculating the difference between the pixel values (luminance values) of pixels of the same coordinates on the original in a predetermined region of at least two original images of the original image, And an indicator calculating section for calculating one or more indicators selected from a sum, an average, a maximum value, a minimum value and a standard deviation of the difference of the values, and when the abnormality determining section determines that the indicator is not within the predetermined range It is judged that one of the two original images is abnormal. According to this configuration, it can be determined that the original image is abnormal by determining that the difference in luminance value is large. Here, the " predetermined region of the original image " includes, for example, the entire pixel region, and the central region excluding the end region in the entire pixel region.

상기 실시형태 1의 차량(1)은 촬상부의 촬상 방향 전방에 프론트 윈도우를 설치한 구성이었지만, 이것에 제한되지 않고, 예를 들면 촬상부가 차량의 프론트부에 설치되어 있어도 좋다.The vehicle 1 of the first embodiment has a configuration in which the front window is provided in front of the imaging direction of the imaging section. However, the present invention is not limited thereto. For example, the imaging section may be provided in the front section of the vehicle.

상기 실시형태 1에 있어서, 거리 산출부(53)는 정상의 시차화상과 이상의 시차화상 중 어느 것에 있어서나 저신뢰도의 화소를 제외한 시차화상을 이용하여 깊이 거리를 산출하는 것이었지만, 이것에 제한되지 않고, 이하의 구성이어도 좋다. 거리 산출부는 이상이 검출된 시차화상 이외의 시차화상에 의거하여 깊이 거리를 산출해도 좋다. 또한 거리 산출부는 이상이 검출된 시차화상을 이용하여 깊이 거리를 산출할 경우, 저신뢰도의 화소를 제외한 시차화상을 사용해도 좋다.In the first embodiment, the distance calculating unit 53 calculates the depth distance using either a normal parallax image or a parallax image and a parallax image excluding pixels with low reliability. However, the present invention is not limited thereto But may be the following configuration. The distance calculating unit may calculate the depth distance based on the parallax image other than the parallax image in which the anomaly is detected. Further, when calculating the depth distance using the parallax image in which the anomaly is detected, the distance calculating unit may use a parallax image excluding the pixels with low reliability.

(실시형태 2)(Embodiment 2)

실시형태 2에 따른 이상화상 검출장치(2)는 화상 처리 시스템(5)과 다른 장치로서 구성되어 있다. 도 15에 나타내는 이상화상 검출장치(2)는 좌측 원화상, 우측 원화상 및 시차화상을 외부장치로부터 수신하는 통신부(21)(취득부에 상당하다)와, 통신부(21)에서 수신한 우측 원화상, 좌측 원화상 및 시차화상을 보존하는 기억부(22)를 더 갖는 구성이다. 통신부(21)는 이상이라고 판단된 원화상 및 시차화상에 관한 정보를 상기 외부장치 또는 다른 장치에 송신하는 기능을 갖는다. 통신부(21)는 예를 들면 원화상 및 시차화상의 식별 정보를 상기 외부장치 또는 다른 장치에 송신한다. 외부장치는 화상 처리 시스템(5)이어도 좋고, 이상화상 검출장치(2)와 네트워크를 통해 접속되는 서버 또는 정보 처리 장치이어도 좋다. The abnormal image detection device 2 according to the second embodiment is configured as an apparatus different from the image processing system 5. [ 15 includes a communication unit 21 (corresponding to an acquisition unit) that receives a left original image, a right original image, and a parallax image from an external apparatus, and a right-side circle received by the communication unit 21 And a storage unit 22 for storing an image, a left original image, and a parallax image. The communication unit 21 has a function of transmitting the information about the original image and the parallactic image determined to be abnormal to the external device or another device. The communication unit 21 transmits, for example, the identification information of the original image and the parallax image to the external device or another device. The external apparatus may be the image processing system 5 or may be a server or an information processing apparatus connected to the abnormal image detection apparatus 2 via a network.

실시예Example

먼지가 부착된 상태와 그렇지 않은 상태에 있어서의 시차화상을 사용하고, 상기 실시형태 1에 있어서의 신뢰도 판정과, 상기 특허문헌 1에 있어서의 시차분포를 사용한 신뢰도 판정을 행했다. 도 11(a)에 먼지가 부착되어 있지 않은 좌측 원화상, 도 11(b)에 우측 원화상을 나타내고, 그 시차화상을 도 12에 나타낸다. 먼지가 부착된 시차화상은 도 5이다. 도 13에, 도 12의 시차화상의 시차분포를 나타내고, 도 14에 도 5의 시차화상의 시차분포를 나타낸다. 시차분포는 가로축이 시차값이며 세로축이 그 빈도를 나타낸다.A reliability determination using the parallax distribution in the first embodiment and a reliability determination using the parallax distribution in the first embodiment are performed using a parallax image in a state in which dust is adhered and in a state in which no dust is adhered. Fig. 11 (a) shows a left original image with no dust attached, and Fig. 11 (b) shows a right original image, and the parallax image is shown in Fig. A parallax image with dust attached is shown in Fig. Fig. 13 shows the parallax distribution of the parallax images of Fig. 12, and Fig. 14 shows the parallax distribution of the parallax images of Fig. The parallax distribution shows the parallax value on the horizontal axis and the frequency on the vertical axis.

상기 실시형태 1에서는 먼지가 부착된 좌측 원화상을 이상이라고 판단할 수 있었다. 한편, 상기 특허문헌 1에 따른 시차분포를 사용한 판정에서는 먼지가 부착되었을 경우의 시차분포가 먼지가 부착되어 있지 않을 때의 시차분포에 대해서 어떤 시차의 빈도가 작아지는 정도였다. 이 때문에, 특허문헌 1의 판단 방법에서는 이상화상인 것을 정확하게 판단하는 것은 곤란했다.In the first embodiment, it is possible to judge that the left original image to which the dust is attached is abnormal. On the other hand, in the judgment using the parallax distribution according to Patent Document 1, the parallax distribution in the case where the dust is adhered has a certain degree of parallax with respect to the parallax distribution in the case where no dust is adhered. For this reason, it is difficult to accurately determine that the image is abnormal in the judgment method of Patent Document 1.

(별실시형태)(Separate embodiment)

별실시형태의 이상화상 검출장치는,The abnormal image detection device according to another embodiment,

복수의 촬상부로부터 얻어진 복수의 원화상에 의거하여 작성된 시차화상 및 상기 원화상 중 적어도 하나의 원화상이 이상인지를 검출하는 이상화상 검출장치로서, 상기 시차화상의 소정 영역(화소)의 시차값의 표준편차(분산)의 지표를 산출하는 지표 산출부와, 상기 지표 산출부에서 산출된 지표가 소정 범위내에 없는 경우(또는 상한 역치를 초과하는 경우)에 상기 시차화상이 이상이라고 판단하는 이상 판단부를 갖는다. 이 구성에 의하면, 시차값의 편차가 큰 것을 판정함으로써 원화상이 이상인 것을 판단할 수 있다. 또한 이상화상 검출장치는 상기 실시형태 1 또는 2에 따른 이상화상 검출장치(2)의 구성요소 및 그 기능을 더 갖고 있어도 좋다.An abnormal image detecting apparatus for detecting whether an abnormal image is a parallax image created based on a plurality of original images obtained from a plurality of image pickup units and at least one of the original images, And an abnormality judging section for judging that the parallax image is abnormal when the index calculated by the index calculating section is not within the predetermined range (or exceeds the upper limit threshold value) . According to this configuration, it is possible to judge that the original image is abnormal by judging that the deviation of the parallax value is large. The abnormal image detecting apparatus may further include the components of the abnormal image detecting apparatus 2 according to the first or second embodiment and the functions thereof.

다른 별실시형태의 이상화상 검출장치는,An abnormal image detecting apparatus according to another alternative embodiment includes:

복수의 촬상부로부터 얻어진 복수의 원화상에 의거하여 작성된 시차화상 및 상기 원화상 중 적어도 하나의 원화상이 이상인지를 검출하는 이상화상 검출장치로서, 상기 원화상 중 적어도 2개의 원화상의 소정 영역에 있어서 원화상에서 같은 좌표의 화소의 화소값(휘도값)의 차를 계산하는 화소값차 계산부와, 상기 화소값차 계산부에서 구해진 상기 화소값의 차의 합계, 평균, 최대값, 최소값 및 표준편차 중에서 선택되는 1개 또는 1개이상의 지표를 계산하는 지표 계산부와, 상기 지표가 소정 범위내에 없는 경우(또는 상한 역치를 초과하는 경우)에 상기 2개의 원화상 중 적어도 한쪽의 원화상이 이상이라고 판단하는 이상 판단부를 갖는다. 이 구성에 의하면, 휘도값의 차가 큰 것을 판정함으로써 원화상이 이상인 것을 판단할 수 있다. 또한 이상화상 검출장치는 상기 실시형태 1 또는 2에 따른 이상화상 검출장치(2)의 구성요소 및 그 기능을 더 갖고 있어도 좋다. An abnormal image detecting apparatus for detecting whether or not at least one of an original image and a parallax image created based on a plurality of original images obtained from a plurality of image pickup units is abnormal, A pixel value difference calculating section for calculating a difference between pixel values (luminance values) of pixels of the same coordinates on the original in the original pixel, a pixel value difference calculating section for calculating a sum, an average, a maximum value, a minimum value, (2) when at least one of the two original images is abnormal when the index is not within a predetermined range (or when the index exceeds the upper limit threshold value) And has an abnormality judging section for judging. According to this configuration, it can be determined that the original image is abnormal by determining that the difference in luminance value is large. The abnormal image detecting apparatus may further include the components of the abnormal image detecting apparatus 2 according to the first or second embodiment and the functions thereof.

또, 본원 발명의 「역치」는 미리 정해진 고정값 또는 고정값을 환경상태 또는 주행상태 등에 의거하여 보정한 보정값이어도 좋다.The " threshold value " of the present invention may be a correction value obtained by correcting a predetermined fixed value or a fixed value based on an environmental condition, a running state, or the like.

또, 본원 발명의 「소정 범위내」는 소정의 값을 A로 하고, 소정의 값을 B로 하고, A가 B보다 작은 경우, 이하의 조건 전부를 포함한다. A보다 크고 또한 B보다 작은 경우, A보다 크고 또한 B보다 작거나 또는 같은 경우, A보다 크거나 또는 같고 또한 B보다 작거나 또는 같은 경우, 또는 A보다 크거나 또는 같고 또한 B보다 작은 경우.In the " within a predetermined range " of the present invention, when A is a predetermined value, B is a predetermined value, and A is smaller than B, all of the following conditions are included. A is greater than A and less than B, is greater than A and less than or equal to B, is greater than or equal to A, less than or equal to B, or greater than or equal to A and less than B.

또, 본원 발명에 따른 차량은 골프카에 한정되지 않는다. 차량은 차륜의 수에 한정되지 않는다. 차량은 안승형(鞍乘型) 차량이어도 좋다. 안승형 차량은 스쿠터 이외의 형식의 자동 이륜차를 포함한다. 또한 안승형 차량은 ATV(All Terrain Vehicle) 등의 자동 이륜차 이외의 차량이어도 좋다. 또, 안승형 차량이란 탑승자가 걸터서 승차하는 차량을 의미한다.The vehicle according to the present invention is not limited to a golf car. The vehicle is not limited to the number of wheels. The vehicle may be a saddle type vehicle. The Ahn Seung Hyung vehicle includes a motorcycle of a type other than a scooter. The Ahn Seung Hyung vehicle may be a vehicle other than a motorcycle such as an ATV (All Terrain Vehicle). In addition, the Ahn Seung Hyung vehicle means a vehicle on which a passenger rides.

1: 차량
2: 이상화상 검출장치
21: 통신부
22: 기억부
24: 신뢰도 판정부
241: 엣지 강도 판정부
242: 시차값 판정부
243: 시차값차 판정부
25: 산출부
26: 이상 판단부
5: 화상 처리 시스템
51: 촬상부
52: 시차화상 작성부
53: 거리 산출부
54: 출력부1: vehicle
2: abnormal image detecting device
21:
22:
24: Reliability judgment section
241: Edge strength determination section
242:
243: Time difference value difference judging section
25:
26: abnormality determination unit
5: Image processing system
51:
52: Parallax image creating section
53: Distance calculation unit
54:

Claims (9)

복수의 촬상부로부터 얻어지며, 또한 시차화상의 작성에 사용되는 복수의 원화상 중 적어도 하나의 원화상이 이상인 것을 검출하는 이상화상 검출장치로서,
상기 시차화상은, 상기 복수의 원화상 중 제 1 원화상(A)을 기준으로 작성되는 제 1 시차화상(Ab)과, 제 2 원화상(B)을 기준으로 작성되는 제 2 시차화상(Ba)을 적어도 포함하고,
적어도 상기 제 1 시차화상(Ab) 및 상기 제 2 시차화상(Ba)의 화소가 저신뢰도인지의 여부를 판정하는 신뢰도 판정부와,
상기 신뢰도 판정부에 의해 판정된 저신뢰도의 화소의 총수를 산출하는 산출부와,
상기 산출부에서 산출된 저신뢰도의 화소의 총수가, 소정값을 초과한 경우에, 상기 시차화상이 이상이라고 판단하는 이상 판단부를, 갖고,
상기 신뢰도 판정부는,
상기 원화상의 각 화소의 엣지 강도가 적어도 역치보다 작거나 또는 같은 경우에, 해당 화소에 의거하여 작성되는 시차화상 중의 화소를 저신뢰도의 화소라고 판정하는 엣지 강도 판정부를 갖는, 이상화상 검출장치.An abnormal image detecting apparatus for detecting that at least one of an original image obtained from a plurality of image pickup units and used for creating a parallax image is abnormal,
The parallax image includes a first parallax image Ab created based on the first original image A among the plurality of original images and a second parallax image Ba generated based on the second original image B ),
A reliability determining section that determines whether or not at least the pixels of the first parallax image Ab and the second parallax image Ba are low reliability;
A calculating unit that calculates a total number of pixels of low reliability determined by the reliability determining unit;
And an abnormality determination unit that determines that the parallax image is abnormal when the total number of low reliability pixels calculated by the calculation unit exceeds a predetermined value,
The reliability judging section judges,
And an edge strength determining unit that determines a pixel in the parallactic image created based on the pixel as a low reliability pixel when the edge intensity of each pixel of the original image is at least equal to or smaller than a threshold value. 제 1 항에 있어서,
상기 신뢰도 판정부는,
상기 제 1 및 제 2 시차화상의 각 화소의 시차값이 소정 범위내가 아닌 경우에, 해당 화소가 저신뢰도라고 판정하는 시차값 판정부를 갖는, 이상화상 검출장치.The method according to claim 1,
The reliability judging section judges,
And a parallax value judging section which judges that the pixel is of low reliability when the parallax values of the pixels of the first and second parallax images are not within a predetermined range. 제 1 항에 있어서,
시차화상의 소정 영역의 시차값의 표준 편차 및/또는 분산의 지표를 산출하는 지표산출부를 더 가지며,
상기 이상 판단부는, 상기 지표산출부에서 산출된 상기 지표가 소정 범위 내에 없는 경우 또는 상한 역치를 초과하는 경우에, 상기 시차화상이 이상이라고 판단하는 이상화상 검출장치.The method according to claim 1,
Further comprising an index calculation unit for calculating an index of standard deviation and / or dispersion of a parallax value of a predetermined area of a parallax image,
Wherein the abnormality determination unit determines that the parallax image is abnormal when the index calculated by the index calculation unit is not within a predetermined range or exceeds an upper limit threshold value. 제 1 항에 있어서,
원화상 중 적어도 2개의 원화상의 소정 영역에 있어서, 해당 원화상에서 같은 좌표의 화소의 화소값의 차를 계산하는 화소값차 계산부와,
상기 화소값차 계산부에서 구해진 상기 화소값의 차의, 합계, 평균, 최대값, 최소값 및 표준편차 중에서 선택되는 1개 또는 1개 이상의 지표를 계산하는 지표 계산부를 더 가지며,
상기 이상 판단부는 상기 지표가 소정 범위내에 없는 경우 또는 상한 역치를 초과하는 경우에, 상기 2개의 원화상 중 적어도 한쪽의 원화상이 이상이라고 판단하는 이상화상 검출장치.The method according to claim 1,
A pixel value difference calculation unit for calculating a difference between pixel values of pixels of the same coordinates on the original in a predetermined area of at least two original images of the original image;
And an index calculation unit for calculating one or more indexes selected from a sum, an average, a maximum value, a minimum value, and a standard deviation of differences of the pixel values obtained by the pixel value difference calculation unit,
Wherein the abnormality determination unit determines that at least one of the two original images is abnormal when the index is not within a predetermined range or exceeds an upper limit threshold value. 복수의 촬상부와, 해당 촬상부로부터 얻어진 복수의 원화상에 의거하여 시차화상을 작성하는 시차화상 작성부와, 해당 시차화상 작성부에서 작성된 시차화상에 의거하여 깊이 거리를 산출하는 거리 산출부를 갖는 화상 처리 시스템으로서,
제 1 항 내지 제 4 항 중 어느 한 항에 기재된 이상화상 검출장치와,
상기 이상화상 검출장치가 원화상의 이상을 검출한 경우에 이상정보를 출력하는 출력부를 구비하는 화상 처리 시스템.A parallax image creating unit that creates a parallax image on the basis of a plurality of original images obtained from the imaging unit and a distance calculating unit that calculates a depth distance based on the parallax image created by the parallax image creating unit An image processing system comprising:
An abnormal image detecting apparatus according to any one of claims 1 to 4,
And an output unit for outputting the abnormal information when the abnormal image detecting apparatus detects an abnormality of the original image. 제 5 항에 있어서,
상기 거리 산출부는 이상이 검출된 시차화상 이외의 시차화상에 의거하여 깊이 거리를 산출하는 화상 처리 시스템.6. The method of claim 5,
Wherein the distance calculating section calculates the depth distance based on a parallax image other than the parallax image in which an error is detected. 제 5 항에 있어서,
상기 거리 산출부는 상기 시차화상 작성부에서 작성된 시차화상에 있어서 저신뢰도의 화소를 제외한 시차화상에 의거하여 깊이 거리를 산출하는 화상 처리 시스템.6. The method of claim 5,
Wherein the distance calculating unit calculates the depth distance based on the parallax image excluding the pixels with low reliability in the parallax image created by the parallax image creating unit. 제 5 항에 기재된 화상 처리 시스템을 탑재하는 차량.A vehicle on which the image processing system according to claim 5 is mounted. 제 8 항에 있어서,
상기 차량은,
촬상부의 촬상 방향 전방에 프론트 윈도우를 구비하고,
상기 프론트 윈도우에 와이퍼를 구비하고 있지 않은, 차량.9. The method of claim 8,
The vehicle includes:
A front window is provided in front of the imaging direction of the imaging section,
And wherein the front window does not have a wiper.
KR1020170172378A 2015-07-29 2017-12-14 Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system KR101839813B1 (en)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JPJP-P-2015-149524 2015-07-29
JP2015149524 2015-07-29
JP2015157183A JP6690904B2 (en) 2015-08-07 2015-08-07 Self-driving vehicle
JPJP-P-2015-157183 2015-08-07
JP2015175792A JP6651313B2 (en) 2015-09-07 2015-09-07 Automatic traveling vehicle and automatic traveling system including the same
JPJP-P-2015-175792 2015-09-07
JP2016043199 2016-03-07
JPJP-P-2016-043199 2016-03-07
JPJP-P-2016-127534 2016-06-28
JP2016127534A JP6657034B2 (en) 2015-07-29 2016-06-28 Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160089281A Division KR101832189B1 (en) 2015-07-29 2016-07-14 Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system

Publications (2)

Publication Number Publication Date
KR20170141640A true KR20170141640A (en) 2017-12-26
KR101839813B1 KR101839813B1 (en) 2018-03-19

Family

ID=58006247

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020160040998A KR102079524B1 (en) 2015-07-29 2016-04-04 Automatic driving vehicle and automatic driving system with the same
KR1020160040994A KR102146311B1 (en) 2015-07-29 2016-04-04 Automatic driving vehicle
KR1020170172378A KR101839813B1 (en) 2015-07-29 2017-12-14 Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020160040998A KR102079524B1 (en) 2015-07-29 2016-04-04 Automatic driving vehicle and automatic driving system with the same
KR1020160040994A KR102146311B1 (en) 2015-07-29 2016-04-04 Automatic driving vehicle

Country Status (3)

Country Link
KR (3) KR102079524B1 (en)
CN (2) CN106406303B (en)
TW (3) TWI624743B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203305A1 (en) * 2021-03-24 2022-09-29 주식회사 메디트 Data processing device and data processing method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102072161B1 (en) 2018-01-19 2020-02-03 주식회사 만도 Vehicle control apparatus and vehicle control method
GB201804082D0 (en) * 2018-03-14 2018-04-25 Five Ai Ltd Image annotation
WO2020100267A1 (en) * 2018-11-15 2020-05-22 ヤマハ発動機株式会社 Straddled vehicle traveling data processing device, and straddled vehicle traveling data processing method
TWI695243B (en) * 2019-01-25 2020-06-01 孟菁 Obstacle avoiding guidance system
TWI684085B (en) * 2019-04-24 2020-02-01 揚昇育樂事業股份有限公司 Self-driving travel path central controlling device of self-driving car
CN113815643A (en) * 2021-09-06 2021-12-21 达魔重卡电动汽车制造(杭州)有限公司 Automatic vehicle running system for realizing high-precision processing for unmanned vehicle

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04100126A (en) * 1990-08-18 1992-04-02 Yaskawa Electric Corp Position sensor for moving robot
JP2944814B2 (en) 1992-03-17 1999-09-06 ヤンマー農機株式会社 Autonomous vehicle with obstacle sensor
JP3355354B2 (en) * 1993-10-12 2002-12-09 ヤマハ発動機株式会社 Fixed point information discriminating device for track running vehicles
JP3718886B2 (en) * 1995-11-01 2005-11-24 神鋼電機株式会社 Driving control method for electric vehicle
JPH1069219A (en) * 1996-08-28 1998-03-10 Honda Motor Co Ltd Automatic traveling road and automatic traveling system
JP2000181540A (en) 1998-12-17 2000-06-30 Yamaha Motor Co Ltd Automatic traveling vehicle
CN100515840C (en) * 2005-10-09 2009-07-22 比亚迪股份有限公司 Automobile automatic brake system and method based on image processing
JP2008129696A (en) * 2006-11-17 2008-06-05 Toyota Motor Corp Mobile robot, mobile robot charging system, and mobile robot charging method
TWM335688U (en) * 2008-01-03 2008-07-01 Univ Kao Yuan Route positioning navigation system for unmanned ground vehicle
JP4937933B2 (en) 2008-01-18 2012-05-23 富士重工業株式会社 Outside monitoring device
JP2009271608A (en) * 2008-04-30 2009-11-19 Murata Mach Ltd Travelling vehicle and travelling vehicle system
JP5207057B2 (en) 2008-11-28 2013-06-12 サクサ株式会社 Dirt detection device and method for detecting contamination of an imaging device
KR101214474B1 (en) * 2009-09-15 2012-12-24 한국전자통신연구원 Navigation apparatus and driving route information offering method using by it, automatic driving system and its method
KR20120083471A (en) * 2009-11-19 2012-07-25 가부시끼가이샤 오까무라세이사꾸쇼 Article conveyance device
JP5503419B2 (en) * 2010-06-03 2014-05-28 株式会社日立製作所 Automated guided vehicle and travel control method
US8527121B2 (en) * 2010-06-04 2013-09-03 GM Global Technology Operations LLC Method and system for calculating and displaying travel range information
JP5693994B2 (en) * 2011-02-16 2015-04-01 富士重工業株式会社 Vehicle detection device
TWI426241B (en) * 2011-05-16 2014-02-11 Nat Univ Chung Hsing Self - propelled device for the tracking system
TWI455073B (en) * 2011-12-14 2014-10-01 Ind Tech Res Inst Road-condition warning device, system and method for a vehicle
JP6066048B2 (en) * 2012-10-18 2017-01-25 ヤマハ発動機株式会社 Obstacle detection device and vehicle using the same
JP5930346B2 (en) * 2012-11-19 2016-06-08 株式会社日立製作所 Autonomous mobile system and control device
CN103092202B (en) * 2012-12-31 2015-07-08 浙江国自机器人技术有限公司 Robot track positioning method and robot track positioning system
JP2014137710A (en) * 2013-01-17 2014-07-28 Toyota Industries Corp Control method of automatic guided vehicle
KR101319526B1 (en) * 2013-03-26 2013-10-21 고려대학교 산학협력단 Method for providing location information of target using mobile robot
JP6135289B2 (en) * 2013-05-07 2017-05-31 村田機械株式会社 Autonomous mobile object movement control device, autonomous mobile object, and autonomous mobile object control method
TW201444543A (en) * 2013-05-21 2014-12-01 Univ Nat Chiao Tung Self-propelled cart
KR101463464B1 (en) * 2013-06-03 2014-11-21 국방과학연구소 Driveable path detection apparatus, moving objection having th same and method of detectiing driveable path
JP6271212B2 (en) * 2013-10-17 2018-01-31 ヤマハ発動機株式会社 Autonomous vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203305A1 (en) * 2021-03-24 2022-09-29 주식회사 메디트 Data processing device and data processing method

Also Published As

Publication number Publication date
TWI704437B (en) 2020-09-11
KR101839813B1 (en) 2018-03-19
KR102146311B1 (en) 2020-08-20
KR102079524B1 (en) 2020-02-20
CN106406302A (en) 2017-02-15
TWI668543B (en) 2019-08-11
TW201704916A (en) 2017-02-01
KR20170015106A (en) 2017-02-08
TW201809939A (en) 2018-03-16
TW201704915A (en) 2017-02-01
CN106406303A (en) 2017-02-15
KR20170015107A (en) 2017-02-08
TWI624743B (en) 2018-05-21
CN106406303B (en) 2020-12-29

Similar Documents

Publication Publication Date Title
KR101832189B1 (en) Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system
KR101839813B1 (en) Abnormal image detecting apparatus, image processing system with abnormal image detecting apparatus and vehicle mounted with image processing system
JP6657034B2 (en) Abnormal image detection device, image processing system provided with abnormal image detection device, and vehicle equipped with image processing system
US8244027B2 (en) Vehicle environment recognition system
JP5276637B2 (en) Lane estimation device
US20230076036A1 (en) Methods and systems for providing depth maps with confidence estimates
US8055017B2 (en) Headlamp monitoring apparatus for image exposure adjustment
US20090190827A1 (en) Environment recognition system
US11295145B2 (en) Object detection using vehicular vision system
KR101611261B1 (en) Stereo camera, driver assistance apparatus and Vehicle including the same
US20110102581A1 (en) Target position identifying apparatus
US10635910B2 (en) Malfunction diagnosis apparatus
CN107644538B (en) Traffic signal lamp identification method and device
CN104380341A (en) Object detection device for area around vehicle
KR20170111504A (en) Method and Apparatus for Assessing an Image Match of an Around View Image for an Around View Monitor System
EP2911028B1 (en) Distance measurement device and vehicle using same
US20120128211A1 (en) Distance calculation device for vehicle
CN112417976B (en) Pavement detection and identification method and device, intelligent terminal and storage medium
JP6204844B2 (en) Vehicle stereo camera system
KR20130070210A (en) Method for removing noise of image
JP2008042759A (en) Image processing apparatus
CN113170057B (en) Imaging unit control device
US20220028101A1 (en) Methods and apparatus for using filtering to improve image patch matching and/or for using depth information generated from stereo images
KR102381861B1 (en) Camera module, apparatus and method for driving information of a car including the same
EP4275194A1 (en) Methods and systems for providing depth maps with confidence estimates

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant