KR101521269B1 - Method for detecting snow or rain on video - Google Patents

Method for detecting snow or rain on video Download PDF

Info

Publication number
KR101521269B1
KR101521269B1 KR1020140058602A KR20140058602A KR101521269B1 KR 101521269 B1 KR101521269 B1 KR 101521269B1 KR 1020140058602 A KR1020140058602 A KR 1020140058602A KR 20140058602 A KR20140058602 A KR 20140058602A KR 101521269 B1 KR101521269 B1 KR 101521269B1
Authority
KR
South Korea
Prior art keywords
blobs
blob
rain
motion
image
Prior art date
Application number
KR1020140058602A
Other languages
Korean (ko)
Inventor
최경택
이동성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020140058602A priority Critical patent/KR101521269B1/en
Application granted granted Critical
Publication of KR101521269B1 publication Critical patent/KR101521269B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method of detecting snow or rain on inputted videos, comprising the steps of: (a) detecting moving blobs in inputted videos; (b) removing among the detected blobs those having chroma values not less than a threshold (th4); and (c) removing among the detected blobs those having average pixel values which differ from the rest of the blobs by not less than a threshold (th5), thereby accurately detecting rain or snow to keep moving objects from blurred when removing rain or snow from images and preventing faulty alarms due to snow or rain in video surveillance systems.

Description

영상에서 눈 또는 비를 검출하는 방법{METHOD FOR DETECTING SNOW OR RAIN ON VIDEO}METHOD FOR DETECTING SNOW OR RAIN ON VIDEO [0002]

본 발명은 영상처리기술에 관한 것으로, 보다 상세하게는 입력된 영상에서 눈 또는 비를 검출하는 방법에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing technique, and more particularly, to a method of detecting an eye or a ratio in an input image.

감시 카메라, DVR(Digital Video Recorder) 등과 같은 영상장비의 발달과 공공장소에서의 안전에 대한 관심의 증대로 인해 최근 영상감시 시스템에 대한 수요가 증가하고 있으며, 이에 따라 영상감시 시스템의 개발에 대한 요구도 꾸준히 증가하고 있는 추세이다. Recently, the demand for video surveillance system is increasing due to the development of video equipment such as a surveillance camera and a DVR (Digital Video Recorder) and an increase in interest in safety in public places. Accordingly, Is also steadily increasing.

일반적으로 외부 영상감시 시스템은 카메라로부터 획득되는 영상을 기초로 타겟을 검출하는 방식을 취하는데, 눈 또는 비 등으로 인해 기상상태가 좋지 않은 경우 정확한 타겟 검출에 어려움이 따르고, 감시 시스템에서 오보를 유발하여 오보율을 증가시키게 된다. 따라서 입력받은 영상에서 눈 또는 비를 제거하여 보다 선명한 영상을 확보하기 위한 영상처리기술이 요구된다.Generally, the external video surveillance system detects the target based on the image obtained from the camera. If the weather condition is poor due to snow or rain, it is difficult to detect the accurate target, and the surveillance system causes misleading Thereby increasing the false rate. Therefore, there is a need for an image processing technique for obtaining a clearer image by removing an eye or a rain from an input image.

종래에 영상에서 눈 또는 비를 제거하는 방법으로, 눈 또는 비가 존재하는 영역을 검출하고, 이전 영상에서 취득한 화소값을 통해 현재 영상의 화소값을 추정하여 상기 영역에 대체하는 방법이 사용된다.Conventionally, a method of detecting an eye or a region in which a ratio exists is detected by a method of removing an eye or a ratio from the image, and a pixel value of the current image is estimated through the pixel value acquired in the previous image and replaced with the region.

그러나, 이와 같은 방법에서 눈 또는 비가 존재하는 영역이 정확하게 검출되지 않기 때문에 영상에서 눈 또는 비를 제거할 경우, 도 1에 도시된 바와 같이 이동하는 물체에 블러링(blurring) 현상이 발생하는 문제가 있다.
However, in such a method, when the eye or the rain is removed from the image because the eye or the area where the rain is present is not accurately detected, blurring of the moving object occurs as shown in FIG. 1 have.

본 발명이 해결하고자 하는 과제는 영상에서 눈 또는 비를 제거함에 있어 블러링 현상의 발생을 막기 위해, 영상에서 눈 또는 비가 존재하는 영역을 정확히 검출하는 방법을 제공하는데 있다.
SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for accurately detecting an eye or an area where a rain exists in an image in order to prevent the occurrence of a blurring phenomenon in removing an eye or a rain from an image.

상기한 과제를 해결하기 위해, 본 발명에 따른 눈 또는 비를 검출하는 방법은, (a) 입력받은 영상에서 모션 블롭(Blob)을 검출하는 단계; (b) 상기 검출된 모션 블롭 중 기 설정된 채도값 이상을 갖는 블롭을 제거하는 단계; 및 (c) 상기 검출된 모션 블롭 중 일정거리 내에 있는 다른 모션 블롭들과의 평균 화소값 차이가 기 설정된 값 이상인 모션 블롭을 제거하는 단계;를 포함한다.According to an aspect of the present invention, there is provided a method of detecting an eye or a rain, comprising the steps of: (a) detecting a motion blob in an input image; (b) removing blobs having a predetermined saturation value or more among the detected motion blobs; And (c) removing a motion blob whose average pixel value difference with other motion blobs within a certain distance of the detected motion bloes is equal to or greater than a predetermined value.

바람직하게 상기 검출된 모션 블롭 중 기 설정된 범위의 크기를 벗어난 블롭을 제거하는 단계 및/또는 상기 검출된 모션 블롭 중 카메라 고각방향으로 위에서 아래로 움직이지 않는 모션 블롭을 제거하는 단계를 더 포함할 수 있다.Preferably, the method further comprises removing blobs out of the predetermined range of the detected motion blobs and / or removing motion blobs not moving up and down in the camera elevation direction of the detected motion blobs have.

상기 (b)단계에서 HSV 색공간 상 가장 진한 상태의 채도값을 100으로 할 때, 상기 채도값은 0 ~ 10 사이로 설정되는 것이 바람직하다.In the step (b), when the saturation value in the deepest state in the HSV color space is 100, the saturation value is preferably set between 0 and 10.

또한, 상기 (c)단계에서 평균 화소값 차이는 아래의 수학식 3으로 계산될 수 있다.In addition, the average pixel value difference in the step (c) can be calculated by the following equation (3).

[수학식 3]&Quot; (3) "

Figure 112014045882972-pat00001

Figure 112014045882972-pat00001

본 발명에 따르면, 눈 또는 비를 정확하게 검출함으로써, 영상에서 눈 또는 비를 제거할 때 이동하는 물체가 블러링되는 현상을 막을 수 있다.According to the present invention, by accurately detecting an eye or a rain, it is possible to prevent a moving object from blurring when an eye or a rain is removed from the image.

또한, 이러한 방법을 영상 감시 시스템에 적용한 경우 눈 또는 비로 인한 오보 발생을 방지할 수 있다.
In addition, when this method is applied to a video surveillance system, it is possible to prevent the occurrence of an error due to snow or rain.

도 1은 종래의 영상에서 눈 또는 비 제거방법을 적용할 때 나타나는 문제점을 나타내기 위한 사진이다.
도 2는 본 발명의 실시예에 따른 영상에서 눈 또는 비를 검출하는 방법의 전체 흐름도이다.
도 3은 본 발명의 실시예에 따른 영상에서 모션 블롭을 검출하는 과정을 설명하기 위한 사진이다.
FIG. 1 is a photograph showing a problem in applying an eye or non-cancellation method to a conventional image.
2 is an overall flow diagram of a method for detecting an eye or a rain in an image according to an embodiment of the present invention.
3 is a photograph illustrating a process of detecting a motion blob in an image according to an embodiment of the present invention.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하였으며, 명세서 전체를 통하여 동일한 부분에 대해서는 동일한 도면 부호를 사용한다. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear, and the same reference numerals will be used throughout the specification to refer to the same or like parts. use.

그리고, 본 명세서에서 사용되는 용어들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used in this specification are used to appropriately express the preferred embodiment of the present invention, and this may vary depending on the user, the intention of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참고하여 상세하게 설명한다.
Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 실시예에 따른 영상에서 눈 또는 비를 검출하는 방법의 전체 흐름도이다.2 is an overall flow diagram of a method for detecting an eye or a rain in an image according to an embodiment of the present invention.

모션 블롭을 검출하는 단계(S100)The step of detecting a motion blob (S100)

모션 블롭(Blob)이란, 입력받은 영상에서 움직이는 객체가 차지하는 픽셀들의 집합 또는 덩어리를 의미하며, 먼저 영상에서 상기 모션 블롭(Blob)을 검출하는 단계를 수행하게 된다. 일반적으로 모션 블롭은 프레임 차영상 방법, 배경모델링 방법 등을 통하여 검출될 수 있다. The motion blob means a set or chunk of pixels occupied by the moving object in the input image and performs the step of detecting the motion blob in the image. In general, the motion blob can be detected through a frame difference imaging method, a background modeling method, and the like.

이를 구체적으로 설명하면, 영상에서 차영상은 두 개의 영상의 차이값을 영상으로 표현한 것으로, 아래의 수학식 1과 같이 나타낼 수 있다.Specifically, a difference image in an image is a difference image of two images expressed by an image, and can be expressed as Equation 1 below.

Figure 112014045882972-pat00002
Figure 112014045882972-pat00002

여기서 (x,y)는 영상에서의 X축 및 Y축의 특정좌표를 의미하고, D(x,y)는 차영상의 화소값을, I(x,y)는 입력영상의 화소값을, T(x,y)는 배경 모델 영상의 화소값을 나타낸다. 차영상이 의미하는 것은 두 영상의 차이값에 대한 양을 수치적으로 표현하는 것이 목적이기 때문에 차이에 대한 절대값을 사용한다. 따라서, 서로 다른 프레임의 영상간의 차영상을 구하면, 차이값이 클수록 흰색에 가깝게 표시되며 차이값이 작을수록 검은색으로 표시된다.D (x, y) is the pixel value of the difference image, I (x, y) is the pixel value of the input image, T (x, y) (x, y) represents the pixel value of the background model image. The difference image means the absolute value of the difference because the purpose of the numerical representation of the difference value of the two images is used. Therefore, when difference images between different frame images are obtained, the difference value is displayed closer to white, and the smaller the difference value, the more black is displayed.

한편, 배경 분리 기법에서, 전경은 관심을 갖는 동적 객체로써 여기서는 모션 블롭이 될 것이고, 배경은 움직임이 작거나 패턴을 가지는 정적 객체를 가리킨다. 그렇다면 앞의 수학식 1에서 배경에 관한 I(x,y)와 T(x,y)은 차이값이 없다고 가정할 수 있어 어둡게 표시되는 반면, 전경은 일정한 차이값을 갖게 되어 밝게 나타나게 되므로 모션 블롭을 검출할 수 있게 된다.On the other hand, in the background separation technique, the foreground is a dynamic object of interest, here, it will be a motion blob, and the background indicates a static object having a small motion or a pattern. In the equation (1), I (x, y) and T (x, y) regarding the background can be assumed to have no difference, and the foreground is displayed with a certain difference value, Can be detected.

더불어, 모션 블롭을 더욱 정확히 검출하기 위해서 이진화 기법을 사용할 수 있다. 이진화는 여러 가지 방법이 있지만, 간단한 방법으로 아래 수학식 2와 같이 일정 임계치를 이용하여 0과 255로 값을 분리할 수 있다.In addition, a binarization technique can be used to more accurately detect motion blobs. There are various methods of binarization, but it is possible to divide the values into 0 and 255 by a simple method using a predetermined threshold as shown in Equation 2 below.

Figure 112014045882972-pat00003
Figure 112014045882972-pat00003

즉, (x,y) 위치에서의 차영상 D(x,y)의 값이 임계값(Th1)보다 큰 경우에는 이진화된 영상 B(x,y) 위치에 명암값 255를 저장하고, 작거나 같은 경우에는 0을 저장함으로써, 모션 블롭과 배경을 보다 명확히 구분할 수 있게 된다. 여기서 임계값(Th1)은 배경과 검출하고자 하는 모션 블롭의 화소값을 고려하여 설정함이 바람직하다.That is, when the value of the difference image D (x, y) at the position (x, y) is larger than the threshold value Th1, the brightness value 255 is stored at the position of the binarized image B (x, y) By storing 0 in the same case, the motion blob and background can be more clearly distinguished. Here, the threshold value Th1 is preferably set in consideration of the background and the pixel value of the motion blob to be detected.

도 3은 (a)를 배경영상으로 하여 4개의 프레임에서 차영상을 수행하고 이진화를 수행한 결과를 나타낸 사진이다. 이와 같은 방법으로, 배경 영상을 생성하고 이 영상을 대상영상으로 하여 차영상을 수행하고 이진화를 수행하면, 입력영상에서의 모션 플롭을 모두 검출할 수 있다.FIG. 3 is a photograph showing a result of binarization by performing a difference image on four frames using (a) as a background image. In this manner, if a background image is generated, the difference image is performed using the image as a target image, and binarization is performed, all the motion flops in the input image can be detected.

다음으로, 검출된 모션 블롭은 잠정적으로 눈 또는 비가 될 수 있는 후보 그룹에 속하게 되는데, 아래와 같은 눈과 비의 특성을 고려하여 상기 후보 그룹에서 눈 또는 비가 아닌 블롭을 제거하는 단계들를 이하에서 구체적으로 설명한다.Next, the detected motion blob belongs to a candidate group that can be provisionally eyes or rain. The steps of removing eye or non-rain blobs in the candidate group in consideration of the following characteristics of eye and ratio will be described specifically below Explain.

영상에서의 눈 또는 비는 1)채도가 없는 무채색이고, 2)단독으로 이동하는 물체가 아닌 군집으로 이동하는 물체이며, 3)각각의 눈송이들과 각각의 빗방울들은 소로 그 특성이 유사하다. 또한, 4)눈과 비는 카메라의 고각방향으로 위에서 아래로 이동한다.
The snow or rain in the image is 1) achromatic with no saturation, 2) an object moving to a community, not a moving object, and 3) each snowflake and each raindrop have similar characteristics to each other. 4) Snow and rain move from top to bottom in the elevation of the camera.

블롭의 크기 분석 단계(S200)The blob size analysis step (S200)

앞서 검출된 모션 블롭들 중 일정 범위의 크기를 갖는 블롭만을 선별하는 단계를 수행한다. 즉, 임의의 모션 블롭이 임계값(th2) 이하의 크기를 갖거나 임계값(th3) 이상의 크기를 갖는 경우, 눈 또는 비 후보 그룹에서 제거시키게 된다. 여기서 임계값(th2, th3)은 영상에서 눈 또는 비의 크기를 고려하여 설정함이 바람직하다. 따라서, 노이즈 크기 이하 또는 큰 물체는 이 단계에서 제거될 수 있다.
A step of selecting only the blobs having a predetermined range of the motion blobs detected earlier is performed. That is, if any motion blob has a size smaller than the threshold value th2 or has a size larger than the threshold value th3, it is removed from the eye or non-candidate group. Here, the threshold values th2 and th3 are preferably set in consideration of the magnitude of the eye or the ratio in the image. Thus, objects below or below the noise size can be removed at this stage.

블롭의 채도 분석 단계(S300)In the saturation analysis step of the blob (S300)

일반적으로 영상에서 눈과 비는 흰색, 회색 등과 같이 채도가 없는 무채색으로 나타난다. 따라서 블롭의 채도를 판독하여 일정 채도값을 갖는 블롭을 후보 그룹에서 제거하는 단계를 수행한다.In general, eyes and rain in the image appear as achromatic with no saturation, such as white or gray. Therefore, the step of reading the saturation of the blob and removing the blob having a certain saturation value from the candidate group is performed.

구체적으로, 카메라로부터 입력된 영상신호는 RGB(Red, Green, Blue) 포맷으로 색깔을 표현하게 된다. 예를 들면 24 bit color의 경우 RGB 각각의 값은 8bit씩 할당되어 각각의 결합으로 색깔을 표현한다. 그러나 이와 같은 RGB 포맷에서는 각 블롭의 채도값을 판독하는데 어려움이 있다.Specifically, a video signal input from a camera expresses a color in RGB (Red, Green, Blue) format. For example, in the case of 24 bit color, each value of R, G, and B is allocated 8 bits to express color by each combination. However, in such an RGB format, it is difficult to read the saturation value of each blob.

이에 RGB 포맷의 영상 신호를 HSV 포맷의 영상신호로 변환한다. HSV 포맷이란, H는 Hue, 즉 색상을 의미하고, S는 Saturation 즉 채도를 의미하며, V는 Value 즉 명도를 의미한다. 색상(H:Hue)은 흔히 말하는 빨강, 노랑, 파랑, 같은 색상 자체를 의미한다. 예를 들면 색상(Hue)은 0도에서 360도 범위(0도 빨강색, 120도 녹색, 240도 파랑색, 360도 빨강색)를 가진다. 그리고, 채도(Saturation)는 같은 정도의 명도를 지닌 무채색으로부터 얼마나 짙은 색상을 표현하는지를 의미한다. 무채색은 채도 0 에 해당하며, 채도값 S는 0 에서 100 까지의 값을 갖는다. 끝으로 명도(Value)란 색의 밝고 어두운 정도를 의미한다. 예를 들어 빨간색에 흰색을 섞으면 색상이 밝아져 명도가 올라가고 반대로 검정색을 섞으면 어두워져 명도는 내려간다.Accordingly, the video signal of the RGB format is converted into the video signal of the HSV format. In the HSV format, H denotes Hue, that is, hue, S denotes saturation, and V denotes Value or brightness. Color (H: Hue) means the same color as red, yellow, blue, and so on. For example, the hue has a range from 0 degrees to 360 degrees (0 degrees red, 120 degrees green, 240 degrees blue, 360 degrees red). And, saturation means how much dark color is expressed from achromatic color having the same degree of lightness. The achromatic color corresponds to saturation 0, and the saturation value S has a value from 0 to 100. Finally, the value (brightness) means the lightness and darkness of the color. For example, if you mix red with white, the color becomes brighter and the brightness increases. On the other hand, when black is mixed, the brightness becomes darker.

영상신호를 HSV 포맷으로 변환한 후 각 블롭들의 S값 즉, 채도값이 일정한 임계값(Th4)를 넘어서는지를 판단하게 된다. 여기서 임계값(Th4)는 눈 또는 비의 색상 특성에 따라 무채색을 나타내는 0이 되어야 할 것이나, 배경이나 노이즈 등의 영향을 고려하여 대략 0~10 정도로 설정함이 바람직하다.After converting the video signal into the HSV format, it is determined whether the S value of each blob, that is, the saturation value, exceeds a predetermined threshold value Th4. Here, the threshold value Th4 should be 0, which indicates an achromatic color depending on the color characteristics of the eye or the rain. However, it is preferable to set the threshold value Th4 to about 0 to 10 in consideration of the influence of the background or noise.

이에 따라 임계값(Th4) 이상의 채도값을 갖는 블롭들은 눈 또는 비 후보 그룹에서 제거된다.
Accordingly, the blobs having a saturation value equal to or greater than the threshold value Th4 are removed from the eye or non-candidate group.

블롭들 사이의 화소값 비교 단계(S400)The pixel value comparison step between the blobs (S400)

눈 또는 비는 단독으로 이동하는 물체가 아닌 군집으로 이동하는 물체이며, 각각의 눈송이들과 각각의 빗방울들은 서로 유사한 특성을 가진다. 따라서, 아래의 수학식 3을 바탕으로, 검출된 블롭 중 근거리에 위치한 블롭들간의 화소값을 비교하여 눈 또는 비에 해당하는 블롭을 선별하는 단계를 수행한다.Snow or rain is an object moving into a community, not an object that moves alone, and each snowflake and each raindrop have similar characteristics. Therefore, based on Equation (3) below, the step of selecting the blob corresponding to the eye or the ratio is performed by comparing the pixel values of the blobs located at a short distance among the detected blobs.

Figure 112014045882972-pat00004
Figure 112014045882972-pat00004

여기서, E[Ci]는 i번째 블롭의 평균 칼라 벡터를 나타내며, xi 및 xj는 각각 i번째, j번째 블롭의 중심좌표를 나타낸다.Here, E [Ci] represents the average color vector of the i-th blob, and xi and xj represent the center coordinates of the i-th and j-th blob, respectively.

칼라 벡터는 입력영상을 구성하는 픽셀의 RGB 색 공간상에서 설정되는 벡터를 의미하며, 보다 상세하게 R, G, B 채널을 각각 x, y, z 좌표축으로 놓았을 때, R, G, B 채널 값을 x, y, z 좌표값으로 갖는 벡터를 의미한다. 일례로, 입력영상을 구성하는 복수의 픽셀 중 (460, 240)에 위치하는 픽셀의 색상 값이 RGB(125, 150, 180)인 경우, 칼라 벡터를 Ci=(125, 150, 180)로 설정할 수 있다.The color vector means a vector set on the RGB color space of the pixels constituting the input image. More specifically, when the R, G, and B channels are set to the x, y, and z coordinate axes, As x, y, z coordinate values. For example, when the color values of the pixels located in the pixels 460 and 240 constituting the input image are RGB (125, 150, and 180), the color vector is set to Ci = (125, 150, 180) .

따라서, 이와 같은 수학식 3으로 얻어지는 T(i)는 i번째 블롭에서 일정거리(th) 내에 위치한 다른 블롭들과의 평균 화소값 차이를 나타내게 되며, 이에 따라 계산된 T(i)가 일정한 임계값(Th5) 이상이면 해당 블롭은 눈 또는 비가 아닌 것으로 보고 눈 또는 비 후보 블롭에서 제외된다.
Therefore, T (i) obtained from Equation (3) represents the average pixel value difference with other blobs located within a certain distance th in the i-th blob, and thus the calculated T (i) (Th5), the corresponding blob is regarded as neither snow nor rain and is excluded from the eye or non-candidate blob.

블롭의 이동방향 분석 단계(S500)The moving direction analysis step of the blob (S500)

눈 또는 비는 다수로 발생하므로 이들을 추적해서 이동방향을 보고, 카메라 고각방향으로 위에서 아래로 움직이지 않는 블롭을 제거하는 단계를 수행한다. 한편, 다수의 표적을 추적하는 것은 연산량이 많이 걸려 실시간 처리에는 한계가 있으므로 어플리케이션에 따라 적용함이 바람직하다.
Since a number of eyes or rain occur, follow these steps to see the direction of movement, and remove the bubbles that do not move from top to bottom in the camera's elevation. On the other hand, tracking a large number of targets requires a large amount of computation, which limits the real-time processing.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위 뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

Claims (5)

(a) 입력받은 영상에서 모션 블롭(Blob)을 검출하는 단계;
(b) 상기 검출된 모션 블롭 중 기 설정된 채도값 이상을 갖는 블롭을 제거하는 단계; 및
(c) 상기 검출된 모션 블롭 중 일정거리 내에 위치한 다른 모션 블롭들과의 평균 화소값 차이가 기 설정된 값 이상인 모션 블롭을 제거하는 단계;
를 포함하는 영상에서 눈 또는 비를 검출하는 방법.
(a) detecting a motion blob in an input image;
(b) removing blobs having a predetermined saturation value or more among the detected motion blobs; And
(c) removing a motion blob having an average pixel value difference between the detected motion blobs and other motion blobs located within a predetermined distance from the detected motion blobs equal to or greater than a predetermined value;
/ RTI > wherein the method comprises the steps < RTI ID = 0.0 >
제 1항에 있어서,
상기 검출된 모션 블롭 중 기 설정된 범위의 크기를 벗어난 모션 블롭을 제거하는 단계를 더 포함하는 영상에서 눈 또는 비를 검출하는 방법.
The method according to claim 1,
And removing motion blobs out of the predetermined range of the detected motion blobs.
제 1항에 있어서,
상기 검출된 모션 블롭 중 카메라 고각방향으로 위에서 아래로 움직이지 않는 모션 블롭을 제거하는 단계를 더 포함하는 영상에서 눈 또는 비를 검출하는 방법.
The method according to claim 1,
And removing motion blobs that do not move up and down in the camera elevation direction of the detected motion blobs.
제 1항에 있어서,
상기 (b)단계에서 HSV 색공간 상 가장 진한 상태의 채도값을 100으로 할 때, 상기 채도값은 0 ~ 10 사이로 설정되는 것을 특징으로 하는 영상에서 눈 또는 비를 검출하는 방법.
The method according to claim 1,
Wherein the saturation value is set to 0 to 10 when the saturation value in the deepest state in the HSV color space is set to 100 in step (b).
제 1항에 있어서,
상기 (c)단계에서 평균 화소값 차이는 아래의 수학식 3으로 계산되고,
[수학식 3]
Figure 112015039483456-pat00005

여기서, T(i)는 상기 검출된 모션 블롭 중 i번째 블롭과 상기 i번째 블롭에서 일정거리(th) 내에 위치한 다른 블롭들과의 평균 화소값 차이를 나타내며, E[Ci]는 상기 i번째 블롭의 평균 칼라 벡터를 나타내고, Ci는 상기 i번째 블롭에 포함된 픽셀의 RGB 색 공간상에서 R, G, B 채널의 색상 값으로 설정되는 칼라 벡터이며, xi 및 xj는 상기 검출된 모션 블롭 중 각각 i번째, j번째 블롭의 중심좌표를 나타내는 것을 특징으로 하는 영상에서 눈 또는 비를 검출하는 방법.
The method according to claim 1,
In the step (c), the average pixel value difference is calculated by the following equation (3)
&Quot; (3) "
Figure 112015039483456-pat00005

(I) represents an average pixel value difference between the i-th blob of the detected motion blob and other blobs located within a certain distance (th) from the i-th blob, and E [Ci] And Ci is a color vector set to the color values of the R, G, and B channels in the RGB color space of the pixel included in the i-th blob, and xi and xj are the color vectors of i Th < th > and j < th > blobs.
KR1020140058602A 2014-05-15 2014-05-15 Method for detecting snow or rain on video KR101521269B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140058602A KR101521269B1 (en) 2014-05-15 2014-05-15 Method for detecting snow or rain on video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140058602A KR101521269B1 (en) 2014-05-15 2014-05-15 Method for detecting snow or rain on video

Publications (1)

Publication Number Publication Date
KR101521269B1 true KR101521269B1 (en) 2015-05-20

Family

ID=53394992

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140058602A KR101521269B1 (en) 2014-05-15 2014-05-15 Method for detecting snow or rain on video

Country Status (1)

Country Link
KR (1) KR101521269B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765327A (en) * 2018-05-18 2018-11-06 百年金海科技有限公司 A kind of image rain removing method based on the depth of field and sparse coding
CN114164790A (en) * 2021-12-27 2022-03-11 哈尔滨职业技术学院 Intelligent pavement ice and snow clearing and compacting equipment and using method thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071203A (en) * 2010-12-22 2012-07-02 한국전자통신연구원 Device and method for securing sight of driver

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120071203A (en) * 2010-12-22 2012-07-02 한국전자통신연구원 Device and method for securing sight of driver

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Bossu, J?r?mie, et al. "Rain or snow detection in image sequences through use of a histogram of orientation of streaks." International journal of computer vision 93.3 (2011): 348-367.
Bossu, Jeremie, et al. "Rain or snow detection in image sequences through use of a histogram of orientation of streaks." International journal of computer vision 93.3 (2011): 348-367. *
Garg, Kshitiz, and Shree K. Nayar. "Vision and rain." International Journal of Computer Vision 75.1 (2007): 3-27. *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765327A (en) * 2018-05-18 2018-11-06 百年金海科技有限公司 A kind of image rain removing method based on the depth of field and sparse coding
CN108765327B (en) * 2018-05-18 2021-10-29 郑州国测智能科技有限公司 Image rain removing method based on depth of field and sparse coding
CN114164790A (en) * 2021-12-27 2022-03-11 哈尔滨职业技术学院 Intelligent pavement ice and snow clearing and compacting equipment and using method thereof
CN114164790B (en) * 2021-12-27 2022-05-10 哈尔滨职业技术学院 Intelligent pavement ice and snow clearing and compacting equipment and using method thereof

Similar Documents

Publication Publication Date Title
Zhao et al. Multi-scale optimal fusion model for single image dehazing
US9158985B2 (en) Method and apparatus for processing image of scene of interest
Park et al. Single image dehazing with image entropy and information fidelity
Huang et al. An advanced single-image visibility restoration algorithm for real-world hazy scenes
CN103400150B (en) A kind of method and device that road edge identification is carried out based on mobile platform
US9652855B2 (en) Image processing apparatus that identifies image area, and image processing method
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
CN104700430A (en) Method for detecting movement of airborne displays
AU2012216341A1 (en) Method, apparatus and system for segmenting an image in an image sequence
KR101521269B1 (en) Method for detecting snow or rain on video
KR101367673B1 (en) Method and System for Selecting Motion Search Region for Image Sequences using Depth Camera Information
Sonawane et al. Image quality assessment techniques: An overview
KR20150033047A (en) Method and Apparatus for Preprocessing Image for Detecting Objects
KR101893677B1 (en) Method and apparatus for Detecting the change area in color image signals
CN114841941A (en) Moving target detection algorithm based on depth and color image fusion
Thakur et al. Classification of color hazy images
Ismael Comparative study for different color spaces of image segmentation based on Prewitt edge detection technique
CN112949367A (en) Method and device for detecting color of work clothes based on video stream data
JP2016051236A (en) Image processing apparatus, image processing method, and inspection method using the same
Warnakulasooriya et al. A color mask and trained image set for the creation of new technique for indoor robotic navigation
KR101675030B1 (en) Black and White Image Acquisition System accentuate Color Contrast and Method thereof
Ince et al. Patch-wise periodical correlation analysis of histograms for real-time video smoke detection
Jadav et al. Shadow Extraction and Elimination of Moving Vehicles for Tracking Vehicles
Ubhi et al. Enhancement of context by image fusion
Vincent et al. Shadow detection: A review of various approaches to enhance image quality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180502

Year of fee payment: 4