KR20100107209A - 물체 분류 방법 - Google Patents

물체 분류 방법 Download PDF

Info

Publication number
KR20100107209A
KR20100107209A KR1020090025375A KR20090025375A KR20100107209A KR 20100107209 A KR20100107209 A KR 20100107209A KR 1020090025375 A KR1020090025375 A KR 1020090025375A KR 20090025375 A KR20090025375 A KR 20090025375A KR 20100107209 A KR20100107209 A KR 20100107209A
Authority
KR
South Korea
Prior art keywords
objects
boundary
classification
extracted
image
Prior art date
Application number
KR1020090025375A
Other languages
English (en)
Inventor
유재신
김대진
김지만
김성진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020090025375A priority Critical patent/KR20100107209A/ko
Publication of KR20100107209A publication Critical patent/KR20100107209A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 물체 분류 방법은, 물체들을 추출하는 단계; 상기 각 물체의 경계선(edge)들을 추출하는 단계; 및 상기 각 물체의 경계선들의 방향 분포로부터, 물체의 종류를 판정하는 단계를 포함한다.
물체 분류, 오브젝트, 물체 추적, 다수 결정(majority voting)

Description

물체 분류 방법{Object classification Method}
본 발명은 실외 환경에 설치된 감시 카메라에서 얻어진 영상으로부터 움직이는 물체들을 사람, 자동차 또는 기타 물체로 분류하기 위한 방법에 관한 것이다.
움직이는 물체를 사람, 자동차 또는 기타 물체로 분류하기 위해 물체의 특정 구성요소(자동차의 앞 유리, 바퀴, 번호판 등)를 검출하는 방법이 제안되었다. 하지만 이런 방법은 물체의 특정 구성요소가 입력 영상에서 보이지 않는 경우나 물체의 이동 방향에 따라 물체의 회전이 발생할 때에는 낮은 분류 성능을 나타낸다. 그리고 카메라와 물체 간의 거리가 멀어질수록 특정 구성요소의 특징이 사라지기 때문에 거리가 멀어지면 분류 성능이 낮아진다.
다른 접근 방법으로는 사람 또는 자동차 이미지 자체의 패턴을 학습한 뒤, 입력 영상이 들어올 때 분류기를 이용하여 물체를 분류하는 방법이 제안되었다. 하지만 이러한 방법은 물체의 방향에 따라 다른 분류기가 필요하기 때문에 일반적인 환경에서 물체를 분류하기 위해서는 지나치게 많은 분류기가 요구된다. 따라서 처 리 시간이 증가한다는 단점이 있다.
그 외에도 가로 대 세로 간의 비율이나 칼라 정보의 분포, 형태의 복잡도, 이동 속도, 면적 비율 등의 직관적인 정보를 이용한 분류 방법이 제안되었다. 직관적 정보를 이용한 물체 분류는 처리 속도는 빠른 반면, 카메라와 물체 간의 거리 등 외부 조건에 더 민감하다는 단점이 있다.
본 발명은 움직이는 물체들을 효율적으로 분류하는 알고리즘에 따른 물체 분류 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위한 본 발명의 일 측면에 따른 물체 분류 방법은, 물체들을 추출하는 단계; 상기 각 물체의 경계선(edge)들을 추출하는 단계; 및 상기 각 물체의 경계선들의 방향 분포로부터, 물체의 종류를 판정하는 단계를 포함한다.
여기서, 상기 물체들을 추출하는 단계는, 입력되는 영상 데이터들의 변화를 추출하는 단계; 및 정지된 영상 영역은 배경으로, 이동하는 영상 영역은 물체로 규정하는 단계를 포함할 수 있다.
여기서, 상기 물체의 종류를 판정하는 단계에서는, 물체의 경계선들이 수직 방향이 우세하다면, 해당 물체를 사람으로 판정할 수 있다.
여기서, 상기 물체의 종류를 판정하는 단계에서는, 물체의 경계선들이 수평 방향 또는 대각선 방향이 우세하다면, 해당 물체를 차량으로 판정할 수 있다.
여기서, 상기 물체의 종류를 판정하는 단계에서는, 물체의 이동 속도가 소정의 기준값 보다 크다면, 해당 물체를 차량으로 판정할 수 있다.
여기서, 상기 물체 분류 방법은, 다수개의 연속된 시점에 획득된 영상들에 대하여, 동일한 물체에 대하여 상기 단계들에 따라 판정한 결과들을 누적하여, 다수 결정법에 의하여 최종적으로 물체의 종류를 결정할 수 있다.
상기 구성에 따른 본 발명의 물체 분류 방법을 실시함에 의해, 물체의 분류 속도를 높일 수 있는 이점이 있다.
또는, 본 발명의 물체 분류 방법은, 분류하려는 물체의 거리 변화에 강인한 이점이 있다.
실외 환경은 실내 환경에 비해 다양한 외부 조건들이 존재한다. 특히, 카메라와 물체 간의 거리, 물체의 서로 다른 이동 방향, 물체의 회전 등이 성능에 많은 영항을 미치기 때문에 이러한 조건들에 강인한 물체 분류 알고리즘이 필요하다. 또한 움직이는 물체의 검출, 추적, 분류로 이루어지는 실외 환경 감시 시스템의 일부로 물체 분류 기능이 포함되기 위해서는 수행 속도가 충분히 빨라야 한다.
본 발명은 물체 분류 성능과 수행 속도를 동시에 만족시키기 위해서 기존의 직관적 정보들을 보완한 새로운 직관적 정보를 도입하고, 기존의 정보들과 결합하여 외부 조건에 더 강인하면서도 수행속도가 빠른 물체 분류 알고리즘을 제안한다.
물체를 분류하기 위해서는 먼저 움직이는 물체를 검출하는 단계가 선행되어야 한다. 본 발명에서는 움직이는 물체가 이미 검출되었다고 가정하고, 검출된 물체를 분류하는 방법에 초점을 맞춘다.
검출 단계로부터 각 물체의 전경 이미지와 해당 전경 영역을 포함하는 사각형의 두 좌표값이 얻어진다. 수행 속도의 향상을 위해 좌표 값을 이용해 사각형 내의 영역에 한해 물체 분류 알고리즘을 적용한다.
물체 분류 방법이 수행되는 일반적인 장비는 감시 시스템이며, 널리 사용되는 감시 시스템에서 가장 많이 다루어지는 물체가 사람과 자동차이기 때문에, 이하에서는 검출된 물체가 사람 또는 자동차 중의 하나라는 가정 하에 물체를 사람, 자동차 또는 기타 물체로 분류하는 것으로 구체화한 본 발명의 일 실시예를 설명하겠다.
도 1은 본 발명의 일 실시예에 따른 물체 분류 장치의 구성을 도시한 것이다.
도시한 물체 분류 장치는, 매 시점에 촬영된 프레임 이미지들을 저장하는 프레임 버퍼(110); 각 프레임 이미지에 포함된 물체 및 상기 물체의 경계를 추출하는 물체/경계 추출기(120); 상기 추출된 물체의 특성을 추출하기 위한 특성 추출기(130); 상기 물체의 특성으로부터 기타 물체를 분류하기 위한 기타 물체 필터(140); 기타 물체가 아닌 물체들의 종류를 판정하는 물체 분류기(180); 상기 물체 분류기(180)가 판정한 결과를 저장하는 히스토리 버퍼(190); 및 상기 물체/경계 추출기(120)가 추출한 물체의 속도를 산정하는 속도 산정기(150)를 포함한다.
상기 프레임 버퍼(110)는 동영상을 이용한 일반적인 감시 시스템에 구비된 것과 유사하므로 상세 설명을 생략한다.
상기 물체/경계 추출기(120)는, 상기 프레임 버퍼(110)에 저장된 한 시점의 프레임 이미지(즉, 정지 이미지)에 포함된 물체들을 추출한다. 정지 이미지에서 물체를 추출하는 알고리즘은 수회 개시되었으므로 상세 설명은 생략한다.
상기 물체 특성 추출기(130)는, 상기 물체/경계 추출기(120)에서 추출된 물체의 경계를 추출하고, 각 경계의 길이를 검출한다. 구현에 따라 상기 추출된 물체의 넓이를 검출할 수 있다.
상기 기타 물체 필터(140)는, 상기 물체/경계 추출기(120)에서 추출된 물체들 중 너무 작거나 거리가 멀어서 모니터링의 가치가 없는 물체들을 제거하기 위한 것이다. 이에 따라, 불필요한 연산량을 절감할 수 있다. 즉, 상기 기타 물체 필터(140)는 미리 정의된 규칙에 의해 사람과 자동차를 제외한 기타 물체를 필터링한다.
상기 기타 물체 필터(140)는, 상기 물체/경계 추출기(120)에서 추출된 물체들 중 기타 물체가 아닌 것들에 대한 정보들만을 상기 물체 분류기(180) 및/또는 속도 산정기(150)로 전달할 수 있다. 예컨대, 상기 기타 물체 필터(140)는, 미리 정의된 규칙에 의해 사람과 자동차를 제외한 기타 물체를 필터링 처리하고, 기타 물체가 아닐 경우 이를 상기 물체 분류기로 전달한다.
상기 물체 분류기(180)는, 본 발명의 사상에 따라, 상기 기타 물체 필터(140)로부터 전달받은 각 물체에 대하여 물체 분류를 수행하여, 해당 물체가 사람인지 차량인지를 판정한다.
또한, 상기 물체 분류기(180)는, 물체에 해당하는 각 사각형 영역을 추적하며 이전 프레임들에서 얻어진 분류 결과와 현재 프레임의 분류 결과를 누적한 뒤, 다수결정(majority voting) 방법에 의해 최종적으로 물체를 판정할 수 있다.
상기 히스토리 버퍼는(190)는 각 프레임 이미지에 포함되어 필터링된 각 물체에 대한 판정 결과를 저장한다. 즉, 다수개의 연속적인 프레임 이미지에 대하여, 물체의 종류 판정 결과들을 저장한다.
상기 히스토리 버퍼(190)는, 연속된 프레임 이미지들에서 동일한 물체로 추출된 물체에 대한, 상기 연속된 프레임 이미지에서의 물체 종류 판정 결과들을 누적하여 저장할 수 있다. 이 경우, 상기 물체 분류기(180)는, 소정 시간 또는 소정 개수의 프레임 동안 동일한 물체에 대한 누적된 판정 결과들에서 다수의 결과를 최종적인 물체 종류로 결정할 수 있다.
상기 속도 산정기(150)는, 상기 프레임 버퍼(110)에 저장된 연속된 시점들의 프레임들에 대한 이미지 데이터를 이용하여, 상기 물체 분류기(180)가 추출한 물체의 속도를 산정할 수 있다.
도 2는 도 1의 물체 분류 장치에서 수행되는 물체 분류 방법을 도시한다.
도시한 물체 분류 방법은, 획득된(S100) 이미지 데이터에서 물체들을 추출하는 단계(S200); 상기 추출된 각 물체에서 경계선(edge)들을 추출하는 단계(S300); 및 상기 각 물체의 경계선들의 방향 분포로부터, 물체의 종류를 판정하는 단계(S500)를 포함한다. 가치없는 물체들을 분석하는데 소요되는 연산량을 줄이기 위해서, 상기 S300 단계 및 S500 단계 사이에, 가치없는 물체를 필터링하는 단계(S400)를 더 포함할 수 있다.
일반적으로 감시 시스템에서는 동영상 촬영을 수행하며, 촬영된 동영상 정보를 저장하기 위한 프레임 버퍼를 구비한다. 또한, 촬영된 동영상 데이터는 다수개의 연속된 시점에서의 정지된 프레임 이미지들로 이루어진다.
상기 S110 단계에서는, 물체 추출기(120)가 프레임 버퍼(110)에서, 하나의 정지된 프레임 이미지 데이터를 독출할 수 있다.
상기 S200 단계는, 상기 물체 추출기(120)에서 수행되며, 현재까지 제시된 다양한 물체 추출 방법들 중 하나를 적용할 수 있다.
상기 S300 단계는, 상기 물체 특성 추출기(130)에서 수행되며, 상기 추출된 각 물체에 대하여, 가로 성분 경계선들과, 세로 성분 경계선들로 구분할 수 있다.
예컨대, 경계선 길이 비율 추출을 위해 먼저 추출된 각 사각형 물체에 해당하는 이미지 영역에 대하여, 하기 수학식 1과 같이, 가로, 세로 방향 각각에 대한 소벨(Sobel) 연산자를 적용하여, 가로 방향의 경계선 성분과 세로 방향의 경계선 성분을 추출한다.
Iv(x,y) = I(x,y)ㆍSx
Ih(x,y) = I(x,y)ㆍSy
상기 수학식에서 I(x,y)는 그레이 이미지의 픽셀(x,y)에서의 그레이 값을 의미하고, Sx는 x방향의 3x3 소벨 마스크(Sobel mask), Sy는 y방향의 3x3 소벨 마스크(Sobel mask), Iv(x,y)는 픽셀(x,y)에서의 세로 방향 경계선 성분 값, Ih(x,y)는 픽셀(x,y)에서의 가로 방향 경계선 성분 값을 의미한다. 또한 ㆍ는 이미지와 마스트 간의 컨볼루션(convolution) 연산을 의미한다.
상기 수학식 1에 따른 연산의 결과로서, 하나의 사각형 물체에 대해 두 가지 방향에 대한 경계선 이미지가 생성된다. 사각형 영역 내에서 추출된 경계선 성분에는 실제 검출된 물체가 아닌 배경에 해당하는 경계선 성분들도 포함되어 있다. 배경 정보가 포함되면 물체 자체의 특징이 불명확해지므로 물체 외곽선을 포함한 물체 내부의 경계선 성분만을 추출하기 위해 하기 수학식 2와 같이 바이너리 전경 이미지를 적용한다.
Iv'(x,y) = Iv(x,y)×Iforeground(x,y)
Ih'(x,y) = Ih(x,y)×Iforeground(x,y)
상기 수학식에서 Iforeground(x,y)는 전경 이미지의 픽셀 (x,y)에서의 바이너리 픽셀 값(전경이면 1, 배경이면 0), Iv'(x,y), Ih'(x,y)는 전경 이미지와의 연산을 통해 얻어진 픽셀 (x,y)에서의 경계선 성분 값을 의미한다.
추출된 경계선 성분들 중 물체의 특징을 나타내는 중요한 성분들만을 선택하기 위한 과정을 더 경유할 수 있다. 예컨대, 그레이 레벨 값으로 표시된 경계선들 중 미리 정의된 임계값 이하의 값을 가진 경계선들을 제거함으로써 결과적으로 뚜렷한 명암 대비를 가진 강한 경계선 성분들만을 선택할 수 있다.
상술한 과정들에 따라, 도 3a의 프레임 데이터에서, 사람 및 차량에 대하여 가로 성분 경계선들 및 세로 성분 경계선들을 추출한 결과는, 도 3b에 도시한 바와 같다.
상기 S400 단계는, 도 1의 기타 물체 필터(140)에서 수행되며, 다음 세 가지 조건에 의해서 기타 물체를 정의하고 검출된 물체가 조건을 만족할 경우 가치없는 물체로 분류할 수 있다.
먼저, 사각형의 크기가 일정 크기 이하일 경우, 기타 물체로 분류한다. 크기가 매우 작은 물체로부터는 외부의 형태적 특징을 추출하기가 어렵기 때문에 크기가 매우 작은 물체는 사람 또는 자동차로 분류하기 위한 대상으로 적합하지 않음을 감안한 것이다. 그리고, 배경에서의 잡음 또한 작은 크기의 물체로 검출될 수 있기 때문에 사각형의 크기에 의해 일차적으로 기타 물체를 분류한다.
두 번째로, 면적 비율에 의해서 기타 물체를 분류한다. 이 기준은 검출 단계 에서 물체를 제대로 검출하지 못한 경우를 사람 또는 자동차 분류 대상에서 제외시키는 역할을 한다. 특징 추출 단계에서 배경 정보를 제외시키기 위해 사각형 영역 중, 전경(foreground) 픽셀들로 이루어진 전경(foreground) 영역 내에서만 특징을 추출하는데, 검출 단계의 결과가 좋지 않을 경우 물체의 온전한 외부 형태적 특징을 추출해 낼 수가 없기 때문에, 전경(foreground) 영역의 면적 대 사각형 영역의 면적 비율이 일정 값 이하일 경우 기타 물체로 분류한다. 즉, 검출 결과의 왜곡이 심할 경우 기타 물체로 분류하게 된다.
마지막으로, 입력 영상의 좌, 우, 위, 아래의 일정 영역을 설정해 두고 그 영역 내에서 검출된 물체를 기타 물체로 분류한다. 영상의 왼쪽 끝에서부터 오른쪽으로 일정 픽셀까지, 오른쪽 끝에서부터 왼쪽으로 일정 픽셀까지, 아래 끝에서부터 위로 일정 픽셀까지, 위 끝에서부터 아래로 일정 픽셀까지의 영상 테두리 영역을 미리 설정한 다음, 검출된 물체가 그 영역 내에 속하였는지의 여부에 따라 기타 물체로 분류한다. 물체가 영상 내에 들어오는 순간이나 나가는 순간에는 물체의 일부분만이 검출되기 때문에, 이러한 경우에는 물체의 외부 형태적 특징을 온전히 추출해 낼 수 없다고 고려하여 사람 또는 자동차로의 판정을 보류하고 기타 물체로 분류하게 된다.
검출된 물체가 기타 물체로 분류되지 않았을 경우 특징 추출 단계를 거치게 된다. 물체 분류를 위해 경계선(edge) 길이 비율, 대각선 경계선(edge) 길이 비율, 속도 등의 특징들이 사용된다..
구현에 따라, 상기 첫번째 조건에 대한 검사를 수행하는데, 추출된 물체의 경계선의 길이를 이용할 수 있다. 이 경우, 도시한 바와 같이 S400 단계는, S300 단계 이후에 수행되는 것이 바람직하다. 그러나, 상기 첫번째 조건에 대한 검사를 수행하지 않거나, 첫번째 조건에 대한 검사에서 추출된 물체의 경계선을 이용하지 않는 경우, 상기 S400 단계는 S300 단계 이전, 이후, 또는 동시에 수행될 수 있다.
상기 S500 단계는, 도 1의 물체 분류기(180)에서 수행되며, 그에 대한 일 실시예의 구체적인 과정은 도 4에 도시한 바와 같다.
도 4에 도시한 물체의 종류 판정 방법은, 각 물체에 대한 ELR을 계산하는 단계(S510); 상기 ELR과 기준값을 비교하여(S520), 상기 ELR이 기준값 보다 작으면, 상기 물체를 차로 판정하는 단계(S552); 상기 ELR이 기준값 보다 작지 않으면, 상기 물체에 대한 DELR을 계산하는 단계(S530); 상기 DELR과 기준값을 비교하여(S540), 상기 DELR이 기준값 보다 크면, 상기 물체를 차로 판정하는 단계(S552); 및 상기 DELR이 기준값 보다 크지 않으면, 상기 물체를 사람으로 판정하는 단계(S551)로 이루어진다.
상기 S300 단계의 과정을 통해 얻어진 주요 경계선들을 이용하여 가로/세로 방향 경계선 성분들의 총 길이를 구한 후, 하기 수학식 2와 같이 두 길이의 비인 ELR을 계산한다.(S510)
Figure 112009017957822-PAT00001
상기 수학식에서 ELR 은 Edge Length Ratio의 약자로 두 방향 경계선 성분 길이의 비를 의미하고, Lvertical은 세로 방향 경계선 성분들의 총 길이, Lhorizontal은 가로 방향 경계선 성분들의 총 길이를 의미한다.
상기 S520 단계의 수행 결과, ELR이 기준값 보다 작으면, 차로 판정하는 것에 대한 이론적 근거는 다음과 같다.
사람의 경우 배경과의 경계 부분인 외곽선에서는 세로 방향(중력 방향)의 경계선 성분이 훨씬 많이 존재하고, 사람 내부에서도 가로 방향의 경계선 성분 보다는 팔, 다리 등의 세로 방향 경계선 성분이 더 많이 존재한다. 자동차의 경우엔 앞 유리와 본체가 맞닿은 부분이나 범퍼, 휠 등 가로 방향의 경계선 성분이 세로 방향의 경계선 성분보다 더 많이 존재한다. 따라서 이러한 특징을 이용해 사람과 자동차를 구분할 수 있다. 즉, ELR이 작을수록 가로 방향 경계선 성분이 우세하므로, ELR이 소정의 기준값 보다 작으면 차로 판정한다.
본 발명에서 제시된 에지 성분 길이 비(ELR)는 기존의 산란도(dispersedness)나 그레이 히스토그램(gray histogram)의 분포에 비해 카메라와 물체 간의 거리에 더 강인하다는 장점이 있다. 극단적인 경우가 아니라면 사람이나 자동차를 구성하는 주요 경계선 성분이 전체적으로 줄어들 뿐, 사람 또는 자동차에서 가로 또는 세로 방향 성분에 대한 우월성은 그대로 존재하기 때문이다.
자동차가 수평 방향으로 이동할 때나 수직 방향으로 이동할 때는 위에서 구한 경계선 길이 비율(ELR) 값이 사람과 물체를 구분하는 기준으로 적합하다. 하지만 설치된 카메라의 위치에 따라 입력 영상 내에서 자동차가 대각선(45도, 135도) 방향으로 이동할 경우에는, 경계선 성분을 추출하는 과정에서 자동차의 수평 방향 경계선 성분이 수직 방향 경계선 성분으로 고려될 수 있기 때문에 경계선 길이 비율(ELR)이 사람과 자동차의 구분 기준으로 적합하지 않다.
사람의 경우는 이동 방향에 상관없이 수직 방향의 경계선 성분이 수평 방향의 경계선 성분보다 많지만 자동차의 경우 이동 방향에 따라 성분의 비율이 차이가 날 수 있다. 이러한 경우까지 고려하기 위해 대각선 경계선 길이 비율(Diagonal Edge Length Ratio - DELR)을 이용한다.
상기 DELR을 적용하기 위해, 도시한 바와 같이, S530 단계 및 S540 단계를 추가할 수 있다.
상기 S530 단계에서는, 대각선 방향(45도 또는 135도)의 경계선 성분을 추출하기 위해 두 가지 별도의 소벨 연산자(Sobel operators)를 사용한다. 하나의 사각형 영역에 대해 두 방향의 대각선 경계선 성분을 추출해 낸 다음, 경계선 길이 비율(ELR)을 구하였을 때와 마찬가지로 정교화 과정을 거치고 나서 두 방향에 대한 전체 경계선 길이 중 큰 값을 취한다. 최종적으로 대각선 경계선 길이 비율(DELR)은 하기 수학식 4와 같이 구해진다.
Figure 112009017957822-PAT00002
상기 S540 단계의 수행 결과, DELR이 기준값 보다 크면, 차로 판정하는 것에 대한 이론적 근거는 다음과 같다.
사람의 경우, 이동 방향에 관계없이 수직 방향 경계선 성분과 대각선 방향 경계선 성분이 일정하므로 그 비율 또한 일정하다. 하지만 자동차의 경우, 자동차가 수평 방향으로 이동할 때에는 수직 방향 경계선 성분에 대한 대각선 방향 경계선 성분의 비율이 작지만, 자동차가 대각선 방향으로 이동할 때에는 자동차의 수평 방향 경계선 성분이 대각선 방향 경계선 성분으로 고려되므로 대각선 방향의 경계선 성분이 급증하게 된다. 따라서 수직 방향의 경계선 성분에 대한 대각선 방향의 경계선 성분의 비율이 큰 값을 가지게 된다. 이와 같이, 대각선 방향으로 이동하는 자동차의 대각선 경계선 길이 비율(DELR)이 사람의 대각선 경계선 길이 비율(DELR)에 비해 큰 값을 가진다는 사실을 이용하여 사람과 물체를 분류한다.
차량이 항상 가로 방향으로만 진행하는 지역에 설치된 감시 시스템에 적용하는 경우에는, 상기 S530 단계 및 S540 단계는 생략될 수 있음은 물론이다. 이 경우, S520 단계에서, ELR이 기준값 보다 작지 않으면, 해당 물체를 사람으로 판정한다.
즉, 먼저 경계선 길이 비율(ELR)이 일정 임계 기준값 이하이면 자동차로 분류하고, 그렇지 않을 경우, 대각선 경계선 길이 비율(DELR)을 이용한다. 대각선 경 계선 길이 비율(DELR)이 일정 임계 기준값 이상이면 다시 자동차로 분류한다. 그렇지 않을 경우 사람으로 분류한다.
도 2 내지 도 4의 각 단계들에서 입력/출력되는 데이터의 형태를 비교적 단순한 예에 따라 구체적으로 제시하면 다음과 같다.
상기 S100 단계의 수행 결과, 하나의 프레임 이미지 데이터가 획득되어, 상기 S200 단계의 물체 추출에 이용될 수 있다. 상기 S100 단계의 수행 결과 획득된 프레임 이미지 데이터의 일 예를 도 3a에 도시하였다.
상기 S200 단계의 수행 결과, 상기 프레임 이미지 데이터에 포함된 물체들이 출력된다. 도 3a에 도시한 바와 같이, 이동하는 물체인 차량과 사람에 대하여 해당 영역이 물체들로 추출되었고, 고정된 물체인 도로, 나무, 건물은 물체로 분류되지 않을 수 있다.
상기 물체 추출의 구체적인 예는 다음과 같다. 먼저, 상기 프레임 이미지 데이터를 복수개의 이전 프레임의 이미지 데이터와 비교하여, 각 픽셀값이 소정의 기준치 이상 변경되는 영역들(즉, 이동 물체에 대한 영역이 된다)을 판별한다. 상기 변경된 픽셀들이 모여있는 각 영역을 직사각형 영역으로 구분한다. 상기 각 직사각형 영역을 나타내는 좌표값(예: x=20, y=58, x=124, y=160)이, 상기 추출된 물체로서 상기 S200 단계의 출력값이 될 수 있다.
이 경우, 상기 S200 단계에서 추출된 물체는 도 3b의 각 Object image 항목이 되며, 상기 S300 단계의 수행결과, 도 3b의 Vertical edges 및 Horizontal edges 항목들이 출력된다.
상기 Vertical edges 및 Horizontal edges를 구하는 구체적인 방법의 일 예는, 이미지의 색상이 급격히 변하는 선형 영역을 경계선으로 인식하는 것이다.
상기 S510 단계에서, 상기 수학식 3에 따라 구해진 ELR값이 출력된다. 상기 수학식 3의 Lvertical은 상기 도면의 각 Vertical edge 이미지의 밝은 픽셀의 개수가 될 수 있고, Lhorizontal은 상기 도면의 각 Horizontal edge 이미지의 밝은 픽셀의 개수가 될 수 있다.
도 3 및 도 4에 도시한 과정들에 따른 물체 분류 방법은, 하나의 정지 프레임 이미지 데이터에 대하여 수행될 수 있다. 한편, 일반적인 감시 시스템은 다수개의 연속적인 시점들의 정지 프레임 이미지 데이터들로 이루어진 동영상 데이터를 생성하는 바, 다수개의 연속된 정지 프레임 이미지 데이터들을 이용하여, 상기 물체 분류 방법의 정확도를 높일 수 있다. 상기 다수개의 연속된 정지 프레임 이미지 데이터들을 이용하여 정확도를 높이는 구체적인 방안으로는, 첫째 속도를 적용하는 방안과, 둘째 누적된 판정값들을 이용하여 최종 결정을 수행하는 방안이 있다.
도 5는 상기 첫째 방안에 따라 개선된 물체 분류 방법을 도시한다. 도시한 물체 분류 방법은, 도 3 또는 도 4의 물체 분류 방법을 수행한 후 추가적으로 수행하도록 구현할 수 있다.
우선, 상기 도 3 또는 도 4의 경계선 길이 비율(ELR)이나 대각선 경계선 길이 비율(DELR)로 물체의 종류를 판정한다(S610). 상기 판정 결과가 사람이면(S620), 상기 사람으로 판정된 물체의 이동속도를 다음과 같이 반영한다.
물체 추적을 통해서, 영상 내에서 각 물체의 연속된 두 프레임 간의 이동 거리를 알 수 있다. 기본적으로 사람과 자동차의 이동 거리 차이가 크기 때문에 물체의 이동 거리를 이용하여 사람과 자동차를 분류할 수 있다. 연속된 두 프레임 간 이동 거리를 속도라고 가정하면, 현재 프레임과 이전 프레임의 물체의 중심 좌표간의 거리로부터 물체의 속도를 계산한다(S630). 카메라와 물체 간의 거리가 멀어 검출된 자동차의 이동 속도가 작거나 자동차가 천천히 움직이는 상황이라 할지라도 평균적으로 사람의 이동 속도보다 자동차의 이동 속도가 크기 때문에 이를 이용하여 물체를 분류할 수 있다.
판정된 결과를 검토하여(S640), 이들 중 이동 속도가 일정 임계 기준값 이상인 물체는 자동차로 분류한다(S650). 이렇게 함으로써 특징 추출 과정의 오류를 보정 할 수 있다.
도 5의 각 세부 단계들 중, S630 단계는 도 1의 속도 산정부(150)에서 수행되며, 다른 단계들은 물체 분류기(180)에서 수행될 수 있다.
도 6은 상기 둘째 방안 즉, 다수개의 연속된 정지 프레임 이미지 데이터들에 대한 다수개의 물체 종류 판정 결과들을 이용하여, 최종적인 결정을 수행하는 방식의 물체 분류 방법을 도시한다. 도시한 물체 분류 방법은, 도 3 내지 도 5의 물체 분류 방법을, 세부 구성 단계로 포함하는 형태를 가질 수 있다. 도시한 세부 단계들은, 도 1의 히스토리 버퍼(190)를 참조하여 물체 분류기(180)에서 수행될 수 있다.
먼저, 매 프레임마다 검출된 각 물체에 대해 도 3 내지 도 5의 특징들(ELR 및/또는 DELR)을 이용하여 물체 종류에 대한 판정을 수행한다(S1000).
예컨대, 매 프레임마다 경계선 길이 비율과 대각선 경계선 길이 비율을 이용하여 검출된 각 물체를 분류한다. 하지만 매 프레임마다 분류된 결과는 해당 프레임의 검출 단계 성능에 크게 의존한다. 기타 물체 분류 단계에서 걸러지지 않은 물체들 중 검출 결과가 좋지 않을 경우, 정확한 특징 값들이 추출될 수 없다. 예를 들어, 물체의 부분만이 검출 되었을 경우 추출된 특징들은 그 물체의 부분만을 나타내므로 물체 분류를 위한 정보로 적합하지 않다.
이와 같은 문제를 해결하기 위해서, 매 프레임마다 주어지는 분류 결과를 최종 결과로 사용하지 않고 추적을 통해 누적된 결과들을 이용하여 최종적인 판정을 수행하도록 한다.
즉, 분류 결과들의 시간적 누적을 위해서 입력 영상으로부터 검출된 각 물체에 대해 추적을 수행한다. 각 사각형 영역의 중심점을 계산한 뒤, 다음 프레임 사각형들의 중심점과 비교하여 두 중심점 간의 거리가 임계 값 이하인 물체를 동일 물체로 판정한다. 동일 물체로 판정될 경우 각 프레임의 분류 결과를 동일 저장 장소에 누적한다(S2000). 상기 누적은 소정 시간 또는 소정 개수의 프레임 동안 수행될 수 있으며, 예컨대, 20개의 프레임 동안의 분류 결과를 누적할 수 있다.
누적된 분류 결과를 이용하여 최종적으로 물체를 판별한다. 각 프레임의 분류 결과는 사람, 자동차, 기타 물체 중의 하나이다. 현재 프레임으로부터 과거 20 프레임까지의 분류 결과를 누적한 뒤, 누적된 결과들로부터 다수 결정(majority voting) 과정을 수행한다(S3000). 다수 결정 과정에서는 사람, 자동차, 기타 물체 각 경우에 대해 20 프레임 동안의 분류 횟수를 카운팅 한 뒤 가장 많은 횟수를 가진 경우로 다음과 같이 최종 판별한다.
Io(t) = argimaxNi(t), i = 1,2,3
여기서 Io(t)는 t프레임에서 물체의 최종 분류 결과를 의미하고, i는 사람, 자동차, 기타 물체에 대한 인덱스를 나타내고, Ni(t)는 i번째 인덱스에 대한 카운팅 값을 의미한다.
본 발명은, 물체 분류를 위해 직관적인 특징들을 추출함으로써 기존의 제안된 물체 분류 알고리즘들에 비해 수행 속도가 빠르며, 물체의 이동 방향, 카메라와 물체 간의 거리 변화에 강인한 특징을 제안함으로써 외부 환경 변화 강인한 성능 향상을 확보하였다. 빠른 수행 속도로 인하여 실시간 시스템에의 적용이 가능하다. 그 결과, 야외 시설이나 도로, 공항 등에서의 추적, 경보 및 감시 등의 보안 시스템에의 적용을 통해 보안 시장의 확대가 가능하다.
본 발명의 기술사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술분야의 통상의 전문가라면 본 발명의 기술사상의 범위에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 물체 분류 장치의 구조를 도시한 블록도.
도 2는 본 발명의 일 실시예에 따른 물체 분류 방법을 도시한 흐름도.
도 3a 및 3b는 본 발명의 사상에 따른 경계선 추출을 이용한 물체 종류 판정의 원리를 나타내는 개념도.
도 4는 본 발명의 다른 실시예에 따른 물체 분류 방법을 도시한 흐름도.
도 5는 본 발명의 또 다른 실시예에 따른 물체 분류 방법을 도시한 흐름도.
도 6은 본 발명의 또 다른 실시예에 따른 물체 분류 방법을 도시한 흐름도.
도 7은 도 6의 물체 분류 방법에 대한 원리를 나타내는 개념도.

Claims (3)

  1. 물체들을 추출하는 단계;
    상기 각 물체의 경계선(edge)들을 추출하는 단계; 및
    상기 각 물체의 경계선들의 방향 분포로부터, 물체의 종류를 판정하는 단계
    를 포함하는 물체 분류 방법.
  2. 제 1 항에 있어서,
    상기 물체의 종류를 판정하는 단계에서는,
    물체의 경계선들이 수직 방향이 우세하다면, 해당 물체를 사람으로 판정하는 물체 분류 방법.
  3. 제 1 항에 있어서,
    다수개의 연속된 시점에 획득된 영상들에 대하여, 동일한 물체에 대하여 상기 단계들에 따라 판정한 결과들을 누적하여, 다수 결정법에 의하여 최종적으로 물체의 종류를 결정하는 물체 분류 방법.
KR1020090025375A 2009-03-25 2009-03-25 물체 분류 방법 KR20100107209A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090025375A KR20100107209A (ko) 2009-03-25 2009-03-25 물체 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090025375A KR20100107209A (ko) 2009-03-25 2009-03-25 물체 분류 방법

Publications (1)

Publication Number Publication Date
KR20100107209A true KR20100107209A (ko) 2010-10-05

Family

ID=43129050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090025375A KR20100107209A (ko) 2009-03-25 2009-03-25 물체 분류 방법

Country Status (1)

Country Link
KR (1) KR20100107209A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120044245A (ko) * 2010-10-27 2012-05-07 삼성테크윈 주식회사 지능형 보안 감시 장치 및 그 감시 방법
CN103064896A (zh) * 2012-12-17 2013-04-24 东北大学 一种移动对象间状态分类的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120044245A (ko) * 2010-10-27 2012-05-07 삼성테크윈 주식회사 지능형 보안 감시 장치 및 그 감시 방법
CN103064896A (zh) * 2012-12-17 2013-04-24 东北大学 一种移动对象间状态分类的方法
CN103064896B (zh) * 2012-12-17 2016-03-30 东北大学 一种移动对象间状态分类的方法

Similar Documents

Publication Publication Date Title
Javed et al. Tracking and object classification for automated surveillance
US8655078B2 (en) Situation determining apparatus, situation determining method, situation determining program, abnormality determining apparatus, abnormality determining method, abnormality determining program, and congestion estimating apparatus
CN100545867C (zh) 航拍交通视频车辆快速检测方法
KR101735365B1 (ko) 학습 기반의 영상 내 관심 물체 검지 및 환경 변화에 강인한 물체 추적 방법
Li et al. Abandoned objects detection using double illumination invariant foreground masks
US20090309966A1 (en) Method of detecting moving objects
EP2709066A1 (en) Concept for detecting a motion of a moving object
KR101472674B1 (ko) 군중 궤적 추출을 이용한 비정상 행동 검출에 기초한 영상 감시 방법 및 영상 감시 장치
Rabiu Vehicle detection and classification for cluttered urban intersection
Hu et al. A novel approach for crowd video monitoring of subway platforms
Anandhalli et al. Improvised approach using background subtraction for vehicle detection
Xia et al. Automatic multi-vehicle tracking using video cameras: An improved CAMShift approach
Furuya et al. Road intersection monitoring from video with large perspective deformation
CN100546380C (zh) 基于视觉特性的夜间目标检测和跟踪方法
KR101205565B1 (ko) 영상을 이용한 전후방 차량 검출 방법
CN106919889B (zh) 对视频图像中的人头进行检测的方法和装置
EP2709065A1 (en) Concept for counting moving objects passing a plurality of different areas within a region of interest
Chen et al. Automatic head detection for passenger flow analysis in bus surveillance videos
Ilao et al. Crowd estimation using region-specific HOG With SVM
KR20100107209A (ko) 물체 분류 방법
WO2017077261A1 (en) A monocular camera cognitive imaging system for a vehicle
Yu et al. Length-based vehicle classification in multi-lane traffic flow
KR101294498B1 (ko) 터널 유고 시스템의 객체 인식방법
Zhang et al. Road sign detection based on visual saliency and shape analysis
CN113139488B (zh) 训练分割神经网络的方法及装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid