KR101017323B1 - 실시간 피사체형태비교를 위한 영상처리장치 및 방법 - Google Patents

실시간 피사체형태비교를 위한 영상처리장치 및 방법 Download PDF

Info

Publication number
KR101017323B1
KR101017323B1 KR1020080078773A KR20080078773A KR101017323B1 KR 101017323 B1 KR101017323 B1 KR 101017323B1 KR 1020080078773 A KR1020080078773 A KR 1020080078773A KR 20080078773 A KR20080078773 A KR 20080078773A KR 101017323 B1 KR101017323 B1 KR 101017323B1
Authority
KR
South Korea
Prior art keywords
subject
pixel
size
image data
value array
Prior art date
Application number
KR1020080078773A
Other languages
English (en)
Other versions
KR20100020117A (ko
Inventor
전재욱
김동균
진승훈
김기훈
이상준
덕 융 뉴엔
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020080078773A priority Critical patent/KR101017323B1/ko
Publication of KR20100020117A publication Critical patent/KR20100020117A/ko
Application granted granted Critical
Publication of KR101017323B1 publication Critical patent/KR101017323B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 실시간 피사체의 형태 비교가 가능한 영상처리장치에 관한 것으로, 한 개 이상의 피사체의 영상데이터를 입력받아 디지털형태의 영상데이터로 변환하는 영상입력부, 상기 변환된 영상데이터를 이진화하여 이진영상데이터를 생성하는 이진영상생성부, 상기 이진영상데이터를 분석하여 상기 피사체에 대응되는 피사체픽셀을 검출하여 화소값을 배정하고 영상을 화소값의 배열로 표시하는 피사체연결성분검출부, 상기 검출된 피사체픽셀의 좌표를 분석하여 상기 피사체의 크기 및 각도를 포함하는 특성정보를 검출하는 피사체특성판별부, 상기 피사체의 크기와 기설정된 물체형태윈도우 크기의 배율로 화소값 배열의 길이를 축소하고 상기 피사체의 각도를 이용하여 상기 축소된 화소값 배열을 각도보정하여 물체윈도우에 매핑한 요소값 배열을 변환하는 피사체형태획득부, 및 상기 물체형태윈도우에 매핑된 요소값 배열과, 상기 물체형태윈도우 크기와 동일한 크기의 기준 요소값 배열을 비교하는 피사체형태비교부를 포함한다.
본 발명에 따르면, 피사체의 크기나 방향이 변화된 영상데이터가 입력된 경우에도 동일 형태의 피사체를 검출하는 정확도가 향상되며 이진영상데이터를 처리하여 연산 속도가 빨라지고 각 부가 독립적인 실행을 하여 수행시간이 짧아 실시간 처리가 가능한 장점이 있습니다.
피사체, 영상데이터, 픽셀, 영상처리

Description

실시간 피사체형태비교를 위한 영상처리장치 및 방법{ Image Processing Device and Method for Comparing Object Shape in Real-Time}
본 발명의 실시간 피사체형태비교를 위한 영상처리장치 및 방법은 입력된 피사체의 이진영상데이터의 크기 및 각도를 보정하여 기준영상데이터와 형태를 비교하는 영상처리장치 및 방법에 관한 것이다.
최근 이미지센서의 등장으로 디지털카메라나 카메라 기능이 구비된 휴대용 단말기가 보편화되었고, 이에 일반 소비자들도 디지털 사진 및 영상을 보편적으로 사용하게 되었다. 또한 카메라를 이용한 영상 인식 분야에 대한 연구가 많이 활성화되어 이를 이용한 산업화도 꾸준히 증가하고 있다.
예를 들어, 보안에 관련된 지문인식, 얼굴인식, 홍채인식, 문자인식, 물체인식 등의 기술이 그러하다. 이러한 기술들은 디지털 카메라를 이용한 영상 인식을 기술적 기반으로 하는데(이하, '머신비젼(Machine Vision)' 기반이라 칭함), 머신비젼 기반 장치에서 카메라는 인간의 눈에 대응하는 하드웨어적 구성일 수 있으며, 카메라를 통하여 생성된 영상을 인식하기 위하여 포함된 다른 구성 요소들은 뇌에 대응되는 하드웨어(또는 소프트웨어)일 수 있다. 특히, 상술한 머신비젼 기반의 기 술 중 물체인식 기술은 영상데이터에 촬상된 피사체의 개수, 모양, 크기 등을 인식하는 기술로 여러 산업 분야에서 활용되고 있다.
이러한 물체인식 기술은 문자인식, 공장조립라인의 부품인식, PCB 기판의 불량 검사 등에 활용될 수 있으며, 공장 자동화 장치나 자동 검사 장치에서 불량품 검사 또는 합격품 검사를 위해 필요에 따라 물체 형태를 비교하여 불량품 또는 합격품을 구분하는 영상처리 기술이 이용되고 있다.
그러나, 동일한 물체라 하더라도 위치, 크기, 배치각도 등에 따라 촬상된 영상의 형태 특징이 다르게 검출될 수 있기 때문에 물체 간의 형태상 유사도 판단의 정확도가 떨어지는 문제가 있다.
따라서 본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것으로, 입력된 피사체의 화소값 배열의 크기 및 각도를 보정하여 기준 화소값의 배열과 비교함으로써 형태 유사도를 판별하고 각 구성요소에 독립적인 프로세서를 구비하게 하여 전체적인 수행 시간을 줄여 실시간 처리가 가능한 피사체형태비교를 위한 영상처리장치 및 방법을 제공하는 것을 그 목적으로 한다.
본 발명의 일 측면에 따른 실시간 피사체형태비교를 위한 영상처리장치는 한 개 이상의 피사체의 영상데이터를 입력받아 디지털형태의 영상데이터로 변환하는 영상입력부, 상기 변환된 영상데이터를 이진화하여 이진영상데이터를 생성하는 이진영상생성부, 상기 이진영상데이터를 분석하여 상기 피사체에 대응되는 피사체픽셀을 검출하여 화소값을 배정하고 영상을 화소값의 배열로 표시하는 피사체연결성분검출부, 상기 검출된 피사체픽셀의 좌표를 분석하여 상기 피사체의 크기 및 각도를 포함하는 특성정보를 검출하는 피사체특성판별부, 상기 피사체의 크기와 기설정된 물체형태윈도우 크기의 배율로 화소값 배열의 길이를 축소하고 상기 피사체의 각도를 이용하여 상기 축소된 화소값 배열을 각도보정하여 물체윈도우에 매핑한 요소값 배열을 변환하는 피사체형태획득부, 및 상기 물체형태윈도우에 매핑된 요소값 배열과, 상기 물체형태윈도우 크기와 동일한 크기의 기준 요소값 배열을 비교하는 피사체형태비교부를 포함한다.
본 발명의 다른 측면에 따른 실시간 피사체형태비교를 위한 영상처리방법은 피사체의 형태를 비교하는 영상처리방법에 있어서, 입력되는 디지털 영상데이터를 이진화하여 이진영상데이터를 생성하는 단계, 상기 이진영상데이터를 분석하여 상기 피사체에 대응되는 피사체픽셀을 검출하여 화소값을 배정하고 영상을 화소값의 배열로 표시하는 단계, 상기 검출된 피사체픽셀의 좌표를 분석하여 상기 피사체의 크기 및 각도를 포함하는 특성정보를 검출하는 단계, 상기 피사체의 크기와 미리 설정된 물체형태윈도우 크기의 배율로 화소값 배열의 길이를 축소하고 상기 피사체의 각도를 이용하여 상기 축소된 화소값 배열을 각도보정하여 상기 물체형태윈도우에 매핑한 요소값 배열을 변환하는 단계, 및 상기 물체형태윈도우에 매핑된 요소값 배열과 기준 요소값 배열을 비교하는 단계를 포함한다.
상기한 바와 같이 본 발명에 따른 실시간 피사체형태비교를 위한 영상처리장치 및 방법에 따르면, 피사체의 크기와 각도를 포함하는 특성정보를 이용하여 피사체의 화소값 배열을 변환하여 기준 화소값 배열과 비교하여 물체의 형태 유사도를 판단함으로써 물체의 크기 및 배치각도에 따른 형태 비교의 오차를 줄일 수 있고, 각 구성요소가 독립적인 프로세서를 구비하고 이진영상데이터를 이용하여 형태비교를 수행함으로 전체적인 수행시간을 줄여 실시간 처리가 가능하다.
이하, 본 발명에 따른 실시간 피사체형태비교를 위한 영상처리장치 및 방법에 대하여 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리장치의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 실시간 피사체형태비교를 위한 영상처리장치(100)는 영상입력부(110), 이진영상생성부(120), 피사체연결성분검출부(130), 피사체특성판별부(140), 피사체특성저장부(150), 피사체형태획득부(160), 피사체형태저장부(170), 피사체형태비교부(180)를 포함하여 구성될 수 있다.
본 발명에 따른 실시간 피사체형태비교를 위한 영상처리장치(100)의 하위 구성 요소들은 소프트웨어 또는 하드웨어적으로 구현될 수 있다.
상기 영상입력부(110)는 외부의 카메라와 같은 영상 촬상기기에서 전송하는 영상데이터를 입력받아 디지털형태의 영상데이터로 변환하고, 상기 이진영상생성부(120)로 디지털형태의 영상데이터를 전달한다.
상기 이진영상생성부(120)는 상기 영상입력부(110)로부터 전달된 디지털형태의 영상데이터를 화소 단위로 입력받아 미리 설정된 방법으로 이진화하여 이진영상데이터로 변환한다. 예를 들어, 이진영상생성부(120)는 입력되는 영상데이터의 각 픽셀의 명암값(또는 휘도값)을 분석하여 이진영상데이터를 생성할 수 있다. 즉, 이진영상생성부(120)는 영상데이터의 각 픽셀의 명암값(또는 휘도값)이 미리 설정된 범위 이내이면 화소값을 '1'로, 범위 밖이면 화소값을 '0'으로 하여(또는 반대일 수도 있음) 화소값이 이진화된 이진영상데이터를 생성할 수 있다.
상기 피사체연결성분검출부(130)는 이진영상데이터를 분석하여 피사체에 대응되는 픽셀(이하, '피사체픽셀'이라 칭함)을 검출하고 한 개 이상의 피사체를 구 분한다. 즉, 피사체연결성분검출부(130)는 이진영상데이터에서 화소값이 '0'인 픽셀과 '1'인 픽셀을 분류할 수 있고, 화소값이 '1'인 픽셀을 피사체픽셀로 검출할 수 있다. 또한, 상기 피사체연결성분검출부(130)는 검출된 화소값의 연결성을 비교하여 각각의 피사체를 구분하고, 각각의 피사체픽셀 화소값을 다르게 설정할 수 있다.
예를 들어, 도 2를 참조하면, 입력된 원본 영상(210)의 휘도값이 기준 범위 이내인 경우 화소값이 '1'인 픽셀, 기준 범위 밖이면 화소값이 '0'인 픽셀의 이진 영상(220)이 생성되고, '1'인 픽셀의 연결성을 비교하여 각각의 피사체픽셀을 추출하고, 각각의 피사체가 구분되도록 피사체의 화소값을 다르게 설정한다(예를 들어, 1, 2, 3, 4, 5 등과 같이 순차적으로 설정). 도 2에서는 원본 영상(210)을 이진 영상(220)으로 변환하고, 상기 이진 영상(220)에서 각각의 피사체의 연결성분을 검출하고 각각의 피사체가 구분되도록 피사체의 화소값을 다르게 설정한 영상으로 각각의 피사체를 구분하기 위해 다른 명암으로 피사체픽셀(230)을 도시한 것이다. 휘도값(또는 명암값)의 기준 범위는 촬상된 피사체의 휘도값 범위 및 배경의 휘도값 범위를 고려하여 미리 설정된 것이다.
상기 피사체연결성분검출부(130)가 한 개 이상의 피사체픽셀을 추출하고, 화소의 연결성을 비교하여 각각의 피사체를 구분하는 방법은, 국제자동제어학술회의(ICCAS 2007년 10월)에 제출된 학회지(FPGA based Connected Labeling, International Conference on Control, Automation and Systems, pp. 2313~2317)에 상세하게 설명되어 있고, 당업자에게 자명한 이론이므로 구체적인 설명을 생략한 다.
상기 피사체특성판별부(140)는 검출된 피사체픽셀을 분석하여 상기 피사체의 특성정보를 검출한다. 피사체의 특성정보는 촬상된 피사체의 형태 정보를 포함하는 것으로, 촬상된 피사체의 좌표지점, 촬상된 피사체의 폭 또는 높이 정보, 피사체가 기울어진 정도 등을 포함할 수 있다.
도 3에 도시된 바와 같이, 상기 피사체특성판별부(140)는 검출된 피사체(320, 340)의 좌표지점이 전체 촬상된 영상에서 어디에 해당되는지 측정하여 피사체(320, 340)의 위치정보를 검출하고, 피사체를 둘러싸는 직사각형 형태의 바운딩 박스(Bounding Box, 310, 330)를 설정하여 바운딩 박스(310, 330)의 가로길이 성분으로부터 피사체(320, 340)의 폭(width)에 대한 정보를 검출하고, 바운딩 박스(310, 330)의 세로길이 성분으로부터 피사체(320, 340)의 높이(height)에 대한 정보를 검출할 수 있다. 또한, 각각의 피사체(320, 340)가 수평기준선(320a, 340a)을 기준으로 기울어 각도(320a와 320b 사이에 이루는 각, 340a와 340b 사이에 이루는 각) 정보를 얻을 수 있다. 상기 바운딩 박스(310, 330)는 피사체(320, 340)의 최상단, 최하단, 최좌측, 최우측을 연결한 직사각형 형태의 박스를 의미하며, 피사체의 각도성분은 수평기준선에 대한 피사체의 기울기를 의미한다.
상기 피사체특성판별부(140)가 피사체의 특성정보를 획득하는 방법은, 아일랜드 시스템 및 신호 학회에서 2007년 9월 발행된 학회지(The FPGA implementation and investigation of a real-time blob analysis algorithm, pp. 121-126)에 상세하게 설명되어 있고, 당업자에게 자명한 이론이므로 구체적인 설명을 생략한다.
상기 피사체특성저장부(150)는 상기 피사체특성판별부(140)로부터 획득된 피사체(320, 340)에 대한 특성 정보를 저장한다. 즉, 상기 피사체연결성분검출부(130)에서 구분된 피사체에 대해서 상기 피사체특성판별부(140)에서 각각의 피사체에 대해서 특성정보를 추출하고, 상기 피사체특성판별부(140)로부터 추출된 피사체의 특성정보를 각각의 피사체에 대하여 구분되도록 저장한다.
상기 피사체형태획득부(160)는 상기 피사체연결성분검출부(130)로부터 검출된 피사체픽셀의 화소 좌표값을 기설정된 물체형태윈도우 크기에 대응되는 화소 좌표값으로 보정하고 상기 저장된 피사체의 특성정보 중 각도정보에 의하여 수평기준선을 기준으로 보정하여 물체형태윈도우에 매핑하여 최종 형태를 생성한다. 여기서, 피사체픽셀의 화소 좌표값을 물체형태윈도우 크기에 대응되는 화소 좌표값으로 보정하는 것은 상기 피사체크기와 물체형태윈도우 크기의 배율로 화소값 배열의 길이를 축소하는 것이며, 상기 피사체의 각도를 이용하여 상기 축소된 화소값 배열을 각도보정하는 것은 수평기준선과 피사체가 이루는 각도에 따라 화소값 배열이 매핑되는 순서가 기재된 회전테이블을 이용하여 변환될 수 있다.
즉, 상기 피사체형태획득부(160)에서 상기 물체형태윈도우가 N×N 크기로 설정되고, 상기 피사체특성판별부(140)에서 설정된 바운딩 박스의 가로길이 성분과 세로길이 성분의 크기를 비교하여 큰 쪽이 상기 설정된 N에 대응되는 배율로 피사체의 크기가 축소되어 피사체 화소값 배열의 길이가 축소된다.
상기 배율에 따른 화소값 배열의 길이 축소는 다음과 같이 물체추출요소를 이용하여 수행될 수 있으며, 상기 물체추출요소는 바운딩 박스의 길이성분 중 큰 쪽(가로길이 또는 세로길이)을 N으로 나눈 몫을 의미한다. 예를 들어, 피사체의 바운딩 박스가 480×640 크기의 영상이고, 물체형태윈도우가 64×64 크기를 갖는 경우, 바운딩 박스의 세로길이인 640을 64로 나눈 몫 10이 물체추출요소가 된다.
따라서, 래스터 스캔 순서(Raster Scan Order)에 따라 상기 피사체를 바운딩 박스 X의 최좌측 위치부터 10개의 픽셀당 1개의 요소가 추출되고, X의 최우측으로 이동된 후에는 X가 다음 줄 최좌측으로 위치하도록 이동하며 동일한 방법으로 X의 최좌측 위치부터 10개의 픽셀당 1개의 요소가 추출된다(또는 Y의 최하측, X의 최좌측부터 Y의 최상측, X의 최우측으로 스캔할 수도 있다). 각각의 피사체에 대해서 동일한 방법으로 물체형태윈도우를 생성할 수 있다.
또한, 상기 각도보정은 상기 피사체와 수평기준선이 이루는 각도에 따라 화소값 배열을 변환하는 회전테이블을 이용하여 화소값 배열을 변환할 수 있으며, 예를 들어, 수평기준선과 피사체가 이루는 각도(320a와 320b 사이의 각도, 340a와 340b 사이의 각도)에 따라 10°마다 회전테이블을 구성할 수 있다. 즉, 수평기준선과 피사체가 이루는 각이 15°인 경우 11°~20°에 대하여 적용되는 회전테이블을 이용하고, 회전테이블의 화소값 좌표변환에 따라(예를 들면, (0,0)->(2,6), (0,1)->(3,7)) 화소값 배열을 변환한다.
따라서, 상기 피사체형태획득부(160)에서는 동일한 피사체가 배치거리 및 배치각도에 따라 다른 형태의 피사체로 판단될 수 있는 요소인 피사체의 크기 및 각도를 보정하여 피사체의 화소값 배열을 기준피사체의 화소값 배열에 대응되도록 변환될 수 있다.
도 4는 물체추출요소(410)를 구하는 일 실시예를 도시한 이진 영상이고, 도 5는 크기성분이 보정된 피사체픽셀(520, 540)이 매핑된 물체형태윈도우(510, 530)를 도시한 것이다.
화소값 배열이 축소된 피사체 요소값이 매핑된 물체형태윈도우를 피사체의 각도를 보정하여(수평기준선과 피사체 사이에 이루는 각을 보정), 피사체 요소값(620, 640)을 매핑한 물체형상윈도우(610, 630)가 도 6에 도시되어 있다.
따라서, 크기와 각도성분이 상이한 두 피사체를 동일한 크기 및 수평기준선에 대한 동일한 기울기를 가진 피사체픽셀이 매핑된 물체형태윈도우를 생성하고, 상기 피사체형태비교부(180)에서 배율과 각도가 보정된 피사체 화소값이 매핑된 물체형태윈도우의 요소값 배열과 기준 요소값 배열을 비교함으로써 물체형태의 유사성을 판단할 수 있다. 즉, 물체형태윈도우에 피사체가 있는 경우 화소값이 "1"로, 피사체가 없는 경우 화소값이 "0"으로 각각의 요소값에 대해서 판단을 한 후, (1, 1)의 비율이 기준치 이상인 경우 또는 (0,0)의 비율이 기준치 이하인 경우에는 동일한 형태를 갖는 피사체로 판단할 수 있다.
상기 피사체형태획득부(160)은 상기 피사체 크기와 물체형태윈도우 크기의 배율로 화소값 배열의 길이가 축소되고 상기 피사체의 각도를 이용하여 상기 축소된 화소값의 배열을 보정하여 물체형태윈도우에 매핑한 요소값 배열을 피사체형태저장부(170)에 저장하고, 각각의 물체형태윈도우 상호간의 피사체 형태 비교시 이용할 수 있다.
또한, 상기 피사체형태비교부(180)에서 판단결과가 기준범위 내에 해당되는 경우 상기 기준범위 내에 해당되는 피사체의 좌표지점을 출력하는 출력부를 더 포함할 수 있다.
상기 피사체형태획득부(160)는 상기 피사체연결성분검출부(130)로부터 구분된 한 개 이상의 피사체에 대응되는 한 개 이상의 물체형태윈도우를 생성할 수 있다.
상기 각각의 구성요소는 별도의 프로세서로 실행하여 독립적인 수행이 가능하므로, 수행시간을 단축시켜 실시간 피사체형태비교가 가능하다. 즉, 상기 영상입력부는 계속해서 다른 프레임(Frame)의 영상을 입력받고, 이와는 독립적으로 상기 이진영상생성부는 상기 입력된 각각의 영상에 대해서 이진영상을 생성할 수 있다. 따라서, 입력되는 영상이 Frame1, Frame2, Frame3 등의 순서로 입력될 경우 상기 영상입역부(110)에서 Frame2의 영상이 입력되는 sync에 상기 이진영상생성부(120)는 Frame1에 대한 이진 영상을 생성한다.
도 7은 본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리방법의 흐름도이다.
본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리방법은 입력된 영상데이터를 이진영상데이터로 변환하고(S710), 상기 이진영상데이터를 분석하여 피사체에 대응되는 피사체픽셀을 검출하여 화소값을 배정하고, 영상을 화소값의 배열로 표시한다(S720).
상기 이진영상데이터를 분석하여 상기 피사체에 대응되는 피사체픽셀을 검출 하여 화소값을 배정하고 영상을 화소값의 배열로 표시하는 단계(S720)는, 상기 이진영상데이터의 각 픽셀의 화소값을 비교하고 화소값이 동일한 피사체픽셀을 추출하는 단계 및 상기 추출된 피사체픽셀과 다른 피사체픽셀이 구분되도록 화소값을 설정하는 단계를 포함한다.
상기 영상에 화소값이 배열되면(S720), 상기 피사체의 특성정보를 검출한다(S730). 상기 피사체의 특성정보는 상기 피사체의 전체 영상에 대한 좌표지점, 크기, 각도를 포함하며, 상기 피사체의 크기정보는 피사체 좌표값의 최좌측, 최우측, 최상단, 최하단을 연결한 직사각형 형태의 바운딩 박스를 이용하여 피사체의 폭(width)과 높이(height)를 구할 수 있다. 또한, 상기 피사체의 각도성분은 피사체가 수평기준선과 이루는 각도를 측정하여 상기 피사체의 수평기준선에 대한 각도성분을 검출할 수 있다.
상기 피사체의 특성정보가 검출되면(S730), 이를 이용하여 피사체의 크기 및 각도를 보정한다(S740). 일반적으로 피사체의 위치에 따라 촬상된 피사체의 크기가 상이해질 수 있기 때문에, 동일한 위치에서 촬영된 것처럼 크기를 보정하여 피사체의 형태를 비교하는 것이 바람직하다.
또한, 이진 영상의 각 픽셀을 비교하여 피사체의 형태를 비교하기 위해서 동일한 기준선에 대해서 피사체의 화소값 배열을 보정하는 각도보정을 수행한다. 상기 각도보정은 피사체의 특성정보 중 피사체가 수평기준선에 대해 기울어진 각도만큼 보정하는 것을 의미한다.
상기 배율축소 및 각도보정된 피사체 화소값이 매핑된 물체형태윈도우의 요 소값 배열과 미리 설정된 기준 요소값 배열을 비교함으로써 피사체의 형태를 비교한다(S750).
상기 피사체 형태를 비교하는 단계(S750)는 상기 물체형태윈도우에 매핑된 요소값 배열과 기준 요소값 배열을 비교하고 상기 비교된 요소값의 비율이 기준범위 내에 해당되는지 여부를 저장하는 단계를 더 포함할 수 있고, 상기 비교된 픽셀의 요소값 비율이 기준범위 내에 해당되는 경우 상기 피사체픽셀이 검출된 좌표지점이 전체 영상에서 어느 좌표에 해당되는지 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 각각의 단계는 별도의 프로세서로 실행되어 독립적인 수행이 가능하며, 도 8은 본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리 장치의 각 부가 프로세서를 구비하여 독립적인 기능 수행으로 실시간 처리가 가능한 것에 대해 설명한다. 여기에서, 독립적인 기능 수행이라는 것은 입력되는 영상프레임 각각에 대해서 독립적으로 기능을 수행하여 다음 단계로 처리결과를 넘기는 것을 의미한다.
상기 실시간 피사체형태비교를 위한 영상처리방법의 일 실시예에 따르면, 래스터 스캔 순서(Raster Scan Order)로 원본 영상이 Frame1, Frame2, Frame3, Frame4 등의 순서로 입력되고 있다. 먼저, Frame1이 입력되는 동안에는 먼저 입력된 영상이 없으므로 연결성분검출 단계가 진행되지 않고, Frame2가 입력되는 동안 래스터 스캔 순서에 따라 Frame1에 대한 연결성분이 검출된 영상이 출력된다. 마찬가지 방식으로 Frame3 영상이 입력되는 동안 Frame2에 대한 연결성분이 검출되고, Frame1에 대한 피사체특성이 판별된다. 즉, 영상입력 단계, 피사체 연결성분검출 단계 및 피사체특성판별단계가 독립적으로 별도의 프로세서를 수행하게 되므로, 입력되는 영상이 Frame3에 해당되는 경우 Frame2의 영상의 연결성분이 검출된다. 이처럼 병렬처리 하드웨어 장치는 각각의 처리과정이 순차적이 아니라 각 처리결과만을 다른 구성요소로 넘기고 독립적으로 기능을 수행함으로써 전체적인 처리속도를 높일 수 있다.
상기 실시간 피사체형태비교를 위한 영상처리방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer reader media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 실시간 피사체형태비교가 가능한 영상처리방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리장치의 구조도.
도 2는 본 발명의 실시간 피사체형태비교를 위한 영상처리장치를 이용하여 촬상된 영상데이터를 이진영상데이터로 변환하고, 이진영상데이터로부터 피사체를 검출한 테스트 영상.
도 3은 본 발명의 실시간 피사체형태비교를 위한 영상처리장치의 피사체의 특성정보를 도시한 이진 영상.
도 4는 본 발명의 실시간 피사체형태비교를 위한 영상처리장치의 피사체의 바운딩 박스를 물체추출요소가 나눈 이진 영상.
도 5는 본 발명의 실시간 피사체형태비교를 위한 영상처리장치의 크기가 보정된 피사체픽셀이 매핑된 물체형태윈도우의 이진 영상.
도 6은 본 발명의 실시간 피사체형태비교를 위한 영상처리장치의 크기 및 각도가 보정된 피사체픽셀이 매핑된 물체형태윈도우의 이진 영상.
도 7은 본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리방법의 흐름도.
도 8은 본 발명의 일 실시예에 따른 실시간 피사체형태비교를 위한 영상처리 장치의 각 부가 프로세서를 구비하여 독립적인 기능 수행으로 실시간 처리과정을 도시한 흐름도.

Claims (18)

  1. 한 개 이상의 피사체의 영상데이터를 입력받아 디지털형태의 영상데이터로 변환하는 영상입력부;
    상기 변환된 영상데이터를 이진화하여 이진영상데이터를 생성하는 이진영상생성부;
    상기 이진영상데이터를 분석하여 화소값이 '1'인 픽셀을 피사체픽셀로 검출하고 화소값이 '1'인 픽셀의 연결성을 비교하여 한 개 이상의 피사체를 구분하고 각각의 피사체가 구분되도록 화소값이 다르게 설정되는 피사체연결성분검출부;
    상기 검출된 피사체픽셀의 좌표를 분석하여 상기 피사체의 크기 및 각도를 포함하는 특성정보를 검출하는 피사체특성판별부;
    상기 피사체의 크기와 N×N 크기로 기설정된 물체형태윈도우 크기의 배율로 화소값 배열의 길이를 축소하고 상기 피사체의 각도를 이용하여 상기 축소된 화소값 배열을 각도보정하여 물체형태윈도우에 매핑한 요소값 배열을 변환하는 피사체형태획득부; 및
    상기 물체형태윈도우에 매핑된 요소값 배열과, 상기 물체형태윈도우 크기와 동일한 크기의 기준 요소값 배열을 비교하는 피사체형태비교부를 포함하고,
    상기 피사체형태비교부는 물체형태윈도우에 매핑된 요소값 배열과 상기 기준 요소값 배열을 비교하여 일치되는 요소값의 비율이 기준범위 내에 해당되는지 판단하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 피사체형태획득부는 상기 피사체연결성분검출부로부터 구분된 한 개 이상의 피사체에 대응되는 한 개 이상의 물체형태윈도우를 생성하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리장치.
  4. 제 1항에 있어서,
    상기 피사체특성판별부는 상기 검출된 피사체픽셀의 좌표를 측정하여 피사체의 위치정보를 검출하고, 상기 피사체를 둘러싸는 직사각형 형태의 바운딩 박스를 설정하여 상기 피사체의 크기를 검출하고, 상기 피사체가 수평기준선과 이루는 각도를 측정하여 상기 피사체의 수평기준선에 대한 각도를 검출하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리장치.
  5. 제 4항에 있어서,
    상기 물체형태윈도우는 N×N 크기로 설정되고, 상기 피사체특성판별부에서 설정된 바운딩 박스의 가로길이 성분과 세로길이 성분의 크기를 비교하여 큰 쪽이 상기 설정된 N에 대응되도록 화소값 배열의 크기가 배율 축소되는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리장치.
  6. 제 1항에 있어서,
    상기 피사체형태획득부에서 변환된 요소값 배열이 저장되는 피사체형태저장부를 더 포함하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리장치.
  7. 제 1항에 있어서,
    상기 피사체형태획득부에서 각도 보정은 미리 지정된 각도별 회전테이블을 이용하여 수행하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리장치.
  8. 삭제
  9. 삭제
  10. 피사체의 형태를 비교하는 영상처리방법에 있어서,
    입력되는 디지털 영상데이터를 이진화하여 이진영상데이터를 생성하는 단계;
    상기 이진영상데이터를 분석하여 화소값이 '1'인 픽셀을 피사체픽셀로 검출하고 화소값이 '1'인 픽셀의 연결성을 비교하여 한 개 이상의 피사체를 구분하고 각각의 피사체가 구분되도록 화소값이 다르게 설정되는 단계;
    상기 검출된 피사체픽셀의 좌표를 분석하여 상기 피사체의 크기 및 각도를 포함하는 특성정보를 검출하는 단계;
    상기 피사체의 크기와 N×N 크기로 미리 설정된 물체형태윈도우 크기의 배율로 화소값 배열의 길이를 축소하고 상기 피사체의 각도를 이용하여 상기 축소된 화소값 배열을 각도보정하여 상기 물체형태윈도우에 매핑한 요소값 배열을 변환하는 단계;
    상기 물체형태윈도우에 매핑된 요소값 배열과 기준 요소값 배열을 비교하는 단계; 및
    상기 물체형태윈도우에 매핑된 요소값 배열과 기준 요소값 배열을 비교하고 상기 비교된 요소값의 비율이 기준범위 내에 해당되는지 여부를 저장하는 단계를 포함하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리방법.
  11. 제 10항에 있어서,
    상기 피사체의 특성정보를 검출하는 단계는 상기 검출된 피사체픽셀의 좌표를 측정하여 피사체의 위치정보를 검출하고, 상기 피사체를 둘러싸는 직사각형 형태의 바운딩 박스를 설정하여 상기 피사체의 크기를 검출하고, 상기 피사체가 수평기준선과 이루는 각도를 측정하여 상기 피사체의 수평기준선에 대한 각도를 검출하는 단계를 포함하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리방법.
  12. 제 10항에 있어서,
    상기 물체형태윈도우에 매핑한 요소값 배열을 변환하는 단계는,
    상기 구분된 한 개 이상의 피사체 개수만큼 물체형태윈도우가 생성되는 단계;
    상기 각각의 피사체의 크기와 N×N 크기로 기설정된 상기 물체형태윈도우 크기의 배율로 화소값 배열의 길이가 축소되는 단계; 및
    상기 각각의 피사체의 각도를 이용하여 축소된 화소값 배열을 각도보정하여 물체형태윈도우에 매핑한 요소값 배열을 변환하는 단계를 포함하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리방법.
  13. 삭제
  14. 제 10항에 있어서,
    상기 물체형태윈도우에 매핑된 요소값 배열과 기준 요소값 배열을 비교하고 상기 비교된 요소값의 비율이 기준범위 내에 해당되는 경우 검출된 피사체픽셀의 좌표를 디스플레이하는 단계를 더 포함하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리방법.
  15. 제 10항에 있어서,
    상기 검출된 피사체픽셀의 좌표을 분석하여 상기 피사체의 특성정보를 검출하는 단계는,
    상기 피사체의 특성정보를 디렉토리에 저장하는 단계를 포함하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리방법.
  16. 제 10항에 있어서,
    상기 피사체가 구분되도록 화소값이 다르게 설정되는 단계는,
    상기 이진영상데이터의 각 픽셀의 화소값을 서로 비교하고 화소값이 동일한 피사체픽셀을 추출하는 단계; 및
    상기 추출된 피사체픽셀과 다른 피사체픽셀이 구분되도록 화소값을 설정하는 단계를 포함하는 실시간 피사체형태비교를 위한 영상처리방법.
  17. 제 10항에 있어서,
    상기 각 단계는 별도의 프로세서로 실행되는 것으로 각 단계는 입력되는 영상데이터인 프레임에 대하여 한 프레임씩 각 단계의 기능을 수행하고 다음 단계로 상기 수행결과를 전달하는 것을 특징으로 하는 실시간 피사체형태비교를 위한 영상처리방법.
  18. 제 10항 내지 제 12항 및 제 14항 내지 제17항 중 어느 한 항에 기재된 피사체의 형태를 비교하는 영상 처리 방법을 수행하는 프로그램이 기록되고 컴퓨터로 판독 가능한 기록 매체.
KR1020080078773A 2008-08-12 2008-08-12 실시간 피사체형태비교를 위한 영상처리장치 및 방법 KR101017323B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080078773A KR101017323B1 (ko) 2008-08-12 2008-08-12 실시간 피사체형태비교를 위한 영상처리장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080078773A KR101017323B1 (ko) 2008-08-12 2008-08-12 실시간 피사체형태비교를 위한 영상처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100020117A KR20100020117A (ko) 2010-02-22
KR101017323B1 true KR101017323B1 (ko) 2011-02-28

Family

ID=42090228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080078773A KR101017323B1 (ko) 2008-08-12 2008-08-12 실시간 피사체형태비교를 위한 영상처리장치 및 방법

Country Status (1)

Country Link
KR (1) KR101017323B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244822B1 (ko) * 2012-04-27 2013-03-18 (주)린소프트 육면체 검출 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160886A (ja) * 1993-12-10 1995-06-23 Ricoh Co Ltd 対象物抽出方法およびカラー画像認識方法
JPH09114990A (ja) * 1995-10-19 1997-05-02 Ricoh Co Ltd 画像認識方法
JP2002063581A (ja) 2000-08-23 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 画像の回転角度検出方法および回転角度補正方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160886A (ja) * 1993-12-10 1995-06-23 Ricoh Co Ltd 対象物抽出方法およびカラー画像認識方法
JPH09114990A (ja) * 1995-10-19 1997-05-02 Ricoh Co Ltd 画像認識方法
JP2002063581A (ja) 2000-08-23 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 画像の回転角度検出方法および回転角度補正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. Nallaperumal et al., "Human face detection in color images using skin color and template matching models for multimedia on the Web", Int'l Conf. Wireless and Optical Communications Networks, 2006.4*

Also Published As

Publication number Publication date
KR20100020117A (ko) 2010-02-22

Similar Documents

Publication Publication Date Title
CN106650665B (zh) 人脸跟踪方法及装置
US8559748B2 (en) Edge detection
JP6125188B2 (ja) 映像処理方法及び装置
KR101617681B1 (ko) 히스토그램들을 갖는 다중 층 연결 요소들을 사용하는 텍스트 검출
US20070285537A1 (en) Image quality analysis with test pattern
US8938117B2 (en) Pattern recognition apparatus and method therefor configured to recognize object and another lower-order object
KR20140013407A (ko) 객체 추적 장치 및 방법
US20160259972A1 (en) Complex background-oriented optical character recognition method and device
WO2013030850A2 (en) Chemical structure recognition tool
US9251430B2 (en) Apparatus, method, and program for character recognition using minimum intensity curve of image data
JP2017123163A (ja) 画像認識装置
US9798948B2 (en) Optical character recognition localization tool
JP6630341B2 (ja) シンボルの光学的検出方法
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
JP6772059B2 (ja) 電子制御装置、電子制御システムおよび電子制御方法
JP2022009474A (ja) ビジョンシステムでラインを検出するためのシステム及び方法
JP2012068948A (ja) 顔属性推定装置およびその方法
KR101017323B1 (ko) 실시간 피사체형태비교를 위한 영상처리장치 및 방법
JP5791361B2 (ja) パターン識別装置、パターン識別方法およびプログラム
JP6296769B2 (ja) 物体検出装置
CN210442821U (zh) 一种人脸识别装置
JP2023535005A (ja) 電子画像内の物体を認識するための方法及びシステム又は装置
JP6108437B2 (ja) 指方向特定システム、指方向特定方法、及びそのプログラム
JP2008040724A (ja) 画像処理装置、及び画像処理方法
KR101689705B1 (ko) 픽셀 방향정보를 사용한 영상정보 내 패턴정보영역 검출방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E902 Notification of reason for refusal
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150115

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee